В области робототехники постоянное стремление имитировать сенсорные возможности человека было вызвано желанием наделить машины более глубоким пониманием окружающего мира. В последние годы тактильное восприятие и слияние тактильных и визуальных чувств (называемое тактильно-визуальным слиянием) стали новаторскими подходами в этом направлении. Внедрение тактильного восприятия в робототехнику означает кардинальный сдвиг в возможностях машин, предоставляя им способность воспринимать окружающее с помощью прикосновений, во многом схожую с человеческой.

Традиционные роботы в значительной степени полагались на визуальное восприятие, редко принимая во внимание тактильные ощущения, необходимые для взаимодействия в сложных и динамичных средах.

Тактильные датчики объединяют различные тактильные характеристики, такие как давление, температура, текстура и свойства материалов, наделяя роботов богатыми органами чувств и позволяя им более умело взаимодействовать с окружающей средой.

 На производстве роботы, оснащенные тактильными датчиками, будут выполнять задачи тонкой сборки с более высокой точностью и адаптивностью.

В здравоохранении тактильная обратная связь потенциально помогает хирургам при проведении минимально инвазивных операций, повышая точность манипулирования хирургическим инструментом.

 Алгоритмы машинного обучения играют ключевую роль в облегчении интеграции этих разнообразных сенсорных данных в рамках тактильно-визуального слияния. Например, архитектуры глубокого обучения, такие как сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN), демонстрируют исключительные возможности в улавливании сложных корреляций между данными мультимодального восприятия и объектами, подлежащими распознаванию.

Однако по-прежнему существует множество факторов, влияющих на способность роботов выполнять сложные задачи в реальных сценариях, и, следовательно, их трудно заменить человеческим трудом. Во-первых, существует проблема создания роботов с сенсорными возможностями, подобными человеческим. Возьмем, к примеру, наливание горячей воды из чашки – в этом процессе роботу требуется визуальное восприятие для локализации чашки, и ему нужна тактильная информация, такая как давление, температура и проскальзывание, чтобы выполнить действие по наливанию. Так же, как и для людей, для эффективного взаимодействия роботов с окружающей средой необходимы мультимодальные сенсорные способности, такие как зрение, давление, температура, тепловые характеристики, текстуры и скольжение. Кроме того, необходимы быстрые и чувствительные способности к восприятию. Например, отсутствие высокой способности к быстрому и чувствительному обнаружению скольжения может привести к тому, что робот уронит предмет при попытке схватить его, что приведет к потерям или подвергнет опасности людей.

Мы предлагаем роботизированный гибкий тактильный датчик на основе термосенсации, позволяющий одновременно мультимодально воспринимать давление при контакте, температуру, теплопроводность, текстуру и скольжение (рис.1). Предлагаемая стратегия тактильно-визуального слияния используется для захвата различных объектов, где зрение помогает определять положение объекта и позу, а управление тактильной обратной связью на основе скольжения обеспечивает ловкое роботизированное хватание. Также стоит отметить, что робот способен стабильно захватывать чашку с минимальной силой с помощью тактильного восприятия, чтобы гарантировать, что чашка не раздавится и не соскользнет с нее при наливании в нее воды.

Мы применяем предложенный метод тактильно-визуального слияния к задаче уборки рабочего стола, робот автоматически выполняет ряд действий, таких как определение местоположения объекта, устойчивое удержание объекта и точное распознавание объекта, чтобы обеспечить сортировку нескольких предметов и уборку на рабочем столе.

 Это подтверждает осуществимость и превосходство предлагаемого мультимодального тактильного датчика, а также тактильно-визуальной архитектуры слияния, демонстрируя многообещающий потенциал интеллектуальных роботов для домашнего хозяйства.

Робот обладает возможностями мультимодального восприятия, включая зрение и осязание (восприятие давления при контакте, температуры, теплопроводности и текстуры объектов, а также скольжения). Благодаря этим возможностям восприятия и предлагаемой тактильно-визуальной стратегии слияния робот может выполнять ряд задач, таких как определение местоположения объекта, устойчивое хватание, распознавание объектов и сортировка.

 Принципы работы мультимодального гибкого тактильного датчика

Датчик состоит из верхнего чувствительного слоя, нижнего чувствительного слоя, слоя PDMS и пористого материала посередине (рис.2а). Верхний и нижний чувствительные слои имеют одинаковую чувствительную структуру, которая включает два концентрических платиновых (Pt) термистора, нанесенных на гибкую полиамидную подложку. Внутренний термистор имеет низкое сопротивление (~ 50 Ом), которое действует как термоэлемент (обозначается как горячая пленка). Внешний термистор имеет более высокое сопротивление (~ 500 Ом, обозначается как холодная пленка) и работает как локальный датчик температуры. Радиусы горячей пленки и холодной пленки составляют 0,95 мм и 3,2 мм соответственно (рис.2а). Принцип восприятия основан на кондуктивной теплопередаче. Горячая пленка на чувствительном слое служит одновременно нагревателем и собственным датчиком температуры, который чувствителен к теплопроводности окружающей среды.

а Структура тактильного датчика состоит из верхнего чувствительного слоя, нижнего чувствительного слоя, PDMS и пористого материала посередине.b Принцип работы нижнего чувствительного слоя.c Реакция на давление U_p нижнего чувствительного слоя при загрузке и разгрузке. На вставке показан нижний предел обнаружения.d Принцип работы верхнего чувствительного слоя. Теплопередача верхнего чувствительного слоя в режимах отсутствия контакта, соприкосновения и скольжения.e Выходные сигналы тактильного датчика реагируют на температуру окружающей среды и объекта соответственно.f Реакция верхнего чувствительного слоя при прикосновении к материалам с различной теплопроводностью.g Реакция верхнего сенсорного слоя при контакте и скольжении на PA и PEEK соответственно.h Скольжение и текстура определяются по макро- и микроэлементам сигналов верхнего чувствительного слоя. Макро- и микроэлементы извлекаются из сигналов верхнего сенсорного сигнала путем фильтрации в процессе скольжения. Столбики ошибок, показанные на c,e и f, представляют собой стандартные отклонения пяти повторных измерений одного тактильного датчика.

 В нижнем чувствительном слое контактное давление вызывает упругую деформацию среднего пористого материала, изменяя теплопроводность пористого материала из-за его пьезотермического преобразования (рис.2b). Следовательно, нижний чувствительный слой реагирует на контактное давление (выходной сигнал обозначается как U_p). На рис.2c показана кривая срабатывания датчика при загрузке и разгрузке под давлением. Датчик имеет широкий диапазон измерений - 20 Н и низкий предел обнаружения - 0,01 Н, а также демонстрирует низкий гистерезис - 2,4%.

Что касается верхнего чувствительного слоя, то, когда датчик соприкасается с объектом, теплопроводность объекта влияет на теплопередачу горячей пленки и, таким образом, может быть обнаружена. В частности, горячая пленка в верхнем чувствительном слое электрически нагревается с помощью схемы постоянной разницы температур (CTD) обеспечивает более высокую температуру, чем окружающая среда, и создает тепловое поле в объекте контакта. При соскальзывании горячая пленка перемещается в более прохладную область объекта, с которым она соприкасается, что приводит к изменению теплопередачи, которое немедленно обнаруживается горячей пленкой. По сути, проскальзывание определяется изменением теплопередачи горячей пленки. После скольжения теплопередача возвращается в состояние, предшествующее проскальзыванию, поскольку датчик остается в контакте с нагреваемой областью. Таким образом, скольжение объекта обнаруживается с помощью выходного сигнала верхнего сенсорного слоя (обозначаемого как U_i) (рис.2d). Кроме того, как упоминалось ранее, термисторы с холодной пленкой в нижнем и верхнем чувствительных слоях воспринимают температуру окружающей среды и температуру объекта соответственно, как показано на рис.2e. Используя схему CTD, тактильный датчик не подвержен колебаниям температуры окружающей среды. На рис.2f показано изменение реакции верхнего чувствительного слоя при прикосновении к объектам с различной теплопроводностью.C увеличением теплопроводности объекта увеличивается и выходной сигнал датчика. На рис.2g показана динамическая реакция датчика при переходе от бесконтактного режима к контактному, соскальзыванию и обратно к контакту с объектами. Поскольку теплопроводность полиамида (PA) выше, видно, что отклик при контакте и скольжении выше, чем у материала из полиэфирэфиркетона (PEEK). Стоит отметить, что изменения контактного давления не влияют на обнаружение скольжения. Что еще более важно, поскольку датчик чувствителен к рельефу поверхности объекта, реакция в процессе скольжения фильтруется для извлечения его макро-характеристик (U_макро) и микро-характеристик (U_микро) (рис. 2h). Эти функции можно использовать для одновременного определения состояния скольжения и текстуры поверхности объекта. Кроме того, тактильный датчик тестируется в циклах возвратно-поступательного разъединения контактов до 1000 раз, что свидетельствует о хорошей стабильности и надежности датчика.

Обнаружение скольжения и распознавание текстур

Макрофункции в ответных сигналах верхнего чувствительного слоя могут быть использованы для характеристики состояния скольжения объекта на датчике. Мы выбираем различные материалы (бакелит, PE, PA, PEEK и PPS) для тестирования и записываем реакции датчиков при скорости скольжения 0 (без скольжения), 5, 10, 15, 20, 30, и 50 мм/с соответственно (рис.3a). Результаты показывают, что по мере увеличения теплопроводности материала и ускорения скорости скольжения увеличиваются соответствующие макро-характеристики (U_макро). Когда теплопроводность объекта известна из предыдущего состояния устойчивого контакта, для определения скорости скольжения объекта при захвате роботом можно использовать U_{макросъемку}. Кроме того, мы используем материал PPS для определения минимального порога обнаружения и времени отклика при обнаружении скольжения. Как показано на рис.3b, при небольшой скорости скольжения 0,05 мм / с сенсор по-прежнему демонстрирует четкую реакцию. Кроме того, после возникновения скольжения реакция датчика превосходит уровень шума в условиях отсутствия скольжения всего за 4 мс (показано на рис. 3c). В совокупности эти результаты указывают на то, что предлагаемый тактильный датчик может использоваться для сверхчувствительного и сверхбыстрого обнаружения скольжения по различным материалам.

a Макро-характеристики для различных материалов с разной скоростью скольжения. b Тактильный датчик имеет низкий предел обнаружения скольжения - 0,05 мм / с. c Тактильный датчик имеет быстрое время отклика - 4 мс для обнаружения скольжения. d микрофункции при различных скоростях скольжения. e БПФ-анализ микроэлементов при различных скоростях скольжения. f БПФ-анализ микроэлементов при различных скоростях скольжения. g Тактильные реакции и микрофотографии четырех типов тканей, включая полиэфирный спандекс, эластичную трикотажную ткань из полиэстера, нейлон и искусственный шелк с зашифрованным кодом (F1–F4).  h Тактильный отклик комбинации клавиш F1 и F3. z Матрица путаницы для распознавания тканей.

Микрочастицы в ответных сигналах верхнего сенсорного слоя могут использоваться для определения морфологии микроповерхности объектов, облегчая распознавание текстуры. На рис. 3d представлены сигналы микроэлементов датчика, поступающие при скольжении материала PA по поверхности объекта при нормальном давлении 2Н с различными скоростями (0,5, 1, 3 и 5 мм/с). С увеличением скорости скольжения, поскольку рельеф поверхности объекта остается неизменным, увеличивается и максимальное количество сигналов за тот же период времени. Выполнение анализа этих сигналов быстрым преобразованием Фурье (FFT) в частотной области дает спектр, показанный на рис.3e. Из графика видно, что частоты, соответствующие спектральным пикам, также увеличиваются с увеличением скорости скольжения. При скорости скольжения 1 мм/с соответствующая частота PA составляет 4,03 Гц, поэтому период решетки на поверхности PA составляет приблизительно 248 мкм. Визуализация кратковременного преобразования Фурье (STFT) с использованием микроэлементов предоставляет информацию о частоте, зависящую от времени, отображающую величину интенсивности STFT во времени (рис.3f). С увеличением скорости скольжения частотное распределение постепенно смещается в высокочастотную область. Определение текстуры также выполняется для других различных материалов.

Таким образом, теплопроводность, скорость скольжения и текстура поверхности объекта могут быть независимо определены с помощью верхнего сигнала датчика горячей пленки (U_i) от контакта до процесса скольжения. Когда датчик соприкасается с материалом, реакция горячей пленки в верхнем чувствительном слое значительно меняется, и стабилизированное напряжение (U_i) может использоваться для определения теплопроводности материала.

Когда в процессе роботизированного захвата происходит соскальзывание, скорость соскальзывания может быть определена на основе макро-характеристик (U_макро), извлеченных из верхнего сигнала восприятия горячей пленки, в сочетании с заранее определенной теплопроводностью.

Кроме того, выполняя БПФ для микроэлементов (U_micro), выделенных из верхнего сигнала датчика горячей пленки, можно определить период решетки поверхности материала, отражающий текстуру.

Использование тактильных датчиков для измерения тепловых свойств материала и определения текстуры также позволяет точно различать различные ткани. Мы выбираем десять различных тканей (полиэфирный спандекс, полиэфирная трикотажная эластичная ткань, нейлон, зашифрованный искусственный шелк, хлопчатобумажный холст, деним, флис, шерстяно-полиэфирная ткань, картонная и льняная ткань, а также лайкра для получения ответов тактильного датчика (рис.3g) при скольжении по поверхности этих тканей. Кроме того, тактильный отклик комбинации тканей также показан на рис. 3h, что указывает на то, что датчик последовательно контактирует с двумя тканями в процессе скольжения, и соответствующие макроскопические и микроскопические характеристики сигнала датчика могут быть использованы для идентификации тканей в последовательности. Впоследствии мы извлекаем макро- и микроэлементы из данных тактильного датчика для проведения распознавания ткани. Используя этот подход, мы достигаем точного распознавания этих 10 тканей с общей точностью 94,3%.