Технологический конкурс $10M ANA Avatar XPRIZE призван стать катализатором нового этапа в развитии робототехники и ряда других инновационных идей и технологий. Разрабатываемая система аватаров позволит человеку взаимодействовать и общаться с друзьями и коллегами в другом городе и стране так, как будто они находятся рядом.

Создание такого управляемого человеком робота для телепортации действий и чувств, с имитацией удаленного присутствия требует определенного переосмысления принципов робототехники. Необходимы уникальные решения в области интерфейсов взаимодействия человека и машин .

Конкурс ANA Avatar XPRIZE начался еще в 2018 году. А в сентябре 2021 года в Майами, штат Флорида, прошли полуфинальные соревнования 37 команд с тестированием созданных ими аватарами. В итоге 15 лучших, по мнению специально сформированного судейского жюри, поделили призовой фонд в $2 млн. и были допущены в финал соревнований. Среди них оказался и робот-аватар Джонни российской команды Dragon Tree Labs, которая осенью 2022 года выступит уже в финале, где победителей ожидает призовой фонд $8 млн.

Участникам и судьям нужно было понять, за счет какого функционала можно получить эффект удаленного присутствия. Уже сегодня операторы аватаров могут воспринимать удаленный мир через камеры и микрофоны, а передачу прикосновений обеспечивают специальные тактильные датчики и перчатки. В перспективе возможна передача температуры и запахов среды, возможно даже человеческой энергии.

Специфика работы судей вначале была связана с разработкой основных принципов конкурса и объективной системы оценок. Затем судейской коллегии пришлось просмотреть сотни часов видео и проанализировать десятки заявок, чтобы выбрать наиболее перспективные команды для презентации в дальнейшем ими своих разработок.

Системы аватаров должны  демонстрировать свои способности в нескольких заданных по условиям конкурса сценариях. Для участия в полуфинале судьи отобрали 38 команд, наиболее продвинувшихся в разработке системы, которая позволяла бы оператору двигаться,  манипулировать бытовыми предметами и максимально реально воспринимать удаленное пространство.

В полуфинальных испытаниях судьи принимали уже личное участие, тестируя и сравнивая human-to-human взаимодействие через аватары разных команд. Один из судей выступал в роли оператора аватара, с которым взаимодействовал другой судья (реципиент). Находясь в разных помещениях, судьи могли объективно оценивать не только технические возможности аватара, но и психо-эмоциональные аспекты взаимного общения. 

Организаторам пришлось подобрать судей с уникальной разносторонней экспертизой познаниями и увлечениями, готовых совместно способствовать созданию роботизированных аватаров будущего. В дополнение к специалистам по робототехнике и сенсомоторике нужны были судьи, которые понимали бы человеческую психологию и поведение. В итоговую судейскую коллегию входят 23 эксперта из США, Японии, Великобритании и Франции.

Многие имеют несколько научных званий и степеней, их разносторонние интересы и достижения восхищают и вызывают уважение. Познакомимся с ними чуть ближе.

Доктор Джули А. Адамс – профессор из Университета штата Орегон, более 30 лет Джули посвятила изучению человеко-машинного интерфейса. Джули была основателем Лаборатории по взаимодействию человека с машинами в Университете Вандербильта. Степень бакалавра компьютерных и информационных наук она получила в Пенсильванском университете.

На протяжении всей своей карьеры исследователь Адамс уделяла особое внимание взаимодействию человека с беспилотными системами, пилотируемыми гражданскими и военными самолетами, с промышленным системами. Темы ее исследований связаны с учетом человеческого фактора при использовании робототехники и искусственного интеллекта в таких областях, как авиация, океанография, вооруженные силы, ликвидация чрезвычайных ситуаций.

Джошуа Бэнкстон является партнером MACE Virtual Lab – поставщика корпоративных решений виртуальной реальности из Хьюстона. Джошуа дает возможность бизнес-лидерам использовать иммерсивные возможности новаторского оборудования AR/VR/XR для внедрения новых смелых приложений в профессиональном обучении, образовании, медицине.

Джошуа разрабатывает готовые системы виртуальной реальности, участвует в разработке презентаций и интерактивных выставок для министерства обороны США. С 2020 года он сотрудничает с компанией Teslasuit, которая занимается разработкой умной одежды с использованием тактильных датчиков и технологий AR/VR/XR.

Недавно Джошуа присоединился к инициативе IEEE по этике XR, чтобы помочь в понимании, адаптации и формировании ответственной эволюции этой преобразующей мир технологической индустрии.

Джошуа был среди судей, оценивавших аватар Джонни в качестве реципиента.

Билл Борджиа является специалистом по системам точной навигации, датчикам и измерительным приборам. С 2007 по 2011 год Билл возглавлял Robotics Collaborative Technology Alliance – программа исследований для армии США в области наземной и воздушной робототехники.

В рамках программы разрабатывались беспилотные технологии и сканирующие системы LIDAR для наземной техники и авиационных систем. Билл имеет степень бакалавра компьютерных наук и степень магистра управления бизнесом.

--

Эллисон Бушман получила степени бакалавра и магистра наук по механике. Эллисон занимается изучением алгоритмов движения живых существ и роботов. Она изучает связь моделей движения с эффективностью действий дистанционно управляемых роботов и их операторов.

В настоящее время Эллисон работает старшим инженером по проектам в биотехнологической отрасли.

Дж. Эдвард Колгейт имеет докторскую степень в области машиностроения. Он является профессором Северо-западного университета. Основные темы исследований доктора Колгейта – тактильные интерфейсы и взаимодействие человека и робота. Он занимается разработкой коллаборативных роботов и набора технологий программируемой тактильной обратной связи.

Доктор Колгейт был основателем и главным редактором журнала IEEE Transactions on Haptics. Сегодня он является членом IEEE и Национальной академии изобретателей.

Томас К. Феррис - доцент промышленной и системной инженерии в Техасском сельскохозяйственном университете. Он является директором Центра трансформации организаций здравоохранения NSF I/UCRC, а также руководит лабораторией Человеческого фактора и когнитивных систем (HF&CS).

Научные интересы доктора Ферриса лежат в области инженерии когнитивных систем и человеческого фактора. Исследования связаны с обработкой мозгом человека информации для поддержки внимания и безопасной многозадачной деятельности.

Он занимается моделированием поведения людей в сложных системах, проблемами взаимодействия между человеком и автоматизированными системами, а также влиянием стресса и нехватки времени на такие когнитивные функции, как внимание и принятие решений.

Томас был среди судей, оценивавших аватар Джонни в качестве реципиента.

Доктор Камила Франчолин - руководитель отдела Автономных систем для управления движением и навигацией (AGN&C) в лаборатории Draper. Под ее руководством разрабатываются алгоритмы и программное обеспечение для различных приложений; от автономных подводных аппаратов для ВМС США до программ пилотируемых космических полетов для НАСА.

Камила получила степень бакалавра аэрокосмической техники в Университете штата Флорида.

Доктор Келли С. Хейл – главный специалист по инженерной психологии в лаборатории Draper. Она занимается разработкой алгоритмов и интерфейсов взаимодействия с пользователем (UX – User Experience) для настольных и мобильных платформ, систем расширенной реальности. Ее работы включают аспекты мультимодальности, тактильное взаимодействие и интеграцию речи для оптимизации UX и систем управления без помощи рук. 

Доктор Гай Хоффман – доцент в Школе механической и аэрокосмической инженерии Корнельского университета и руководитель лаборатории Human-Robot Collaboration & Companionship (HRC2). 

Г-н Хоффман получил докторскую степень за исследования в области взаимодействия человека и роботов. Он возглавляет группу по изучению алгоритмов взаимодействия между людьми и персональными роботами. Хоффман реализовал первое в мире совместное театральное представление человека и робота и первый импровизационный джазовый дуэт из человека и робота. 

Гай Хоффман был одним из судей, оценивавшим аватар Джонни в роли оператора системы.

Серена Ивальди – научный сотрудник в INRIA (французский Национальный институт исследований по информатике и автоматике). Она руководит деятельностью направления по изучению взаимодействия между человеком и гуманоидными роботами. Серена была координатором и главным исполнительным директором в проектах по созданию перспективных гуманоидных роботов и экзоскелетов (ЕС CoDyCo (FP7) и AnDy (H2020)). Она участвовала в разработке робота-гуманоида iCub, а недавно впервые применила экзоскелеты в отделении интенсивной терапии для оказания физической помощи врачам.

Серена Ивальди является соруководителем группы Humanoid Robotics Group GDR Robotique (французское общество робототехники).

Андра Кей – управляющий директор группы Silicon Valley Robotics, поддерживающей инновации и коммерциализацию робототехнических технологий. Она занимается созданием глобальных технологических экосистем, является основателем конкурсов Good Robot Awards, Robot Launch, сообществ Robot Garden, Women in Robotics, а также наставником, инвестором и советником стартапов, акселераторов и аналитических центров, занимающихся проблемами автономных интеллектуальных систем (AIS).

Доктор Коринна Латан занималась созданием роботов для детей с ограниченными возможностями, технологиями виртуальной реальности для космических станций, носимыми датчиками для обучения хирургов и солдат. Она является известным в мире специалистом по человеко-машинным интерфейсам, системам human-to-robot  и верит в будущее доброжелательных киборгов!

Доктор Латан является соучредителем и генеральным директором AnthroTronix, Inc., биомедицинской инженерной компании, специализирующейся на здоровье мозга. Она разработала одну из первых платформ цифрового здравоохранения, одобренную Управлением по контролю за продуктами и лекарствами (FDA) и получившую престижную награду Gold Edison Award. Доктор Коринна Латан имеет еще целый ряд других престижных научных степеней и наград.

Джастин Мэнли – технолог и руководитель-новатор, работает с морскими технологиями и робототехникой с 1990 года. Он является признанным авторитетом в разработке беспилотных систем, управлял роботами «телеприсутствия» на затонувшем корабле Титаник. После работы в Массачусетском технологическом институте, в стартапах и крупных корпорациях Мэнли основал в середине 2015 года Just Innovation Inc.

Мэнли активно занимается морскими технологиями и робототехникой. Он является научным сотрудником Института морских инженерных наук и технологий (IMAREST), старшим членом IEEE, занимал пост вице-президента по связям с правительством и общественностью в Обществе морских технологий (MTS), был одним из основателей Консультативного комитета Интегрированной системы наблюдений за океаном США (IOOS).

Патрик Мак Гэри – кандидат наук, является экспертом в области робототехники для исследования планет. Он получил степень бакалавра аэрокосмической техники в Университете Торонто, где изучал робототехнику для картографирования неструктурированной внешней среды. В Лаборатории реактивного движения НАСА Мак Гэри занимался созданием мобильных систем для исследования Луны, Марса и других объектов Солнечной системы.

Дилип Патель проработал 15 лет в General Dynamics Robotic Systems и 17 лет в BAE Systems. За свою 30-ти летнюю карьеру он участвовал в разработке дистанционно управляемых и автономных робототехнических систем. В течение последних пяти лет он руководил проектом Министерства обороны США – Robotics Collaborative Technology Alliance (RCTA), в который входили ведущие академические институты робототехники, правительственные лаборатории и отраслевые команды.

Дилип Патель сыграл важную роль в разработке стратегии гибкого манипулирования и уникальной исследовательской стратегии мобильности, одного из самых сложных аспектов робототехники. Он руководил решением чрезвычайно сложных проблем, связанных с интеллектуальным планированием и взаимодействием человека и роботов.

Джерри Пратт – кандидат наук, получил степень магистра компьютерных наук и бакалавра в области машиностроения в Массачусетском технологическом институте. Он возглавляет исследовательскую группу в IHMC, которая занимается изучением и моделированием походки человека для роботов, экзоскелетов и человеко-машинных интерфейсов.

Текущие проекты включают гуманоидных роботов-аватаров для совместного исследования опасных сред, роботов FastRunner и экзоскелеты для восстановления походки парализованных людей. Джерри был руководителем группы IHMC в проекте DARPA Robotics Challenge (DRC). В 2015 году IHMC заняла второе место в финале DRC. В 2013 году у команды IHMC было первое место в Virtual Robotics Challenge и второе место в DARPA Robotics Challenge Trials.

Алдис Сиполинс – исследователь иммерсивных технологий. Алдис защитил кандидатскую диссертацию в области визуального познания и деятельности человека в Университете Иллинойса в 2015 году. Он основал исследовательскую лабораторию по изучению когнитивных способностей с помощью Oculus DK1, а затем стартап в Сан-Франциско, разрабатывающий видеоигры для тренировки мозга в виртуальной реальности. 

Позже он присоединился к IBM Research в качестве главы отдела виртуальной реальности и игрового дизайна. Сегодня он руководит исследованиями и разработками в области AR/VR в Draper Laboratories. В настоящее время г-н Сиполинс имеет 23 патента.

Энтони Стид – руководитель Группы виртуальных сред и компьютерной графики факультета компьютерных наук в Университетском колледжа Лондона. Более 25 лет занимается разработкой систем виртуальной реальности и других форм пользовательского интерфейса.

Энтони получил награду IEEE VGTC за технические достижения в области виртуальной реальности в 2016 году. Недавно он был приглашенным исследователем в Microsoft Research, Редмонд, и научным сотрудником в Лабораторию технологий интерфейса человека в Крайстчерче, Новая Зеландия.

Доктор Лейла Такаяма занимается исследованиями в области взаимодействия человека и робота, она доцент инженерной школы Баскина в Калифорнийском университете в Санта-Круз. По этим проблемам Лейла выступала на площадке TED, консультирует технологические компании и некоммерческие организации в Hoku Labs. 

Ранее Такаяма была старшим исследователем в GoogleX, а также научным сотрудником и региональным менеджером по взаимодействию человека и роботов в калифорнийском стартапе Willow Garage. Она была членом Совета глобального будущего Всемирного экономического форума. В 2015 году Лейла удостоена премии Early Career Award от сообщества IEEE Robotics & Automation. В 2012 году Лейла Такаяма была названа Fast Company  одной из 100 самых креативных людей в бизнесе и вошла в список TR35 - 35 лучших инноваторов по версии MIT.

Райан Труби является научным сотрудником лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института. Он занимается проектированием и созданием роботов, проблемами применения мягких сенсорных манипуляторов.

Райан защитил кандидатскую диссертацию по прикладной физике в Гарвардском университете, где он разработал систему 3D-печати для изготовления мягких роботизированных систем. Его исследования также охватывают разработку 3D-печатных конструкций васкуляризированных тканей и мышц, мягкой электроники и архитектурных материалов. 

Элеонора «Нелл» Уотсон родилась в Северной Ирландии, занимается проблемами машинного интеллекта. Она работает в компании QuantaCorp, где помогла внедрить технологию Deep Machine Vision, которая позволяет быстро и точно измерить тело по двум фотографиям. Она опубликовала учебник по основам машинного интеллекта.

Нелл является заместителем председателя комитета IEEE P7001, разрабатывающего новые стандарты безопасности для автономных систем, а также соучредителем и председателем EthicsNet.org, сообщества по проблемам взаимодействия машин и человека.

Пегги Ву – занимается  исследованиями в области психологии и дизайна в сочетании с передовыми технологиями. Целью является внедрение в нашу жизнь инноваций в области искусственного интеллекта, виртуальной /дополненной реальности и робототехники, а также повышение эффективности взаимодействия человека с машинами на земле и в космосе. Она выиграла множество исследовательских грантов НАСА, Министерств обороны и энергетики США.

Пегги Ву имеет шесть патентов США и один в Европе. Ее работы освещалась BBC, National Geographic, Discovery Magazine, PC Magazine, Physics Today и другими СМИ.

Пегги принимала участие в оценке аватара Джонни, она была оператором системы.

Ясуёси Ёкокоджи защитил кандидатскую диссертацию в области машиностроения в 1991 году в Университете г. Киото, Япония. В настоящее время он является профессором кафедры машиностроения в Высшей школе инженерии Университета в г. Кобе.

Более 30 лет занимается исследованиями систем дистанционного управления и тактильных интерфейсов. Д-р Ёкокоджи – первым дистанционно управлял с земли роботом-манипулятором, установленным на спутнике (ETS-VII) в 1999 году.

Он был сопредседателем и членом редакционного совета конференции по тактильным интерфейсам (World Haptic) в 2007, 2009 и 2011 годах.

-------

Финалисты конкурса были выбраны по результатам тестирования аватаров, лично выполненного судьями. Все они имеют опыт значимых исследований в разных областях, так или иначе касающихся взаимодействия человека с роботами. 

Создание подобных интерфейсов взаимодействия является важной составляющей процесса внедрения роботов-аватаров в нашу жизнь. Ведь персональные роботы в недалеком будущем  должны стать незаменимыми помощниками человека не только на производстве. Их ждут в офисах, медицинских учреждениях и в быту. Они должны стать такими же привычными инструментами для людей, как сегодняшние автомобили и смартфоны.

Поэтому помимо создания самих технологий, перед всеми инноваторами, командами, компаниями стоит задача популяризации функциональности, которую сегодня мы называем аватаром. А именно - это перемещение в другое пространство без физического перемещения.