Один из самых эффективных способов научить роботов выполнять полезные задачи в реальном мире — обучать их в симуляциях. Исследователи Facebook AI Research представили Habitat 2.0, платформу моделирования нового поколения, которая позволяет обучать роботов не только перемещаться по фотореалистичным трехмерным виртуальным средам, но и взаимодействовать с объектами так же, как в реальном пространстве.

Habitat 2.0 основана на первой версии AI Habitat с открытым исходным кодом, но отличается более высокой скоростью обучения, а также интерактивностью. В этой среде агенты ИИ могут легко выполнять действия, получая тот опыт, для которого в реальной среде нужно проходить обучение в течение нескольких лет. 

Habitat 2.0 также включает новый полностью интерактивный набор трехмерных данных о внутренних помещениях и новые тесты для обучения виртуальных роботов в этих сложных сценариях. Теперь исследователи ИИ могут выйти за рамки простого создания виртуальных агентов в статических трехмерных средах и приблизиться к созданию роботов, которые могут легко выполнять полезные задачи, такие как наполнение холодильника, загрузка посудомоечной машины или получение предметов по команде и возвращение их на место.

Новый набор данных Habitat 2.0, ReplicaCAD, работает на ранее выпущенном для трехмерных сред наборе данных Reality Lab, но адаптирован для поддержки движения и манипулирования объектами. В ReplicaCAD ранее статические 3D-сканы преобразованы в отдельные 3D-модели с физическими параметрами, прокси-формами столкновений и семантическими аннотациями. Чтобы создать новый набор данных, в Facebook AI использовали команду 3D-художников для воспроизведения идентичных визуализаций пространств в Replica, но с акцентом на спецификации, относящиеся к их составу, геометрии и текстуре. Интерактивные модели также включают информацию о размере и трении, наличии отсеков у объекта для задачи (например, полок в холодильнике). 

Исследователи также создали ряд возможных вариаций каждой сцены и разработали систему для создания реалистичного беспорядка. Объекты в симуляциях могут вращаться вокруг оси или сдвигаться. Платформа пока не поддерживает деформируемые материалы, жидкости, пленки, ткани и веревки, а также аудио или тактильное восприятие. 

ReplicaCAD содержит 111 уникальных макетов единого жилого пространства и 92 объекта, созданных художниками. Набор данных будет распространяться по лицензии Creative Commons с указанием авторства (CC-BY-NC). 

Платформа может имитировать робота Fetch, взаимодействующего в сценах со скоростью 1200 шагов в секунду (SPS), в то время как существующие платформы обычно работают со скоростью от 10 до 400 SPS. Habitat 2.0 также хорошо масштабируется, достигая 8 200 SPS для нескольких процессов на одном графическом процессоре и почти 26 000 SPS на одном узле с 8 графическими процессорами. Такие скорости значительно сокращают время экспериментов от нескольких месяцев всего до пары дней. 

Набор данных ReplicaCAD и симулятор Habitat 2.0 позволяют создать новую библиотеку вспомогательных задач по дому под названием Home Assistive Benchmark (HAB). Они включают как общие задачи типа сервировки стола, работы с холодильником и уборки дома; навыки робота, такие как навигация, выбор, место, открытый ящик шкафа, открытая дверь холодильника и другие; конфигурацию агента. HAB требует, чтобы роботы не имели никаких предварительных знаний об окружающей среде и работали исключительно с датчиками, такими как камеры RGBD, датчики движения и положения суставов.

Ранее в Facebook AI создали новую модель передвижения робота, которая адаптируется в реальном времени к любой местности, изменяя походку, чтобы продолжать движение по песку, камням, лестницам и другим поверхностям.