Участники конкурса совревнуются в нескольких играх на платформе Minecraft. Слева: игра Build Battle, где игрокам необходимо воссоздать структуру (в данном случае структура расположена на земле). Справа: игра Pig Chase, где агенты ИИ должны сотрудничать, чтобы загнать свинью в угол

Научно-исследовательское подразделение Microsoft Research завершает отборочный этап конкурса MarLO 2018 (Multi-Agent Reinforcement Learning in MalmO). Участники соревнования представили агентов ИИ, способных на обучение с подкреплением, которые смогут играть в несколько 3D-игр, как определено в платформе MalmO.

Целью конкурса является поощрение исследований в области общего интеллекта. Агенты ИИ обучаются не на отдельной конкретной игре, а на нескольких. Кроме того, они должны сотрудничать, что требует понимания намерений и целей друг друга (это важное свойство человеческого сознания). Так система будет более приспособлена для выживания в реальном мире.

Чтобы стимулировать более общий подход в обучении универсального агента ИИ, задача состоит не из одной, а из нескольких игр, в каждой из которых несколько заданий различной сложности и настроек. Некоторые из этих задач носят публичный характер, и участники могли обучаться на них. Другие, однако, оставались закрытыми, они будут используются только для определения окончательного рейтинга конкурса.

Организаторы конкурса — Microsoft, Лондонский университет королевы Марии и платформа crowdAI. Конкурс начался 27 июля 2018 года. Отборочный раунд заканчивается 31 декабря 2018 года. Финальный турнир будет проходить в автономном режиме через неделю после окончания отборочного раунда.

Игры и задания

Одной из главных особенностей конкурса является то, что агенты играют в несколько игр. Поэтому на конкурс предлагается несколько заданий. Задачи в игре могут отличаться друг от друга по расположению уровней, размеру, сложности и другим параметрам, зависящим от игры. На рисунке показано, как организованы игры и задачи на конкурсе.



Как видно, у каждой игры четыре задания, из которых два публикуются в открытом доступе, а два — секретные.

Для участия в конкурсе необходимо зарегистрироваться на crowdAI, а затем просто клонировать стартовый комплект конкурса на GitHub.

Платформа Malmo предоставляет API, который обеспечивает доступ к действиям, наблюдениям (т. е. местоположению, окружению, видеокадрам, статистике игр) и другим общим данным, которые есть на платформе Minecraft. С другой стороны, Marlo — это оболочка для Malmo, которая обеспечивает более высокий уровень API и более стандартизированную среду обучения с подкреплением для научных исследований.

Фреймворк написан как дополнение к фреймворку Gym от OpenAI, который является инструментарием для разработки и сравнения алгоритмов обучения с подкреплением, обеспечивая тем самым стандартную и знакомую платформу для учёных, разработчиков и популярных фреймворков.

Проект Malmo начат в 2015 году исследователем ИИ Катей Хофманн в Microsoft Research Cambridge, Великобритания. Хотя современные агенты ИИ продемонстрировали много достижений в разных играх, Катя искала игру, которая позволила бы ИИ освоить более широкий спектр навыков: «В тот момент, когда мы начали говорить о Minecraft, было очевидно, что это идеальная среда для исследований ИИ, — говорит она. — Это мир, к которому люди присоединяются без определённой цели». Таким образом, проект Malmo — платформа, построенная поверх Minecraft, где исследователи могут выполнять множество различных экспериментов с ИИ, а также сравнивать их результаты стандартизированным способом.

При тестировании конкурса Marlo в 2017 году участникам предложили только одну игру: поймать свинью. Конкурс 2018 года значительно сложнее: сейчас разработано три миссии, каждая из которых требует сотрудничества. Агенты должны понять, как распознать другого агента ИИ в окружающей среде, а затем найти способ работать вместе для достижения своей общей цели.

Если агент ИИ выдвигает гипотезу о целях другого агента, это можно назвать рудиментарной формой того, что психологи называют «моделью психического состояния» — человеческой способности понимать психические состояния и намерения других людей. Катя Хоффман надеется, что агенты ИИ в конечном итоге отточат эту способность, сотрудничая с игроками-людьми в Minecraft. «Тогда алгоритмы научатся сотрудничать с людьми и узнают, чего хотят люди», — говорит она.