Команда из OpenAI, лаборатории искусственного интеллекта в Сан-Франциско, соучредителем которой является Илон Маск, научила играть ботов в прятки. Боты также узнали, как использовать базовые элементы окружающей их виртуальной среды и как игнорирование законов физики может помочь им победить.
В апреле команда ботов, известных как OpenAI Five, победила команду, состоящую из полупрофессиональных игроков и одного профи, в компьютерной игре DOTA2. Боуэн Бейкер из OpenAI и его коллеги хотели узнать, можно ли использовать командную динамику OpenAI Five для выработки навыков, которые однажды смогут быть полезны для людей.
«Трудно представить, как бот DOTA выходит из игры и решает реальные проблемы», — говорит он.
Исследователи вывели своих ботов в симулированную среду, заполненную неподвижными стенами и подвижными коробками, и оставили их играть в прятки миллионы раз. У каждого бота был свой «взгляд на мир», и они не могли напрямую общаться друг с другом.
Сначала боты, которые должны были прятаться, просто убежали. Но вскоре они выяснили, что самым быстрым способом ввести в заблуждение ботов-ловцов было найти объекты в окружающей среде, чтобы скрыться за ними. Например, они узнали, что ящики можно использовать для блокировки дверных проемов и создания простых укрытий.
Ловцы, в свою очередь, поняли, что они могут перелезать через стены. Затем боты обнаружили, что играть в команде — передавать объекты друг другу или сотрудничать в укрытии — это самый быстрый способ победить.
«Как только одна команда изучает новую стратегию, это создает давление на другую команду, — говорит Бейкер. — Это действительно интересный аналог того, как люди развивались на Земле в постоянной конкуренции с другими организмами».
Но настоящий сюрприз произошел, когда боты начали использовать баги в симуляции физики окружающей среды. Боты-ловцы обнаружили, что они могут подняться в воздух с помощью некоторых элементов среды и сверху разыскать прячущихся ботов. Вторые же поняли, что они могут избавиться от этих элементов, протолкнув их через наружные стены под определенным углом.
Такие трюки показывают, что ИИ способен находить решения, которые люди упускают, говорит Бейкер. «Может быть, они даже смогут решить проблемы, о которых люди еще не знают».
Комментарии (30)
aidarchikable
19.09.2019 14:33+3Такие трюки показывают, что ИИ способен находить решения, которые люди упускают, говорит Бейкер.
Вроде как в Counter Strike люди играют так же используя баги карт и выпрыгивая за пределы карт.
Также есть отдельное направление в speedrun которое позволяет использовать баги игр.
Не вижу ничего нового что изобрели боты.
chupasaurus
19.09.2019 14:54В соревновательном CS любые способы просмотра сквозь текстуры считаются нарушением правил, и подобное фиксится ASAP. Аналогично с выходом за пределы карт, хотя надо понимать, что периметр глухой. Вот залезть на какую-нибудь коробку хитрым способом нарушением не будет.
ScreamPassion
19.09.2019 17:00просмотр да, а вот тонкий расчет и прострел, никогда не считались читерством, так же как с коробками, хотя фактически это можно считать тоже багом/фичей
(нет особой разницы, потому что как говорится — баг это хорошо задокументированная фича)игры, потому что в реальной жизни такой фокус в большинстве случаев не прокатит.
Oplkill
19.09.2019 21:51с чего бы прострел коробки в реальной жизни не катит?
ScreamPassion
19.09.2019 22:01Ну там ведь не только прострел коробок, я давно уже не играю, но в старых версиях (по которым и могу судить) там можно было через огромные бетонные стены только так прошибать)
Oplkill
19.09.2019 22:23а насколько именно толстые бетонные стены? Лёгкий гугл говорит, что оружие используемое во второй мировой войне вполне пробивало до 40см…
ScreamPassion
19.09.2019 22:40А еще легкий гугл говорит о том, что пробивание любого очень прочного предмета, в большинстве случаев сильно уменьшит поражающую способность пули, и цель стоящая за бетонной стеной, скорее либо не получит вообще никаких повреждений либо они будут незначительны. В любом случае, тема мне кажется недостойной дальнейшей дискуссии, т.к. проверить и что то доказать, лично у меня возможности нет)
Тем не менее, это не отрицает мою версию, пока кто то не докажет обратного)
AllexIn
19.09.2019 15:27+1Делается вид, что ИИ чё-то там нашел. Хотя правильнее было бы «наткнулся». После миллиона попыток тупого перебора и человек бы наткнулся на эти баги.
Вернее «баги» в данном случае они с точки зрения реализаторов, с точки зрения «ИИ» — это вполне себе часть мира. Потому что разницы между багом и запланированной фичей для такого «ИИ» — нет.
Ellarihan
19.09.2019 15:53Вот может и у нас весь квант.мех. это баги при работе со сверхмалыми числами.
saboteur_kiev
19.09.2019 17:34После миллиона попыток тупого перебора и человек бы наткнулся на эти баги.
Перед тем, как человек смог наткнуться, у него были миллиарды попыток для совершенствования своего механизма «интеллектуального перебора».
Статья конечно не содержит полезную техническую информацию, чтобы понять что именно сделал АИ, и насколько дешевле было бы это сделать программистам, но суть текущего исследования АИ в том и заключается — как запрограммировать базу, чтобы АИ доделал остальное сам.
Alonerover
20.09.2019 22:55«Делается вид, что ИИ чё-то там нашел. Хотя правильнее было бы «наткнулся».»
— Эволюция слепа, и даже не обладает разумом, но термин «эволюционный поиск» всё же существует и описывает вполне себе объективную реальность.
В принципе не столь уж и важна терминология — задумка достойна внимания и возможно скоро войдёт в нашу жизнь. Обучение нейросетей и МИ в виртуальной среде может многократно ускорить эволюцию этих технологий.
smind
19.09.2019 17:26Прочёл статью, из всего что написано понял только то что людям нужно научиться пропихивают предметы сквозь стены. Почему так много желтухи и так мало подробностей о том как учились боты, как всё это моделировалось?
khim
19.09.2019 19:31+1Поверьте, желтухи тут нисколько. Просто все, вот просто все новости написанные про вещи, которые выходят за рамки бытовухи — они вот так и устроены.
Мем про изнасилованного журналиста — он не на пустом месте возник. Журналисты просто иначе не умеют.
uhf
19.09.2019 18:08Логично, ведь машинное обучение, как и эволюция — это сильно оптимизированный брутфорс.
VDG
21.09.2019 00:30«оптимизированный брутфорс» — точно сказано, но всё равно посмотрите видео. Ловко и разумно действуют эти боты. Если такое сложное поведение смогли сформировать перебором, то это потрясающе.
algotrader2013
19.09.2019 21:14Прикольно. А ведь можно так и программы тестировать… Боту ведь все равно, учится через стены прыгать, или вываливать форму по эксепшену
khim
19.09.2019 23:05А смысл? В любой программе размером больше сотни строк (ну хорошо — тысячи, может быть) обычные фаззеры, без всякого искусственного интеллекта, находят столько ошибок, что никто не знает что с этим делать.
Ну пофигу всем, никому не интересны программы без ошибок, на самом деле. Интересны дешёвые программы… ну а если они будут без ошибок, то это хорошо, конечно, но главного требования никто не отменял…Alonerover
20.09.2019 23:20А если программу научить метапрограммированию? Чтобы она переписывала свой код по ходу игры/эволюции. Чтобы была самая настоящая эволюция, по принципу — чем хуже приспособлен, тем быстрее тебя выпилят соседние боты.
ads83
У вас очепятка в "чемпионов мира". Буквально первые два предложения из статьи по ссылке:
Исправьте пожалуйста, а то доверие ко всей статье и автору как-то теряется.
vics001
OG, являются чемпионами мира и в 2018 и в 2019, и они проиграли OpenAI в апреле 2019 со счетом 2:0.
ads83
Я пропустил эту новость, и хотел бы почитать подробности. Вы не могли бы подсказать хорошую статью по теме?
P.S. И если есть, видео с комментариями на русском. На английском какое-то уже нашел.
vics001
www.youtube.com/results?search_query=openai+vs+og
Напишу свое summary, так как есть статья на хабре (https://habr.com/ru/post/419399/). После победы лагерь комментариев, разделился на 2 части: да, это победа — нет, опять не все 150 героев и вообще это не Dota. С моей точки зрения, это вполне обычная Dota, возможно в 6-8 раз упрощенная. Тупо у OpenAI не хватило денег-времени на обучение всех героев, по их оценкам это стоило бы в 10^2 раз дороже, что и так очень дорого.
Самое интересно было позже, когда они открыли арену, где любой мог сыграть с ботами. Dota такая игра, где любую стратегию можно законтрить, что в принципе и случилось и одна полупрофессиональная команда одержала аж 9 побед подряд над ботами! После чего OpenAI быстро свернули арену и объявили, что боты побеждают 99%.
Я думаю, мораль такова, да фактор неожиданности победил людей, но коллективный мозг людей остался непобежден, потому что люди совместными усилиями разложили ботов буквально за 2 дня. OpenAI еще предстоит доказать, что они могут обучаться достаточно быстро, быстрее, чем люди будут распознавать их стратегии и обучение должно стать гораздо дешевле, ведь люди учатся играть в Dota с 150 героями за пару лет, а не за 1 миллион компьютерных часов.
MonkAlex
Я бы ещё отметил, что игры не были похожи на то, что обычно делают OG на турнирах.
Может просто играли не напрягаясь, может бот их в тупик поставил, непонятно.
vics001
Думаю им не дали сыграть в OG-доту, потому что она как раз очень похожа на сверхактивную доту ботов, не зря же на TI9 все шутили, что OG натренировался с ботами и теперь их дота еще сильнее.
Посмотрите игры, что проиграл OpenAI — это страдания людей до 40 минуты и выход в late game, игра от обороны 40 минут не сильная сторона OG.
MonkAlex
Ограниченный пик сильно влияет. Когда на героев тупо нет контрпика — это не та игра, это не дота =)
vics001
Да ладно был там контрпик, просто не было сигнатурных героев OG :)
ads83
За собственный комментарий — отдельное спасибо!
Как-то так получилось, что ваша ссылка на статью — про ту же самую полупрофессиональную команду, не про OG.
vics001
Согласен, что-то не то с Google поиском ) habr.com/ru/news/t/448138
AnnieBronson Автор
Уважаемый ads83 прав, с чемпионами OG OpenAI Five играла в другой раз. Спасибо за вашу внимательность, исправлено.