3D-окружение еще сложно для восприятия слабой формой ИИ, что влечет за собой проблемы компьютера при прохождении таких игр
При помощи видеоигр современные специалисты по искусственному интеллекту собираются обучать ИИ методам преодоления препятствий и решения возникающих проблем «на ходу». К примеру, сотрудники DeepMind совместно с Blizzard превратили StarCraft II в среду для обучения слабой формы ИИ. В прошлом году система искусственного интеллекта Google самостоятельно освоила 49 старых игр Atari.
И речь идет не о системе, интегрированной в игру (вроде AI-противников в файтингах, футбольных симуляторах или симуляторах гонок), которой прекрасно известны условия и правила. ИИ, который обучают разработчики в компьютерных играх сейчас, поставлен в равные с человеком условия. Система наблюдает за картинкой на экране, обучаясь методам проб и ошибок. И такая программа способна находить решение не только в играх, она пригодна для поиска решения в самом широком кругу задач, независимо от правил или условий.
Группа студентов из Технологического университета Израиля недавно заявила о своей разработке, системе Retro Learning Environment (RLE). Это программная платформа, которая позволяет обучать ИИ на примере многих игр 90-х годов, включая те из них, что выходили для консолей Nintendo и Sega. Это, например, многим известные F-Zero, Wolfenstein, и Mortal Kombat. По словам разработчиков, для ИИ многие игры оказались сложными, некоторые система так и не научилась понимать и проходить. Зато RLE отлично научилась играть в Mortal Kombat. Результаты своей работы специалисты изложили в статье на arXiv. ИИ неоднократно смог вчистую выиграть у противника-человека. И этим противником был отнюдь не новичок. В статье указано, что компьютеру противостоял опытный игрок в Mortal Kombat.
В Wolfenstein, где объемные уровни, плюс необходимо ориентироваться при прохождении лабиринта и определять ряд объектов, система показала не слишком хороший результат. В Gradius III RLE смогла изучить технические аспекты игры, которые включают необходимость уничтожения встречающихся врагов с последующими действиями. Но система не смогла показать лучший результат, чем у игрока-человека. Здесь необходимо улучшать способности персонажа встречающимися артефактами. Чем больше артефактов игрок пропускает — тем тяжелее проходить игру. Компьютер практически не обращал внимания на power-up объекты, что значительно усложнило процесс прохождения.
То, что программа смогла научиться играть в компьютерную игру настолько хорошо, что стала выигрывать у человека — несомненная заслуга разработчика. Для компьютера научиться проходить игру методом проб и ошибок не так просто, это сложное задание, которое преодолевают немногие программные платформы. «Если алгоритмы могут играть в сложные игры, то мы можем начать работу над внедрением таких систем в реальном мире, для решения реальных проблем», — заявил Шай Розенберг, один из авторов исследования. «Подобно тому, как ребенок учится играть в игры, компьютер тоже видит лишь информацию на экране. Они (и ребенок и компьютер) учатся избегать препятствий и решать проблемы для получения максимального вознаграждения», — продолжает он.
ИИ неплохо научился играть как в Boxing на Atari, так и в Mortal Kombat, просто «глядя на экран» и оценивая последствия своих действий в игровой среде
В реальном мире умение компьютерных систем учиться на своих ошибках и предсказывать последствия некоторых «поступков» может пригодиться во многих сферах. Роботы могут перемещаться по сложным пространствам (коридорам помещений, например) с большим количеством препятствий, не сталкиваясь с ними. Любая небольшая ошибка, допущенная компьютером, будет им учитываться в следующий раз, при выполнении такой же или схожей задачи.
По словам Розенберга, RLE может научиться проходить и более сложные игровые системы, а не только играть в SNES-игры. Следующим этапом проекта будет освоение игр платформы PlayStation. Правда, пока что израильские разработчики сосредоточены на том, чтобы научить свою систему проходить большую часть осваиваемых игр. То, что компьютер научился играть в Mortal Kombat этот хорошо, но недостаточно — все же значительная часть игр «осталась за бортом», RLE не смогла их освоить.
Результаты прохождения разных игр системой RLE с использованием различных алгоритмов прохождения
«На последующих этапах мы считаем возможной и даже относительно легкой задачей адаптацию нашей обучающей системы к более сложным играм, включая, например, Grand Theft Auto», — заявили разработчики. Сейчас, к сожалению, игры типа Grand Theft Auto V ИИ недоступны — слишком уж они сложные.
Исходный код своей системы разработчики сделали открытым и выложили на Github. Получить исходники можно здесь.
Комментарии (26)
Karpion
13.11.2016 22:07-7«Ути-пути, наш маленький Скайнет уже играет в компьютер!»
(Не моё, где-то видел и запостил по памяти.)
Уж лучше бы научили компьютер чему-нибудь полезному!
binarydao
13.11.2016 22:29+4Ну вы вот первые годы своей жизни тоже обучались, играя. Попробуйте двухлетнего ребёнка сразу учить «чему-нибудь полезному».
Suruks
14.11.2016 01:14+1Прежде чем учить компьютер чему-то полезному, нужно научить его учиться. А игры — готовые вирутальные пространства с готовыми задачами — идеальные тренировочные площадки для того, чтобы оттачивать алгоритмы.
Timoschenko
14.11.2016 01:14«Ути-пути, наш маленький Скайнет уже играет в компьютер!»
Выходит что так! :) Какое-то двуякое чувство, и радость из за прогресса, и как-то стремно тоже чуть-чуть.
perfect_genius
13.11.2016 22:28+2игры типа Grand Theft Auto V’s Los Santos
Автор, ну как же так можно не знать такую игру \(о_о)/
Zarxonius
14.11.2016 01:15С появлением ИИ фреймворка, команды, поддерживающие ММО с сильной гриндовой составляющей ждут тяжелые будни.
daiver19
14.11.2016 15:03Задачи гринда уже многие годы как решаются простыми ботами. А ботоводов давно банят волнами. Так что просто продолжение «гонки вооружений».
alex73
17.11.2016 14:08С ботами ориентирующимися на экран и изображающими нажатия кнопок, могут быть проблемы, слишком трудно отличить от игрока.
Siroejka
14.11.2016 09:55+3Сразу вспомнил своего одноклассник, Вову Котыбаева, который к слову был круглым двоечником, но что касается игр, то ему не было равных. Например в игре Mortal combat 3 на приставке сега он мог с выкрученной яркостью до чёрного экрана на телевизоре, пройти всю игру на максимальном уровне сложности. Так же он подобрал бруталити для всех бойцов, поэтому задолго до появления в журналах этой информации весь двор уже пользовался его инструкциями. В школе его потенциал так и остался не раскрытым)
Firsto
15.11.2016 07:01Напомнило:
Невидимый тетрисElikNat
17.11.2016 14:08Фигасе, ИИ научился играть в Boxing на Atari (зеленый скриншот слева от скрина МК), а я так и не понял в детстве, что это «боксеры, вид сверху». Так и играл, думая, что это профили каких-то Е-образных «чужих», умеющих колотить странными верхними и нижними щупальцами.
odissey_nemo
17.11.2016 14:13Нельзя ли отсюда сделать вывод, что чем проще ИИ научить играть в ту или иную игру, тем она тупее и примитивнее?
Если да, то появляется неплохой объективный (количественный?) критерий оценки компьютерных игр с т.з. затрат интеллекта в процессе игры.
Marwin
ну в МК компу играть однозначно проще хотя бы тем, что он вкурсе (уж эти-то правила ему занесли заранее) всех возможных приемов и комбо своего перса и может их применять в отличие от не гуру-человека. И за счет них можно выехать в большинстве ситуаций даже с худшей тактикой.
barker
Суть всего этого тут совсем в другом, а именно «просто «глядя на экран» и оценивая последствия своих действий в игровой среде».
rkfg
Судя по коду, нет, занесены только возможные нажатия кнопок и их комбинации для получения различных базовых приёмов. Дальше система сама должна обнаружить комбо и их эффективные последовательности.
Welran
В МК первом вроде комб вообще не было. Они появились в третьем МК.
olegkrasnov
Комбы были во всех комбатах.
Welran
Комбо это серия не парируемых ударов (в последних версиях можно прервать при наличии энергии) типа (за точность не ручаюсь) сайрексом удачно кидаешь сетку, низкий удар ногой, низкий удар ногой, высокий удар ногой, высокий удар рукой, ближняя бомба, дальняя бомба, апперкот все вместе на 50% хп. Как только ты ловишь противника в сетку он уже не сможет никак предотвратить потерю 50% жизни. (В третьем только у сайрекса и кабала были комбы на 50 и больше % хп). И такие комбы появились только в 3 комбате. Не путайте со спец ударами и фаталити. Вроде 80го года рождения неужели в первый комбат не играли?
olegkrasnov
Ну может различие в терминологии. В моём понимании комбо это последовательность движений, активирующая дополнительную опцию (не обязательно не парируемую). В первый комбат мало играл, в основном в МК2.
Кстати, во втором комбате есть непобедимый воин. Это Лю Кейн. Если выбрать его (и уметь им пользоваться), то оппонент гарантированно будет проигрывать, если выберет любого персонажа, отличного от Лю Кейна.
kprohorow
Совершенно верно. Комбо не было до MK3.
charypopper
Верно. Но надо сказать, что в 3ем МК, комп бы, скорее всего, не дал бы даже дернуться человеку. Комбо-вомбо, максимально эффективный подход и снова. Поэтому 1ый МК в этом получше.
lpwaterhouse
Так а какая разница? Рано или поздно она все равно выяснит все комбо и уже не забудет их. Преимущество перед средним игроком очевидное.
rkfg
Разница очень даже большая. Если комбо забиты заранее, это не только даёт преимущество, но и снижает ценность работы — обучение идёт уже не от условного нуля. А так сеть самостоятельно выясняет выигрышные комбинации, причём, как и человеку, ей нужно связать мощное комбо с конкретными нажатиями клавиш. Конечно, у неё теоретически может быть лучше память, но в остальном я не вижу какого-то несправедливого преимущества перед обычным внимательным игроком (зачем равняться на «среднего»? Наша цель — победить лучших!).
SanekPlus
В мортал вообще не сложно победить зная базовые приемы, при условии скорости реакции выше чем у оппонента.
Прыгнули, на тебя = апперкот,
Подбежали = удар рукой,
Стрельнули = прыгнул на него с ногой,
…
:))
QDeathNick
Меня друзья иногда заставляют играть в Tekken, так у меня любимая тактика — взять джойстик боком, как дудочку, мне так нажимать легче, не устаю, и я довольно часто выигрываю не глядя на экран, просто слушая звук, быстро нажимая на много кнопок. Очень похоже на обучение ИИ. Если не слышу результативные удары, значит надо немного сменить набор нажимаемых кнопок. Как пошли удары, продолжаем жать те же кнопки. Вот если совсем не иметь обратной связи, то процент побед уже становится меньше 50.
Я иногда и не смотрю какой там персонаж случайно выбрался. Главное в этой игре чтобы пальцы не уставали нажимать быстро и более менее разнообразно.
Firsto
Я как-то задумывался, что не я один так играю.