Искусственный интеллект AlphaStar, который разработала команда Google DeepMind, вошёл в «Элитную лигу» игроков StarCraft II — то есть попал в список 200 лучших игроков мира. Об этом сообщает научное издание Nature.
AlphaStar способен играть за три расы, представленные в Starcraft II: зергов, протоссов и терранов. Как утверждает Nature, AlphaStar не имел никакого особенного преимущества перед обычными игроками, его соперники не знали, что играют против машины. Попадание AlphaStar в «Элитную лигу» означает, что ИИ играет лучше, чем 99,8% игроков-людей.
«Меня очень впечатлил стиль игры AlphaStar. Она очень умело оценивает свою стратегическую позицию и точно знает, когда должна вступить в сражение с соперником, а когда стоит отступить. При этом я не чувствовал, что играл со сверхчеловеком, которого в принципе нельзя превзойти. Мне казалось, что мне противостоит реальный человек», — прокомментировал игру ИИ Дарио Вюнш, один из известных игроков в Starcraft II.
Система AlphaStar добилась успеха в Starcraft II ещё в январе текущего года. Она с большим перевесом победила одного из лучших в мире игроков в Starcraft II, поляка Грегоржа Коминча. Однако игра первой версии бота, как отметили в комментарии Nature создатели AlphaStar была неестественно хорошей: машина могла выполнять намного больше действий, чем профессиональные игроки-люди, так как ей не нужно было двигать мышкой и нажимать на кнопки. Также ИИ мог видеть большую часть карты, чем люди.
Впоследствии разработчики ограничили возможности ИИ, чтобы её игра с людьми была более «честной». Кроме того, сотрудники Google и DeepMind поменяли систему обучения AlphaStar. Они заставили ИИ играть не с собой, а с разными версиями самого себя, благодаря чему ИИ смог разработать более сложные стратегии.
На сегодня ИИ Google вышел на гроссмейстерский уровень в Starcraft II. Как считает британский программист Дэвид Сильвер, один из создателей AlphaStar, это означает, что ИИ уже в состоянии решать сложные задачи и в других, более серьёзных сферах.
«История прогресса в развитии ИИ напрямую связана с играми. После того как нейросети победили человека в шахматы, го и покер, Starcraft стал следующей большой научной задачей. Мы решили ее, используя универсальные методы обучения ИИ, которые можно применить и для решения других сложных проблем», — заявил Сильвер.
ИИ AlphaStar был разработан на базе двух нейронных сетей. Одна нейросеть оценивает позицию игрока на карте, доске или поле, а вторая использует результаты этой оценки, чтобы сделать ход.
ИИ Google DeepMind уже добился успеха в шахматах, го и покере. В мае 2017 года ИИ AlphaGo, специально созданный для игры в го, провёл матч с чемпионом мира по го Ли Седолем. AlphaGo выиграл со счетом 4:1. Позже успеха в го добился и ИИ AlphaZero, после чего разработчики оптимизировали AlphaZero для компьютерных игр.
Первым опытом ИИ в компьютерных играх стал популярный шутер Quake III Arena. Вероятность победы команд под управлением ИИ достигала 74%. У людей-игроков — всего 52%. В апреле текущего года ИИ Open AI Five победил одну из сильнейших команд мира OG в игре Dota 2. В этом случае машина также обучалась самостоятельно, играя сама с собой. ИИ потребовалось 45 тысяч часов, чтобы «вникнуть» в Dota 2.
Google и DeepMind — не единственные компании, которые выводят искусственный интеллект в мир игр. Например, специалисты Университета Карнеги-Меллона в сотрудничестве с Facebook в июле 2019 создали ИИ-систему для игры в покер. Система носит название Pluribus. Машина способна добиться успеха в игре с пятью соперниками.
Комментарии (26)
wsf
31.10.2019 17:25+2Какая-то странная статья, выглядит как компиляция каких-то поверхностных фактов с определенным выводом и порождает больше вопросов чем дает ответов. Собственно:
1. Топ-200 игроков, ок, но какие ограничения используются для дипмайнда? В ранних версиях он вполне себе читерил с обзорностью карты, якобы «человеческой» реакцией, и моментальным распознаванием юнитов которые не скрыты туманом войны, видны на миникарте, но не присутсвуют на экране.
2. Dota — если мне не изменяет память там была наложена куча ограничений на игроков — урезанный пул героев, забанена часть предметов, отсутствие невидимости.
Если урезать возможности ботов до реальных человеческих возможностей в sc2 и заставить его сражаться на полной механике dota2 будет ли он так силен как это преподносится в статье?
Firz
31.10.2019 17:35+2В ранних версиях он вполне себе читерил с обзорностью карты, якобы «человеческой» реакцией, и моментальным распознаванием юнитов которые не скрыты туманом войны, видны на миникарте, но не присутсвуют на экране.
Он не брезговал даже видеть невидимых юнитов, которые на 1 кадр были видны своим размытием в другом углу карты.(кто не знает, в Starcraft 2 невидимые юниты не совсем невидимы, они никак не отображаются игроку, юниты не будут их атаковать, но их можно различить при должном умении — они прозрачно-стеклянные и немного смазывают картинку в месте где находятся)
Vest
01.11.2019 01:02Да. Там ещё было то, что сначала у него был слишком высокий АРМ (actions per minute), а потом его снизили до привычного хм… гроссмейстерского (не помню сколько, кажется около 400-500), и он снова победил, при том, что реальный игрок не усваивает информацию так быстро и часто просто промахивается (нервы или юниты ушли в сторону).
EviGL
31.10.2019 19:17В ладдерной версии, которая использовалась для данных этого исследования он всё ещё читерил: пруф. Чтобы получить 100% понимание ситуации, стоит посмотреть весь часовой видос, но по таймингу ссылки конкретный бесспорный пруф.
Да, конечно, уже не та имба-версия, но её нельзя назвать честной.
skyeff
31.10.2019 17:27+4Как утверждает Nature, AlphaStar не имел никакого особенного преимущества перед обычными игроками, его соперники не знали, что играют против машины.
Да, да. Только совершенно случайно имеет вижн на всю карту. Умеет отдавать команды зданиям и юнитам не выделяя их. С бешеной скоростью меняет составы групп юнитов. И который при этом не может запомнить что он только что заказал и отменил пять старгейтов подряд и заказывает шестой.C_21
31.10.2019 18:21+1Видя на карте одним кадром дарков, заказывает робо и пять обсов в очередь. Хотя на карте есть старгейт и оракул.
C_21
31.10.2019 18:15+1Попадание в GML вообще не чего не значит. Лучше бы написали какой у него процент побед в разных играх и перестал ли он четерить. Например господин Медоед, тот который якорь сборной России, тоже в GML играет.
Не чего человеческого у AlphaStar и близко нет и говорить о превосходстве над человеком очень рано.
upd. Одной стратегией за протосов, которая: робо два има, призма, 6 гейтов, доварп сентрей — можно смело выйти в элитную лигу с процентом побед примерно 55~60. Но это не сделает из игрока прогеймера.
wataru
31.10.2019 18:28+1Присоединюсь к остальным комментаторам: Альфастар не показывает какие-то особо умные стратегии и выигрывает только за счет нечеловеческой скорости реакции и отдачи команд.
Этакий очень навороченный айм-бот. Но, надо отдать должное, это айм-бот, которому никто не писал как целиться. Он сам этому научился, и это невероятно круто.
yefrem
31.10.2019 18:52Речь в статье уже о другом боте, не том же, который накликивал 2к АРМ и видел всю карту. Игры нового легко находятся на youtube. И вроде как он не читерит уже, но по последнему, что я видел — таки без шансов проигрывал всем про-игрокам (за очень редким исключением) и многим не-про из высоких лиг. Если он теперь вышел в топ-200, то, видимо, действительно неплохо подкачался.
C_21
31.10.2019 19:22Количеством игр берет, а не качеством.
Его нельзя подкупить. С ним не договориться. Ему не ведомы жалость, раскаяние или страх. И он ни за что не остановится. Никогда.
Regis
01.11.2019 04:50матч с чемпионом мира по го Ли Седолем
А когда это Ли Седоль стал "чемпионом мира по го"?
AlexKarpan
01.11.2019 11:23Я регулярно смотрю трансляции одного известного отличного комментатора по SC2 — Alex007.
Вот его разборы игр с этими ботами: https://www.youtube.com/user/Alex007SC2/search?query=%D0%B0%D0%BB%D1%8C%D1%84%D0%B0%D1%81%D1%82%D0%B0%D1%80
Навскидку: да, играют неплохо, но сильно не дотягивают до уровня мастеров-людей и немного читерят. Например, вместо «стенки» на своей базе (здания, которые строят так, чтобы загородить проход на свою базу), боты исполняют нечто похожее, но приблизительно — строят с дырками, через которые можно пройти, чем сводят полезность своей «стенки» почти до нуля.tonad
01.11.2019 15:40Например, вместо «стенки» на своей базе (здания, которые строят так, чтобы загородить проход на свою базу), боты исполняют нечто похожее, но приблизительно — строят с дырками, через которые можно пройти, чем сводят полезность своей «стенки» почти до нуля.
Это логика человека. А бот возможно высчитал, что такая стенка эффективнее сплошной, так, как дает возможность всегда разменяться в плюс и гарантировано защитится. Не потеряв деньги и время при демонтаже, когда нужно будет стенку убирать.C_21
01.11.2019 16:03Простите, но вы пишите полную чушь. Вы starcraft хоть раз запускали?
А бот возможно высчитал, что такая стенка эффективнее сплошной,
Сплошную стенку человек строит только в двух случаях, в первом случае когда идет в олыновую атаку и закрывается наглухо от контр атак. Во втором случае от олына линго-бейнами, пролета адептов, дарков, либо нужно хоть как то потянуть время, что бы отбиться. Во всех остальных случаях всегда остается проход в одну или две клетки для прохода своих юнитов.
Не потеряв деньги и время при демонтаже, когда нужно будет стенку убирать.
Нет не одного разумного сценария, при котором человек будет убирать правильную стенку. И поэтому деньги человек не тратит.
tonad
01.11.2019 16:16Простите, но вы пишите полную чушь. Вы starcraft хоть раз запускали?
Да, и не раз… и стримы тоже смотрел… Но это не имеет отношения к сути. Тут человек который проиграет боту, говорит, что этот бот делает что-то не правильно ) Боту который играет лучше 99,8% игроков ) Смешно.
Сплошную стенку человек строит только в двух случаях
Бот не должен играть как человек. Бот играет как бот, используя свои возможности. Там где человек не сможет в микро, бот сможет. Там где человеку будет сложно контролировать несколько одновременных стычек, боту вообще без проблем.
Нет не одного разумного сценария, при котором человек будет убирать правильную стенку.
Отличный ответ. Если стенку убрали, значит она была не правильная. О том, что игровая ситуация может меняться не будем упоминать.
C_21
01.11.2019 16:35Да, и не раз… и стримы тоже смотрел… Но это не имеет отношения к сути.
Еще как имеет. Если вы не умеете играть в игру, как вы можете судить об игровой механики?
Боту который играет лучше 99,8% игроков
Вы не понимаете откуда взялась эта цифра.
Бот не должен играть как человек. Бот играет как бот, используя свои возможности. Там где человек не сможет в микро, бот сможет. Там где человеку будет сложно контролировать несколько одновременных стычек, боту вообще без проблем.
AlphaStar представляют нам как самообучающуюся нейросеть и я хочу верить, что это помжет в создании боллее сложных систем, а в будущем ИИ. Вам же подавай тупого бота, который тупым накликиванием обыгрывает людей. Такие боты есть давно в любых шутерерах, например cs1.6.
Если стенку убрали, значит она была не правильная. О том, что игровая ситуация может меняться не будем упоминать.
Хоть один разумный сценарий, в любом матче с любыми расами, где правильная стенка будет убираться?tonad
01.11.2019 16:50Если вы не умеете играть в игру, как вы можете судить об игровой механики?
Я умею. Играю с первого старкрафта и второго пентиума. Куплены и сыграны все официальные аддоны. Играл в ладдер, с его появления.
Но это не имеет отношения к сути.
Вы не понимаете откуда взялась эта цифра.
Вы считаете, она не правильная? )
AlphaStar представляют нам как самообучающуюся нейросеть и я хочу верить, что это помжет в создании боллее сложных систем, а в будущем ИИ. Вам же подавай тупого бота, который тупым накоикиванием обыгрывает людей.
Что за привычка делать заявления вместо меня? То я не знаю откуда цифра появляется, то вдруг мне тупого бота подавай… Ничего подобного, Вы не правы.
Я всего лишь говорю о том, что слова какого-то комментатора о том, что бот что-то делает неправильно слишком категоричны, и воспринимать их следует с долей скептицизма.
Хоть один разумный сценарий, в любом матче с любыми расами, где правильная стенка будет убираться?
А, так Вы теоретик. Покажите хоть одну игру, прошедшую строго по сценарию…
C_21
01.11.2019 17:32Вы считаете, она не правильная? )
Конечно она не правильная. 99,8 это всего лишь процент всех игроков, которые не попадают в GML.
Я всего лишь говорю о том, что слова какого-то комментатора о том, что бот что-то делает неправильно слишком категоричны, и воспринимать их следует с долей скептицизма.
Бот подсмотрел как люди делают стенки, но даже скопировать не может правильную постановку стенки. И в своих играх ставит кривые стенки, которые уменьшают шанс на победу. Если действие приводит к уменьшению вероятности победы, значит это действие неправильное. Машина эту логику понимает, но выполнить правильное действие пока не умеет. Поэтому я и остальные комментаторы и заявляем, что бот ни разу не прав.
А, так Вы теоретик. Покажите хоть одну игру, прошедшую строго по сценарию…
Я как раз практик. Перефразирую: покажите или приведите пример игровой ситуации, в любом матче с любыми расами, где правильная стенка будет убираться?tonad
01.11.2019 20:03Бот подсмотрел как люди делают стенки, но даже скопировать не может правильную постановку стенки.
Бот натренирован на игре с самим собой… Что значит подсмотрел.
Перефразирую: покажите или приведите пример игровой ситуации, в любом матче с любыми расами, где правильная стенка будет убираться?
Окей…
нужно хоть как то потянуть время, что бы отбиться
Время потянули, отбились, стенку разобрали. Человек ставит сплошную стенку, бот может высчитать, хватит ли ему юнитов, что бы отбиться с не сплошной стенкой.
Бот проводит тысячи матчей сам с собой, если бы сплошная стенка была выгоднее, уверен, он бы ставил сплошную. Или там было поражение бота из-за того, что стенка не сплошная? тогда я дурак…wataru
01.11.2019 21:04Бот натренирован на игре с самим собой… Что значит подсмотрел.
Сначала он просмотрел кучу записей человеческих игр, а уже потом стал параллельно тысячи часов играть сам с собой.
ivanrt
03.11.2019 07:31Есть несколько примеров, где видно рудиментарные моменты копирования человека, стенка одно из них. Разбирать её не надо, достаточно опустить. Речь идёт о terran, о боте у которого большие проблемы со строительством, взять хотя-бы игры где у него танки застряли на базе из-за плохой застройки.
Фактически там 9 ботов, на каждую комбинацию рас. Некоторые боты устраивают один и тот-же all-in (TvP), (ZvT). Некоторые боту более интересные с точки зрения логики, например PvZ бот.
Если посмотреть последние игры ботов, то видно что они почти все проиграны. Боты уперлись в потолок своей игры. Они довольно сильно уязвимы к нестандартному стилю игры. Даже в алмазной лиге (топ 20%) я видел игру где бот проиграл нестандартной mass-raven стратегии. Еще видно что некоторые про-игроки нашли местами защиту от all-in стратегий ботов.
Плюс DeepMind-у, что они запустили только 9 вариантов ботов, а не тысячи. Людям понадобилось бы гораздо больше времени чтобы изучить все возможные стратегии ботов.
Вообщем, данная версия ботов врятли выиграет чемпионат по старкрафту. Но если снять или ослабить некоторые ограничения, то вполне. Хотя, я считаю что надо использовать raw-pixel бота который отдаёт клавиатурные и мышиные команда, а не использует API. Так будет чеснее.
C_21
01.11.2019 21:17Бот натренирован на игре с самим собой… Что значит подсмотрел.
Боту скормили тысячи реплеев, также бот учиться у людей.
Время потянули, отбились, стенку разобрали. Человек ставит сплошную стенку, бот может высчитать, хватит ли ему юнитов, что бы отбиться с не сплошной стенкой.
Хватит делать вид, что вы играть умеете и что вы хоть мало мальски представляете механику тех же стенок. Вы вообще не представляете зачем и для чего эти стенки делают и в каких ситуациях.
Может вы и начали играть со второго пенька, купили все игры, но вам это понимания игры никак не добавило.
Вернемся опять кнашим баранамстенке, бот может считать как нобелевский лауреат, без стенки он просто не отбивается в начале игры, человек же одним юнитом без потерь отбивается, но с правильной стенкой. И разбирать он её потом не будет, потому что проход в ней есть.
upd.
Вот вам видео от Алекса про стенки.
up7
Пора покупать и разорять онлайн покер румы? )
gohan
Румы не проигрывают мошеннику деньги, так как ничем не рискуют, а просто берут рейк со всех раздач. Обчистить можно только других игроков. Слухи ходят, что боты уже прилично обосновались там и успешно выкачивают деньги любителей. Не знаю, на всех ли уровнях такое, или пока что только на низких-средних ставках. Много лет не играл, не держу руку на пульсе.
Конечно, формально всё это запрещено, даже в виде программ-подсказчиков, но в реальности не особо-то их вычисляют и банят ботов. Понятно, что победить читерство в онлайне при всём желании не выйдет, так как в крайнем случае можно сажать жать кнопки человека, а подсказчика можно вообще на другом устройстве запускать. Пока что самим клиентом рума просто детектится просто какой-то запрещённый софт по чёрному списку, и то не везде. Возможно, где-то ведётся анализ каких-то ещё аномалий в поведении. Но когда я ещё играл, некоторые люди вычисляли команды ботов по их статам, которые совпадали в точности (у реальных людей полного совпадения вероятности разных действий по всем улицам попросту не может быть). Вроде, никакие жалобы в службу безопасности румов проблему ни разу не решали.