Прогресс искусственного интеллекта от OpenAI в освоении Dota 2 — лучшая иллюстрация мема «вот … тогда и посмотрим». Сейчас мы находимся в месте, где ИИ уже обыграл топовых игроков один на один, научился играть командой с обычными игроками, преодолел значительные ограничения, обыграл полупрофессиональную команду.
Следующий шаг — «вот обыграет лучшую команду в мире, тогда и посмотрим». Получится ли? Кто как считает.
Как идет подготовка
The International 2018 начался 15 августа. Сейчас идет командный этап турнира. Игра с ИИ будет идти вне рамок основного турнира, это будут только показательные матчи. Даты и условия еще не объявлены, но точно станут известны в ближайшее время. Пока люди бьются за выход в плей-офф, «команда ботов» тренируется.
Последний раз OpenAI подробно рассказывала о подготовке после победы в показательном матче в начале августа:
Наш стандартный подход к разработке — тренировать каждую крупную ревизию системы с нуля. Тем не менее, в текущей версии OpenAI Five учтены параметры тренировок между шестью крупными ревизиями системы, которые велись с 9 июня. Каждая следующая ревизия запускалась с учетом параметров из предыдущей.
16 августа технический директор OpenAI написал в твиттере, что ищет команды для тренировки последней версии.
Но пока, как он говорит, даже самые передовые ИИ-технологии не пофиксят себе баги сами.
Может ли OpenAI Five победить
Основной аргумент большинства скептиков — то, во что играет Five, это не Dota 2. Ограничения, необходимые для игры с ИИ, делают из «Доты» чуть ли не другую игру. Играя с Five, люди попадают в условия, к которым еще не успели приспособиться.
«Сейчас боты ведут себя слишком прямолинейно», — говорит Уильям Ли (Blitz), один из проигравших искусственному интеллекту, — «Он становится немного предсказуемым. Такое ощущение, что сыграй мы еще несколько игр, мы бы научились довольно легко его выносить».
Издание Cybersport.ru в своих выводах после матча согласилось с этим аргументом.
Ограничения кажутся незначительными, но из-за их совокупности игра приобрела совсем иной характер, нежели привычные матчи в «Доте». По словам разработчиков, каждый день искусственный интеллект играет сам с собой столько матчей, что их общая продолжительность составляет около 180 лет. У кастеров опыта в этом режиме не было, поэтому первую карту они проиграли разгромно, и лишь на второй смогли побороться с соперником.
Издание отметило, что боты активно используют местность, находят новые непредсказуемые тактики, которые даже люди вполне могут перенять. При этом, по их мнению, ботов легко завести в тупик, они допускают много ошибок, а наработанные тактики часто оказываются неуместны.
На Хабре тоже анализировали показательный матч и сделали положительные выводы в пользу ИИ:
3-4 персонажа ИИ согласованно ломали вышки противников-людей, виртуозно «танкуя» по очереди башню, чтобы сохранить собственных крипов и быстрее разрушить строение. Кроме этого боты отметились и тем, что нестандартно использовали варды, которые также танковали для них вышки. Как итог, в одной из игр с гостями мероприятия боты зашли на базу противника уже на 9 минуте (подъем на базу противника даже на 15-18 минутах считается исключительно ранним таймингом).
Также боты эффективно перераспределяли между собой опыт, не допуская просадки персонажей 4-5 позиций, отличились в расчете урона (при нанесении последнего удара бот не продолжал догонять цель, четко понимая, что урона для убийства хватает) и активно использовали некоторые предметы».
Одним из самых обсуждаемых моментов в характеристиках ИИ стало время его реакции. Первоначальные 80 миллисекунд OpenAI увеличила до 200, но, как отмечали некоторые комментаторы, даже эта цифра слишком велика. По их мнению, она не учитывает время, которое человек — уже среагировав — тратит на прицеливание мышью и борьбу с сомнением, если что-то идет не так.
Вполне вероятно, что в версии Five для показательного матча на The International OpenAI сможет преодолеть еще больше ограничений.
Что будет с киберспортом, если OpenAI победит
После победы Five в показательном матче 5 августа интересная дискуссия разгорелась в Фейсбуке у Сергея Орловского — главы Nival (которая тоже использует нейросетевой ИИ в своей стратегии «Блитцкриг 3»). Сергей написал:
Во-первых, это красиво. Во-вторых, это конец киберспорта, и причина, почему я туда не инвестировал. В-третьих, заставит многих еще раз задуматься насчет проблемы сосуществования с ИИ.
На эту точку зрения нашлось много контраргументов.
Например, Виктор Захарченко из FunCubator считает так:
Уверен, что киберспорт будет спортом с самым сильным проникновением технологий внутрь игрока. Но не заменой ему. Спорт — это про сопричастность (говорю как фанат фентези-спорта). А быть сопричастным строчкам кода как-то сложно.
Что бы там ни было — все это произойдет на наших глазах. И игра ИИ с профессиональной командой, и жизнь киберспорта с последствиями этой игры.
Смерть и жизнь киберспорта, сосуществование с ИИ кажутся вещами относительно далекими. Пока будем ждать преодоления всех ограничений и участия Five в турнире наравне с участниками-людьми.
Комментарии (88)
Andrey_Dolg
17.08.2018 21:51-2Я все еще не вижу в этом смысла, что даст победа ии людям? Ну научит ии игроков новым фишкам, но на этом визуально всё. Хотя конечно могу ошибаться и чего-то не учесть, подскажите если я что-то упускаю из виду.
quantum
17.08.2018 22:56+4Люди учатся учить нейронки. Пока на играх. Дальше эти знания будут применять в других областях. Например в боевых человекоподобных роботах.
Andrey_Dolg
18.08.2018 16:03Я действительно мало знаю о нейронных, сетях хоть и потихоньку изучаю их, потому связь между нейронной сетью играющей в доту и сетью управляющей боевым роботом для меня не очевидна. Спасибо что ответили.
Sychuan
17.08.2018 23:39я что-то упускаю из виду.
Что это научное исследование на тему, как обучать некоторые нейронные сети для достижения некоторых специфических целей. Никакой непосредственной практической пользы, также как и например с АльфаГо здесь не было, кроме разработки новых подходов к дизайну и проектированию сетей, а также к их обучению.Andrey_Dolg
18.08.2018 16:11Спасибо за ответ. Действительно не задумывался о возможной пользе связанной с новой архитектурой сети.
igruh
18.08.2018 07:46Не сочтите за высокопарность и попытку влепить слишком прямую аналогию, но зачем людям такие абсолютно ненужные вещи как освоение космоса, теоретическая физика, фундаментальные науки в целом? На всякий случай: |сарказм!|
Andrey_Dolg
18.08.2018 15:52+1Вопрос был задан из любопытства и с желанием увидеть большее чем вижу я. Да действительно вопрос «Зачем?» весьма интересен, в разрезе человеческой истории, и напоминает о диалоге андройда из Прометея. «А зачем вы, люди, создали меня? Создали, потому что могли.». Спасибо ответили, а уж тем более с сарказмом. =)
Hardcoin
18.08.2018 10:26Что даст людям научное исследование? А что дает людям сам чемпионат? Ну явно же кто-то выиграет, какая разница человечеству — кто конкретно?
Вы упускаете из виду, что жизнь не строится на том, что бы обязательно что-то "дать". В ней есть место развлечениям, исследованиям и эмоциям.
Andrey_Dolg
18.08.2018 16:24И то правда, будь я на месте разработчиков сети или профессиональных игроков, то для меня, это был бы, как минимум, весьма интересный приобретенный опыт, что уже немало. Спасибо за ответ.
saboteur_kiev
18.08.2018 13:38Запрограммировать такое поведение ботов — это весьма непростая задача.
Суть стоит именно в поиске подходов для решения конкретных задач.
Этот опыт, и наработки — безопасны. Ибо пишут ботов для игры, где потерять можно только немного престижа, а не для автопилота, где цена ошибки — могут быть жизни.
Но сами наработки остаются крайне полезными, специалисты которые их придумывают — развиваются сами и мало ли что впоследствии смогут написать.Andrey_Dolg
18.08.2018 16:35Спасибо за ответ. Я действительно взглянул на это слишком узко и не увидел никакого смысла. Однако как показали ответы, это не так, и действительно данная деятельность имеет много положительных эффектов.
echo1
17.08.2018 22:01-5не победит.
а если очередной цирк с ограничениями по механике — строго параллельно, это как отобрать ладью в шахматах, и назвать победу честной. Например этот АИ очень нагло дайвит и жонглирует фокусом пушек, на это его можно бейтить, ну допустим течисом или ЕТ, первое что пришло в голову. Я видел сотни игр, выиграных и проиграных на нестандартных пиках и творческих тактиках. Именно по этому в доте не доминируют восточные игроки, как в Лиге Легенд — механика важна, но это совсем не главное.Hardcoin
18.08.2018 10:28+2Ладью в шахматах отняли у обоих. Так что вполне честная победа. Хоть и не совсем в доту (механика-то сменилась). Но ограничения постепенно снимут, главная интрига — когда. Сколько дней или лет им потребуется.
echo1
18.08.2018 11:07-4Ну, вы ничего не понимаете в доте тогда. Боты играют агрессивно и пушат, больше они не умеют ничего, это элементарно контрится в 99% вин на стадии пика. Этих СУПЕРБОТОВ забьет ногами бруда с 5к ммр, не вспотев, или втопчет в землю неруб ассасин с дагоном. Так же их засплитит фура, фантом лансер и медуза, заклатчит варлок и банально украдет рошана урса. И это при том, что АИ играет уже в изимоде, имея мгновенный доступ ко всей информации вне тумана войны.
Belking
18.08.2018 12:00>> Боты играют агрессивно и пушат, больше они не умеют ничего, это элементарно контрится в 99% вин на стадии пика
В тех ограничениях, которые сейчас стоят на ботах, они не видят смысла играть иначе. Вот обожгутся пару раз на этой стратегии — переучатся сразу играть.echo1
18.08.2018 12:25нет, просто с данными правилами, соревнование сводится к механике, без альтернатив, где само собой АИ доказывает, что он быстрее, выше и сильнее. Боюсь что ЛоЛ, даже при согласии Риот ботам не освоить никогда, все 400 Нвидий спекут мозги, расчитывая пазл — дракон(1 из 5 видов), барон, баффы, вышка, войд, барон, фарм и вижн в кустах.
Hardcoin
18.08.2018 12:27+1На что их обучили, с тем они и играют. Ясное дело, так мало героев меняет механику (я об этом сказал выше).
ИИ не имеет информацию вне тумана войны.
n1ger
17.08.2018 22:19Тактику пуша любые норм игроки контрят контрпиком. Тот же шейкер фисурой отрезает подход к вышке — это минус XPM&GPM для всей команды, а боты идут толпой, что даёт carry время на farm и Покупку нужных предметов к этому тайму, а так же перевес в опыте, а это и уровень и атрибуты, и сила скиллов(space creating). Отспам скилами, типа пугна — и весь push потенциал, который используют боты уходит в топку. А потом их перефармленный carry выносит вперёд ногами, в соло
echo1
17.08.2018 22:37сейчас вообще мета пик-зависимая. многие игры в групповом этапе выиграны на этапе драфта.
KirEv
17.08.2018 22:22-9извините, но статья дурацкая… аргументы:
— известные игры, в которых были соперниками АИ, осуществились с многими существенными ограничениями (не стану перечислять абы не раздувать комментарий)
— на интернешинл нет тех ограничений которые используются для игр против АИ
— какой смысл развивать АИ для игры в доту, тратить кучу времени, ресурсов и т.п., займитесь чемто полезным, и так ясно что есть способы обучать всякое такое и т.п., какая цель?
… и самое интересное, за что получаю кучу минусов в подобных статьях:
— сколько стоит в долларах час игры АИ?
количество задействованных мощностей подробно описано на офф сайте, но до сих пор не увидел во сколько обходится 1 катка АИ, (допустим 60мин когда не изи)… если есть информация — дайте, пожалуйста, ссылку… ато уже надоедает туфта типо этой статьи.artemev
17.08.2018 22:35+5— какой смысл развивать АИ для игры в доту
Смысл в том, чтобы его (ИИ) вообще развивать, совершенствовать алгоритмы, методы обучения и пр. А Дота просто удобный полигон для этого. Плюс ко всему подобные вещи стимулируют интерес к ИИ у молодежи.
TimsTims
18.08.2018 01:49-4чтобы его (ИИ) вообще развивать
Поспорю. Смотрите, здесь вы подразумеваете, что после того, как этот ИИ наконец-то научится играть в доту, его навыки смогут использовать «на производстве» — где-нибудь в реальной сфере. Что ИИ будет настолько хорош, что сможет обучаться не только доте, но и вообще любой сложной игре.
Но мы с вами прекрасно понимаем, что это не правда, как минимум потому, что если бы ИИ был хорош, то его не надо было бы дальше допиливать ручками, и учить играть в урезанные режимы. Этот «самообучаемый» ИИ бросили бы в самые тяжкие условия и смотрели, как он обучается. Но он не обучается так, как этого ожидают. Вместо этого, его приходится вручную допиливать. И это значит, что на выходе мы получим ИИ, который заточен только для игры в доту.
И никакого «прорыва» в сфере ИИ здесь нет. Вспоминается история из 1980-х, когда ИИ начал на равных тягаться с людьми в шахматах — все вокруг говорили, что вот же он прорыв в науке, сегодня этот ИИ выигрывает в шахматах, а еще чуть-чуть допилить, и завтра он будет управлять киборгами и покорять планеты. Сейчас всё то же самое, история повторяется, и люди снова верят в ИИ…Firz
18.08.2018 02:17Обучается не столько ИИ(точнее тонна хитрых отбалансированных скриптов, не берусь называть это искусственным интеллектом) играть в доту, сколько люди обучаются его обучать.
Num
18.08.2018 02:47Посмотрите историю с AlphaGo. Изначально нейронка обучалась на миллионах игр профессионалов, но уже следующая версия играла ТОЛЬКО сама с собой. И это был огромный прорыв. Ваш пример с шахматами совершенно некорректен: в шахматных программах прошлого столетия «ИИ» просто перебирал варианты. Современный ИИ, используя технологии нейронных сетей, хотя и пользуясь частичным перебором, за счет самообучения свособен создавать новые ходы, что и случилось после прихода AlphaGo: учебники по го пришлось частично переписывать после анализа новых ходов, посчитанных нейронкой.
Аналогичная ситуация происходит и в данном случае, а цель совершенно прозрачная: мы хотим чтобы ИИ мог самообучаться под ЛЮБУЮ задачу. Но с нуля это невозможно, поэтому алгоритмы реализуют на частных случаях, типо Dota или го, получая тем самым базу.
И да, после триумфальной победы Альфы, к Deepmind'овцам сразу пришли ребята из армии ? использовать на производстве)
Hardcoin
18.08.2018 10:40+2его навыки смогут использовать
Никто этого не подразумевает, не придумывайте. Подразумевается, что когда команда исследователей решила задачу, их навыки выросли и они могут решать более сложные. А ещё они попробовали разные подходы и написали научную работу — другим командам будет проще решать свои задачи.
Когда мышек учат проходить лабиринт, никто не подразумевает, что потом этих мышек будут использовать для разминирования подвалов. После исследования остаются знания, именно для знаний исследования и проводятся.
SergioPredatore
18.08.2018 13:45+2Когда в 80-х ИИ начал на равных тягаться с людьми в шахматах, для этого требовались невероятные вычислительные мощности, и это был прорыв. Сегодня в шахматный ИИ может жить в мобилке и обыгрывать чемпионов. И это не потому что мобилка мощнее той железки, что впервые обыграла Каспарова, вовсе нет, дело в развитии ИИ.
2 года назад ИИ впервые выйграл в сложной борьбе профи в Го, игру в хрилионы раз математически более сложную нежели шахматы. А через год (уже год назад) в сухую поравл самого сильного игрока в эту игру. Пока всё это на супер-железке. И это тоже прорыв.
Сейчас ИИ обыграет (я в этом почти уверен, не сейчас, так на следующем турнире) лучших игроков в Доту. И это будет ещё одной победой. Вы что думаете, сейчас напишут на коленке сильный ИИ, который тут же всему научится и станет цифровой копией человека? Нет, вот так долго и упорно и будет развиваться ИИ, тренеруясь на кошках, не хотите же вы сразу дать ему в руки человеческие жизни.
KirEv
18.08.2018 04:34-3чушь,
аглоритм универсальный не выработать в этом направление, это обучение, на заведомо известном полигоне, результаты обучения аи доты не подойдут к старкрафту…
так в чем всетакы смысл?… есть у кого ответ? (не пишите личный предположения, только ссылки на авторитетные источники)Ogra
18.08.2018 07:01+3результаты обучения аи доты не подойдут к старкрафту…
Результаты — нет. А вот процесс — может и подойти.
У нас до сих пор нет надежного способа создать ИИ, даже для компьютерных игр, не говоря уже о реальном применении. На Доте, на Старкрафте, на КС и Квейке можно пробовать разные подходы в его создании.
Hardcoin
18.08.2018 10:37+1сколько стоит в долларах час игры АИ?
Это абсолютно незначимый вопрос. Зарплата исследователей и стоимость обучения настолько больше, что какая разница, 5 долларов там уходит или 500? Ресурсов на этапе игры нужно на несколько порядков меньше, чем на этапе обучения.
Для сравнения — сколько стоит стометровка Болта? Амортизация кроссовок, покрытия беговой дорожки, плюс он сколько-то еды потратил. Сколько-то стоит, но подсчётом конкретно этих расходов вряд ли кто будет заниматься, потому вам тяжело будет получить ответ.
В конце-концов, вы можете сами заняться исследованием вопроса. Задайте команде вопрос, сколько там железа на этапе игры, например, узнайте в Амазоне тарифы на его аренду.
saboteur_kiev
17.08.2018 23:27Думаю про команда, учтя опыт своих коллег, будет готова играть против АИ не в доту, а в то, во что играет АИ, и даже если сольет одну игру, быстро приспособится и возьмет верх, поскольку люди более гибкие.
demimurych
18.08.2018 00:45-1Современные проблемы нейронных сетей в области игрового АИ уже давно не лежат в плоскости «оказаться гибче человека». Го тому пример, где сеть оказалась намного сильнее человека. А интеллектуальная составляющая го, на порядки сложнее доты.
Современные проблемы нейронных сетей лежат в плоскости создания модели сети которая бы могла работать с таким большим обьемом входных данных. Эффективно работать. В реальном режиме времени на обозримом уровне мощностей.KirEv
18.08.2018 04:41+2не правда, го не может быть сложнее доты:
— распознать врага по образу (их десятки)
— предполагать действие не только на возможную атаку, но и на тип атаки (их сотни)
— планирование в многомерной дискретной плоскости, когда в го планирование линейное…
аи — круто, но прайс до сих пор никто не озвучил.Hardcoin
18.08.2018 10:47— распознать врага по образу (их десятки)
Это мелочь и, возможно, вообще не делалось. Распознавание образов — отдельная задача, которую openai вроде не ставило перед собой в этом соревновании.
С остальным согласен, дота сложнее (для ИИ).
Hardcoin
18.08.2018 10:45+1А интеллектуальная составляющая го, на порядки сложнее доты.
В доте больше пространство вариантов. В этом сложнее для ИИ. Гибкость — это скорость поиска в этом пространстве нового. ИИ на этапе игры гибкостью не обладает вообще. Либо он найдет варианты заранее и будет знать контрмеры на всё (как в шахматах или го) или его будут обходить, находя узкие места. Так что это очень интересное соревнование. Го было интересно, но это ещё лучше.
saboteur_kiev
18.08.2018 14:05А интеллектуальная составляющая го, на порядки сложнее доты.
Простите, можете подсказать ваш уровень игры в Го и в ДОТА?
А то звучит прям как экспертная оценка, хотя мне почему-то кажется что сложность МОБА игр в разы сложнее GO.
И вообще — GO Это наиболее простая игра, с наиболее простыми правилами, просто фишка GO в том, что количество возможных ходов в этой игре слишком велико, чтобы просчитать все перебором, в отличие от шахмат, в которых несмотря на огромное количество комбинаций, можно просчитать слишком много, вплоть до победы.
Именно поэтому была выбрана GO.
Но MOBA игры — совсем другое. Слишком много факторов для победы.
demimurych
18.08.2018 14:52-1Моя скромная персона тут не причем.
Цитата из Вики
При этом сложность игры не исключительно механическая, заключающаяся в большом количестве вариантов: го содержит огромное количество важных стратегических аспектов, некоторые из которых сложно даже понять, не говоря уже о том, чтобы анализировать.
Вам нужны мнения игроков?
В исследовании Роберти(победитель турниров по быстрым шахматам и турниров по покеру), сделанного на основе статистического анализа побед игрока более высокого класса над игроком более низкого класса, вообще утверждается что Го сложнее шахмат почти в 4 раза. И т.д. и т.п.
Го было выбрана из-за простоты правил в сочетании с очень глубокой стратегической составляющей, при количестве комбинаций исключающих перебор всех вариантов на текущих вычислительных мощностях. Го это была игра где преимущество человека над машиной не оспаривалось в принципе. В отличии от тех же шахмат которые сдались много лет назад.
Простота правил позволила сделать эффективную модель нейросети способную обработать всю необходимую информацию для принятия адекватного решения.
Моба игры не имеют равной Го стратегической составляющей. Но имеют очень сложные правила и условия в которых проводится игра. Именно в создание модели нейросети, которая бы могла все это учесть и есть основная проблема, а совсем не в том что моба интеллектуально сложные игры.
Как-то мне предложили вот такой аргумент — научить команду играть в Доту на хорошем уровне можно за месяц, при условии что она будет работать с тренером и выполнять все его установки. Научить играть в Го хотя бы на любительском уровне, даже за год с тренером, будет очень сложной задачей.
Arastas
18.08.2018 15:12+2Справедливости ради, Вики в этом споре вообще не аргумент. Написал замечание некий любитель го, а вы теперь на него ссылаетесь.
Вообще непонятно, как можно сравнивать сложность настолько разноплановых игр, да и что конкретно тут понимать под сложностью.
Вариант с обучением команды тоже за уши притянут — что такое хороший уровень в доте и любительский в го? Это же очевидно относительные оценки, определяемые средним уровнем всех игроков. О чем тут идёт речь в доте, о рандомной несыгранной команде? Тогда месяц это даже как-то много. В го же играют один на один, и процент абсолютно казуальных случайных игроков явно меньше. В целом, чтобы играть лучше 40% игроков надо, усредняя потратить на тренировки и обучение больше времени, чем 40% игроков. Со сложностью и глубиной игры это почти не связано.
saboteur_kiev
18.08.2018 15:53Го это была игра где преимущество человека над машиной не оспаривалось в принципе.
Потому что 640 кбайт не хватит всем, но эти времена давно прошли. Вы очень плохо читали википедию.
Стратегия ГО считается сложной среди настольных игр, в основном из-за количества степеней свободы. Никакого сравнения с МОБА в википедии нет.
Правил и нюансов в МОБА играх, по сравнению с GO очень много.
* Вы совершенно забываете, что в MOBA свободы действий еще больше.
* Вы совершенно забываете о сложности МОБА по сравнению с GO в виде различных объектов — и миньоны и монстры и вышки и собственно разнообразие чемпионов.
* Вы совершенно забываете про вижн (туман войны), игру с неполной информацией — в GO вы видите все.
* Вы совершенно забываете о том, что пошаговая стратегия и реал-тайм стратегия — это ОЧЕНЬ разные по сложности вещи. Просто несопоставимые. Каждую секунду меняется позиция противника, пересчитывать все каждую секунду — нереально.
daiver19
18.08.2018 19:39А научить перемножать тысячезначные числа в уме за доли секунды так вообще и за 10 лет не выйдет, а компьютер это давно умеет. Игры вроде го или шахмат требуют много опыта и запоминания, но это не обязательно означает сложность для компьютера.
itmanager85
19.08.2018 01:05> Игры вроде го… требуют много опыта и запоминания, но это не обязательно означает сложность для компьютера.
сложность была в программной реализации, что без последних достижений в области AI — было невозможно…
KirEv
18.08.2018 04:37весь прикол доты в том, что ты можешь убить курьера врага несущего ожидаемое персонажем — а может не одном, это в аи исключено, но это может изменить ход сражения, когда на 3мин (или сколько там сейчас) комманда остается без куры.
asd111
18.08.2018 10:06-2Главное преимущество ИИ в таких играх в том что он может точно посчитать последствия своих решений, а не делать на глаз. Например он может точно посчитать кто выиграет драку 5 на 5 в конкретный момент, а человек может только интуитивно сказать и может ошибиться. Ещё ИИ может точно посчитать сколько абилок нужно на убийство одного персонажа врага и на кого лучше кинуть стан, а человек в тимфайтах лишен такой точности и поэтому может слить лишнюю абилку для убийства врага или кинуть стан не на того — даже у про игроков это не редкость.
ИИ более хладнокровный :)BlackMokona
18.08.2018 10:13+2"Например он может точно посчитать кто выиграет драку 5 на 5 в конкретный момент"
Нет, противник ему свои действия не раскрываетasd111
18.08.2018 13:46-1В доте можно посмотреть предметы оппонента если кликнуть на героя врага и для ИИ это означает что он может точно сказать кто нанесет сколько урона в драке. У ИИ ещё ведется учет времени когда использовались абилки врагом и это огромное преимущество, т.к. ни один человек не может точно сказать когда у врага кд на ульту и абилки спадет и сколько в цифрах кто даст дамага в драке.
В доте ИИ имеет огромное преимущество в драках 5 на 5 и никто из профи никогда не выиграет ни одного тимфайта 5 на 5. Потому что это невозможно для человека. Конечно речь идет о том когда ИИ не ставится намеренно в проигрышное положение путем выбора плохих героев для ИИ.saboteur_kiev
18.08.2018 14:10Вы так уверенно говорите про возможности ИИ, но на самом деле это пока что только ваши предположения.
Нужно понимать, что в идеале ИИ способен на это — мгновенный просчет действий в драке 5/5, планирование позиционирования, выбора цели для каждого заклинания и так далее.
Но это — в идеале.
Вопрос в том, справилась ли команда OpenAI с тем, чтобы довести ИИ до такого состояния?
Учитывая количество ограничений в игре против полупрофессионалов, учитывая сами игры и отзывы игроков после нее — я считаю, что еще нет.
Особенно, если снять несколько ограничений, например на количество персонажей — то команда чемпионов пока что будет сильнее. Мы же даже не знаем на каких условиях будут игры. Если снять все ограничения — то ИИ вообще не будет готов к игре.asd111
18.08.2018 17:42Я уверен что ИИ выиграет потому что он получает данные в цифровом формате из API, т.е. он знает с точность до миллисекунды успеет ли персонаж добежать куда нужно или не успеет. Грубо говоря ИИ может начать атаку и соперник не успеет добежать 1 секунду и этого хватит, потому что будет уже поздно.
Сейчас этот ИИ очень читерский из за того что получает нужные данные в цифровом формате, человек не может с точностью до миллисекунды сказать куда и когда ему бежать, а ИИ знает.
В доте побеждает тот кто раньше оказался в нужном месте + точно посчитал тимфайт по ДПС. И человек не способен составить здесь конкуренцию.
Даже профи играют по интуиции и не могут справится с подсчетом дамага 1 на 1 что уж говорить о командных боях где ИИ точно знает у кого сколько ДПС и куда кого поставить.
Я не знаю почему меня минусят. Видимо люди не видели как играет этот ИИ.
www.twitch.tv/videos/293517383saboteur_kiev
18.08.2018 18:04Есть ощущение, что для вас аббревиатура API загадочная магия, которая дает ВСЮ информацию.
Но вы забываете, что нельзя все просчитать в условиях неполной информации. А API дает только то, что мог бы увидеть человек.
Например — ганк — нельзя заранее просчитать.
Вы увидели что враг стоит под вашей вышкой и пушит вашего топера.
Вы начинаете туда бежать. А враг решил отойти. Или у него там вард, он вас увидел и отошел. Или там в кустах вражеский лесник подстраховывает. Что будет делать ИИ?
Побежит, потом развернется? То есть лесник зря бежал пол-карты, потерял время, теперь он отстает по фарму от вражеского лесника?
Вы видимо не понимаете количество ограничений, навешанное на игроков в той игре.
Не понимаете важность сыгранности — а ведь это ОБЩЕИЗВЕСТНО, что в МОБА играх — сыгранность команды важнее, чем индивидуальный скилл.
Профи не играют чисто по интуиции. Плюс минус 5 урона — бывают критичны в крайне редких случаях. В основном даже +- 50 урона не так важны.
BlackMokona
18.08.2018 16:32ИИ не знает всех параметров на начало драки, так как часть врагов могут быть в тумане войны, получат уровни в ходе драки, получат арты от курьеров и тд.
Во вторых это знание начальных позиций, даёт не больше чем стартовая растановка фигур в шахматах. Так как неизвестно кого будут бить враги, какой порядок кастов, и тд Вражеского плана нет, а попытка его придумать приводить к невероятно огромному дереву решений который ИИ не осилитasd111
18.08.2018 17:45В том то и дело что вражеский план есть. Иначе на чем же он по вашему обучался? он знает планы людей лучше чем сами люди.
Посмотрите как играет этот ИИ. Там учитывается абсолютно все что нужно учесть.
www.twitch.tv/videos/293517383saboteur_kiev
18.08.2018 18:17Вы слишком идеализируете текущий вариант ИИ.
Игроки не разобрались с кем они играют, и играли как против игроков, а не как против АИ, плюс драфт — в доте он мега-критичен, и из всего пула всего 18 игроков. Минус иллюзии.
Представьте, что вы про-игрок, с наработанными рефлексами и тактикой. И вам вдруг связывают ноги, закрывают один глаз, дают мышку от ноутбука и говорят — вот тебе еще 4 таких калеки в команду, вы друг друга никогда не видели, но неважно — давайте сразу на сцену.
BlackMokona
18.08.2018 19:22Нет, нельзя знать все планы людей не имея миллиарды игр с людьми. А он играл сам с собой, тем самым он не знает мету.
kroketmonster
18.08.2018 13:27Как же я ненавижу читать рассуждения про «может ли Х считаться спортом», и далее человек высказывает максимально узколобую позицию без аргументов. Просто вот спорт это про движение, спорт это про сопричастность, спорт это когда судьи есть, спорт это когда травмы, спорт это когда стадион, спорт это когда… Самое ужасное когда у таких людей есть статус и «уважение», и они вкладывают подобные мысли в головы своих фанатов. Неужели нельзя принять тот факт что спортом можно назвать любую деятельность где есть соревновательность? Видимо у людей псевдо-сакральность некоторых областей масс-медии и культуры совсем голову промывает, и когда они видят как их объект обожания с миллиардами рекламных денег ставят в один ряд с «задротским развлекаловом», то у них просыпается чувство важности. Накипело.
saboteur_kiev
18.08.2018 14:14+1Прикол в том, что задротские развлекалова уже зарабатывают больше, чем большинство видов классического спорта.
Например так внезапно, финал чемпионата лиги легенд два года назад посмотрело больше людей, чем финал кубка НФА по баскетболу.
И суть в том, что медиа это понимают и начинают медленно, но идти на встречу.
Просто всем страшно, ибо подавляющая масса людей — слишком закостенела в привычках. Если какой-то канал решится на такой эксперимент, неизвестно в плюс или минус в итоге это ему выйдет.
Но если кто-то попробует и у него получится, то вслед побегут все.
А вообще — осталось подождать 10-20 лет, пока основной массой зрителей станет поколение Zecho1
18.08.2018 20:15Искренне надеюсь что формат трансляций Овервотч лиги не станет доминирующим. Активижн конечно жадные.
tzps
18.08.2018 13:27Увы, это все еще статистическая симуляция а не AI. Обобщения опыта как не было, так и нет. Очевидно и не будет.
Т.е. вопрос победы над людьми это лишь вопрос слива накопленного людьми опыта в модель. Но искусственным интеллектом статистическая модель от этого не станет.itmanager85
19.08.2018 01:13не тупи, AI тренируется на играх сам с собой…
tzps
19.08.2018 06:05Что это меняет в сказанном мной? Зачеркни слово «людьми» в моем комменте, и суть останется прежней.
P.S. Если суть не совсем ясна, но знаешь что такое нейросеть — обучи нейросеть на x = f(x), и затем подавай x которых нейросеть никогда не видела. Вот полученные тобой результаты и покажут все возможности обобщения доступные на данный момент.BlackMokona
19.08.2018 07:05Количество ситуаций которые могут случится превышают чисто атомов во вселенной в овер триллиардов раз. Поэтому просто нереально перебрать даже 0.000000000000...........1% их на обучающей выборке
tzps
19.08.2018 07:56Не совсем понимаю к чему вы это. Ну т.е. вы правы, но это в реальном пространстве так. А в дискретном пространстве (а фишка обучения с подкреплением — как раз дискретность пространства состояний) — количество вариантов — это уже переменная зависящая от размерности этого пространства. И, образно говоря, «огрубляя» модель — уменьшая пространство — получают вот такой вот результат как получил OpenAI Filve.
Но это не проблема, это лишь расходы на обучение модели. Реальная проблема в том, что не умеют, пока, нейросети в обобщение.
red75prim
19.08.2018 09:56обучи нейросеть на x = f(x)
Это для вас x=f(x) — выделенная функция, для нейросети — это одно из множества нелинейных преобразований, не лучше и не хуже других. Умеют нейросети обобщать, но набор априорных данных у них другой. Я уже не говорю о том, что для того, чтобы оперировать математическими операциями и бесконечными непрерывными множествами, нужна нейросетка посложнее, чем у муравья или мухи (современные нейросети примерно на этом уровне сложности).
Лучше попробуйте обобщить, на каких микрофотографиях тканей присутствуют признаки рака, а на каких нет. У вас получится хуже, чем у нейросетки.
tzps
19.08.2018 10:06А пацаны-то и не знают… arxiv.org/abs/1808.00508
Срочно пишите ответную статью, с примерами обобщения. Популярность гарантированна.red75prim
19.08.2018 10:11И? Добавили априорных знаний про числа, улучшили генерализацию: "often extrapolating orders of magnitude beyond trained numerical ranges".
tzps
19.08.2018 10:43Речь не о том, что сделали авторы. Речь про невозможность системного обобщения для сегодняшних нейросетей, в том числе и на примере x = f(x) разобранного в той статье.
red75prim
19.08.2018 11:12Таблица 1 в статье. Результаты NALU — абсолютная точность во всех тестах кроме деления. NALU — не сегодняшняя нейросеть? Или она не умеет обобщать?
Или все остальные сети не умеют обобщать, потому что у них нет numerical bias? Чем это противоречит тому, что я говорил?
tzps
19.08.2018 11:23Именно! Для такой примитивной задачи понадобились годы поиска. и вот для этой одной задачи наконец нашли решение! Другие типы архитектур на подобное не способны.
Осталось теперь найти аналогичные решения для миллионов других задач.
В случае с OpenAI Five — используются самые обычные LSTM, и никакого обобщения там так же нет. Да и обучение с подкреплением, на секундочку, обычно подразумевает конечное количество состояний.
Хотя, раз DeepMind таки добились успеха в этом случае, возможно им удастся найти способы и для рекуррентных сетей. Было бы здорово.red75prim
19.08.2018 12:39Осталось теперь найти аналогичные решения для миллионов других задач.
Или сделать систему, которая подыскивает подходящие архитектуры для этих миллионов задач. Это возможно, судя по тому, что находится у нас в черепе.
tzps
19.08.2018 12:40А, ясно. Извиняюсь, сразу не понял.
red75prim
19.08.2018 12:57Ясно, что имеете дело с недалёким проповедником идеи "вот сейчас придёт сильный ИИ и всё решит"? Это вряд ли. Я просто считаю, что никаких чудес внутри наших мозгов не происходит, и, вполне возможно, что дистанция до воспроизведения их функциональности не так велика, как кажется многим.
tzps
19.08.2018 11:26И нет, NALU еще слишком новы, и все написанное там еще будут месяцами проверять на практике и пытаться применить в реальных задачах. Может будет круто. А может их ждет судьба RBM, Capsule Networks, RNTN, и сотен других архитектур не оправдавших высоких надежд или вытесненных улучшенными вариантами.
Sychuan
19.08.2018 19:30Capsule Networks
Они вроде как год назад появились. Сейчас еще трудно сказать будут они лучше или нет традиционных конволюций. А вообще много интересных идей все время появляется, но не все оказываются успешными. Вы правы.
mat300
18.08.2018 23:57Маск тот еще гондурас. То ему ИИ самое страшное исчадие ада, и нельзя, чтобы он был создан. То он создает OpenAI, типа для исследований, как бы так сделать мирным.
И вот OpenAI упорото создает бота для баттл игрищ. Это что в мирных целях??vassabi
19.08.2018 05:31выползайте из своего бомбоубежища — вы пропустили все самое главное.
«ИИ страшное исчадие ада и нельзя, чтобы он был создан» — потому что 1) его делает кто попало, без предосторожностей, потому что 2) никто не задумывается о том, что ИИ — это не нечто эфемерное, а то, что может случиться достаточно быстро, и потому что 3) если его создадут в одном месте и дадут ему задачу давить создание ИИ в других местах — то очень вероятно, что он с этим справится.
именно поэтому — открытый ИИ, чтобы «пистолет был у каждого, а не только один у потенциального диктатора», поэтому — публичные мероприятия, чтобы повысить внимание к тому что «ИИ обучается ОЧЕНЬ быстро», и поэтому у OpenAI есть не только команда с дотой, но и ученые со статьями и исследованиями и рекомедациями — как правильно обучать безопасный ИИ (цитируя Н.Бострома — который не переработает весь мир на скрепки, если ему дать задачу «а сделай-ка мне самую большую фабрику канцтоваров»)mat300
19.08.2018 23:20Бомбоубежище как раз у Маска, покойного Хокинга и Гейтса, которые на весь мир орали, что низзяяяя, ни при каких условиях низззяяяя!!! Но вот Маск оказался просто обычным лицемером. Тут дело не в том, что они могли бы или не могли сделать хоть какой-то достойный ИИ. Дело в том, что они ринулись в исследования поведения ИИ в симуляции боевых действий (не важно сказочных или реальных — суть одна).
Если вам интересно знать мое мнение, то настоящий ИИ не будет создан в обозримом будущем, пока мир не будет готов к последствиям. Тот типа ИИ на стат.математике, ну который дип лернинг, — это примитивнейший примитив, ничего не имеющий общего с механизмами интеллекта и сознания. А настоящий — в руки неандертальцев (по осознанию последствий и собственного поведения) никто не даст. В смысле, самим ума не хватит сделать.vassabi
20.08.2018 00:07которые на весь мир орали, что низзяяяя, ни при каких условиях низззяяяя!!
не «низзя», а это опасно.
вы понимаете разницу между «радиоактивность — низзяяяя ©» или «радиоактивные вещества — это опасно»?
malysh_karatist
19.08.2018 09:08+1Друзья, большинство комментариев выше неверны из-за непонимания как работает современный нейросетевой ИИ. Ничего он там не рассчитывает и не сравнивает какие варианты лучше. Разработчики ИИ используют совсем другую терминологию.
С математической точки зрения, вся наша жизнь, и вся работа нашего разума — это движение в многомерном пространстве высокой размерности в идеале к глобальному, но на практике к ближайшему локальному экстремуму. Максимуму или минимуму. Грубо говоря, агент ИИ находится в одном состоянии (state). Он применяет действия (actions), получает в результате награду (reward) и оказывается в новом состоянии (state). Задача оптимизации, и работы интеллекта в широком смысле, сводится к переходам между такими state с помощью actions, чтобы суммарная награда была как можно выше. Данный подход в машинном обучении известен как обучение с подкреплением, или Reinforcement Learning. Именно этим занимается OpenAI Five.
А теперь грустная часть. В человеческом теле примерно 700 мышц. Это 700 степеней свободы, или размерность actions ~= 700. А вот дальше можно либо оперировать последовательностями действий, либо различные последовательности считать одним элементом и оперировать этим элементом как размерностью. Так, одно слово можно рассматривать как последовательность сокращения мышц гортани, и тогда размерность actions при разговоре будет около 40 (40 задействованных мышц). Размерность низкая, но последовательность длинная. Либо оперировать словом целиком, и тогда размерность actions будет ~1 млн (размер словаря). Аналогично, можно оперировать целыми предложениями или группами слов как смысловыми единицами. И тогда размерность actions растет до бесконечности. С размерностью state все еще хуже, просто с actions проще объяснить. Не существует математических способов оптимизации в пространствах такой размерности.
Вот поэтому не существует, и видимо, в принципе невозможен сильный ИИ, который действовал бы безупречно и наиболее оптимально, как представляется большинству про ИИ. По крайней мере, при текущих вычислительных мощностях и нашем знании математики. Любой сильный ИИ будет похож на человека, будет делать ошибки и так далее. Но он может быть лучше/умнее с учетом большей памяти и/или большей скорости вычислений. Скажем, работать не на 100 Гц как наш мозг, а на 50 ГГц, как в теории позволяют перспективные транзисторы. Может думать быстрее, но не лучше. Это можно сравнить, как если бы на заданный вопрос вы могли обложиться книжками и потратить 100 лет, прежде чем отвечать. Но если вы тупой, это не сильно поможет.
Грустная часть, как и обещал. Знаете в какой размерности работают современные нейросетевые ИИ? State = 5..10, actions = 2..4. Это для простых задач вроде балансировки маятника. А state = 40 и actions = 17 уже считаются задачами высокой размерности, с которыми не справляется практически ни один из современных алгоритмов reinforcement learning. Частные решения задач такой размерности преподносятся как прорыв ИИ, о них пишут новости и т.д. Это бег «слепого» гуманоида в симуляторе, например. Он не видит мир вокруг, знает только углы своих 17 частей тела и точки касания с землей, причем имеет всего 17 мышц. Просто сравните с размерностью пространства actions и state, с которыми имеем дело мы, люди, и с которыми нужно работать сильному ИИ.
Теперь, когда вы понимаете состояние дел и текущие ограничения ИИ, вернемся к OpenAI Five. Для компании OpenAI это прежде всего пиар. Как показала практика, журналистам не интересны настоящие работы в области ИИ, выходящие сотнями каждый месяц. Зато AlphaGo все вспоминают по поводу и без, хотя это ничем не примечательная работа, просто удачно совместившая нейросеть для прогноза в обходе Monte Carlo Tree Search (MCTS). Как до этого было с древнющим методом Q-learning (DQN, игры Atari, вот это все). Что не отменяет их важности как вехи в развитии ИИ, конечно. Эти успехи привлекли тысячи новых исследователей ИИ, в этом их важность.
OpenAI немного сдала и в последнее время не выдавала концептуально новых разработок в сфере ИИ, поэтому видимо решили взять масштабностью. Они используют 128 тысяч ядер CPU в облаке (не процессоров, а ядер) для параллельной симуляции игр и 256 GPU видеокарточек для обучения нейросетей. Никакой опыт человеческих игр не используется, играют только боты против ботов. Самое интересное — они обучают ОДНОСЛОЙНУЮ нейросеть LSTM из 1024 нейронов (точнее, из 1024 ячеек, каждая ячейка может запоминать и забывать часть проходящей через нее информации, в этом отличие рекуррентной ячейки от простого нейрона). Сравните с 50..150 слойными сетями в распознавание изображений, где, как мы думаем, выводятся разные абстракции между слоями по мере увеличения глубины сети.
Смысл в этом есть. Если окажется, что такой простой подход работает, то это будет замечательно. Просто вбухать огромные вычислительные мощности в очень простую нейросеть. Да еще и обучать таким медленным и неоптимальным методом как PPO (нет, он крут сам по себе, просто принцип actor-critic, где градиенты учителя-предсказателя используются для ослабления и усиления действией ученика-актера, подразумевает миллионы и миллиарды повторений с крохотными обновлениями весов на каждом шаге).
Это можно будет использовать потом и для других задач. Просто никто такого масштабного эксперимента до этого не проводил, в этом основная заслуга OpenAI Five. Ну и удачный пиар с популярной игрой, разжигающий интерес. Сравнимые ресурсы до этого были вложены разве что в AlphaGo, нейросетевые переводчики и синтез речи через WaveNet в английском гугл ассистенте, но это все другое. Уже сейчас похоже, что это неплохо работает. Боты проявляют подобие командной работы, чего от такой простой однослойной сети никто не ожидал (еще лучше это видно в работе Deepmind: Capture the Flag, похожей по принципу на Five).
Строго говоря, сейчас считается что мозг человека совмещает model-free (как этот OpenAI Five, где веса сети оптимизируются по ходу дела согласно награде, ничего не зная о внешнем мире) и model-based (где нейросеть моделирует окружающую среду, предсказывает что будет и на основе этого принимает решение) обучение. Поэтому в случае успеха, OpenAI Five можно рассматривать как составную часть будущего сильного ИИ. Но в целом, это аналог AlphaGo Zero, только для частично видимого observation space, без обхода Монте-Карло и с совсем другим способом обучения (распределенным PPO для простой однослойной LSTM сети из 1024 ячеек).red75prim
19.08.2018 10:05Вот поэтому не существует, и видимо, в принципе невозможен сильный ИИ, который действовал бы безупречно и наиболее оптимально, как представляется большинству про ИИ.
Это да, но не нужно бежать быстрее медведя, достаточно бежать быстрее геолога.
fapsi
19.08.2018 15:50Сможет ли OpenAI Five в класс САУ в WoT? Или в WoT вообще, против первой пятёрки текущего рейтинга Wargaming.net League?
catgundam
Без ограничений по пикам и механикам вроде невидимости пока у OpenAI нет шансов. (исходя из предыдущего матча) Вот когда доделают, как говориться! (но в доте когда доделают шансов скорее всего нет — механика игры позволяет получать из идеальной реализации небольших моментов слишком много, а ии всегда реализует их идеально если научился)
maxzhurkin
говорится
i7G
А какие ограничения на невидимость?
catgundam
Пока совсем без нее играют, вот список ограничений на последний прошедший шоу-матч (следующий вроде как должен быть где-то на финалах The International, но конкретной инфы в сети не видно)
i7G
А вы смотрели эти матчи? ;)
Там и предметы на невидимость использовали, и Рики бегал, и спот Рошана боты проверяли, и выбор героев был из более десяти без зеркала.
А этот текст не изменялся с начала лета, или когда там были позапрошлые демонстрации Five.
catgundam
Хмм, неа, только читал статью-отчет — или я что-то напутал или там что-то напутали :thinking:
По идее-то да, если уж бот умеет играть во все остальное, инвиз не так много добавляет в игру