Вчера, 5 августа, в Сан-Франциско состоялся шоу-матч между людьми и ботами OpenAI в дисциплине Dota 2. Еще в 2017 году в рамках шоу-матчей The International 2017 люди сражались с OpenAI в формате «1х1 mirror mid» и с целым рядом ограничений в пользу ботов (запрет на использование ряда предметов и механик), что закончилось поражением профессиональных игроков-мидеров.
Так как Dota 2 — дисциплина крайне разносторонняя и сложная для освоения, встреча между людьми и ИИ вновь проводилась с целым рядом ограничений, которые, однако, не слишком радикально влияли на игровой процесс:
- пул из 18 героев в режиме Random Draft (Axe, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper, или Witch Doctor);
- без Divine Rapier, Bottle;
- без подконтрольных существ и иллюзий;
- матч с пятью курьерами (ими нельзя скаутить и танковать);
- без использования скана.
Самое серьезное ограничение: крайне малый пул героев для обеих сторон. Сейчас в Dota 2 существует 115 персонажей с различными способностями и механиками их применения. OpenAI пока может совладать лишь с 18 из них. Встреча была максимально приближена к «реальным» условиям и проводилась в формате 5х5. Против ИИ играли обычные люди, в прошлом когда-то причастные к киберспорту, но сейчас не являющиеся киберспортсменами. Единственная поблажка для людей заключалась в том, что реакция ботов была ограничена 200 мс, чтобы избежать ситуаций с мгновенным «прожатием» кнопок. Итог: команда ИИ выиграла у людей со счетом 2-0 по картам. Выиграть у OpenAI удалось только после того, как героев для ИИ выбрал зрительный зал (Slark, Sven, Axe, Riki и Queen of Pain), по оценкам OpenAI шанс на победу с таким драфтом составлял всего 2,9%. Кроме этого, до начала главного матча, с ботами могли сыграть рядовые гости мероприятия, и в этих встречах доминирование ИИ было еще более наглядно, что впечатляет.
Почему это так важно
OpenAI — это некоммерческий проект, за которым, однако, стоят вполне известные и влиятельные люди. Проект был основан в 2015 году Илоном Маском, Сэмом Альтманом, а спонсорами выступили Питер Тиль и Джессика Ливингстон. Dota 2 — не единственное направление деятельности команды проекта OpenAI. Если ознакомиться с разделом «Исследования» на официальном сайте проекта, то можно увидеть, что OpenAI активно работает и в направлении создания ИИ для, например, робототехники.
Но если основатели проекта — столь влиятельные люди, то почему выбор пал на компьютерную игру? Обучение ИИ для работы в динамически изменяемых условиях — задача нетривиальная. Текущие модели ИИ и автопилотов действуют исключительно в жестко заданных условиях, а для их обучения требуются миллионы различных комбинаций событий и факторов для того, чтобы бот не просто действовал по заранее прописанным паттернам, а начал сам анализировать происходящее и принимать решения исходя из контекста ситуации. Выбор Dota 2 в качестве площадки для обучения ИИ и создания ботов для данной дисциплины оказался полезен с множества точек зрения:
- киберспорт обладает высокой медийностью;
- это безопасная площадка для отработки методов обучения ИИ;
- огромная вариативность игровой механики Dota 2 дает практически неограниченное количество сценариев для обучения;
- открытый доступ к записям игр живых людей предоставляет неисчерпаемый запас данных для анализа.
Последний пункт этого импровизированного списка, наверное, и самый важный. Одна из проблем всех систем обучения ИИ — создание релевантной выборки, на которой можно обучать систему. Живые игроки абсолютно бесплатно генерируют ежедневно миллионы записей игр в свободном доступе, а исследователям остается лишь выбирать матчи с релевантным набором персонажей. И результат впечатляет.
Что произошло 5 августа
Чаще всего боты в компьютерных играх — либо туповатые заскриптованные болванчики, либо непобедимые чудовища с нечеловеческой реакцией. Как пример — «insane»-боты для CS 1.6, которые убивали в голову из дробовика на дистанции в 50+ метров
После шоу-матчей в 2017 году в формате «1х1 mirror», команда OpenAI заявила, что следующая цель — полноценные игры 5х5. И им почти удалось добиться намеченной цели: ожидать от ботов способности управлять и анализировать синергию всех 115 персонажей в режиме Captain Mode было бы глупо, но уже 18 героев — это очень много. Вот расчет вариантов для пика 5х5 (10 персонажей) для 18 героев:
А вот такое число вариантов мы получаем уже для 115 персонажей:
Да, 74,5 трлн комбинаций! Очевидно, что для того, чтобы совладать с таким разнообразием и включить всех 115 персонажей в пул OpenAI, требуется полноценный самообучаемый ИИ, которого у нас пока нет. При этом в расчетах не учитываются способности персонажей (от 4 до 6 «кнопок» на персонажа, без учета Invoker), типы способностей (активные, пассивные, направленные, ненаправленные, AoE, направленные на точку), десятки предметов, активные эффекты предметов, модификаторы и так далее и так далее.
Но даже для нашего мини-пула в 18 персонажей работа была проведена колоссальная.
Ниже вы можете оценить, как ведут себя OpenAI боты в играх против людей:
Чем боты отличались и не отличались от людей
Для тех, кому лень смотреть 5+ часов записи с Twitch, мы коротко расскажем, чем было примечательно поведение команды ботов OpenAI Five на фоне обычных людей.
Сразу стоит сказать, что ИИ думал на стадии драфта персонажей, то есть просчитывал шансы на победу той или иной комбинации персонажей на основании имеющихся у него неполных данных. При этом OpenAI сообщал прогнозируемый процент своей победы исходя из драфта. Иногда, по мнению ИИ, он достигал 95%.
Всю игру OpenAI Five можно охарактеризовать таким популярным среди сообщества термином, как «душили». Да, по ощущениям, боты на самом деле «душили» определенные линии, при этом без каких-либо угрызений совести или опасений заходили под вышки на первых минутах матча для того, чтобы отправить игрока-человека отдыхать под фонтаном на базе. Некоторые моменты можно увидеть на нарезке ниже (название видео не соответствует реальности):
Кроме бесстрашия (граничащего с наглостью) и организованной работы на ранней стадии игры, боты отметились и собственным пониманием механики Dota 2. Цель игры: сломать главное строение противника, на чем и фокусировались боты. Так, 3-4 персонажа ИИ согласованно ломали вышки противников-людей, виртуозно «танкуя» по очереди башню, чтобы сохранить собственных крипов и быстрее разрушить строение. Кроме этого боты отметились и тем, что нестандартно использовали варды, которые также танковали для них вышки. Как итог, в одной из игр с гостями мероприятия боты зашли на базу противника уже на 9 минуте (подъем на базу противника даже на 15-18 минутах считается исключительно ранним таймингом).
Также боты эффективно перераспределяли между собой опыт, не допуская просадки персонажей 4-5 позиций, отличились в расчете урона (при нанесении последнего удара бот не продолжал догонять цель, четко понимая, что урона для убийства хватает) и активно использовали некоторые предметы.
Внимательный зритель заметит на видео и принятие решения исходя из неполных данных (использование AoE-навыков в «туман войны»), принятие нестандартных решений (успешное использование свитка телепортации вместо попытки убежать на своих двоих), заходы в тыл с блокированием противника в лесу и согласованный фокус наиболее опасных противников-людей.
В оправдание человечества можно сказать, что игроки-люди показали не слишком высокий уровень игры, были ограничены в плане выбора персонажей и допускали множество ошибок, но подобный прогресс ИИ всего за 1 год разработки не может не впечатлять.
Вполне вероятно, мы увидим еще один шоу-матч, на этот раз на The International 2018 (пойдет 20-25 августа) против профессионалов, которые явно сильнее ИИ. Однако вполне возможно, OpenAI Five смогут нас чем-нибудь удивить.
Комментарии (301)
attius
06.08.2018 16:01-2Если бы компьютер выиграл считывая информацию с монитора и нажимал через механические приспособления на мышь и клавиатуру то можно было бы говорить о каком то прорыве. Дота это же не шахматы, тут реакция нужна, а компьютер в заведомо выигрышном положении так как напрямую через API игры действует.
konshyn
06.08.2018 16:13Когда ж вы переведетесь. Вечно найдется какой-то нигилист, которому и так нечестно, и сяк. И то не прорыв, и это.
Любой прорыв начинается с маленьких побед. И OpenAI сделал несколько семимильных, на мой взгляд, шагов за год.
Атомную бомбу тоже начали с банальных «предположений о ядерных реакциях» в 30-х годах. В 38-39 году увидели, что когда облучали уран нейтронами образовывался вроде бы барий с массой в 2 раза меньше первоначальной. А через 7 лет Хиросимы и Нагасаки остались только угольки.
Если проводить аналогию, то само открытие ядерного расщепление не является прорывом до тех пор, пока не был построен ядерный реактор.konshyn
06.08.2018 16:16Да и компьютерное зрение по выделению объектов на изображении не сильно связано с мыслительным процессом. И механический удар по кнопкам тоже.
В исследовательских задач так точно.
MINYSMOAL
06.08.2018 17:17Ох блин, надеюсь боты не оставят от нас угольки, следуя примеру, который вы привели :)
mazahakajay
06.08.2018 23:37хотите чтобы угольков не осталось даже? экий Вы кровожадный.
по теме статьи, это не может не радовать. всегда начинается с малого, возможно уже при нашей жизни можно будет наблюдать сюжеты из книг Азимова.
KIVan
07.08.2018 00:52+1В которых ИИ робот...… успешно решил медленно поджарить Землю радиацией чтоб насильно разогнать человечество по галактике.kenik
07.08.2018 08:03Внезапно, это решил не ИИ. Это решили люди, из первой волны расселения (космониты). И не для того, чтобы разогнать, увы. Недавно перечитывал всю серию «Foundation».
Alex_ME
07.08.2018 10:50Но в последний момент робот решил, что это подтолкнет человечество к расселению по галактике, прекратит долгую стагнацию. И принял решение, руководствуясь 0м законом.
Это разве не в конце "Стальных пещер"? А Foundation много-много лет спустя.
Druu
07.08.2018 06:41-1Любой прорыв начинается с маленьких побед. И OpenAI сделал несколько семимильных, на мой взгляд, шагов за год.
Надо только учитывать не сам факт наличия шагов, но и их направление, т.к. часть сделана совсем не вперед. Год назад бот играл на миде на уровне одного из топ-мидеров мира, сейчас — не способен соперничать со средним игроком. Что будет, когда бот научится играть без ограничений и с расширенным пулом? Личный скилл на уровне 500-ммр помойки?
JekaMas
07.08.2018 10:28+1Вы говорите о другой метрике качества. Качество игры отдельного бота не равно качеству игры команды ботов. Вполне может даже оказаться, что попытка максимизировать качество на отдельном персонаже давала просадку метрики по команде в целом.
Тут надо понимать, что мы считаем важной доя нас метрикой и заниматься именно ей, проверяя в действительности, улучшается ли результат, в виде победы.Druu
07.08.2018 10:58Вы говорите о другой метрике качества. Качество игры отдельного бота не равно качеству игры команды ботов.
Я говорю о том, что чем шире пул проблем, которые умеет решать бот, тем хуже он решает каждую из проблем пула. простая проблема специализации. В данном случае — мы непосредственно наблюдаем, как бот, который год назад выносил вперед ногами лучших мидеров мира, сливает теперь мид средним игрокам.
Совершенно очевидно, если бы теперешний бот умел бы играть на миде как тот, старый, то и в целом это бы повысило эффективность бота. Но он не умеет. Почему? Видимо, ограничение размера сети и выч. мощностей. Это важный момент. Если предел, при котором дальнейшее наращивание сложности сети не доступно, уже достигнут, то дальнейшее наращивание пула задач (а наращивать надо, ведь еще более 80 героев, причем среди них всякие "грязные" герои, которые ломают модель игры своим присутствием) не приведет ли к тому, что от бота, который идеально играл на миде на одном персонаже, мы получим бота, который вроде как может играть в доту в общем, в команде, на чем угодно — но делает это предельно плохо?JekaMas
07.08.2018 11:12Не очевидно, что стало бы лучше. Это надо проверять с конкретными метриками.
"чем шире пул проблем, которые умеет решать бот, тем хуже он решает каждую из проблем пула."
Где-то есть статья из ML на эту тему?Druu
07.08.2018 11:15Не очевидно, что стало бы лучше.
Совершенно очевидно.
Где-то есть статья из ML на эту тему?
Да любую книжку по нейросетям откройте, там вам напишут про соотношение между размером сети и количеством стимулов.
JekaMas
07.08.2018 11:22Открывал, открываю и не одну, поэтому и говорю, что это не очевидно. Это гипотеза, которую надо проверять.
А в мире DL вообще вредно пичкать модель своими априорными знаниями, которые могут оказаться ложными.Druu
07.08.2018 11:25Открывал, открываю и не одну, поэтому и говорю, что это не очевидно. Это гипотеза, которую надо проверять.
Это не гипотеза, а доказанный факт. При прочих равных с лучшим мидером вы будете иметь преимущество в золоте. Вы можете проигнорировать это преимущество, сведя игру к варианту "с худшим мидером", по-этому не может возникнуть такой ситуации, что наличие лучшего мидера не скажется в плюс.
Другое дело, если проблема в том, о чем я и говорил выше с самого начала — не получается обеспечить "при прочих равных". Можно обучить бота идеальному стоянию на миде невермором, а можно — среднего качества игроком на пуле из 16 героев. Одновременно — сети уже не хватает, вот и приходится выбирать.JekaMas
07.08.2018 11:29Вы говорите про человеческий опыт, а не про обучение модели.
Почему-то для вас тут стоит знак равенства. Хотя сами по себе утверждение сомнительно.Druu
07.08.2018 11:30Вы говорите про человеческий опыт, а не про обучение модели.
Именно про обучение модели я и говорю. С чего вы взяли, что не про него?
У нас ситуация, в которой приходится жертвовать качеством модели ради того, чтобы она стала более универсальной.
Была модель на десяточку для одного персонажа, стала модель на 8, но для любого из 16. Понимаете?
Color
07.08.2018 14:23В этом и заключается технологическая сингулярность. Машина совершает действия, неочевидные или даже глупые с точки зрения человека, которые он сам бы никогда не совершил, но при этом достигает цели эффективнее, чем человек.
Druu
08.08.2018 04:12Машина совершает действия, неочевидные или даже глупые с точки зрения человека, которые он сам бы никогда не совершил, но при этом достигает цели эффективнее, чем человек.
У нас случай другой — в данном случае машина совершает действия, которые совершенно точно снижают эффективность достижения цели.
xi-tauw
08.08.2018 11:09Извините, но вырву вашу фразу из контекста.
TAS для марио показал, что для того, чтобы развить максимально быстро большую скорость бега нужно сначала развернуться в противоположном направлении. Мне кажется, что это и есть то самое — совершенно точно снижение эффективности — зачем разворачиваться влево, если я бегу вправо? Тем не менее, это быстрее.Druu
08.08.2018 12:46Мне кажется, что это и есть то самое — совершенно точно снижение эффективности
Нет, это не то же самое, т.к. в вашем случае механика игры предполагает, что можно бежать быстрее, развернувшись влево.
В рассматриваемом случае подобные ситуации логически невозможны.xi-tauw
08.08.2018 15:27Я вам тоже напомню, что выиграть матч — это не выиграть мид, не сделать больше убийств и не заработать больше золота. Выиграть — это снести тот самый ancient.
Не стоит из «я не могу связать» делать «логически невозможно». Я не вижу ни одного именно логического обоснования, кроме вашего субъективного взгляда.Druu
08.08.2018 15:37+1Я вам тоже напомню, что выиграть матч — это не выиграть мид, не сделать больше убийств и не заработать больше золота. Выиграть — это снести тот самый ancient.
Так вот, если бы вы играли в доту, то знали бы, что про*б мида никак и ни в каком случае не может вам помочь снести тот самый ancient. Может помешать. А помочь — нет, не может.
С другой стороны, выигрыш мида — может помочь. Но никак не может помешать.
Потому что выиграв мид, вы можете делать все ровно те же самые действия, что и в том случае, если его проиграли. Но не наоборот.
Вы рассуждаете с той точки зрения, что это какой-то хитрый гамбит — пожертвовали пешкой (мидом), чтобы получить ферзя! Но если вы просто берете и на скиле тащите мид — вы ничем не жертвуете. Вы просто забираете ферзя.roryorangepants
08.08.2018 15:45+1Так вот, если бы вы играли в доту, то знали бы, что про*б мида никак и ни в каком случае не может вам помочь снести тот самый ancient. Может помешать. А помочь — нет, не может.
Расскажите это командам, которые играют по стратегии «задавить две линии» и в конкретной игре предпочитают взять более слабый мид, который отстоит кое-как, чтобы загнобить вражеского кора в хардлайне и одновременно выфармить своего керри в изи лайне. Это, конечно, не совсем кейс, когда мид, проигранный из-за скилла, ведёт к победе, но в этом случае мид, проигранный тактически, ведёт к победе.Druu
08.08.2018 15:52-1> Расскажите это командам, которые играют по стратегии «задавить две линии» и в конкретной игре предпочитают взять более слабый мид
Вы вообще читаете, что вам пишут? В нашем случае никто не брал слабый мид, чтобы давить что-то другое. Никто не уходил с мида на ганг, оставляя вражеского мидера на фрифарме. Никто не жертвовал слабым мидером ради того, чтобы саппорты более активно помогали своему керри/давили вражеского керри/хардлайнера.
Мы говорим о том, что один и тот же герой стоит на миде n минут и либо играет хорошо (много добивает и денаит, хорошо давит оппонента), либо играет плохо (добивает/денаит меньше, дает оппоненту чувствовать себя свободнее).
Так вот, нет и не может быть никакой пользы в том, чтобы стоять на миде намеренно плохо вместо того, чтобы стоять там хорошо.
Может быть польза в том, чтобы уйти на ганг, может быть польза в том, чтобы пойти в лес, может быть польза в том, чтобы играть сейфово, может быть польза в том, что будет слабый мид в плане пика, но не может быть пользы в том, чтобы просто _играть хуже_.
xi-tauw
08.08.2018 15:48+1У вас, похоже, проблемы с логикой.
Так вот, если бы вы играли в марио, то знали бы, что поворот влево никак и ни в каком случае не может вам помочь добраться до финала справа. Может помешать. А помочь — нет, не может.
С другой стороны, движение вправо — может помочь. Но никак не может помешать.Druu
08.08.2018 15:58-1Но ведь мы выяснили, что в марио, поворот влево может помочь добраться быстрее. Ваша аналогия неуместна.
Еще раз — выиграв мид вы можете сделать все те же самые действия в тот же момент, что и не выиграв его. По-этому ситуация в принципе не может быть хуже. С другой стороны, если вы не развернулись сразу влево в марио, то вы уже не можете повторить те же действия, как с разворотом в тот же момент.
xi-tauw
08.08.2018 16:19+1выиграв мид вы можете сделать все те же самые действия в тот же момент, что и не выиграв его
Нет аргументов, значит повторяйте это, пока все вокруг не поверят.
Druu
09.08.2018 04:20-1Нет аргументов
Нет аргументов в пользу чего? Вам что в этом тезисе непонятно? Какие действия вы не сможете повторить, выиграв мид?
Hardcoin
07.08.2018 16:37простая проблема специализации
Простая проблема более долгого и качественного обучения. Предполагать, что научить играть в доту НЕ получится — это крайне странно после всех примеров. Вопрос только, насколько быстро. Успеют за месяц или за год? Или придется пять лет ждать новых идей в обучении?
Druu
08.08.2018 04:17Простая проблема более долгого и качественного обучения.
Еще раз — в результате долгого и качественного обучения мы наблюдаем не прогресс, а деградацию бота. Бот, который близко к идеальному играл в одних конкретных условиях, превратился в бота, который играет просто хорошо во многих.
Вопрос только, насколько быстро. Успеют за месяц или за год?
Вопрос не в том, насколько быстро, вопрос в том, хватит ли выч. мощностей.
Или придется пять лет ждать новых идей в обучении?
Новых идей в обучении нейросетей не было уже 50 лет, со времен появления персептрона Розенблатта. Ждать надо будет революции в производстве выч. техники, чтобы закон Мура снова стартовал и лет хотя бы 20-30 проработал.
Hardcoin
08.08.2018 11:04+1мы наблюдаем не прогресс, а деградацию бота.
Вы — видимо да. Мы наблюдаем прогресс. Очевидно, что пространство возможностей кардинально расширилось и боты с ним вполне прилично справляются.
Просто прошлый раз они заточили бота на одну операцию (в некотором роде overfitting), а сейчас обучают на большом пространстве. Ваши доводы выше я прочитал, но они не подходят именно из-за того, что пространство расширилось (например, на миду может появиться второй враг, именно поэтому точно та стратегия, которой бот пользовался в 1v1 не подходит, стратегия изменилась. Для вас она выглядит хуже, зато его не будут внезапно забирать с фланга).
Новых идей в обучении нейросетей не было уже 50 лет
Не знаю, в какой заморозке вы были, но Proximal Policy Optimization, разумеется, новая идея.
Druu
08.08.2018 13:01-1Вы — видимо да. Мы наблюдаем прогресс.
Значит, вы плохо смотрите. Бот совершенно объективно хуже справляется с задачей стояния на миде.
Просто прошлый раз они заточили бота на одну операцию (в некотором роде overfitting), а сейчас обучают на большом пространстве.
Так я же об этом и говорю. Расширить пространство без падения качества не вышло — а тогда нет причин полагать, что качество и дальше не будет падать. В итоге у нас будет цепь "бот почти идеально играющий в миде на неверморе" -> "бот хорошо играющий одним из 16 героев в доту почти без ограничений" -> "бот плохо играющий любым героем без ограничений".
Не знаю, в какой заморозке вы были, но Proximal Policy Optimization, разумеется, новая идея.
Что в ней нового? Обычный стохастический градиетный спуск, напичканный эвристиками, привет началу 60х. Это не то что шаг вперед — это шаг назад от персептрона Розенблатта (на пол десятка лет), алгоритм которого гарантированно сходится за конечное время с верным результатом.
Hardcoin
08.08.2018 15:03+2Если это шаг назад — зачем используют? Логично предположить, что вы просто не видите, в чем тут шаг вперёд, потому вам кажется, что его нет.
Обычный стохастический градиетный спуск
Не обычный. Вообще, ваше высокомерие вряд ли уместно. Если это всё такое тривиальное — аргументируйте. Покажите что-то менее "обычное", если разбираетесь (на самом деле ясно, что нет).
гарантированно сходится за конечное время
Условно конечное. На таких задачах большая плоская сеть конечно гарантированно может дать то же результат, что и глубокая, но не на реальной практике. Добиться сходимости за разумное время (например, месяцы, как в данном случае, а не сотни лет) — это реально достижение и это реально новое. То, что вам проблема скорости обучения не знакома (и вы наивно полагаете, что дело только в железе) — это исключительно ваш просчёт.
Druu
08.08.2018 15:21Если это шаг назад — зачем используют?
А почему нет, если работает?
Не обычный.
Чем необычный?
Покажите что-то менее "обычное", если разбираетесь (на самом деле ясно, что нет).
Менее обычного пока не придумали.
Добиться сходимости за разумное время (например, месяцы, как в данном случае, а не сотни лет) — это реально достижение и это реально новое.
"Добиться сходимости за разумное время" — это когда доказано, что выч. требования для сходимости в некотором классе задач не превышают некоторое Х (которое в каком-то смысле полагается "разумным").
А этого никто не добился, так что не врите. Есть некий набор эвристик, который, как предполагается, иногда может помочь в некоторых (неизвестно каких) случаях. Но при этом никто не гарантирует что сходимость в принципе будет, не говоря уж о том, что она будет за разумное время (или с разумной вероятностью).
В отрасли банально с повторяемостью результатов фундаментальная проблема, а вы про то, кто чего добился рассуждаете.
То, что вам проблема скорости обучения не знакома (и вы наивно полагаете, что дело только в железе)
Именно в железе и дело в первую очередь. Да, когда железо (и размер выборок для обучения) сделало возможным обучение сетей в принципе — то этим занялись, и, что логично, появились некие оптимизированный под задачу версии стандартных и давно известных алгоритмов (того же градиентного спуска). Но именно железо дало возможность. Без скачка производительности никакие оптимизации бы не помогли.
Hardcoin
08.08.2018 16:56+1Менее обычного пока не придумали.
А вы в другой области покажите. В любой, за последние 50 лет. А я скажу, "нет, это банальный Х". Поиграем разок в вашу странную игру "ничего нового не придумали". Интересно посмотреть на ваши критерии "нового". Подозреваю, что это ваша особенность мышления "ничего нового не бывает, все похоже на что-то старое".
когда доказано, что выч. требования для сходимости
Не врите (с).
Добиться сходимости за разумное время — это получить результат. Вы можете выставлять какие угодно требования и считать себя самым умным, однако это лично ваше дело. К дискуссии отношения не имеет.
То, что не любой алгоритм даст математическую гарантию сходимости в любой ситуации тоже к дискуссии отношения не имеет. К реальным практическим задачам — тоже.
А почему нет, если работает?
А почему для этой задачи не использовать персептрон? Он лучше, на ваш взгляд, справится?
Druu
09.08.2018 04:35А вы в другой области покажите. В любой, за последние 50 лет.
Метод опорных векторов с нелинейным фильтром?
Добиться сходимости за разумное время — это получить результат.
Нет, это не так. То, что у кого-то на конкретной задаче что-то один раз сошлось — ничего абсолютно не значит, это не результат. Так же как если кто-то пошел в казино, дважды поставил на зеро и выиграл — это не результат, до тех пор, пока не предоставлен способ выигрывать ставя на зеро с какими-то разумными гарантиями.
То, что не любой алгоритм даст математическую гарантию сходимости в любой ситуации тоже к дискуссии отношения не имеет.
Зачем в любой? Достаточно знать, что он даст сходимость (пусть даже с какой-то вероятностью, но эта вероятность должна быть оценена и желательно выше чем "наугад") в какой-то ситуации, которая четко и явно описана. Иначе — это все становится с точки зрения практики бесполезным.
К реальным практическим задачам — тоже.
Как раз-таки имеет это отношение к практике и самое прямое. Отсутствие соответствующих мат. теорем выводит нейросети за пределы инженерных дисциплин в область живописи или стихосложения, т.к. результат становится принципиально неповторяем. Печально, что вы не видите в этом проблемы.
А почему для этой задачи не использовать персептрон? Он лучше, на ваш взгляд, справится?
Возможно, и лучше. А возможно — и хуже. У нас же нету никаких свидетельств в пользу того, что те сети, которые используются на данный момент в OpenAI, подходят к задаче лучше обычного однослойного персептрона? Нету. Как нету и обратных.
Hardcoin
09.08.2018 13:11Метод опорных векторов с нелинейным фильтром?
Обычная минимизация функции. Ничего нового со времён работ Крамера двадцатых годов.
К тому же, это просто улучшение обычного SVM, которому уже 55.
У нас же нету никаких свидетельств в пользу того,
Нет свидетельств? Может вы перепутали и хотели сказать "доказательств"? Свидетельств-то сколько угодно. Конечно глубокие сети справляются лучше, чем перцептрон, на большинстве задач. Да и научных работ на эту тему множество. Вы конечно, можете их все обесценить, мол, это не наука, а художества.
у кого-то на конкретной задаче что-то один раз сошлось
А если у тысячи человек сошлось на определенном классе задач и есть куча информации, в каких условиях не сходится — это уже наблюдение. На него можно опираться и получать практические результаты.
в какой-то ситуации, которая четко и явно описана. Иначе — это все становится с точки зрения практики бесполезным.
Так определенные архитектуры и дают результат в четкой ситуации с какой-то вероятностью (выше рандома). Хочешь получить результат в распознавании изображений — бери сверточную сеть. Если не исследование ведёшь, а именно результат нужен. Конечно было бы классно иметь теорему, которая говорит, что сверточная сеть лучше всего на этом классе задач, но её пока нет. Есть наблюдения, исследования и куча практических результатов. Взять сверточную сеть именно с точки зрения практики — разумно.
Печально, что вы не видите в этом проблемы.
Вот этот абзац я пишу с помощью распознавания голоса. Печально что вы не видите реальных практических результатов и утверждаете что они неповторимы.
Druu
09.08.2018 14:29Обычная минимизация функции. Ничего нового со времён работ Крамера двадцатых годов.
Метод опорных векторов — это, содержательно, способ приведения задачи классификации к задаче минимизации. То есть — вы привели, SVM на этом по факту закончился. Саму задачу минимизации вы уже можете решать как хотите, вообще говоря. Так что ваше утверждение не совсем верно.
К тому же, это просто улучшение обычного SVM, которому уже 55.
Но он не является его частным случаем. Вы не можете из SVM сделать SVM с нелинейным фильтром, меняя как-либо входные параметры SVM. В случае с PPO — ребята просто предлагает полученную на основе эвристик целевую функцию, которая является входным параметром алгоритма. Замена целевой ф-и не меняет алгоритм.
А если у тысячи человек сошлось на определенном классе задач и есть куча информации, в каких условиях не сходится — это уже наблюдение.
Да, но в данном случае сходится одна конкретная сеть на одной конкретной задаче, при этом она же не сама сходится — процесс обучения постоянно контролируется человеком, постоянно вносятся правки в процесс. Если вы поставите другого человека — он будет вносить другие правки и у вас получится другой результат, даже если будет использоваться тот же алгоритм обучения. А если вы даже в рамках той же задачи используете другую обучающую выборку, или, например, сам алгоритм случайно пойдет немного не так (что возможно, если он стохастический) — то, опять же, будут другие наблюдения и другие правки, при этом все эвристики, которые вы делали в прошлом случае, окажутся хорошо если бесполезными (а на практике с большой вероятностью они могут быть вредны!).
Так определенные архитектуры и дают результат в четкой ситуации с какой-то вероятностью (выше рандома).
В какой ситуации и с какой вероятностью? Вот PPO хорош в какой ситуации и с какой вероятностью?
Есть наблюдения, исследования и куча практических результатов. Взять сверточную сеть именно с точки зрения практики — разумно.
Карго-культ в принципе разумен с точки зрения тех, кто его исповедует, да. При этом он не перестает быть карго-культом.
Печально что вы не видите реальных практических результатов и утверждаете что они неповторимы.
А они повторимы? Укажите мне, пожалуйста, каким конкретно алгоритмом. И, пожалуйста, чтобы не пришлось в процессе чего-то подкручивать: просто запустил, сунул выборку и получил результат.
Hardcoin
09.08.2018 15:06Так что ваше утверждение не совсем верно.
Согласен. Хотя я мог бы, по вашей схеме, настаивать, что это просто комбинация известных вещей — линейные классификаторы были известны ранее, kernel functions — тоже не новое изобретение. Mercer их описал больше ста лет назад (спасибо Гуглу, да).
В случае с PPO — ребята просто предлагает полученную на основе эвристик целевую функцию
Так вот целевая функция — и есть новое, в данном случае! Именно она позволяет решать задачу такого размера. Никакой реальный прогресс в вычислительных ресурсах не позволит решить задачу на перцептроне, нужен reinforcement. А для reinforcement нужна хорошая целевая функция.
PPO, по утверждениям разработчиков, проще настаивать, проще контролировать. Как будет на практике — посмотрим. Ещё несколько команд возьмутся, начнут использовать — тогда и будет ясно, насколько повторяемы результаты на разных задачах.
Вот PPO хорош в какой ситуации и с какой вероятностью?
Я с PPO не так хорошо знаком. Будем считать, что идёт этап исследований. Когда изучат — будет понятно, в какой ситуации. Для сверточных сетей ответ известен.
Карго-культ в принципе разумен с точки зрения тех, кто его исповедует, да.
Попытка утрировать, возможно, хорошо выглядит в ваших глазах. Но вы прекрасно знаете, что сверточные сети — не карго-культ. И вы знаете, что я это знаю. Так зачем?
А они повторимы?
Если вы запустите обучение с теми же гиперпараметрами — получите тот же результат. Просто сунете выборку, запустите, получите результат.
В научных работах выбранные гиперпараметры описываются. Методы выбора гиперпараметров — это предмет исследований в настоящий момент.
roryorangepants
08.08.2018 13:16+1Новых идей в обучении нейросетей не было уже 50 лет, со времен появления персептрона Розенблатта
Рекуррентные сети — 1980. Энкодеры — конец 80-ых. Свёрточные сети — 1988. LSTM — 1997. GRU — 2014. GAN — 2014.
Да что там говорить, backprop в современном виде был описан только в 1986 году.
Да, не всё из этого про «обучение нейросетей», но, например, backprop и BPTT, а также GANы — это именно про оптимизацию.
А я ведь сейчас прошёлся только по самым известным и высокоуровневым штукам.
Говорить, что после персептрона Розенблатта ничего не появилось — это мягко говоря преувеличение.
BingoBongo
07.08.2018 11:10-2Качество игры отдельного бота не равно качеству игры команды ботов. Вполне может даже оказаться, что попытка максимизировать качество на отдельном персонаже давала просадку метрики по команде в целом.
Может в какой-то другой игре, но не в Доте.JekaMas
07.08.2018 11:21В ML надо все проверять, интуиция ОЧЕНЬ часто подводит.
Нам кажется, что надо каждому игроку играть лучше, а обученная модель спокойна могла получить процент побед с более слабым middle персонажем в 76% против 67% с более сильным, но при изменненных других параметрах.
Задача модели это иметь как можно лучшую заданную метрику, а она может оказаться
1. довольно хитрой или комбинацией нескольких
2. не коррелировать с нашей интуицией.
Те же шахматисты подскажут, что модель часто делает шаги контринтуитивные шаги, но они оказываются выигрышными.Druu
07.08.2018 11:27Нам кажется, что надо каждому игроку играть лучше, а обученная модель спокойна могла получить процент побед с более слабым middle персонажем в 76% против 67% с более сильным, но при изменненных других параметрах.
Так я же об этом и говорю. Для того, чтобы обучить бота играть более универсально, приходится ухудшить более специфичные навыки. В итоге чем больше мы будем обучать, тем хуже бот будет играть.
JekaMas
07.08.2018 11:31Не факт. Затем мы можем продолжить обучать модель и «сильный мид» (еще бы формализовать эту метрику) вновь окажется выигрышным в обучении фактором. И получим условные 81% побед с сильным игроком в середине.
Druu
07.08.2018 11:34Не факт. Затем мы можем продолжить обучать модель и «сильный мид» (еще бы формализовать эту метрику) вновь окажется выигрышным в обучении фактором.
Но сеть то уже не сможет играть сильно на миде, не влезет в нее.
JekaMas
07.08.2018 11:40Почему вы так решили?
Druu
07.08.2018 11:43Ну так из примера выше. Была сеть, которая умела стоять на миде, стала — та, которая разучилась.
Поскольку навык стояния на миде качество игры не может уменьшить никак, то может такое возникнуть только в том случае, если "разучиться" требуется, чтобы научиться чему-то другому.JekaMas
07.08.2018 11:47Навык этот окажется активностями, возможно, тысяч нейронов во множестве сетей. Так что штука не бинарная ВКЛ/ВЫКЛ.
Druu
07.08.2018 11:52Навык этот окажется активностями, возможно, тысяч нейронов во множестве сетей. Так что штука не бинарная ВКЛ/ВЫКЛ.
Так речь и не идет о есть/нету, речь о качестве навыка (хорошо/плохо с практически непрерывным спектром).
Yolkin-RU
07.08.2018 16:55Как насчет такого варианта: нынешняя сеть играет сразу всей командой, а не только на миде. Допустим, она решает, что есть смысл чуточку слить мид, чтобы спровоцировать человека на агрессивное поведение, которое в итоге выливается в большие локальные победы за счет лучше откормленных (и менее тормозных) саппортов. Именно то, о чем говорили выше в нескольких комментариях: контринтуитивные шига, которые в итоге приводят к желаемому результату.
BingoBongo
07.08.2018 17:17Зачем, имея более откормленных саппортов, что-то сливать, если можно идти в атаку? о_О А если человек просто заберет мид и уйдет в лес качаться, то ИИ будет сидеть как дурак без мида?
Druu
08.08.2018 04:19-1. Допустим, она решает, что есть смысл чуточку слить мид
Нет, не может быть в доте никакого смысла слить мид. Никак и никогда. Дота так не работает.
Не надо обманываться, это никакой не контринтуитивный шаг, а просто бот разучился тащить на миде. Такой же косяк, как свен, разменивающий себя в т2, даблшрапнель снайпера и т.п. вещи.
в большие локальные победы за счет лучше откормленных (и менее тормозных) саппортов
От слива мида сапортам будет хуже, а не лучше.
BingoBongo
07.08.2018 11:33обученная модель спокойна могла получить процент побед с более слабым middle персонажем в 76% против 67% с более сильным
Откуда информация? С кем играла обученная модель и сколько раз? Что понимается под «сильным» мид персонажем?JekaMas
07.08.2018 11:40Вот именно про это я и говорю.
Мы не можем сказать, какие свойства окажутся выигрышными для какой модели заранее. Если бы могли, то нам был бы ML и DL не нужен, мы бы просто писали линейные алгоритмы, которые дофига умны.Druu
07.08.2018 11:44Мы не можем сказать, какие свойства окажутся выигрышными для какой модели заранее.
Нет, мы можем, потому что знаем, как игра устроена.
BingoBongo
07.08.2018 11:48Ахаха, вы просто напарываетесь на бритву Оккама, пытаясь приписать маловероятным сценариям наиболее вероятные шансы, не более того. Говорю вам как человек, который убил лучшие годы студенчества на Доту.
Доте нужен ИИ только для того чтобы разработать стратегию взаимосвязанных действий 5 персонажей на карте (т.е. принять решение, когда идти в атаку, когда зачищать лес, когда уйти в оборону, когда сосредоточиться на заработке золота и т.д.). Это нетривиальная проблема, а то что касается отдельных битв, которые уже начались, тут задача сводится чуть ли не элементарному решению (битвы легко просчитываются, т.к. скилов и возможных действий у героев не много).JekaMas
07.08.2018 11:48Говорю как человек убивший пару лет на DL :)
Druu
07.08.2018 11:55Говорю как человек убивший пару лет на DL :)
Быть специалистом предметной области полезнее в данном случае, чем знать DL.
Да и вообще всегда полезнее.
BingoBongo
07.08.2018 11:58По вашей же логике: что если ваш опыт игры в DL имеет обратно пропорциональное влияние на вашу способность разбираться в механике Доты? Ведь это, на минуточку, разные игры со своими особенностями. Вполне возможно, что не будь у вас 2-летнего опыта, сейчас бы вы имели другое, более корректное мнение :)
JekaMas
07.08.2018 12:03Понимаете, вы говорите о том, что пачка экспертов способны сделать «умную» модель, ибо разбираются в вопросе.
Это уже проходили. Экспертные системы заняли свою узкую нише и не более. В мире ML подобные рассуждения не работают.Druu
07.08.2018 12:06Понимаете, вы говорите о том, что пачка экспертов способны сделать «умную» модель, ибо разбираются в вопросе.
Нет, мы говорим о том, что эксперты обычно знают некоторые вещи, которые гарантированно правильны. Например, эксперт в шахматах знает, как ставить детский мат. И что надо сделать, чтобы его гарантированно не поставили.
Есть просто некоторые вещи которые очевидно верны, в силу просто того как устроена игра. Например, в случае доты, абсолютно во всех практически осуществимых случаях при прочих равных лучше заработать больше золота и голды на команду, чем меньше (или не дать заработать противнику, например). Ситуация в которой это не так, практически неосуществима просто в силу игровой механики. Это утверждение из разряда того, что бкб работает 10-5 секунд. Ну вот столько оно работает иничегонисделать.dimm_ddr
07.08.2018 16:25эксперты обычно знают некоторые вещи, которые гарантированно правильны
Не так. Эксперты знают некоторые вещи, которые работают для них. Это не значит что они гарантировано правильны.
Например, в случае доты, абсолютно во всех практически осуществимых случаях при прочих равных лучше заработать больше золота и голды на команду, чем меньше
Это очевидно не так. Выиграв на 10 минут быстрее можно заработать заметно меньше золота за игру. Станете утверждать что выиграть на 10 минут раньше — хуже чем на 10-20-30 позже? Можно еще придумать ситуации когда лучше пойти и продавить линию чем разбежаться на фарм. Или такого тоже никогда не случается и нужно фармить как можно больше?
BingoBongo
07.08.2018 17:26Это очевидно не так. Выиграв на 10 минут быстрее можно заработать заметно меньше золота за игру. Станете утверждать что выиграть на 10 минут раньше — хуже чем на 10-20-30 позже?
Очевидно, что у вас неправильно задана целевая функция: вопрос не во времени или золоте, а в наборе действий, при которых шанс на победу будет максимальным. С более лейтовым составом высока вероятность, что пойти заработать золота будет менее рискованно, чем пытаться закончить матч сразу.dimm_ddr
08.08.2018 12:48Это не у меня задана целевая функция неправильно, а у комментатора которому я отвечаю. И я пытался сказать именно то, что говорите и вы.
Druu
08.08.2018 04:29Не так. Эксперты знают некоторые вещи, которые работают для них. Это не значит что они гарантировано правильны.
Нет, именно гарантированно правильны. В принципе, объективно, для всех.
Это очевидно не так.
Это, очевидно, так.
Выиграв на 10 минут быстрее можно заработать заметно меньше золота за игру.
Вы намеренно опустили "при прочих равных"? Не существует такого варианта, где вы при прочих равных зарабатывая больше золота выигрываете игру позже.
Т.к. вы можете просто совершать все те же самые действия, не обращая внимания на то, что лишнее золото у вас есть (и, с-но, выигрываете игру ровно в тот же момент, как если бы золота у вас не было). То есть это, как минимум, не ухудшает вашей ситуации, но при этом дает вам возможность делать некоторые действия, которые без золота вы бы делать не могли (то есть ситуацию потенциально улучшает).
Есть конечно нюанс — это механика расчета золота за убийство, но чисто математически то, что вы таким образом бонусно получите, абсолютно всегда будет меньше того, что получил ваш противник.
Станете утверждать что выиграть на 10 минут раньше — хуже чем на 10-20-30 позже?
Это не лучше и не хуже, это одинаково (а для бота играющего против игроков — чем позже тем лучше, как раз, т.к. бот в отличии от человека не выматывается, а дота когнитивно дает очень большую нагрузку). В доту играют не на время.
И, да, имея преимущество, его обычно наращивают — забирают товера, дофармливают нужные айтемы, забирают рошана, и уже потом идут пушить наверочку, на 10-20-30 минут позже. Но зато с бОльшими гарантиями успеха.dimm_ddr
08.08.2018 12:47-1Не существует такого варианта, где вы при прочих равных зарабатывая больше золота выигрываете игру позже.
То есть вариант сидеть в защите пока часть команды фармит и выиграть в эндгейме не существует? Всегда идет раш с самого старта? Мне кажется вы либо не разбираетесь в теме, либо уперлись и в упор не видите ошибок в своих рассуждениях. При каких прочих равных? При всех? Но при всех прочих равных у ваас и золота будет одинаково, невозможно зарабатывать больше золота делая то же самое. А значит количество золота зависит от выбранной стратегии, от конкретных действий в каждый конкретный момент. И вариантов как можно заработать больше золота в ущерб другим параметрам — масса.
Druu
08.08.2018 13:17+1То есть вариант сидеть в защите пока часть команды фармит и выиграть в эндгейме не существует?
Вы о чем?
Мне кажется вы либо не разбираетесь в теме, либо уперлись и в упор не видите ошибок в своих рассуждениях.
Вы просто не можете понять, что вам пишут.
При каких прочих равных? При всех?
Да, при всех.
Но при всех прочих равных у ваас и золота будет одинаково, невозможно зарабатывать больше золота делая то же самое.
Конечно можно! Если вы выигрываете мид, то вы получаете больше золота/опыта при прочих равных
И вариантов как можно заработать больше золота в ущерб другим параметрам — масса.
Конечно же, их масса! Но если вы выигрываете мид, а не сливаете — вы зарабатываете больше золота без ущерба каким-то другим параметрам.
И вы этого никак не хотите понять.
У того, что вы выигрываете мид — нет никаких возможных негативных последствий.
Речь ведь даже не о том, что вы можете либо стоять и тащить мидл, либо пойти гангать, нет — речь именно о стоянии на миде, где вы либо забираете больше крипов и гнобите противника, либо нет. В первом случае вы не жертвуете абсолютно ничем, вы просто получаете больше к моменту Х, и это никак не влияет на то, что происходит на остальной карте.
Вы сейчас полагаете что бот какой-то сверхумныйй и делает какие-то сверхгениальные вещи. Это не так. Текущий бот (если посмотреть игру) — довольно глуп, часто тупит, очень плох в макроигре, единственное что у него действительно хорошо выходит — это стак скилов в замесах.
Так что глупость бота в данном случае — это именно глупость бота, а не какой-то хитрый план, что "иначе было бы хуже".
echo1
07.08.2018 11:19-1в доте — равно.
идеально играющий инвокер может удержать от проигрыша и выиграть игры практически сам.
в ЛоЛе — нет, там концепция игры совершенно другаяJekaMas
07.08.2018 11:23У вас есть вся полнота ститискими обучения той модели бота, чтобы такое утверждать?
mayorovp
07.08.2018 12:29Идеально играющий инвокер ничего не сможет сделать против своей прямой контры. Ему нужны сапорты, а откуда они возьмутся в команде оптимизирующих личную эффективность ботов?
Druu
07.08.2018 12:30Идеально играющий инвокер ничего не сможет сделать против своей прямой контры.
Это какой? ;)
Ему нужны сапорты
В том случае, если сапорты противника на миде поселятся. А иначе — отъестся на мидере противника и начнет нагибать всю карту с 10 минуты.
mayorovp
07.08.2018 12:45Мидер противника может и не позволить на себе отъесться…
А еще тут могут и свои тиммейты «помочь» — они же тоже личную эффективность оптимизируют! Курьера отобрать, например. Или просто тоже прийти на мид.Druu
08.08.2018 04:32-1Мидер противника может и не позволить на себе отъесться…
Мы же говорим о ситуации, когда скил инвокера значителньо выше.
А еще тут могут и свои тиммейты «помочь» — они же тоже личную эффективность оптимизируют! Курьера отобрать, например. Или просто тоже прийти на мид.
Давайте ближе к реальности все-таки ;)
MINYSMOAL
07.08.2018 12:40У меня сложилось впечатление, что хотели сделать матчи зрелищными, а не уничтожение людей, учитывая игроков, которых valve выбрали играть. Вы только представьте, как бы это смотрелось, играй все 5 ботов как тот с мида ;)
Druu
07.08.2018 12:42Тогда лучше бы было дать стимул на победу, чтобы игроки всерьез играли :)
MINYSMOAL
07.08.2018 19:49С другой стороны закрадывается мысль, что бот реально слабоват.
В общем как по мне, получилось, какое-то двоякое впечатление. Вроде и круто, что команда разработчиков так продвинулась за год, а с другой стороны не понятен выбор игроков и их отношение к игре.
То есть, если в том году, каждый хотел попробовать выиграть того бота на миде, то здесь получился какой-то вялый эффект :(Druu
08.08.2018 04:35С другой стороны закрадывается мысль, что бот реально слабоват.
Ну я об этом ниже говорил, игра вышла не показательной из-за плохой игры людей. Если Денди год назад против бота нормально отыграл и уровень бота был виден, то тут ничего не понятно.
saboteur_kiev
07.08.2018 17:56Вы не заметили ограничения на реакцию в 200 мс? Это между прочим почти вдвое больше, чем реакция опытного игрока.
Одного этого ограничения достаточно, чтобы сильно порезать возможности ботов.
Сделать, чтобы боты легко убивали человека 1 на 1 — несложно. Основная задача — научить их принимать долгосрочные тактические решения.Druu
08.08.2018 04:36Вы не заметили ограничения на реакцию в 200 мс? Это между прочим почти вдвое больше, чем реакция опытного игрока.
А вы сможете указать в каких моментах игры это порешало?
Вы доте реакция (и вообще микро) не так важны как кажется.saboteur_kiev
08.08.2018 14:22В каждом моменте, где из кустов выходит герой, или когда игрок видит что-то появляющееся из тумана войны — это реакция.
Каждый раз в тимфайте, можно попытаться увернуться или побежать в определенном направлении и противник должен на это среагировать — это реакция.
В любой игре реакция и микро важны, просто до определенного уровня. и 200 мс (целая пятая часть секунды) это уровень весьма средненького игрока.Druu
08.08.2018 14:52В каждом моменте, где из кустов выходит герой, или когда игрок видит что-то появляющееся из тумана войны — это реакция.
Замечательно, но вопрос остается — где именно это порешало в данной конкретной игре?
В любой игре реакция и микро важны, просто до определенного уровня. и 200 мс (целая пятая часть секунды) это уровень весьма средненького игрока.
Ну я еще раз задаю вопрос — вы можете конкретные моменты показать, где это решало, а не теоретически рассуждения?
Типа: "вот в моменте х если бы игрок среагировал не с 200мс, а с 150мс, то замес бы пошел по-другому..."
Я не отрицаю, что такие моменты возможны. Я лишь говорю о том что вы переоцениваете их количество и, с-но, важность "ограничения реакции".
К слову на счет того, что "200мс — реакция среднего игрока" — на самом деле это совсем не так. Реакция игроков в замесе сильно больше, чем 200мс, просто потмоу что ко времени реакции приходится добавить время на осознание происходящего и на принятие решения.
Пример: в первой доте из-за особенностей анимации можно было гарантированно уворачиваться от подкопа скорпа. Ну то есть если я вижу, как вы пытаетесь меня копнуть, то я отхожу вбок и вы ничего не сделаете, не подкопаете, как ни старайтесь. И для того, чтобы это сделать, не требовалось какой-то особой реакции, ну потрениться полчасика и все. Но ирл это никто не делал, просто потому что в замесе вы не можете следить за одним конкретным скорпом, а если а заметите момент подкопа, то просто не успеете принять решение об увороте, т.к. приходится учитывать еще множество фактором в плане того, в какую сторону бежать и что делать.
leok
07.08.2018 07:05Механические мышь и клавиатуру конечно перебор. Но доступ к API это сильно. Я думаю, что все-таки боты не знают положение игроков вне видимости, но тут про это не написано. Например, если противник мелькает на мгновение с краю зоны видимости, человек может не заметить, но бот будет точно знать кто это и какие предметы у него есть.
NINeOneone
07.08.2018 10:15Это пожалуй и есть основное преимущество ИИ против человека — способность много и быстро обрабатывать информации.
k0nst
07.08.2018 12:44это и не совсем честно. В профессиональной Доте капитаны почти всегда играют саппортами. Почему? Потому что за капитаном слежка за картой и проработка стратегии: кто куда идет, кто свапается линиями, кто роумит, кто что покупает, что купили противники. В случае с ботами данная роль фактически снимается, т.к. это автоматически делает каждый бот. В результате получаем фактически 1 игрока с пятью героями, который знает все и управляет всем
BingoBongo
07.08.2018 13:10Это не то преимущество, которого ждут от ИИ. Чем, например, оно поможет в классических шахматах?
saboteur_kiev
09.08.2018 15:15API это просто возможность использовать не распознавание экрана, а готовые инструменты для получения информации. но это означает, что API это доступ прямо вообще ко всей информации.
API соблюдает условия честной игры — то есть не сообщает ботам о врагах вне видимости.
artskep
06.08.2018 16:39Ну, реакцию для ИИ замедлили — об этом в статье написано.
200мс для профессионала, я полагаю, вполне приемлимо.wsf
06.08.2018 17:30Смотрел игры, там в некоторых местах нифига не 200мс, особенно показателен моментальный хекс
bro-dev0
06.08.2018 23:33У вас нет опыта в игре просто. Когда хекс кидаешь а радиус действия не достигнут, твой герой идет к цели, если кинуть заранее то при блинке к тебе получиться реакция 0мс такое у людей сплошь и рядом.
BingoBongo
07.08.2018 11:14Как вы вероятно помните, через shift героя можно вообще на несколько команд вперед «запрограммировать».
nidalee
07.08.2018 05:44+1Там больше. И сам игрок за шейкера сказал, что не был уверен, что нужно ультовать, даже собрался куда-то идти (видно поворот персонажа после прыжка).
anamnian
07.08.2018 10:59Когда ES кинул свой 1 скилл, который станит по области, любой профессиональный игрок будет готов к тому что следующим последует блинк и применение ульты.
khanid
07.08.2018 16:10Не знаю, как для доты, но в том же WoW это много. Очень много. Играть просто некомфортно. И в pve, и в pvp. А на той же арене при игре на 120мс и на 50мс разница уже была более очевидна в форматах 2 на 2 и 3 на 3. То есть сказать, что вот разница из-за этого и этого — тяжело, но если я смотрел свою статистику игр за месяц, то было видно, что получаемые результаты лучше на 50 мс при отсутствии изменений в команде, механиках и прочих условий. Просто превосходство в 50-70 мс над среднестатистическим соперником по сумме всех игр набегает в ощутимый результат.
Druu
08.08.2018 04:37И в pve, и в pvp. А на той же арене при игре на 120мс и на 50мс разница уже была более очевидна в форматах 2 на 2 и 3 на 3.
Вы не путайте пинг с делеем. Ваши 120мс пинга на самом деле ~300.
saboteur_kiev
09.08.2018 15:17На чемпионатах, особенно с трансляцией команд, обычно используют локальный вариант турнирного сервера, с пингом 0-10 мс.
Rictusgrin
06.08.2018 19:24+5Следующим этапом будет:
«Если бы компьютер выиграл считывая информацию органическим глазом (обязательно с слепым пятном и необходимостью моргать!) с монитора, нажимал через устающие биологические руки (с туннельным синдромом!) на мышь и клавиатуру, ему бы хотелось жрать, спать и трахаться, то можно было бы говорить о каком то прорыве.»robotrobot
06.08.2018 20:21тогда и поговорим? :)
а вообще, все таки ограничений маловато, (но это надо вводить для будущих убер версий)
помимо суперреакции которую снизили, есть множество мелких преимуществ у ИИ
Taras-proger
07.08.2018 06:30-2Нет. Прорыв будет, когда одни и те же боты сначала проиграют, а потом, проанализировав свои ошибки, победят в тех же ограничениях. А так бегуна давно «сделали», просто навалив мощность на колёса, что к разуму отношения не имеет. Человек способен тренироваться и самообучаться. А «золото» надо будет выдать тем ботам, которые победят пусть и по правилам РПГ, но полевой, а не компьютерной и в физических телах. И, конечно же, тела эти должны не иметь биологических косяков вроде усталости двигателей, или необходимости сканировать огромное размытое поле зрения маленьким резким пятнышком. Робот со всеми этими косяками – шаг назад, а кошерный робот должен иметь точные не устающие приводы, стальные шарниры, стальной каркас и зрение на основе камер.
JekaMas
07.08.2018 10:32Откуда же вы беретесь, воистину!
Шашки, шахматы, го — так же были волны фанатиков, рожавших подобные опусы. Утешает лишь то, что вы обречены на провал.
JekaMas
07.08.2018 10:30Скорее, если бы эти человеческие мешки мяса использовали строгую логику позитронного мозга (дань Азимову), то у них было бы столько же внезапных озарений, как и у нас.
Dmitry88
06.08.2018 16:06интересно, насколько может подорвать AI online игры, как индустрию?
MaxVetrov
06.08.2018 16:27А как он подорвет? Люди как играли, так и играют, и будут играть.
strangest
06.08.2018 16:54Боты, в перспективе неотличимые по поведению(т.е. по паттерну действий его не выловить) от людей, заполоняющие все игры, и сливающие всё заработанное на черный рынок.
MaxVetrov
06.08.2018 17:11Да индустрия изменится, но никак не подорвет.
robotrobot
06.08.2018 20:23скоро во всех отраслях… ладно не скоро ))
но я бы хотел, чтобы мне бот сделал блюда на уровне лучших ресторанов )MaxVetrov
06.08.2018 20:56Сделает,)
А сейчас подборочка с ютуба:
www.youtube.com/watch?v=9qnE5ub2HyY
www.youtube.com/watch?v=ZHmuSTZDzpU
www.youtube.com/watch?v=rjYUxQ6zfSw
Приятного аппетита.)
Jeka178RUS
06.08.2018 18:49+1Эх грядет новая эра синглплейя… м-да мечты…
MaxVetrov
06.08.2018 19:02+1А может другой AI (на серваке) будет определять по поведению AI это или человек и банить учетку если AI используется игроком.
Alex_ME
07.08.2018 11:55GAN на новом уровне? Генератор vs детерминатор? Интересная идея — сделать имитатор человеческой игры (или иного поведения).
roryorangepants
07.08.2018 14:37Imitation learning уже существует и используется как одна из стратегий обучения ботов играм.
bro-dev0
06.08.2018 23:45У меня нет статистики, и возможно это совпадение но имхо шахматы стало меньше людей играть когда известно что лучшим не стать никогда.
TimsTims
07.08.2018 14:09когда известно что лучшим не стать
Это известно любому логически мыслящему человеку(коими являются шахматисты), что шанс стать лучшим очень низок.
mk2
06.08.2018 16:27Наоборот, это отличный плюс для новых игр и игр с небольшой аудиторией. А то случаются хорошие игры, в которые просто не с кем поиграть.
Жду бота для Майнкрафта )))Femistoklov
06.08.2018 17:16TBS — вот где нужен хороший ИИИ. Жаль, о таком можно только мечтать.
mk2
06.08.2018 17:24Это да. Но там во-первых нет «скиловых» действий на время типа попасть в голову или добить крипа, а во-вторых больше стратегического рандома — тактика развития может быть зависеть, скажем, случайных заклинаний Гильдии магов, или какие герои в таверне.
andersong
07.08.2018 08:23Люблю иногда побегать в ГТА Онлайн, но с интернетом (РТК) творится что-то непонятное — то в сессии человек 20+ и творится вакханалия, да и читеры доставляют, то из сессии все пропадают (иногда посреди миссии) и остаёшься один и становится скучно))) Были бы адекватные боты, лично мне было бы интереснее (и маты при вылетах соседи бы не слышали)))
artskep
06.08.2018 16:45я слышал в XX веке какого-то гроссмейстера спросили: "а не получится ли так, что компьютер обыграет человека в шахматы, и не станет ли это смертью шахмат, как спорта". На что получил встречный вопрос "может ли автомобиль обогнать человека, и не станет ли это смертью легкой атлетики"
В шахматах люди уже давно проигрывают машинам, но ничего принципиального не произошло
GarryC
06.08.2018 17:05Ну вообще-то, кое-что (может, и не принципиальное, но тем не менее) произошло.
Изменился регламент и теперь партии не оставляют на доигрывание именно по причине мощных анализаторов.artskep
06.08.2018 17:14Читерство в любом виде спорта старо как мир. И в киберспорте полно (вроде на Хабре были статьи на эту тему), и в обычном (регламентов на ограничения болидов F1 или биты в бейсболе полно, и постоянно обновляются). Да в тех же шахматах запрет на курение ввели не из-за заботы о здоровье, если легенды не врут. Это было до ИИ, будет и после.
Dmitry88
06.08.2018 17:28Популярность шахмат сильно упала в медийном пространстве.
Я вел к тому, что вот садишься ты играть в какую-то онлайн игру, а тебя там разносит неотличимый от человека AI (который всегда чуть-чуть лучше). Стимула играть в такое нет никакого.MaxVetrov
06.08.2018 17:30А Вам просто будут предлагать разные варианты AI — посильнее, послабже. Зато у Вас всегда будет возможность поиграть с сильным соперником.
Dmitry88
06.08.2018 17:34я же говорил про online игры human vs human,
Ладно, завязываемMaxVetrov
06.08.2018 17:43А ну если так, то это будет уже борьба программистов по написанию AI.
Т.е. программист AI против другого.) human vs human.)
A остальные люди чтобы поиграть с другими, будут играть offline — шахматы на улице, на скамеечке.) Либо все станут программистами.RPG18
06.08.2018 18:07Люди перейдут на консоли, для которых стоят отдельные сервера.
MaxVetrov
06.08.2018 18:11Люди то перейдут, но что помешает этим же людям не автоматизировать процесс за счет AI?
RPG18
06.08.2018 18:14Сложнее хакнуть.
MaxVetrov
06.08.2018 18:20А хакать то и не надо, подрубится только к управлению(джойстикам) и все. Один сделает, напишет статью, и все остальные будут повторять.
Taras-proger
07.08.2018 06:42-2Кто когда подрубится? Не глотайте слова.
MaxVetrov
07.08.2018 09:28Ну Вы же читаете — Толька.) Упустил «ь».
Я рад за Вас, что Вы научились не глотать слова.)
А в «Кто когда подрубится?» знаки припинания нужны?
MaxVetrov
07.08.2018 10:20+1Хотите помочь человеку с проблемами которые у него имеются, по Вашему мнению, обращайтесь в личку.
А так получается, что Вы тут самый умный и хотите это показать во всеуслышание, а мы, все — безграмотные люди. Я понимаю если бы это была статья по русскому языку, но тут другие вопросы рассматриваются.
Кстати, не хотите написать статью по правильности-неправильности русского языка на Хабре? Людям было бы полезно.
AllexIn
06.08.2018 17:40Речь о ботах на месте людей же.
Мы еще в MUD ботов писали, которые по ночам чего нибудь интересное фармили. А как итог — в момент умирания весь мад выглядел как куча зомби, повторяющих одни и теже действия.
AllexIn
06.08.2018 17:39+1И чем это отличается от «тебя там разносит неотличимый от человека донатер/читер»?
MaxVetrov
06.08.2018 19:05Тем что ты его не можешь разнести.)
AllexIn
06.08.2018 19:11+1Донатера/Читера/Активного игрока — тоже невозможно разнести, играя условно по часу в день. Ни скила, ни прокачки не хватит.
Taras-proger
07.08.2018 06:47-2Донатер покупает возможность не играть. Соответственно, через десять минут его в игре уже нет и он никому не мешает, а в следующий раз может и через неделю появиться, и даже через пару месяцев. А бот в игре каждый день круглые сутки без перерывов на обед.
Kopleman
06.08.2018 17:59Для этого в соревновательных играх давно уже придуманы всякие системы рейтинга, ну «сядет» играть AI например в рейтинговые матчи в доте, довольно быстро он окажется в топе, где он конечно же привлечет внимание со всеми вытекающими. Вне соревновательного поля, по барабану на него, черные рынки в ммо существует в них с самого начала, и да они ведут к инфляции игровой валюты, но по сколько сама валюта и ее объемы по сути «прихоть» разработчика, все о чем можно сетовать так это о больших цифрах.
ads83
06.08.2018 19:18А можно уточнить, как вы определяли популярность шахмат в медийном пространстве и после какого события она сильно упала?
Rusan
07.08.2018 03:51Я лично не могу сказать за цифры, но вот когда был мальцом — я точно знал и следил за матчами Карпова и Каспарова и помню как по центральным какналам показывали разобры матчей. Конечно сейчас есть интернет, который уже выигрывает у телика по аудитории, но вот мой сын не смотрит шахматы и даже не умеет в них играть в своем возрасте. Ну ок, может быть моя вина, но никто из моих родителей и прародителей ничего мне не рассказывал про шахматы и не учил играть.
Hardcoin
07.08.2018 11:03Всё таки нельзя строить выводы об изменениях на основании одного наблюдения. Возьмите хотя бы десяток. Если это будут друзья и знакомые — это тоже не будет достаточно репрезентативной выборкой, но хоть что-то. Делать выводы просто на основании сына — это совсем перебор. Вдруг он у вас в футбол не играет — так что же, популярность футбола, выходит, упала?
Rusan
07.08.2018 12:20Он играл и занимался футболом, потому что это популярно. Но в целом я с вами согласен что нельзя делать выборку по мне одному, но я и привел другой аргумент — раньше матчи транслировались по телевидению, по центральному, а сейчас нет — а они там ориентируются не только на меня. И да — мой сын и шахматами занимался :).
CDoroFF
07.08.2018 12:09Меняем шахматы на футбол, находим сына геймера и вуаля: популярность футбола упала потому что чей-то сын им не интересуется, а отец интересовался.
Rusan
07.08.2018 12:21+1У меня сын ещё и геймер, то есть и футболом и шахматами и в Доту гамает. Но вот так — теннис конечно упал в популярности :), им не занимался :).
saboteur_kiev
07.08.2018 18:03Перечислите настольные игры, которые были популярны во времена вашего детства?
Шахматы, шашки, морской бой, карты и…
И все?
Менеджер/Монополия вдвоем не так интересно.
Ну может еще 5-10 игр.
Сейчас шахматы/шашки не потеряли популярности в абсолютном количестве, но в процентном конечно уступают миллионам игр на телефонах, планшетах, и т.д.Rusan
07.08.2018 18:36Не совсем понял что вы хотите сказать… Давайте на язык цифр. Вы утверждаете что шахматы в абсолюте не потеряли — то есть как ими увелекалось N человек, так и увлекается N человек. Но если раньше это Н было А%, то сейчас это N это B%, но так что A > B? То есть если раньше всего «увлеченных» людей было N/A*100, то теперь их N/B*100 — так? N/A*100 < N/B*100 — правильно?
Ну или по простому — шахматы потеряли рынок, то есть стали менее популярны — в принципе я это и говорил.saboteur_kiev
07.08.2018 21:13Онлайн шахматы, шахматы на мобильных устройствах — стали еще более доступны. То есть аудитория есть и она вполне могла вырасти.
Население земли увеличилось.
Другое дело, что у шахмат есть серьезные конкуренты, поэтому да, я предполагаю, что количество людей, играющих в шахматы, не стало меньше.
JekaMas
07.08.2018 10:35Будет стимул. После создания подобного ИИ встает следующая задача, научить его ошибаться так, чтобы метрика заинтересованности живых игроков была максимальна.
dimm_ddr
07.08.2018 16:34А после этого — мне будет глубоко безразлично живой ли там человек. Скорее даже наоборот, если бот будет давать максимальную заинтересованность, то он будет предпочтительнее живого человека. А следующим этапом станут личные боты, которых таскаешь из игры в игру, потому что они будут знать что нужно конкретно тебе. Такой виртуальный друг. Потом ему добавят функцию общения, а там уже один шаг до влюбленности… Так стоп, что-то меня не туда немного занесло...
JekaMas
07.08.2018 16:39Почему нет. Или просто твои данные будут таскаться из игры в игру и боты новой игры будут подбираться под тебя. Если игра «с вызывом», то и боты будут на уровень выше «средней» игры.
dimm_ddr
07.08.2018 16:51Ну собственно да, к этому все и идет. Я не фантастику описывал а вероятный по моему мнению сценарий. Более того, я реально этого жду потому что для меня главная проблема в мультиплеере это то, что со случайными людьми мне играть не интересно практически, а с одними и теми же начинаются проблемы совпадения по времени. С ИИ ни того ни другого не должно быть в идеале.
ads83
06.08.2018 19:39Помимо изменения регламента (без доигрываний, без гаджетов и т.д.):
- изменился процесс подготовки (дебюты просчитываются дальше)
- продвинулась теория (базы окончаний),
- радикально изменился послематчевый анализ (игрокам в прямом эфире показывают альтернативные ветки, чемпион мира делает большие глаза, оппонент говорит что видел эту линию но не рискнул — шоу продолжается и после окончания партии),
- больше людей могут понимать партии топов (движки в реальном времени показывают оценки и лучшие ходы)
Но в целом шахматы не умерли, а получили развитие. На каждом крупном турнире применяются новые идеи, которые можно играть не раз и ходы, которые вообще не игрались раньше.
Taras-proger
07.08.2018 06:52-3Окончания у тебя в нервной ткани водятся, а не в шахматах. И очевидно же, что шахматист – не английский матрос и название того, чем регулярно пользуется, забыть не способен. Соответственно, гаджеты у него в любом случае пылятся дома на полке.
VIPDC
07.08.2018 04:45Вообще то сравнение шахматиста не совсем верное.
Вот когда автопилот научится водить лучше человека (а пока он ещё отстаёт), тогда реально начнется закат «человеческих» автогонок.
Как уже писали выше по моим субъективным оценкам, люди перестали стремится как раньше развивать уровень в шахматах, играют просто для удовольствия. Без заучивания и проработки всяких партий, дебютов и т.д.
Не дисциплина не умрёт, просто после того как достоверно установлено что человек не станет лучшим, люди перестают стремится быть лучшими.
В итоге, да люди будут продолжать играть и ездить на авто, и т.д. во всех средах где ИИ станет сильнее, но будут делать это для удовольствия, а не соревнования.Taras-proger
07.08.2018 06:57-1Кем люди перестали быть? И кто стремится развивать уровень? Не глотайте слова. И шофёру не надо быть ни умней, ни сильней, ни выносливей, ни быстрей бегуна. Он просто использует двигатель и обгоняет. А по рельсам водитель трамвая нужен только для того, чтоб останавливаться не строго в заданных местах, с чем и одометр справится, а с закрыванием дверей и началом следующего движения – реле времени, но и в любых препятствующих движению непредвиденных ситуациях.
Igor_O
07.08.2018 17:39-1Ээээ… AI тут вообще не причем. Боты для игры в разные онлайн игры пишутся давно и пачками. И админы с этими ботами борются с переменным успехом.
Наиболее широко «в прессе» представлены битвы против ботов администрации WoW, которая, как считается, недополучает кучу денег из-за активности ботов и из-за того, что игрокам не использующим ботов — тяжело. И да, время от времени банят «ботоводов» пачками в сотни тысяч аккаунтов… Но в свое время народ писал автоприцеливалки для различных он-лайн шутеров. (Да и в «нашем все» Quake, кстати, штатных встроенных ботов для игры при недостатке онлайн-игроков, по рассказам авторов в те годы, пришлось делать сильно тупыми и медленными. Иначе у мясных игроков вообще шансов не было.)
Anarions
06.08.2018 18:19Моменты с мгновенным хексом — слишком быстрая реакция для человека. В истории PRO доты таких случаев единицы, а тут бот без проблем повторяет этот трюк снова и снова. (там ведь не только прожать айтем, но ещё и довести курсор до модельки противника, и прожать второй раз). Тоеть за время которое мы наблюдаем на экране нужно сделать три действия. Возможно нужно ещё 20-40мс прибавить ко времени реакции чтобы у людей было больше шансов.
ragequit
06.08.2018 18:33Сейчас в доте из «коробки» есть настройка использования скила\предмета по 1 нажатию (срабатывание будет в месте курсора). Так что кликать не надо, только навестись + нажать кнопку слота.
Anarions
07.08.2018 12:44в любом случае надо навестись, это наиболее долгое действие, как мне кажется.
ragequit
07.08.2018 13:49+1На самом деле нет. Примерно так же быстро, как и фликшоты с AWP в CS:GO. Только отличие в том, что модели героев достаточно жирные и уберточность как в шутерах не нужна. Больше всего времени уходит на анализ ситуации и принятие решения.
Anarions
08.08.2018 16:07Как раз фликшот с авп на мой вкус выглядит легче, там всё гораздо лучше по контрасту модельки противника с фоном. (сужу со своего ранга GlobalElite и частой игре с авп)
MonkAlex
06.08.2018 18:36Касты через апи, насколько я понял. Т.е. никакого наведения у ботов в принципе нет. А так было бы интересно посмотреть, промахивались бы боты способностями или нет?
robotrobot
06.08.2018 20:25наверное только через механическое управление…
правда до этого еще далеко )algotrader2013
07.08.2018 10:38+1А в чем причина упования на механическое управление? Если бот собирает стандартный кубик рубика за 0.35 секунд, то и на кнопки нажмет, и мышкой подвигает с нечеловеческой реакцией. Просто создание таких роботов — это другая ключевая компетенция команды исследователей, и смысла распыляться сразу на два фронта никакого нет.
VLADbIKA
07.08.2018 12:09Промахиваются, в первой игре Death Prophet не попала способностью. Сам момент тык
Druu
07.08.2018 12:11Промахиваются, в первой игре Death Prophet не попала способностью. Сам момент тык
Кажется, она его не видела, когда волну кастовала.
Anarions
07.08.2018 12:44Так там способность на площадь а не targeted
VLADbIKA
07.08.2018 16:07Кажется, она его не видела, когда волну кастовала.
Некромант вышел из тумана когда ударил крипа, AI сразу же применил способность.
Так там способность на площадь а не targeted
Таргетно да, не промажет, даже среди кучи вражеских юнитов.Druu
08.08.2018 04:41Некромант вышел из тумана когда ударил крипа, AI сразу же применил способность.
Нет, не сразу, баньше пришлось подходить примерно секунду, и некра скорее всего не было видно. Она подумала что он остался в лесу стоять, а он вышел.
ads83
06.08.2018 19:43Активировать вещи можно с клавиатуры еще с первой доты. Я регулярно так делаю, если PRO игроки игнорируют такую возможность — значит скорость для них не главное. Или им есть куда развиваться :)
Anarions
07.08.2018 12:45Вы кажется не поняли мой комментарий. Конечно все пользуются хоткеями, вот только от необходимости вычленить из визуальной мешанины модельку противника и навестись на неё хоткеи не избавляют.
TimsTims
06.08.2018 18:50+63-4 персонажа ИИ согласованно ломали вышк
Скажите, а бот всё-же один, или их несколько? Я про то, что управляются они с одного компьютера, или нескольких?
В примере у живых(pro) игроков нужно добавлять важную составляющую как коммуникации — кто танкует, кто идёт. Чаще всего проблема в коммуникациях является причиной поражения(кто-то вышел в лес фармить, его поймали и пропушили базу 5 на 4; либо кто-то сказал «валим!», один понял «валим домой», другой понял «валим их»).
В жутком замесе(который может длиться всего 10 секунд) очень сложно разговаривать и координировать аттаку, и люди полагаются только на навыки, опыт и сыгранность команды.
Если боты управляются с одного компа, значит ему ничего не стоит контролить все 5 героев и согласовывать моментально действия.
Если боты управляются с разных машин, то стоит для (немного) бОльшей чистоты эксперимента(они же ввели 200мс на реакцию, значит хотят чистоту) делать также задержу на координацию хотя-бы в 1 секунду: кто перетанковывает, кого начали пушить, итд.
Как-раз из-за того, что в живых играх живые игроки видят игровую ситуацию немного в разные моменты времени, то и оценивают ситуацию они по-разному: одному игроку может показаться хорошей идеей идти в контр-аттаку, а другому нужно сходить на базу. Чтобы принять решение что делать — все должны мыслить одинаково (еще не изобрели нейро-хаб).
Опять-же боты получается должны быть примерно в аналогичных условиях: каждый бот играет только 1 персонажем, принимает решения только исходя из своей текущей ситуации (ты всё знаешь о своём герое), и немного о ситуации у твоих союзников, обмен командами тоже в ограниченном объёме и с существенной (для бота) задержкой.
промахивались бы боты способностями или нет
Тоже хорошее предложение. Как вы знаете, у человека имеется задержка на опознание цели. Мы видим не текущую картинку, а с запозданием в ~80мс. Это значит, что мы никогда не сможем попасть в движущуюся цель, если не начнём предсказывать следующий её шаг. Это значит, что человек при прицеливании(что в доте, что в action) планирует, где будет враг через ~200мс(пока рука кликнет, пока наведётся). Это очень хорошо видно в стрелялках — очень часто стреляя в выбегающего противника ты стреляешь правее/левее него, потому-что ты ожидал, что он остановится там. И это хорошо видно в самой доте — опытные игроки очень часто красиво уворачиваются от AOE-стана людей.
Так вот, ботам также стоит добавить задержку в прицеливании с прогнозом/предсказанием где будет герой противника через это время.MonkAlex
06.08.2018 18:53+1Боты управляются отдельно. Но, не в курсе насчет коммуникации, насколько она быстрая и как они принимают решения.
TimsTims
06.08.2018 18:58+1ПС: Я конечно понимаю, что суть эксперимента не в том, чтобы наконец-то выиграть в доте и накачать рейтинг. Но всё-равно я пока скептически отношусь ко всему этому(не потому что не верю, что ИИ будет обыгрывать людей). Как вариант, не стоит называть этот эксперимент игрой в доту, а скорее «экспериментом игры против людей в очень сложной, постоянно меняющейся обстановке».
AC130
06.08.2018 21:47+2Если боты управляются с разных машин, то стоит для (немного) бОльшей чистоты эксперимента(они же ввели 200мс на реакцию, значит хотят чистоту) делать также задержу на координацию хотя-бы в 1 секунду: кто перетанковывает, кого начали пушить, итд.
Вообще вполне возможно что боты не осуществляют никакой коммуникации вовсе. В таком случае для чистоты эксперимента следует отключить внутриигровой чат и разнести людей-игроков по разным комнатам. И запретить им видеться до игры полгода.ads83
06.08.2018 23:06IMHO, команда людей-непрофессионалов, играющих первую игру в заданном составе, по уровню коммуникации сопоставима с ботами без общения. Люди могут крикнуть «ультуй», а боты независимо рассчитают что подранок 90% уйдет и не полезут под башню. И то и то может сработать как в плюс, так и в минус :-)
Посмотреть на игру сыгранной команды ботов против сыгранной команды людей было бы действительно интересно, даже если люди — не супер-про.
mayorovp
06.08.2018 23:26Ограничение на коммуникацию без проблем преодолевается пятикратным запасом по вычислительным ресурсам…
algotrader2013
07.08.2018 10:42А как же неполнота информации? 5 кратный ресурс работает, когда каждый бот владеет полной информацией о каждом игроке своей команды
mayorovp
07.08.2018 10:44Так ведь так и есть, каждый игрок владеет полной информацией о всех союзниках. В доте же видимость на всех союзников общая.
Centimo
07.08.2018 01:56Насколько я понял, коммуникации между ботами нет. Они просто идентичны, и поэтому «знают» что будет делать их команда.
Taras-proger
07.08.2018 07:02-2Вы о русском языке вообще слышали? ficbook.net/readfic/6853372/17493302
krab90
06.08.2018 19:24+6Для тех кто не знаком с киберспортом в доте поясню: blitz, cappitalist, merlini, fogged не являются профессиональными игроками, а только аналитиками и комментаторами освещения киберспортивных турниров. В то время только Moonmeander является игроком, за последние пол года он проиграл практически все что только можно было проиграть.
xi-tauw
07.08.2018 09:48+1Справедливости ради, ваш комментарий тоже можно понять двояко. Да, сейчас это комментаторы и аналитики, но почти все были про-игроками. С ликвипедии:
William «Blitz» Lee is an ex-professional Dota 2 player
Austin «Capitalist» Walsh is an independent Dota 2 caster and content creator. He has also played Dota 2 at a semi-professional level
Ben «Merlini» Wu is a former professional DotA player
Ioannis «Fogged» Loucas is a Dota 2 player
Поэтому не стоит думать, что взяли абы кого. Этот матч изначально преподносился как команда ботов против команды бывших про-игроков.
Welran
07.08.2018 16:09+1ИМХО эти 5 игроков обыграют любую команду собранную из любых пользователей ХабрХабра.
Oxoron
07.08.2018 18:08А вот это интересно. TimsTims, не хотите «профессиональную» Дота лигу открыть? «Профессионалы» с Хабры, профессиональные комментаторы\аналитики с матчей, профессиональные букмекеры, разработчики, создатели ботов?
TimsTims
08.08.2018 17:58+2Сейчас dota2 выпущена такой урезанной и закрытой, что старым in-house лигам места не осталось. Там нету чата, нет каналов, невозможно завести ботов, негде взять статистику по последней игре. Ты не можешь изменить сам карту для доты с крутыми модами, чтобы все в неё играли (эх, кузница карт worldeditor и площадка battle.net… рай для творчества.). Всё закрыто, всё контроллируется Valve. А когда тебя контроллирует 1 источник — то сегодня ты есть, а завтра тебя нет.
пс: про букмекеров и деньги в dota-лигах всё не могу свою 3ю статью дописать :/
saboteur_kiev
07.08.2018 18:11Дота и Лига Легенд — игры достаточно старые.
Вы можете удивиться, сколько на Хабре может оказаться уважаемых людей, которые успели в свое время потратить достаточно времени на МОБА игры. И даже поигрывать сейчас.
Ryppka
06.08.2018 19:41Наблюдая за пируэтами спасающейся от сокола ласточки понимаешь, что человеку такое недоступно. Только вот ласточек и соколов становится все меньше, а людей… Мораль: кто его знает, чем все это закончится...)))
algotrader2013
07.08.2018 10:43А для коров вообще сработал принцип: хочешь хорошо размножаться — позволяй себя кушать
FRAGIL3
07.08.2018 11:11«Порхай как бабочка, кукожься как гусеница», если я правильно понял принцип этой ветки комментов
Blesna
06.08.2018 22:53Прекрасно видно, что люди «отдаются» ботам по одиночке, а боты фокусируют огонь.
saboteur_kiev
07.08.2018 18:08Не забывайте про туман войны.
Основная суть в том, что боты смогли поймать человека толпой.
А для этого нужно было вовремя согласовать свои передвижения таким образом, чтобы уйти со своей линии, успеть догнать человека так, чтобы он не успел убежать, успеть его убить, успеть вернуться на линии за фармом.
Опытный игрок не должен быть идиотом — если с другой линии уходит противник, значит возможно он вышел к тебе на перехват, и надо отступить. И вот в этом часто и заключается основная сложность. Когда уже непосредственно началась драка 1 на 2 или 1 на 3, это уже самый финал комбинации.
KirEv
06.08.2018 23:57-1было много подобный статтей, но ни в одной не увидел, хоть и спрашивал, информацию о том, сколько стоит это мероприятия?… во сколько долларов обошелся этот матч? ведь подобные вещи требуют огромный вычислительных мощностей, на офф сайте читал, если не изменяет память, было задейстковано более 200т машин в кластере…
это как сделать лапмочку нового типа, которая очень светит, то жрет 10кВат в час… прикольно, освещает, но нафиг не нужно, зато сделали… могёте!Hardcoin
07.08.2018 12:03Сам матч? Я думаю, вы это не серьезно. Ясно же, что основные расходы на эту исследовательскую работу — это зарплаты самих исследователей и железо для обучения.
Если считать прям совсем грубо (с ошибкой в несколько раз), то условно, зарплаты за год — $1млн (там человек 10, но как я понимаю, самые высокооплачиваемые над другими проектами тоже работают, не только над openai-five), ещё столько же — аренда железа (256 gpu, 128000 cpu cores).
Теперь можете говорить, если хотите, мол, как дорого, лучше бы пенсионерам раздали.
Centimo
07.08.2018 01:46+1Будучи игроком в доту со стажем, вставлю свои пять копеек.
1) > однако, не слишком радикально влияли на игровой процесс
Именно, что влияли радикально. Например, именно 5 бессмертных курьеров позволили ботам делать то, что они делали: танковать вышки и не возвращаться на базу для отхила.
2) > пул из 18 героев
Это не просто 18 героев, а 18 героев с простейшими механиками. Там не было ни одного героя, которых люди обычно называют «мерзкими». Тот же Тинкер в одиночку мог бы в одиночку защитить базу от пуша ботов, и вся их тактика была бы поломана.
3) > реакция ботов была ограничена 200 мс
Не похоже, судя по инста-хексам лиона. Я не разбирал тот момент, но такое возможно в двух случаях: ошибка человека и каст хекса заранее (что, по сути, тоже ошибка). Поясню: ульт шейкера имеет нулевое время каста, то есть должен срабатывать моментально после блинка (при активации через shift). Если человек не использовал shift — это его ошибка (в первую очередь из-за отсутствия опыта игры против ботов). Если человек позволил заранее сделать на себя каст хекса — это тоже его ошибка (для этого есть смок). В итоге либо ошибка человека, которую не допустит опытный игрок, либо невероятное время реакции, что не является честным на мой взгляд.
По итогу: боты сильно прожимают кнопки и двигаются по карте, но делают множество бесполезных вещей (вроде прожимания смоков под вражеским тавером). И если последнее рано или поздно поправят, то как править общую «безыдейность» игры — мне не понятно. Как только боты оказываются в незнакомой или сложной ситуации, они перестают действовать адекватно. В последней игре (когда зрители напикали им ерунды) боты пытались сплитпушить, и даже местами удачно, но это всё, на что их хватило.
После игры были вопросы разработчикам, и на вопрос о коммуникации ботов был получен примерно следующий ответ (если я правильно перевёл): им не нужно коммуницировать, потому что они все одинаковые. Имхо странная точка зрения.
Мне, честно говоря, не совсем понятно зачем вообще этим занялись люди. Точнее говоря, зачем именно так занялись. Видел слайды архитектуры ботов — там сплошные нейронные сети. В связи с этим, я не вижу смысла в этой разработке. Предположим через 2 года боты будут выигрывать любую команду людей. И что? Какой от этого толк? Люди перейдут в другую игру с похожей механикой, и переход займёт пару дней, а для перенастройки ботов придётся проделать заново половину работы. И это хорошо, если у вас будет огромная выборка игр, как в случае с дотой. А что если такой выборки не будет? Я бы понял, если бы за ботами стояла какая-то новая архитектура, но от приклеивания очередной порции НС я не вижу никакого толка.nidalee
07.08.2018 05:57+1Не похоже, судя по инста-хексам лиона.
Уже разобрали:
I downloaded the clip which runs at 60fps showing the hex. I counted the frames from when he blinks in until he gets hexed and it was 13 frames. At 60fps each frame is around 16.66ms of time.
Плюс комментарий от шейкера:
So with 13 * 16.66 it shows that the reaction was around 216.58ms well within the response time the OpenAI team said that the bots have.
THIS. I did not shift queue, I thought I clipped lion in the fissure and didn't instant echo either. I havent rewatched the clip but I'm sure you see me hesitate and it gave the bot more than enough time. Hard to change muscle memory to change vs bots because vs humans it's still unlikely they get the hex off before and blink shift queuing echo can be risk in other situations. I saw an ideal 2 hero block but just made an error.
www.reddit.com/r/DotA2/comments/94vdpm/openai_hex_was_within_the_200ms_response_time/e3ofipk
meved
07.08.2018 10:19Добавлю. По-моему стоило все таки выбрать для этой игры, если не про игроков, то хотя бы просто хороших. Все эти комментаторы совершают такие ошибки, которые никогда не совершит просто средний игрок в доту. В результате чего иногда появляется ощущение, что смотришь игру в поддавки. Это очень портит впечатление.
Druu
07.08.2018 10:25Добавлю. По-моему стоило все таки выбрать для этой игры, если не про игроков, то хотя бы просто хороших.
Да дело не в том, что игроки плохие, дело в том, что играли на расслабоне (как-то иначе запрыгивания по одному в четверых объяснить нельзя) и (что более важно) стак не сыгран.
4410
07.08.2018 14:35А с чего вы взяли что они плохие игроки?
Fogged — He's ranked 180 in the Americas leader boards.
Blitz — I couldn't find Blitz in the leaderboards but according to his dotabuff he's 576
Merlini — Immortal, Ranked 674
Capitalist — Immortal, Ranked 961
Про то, кто такой MoonMeander думаю вы догадаетесь погуглить, прежде чем что-то писать.Centimo
08.08.2018 16:48Не знаю на счёт рангов, но иногда складывалось ощущение, что играют выходцы с 3к паба.
roryorangepants
08.08.2018 17:20Вы же в курсе, что Merlini — один из самых именитых англоязычных игроков в истории доты и, вероятно, лучший игрок своего времени?
Да, сейчас он вряд ли играет на уровне условных Noone или Miracle, но я почему-то уверен, что он играет лучше лично вас, какой бы у вас рейтинг там ни был.Centimo
09.08.2018 01:30+1То, что он когда хорошо играл, не значит что он сейчас играет хорошо, и уж точно не значит, что он хорошо отыграл в каком-то конкретном моменте. Кроме того, есть ещё 4 игрока. Лучшие команды эпизодически играют как рандомный стак на 3к и сами же это признают.
roryorangepants
09.08.2018 09:23То, что он когда хорошо играл, не значит что он сейчас играет хорошо
То, что он Rank 674, не значит, что он хороший игрок.
То, что он один из топовых игроков в прошлом, не значит, что он хороший игрок.
То, что его отобрали для этого матча, не значит, что он хороший игрок.
Попахивает диванной аналитикой, не находите?Conscience
09.08.2018 10:23+1Попахивает диванной аналитикой, не находите?
Ну можно немного поанализировать на самом деле.
То, что его отобрали для этого матча, не значит, что он хороший игрок.
Мы не знаем по каким критериям они отбирали игроков, потому то что его отобрали — не значит хороший он или плохой.
То, что он один из топовых игроков в прошлом, не значит, что он хороший игрок.
Судя по ликвипедии — достижений особых у него нет, потому судить насколько он топовый — тоже довольно сложно.
То, что он Rank 674, не значит, что он хороший игрок.
Не стоит забывать, что американский регион — слабейший в доте, и в сравнении с другими регионами его 674 ранг очень сильно обесценивается.
В целом можно и дальше продолжать, но не особо интересно. Этот Мерлини довольно сильно переоценен.
Hardcoin
07.08.2018 13:27+1им не нужно коммуницировать, потому что они все одинаковые. Имхо странная точка зрения.
Это не странно, а полностью логично. Любой бот и так может узнать, что хочет и собирается сделать другой бот, просто "представив" себя на его месте. И если человек может предположить с ошибкой, то идентичный бот, имя ту же самую информацию, предположит точно то же самое, что и второй бот.
Centimo
08.08.2018 16:42-2А почему у ботов должна быть одна и та же информация? Они же управляют разными персонажами.
anamnian
08.08.2018 16:56+1У ботов будет одна и та же информация, т.к. они взаимодействуют с API игры.
То есть бот стоящий на миду мониторит что происходит на других линиях, и может выполнить какие-либо действия (например телепорт для участия в тимфайте), если посчитает что союзники не справятся без его участия.Centimo
09.08.2018 01:24Т. е. каждый бот считает поведение сразу всех остальных ботов? Потому что чтобы знать какое решение принимает другой бот, нужно посчитать то же, что посчитал он. Зачем тогда ботов 5?
Hardcoin
08.08.2018 16:59+1Информация — это то, что бот видит и про что знает. Видимость в доте — общая. Т.е. все видят одно и то же (у человека кроме карты есть ещё основное окно, но для ботов это не актуально).
Kwisatz
07.08.2018 02:50Посмотрел по диагонали.
— Не нравится сетап
— Люди совершают одни и те же ошибки снова и снова
— Много перегибов с агрессией
Мне бы интересней было на hots глянуть, ибо его евенты являются тактической вилкой.
Хотя если, например, тейсер или гендзи каждый раз будет получать прицельный стан то тут конечно будет тяжелоTaras-proger
07.08.2018 12:24— Люди совершают одни и те же ошибки снова и снова
Так может это и есть боты?
Druu
07.08.2018 03:31Всю игру OpenAI Five можно охарактеризовать таким популярным среди сообщества термином, как «душили».
Правильно, скорее: "ребятишки, да че ж вы себя не бережете-то?!". С-но team human играли настолько плохо, что матч получился совершенно не показательным, если бы вместо OpenAI были бы обычные боты из доты — результаты был бы ровно тем же. Что печально — если в случае с матчем с денди ИИ действительно смог что-то продемонстрировать, то в данном случае никакой демонстрации не вышло — нельзя продемонстрировать уровень, когда противник даже не пытается сделать вид, что играет на победу.
9660
07.08.2018 06:23-1Возник ряд вопросов.
1. Команда человеков была сыграна? Или это была просто некая группа людей?
2. Один OpenAI управлял всеми 5 AI персонажами? Или за каждого свой AI?
3. Что покажет следующая игра, после того как человеки проанализируют «собственное понимание механики» ботами?abyrkov
07.08.2018 09:132. За каждого свой
3. Игроки против ИИ в этот раз не были профессионалами, вряд ли они смогли придумать хорошую стратегию.9660
07.08.2018 09:223. Как я понял суть в том что AI действовал не так как обычно принято. Вот и вопрос — зная теперь такую стратегию поможет это игрокам человекам?
Или каждый кон AI будет придумывать неожиданное и непринятое?
Или таких стратегий все же ограниченное количество?
Или даже зная стратегию с которой AI будет действовать не получится его одолеть?Druu
07.08.2018 10:02- Как я понял суть в том что AI действовал не так как обычно принято.
Да нет, ничего такого. Вполне обычная игра (если не считать каких-то объективно плохих решений, вроде отдаться под товером, но зато его добить).
Вот и вопрос — зная теперь такую стратегию поможет это игрокам человекам?
То, что показывал ИИ — стандартная безыдейная игра 5 тел вне какой-либо стратегии кроме "бежим вперед и убиваем/умираем", при этом уже даже по статистике видно, что боты имея преимущество в десяток фрагов не имели преимущества по золоту (а то и проваливались), это признак очень плохого понимания макроигры. Любая команда даже самых средних игроков такое снесет вообще без проблем, играя в стандартного фармящего кери. Команда затерпит, а потом на 20+ минуте выйдет какая-нибудь фармящая магина и в соляного разломает ботам лица без каких-либо шансов.
mayorovp
07.08.2018 10:28Пожалуйста, уточните кого из этого списка — Axe, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper, или Witch Doctor — вы назвали магиной :-)
Druu
07.08.2018 11:02Пожалуйста, уточните кого из этого списка
Мы же предполагаем, что пул будет расширяться, нет? :)
Но если даже ограничиваться чисто предлагаемыми героями — то свен вполне потянет на фармящего хардкерри такого рода :)
Tsimur_S
07.08.2018 10:38К 9 минуте к людям уже на базу заходили ломать тавера, о каких 20 минутах речь.
Druu
07.08.2018 11:07К 9 минуте к людям уже на базу заходили ломать тавера, о каких 20 минутах речь.
Можно и раньше к людям заходить на базу и ломать товера, только на практике это, представьте себе, очень редко работает. Практически никогда, если люди перед этим не отдадутся перед эти в 2+1 у хг.
anamnian
07.08.2018 11:10А как вы предлагаете терпеть, когда уже на 1 минуте боты заходят под Т1 и по очереди танкуют урон от вышки?
Druu
07.08.2018 11:11+2А как вы предлагаете терпеть, когда уже на 1 минуте боты заходят под Т1 и по очереди танкуют урон от вышки?
Зачем терпеть? Можно просто убивать. ТП на деф и -5 "танковальщиков".
Если пик неудачный — ну и фиг с ней этой т1, мы то про т3 говорим.
Поверьте, если бы было выгодно заходить и танковать т1 на 1 минуте так, то это бы игроки давно делали и давно бы это пофиксили :)
p_fox
07.08.2018 07:59-3"Так как Dota 2 — дисциплина крайне разносторонняя и сложная для освоения"
Для кого сложная? Для детей с задержкой в развитии?
А может люди проиграли лишь потому, что оказались не такими умными, как себя считали, играя в этот "киберспорт".Druu
07.08.2018 08:55"Так как Dota 2 — дисциплина крайне разносторонняя и сложная для освоения"
Для кого сложная? Для детей с задержкой в развитии?Да для всех сложная, неподготовленному человеку потребуется несколько недель, чтобы начать понимать, что вообще происходит на карте (не говоря уже о том, чтобы начать играть).
Taras-proger
07.08.2018 10:16-5Тогда бы в неё никто не играл. Потому что никто не тратит даже полчаса на то, чтоб начать понимать, что вообще происходит. Даже выжившие из ума старики.
Taras-proger
07.08.2018 11:18-3Тогда бы в неё никто не играл. Потому что никто не тратит даже полчаса на то, чтоб начать понимать, что вообще происходит. Даже выжившие из ума старики. Даже они на это могут потратить максимум 20 минут. А обычного геймера надо заинтересовать в первые полторы минуты, потом он уйдёт. Соответственно, на то, чтоб начать понимать, что вообще происходит, лимит секунд 30. Годы же могут уходить не на понимание того, что вообще происходит, а только на понимание того, как с этим бороться. Иначе получится игра для средних веков. Потом все стали нетерпеливее. Это развлекуха, а не дело всей жизни. И потратить битый час на то, чтоб понять, развлекаешься ты или нет, можно в единственном случае – если твоя жизнь очень медленна и хоть что-то может произойти в лучшем случае к старости. И даже тогда лимит времени на то, чтоб понять, а что вообще происходит, от силы 10 минут. Ну а тратить недели только на то, чтоб понять, интересно тебе это, или нет и два-три дня на понимание того, а что вообще происходит, могут разве что бессмертные, или кажущиеся нам бессмертными.
Druu
07.08.2018 11:21Соответственно, на то, чтоб начать понимать, что вообще происходит, лимит секунд 30.
Минимум для понимания происходящего на конкретной карте — узнать и запомнить 10 героев, их скилы, анимации героев и скилов, несколько десятков используемых предметов и базовую механику игры, которую меньше чем на нескольких листах а4 не изложишь.
Так что, в вашей реальности никто в доту не играет.Taras-proger
08.08.2018 13:16Бред. Скилы надо знать, чтоб понимать, как с ними бороться. И на несколько листов A4 не нужен даже час. А чтоб понять происходящее достаточно знать кто свои, кто чужие, чего чужие хотят, где находятся и куда они вообще бегут. Именно куда, а не почему чужие побежали драться между собой и как эту ошибку использовать в своих целях. На это много времени не надо. По аналогии с шахматами что происходит – это: «чёрные наши, белые – противник, он хочет напасть вот на эту фигуру» + визуально запомнить расстановку и саму доску. Всё. А скилы и стратегия – это как ходит каждая фигура, какова очерёдность хода, в каких случаях какие ходы возможны и не возможны и как всё это использовать для победы. Вот на это и тридцати лет мало. И это говорит не о сложности шахмат, а об уровне противника, побеждать идиота можно научиться за день. А цель + расстановка уложится в полминуты. О сложности же игры говорит совсем другое. Сколько памяти нужно для того, чтоб запомнить всё дерево игры и какая его часть нужна, чтоб гарантировать ничью даже против идеально играющего противника. Если в шахматах у Вас противник идиот, а в шашки Вы играете с мастером, то на то, чтоб научиться побеждать в шахматы, хватит дня, а на то, чтоб научиться побеждать в шашки, нужны многие годы и результат вообще не гарантирован. Но сложнее шахматы. Всё относительно и даже если оба главкома идиоты со сбродом криворуких дистрофиков вместо армий, один победит всё равно. По-Вашему это докажет простоту войны вообще, а на самом деле это будет война в конкретных простых условиях.
Druu
08.08.2018 13:25Бред. Скилы надо знать, чтоб понимать, как с ними бороться.
Скилы надо знать, что понимать, что происходит на карте. Потому что иначе вы видите как летит какая-то цветастая переливающаяся хрень… и? Зачем она нужна? Хилит она? Дамажит? Откуда взялась?
О сложности же игры говорит совсем другое. Сколько памяти нужно для того, чтоб запомнить всё дерево игры и какая его часть нужна, чтоб гарантировать ничью даже против идеально играющего противника.
Вы путаете сложность игры и сложность победы над противником.
Taras-proger
09.08.2018 13:31Вы путаете сложность игры и сложность победы над противником, я различаю. Объём информации в полном дереве игры и уровень игры идеального противника зависят от игры. Эти две характеристики и определяют сложность игры. Не победы, над идеальным противником она вообще не возможна, а два идеальных игрока могут сыграть только вничью. А сложность победы определяется уровнем игры реального противника. И скилы надо знать не для этого. Покажите любому зулусу карту расположения войск во второй мировой за сентябрь 1941-го и за октябрь 1941-го, он скажет, что немцы наступают. Для этого не надо знать, что может пехотинец с мосинкой, что может самолёт и чем страшен танк. Покажите те же карты толковому современному российскому генералу и расскажите ему, чем были вооружены немцы и красноармейцы в каждой дивизии, сколько именно войск было в каждом месте и какие у каждых ВС были заводы в тылу, он скажет, что надо было делать, чтоб немцы не наступали ещё быстрей и чтоб позже смогли перейти в наступление уже красноармейцы. Зулус этого не скажет. А почему? Да именно потому, что зулус не знает скилов, а современному российскому генералу они известны и он умеет эту информацию учитывать. Вот в этом и разница в понимании между зулусом и российским генералом. Зулус понимает, что происходит, а российский генерал – как с этим бороться. Можно всю жизнь потратить на то, чтоб отточить хобби до совершенства. Но ни кто не будет ради того, чтоб разобраться с интерфейсом игровой карты, учиться в институте на геодезиста. И идиота надо заинтересовать в первый год. А если это не просто идиот, а вообще донатер, то ему надо сказать, будто он уже заинтересовался. Но через полторы минуты уйдут те, кто может хоть какие то решения принимать сам и хоть иногда думать, лишив игру возможности рекламироваться для донатеров. Ведь когда игра опустеет, её не интересность станет очевидна даже донатерам. Поэтому за это время их надо заинтересовать.
Потому что иначе вы видите как летит какая-то цветастая переливающаяся хрень… и? Зачем она нужна? Хилит она? Дамажит? Откуда взялась?
А это уже не что происходит, а как. На это может и десять лет уйти. Если геймер уже понял, что ему это вообще надо. Следующий вопрос – зачем хилить/домажить именно здесь. Как только геймер начал уверенно отвечать на него, играть он умеет. На какому уровне? А чёрт его знает, это уже зависит от того, в игре против кого он способен стабильно давать правильный ответ на этот вопрос. И он может продолжать учиться играть. Но пока он не начал уверенно отвечать на этот вопрос, он умеет только переставлять фигуры, а в игру не включился. Побеждать идиота можно научиться быстрей. Почему? Да потому, что цели его ходов всё равно нет, а цель своих ходов можно научиться понимать, не умея даже анализировать всю позицию целиком. Но хрень видим? Куда она ползёт понимаем? Всё, для того, чтоб, понять, наступает она, или удирает, уже достаточно. Если ещё понять, своя это хрень, или чужая, то картина ясна полностью, туманными остаются лишь способы происходящего, цели отдельных ходов и то, как с этой хренью бороться. В реальности краснокожие сначала всадников за кентавров принимали, а грохот выстрелов вообще не связывали со смертью товарищей, но даже это ни одному краснокожему не помешало понять, что враги наступают.saboteur_kiev
09.08.2018 15:06, а два идеальных игрока могут сыграть только вничью.
Исключительно при идеальном балансе.
Ни одна MOBA не является идеально сбалансированной, хотя и стремятся к этому и регулярно выпускают патчи, в которых усиливают или ослабляют чемпионов. А потом выпускают новых чемпионов, слегка меняют баланс и все по новой.
Человек не успевает перепроверить баланс всех комбинаций и все варианты. А вот бот, который может виртуально отыграть тысячи матчей за день без устали и перерыва, вполне может это сделать. Поэтому при игре 1 на 1, я уверен, из двух идеальных ботов победит тот, который делает первый пик.
QtRoS
07.08.2018 14:37Чистый субъективизм. Это вообще не про доту. Ее надо изучать долго и упорно, сотня героев с минимум 4 скилами, сотня предметов, нейтралы, механики из wc3. А ещё комьюнити в России недружелюбное — новичок в игре моментально покрывается матом. А ещё игра совсем не приносит кайф, когда после часа "потной" (устоявшееся выражение) игры сливается победа за один замес. И вопреки всему этому игра все равно популярна (и не у бессмертных тоже).
Desavian
07.08.2018 15:49В первые полторы минуты заинтересовать надо дебила, которого надо заставить донатить в мобильную игрулю. В нормальных проектах подобная шелуха не работает.
OnelaW
07.08.2018 10:14Вот читаю и понимаю, что выводы смогли сделать только боты играющие против людей.
Выбрана самая оптимальная стратегия для победы. Всем звеном до победного.
forcam
07.08.2018 10:56Ну люди какие-то совсем нубы против них играли, не знаю где они их откопали, но уровень игры был ниже плинтуса. А по поводу игры ИИ, ну да, прикольно, но хотелось бы против профи их увидеть, вот где действительно можно будет адекватно оценить их возможности. Но прогресс конечно не слабый, что действительно впечатлило это элемент неожиданности, ИИ постоянно рассчитывает так момент, что бы неожиданно напасть и потом у соперника что бы почти не было бы шансов на выживаемость, это конечно очень прослеживалось. Думаю, если таких ботов развить и пустить на поле боя, да и реакция будет минимальной, у них потерь почти не будет, даже если их как-то пулями из строя будут выводить, грядет революция.
Elrond16
07.08.2018 11:38Игроки из топ 0.05% для вас нубы? Им конечно далеко до сыгранной команды активных про, но все они на ладдере имеют ранк Immortal.
Druu
07.08.2018 11:46Ранг — это одно дело, а как люди отыграли конкретную игру — другое. Отыграли они далеко не на immortal, какой бы ранг у них ни был.
BlackMokona
07.08.2018 15:34Сила и слабость познаётся в сравнении.
Вам кажется, что боты крайне слабы, поэтому и проигравшие им очень слабы. Хоть на самом деле ситуация радикально отличается.Druu
08.08.2018 04:46-1Сила и слабость познаётся в сравнении.
Это с чего вы взяли? Есть вполне объективные вещи, которые сравнений не требуют.
Вам кажется, что боты крайне слабы, поэтому и проигравшие им очень слабы.
Нет, я вижу вполне конкретную и объективную дичь, которую делали игроки, и которую люди даже с 2-3к ммр себе при серьезной игре не позволяют. Вне зависимости от того, с какого уровня противником идет игра. Просто выбор, типа: "делать дичь запрыгивая 1в4 или не делать".
Хинт: если вы все-таки решили "делать", то получите 4 репорта, успехов.BlackMokona
08.08.2018 15:20Подойдите с такими же оценками для любой игры Инта и тоже найдёте много дичи.
Druu
08.08.2018 15:26Подойдите с такими же оценками для любой игры Инта и тоже найдёте много дичи.
На порядок меньше, поверьте.
Welran
07.08.2018 16:27Если взять пять игроков вашего уровня то боты на 5ой минуте вам т3 поломают :).
forcam
07.08.2018 15:45К сожалению или к счастью я разбираюсь, на сколько профессионально они отыграли, так вот если вы посмотрите игры, замесов 5 на 5 вообще не было, строго говоря, они тупо отдавались по 1-2 против 3-4-5ых, либо это красивая постанова, либо они конкретные нубы, то что у них там на бирках мне как-то фиолетово, я говорю по факту о том, что увидел. Не спорю ИИ меня изрядно порадовал тем как играл, но это не какая-то фантастика, они играют хорошо, но на сколько хорошо, понять по такой игре невозможно, потому что у меня все время складывалось впечатление, что люди это боты, слаженности действий не было, от слова «совсем», этакое бесцельное брожение по карте, командной игры 0, а в такой игре, делать какие-то выводы — бесполезная затея, потому что изначально ИИ играет против противника который действует с максимальной неэффективностью. Посмотрите финал любого мейджера, любой крупный «замес» и вы поймете о чем я говорю.
FRAGIL3
07.08.2018 11:19Интересно было бы посмотреть вариант эксперимента где боты играли бы в конфигурации 4 бота + человек против скажем другой команды ботов, прогнав несколько матчей на одной и той же карте одними и теми же персонажами но с разными людьми. Будут ли боты пытаться применять командное взаимодействие с человеком, и как оно будет различаться в зависимости от стиля живого игрока.
PsyHaSTe
07.08.2018 12:42Это типичные современные шахматы (человек+компьютер), и к этому полагаю все придет.
m0nreaL
07.08.2018 11:19-1Давайте не будем забывать о том, что все функции, которые выполняют боты на карте, это лишь скрипт, который работает в разных вариациях. За этим всем, стоят люди. Людей надо боятся, а не ботов.
alunet
07.08.2018 11:20Было бы круто увидеть в официальной доте режим игры с такими ботами (с учетом всех ограничений).
anprs
07.08.2018 11:36Там были 5 взаимодействующих ботов? Или один бот управляющий пятью персонажами?
Elrond16
07.08.2018 11:54Пять ботов, не взаимодействующих напрямую. Есть только параметр, исходя из которого бот начинает "ценить" положение команды в игре, а не только своё личное. Цитата из блога:
OpenAI Five does not contain an explicit communication channel between the heroes' neural networks. Teamwork is controlled by a hyperparameter we dubbed "team spirit". Team spirit ranges from 0 to 1, putting a weight on how much each of OpenAI Five's heroes should care about its individual reward function versus the average of the team's reward functions. We anneal its value from 0 to 1 over training.
Welran
07.08.2018 16:34Думаю скорее всего это выглядело как 5 ботов которые управляли каждый пятью героями, но команды отдавали только своему. А командный дух это скорее как бот распределяет ценность действий для каждого героя в отдельности и команде в целом.
Elrond16
07.08.2018 11:46+1Расчет количества вариантов для игры 5х5 неправильный, так как для любых 10 выбранных персонажей есть еще C_10^5 способов составить разные команды, поэтому из n героев можно составить C_n^5 * C_10^5 матчапов. Для 18 персонажей ответ будет 11 027 016, а для всех 115 уже в районе 2e16, а не «жалкие» 74 триллиона.
TheSAS
07.08.2018 12:10Все меньше и меньше игр где человеку будет комфортно играть с компьютером.
relige
07.08.2018 18:46А кто-нибудь может техническую часть пояснить?
Каким образом Боты управлялись? Ведь у доты нет открытого API.
Есть ли исходные коды этих ботов в открытом доступе?
Если хочется поднять у себя на компе этих ботов и с их кодом и алгоритмом обучения поиграться, то это можно как-то сделать?
Desavian
08.08.2018 10:32Просмотрев видео понял только одно, игроки просто не адаптировались к возможностям ИИ, это очень серьезно влияет на стиль игры и макро. Дали бы им перед этим сыграть десяток игр — разнесли бы в ноль. Игроки не понимали escape threshold (момента, когда надо убегать чтобы не добили) и использовали подобный для людей. Как итог — бот дайвит под вышку, точно зная сколько ее выстрелов он выдержит, чтобы успеть и добить игрока и убежать, человек бы в такой ситуации отступил, бот — убивает.
Это очень хорошо видно на примере матчей 1vs1 на центральной линии, когда они на shadow fiend играли, там про игроки буквально через 4-5 игр понимали как надо действовать против бота, и им не хватало только микроконтроля, который они начали компенсировать выкладыванием вещей на землю, чтобы бот не мог их просчитать и стали выигрывать. Тут бы случилось то же самое, начали бы играть значительно аккуратнее, сейфовее, как говорится, делали бы запас по прочности при атаках, не тупили бы с ультой шейкера и _всегда_ бы все делали через shift(видимо мало они против скриптовых читеров играли =)) ) и боты бы развалились.
Так что если они допилят ботов и выпустят на реальный ТИ в качестве эксперимента — в групповой фазе люди поймут как с ними играть и в плей-офф просто развалят в ноль.yea
08.08.2018 12:10Проблема в том, что при игре 1 на 1 игроки не поняли, как надо действовать против бота, а просто научились эксплуатировать его неполноценность, намеренно создавая ситуации, которых бот не понимает и отвечает на них неадекватно. Что как бы намекает, что при полноценном боте все эти лавочки будут закрыты. Другое дело, что непонятно, когда этот полноценный бот появится. Вероятно, не на этом TI.
anprs
09.08.2018 14:02Я не играл в доту и не знаю её механик, но разве это не основа любой игры с противником — поиск его слабых мест и создание ситуаций в которых они проявятся наиболее явно
yea
09.08.2018 14:55Да. Но в данном случае это был не поиск слабых мест, а скорее поиск эксплоитов, создание нестандартных ситуаций, на которые бот отвечает не просто слабо, а именно неадекватно. Примерно как если бы при игре в шахматы с ботом можно было бы просыпать на доску опилки, после чего он отдавал бы ферзя. Никакого интереса, челленджа и достижения в такой победе не найти.
Про «честные» победы по правилам, знакомым боту, тут тоже упомянули, но на это способны единицы.
Mapaxa864
08.08.2018 15:59-1Игроки не понимали escape threshold (момента, когда надо убегать чтобы не добили) и использовали подобный для людей
Мне казалось, что как раз контроль количества хп и знание, какие атаки сколько отнииают как раз и отлисают хороших игроков от не очень хороших.
Desavian
09.08.2018 11:00Совершенно правильно и очень хороший игрок, которым является любой из тех, кто находился в команде (не шучу, они реально 99 из 100 обыграют) знали сколько отнимают атаки. Чего они не знали — что боты будут лезть под вышку до упора, зная до миллисекунды когда подойдут крипы и переагрят вышку. В игре человек-человек этот уровень — примерно секунда(поэтому человек против человека и не будет так дайвить), тут надо было адаптироваться к значениям впятеро меньшим — 200 миллисекунд — не смогли. Через десять игр проблемы бы это уже не составило.
aFanOfSwift
Так есть же уже статья об этом ТЫК
Crossover Автор
Да, досадное недоразумение, в котором никто не виноват. Очевидно, мы начали готовить этот материал намного раньше, чем в час дня и параллельно с Артемом, так как за час написать такую статью невозможно физически. Нам кажется, материалы принципиально разные как по формату, так и по содержанию.
valery1707
Тут больше подробностей по ограничениям