Туомас Сандхолм (Tuomas Sandholm), профессор компьютерных наук университета Карнеги-Меллона, ведущий разработчик компьютерной программы Claudico
8 мая завершился необычный покерный турнир, в котором четверым из Топ-10 лучших игроков в техасский холдем противостояла компьютерная программа Claudico. Результат соревнования “Brains Vs. Artificial Intelligence” оказался в пользу людей: у них был положительный баланс по итогам 20 000 раздач в двусторонней игре.
Тем не менее, фактическая победа не означает, что на самом деле люди сильнее ИИ в покере. Эксперты в области таких соревнований объясняют, что сыгранных рук и результата недостаточно для формального определения победителя, так что де-факто результатом стала «статистическая ничья».
Четверо живых игроков в совокупности выиграли 732 713 виртуальных долларов. Так, на финише Бьорн Ли (Bjorn Li) выиграл у программы $529 033, Даг Полк (Doug Polk) – $213 671, Донг Ким (Dong Kim) – $70 491, а Джейсон Лес (Jason Les) проиграл $80 482.
Игра велась не на настоящие деньги, хотя профессионалы могли претендовать на часть призового фонда $100 000, предоставленного Rivers Casino и Microsoft Research. Фонд распределяли по итогам показанной ими производительности.
Туомас Сандхолм (Tuomas Sandholm), профессор компьютерных наук университета Карнеги-Меллона, ведущий разработчик Claudico, говорит, что они никогда не собирались создать компьютерную программу, которая станет лучшим игроком в мире. Но они хотели посмотреть, каким будет результат против игроков из мирового Топ-10.
Покер сейчас является одним из главных тестов для систем ИИ, потому что это игра с неполной информацией. Игроки не знаю карт оппонента и пытаются обмануть его относительно силы своей руки определёнными приёмами. Обыграть человека в покер – это не самоцель, а только промежуточный результат. В будущем такие системы станут помогать принимать решения в ситуациях, когда не известны все факты. Они помогут в компьютерной безопасности, финансовом менеджменте, медицине и т. д.
Claudico для образца взял правила покера (хотя это могли быть правила из другой области) и вырабатывал новые алгоритмы, работая на системах суперкомпьютерного центра Blacklight в Питтсбурге. В реальной игре некоторые действия программы были исключительно странными и непонятными для людей. Например, ставка $19 000 в банк $700. Или очень маленькие ставки в 10% от банка. Впрочем, кто говорит, что люди должны обязательно понимать действия искусственного интеллекта?
Результат по итогам 20 000 раздач нельзя считать статистически значимым результатом. А вот в прошлом июле другая покерная программа Tartanian7 показала действительно статистически значимый результат по итогам игры с покерными профессионалами на ежегодном покерном турнире Ассоциации за развитие искусственного интеллекта (Association for the Advancement of Artificial Intelligence). Во всех без исключениях игровых сессия победа была за программой.
Сандхолм не сомневается, что ИИ скоро покажет полное превосходство над лучшими профессиональными игроками в покер.
laphroaig
Вполне себе обычные ставки при игре на «фантики» — не корову проигрываем (банкролла то нет). Вот поэтому принципиально не играю в покер не на деньги. Если бы Claudico сначала добыл бы биткоинов непосильным трудом, то вряд ли так просто бы их спустил. А обладая реальным ИИ вообще бы не стал играть.
Nostromo
7 плюсов… но… это же неправильно…
Игра «с банкроллом» как раз предполагает игру «на дистанцию» — принятие вероятностно верных решений, которые при большом количестве сыгранных партий дают положительные результаты.
Рассуждать на тему «если бы ИИ добыл ресурсы непосильным трудом он бы вообще не играл etc» это вообще профанация и явная человеческая эмоция, которая считает наделяет деньги какими то дополнительными свойствами, забывая о том, что они абстракция, фактически — «ресурс». ИИ принимает решения учитывая правила игры, накопленную статистику по действиям игроков и текущую ситуацию с целью увеличить количество «ресурса» — и разницы между виртуальными единицами или реальными долларами дли бота нет никакой.
Да, по факту оказалось, что реализация алгоритмов хромает и люди просчитывают реакцию на своим мувы лучше, чем данный конкретный бот)
laphroaig
Принятие вероятностно верных решений как раз и зависит от величины вашего банкролла относительно бай-ина. Отсутствие банролла предполагает, что он бесконечен, а не то, что он равен бай-ину. Мне показалось, в контексте этой статьи, очевидным.
Ставка $19 000 в банк $700 при классическом банкролле в 20-60 бай-инах абсолютно неадекватна, но при бесконечном банкролле такая ставка может быть вероятностно оправданна.
Деньги это не абстракция — это часы моей жизни, которые я потратил на их зарабатывание, а покер эмоциональная игра. Да, умные книги советуют относиться к фишкам именно так, как Вы говорите, но в этом то и прелесть покера — где-то перебороть себя, где-то надавить на соперника и заставить его ошибиться. В противном случае игра превращается в лотерею, где победитель только один — казино.
Nostromo
«Ставка $19 000 в банк $700 при классическом банкролле в 20-60 бай-инах абсолютно неадекватна, но при бесконечном банкролле такая ставка может быть вероятностно оправданна. » — неверно. она не может быть оправдана именно в терминах математики покера в конкретной партии — риск отвечать на ставку размером в ~27х банка без наличия готовой идеальной руки несоизмерим для других, а при наличии такого стека у бота не было необходимости ставить так много (он вполне еще в игре) — с идеальной рукой не разведешь никого, а с худшей есть шанс слить ставку. Базовое вероятностное соотношение риск\награда в математике покера. Ошибка алгоритма, сочетании различных условий, видимо.
В данной ситуации имеется довольно простая модель (в рамках теории игр полностью раскрывающаяся) — ИИ против людей играющий в покер деньги это именно абстракция — ресурс, за который по правилам идет игра. Не надо вспоминать здесь какие то «часы моей жизни, которые я потратил на их зарабатывание», это уводит дискуссию совершенно не туда, на уровне упоминания морали в дилемме заключенного. Хотите поговорить о роли денег в жизни человека — вам не сюда.
Покер во многом игра основанная на математическом аппарате и изучении модели поведения оппонентов — их реакции на определенные события в разных ситуациях. Любые рассуждения «надавить, перебороть» это про покер на кухне с друзьями. «Умные книжки» пишут профессионалы покера, поднявшие в нем достаточно денег и отыгравшие сильно больше нас, я бы доверял им больше.
Пассаж про «выиграет казино» совершенно не к месту — покер игра между людьми, в турнирах (МТТ и СНГ) есть плата за вход и больше него казино выиграть не может никак, в кэш играх существует процент от каждой сыгранной раздачи, но для увеличения дохода казино должно увеличивать продолжительность игры и увеличивать частоту перехода фишек из рук в руки — чего оно сделать не может, ибо, как я уже сказал, играют между собой люди. Не надо спорить, если вы не разбираетесь в предмете, пожалуйста
laphroaig
Для игры по «математике покера» ИИ нафиг не нужен. Здесь речь идет о том, чтобы научить машину подстраиваться под игрока, формировать определенный имидж, вовремя переключать передачи (менять стиль игры), заставлять его ошибаться и т.д.
kenoma
Проблема в том, что не алгоритмы хромают, точнее, теоретическая их основа, а в том, что для практического воплощения этих алгоритмов требуются немыслимые пока что ресурсы. Если мне не изменяет память, то для обучения бота игре в безлимитный холдем без абстракции со стеком в 100 и блайндами в 1 требуется что то порядка 2-3 Терабайт памяти. При всем при том, что если даже вы решите проблему с памятью, то у вас остается проблема с длительностью обучения такого бота — что то порядка 100 лет на одном средненьком процессоре.
vsb
2-3 терабайта памяти это вообще не ресурсы сейчас. 100 лет на средненьком процессора это тоже несерьёзно (заказать 1000 средненьких процессоров за 36 дней).
Впрочем, я так полагаю, ценность этого исследования не в том, чтобы обыграть в покер как таковой, а в том, чтобы ИИ научился играть на уровне лучших игроков исходя из правил, сам вывел свои алгоритмы игры, а не пользовался готовыми, придуманными людьми.
kenoma
Соглашусь с вами, на сегодняшний день требования выглядят не такими жестокими как, скажем, лет 5 назад, когда я интересовался компьютерным покером. Однако, 2-3 терабайта нужно лишь на частный случай банка в 100бб.
Тем не менее, повсюду в комментариях и в самой статье сквозит какая-то универсальность используемого подхода в задачах ИИ, но бегло просмотрев исходную статью и ссылки в гугле я так и не смог понять, о чем речь. Покер решается вполне стандартными методами теории-игр и машинного обучения, революционно нового, судя по последним публикациям, из покера придумано не было. Даже попсовый алгоритм CFR существовал задолго до того, как им начали успешно решать покер.