С 12.07.2019 по 19.07.2019 я тщательно собирал и заносил в таблицу статистику своих побед и поражений в игре War Thunder, с целью убедится в наличии или отсутствии РПУ при помощи тестирования статистических гипотез о равенстве средних. Спустя 2 года я наконец-то набрался сил и смелости, чтобы опубликовать полученных данные и представить результаты анализа для публичного обсуждения.
Полученные данные позволяют сделать вывод о гипотезе наличия/отсутствия РПУ в игре, приводят к очень необычным выводам относительно изучаемого объекта, обладают научной новизной и за 2 года так и не были высказаны в других публикациях. Также в статье я постараюсь сделать некоторые обоснованные выводы о характеристиках и свойствах изучаемого объекта.
Методология изучения
Был выбран метод проверки статистических гипотез. Собрав данные о каждой своей победе/поражении за период с 12.07.2019 по 19.07.2019, я решил проверять гипотезу о равенстве средних в двух выборках. Нулевая гипотеза состояла в том, что соотношение количества побед и количества поражений, без наличия режима РПУ, в среднем, будет одинаковым ежедневно. Если закодировать победу цифрой 1, а поражение цифрой 0, при сравнении среднего, в выборках по дням не будет наблюдаться значимых отличий.
Альтернативная гипотеза состояла в том, что, при наличии механики РПУ, в игре будут наблюдаться статистически значимые различия в средних, которые нельзя объяснить разницей в состоянии играющего биологического объекта наблюдений, в количестве побед, в моменты включения РПУ, в моменты когда РПУ играет против игрока, в моменты когда РПУ играет за игрока и в моменты, когда РПУ не активен.
Hidden text
Забегая вперед могу сказать, что такие различия я достоверно обнаружил, но совершенно не там, где искал изначально.
Наблюдения были закончены после достоверного обнаружения различий в мат. ожидании различных выборок данных и дают представление только о свойствах механики РПУ во время наблюдений. Для получения более общих или актуальных выводов о работе механики, необходимо дальнейшее изучение.
Описание набора данных
Данные представлены тремя переменными.
win - 0 поражение, 1 победа.
date - день июля от 12 до 19.
timestamps - час окончания боя и получения отчета о битве. от 1 до 24.
Для корректной классификации боёв пришлось ввести две дополнительные переменные
battletype
sq
В зависимости от даты были получены следующие средние значения win за каждый день наблюдений.
Какие бы тесты я не проводил, все тесты показывают, что подтверждается нулевая гипотеза. Даже кажущееся огромным различие между 12-м и 15-м числом, совершенно случайное.
T-TEST GROUPS=date(12 15)
/MISSING=ANALYSIS
/VARIABLES=win
/CRITERIA=CI(.95).
Кажется что всё, РПУ не существует, вывод однозначен и сомнений никаких не осталось, что это выдумка. Но осталось еще распределение по часам. Давайте посмотрим его. И вот тут открывается очень любопытный эффект. Оказывается есть часы дня, при игре в которые количество побед статистически отличается от других часов дня. Давайте возьмем все бои закончившиеся в 18 часов и сравним все бои, закончившиеся в 22 часа.
T-TEST GROUPS=timestamps(22 18)
/MISSING=ANALYSIS
/VARIABLES=win
/CRITERIA=CI(.95).
Надо сказать, что больше анализ не показывает никаких различий, между боями в другое время. Даже при наличии сомнений в том, что такое совпадение случайно, ввиду множественности сравнений, данные выглядят для меня убедительно.
Вывод
Механика РПУ в игре War Thunder несомненно существует и настроена так,чтобы постоянно играющий человек не замечал её наличия. Для достижения эффекта своего отсутствия механика РПУ использует более тонкий алгоритм, чем просто "всегда включена" или "всегда выключена" на угнетение или подыгрывание. Можно с уверенностью сказать, что, для меня, в июле 2019 года, механика была настроена так, чтобы противодействовать моим усилиям с 18 до 19 часов вечера и облегчать игровой процесс с 22 до 23 часов ночи. В остальное время механика РПУ либо отключена, либо работает на оба направления сбалансировано. Возможно, что не для всех час волка и час скила выбран одинаково и возможно, что не для всех это именно час в сутки. Ответы на эти вопросы требуют дополнительных исследований и анализа.
Файл с данными, использованными для анализа прикрепляю.
Буду благодарен за конструктивную критику. Заранее спасибо.
Комментарии (29)
MountainGoat
07.07.2023 14:33+1чтобы противодействовать моим усилиям с 18 до 19 часов вечера и облегчать игровой процесс с 22 до 23 часов ночи.
На примере 150 игр я показал в Overwatch, что всегда, как только игра в случае победы переведёт меня в следующий ранг, мне ровно 2 игры подряд в команду попадают тролли, сливщики и "Ребят у меня связь пло...". В остальное время их количество намного меньше, а два подряд вообще ни разу не встречалось.
Все только смеялись и говорили "Учись играть".
И да, качество руссских тиммейтов в 2-3 часа дня по Москве на голову выше, чем вечером.
Yaroz
07.07.2023 14:33+2Значит я не один, кто после перехода из overwatch 1 в overwatch 2 стал резко плохо играть и постоянно играть с плохой командой?
kometakot
07.07.2023 14:33+8Можно с уверенностью сказать, что, для меня, в июле 2019 года, механика была настроена так, чтобы противодействовать моим усилиям с 18 до 19 часов вечера и облегчать игровой процесс с 22 до 23 часов ночи.
А не могло ли это как то быть связано с тем, что существует некое время суток, в которое обладатели самых быстрых рефлексов приходят со школы? Или ложатся спать?
Rebelqwe Автор
07.07.2023 14:33Ваша версия, заключающаяся в том, что различия связаны с тем, что меня кидало в заранее менее скиловые команды в определенные тайминги, это та-же самая версия, что и включение РПУ в это время.
О том как изнутри устроена механика РПУ таким анализом узнать невозможно, для этого надо анализировать совершенно другие объемы информации, например о среднем win rate команды проигравших и команды победивших в каждом бою. Это осложнено тем (возможно намеренно), что на сайте игры вы легко найдете сведения о командах каждого матча, но никак невозможно понять, какая команда выиграла, а данные о победе/поражении, доступные для анализа, отражают только за последние 2 недели боев и далее в клиенте игры удаляются.
kometakot
07.07.2023 14:33+1кидало в заранее менее скиловые команды
А почему вы не учитываете, что ваша команда могла оказаться менее скиловой именно из-за вас? Как, по вашему, РПУ вообще работает — угнетаются только некоторые игроки, не донатившие, например? Или всех по очереди угнетает, смысл?
Rebelqwe Автор
07.07.2023 14:33Как я уже сказал, данные не позволяют делать выводы о том, как работает механика, только о том, что она есть.
Мой скил в этих данных величина постоянная и на статистически значимые изменения среднего, как и любая другая постоянная величина, повлиять не способен.
kometakot
07.07.2023 14:33Ну так и выходит, ваш скилл это нулевая точка, относительно которой колеблется средний скилл игроков.
Rebelqwe Автор
07.07.2023 14:33Я не имею понятия как работает выдуманная вами математика, в реальном мире таких точек ни в предоставленных мной данных, ни в теории статистики нет.
Didntread
07.07.2023 14:33+1допустим, вы в самом общем рейтинге ру сегмента находитесь на месте N. В один из дней, корейцам надоело играть на корейских серверах, и они решили мигрировать на ру сегмент. После их прихода вы очевидно начнете в общем рейтинге опускаться. Но этот спуск не возможен со старым винрейтом, т.е. ваш винрейт опустится
Rebelqwe Автор
07.07.2023 14:33В ваших рассуждениях есть одна неточность. Нет никаких оснований полагать, что пришедших корейцев, с учетом солянки при подборе команд, будет бросать только в команды против меня. Они будут в равной степени, в среднем одинаково часто, играть за меня и против меня. Как я и говорил в гипотезах, значимые отличия среднего возможны только если есть не случайные отклонения между двумя выборками.
Didntread
07.07.2023 14:33все правильно, корейцы распределятся равномерно. Но каким образом вы в рейтинге опуститесь без изменения вашего винрейта?
Rebelqwe Автор
07.07.2023 14:33-1Не знаю, почему вы привязываете рейтинг к данному анализу средних в двух выборках, это совершенно две разные математические величины. В моих данных нет рейтинга, показана достоверная связь между временем, когда закончился бой и средним процентом побед, которую нельзя объяснить никакими случайными событиями, распределенными равномерно или нормально, вроде нашествия корейцев.
DGN
07.07.2023 14:33+3Но ваш скилл неизменен, таким образом, во время преобладания более опытных игроков, вы тянете команду к поражению, а при менее опытных - к победе. Это гипотеза, конечно.
DGG
07.07.2023 14:33+5Всё проще. Человек имеет выборку в 9 боёв в 22 часа и 4 (четыре) в 18.
Это вообще не статистика
kasyachitche
07.07.2023 14:33Очень интересный заголовок и оторванный от него текст. Я не аналитик, просто мимо проходил, но хотелось бы ваших комментариев.
Нулевая гипотеза состояла в том, что соотношение количества побед и количества поражений, без наличия режима РПУ, в среднем, будет одинаковым ежедневно.
Как-то много у вас утверждений в нулевой гипотезе. Если это твердо известные факты об РПУ, то почему это не указано перед формулированием гипотез? Первое что приходит в голову при такой гипотезе:
Почему соотношение побед/поражений без РПУ должно быть одинаковым? У вас до 11 сессий ежедневно, с вероятностью 85% ваш средний результат по победам будет находиться в пределах от 27 до 72% (для 11 сессий в день, а если сессий меньше, то и разброс больше), и это без учета РПУ. Вы утверждаете одинаковость ваших результатов по умолчанию (нулевая гипотеза), хотя никакой обывательской одинаковости здесь быть не может.
Почему именно ежедневно? Почему не ежечасно или не еженедельно? Или не каждые 5 сессий? Или не раз в месяц? Или когда ваша статистика сильно начинает отличаться от остальных игроков? Вы утверждаете алгоритм работы РПУ, а не проверяете его гипотезами.
Да и почему вообще речь о средних? Может быть РПУ работает на снижение дисперсии или устраннение череды повторяющихся результатов? Вы утверждаете, что РПУ работает именно со средними, а не проверяете это.
Так что же вы проверяете на мой взгляд? На мой взгляд такой постановкой нулевой гипотезы можно проверить только случайное совпадение результатов с желаемым вам видом, а никак не работу РПУ (я предполагаю, что алгоритм его работы неизвестен, иначе в чем вообще проблема?)
Если закодировать победу цифрой 1, а поражение цифрой 0, при сравнении среднего, в выборках по дням не будет наблюдаться значимых отличий.
Почему? А если вы в какой-то день сильно устали на работе и очень плохо играли? Или наоборот, были воодушевлены и играли лучше, чем обычно? Ваш метод реагирует на естественные колебания вашей продуктивности.
Альтернативная гипотеза должна противоречить нулевой, если я не ошибаюсь, и при таком количестве утверждений в нулевой гипотезе должна звучать примерно так: "все, что не нулевая гипотеза".
Дальше не изучал, простите.
Rebelqwe Автор
07.07.2023 14:33-
При честной рандомизации сборки команд, отсутствии режима РПУ, исключительно рандомном шансе на победу/поражение, без вмешательства в ход боя, в процессе игры на одинаковом сетапе, одним игроком, в среднем не могут появляться статистически значимо отличающиеся от случайных, изменения процента побед в различных сериях измерений. Это и есть нулевая гипотеза, не вижу смысла в статье раскрывать это полнее, это общеизвестное свойство матожидания. В моей статье речь идет о наличии или отсутствии статистически значимых различий среднего и нет утверждения о полной одинаковости средних. Если бы вы дочитали статью до конца, это стало бы очевидным.
Дальше не изучал, простите.
-
simenoff
07.07.2023 14:33Когда вся механика обсчитывается на сервере (куда попал, пробил/не пробил, рикошет/не рикошет, количество урона и пр.) грех не использовать это для "баланса"
Kragius
07.07.2023 14:33Средний скилл игроков отличается в зависимости от времени суток.
Система матчмейкинга ищет одинаковые команды и может пробовать балансить игру, сцепляя нубов и троллей с хардкорщиками и смурфами.
-
На разных уровнях рейтинга разные мета игра и стратегия.
Все это приводит к иллюзии работы РПУ. Сам когда то задавался этим вопросом, правда в Лиге Легенд. Мой вывод - РПУ не существует, есть другие закономерности, совокупность которых приводит к этой иллюзии. Видимо любой алгоритм матчмейкинга сталкивается с подобными проблемами так или иначе.
fufinaz
07.07.2023 14:33а вы чего хотели? рпу есть, видно его невооружённым глазом, прекрасный пример это когда у стримера (вроде) чсв была скинута бомба с полтонной тратила на какую-то картонную ерунду (прям попала в нее), выбило только пулемет. или же для меня, как для игрока с 200 часов оно тоже видно например, когда я стреляю каморником с ис2, а выбиваю только триплексы
kometakot
07.07.2023 14:33Поиграйте, как-нибудь, в обычное подкидывание монетки пару часов, вы там ещё и не такое угнетение и жульничество обнаружите. Выпадание орла или решки десять раз подряд — легко. Зависимость удачи от погоды на Тайване — запросто.
Rebelqwe Автор
07.07.2023 14:33Одна серия по 100 бросков в среднем не будет отличаться от другой серии по 100 бросков по частоте выпадения решки. Если же отличаются так, что есть статистическая значимость, значит вы в одной серии подбрасывали настоящую монету а в другой фальшивую. Данный анализ и был проведен. Количество побед значимо отличается в 18:00 от серии побед в любые другие часы.
gchebanov
Где Поправка на множественную проверку гипотез?
Rebelqwe Автор
К сожалению, данных мало, для такого рода анализа. Принимая во внимание разность дисперсий анализ
ONEWAY win BY timestamps/MISSING ANALYSIS
/POSTHOC=T2 T3 GH C ALPHA(0.05).
выдает результат
Post hoc tests are not performed for win because at least one group has fewer than two cases.
Отсутствие этой поправки упомянуто в статье.
igorShap
Данных мало не просто для анализа - данных в целом мало. И тем более для такого громкого вывода