0. Предисловие

Предлагаю вашему вниманию, статью из Бразилии, в которой рассматривается не самый популярный, но возможно очень прибыльный рынок ставок на футбол: "both team to score" или "обе забьют".

Постоянный рост объема доступных футбольных данных открывает беспрецедентные возможности для лучшего понимания динамики футбола. В то время как большинство исследований сфокусировано на прогнозировании победителя матча, другие важные вопросы, например, забьют ли обе команды в игре, остаются малоизученными, хотя их значимость растет вместе с развитием рынков ставок. В данной статье мы исследуем следующие вопросы: "Насколько сложно прогнозировать результат 'обе команды забьют' (BTTS)?", "Могут ли классификаторы машинного обучения прогнозировать BTTS точнее букмекерских контор?" и "Можно ли использовать классификаторы машинного обучения для разработки прибыльных стратегий на рынке BTTS?". На основе исторических футбольных данных мы выделили ключевые характеристики команд и применили их к современным классификационным моделям. Проведенные эксперименты показали, что, несмотря на сложность прогнозирования, в определенных сценариях возможно превзойти букмекерские конторы, которые сами по себе являются надежным ориентиром. Более того, в некоторых случаях удается опередить рынок и разработать прибыльные стратегии с помощью алгоритмов машинного обучения. Полученные результаты не только проливают свет на исследуемую проблему, но и могут предоставить ценные insights всем заинтересованным сторонам в футболе.

1. Введение

Футбол, известный также как football или soccer, является самым популярным видом спорта в мире — в него играют более 250 миллионов человек в более чем 200 странах (FIFA, 2017). Прогнозирование игры команд и развития событий во время матча широко распространено как среди болельщиков, так и в профессиональной среде. За последние десятилетия исследователи разработали различные методы для анализа предсказуемости и случайности футбольных результатов. Эти исследования представляют ценность для всех участников футбольной индустрии: менеджеры, тренеры и игроки могут глубже анализировать результаты команд; беттеры — принимать более обоснованные решения на рынках ставок; а спортивные журналисты и болельщики — лучше понимать особенности и закономерности игры. Спортивное прогнозирование представляет собой формирование выводов о будущих результатах на основе анализа накопленной информации, знаний и данных (Hughes & Franks, 2015). При этом прогнозирование футбольных матчей является особенно сложной задачей из-за высокой степени непредсказуемости этого вида спорта. Помимо мастерства игроков, на ход матча влияет множество факторов: моральный дух команды, травмы, текущий счет и турнирное положение.

В настоящее время в Интернете доступно несколько открытых наборов данных с информацией о матчах, игроках, командах и чемпионатах. Это создает беспрецедентные возможности для исследований и лучшего понимания динамики футбола. Для обработки таких масштабных и сложных наборов данных активно применяются наука о данных и машинное обучение (Berrar, Lopes, Davis, & Dubitzky, 2018a).

Подавляющее большинство исследований по прогнозированию футбола фокусируется на том, какая команда выиграет конкретный матч или турнир. Другим интересным вопросам, таким как "Сколько голов будет забито в матче?", "Какая команда будет лучше владеть мячом?" и "Когда будет забит первый гол?", исследовательское сообщество уделяет недостаточно внимания. Эти вопросы не только вызывают споры среди болельщиков, но и приобрели особую значимость в связи с недавним бумом онлайн-ставок на спорт во всем мире. Мировой рынок спортивных ставок сейчас оценивается примерно в 3 трлн долларов, при этом 65% этой суммы приходится на ставки на футбол (Dailymail, 2015). Букмекерские конторы предлагают игрокам коэффициенты (соотношение выигрыша к ставке) не только на упомянутые выше исходы, но и на то, забьют ли обе команды в конкретном матче. Этот вопрос, известный как "Обе забьют?" (BTTS), стал одним из самых популярных в футбольных ставках (Betsonly, 2017) и привлекает все больше внимания в последнее десятилетие (см. рис. 1).

Рисунок 1. Интерес к BTTS с течением времени (2009-2019) рос в соответствии с Google Trends.
Рисунок 1. Интерес к BTTS с течением времени (2009-2019) рос в соответствии с Google Trends.

В этой статье мы рассматриваем BTTS как задачу бинарной классификации, где требуется предсказать, забьют ли обе команды в матче. Изучая эту проблему с позиции науки о данных и машинного обучения (ML), мы стремимся исследовать BTTS не только в контексте прогнозирования спортивных событий, но и с точки зрения рынка ставок, оценивая эффективность различных стратегий. В экономической литературе широко обсуждается эффективность футбольного букмекерского рынка. При эффективном рынке создание прибыльных систематических стратегий невозможно. Мы проверяем это предположение с помощью ML, исследуя, могут ли тщательно разработанные признаки в современных классификаторах помочь в создании успешных стратегий на рынке BTTS. В частности, мы ставим следующие исследовательские вопросы:

• RQ1: Насколько сложна задача прогнозирования ставок на BTTS?

• RQ2: Способны ли классификаторы ML прогнозировать ставки на BTTS лучше, чем букмекерские конторы?

• RQ3: Полезны ли классификаторы ML для разработки прибыльных стратегий ставок на рынке BTTS?

Для исследования мы собрали результаты футбольных матчей за шесть сезонов (2013-2019) из девяти ведущих мировых чемпионатов (см. таблицу 1). Также были получены коэффициенты ставок от 19 букмекерских контор на эти матчи. На основе собранных данных мы выделили ключевые характеристики и применили их к современным классификаторам ML. В серии экспериментов мы сравнили точность прогнозов наших моделей с предсказаниями букмекеров.

Таблица 1. Список чемпионатов в наборе данных
Таблица 1. Список чемпионатов в наборе данных

Основные выводы нашего исследования показали, что:

(i) разные чемпионаты имеют разный уровень предсказуемости,

(ii) распределение классов по чемпионатам различно,

(iii) некоторые классификаторы способны превзойти прогнозы букмекеров,

(iv) отдельные классификаторы позволяют разрабатывать прибыльные стратегии ставок.

Структура статьи выглядит следующим образом. В разделе 2 представлены ключевые концепции рынка спортивных ставок. Раздел 3 содержит обзор существующих исследований, а также описывает отличия и вклад нашей работы. В разделе 4 описаны собранные данные и процесс разработки характеристик. Раздел 5 детально рассматривает все оцениваемые классификаторы. В разделе 6 представлены результаты экспериментов и анализ, отвечающий на поставленные исследовательские вопросы. В заключительном разделе 7 подведены итоги работы и обозначены направления для будущих исследований.

1. Футбольный рынок ставок

Чтобы лучше понять суть этой работы, рассмотрим основные концепции коэффициентов на рынках футбольных ставок. Букмекерские конторы публикуют коэффициенты ставок — это соотношение выплат к сумме ставки. Коэффициент всегда превышает 1, так как он отражает размер возможного выигрыша. Например, при ставке с коэффициентом 2,5 в случае успеха игрок получит сумму в 2,5 раза больше своей ставки. Чем ниже коэффициент, тем выше вероятность события по мнению букмекера (фаворит), и наоборот — высокие коэффициенты указывают на аутсайдера.

Существует несколько типов рынков ставок. В нашем исследовании мы анализировали коэффициенты на рынке moneyline (победа хозяев-ничья-победа гостей) и рынке BTTS (обе команды забьют). Рынок moneyline предлагает ставки на три возможных исхода: победу хозяев поля (H), победу гостей (A) и ничью (D). Рынок BTTS предлагает ставки на "Да" (Y) — когда обе команды забьют, или "Нет" (N) — когда хотя бы одна команда не забьет.

Значения коэффициентов отражают вероятности исходов, прогнозируемые букмекерами, с учетом их маржи. Рассмотрим пример: футбольный матч с коэффициентом BTTS   =   2,25 на "Да" и 1,61 на "Нет". Обратные коэффициенты показывают степень уверенности букмекера. В данном случае

\frac{1}{2.25}=0.44, то есть вероятность того, что обе команды забьют, оценивается в

44%. Однако букмекеры не предлагают абсолютно справедливых коэффициентов — сумма обратных коэффициентов (booksum, ставка или маржа букмекера)

всегда превышает 1: (\frac{1}{2.25} + \frac{1}{1.61} = 1.06). Эта маржа обеспечивает

букмекеру положительное математическое ожидание прибыли.

Поскольку сумма обратных коэффициентов часто превышает 1, необходимо нормализовать эти значения, чтобы получить реальные вероятности. Многие исследователи используют стандартную нормализацию, деля обратные коэффициенты на их сумму. Однако Štrumbelj, E. (2014) продемонстрировал, что метод Shin (1993) более точен, чем стандартные модели, основанные на нормализации или регрессии. Таким образом, в этой статье мы используем метод Shin'a для преобразования коэффициентов в вероятности.

3. Сопутствующие работы

Изучение закономерностей в футбольных данных имеет долгую историю. Ещё в середине 1960-х годов Морони (Moroney, 1962) впервые применил распределение Пуассона для моделирования количества голов в матче. С тех пор исследователи достигли значительного прогресса в прогнозировании футбольных результатов. Существуют две основные стратегии прогнозирования.

Первая стратегия основана на предсказании количества голов каждой команды для последующего расчёта вероятностей исходов матча (победа хозяев, ничья или победа гостей) (Angelini & De Angelis, 2017; Dixon & Coles, 1997; Karlis, D., & Ntzoufras, I. (2003); Rue, H., & Salvesen, O. (2000)).

Вторая стратегия предполагает прямую оценку вероятностей исходов без промежуточного прогнозирования голов (Forrest, D., Goddard, J., & Simmons, R. (2005); Goddard, J, (2005); Hubáček, O., Šourek, G., & Železny, F. (2018)).

По имеющимся данным, до сих пор не проводилось исследований, посвященных исключительно проблеме BTTS. Однако для получения прогнозов BTTS можно адаптировать модели, предсказывающие количество забитых голов (первая стратегия).

Большинство таких моделей основаны на двумерном распределении парных наблюдений. Они выражают вероятность любого возможного исхода как P(X = x \ и \ Y = y), где X и Y — количество голов, забитых хозяевами поля и гостями соответственно. Применительно к задаче BTTS эти модели адаптируются для прогнозирования "Да" P(X > 0 \ и \ Y > 0) или "Нет" P(X = 0 \ или \ Y = 0).

В контексте моделирования, параметры двумерного распределения выражаются через атакующие и оборонительные характеристики команд. Этот подход впервые предложил Maher, (1982), использовавший двойное пуассоновское распределение как базовое для подсчета голов. Dixon и Coles (1997) усовершенствовали эту модель, добавив параметр зависимости для низкорезультативных матчей с исходами 0:0, 1:0, 0:1 и 1:1. Rue и Salvesen (2000) адаптировали подход Dixon и Coles'a, разработав динамическую обобщенную линейную модель с анализом цепей Маркова методом Монте-Карло в непрерывном времени. Karlis, D., & Ntzoufras, I. (2003) также применили двумерное распределение Пуассона и продемонстрировали, что добавление параметра зависимости между забитыми голами улучшает точность прогнозирования ничейных результатов. Angelini & De Angelis (2017) представили инновационный подход на основе авторегрессии Пуассона с экзогенными ковариатами (PARX). Boshnakov, G., Kharrat, T., & McHale, I. G. (2017) предложили метод Вейбулла, основанный на измерении временных интервалов между матчами, и связующую функцию для получения двумерного распределения забитых голов.

Наше предложение соответствует второй стратегии — мы используем классификаторы машинного обучения для прямого прогнозирования вероятностей каждого результата. В литературе применяется широкий спектр методов машинного обучения: байесовские сети (Constantinou, 201), методы опорных векторов (Igiri, 201), логистическая регрессия (Hubáček, O., Šourek, G., & Železny, F., 201), нейронные сети (Bunker, R. P., & Thabtah, F. 201), k-ближайшие соседи (Berrar, D., Lopes, P., Davis, J., & Dubitzky, W., 2018b; Hucaljuk, J., & Rakipović, A., 2011), а также градиентный бустинг, показавший одни из лучших результатов в прогнозировании футбольных матчей (Berrar, D., Lopes, P., Davis, J., & Dubitzky, W. (2017)). Анализ лучших подходов выявил ключевой фактор успешного прогнозирования — способность эффективно применять знания предметной области. Иными словами, качественная разработка признаков является определяющим фактором точных прогнозов в футбольной аналитике.

Лучшие прогнозные модели для этой задачи демонстрируют разнообразные подходы к кодированию предметных знаний (Berrar et al., 2018b). Одним из ключевых подходов являются командные рейтинги — модели, оценивающие силу команд по одному или нескольким параметрам. Constantinou, (2019) использовал pi-рейтинг, который определяет относительное превосходство футбольных команд на основе разницы в их результатах. Исследования в этом направлении необходимы, поскольку они позволяют проверить гипотезу эффективного рынка. Исследования демонстрируют, что на рынке ставок можно получать стабильную прибыль с помощью стратегий, которые сочетают прогнозирование статистических моделей с эконометрическими подходами.

Hubáček, O., Šourek, G., & Železny, F. (2019) создали стратегию распределения ставок, основанную на коэффициентах и модельных прогнозах, учитывающую ожидаемую прибыль и дисперсию. Koopman, S. J., & Lit, R. (2019) использовали стратегию положительного ‘ожидаемого значения", в соответствии с которой ставится одна ставка, когда вероятность, предсказанная моделью, выше, чем подразумеваемые вероятности коэффициентов.

Подводя итог, предыдущие исследования предложили перспективные стратегии для прогнозирования футбольных результатов и их применения на рынке ставок. В рамках этой области мы предлагаем несколько инновационных разработок. Наша цель не состоит в том, чтобы предсказать победителя матча. Вместо этого мы исследуем проблему BTTS, которая, насколько нам известно, ранее не рассматривалась в литературе. Мы тщательно разрабатываем признаки и оцениваем несколько классификаторов, использующих эти признаки — подход, аналогичный тому, что применяется большинством исследователей при прогнозировании результатов футбольных матчей (Berrar et al., 2018b; Tüfekci, 2016). Мы также исследуем эффективность комбинирования букмекерских коэффициентов с историческими данными для составления прогнозов, следуя методологии Egidi Pauli, and Torelli (2018) и Titman, Costain, Ridall, Gregory (2015). В заключение, мы оцениваем классификаторы как по точности, так и по прибыльности на рынке ставок BTTS. Для этого мы тестируем популярные стратегии ставок, такие как "ожидаемое значение" (Koopman & Lit, 2019) и адаптацию критерия Келли (Boshnakov et al., 2017). Обзор эффективности рынков онлайн-ставок на футбол представлен Angelini, G., & De Angelis, L. (2018).

4. Предварительная обработка данных

В этом разделе описываются собранные данные и извлеченные из них признаки. Алгоритмы классификации используют эти признаки для прогнозирования исходов BTTS.

4.1. Данные

Для сбора данных мы разработали веб-скраперы, извлекающие информацию с сайта betexplorer.com — одной из крупнейших мировых платформ для ставок на спорт. С помощью этих скраперов мы собрали результаты матчей и коэффициенты различных букмекерских контор. После обработки полученных HTML-данных мы создали две структурированные базы данных. Первая содержит результаты матчей из девяти чемпионатов за шесть сезонов (2013-2019) (см. таблицу 1). В данной статье мы называем этот набор данных "набором данных матчей".

Таблица 1. Список чемпионатов в наборе данных
Таблица 1. Список чемпионатов в наборе данных

Второй набор данных содержит коэффициенты от 19 онлайн-букмекерских контор для тех же матчей. Коэффициенты (зафиксированные непосредственно перед началом матчей) охватывают два рынка: денежную линию (ML) и вероятность того, что обе команды забьют (BTTS). Этот второй набор мы называем "набором коэффициентов". В таблице 2 представлены поля данных из обоих наборов,

Таблица 2. Match dataset - данные матча, Odds dataset - данные коэффициентов.
Таблица 2. Match dataset - данные матча, Odds dataset - данные коэффициентов.

а в таблице 3 приведены некоторые основные статистические данные о них.

Таблица 3. Количество собранных данных #Matches, # Odds BTTS; # Odds ML:.
Таблица 3. Количество собранных данных #Matches, # Odds BTTS; # Odds ML:.

У бразильских и европейских лиг различаются календари. В Бразилии сезон начинается и заканчивается в пределах одного года, тогда как в Европе он начинается в одном году, а заканчивается в следующем. Для стандартизации данных по всем лигам мы обозначаем европейские чемпионаты по году начала сезона. Например, сезон 2016 года соответствует сезону 2016-2017 годов.

4.2. Генерация признаков

Здесь мы детально описываем процесс моделирования признаков для использования в выбранных классификаторах. Мы извлекли специфические признаки из двух источников: наборов данных о матчах и коэффициентах. Признаки первого типа преимущественно отражают результативность команд, тогда как признаки второго типа отражают "мнение" рынка через букмекерские коэффициенты.

4.2.1. Целевые переменные

Мы начинаем с определения целевой переменной (target). Эта переменная имеет значение 1 (единица), если обе команды забили голы, и 0 (ноль) в противном случае. Эта функция обозначается btts. Более формально, gh и ga обозначают количество голов, забитых хозяевами поля и гостями соответственно. Мы определяем btts следующим образом:

\text { btts }= \begin{cases}1, & \text { if } g h>0 \text { and } g a>0 \\ 0, & \text { otherwise }\end{cases}

4.3. Ключевые признаки

В футболе история матчей – ключевой фактор, влияющий на будущие результаты команды. Для глубокого анализа мы составили подробные таблицы для всех команд, участвующих в различных чемпионатах. В этих таблицах отражены результаты каждой команды после каждого тура каждого сезона.

Поскольку домашние и выездные матчи могут существенно отличаться, мы создали отдельные таблицы для домашних и выездных игр. Таким образом, мы получили четкое представление о том, как каждая команда проявляет себя на своем поле и на полях соперников.

Для удобства анализа и сравнения мы вычислили средние значения различных показателей, таких как количество забитых голов, набранных очков и других. Это позволяет нам оценить среднюю результативность команды за игру, как в атаке, так и в обороне. Эти средние значения мы называем основными признакам.

Полученные данные позволяют нам выявить сильные и слабые стороны каждой команды, как в домашних матчах, так и на выезде (см. таблицу 4). Эта информация может быть использована для создания более точных прогнозов результатов будущих матчей.

Таблица 4. Признаки каждой команды, использованные для решения задачи BTTS. Признаки подразделяются на ключевые, последовательные и рыночные.
Таблица 4. Признаки каждой команды, использованные для решения задачи BTTS. Признаки подразделяются на ключевые, последовательные и рыночные.

4.4. Последовательные признаки

Несмотря на то, что традиционные показатели позволяют оценить общие результаты команд, они не учитывают последовательность событий в матчах. Чтобы восполнить этот пробел, мы применяем марковские цепи – математический инструмент, специально разработанный для анализа последовательностей данных.

Мы рассматриваем два ключевых сценария: (i) матчи, в которых одна из команд забила хотя бы один гол, и (ii) игры, в которых одна из сторон пропустила хотя бы один гол. Например, тот факт, что команда забивает гол в матче, может повлиять на ее выступление в следующей игре, например, сделав ее более уверенной в себе. И наоборот, если команда не забивает в определенной игре, в следующем матче она может быть менее оптимистичной, что может повлиять на ее шансы забить. Для каждой команды мы построили цепочку Маркова для моделирования каждого из этих сценариев. Далее мы опишем эти марковские цепочки для случая, когда одна команда забивает по крайней мере один гол в матче (аналогично для других сценариев). Для начала, пусть S = {y, n} - пространство состояний процесса, т.е. множество возможных событий, где y означает, что команда забила хотя бы один гол в матче, а n - в противном случае. Процесс начинается в одном из этих состояний (результат первого совпадения) и непрерывно переходит из одного состояния в другое (последующие совпадения). Если цепь Маркова в данный момент находится в состоянии si , то на следующем шаге она переходит в состояние s_{j} с вероятностью p_{i j} . Таким образом, вероятность p_{i j} соответствует вероятности перехода и определяется как:

p_{i j}=P\left(X_n=j \mid X_{n-1}=i\right) \quad i, j \in S \ \ \ \ \ (2)

Таким образом, для каждого чемпионата мы извлекли из данных две цепочки Маркова для каждой команды: одну для домашних матчей и другую для выездных. Все модели имеют одинаковый формат (см. рис. 2), в котором:

Рисунок 2. Марковская цепь для задачи прогнозирования BTTS.
Рисунок 2. Марковская цепь для задачи прогнозирования BTTS.
  • состояния соответствуют возможным событиям (Yes, No);

  • p_{y y} - вероятность того, что команда забьет хотя бы один гол в следующем матче, учитывая, что она забила в предыдущем матче;

  • p_{y n} - вероятность того, что команда забьет хотя бы один гол в следующем матче. вероятность того, что команда не забьет гол в следующем матче, учитывая, что она забила в предыдущем матче;

  • p_{n n} - это вероятность того, что команда не забьет гол в следующем матче, учитывая, что она не забивала в предыдущем матче.;

  • p_{n y} - это вероятность того, что команда забьет хотя бы один гол в следующем матче, учитывая, что она не забивала в предыдущем матче.

Цепи Маркова корректируют вероятности каждого перехода каждый раз, когда наблюдается новое совпадение. Мы используем вероятности этих переходов в качестве признаков. Мы называем этот набор признаков последовательными признаками (см. таблицу 4).

4.5. Рыночные признаки

Рынок ставок на спорт в определённой степени отражает «мудрость толпы», аккумулируя мнения множества участников. Благодаря этому, он может служить ценным источником информации и важным сигналом для построения моделей прогнозирования.

Одним из ключевых аспектов использования рынка ставок для прогнозирования является анализ коэффициентов, которые можно интерпретировать как вероятности наступления того или иного исхода спортивного события. Для более точного преобразования коэффициентов в вероятности, учитывая возможные искажения, связанные с маржой букмекеров, применяется метод Шина (Shin, 1993). Этот метод позволяет получить более объективную оценку вероятностей на основе представленных коэффициентов.

В рамках анализа цен букмекеров, после преобразования коэффициентов в вероятности с использованием метода Шина, для представления консолидированного «мнения» рынка относительно конкретного матча вычисляются средние значения вероятностей по всем рассматриваемым букмекерским конторам. Этот усреднённый показатель дает общее представление о том, как рынок в целом оценивает шансы команд или спортсменов.

Однако, простое усреднение может скрыть существующие расхождения во мнениях между различными букмекерскими конторами. «Мнение», сформированное несколькими конторами, может быть неоднородным, и среднее значение не всегда отражает эту неоднородность. Поэтому, для более полного анализа, помимо среднего значения (avg), рассчитываются и другие статистические показатели, такие как:

  • Максимальная фактическая вероятность (max): наибольшее значение вероятности для данного исхода среди всех букмекерских контор.

  • Минимальная фактическая вероятность (min): наименьшее значение вероятности для данного исхода среди всех букмекерских контор.

  • Стандартное отклонение (std): мера разброса вероятностей относительно среднего значения, показывающая степень согласованности (или расхождения) мнений между разными конторами.

Формально, если обозначить A = {a₁, a₂, ..., aₙ} как набор фактических вероятностей для определённого исхода, полученных от n букмекерских контор, то эти показатели позволяют более детально изучить распределение вероятностей и оценить степень консенсуса на рынке ставок. Использование этих дополнительных показателей, наряду со средним значением, позволяет получить более полное представление о рыночных ожиданиях и учесть возможные разногласия между участниками рынка.

Мы выделили max(A), min(A), avg(A) и std(A). Наконец, мы можем выделить фаворитов рынка, сравнив средние коэффициенты, предлагаемые всеми букмекерскими конторами, на "Да" и "Нет". Таким образом, фаворитом считается тот класс ставок, у которого средние коэффициенты самые низкие.

Формально, для матча m, рассмотрим средние коэффициенты букмекерских контор \text{avg(}yes_{m}) и \text{avg(}no_{m}) для классов "Да" и "Нет" соответственно. Обозначим fav(m) как функцию, которая определяет фаворита на рынке:

\text{fav(m)} = \begin{cases}1, & \text { if } \text { avg(} \text {yes }_m) \leq \text { avg(} \text no_{m}) \\ 0, & \text { otherwise }\end{cases}

Эти характеристики называются рыночными признаками (см. таблицу 4).

5. Модели

В этом разделе мы подробно описываем классификационные модели, рассмотренные в данной статье.

5.1. Majority Class Classifier (MJC) (Классификатор мажоритарных классов)

Наивный подход к прогнозированию того, забьют ли обе команды в матче, заключается в определении общего распределения результатов в соответствующем чемпионате. Если большинство матчей в тренировочном цикле заканчиваются победой обеих команд, классификатор предсказывает "Да"; в противном случае он предсказывает "Нет". В этой статье мы называем эту модель классификатором мажоритарных классов (MJC). Чтобы определить мажоритарный класс, мы в основном анализируем распределение результатов BTTS (да или нет).

Рисунок 3. Распределение BTTS 'Да" с учетом всех чемпионатов вместе взятых (a) и по каждому чемпионату (b).
Рисунок 3. Распределение BTTS 'Да" с учетом всех чемпионатов вместе взятых (a) и по каждому чемпионату (b).

На рис. 3 показано распределение ‘BTTS: Да" с учетом всех чемпионатов (слева) и по каждому чемпионату (справа). Учитывая все чемпионаты, мы видим, что 50,61% матчей завершились с забитыми голами обеими командами. Несмотря на небольшое отклонение в сторону "Да", разница между классами не является статистически значимой (в таблице A.6 Приложения представлены значения t-критерия).

Таблица А.6. t-критерий для сравнения распределений результатов BTTS по классам, H0 : да = нет / H1 : да = нет (относительно рисунка Рис. 3).
Таблица А.6. t-критерий для сравнения распределений результатов BTTS по классам, H0 : да = нет / H1 : да = нет (относительно рисунка Рис. 3).

Что касается распределения по чемпионатам, то мы видим, что в чемпионатах Италии А, Германии А и Нидерландов А класс большинства равен "Да" (обе команды забивают), в то время как в Бразилии А и Португалии А класс большинства равен "Нет". В чемпионатах Франции А, Англии А, Испании А и Бразилии В мы не заметили какого-либо явного смещения в сторону того или иного класса, что подтверждается высокими наблюдаемыми p-значениями. Однако на практике классификатор будет соответствовать классу большинства независимо от значимости теста. То есть для Франции A и Англии A это означает "Нет", а для Испании A и Бразилии B - "Да".

Наблюдаемые, пусть и незначительные, дисбалансы классов указывают на то, что модель, основанная на строгом следовании мажоритарному классу (также известная как метод нулевого правила), может обеспечивать более точные прогнозы по сравнению со случайным выбором. В рамках данного исследования этот классификатор будет использоваться в качестве базовой линии (нижней границы), с которой будут сравниваться результаты более сложных моделей. Ожидается, что более сложные модели покажут результаты, превосходящие MJC.

5.2. Poisson-Based классификаторы

В качестве исходных данных мы использовали три классификатора, поддерживаемых пуассоновскими моделями. Эти модели широко использовались для прогнозирования количества голов в футбольных матчах и послужили хорошей основой для нескольких смежных работ, таких как Boshnakov et al. (2017), Koopman and Lit (2015), Koopman and Lit (2019) и Owen (2011). Хотя они и не предназначены для решения задачи прогнозирования BTTS, их можно легко адаптировать для этой задачи, как мы указываем в разделе 3.

Базовой моделью, которая послужила основой для многих других, является модель, предложенная Махером (Maher, 1982). Основная предпосылка этой модели заключается в том, что количество голов, забитых хозяевами поля и гостями в конкретном матче, являются независимыми пуассоновскими переменными, средние значения которых определяются соответствующими качествами каждой команды в атаке и обороне. Формально, учитывая, что h - команда хозяев, v - команда гостей, а X и Y - количество голов, забитых каждой из команд соответственно, то:

X \sim \operatorname{Poisson}\left(\alpha_h \beta_v \gamma\right) \\ Y \sim \operatorname{Poisson}\left(\alpha_v \beta_h\right)

здесь X и Y независимы, \alpha_i, \beta_i>0, \forall i \in(h, v), \alpha_i измеряет силу атаки, \beta_i измеряет силу защиты, а \gamma >0 - это параметр, который относится к преимуществу хозяев. В этой статье мы называем эту модель Independent Poisson Classifier (IPO) (Независимым классификатором Пуассона).

Диксон и Коулз (1997) усовершенствовали независимую целевую модель, предложенную Махером (Maher, 1982). Они показали, что модель не способна предсказывать матчи с низким результатом, и ввели параметр зависимости для следующих результатов матчей: 0 − 0, 1 − 0, 0 − 1, и 1-1. Они также предложили две функции взвешивания, чтобы придать большее значение самым последним совпадениям. В этой статье мы называем эту модель the Dixon and Coles Classifier (DAC) (классификатором Dixon and Coles).

Rue и Salvesen (2000) расширили рамки работы Dixon and Coles (1997) и разработали байесовскую динамическую обобщенную линейную модель для обновления предыдущих оценок параметров, которые анализируются с помощью методов Монте-Карло с цепью Маркова. В этой статье мы называем эту модель the Rue and Salvesen Classifier (RAS) (классификатором Rue и Salvesen).

Для всех случаев мы извлекаем из моделей матрицу S \in \mathbb{R}^{a \times b}, в которой индексы a, b - это возможное количество голов хозяев поля и гостей, а значения - это вероятности каждого возможного результата матча. Таким образом, предсказание классификаторов для задачи BTTS может быть определено следующим образом:

P_{n o}=S[0,0]+S[0,1:]+S[1:, 0] \\ P_{y e s}= 1 - P_{n o}

5.3. Классификаторы машинного обучения

Мы оценили три классификатора ML: Gaussian Naive Bayes (NB), Logistic Regression (LR) и Gradient Boosting (GB). Это надежные классификаторы, которые обычно используются в широком спектре сложных областей прогнозирования, включая футбольную аналитику, как подробно описано в разделе 3.

5.4. Рыночные классификаторы

Мы определяем два классификатора на основе данных о рынке ставок: the Average Market Classifier (AMK) и the Fairest Bookmaker Classifier (FBO). AMK делает прогнозы на основе среднего мнения 19 букмекеров. То есть, он определяет вероятности "Да" и "Нет" в соответствии со средними коэффициентами, публикуемыми букмекерскими конторами, нормализованными по модели Шина (Štrumbelj, 2014). Это должно быть сильным предиктором в соответствии с гипотезой эффективности рынка. Чтобы построить классификатор FBO, мы проанализировали, у какой букмекерской конторы была самая низкая комиссия в обучающей выборке. Ожидается, что букмекерская контора с низкой комиссией будет лучшим местом для ставок. Таким образом, сравнение с ней может позволить нам определить возможности получения прибыли (более подробную информацию об этом смотрите в разделе 6.2). Рис. 4 показывает, что у букмекерской конторы 1xBet самая низкая комиссия. То есть, 1xBet, по-видимому, предлагает самые справедливые коэффициенты по сравнению с другими букмекерскими конторами. Таким образом, FBO делает прогнозы, строго основываясь на коэффициентах 1xBet.

Рисунок 4. Средняя комиссия каждого букмекера.
Рисунок 4. Средняя комиссия каждого букмекера.

6. Оценка

В данном разделе описываются эксперименты, проведённые для ответа на исследовательские вопросы, сформулированные в разделе 1. Для получения ответов на вопросы RQ1 и RQ2 более детально рассматривается эффективность классификаторов, описанных в предыдущем разделе. Для ответа на вопрос RQ3 анализируется эффективность различных стратегий ставок, основанных на прогнозах этих классификаторов.

6.1. Протокол оценки

Для проведения экспериментов исходный набор данных был разделён на две части: 66,67% данных использовались для обучения моделей, а оставшиеся 33,33% — для тестирования. В обучающую выборку вошли матчи первых четырёх сезонов (2013–2016 гг.), в то время как тестовая выборка включала матчи последних двух сезонов (2017–2018 гг.), начиная с пятого тура.

Для оценки качества классификаторов во всех случаях применялась стратегия расширяющегося окна (growing window), описанная в работе Ryan et al., (2013). Суть этой стратегии заключается в следующем: на каждой итерации тестовые экземпляры, использованные на предыдущем шаге, добавляются к обучающей выборке. Полученная таким образом обновлённая обучающая выборка используется для прогнозирования следующего временного окна.

В контексте данного исследования после каждой итерации (то есть после каждого раунда) результаты спрогнозированных матчей добавляются в обучающую выборку для прогнозирования следующего раунда. Таким образом, модели переобучаются после каждого сыгранного тура, что позволяет им адаптироваться к изменениям в данных и учитывать самую свежую информацию.

Для построения the Poisson-based classifiers (PBCs), Independent Poisson Classifier (IPO), Dixon and Coles Classifier (DAC) и Rue and Salvesen Classifier (RAS) мы использовали пакет the goalmodel package.

Для Gaussian Naive Bayes (GNB) и Logistic Regression (LRE) мы использовали scikit-learn, а для XGB - XGBoost в качестве библиотек ML. Мы настроили параметры обучения всех алгоритмов по среднему на 5 фолдах кроссвалидации. На этапе обучения у нас были разные настройки. Для PBC нужны только результаты матчей. Для целей прогнозирования полезно взвесить влияние результатов каждого матча, чтобы матчи, прошедшие в прошлом, оказывали меньшее влияние, чем более поздние. Мы искали оптимальное значение для этого параметра, учитывающего временной вес ξ , учитывая количество дней в качестве единицы измерения времени. С этой целью мы оценили значения от 0 до 0,008 (Boshnakov et al. (2017))). Например, оптимальное значение, найденное для модели, которая предсказывает первый раунд сезона 2017 года, составило ξ = 0,001.

В то время как PBC нужны только прошлые результаты, модели ML могут быть оснащены другими наборами признаков. Для оценки влияния различных групп признаков на производительность классификаторов машинного обучения мы использовали метод абляции. Этот метод заключается в проведении серии экспериментов (в данном случае трёх), в каждом из которых одна из групп признаков исключается из модели, после чего оцениваются полученные результаты. Это позволяет определить, какие группы признаков оказывают наибольшее влияние на качество прогнозов.

В первом эксперименте мы использовали только функции, полученные из данных матчей (таблица 2) ,

Таблица 2. Match dataset - данные матча, Odds dataset - данные коэффициентов.
Таблица 2. Match dataset - данные матча, Odds dataset - данные коэффициентов.

т.е. ключевые признаки и признаки последовательности (Performance Features and Sequential Features. из таблицы 4). Во втором эксперименте мы использовали только функции, полученные из набора данных о коэффициентах, т.е. Market Features. Наконец, в третьем эксперименте мы использовали все доступные функции. Чтобы идентифицировать каждый классификатор в отдельности, мы добавили к метке классификатора знак подчеркивания, за которым следует заглавная буква, обозначающая группу используемых функций. Например, для классификатора GNB у нас есть: GNB_P ( (Performance and Sequential Features (ключевые признаки и признаки последовательности)), GNB_M (Market Features, (рыночные признаки)) и GNB_A (all available features(все признаки)). Мы использовали ту же логику для LRE и XGB. Для вопросов RQ1 и RQ2 мы оценили модели с точки зрения точности (ACC) и Brier score (BRS). Точность - это процент правильных прогнозов, в то время как Brier score измеряет эффективность модели при прогнозировании вероятности каждого класса. Мы выражаем все вероятности в процентах. Формально, учитывая N - количество матчей, m - один конкретный матч, \hat{y}_{m} - вероятность, прогнозируемую моделью для BTTS, и o_{m} - фактический результат (0, если он не произойдет; 1, в противном случае), мы можем определить Brier score (BRS) как:

BRS=  \frac {1}{N} \sum _ {m=1}^ {N}  (  \widehat {y}_ {m}  -  o_ {m}  )

Для RQ3 мы оценивали модели с точки зрения прибыльности (PRF) и возврата инвестиций (ROI). Прибыльность измеряет, сколько денег мы можем заработать или потерять (баланс), сделав ставку на основе данной стратегии. Другими словами, когда мы делаем ставку на матч, если мы правильно спрогнозируем результат, мы получим прибыль, исходя из коэффициентов, предлагаемых букмекерской конторой. С другой стороны, если мы не сможем предсказать исход, мы потеряем всю сумму, которую поставили. Таким образом, мы определяем прибыльность как сумму этих прибылей и убытков, рассматривая группу совпадений. Рентабельность инвестиций измеряет прибыль или убыток от инвестиций по отношению к сумме вложенных денег.

6.2. Результаты

В этом разделе мы возвращаемся к исследовательским вопросам данной статьи, предоставляя ответы и обсуждения, основанные на полученных результатах.

RQ1: Насколько сложна проблема прогнозирования BTTS?

Чтобы ответить на этот вопрос, мы можем посмотреть на точность двух эмпирических классификаторов: AMK и MJC. С точки зрения эффективности рынка, не может быть лучшего прогнозирующего фактора, чем ‘мнение’ самого рынка. Таким образом, в некотором смысле AMK можно рассматривать как верхнюю границу. То есть невозможно разработать прогнозирующую модель, которая была бы лучше рыночной. Таким образом, сравнение AMK (наилучшего, что мы можем получить в рамках гипотезы рыночной эффективности) с MJC (the simplest baseline, которую мы можем придумать) может помочь нам понять сложность проблемы. Результаты показывают, что, учитывая все совпадения в тестовом наборе, AMK имеет точность 55,34% против 51,51% у MJC (см. рис. 5).

Рисунок 5. Качество классификаторов точки зрения точности.
Рисунок 5. Качество классификаторов точки зрения точности.

Поскольку задача определения BTTS является задачей бинарной классификации, стоит отметить, что точность рассматриваемых классификаторов лишь незначительно превышает точность случайного классификатора, среднее значение которого составляет 50%. Более того, разница в точности между AMK и MJC невелика и составляет менее 4%. Этот факт указывает на ограниченный потенциал для существенного улучшения результатов прогнозирования. Таким образом, полученные результаты убедительно демонстрируют, что прогнозирование BTTS является сложной задачей.

Аналогичный анализ можно провести, рассматривая матчи, сгруппированные по отдельным чемпионатам (см. рис. 5). В этом случае с помощью критерия Уилкоксона (см. таблицу А.7 Приложения),

Таблица А.7. Тест Уилкоксона позволяет оценить, лучше ли AMC, чем MJ, с точки зрения точности.
Таблица А.7. Тест Уилкоксона позволяет оценить, лучше ли AMC, чем MJ, с точки зрения точности.

было установлено, что AMK ненамного превосходит MJC в чемпионатах Германии А, Нидерландов А и Испании А. В частности, в Бразилии B AMK продемонстрировала еще худшие результаты, чем MJC. В других чемпионатах AMK продемонстрировала значительно более высокие показатели. Эти результаты подчеркивают сложность проблемы, поскольку в некоторых случаях рынок даже не лучше, чем при таком простом подходе, как MJC. Эти результаты также указывают на то, что некоторые чемпионаты предсказать легче, чем другие.

RQ2: Способны ли классификаторы ML прогнозировать BTT лучше, чем букмекерские конторы?

Целью данного исследования является оценка способности классификаторов, основанных на тщательно отобранных признаках, предоставлять более точные прогнозы по сравнению с рынком, который в данной работе представлен классификаторами AMK и FBO. Эффективность классификаторов оценивается с помощью двух метрик: точности (Accuracy), представленной на рисунке 5, и оценки Брайера (Brier Score), показанной на рисунке 6.

Рисунок 6. Качество классификаторов по Brier score.
Рисунок 6. Качество классификаторов по Brier score.

Первоначально анализируются классификаторы, использующие только данные, полученные из результатов выступлений команд, то есть без использования рыночной информации. В этом сценарии, при рассмотрении всех чемпионатов в совокупности, классификаторы, основанные на распределении Пуассона (PBC), и классификаторы машинного обучения (MLC) демонстрируют сопоставимые результаты. Единственным исключением является классификатор GNB (Gaussian Naive Bayes), который не смог показать результаты, превосходящие MJC. Важно отметить, что ни один из этих классификаторов, использующих только данные о командах, не смог превзойти результаты, демонстрируемые букмекерами.

Второй этап анализа посвящен оценке поведения классификаторов при добавлении рыночной информации. Анализ классификаторов машинного обучения, обогащенных рыночными признаками, показывает улучшение их показателей. В этом случае разница в точности между лучшими классификаторами становится довольно незначительной: XGB_M (точность: 55,04%, оценка Брайера: 0,2462), LRE_M (точность: 54,91%, оценка Брайера: 0,2459) и GNB_M (точность: 55,02%, оценка Брайера: 0,2596). При этом не наблюдается статистически значимой разницы между этими классификаторами и AMK (точность: 54,91%, оценка Брайера: 0,2459).

Одна из гипотез, объясняющих столь незначительное различие, состоит в том, что если рынок эффективен, то при использовании классификаторами только рыночной информации они, по сути, воспроизводят прогнозируемое поведение самого рынка. Для проверки этой гипотезы был рассчитан коэффициент Каppа между классификаторами машинного обучения и рыночными классификаторами. Коэффициент Каppа используется для оценки степени согласованности между классификаторами: чем ближе его значение к 1, тем выше уровень согласия. Значения коэффициентов Каппа представлены на рисунке 7.

Рисунок 7. Коэффициент степени согласованности классификаторов Каппа.
Рисунок 7. Коэффициент степени согласованности классификаторов Каппа.

Полученные результаты подтверждают, что классификаторы машинного обучения (ML), при использовании рыночных признаков (market features, таблица 4), демонстрируют почти идеальную согласованность с AMK (коэффициент Каппа k > 0,8). В то же время, при использовании дополнительных признаков, связанных с результатами команд, согласованность с AMK оказывается умеренной (0,4 < k < 0,6) или условной (0,2 < k < 0,4). В дальнейшей работе планируется более детальное изучение тех матчей, в прогнозах которых классификаторы ML расходились с рыночными оценками, с целью выявления возможных причин неэффективности рынка.

Стоит отметить, что при использовании всех доступных признаков (как рыночных, так и связанных с результатами команд) классификаторы ML не продемонстрировали существенного улучшения результатов по сравнению с предыдущими экспериментами. Вероятно, это означает, что рыночные характеристики уже содержат наиболее сильные и информативные сигналы, охватывая практически всю существенную информацию об основных признаках, влияющих на исход матчей.

Подводя итог, можно ответить на исследовательский вопрос RQ2 с двух разных точек зрения. Во-первых, учитывая минимальную разницу в результатах между лучшими классификаторами ML и рыночными классификаторами, можно сделать вывод об их эквивалентной производительности. В этом смысле ответ на RQ2 будет отрицательным: классификаторы ML не превосходят рынок.

Однако, во-вторых, необходимо отметить, что в некоторых чемпионатах классификаторы ML демонстрируют результаты, сопоставимые с AMK, и несколько лучшие, чем FBO, с точки зрения оценки Брайера (BRS). Этот факт указывает на лучшую калибровку классификаторов ML при прогнозировании вероятностей BTTS по сравнению с FBO. Более точные вероятностные прогнозы могут позволить создавать прибыльные стратегии ставок против конкретной букмекерской конторы, например, 1xBet, которая в данном случае, по-видимому, демонстрирует минимальную комиссию. Таким образом, с этой конкретной точки зрения, ориентируясь только на результаты по отношению к FBO (худшему из рыночных классификаторов), ответ на RQ2 можно считать положительным.

RQ3: Are ML classifiers useful for devising profitable betting strategies?

Целью данного исследования является оценка того, насколько полезны классификаторы машинного обучения (ML) для разработки прибыльных систематических стратегий на рынке ставок. Для достижения этой цели рассматриваются три различные стратегии ставок: наивная стратегия (Naive Betting, NB), стратегия на основе ожидаемого значения (Expected Value, EV) и пропорциональная стратегия (Proportional Betting, PB). Эффективность применения каждой из этих стратегий оценивается для каждого классификатора с использованием двух основных показателей: прибыльности (Profitability, PRF) и возврата инвестиций (Return on Investment, ROI).

Наивная стратегия (NB) представляет собой простейший подход, часто используемый начинающими игроками, которые, как правило, делают ставки на тот исход, который, по их мнению, наиболее вероятен, не принимая во внимание коэффициенты, предлагаемые букмекерскими конторами. В рамках этой стратегии на каждый предсказанный классификатором исход (как «да», так и «нет») ставится фиксированная сумма в 1 доллар.

Вторая рассматриваемая стратегия основана на концепции ожидаемого значения (EV). Эта стратегия учитывает разницу между вероятностью, оцененной рынком (букмекерами), и вероятностью, предсказанной моделью (классификатором). Стратегия EV широко используется в ряде научных работ, таких как работы Boshnakov et al., (2017), Angelini and De Angelis, (2017), а также Koopman and Lit, (2019). Формально ожидаемое значение ставки на конкретный матч определяется с помощью уравнения (5)

EV(A)=P(A)*odds(A) - 1 \ \ \ \   (5)

где A представляет заданный результат (да или нет), P(A) - вероятность результата A в соответствии с моделью, а odds(A) - опубликованные коэффициенты для результата A. Таким образом, стратегия заключается в том, чтобы делать ставки только на те результаты, для которых ожидаемое значение является положительным, EV(A)>0

Третья стратегия - proportional betting (PB). PB учитывает коэффициенты и ожидаемое значение, чтобы найти оптимальную ставку по ставке, указанную в уравнении (6).

PB(A)= \frac {(odds(A)+1)P(A)-1}{odds(A)}

Стратегия PB похожа на критерий Kelly, (2011), но отличается тем, что не учитывает общее состояние игрока и устанавливает максимальную ставку на уровне 1 доллара за матч, как это сделали Boshnakov et al., (2017).

Сначала мы протестировали стратегии на основе средних коэффициентов, предлагаемых рынком. Как и ожидалось, на эффективном рынке ни один классификатор не смог бы разработать прибыльную стратегию. На рис. 8 показано, что все классификаторы показали отрицательную прибыльность в тестовом наборе.

Рисунок 8. Прибыль, получаемая с помощью различных стратегий (NB, EV и PB) при среднерыночных коэффициентах.
Рисунок 8. Прибыль, получаемая с помощью различных стратегий (NB, EV и PB) при среднерыночных коэффициентах.

В качестве альтернативы стремлению к максимальной прибыли, теоретически можно делать ставки в той букмекерской конторе, которая предлагает наилучшие коэффициенты на каждый конкретный матч. Однако для реализации этой стратегии игроку потребовалось бы иметь счета в большом количестве букмекерских контор (в данном случае, 19), что представляется практически нецелесообразным. По этой причине в данном исследовании оценка стратегий ставок проводилась для одной конкретной букмекерской конторы. В качестве таковой была выбрана 1xBet, которая, как было показано в разделе 5.4, в целом предлагает более высокие коэффициенты по сравнению с другими букмекерскими конторами, представленными в исследовании. Результаты по прибыльности (Profitability, PRF) и возврату инвестиций (Return on Investment, ROI), полученные при использовании наивной стратегии (NB), стратегии на основе ожидаемого значения (EV) и пропорциональной стратегии (PB), представлены на рисунках 9, 10 и 11 соответственно.

Рисунок 9. Прибыль (и ROI), полученная с помощью стратегии наивных ставок (NB) против букмекерской конторы 1xBet.
Рисунок 9. Прибыль (и ROI), полученная с помощью стратегии наивных ставок (NB) против букмекерской конторы 1xBet.
Рисунок 10. Прибыль (и ROI), полученная с помощью стратегии ожидаемого значения (EV) против букмекерской конторе 1xBet.
Рисунок 10. Прибыль (и ROI), полученная с помощью стратегии ожидаемого значения (EV) против букмекерской конторе 1xBet.
Рисунок 11. Прибыль (и ROI) достигается с помощью стратегии пропорциональных ставок (PB) против букмекерской конторы 1xBet.
Рисунок 11. Прибыль (и ROI) достигается с помощью стратегии пропорциональных ставок (PB) против букмекерской конторы 1xBet.

В целом, ни один из рассмотренных классификаторов не продемонстрировал успешных результатов при использовании наивной стратегии ставок (NB). Лишь в чемпионате Бразилии (Серия A) было отмечено несколько случаев, когда более одного классификатора показали положительную доходность, однако с незначительным возвратом инвестиций (ROI) (см. рис. 9). Что касается стратегии, основанной на ожидаемом значении (EV), результаты оказались значительно лучше, хотя общая прибыльность оставалась невысокой. Лучшие показатели в рамках этой стратегии продемонстрировал сам рынок, представленный классификатором AMK (Average Market Knowledge), который достиг прибыли в 24,3%, но при этом ROI составил всего 1,95%. Анализ результатов по отдельным чемпионатам (см. рис. 10) показал, что в чемпионатах Англии (Премьер-лига) и Италии (Серия A) классификаторы машинного обучения (ML) оказались неэффективными. Однако в других странах классификаторы LRE (Logistic Regression) и XGB (XGBoost) смогли получить прибыль на некоторых матчах, преимущественно в чемпионатах Франции (Лига 1), Бразилии (Серия B) и Португалии (Примейра-лига). Полученные результаты указывают на то, что некоторые чемпионаты могут предоставлять больше возможностей для получения прибыли, чем другие.

При использовании пропорциональной стратегии ставок (PB) по сравнению со стратегией EV наблюдался в целом более высокий ROI, хотя общая прибыльность была ниже. Это объясняется тем, что из-за небольшой разницы между вероятностями, предсказанными классификаторами, и вероятностями, предложенными букмекерской конторой, стратегия PB приводила к относительно небольшим размерам ставок. Следовательно, для достижения стабильной прибыли при использовании данной стратегии потребовалось бы существенно увеличить максимальную сумму ставки на один матч.

До этого момента анализ стратегий проводился с учетом ставок на все доступные матчи. Однако представляется целесообразным рассмотреть возможность применения стратегий, ориентированных на ставки только на определенную группу матчей. Для дальнейшего изучения этой идеи была проведена переоценка прибыльности классификаторов, но уже с учетом только тех матчей, в которых рыночная вероятность события «Обе команды забьют: Да» (BTTS: Yes) попадала в заданный диапазон. При этом была оценена прибыльность во всех возможных диапазонах вероятностей (с шагом в целое число) с использованием всех трех стратегий в сравнении с букмекерской конторой 1xBet. Результаты данного анализа показали, что стратегия EV оказалась наиболее эффективной для всех рассмотренных классификаторов. Результаты для всех возможных интервалов вероятностей представлены на рисунке 12. В таблице 5 приведены наилучшие результаты, достигнутые каждым классификатором, с указанием соответствующего диапазона вероятностей для исхода «Да», количества матчей, отобранных классификатором с положительным ожидаемым значением (в пределах данного диапазона), а также значений PRF и ROI, полученных в результате ставок.

Рисунок 12. Прибыльность, полученная с помощью стратегии ожидаемого значения (EV) по отношению к букмекерской конторе 1xBet с учетом диапазона вероятностей. Координата y является началом интервала вероятностей, а координата x - концом. Прибыльность, полученная в каждом диапазоне, представлена изменением цветов.
Рисунок 12. Прибыльность, полученная с помощью стратегии ожидаемого значения (EV) по отношению к букмекерской конторе 1xBet с учетом диапазона вероятностей. Координата y является началом интервала вероятностей, а координата x - концом. Прибыльность, полученная в каждом диапазоне, представлена изменением цветов.
Таблица 5. Результаты классификаторов, использующих стратегию EV.
Таблица 5. Результаты классификаторов, использующих стратегию EV.

Полученные результаты представляются весьма многообещающими, поскольку все рассмотренные классификаторы продемонстрировали определенную положительную доходность. Примечательно, что даже классификаторы GNB_A и MJC (Majority Class Classifier — «Классификатор мажоритарного класса»), которые ранее не показывали высоких результатов, смогли получить прибыль. Наблюдения показывают, что эти классификаторы оказались способны генерировать прибыль на матчах, для которых вероятность исхода «Обе команды забьют: Да» (BTTS: Yes), по оценке букмекера, считалась относительно низкой (от 39%).

Классификатор LRE_M достиг наибольшей общей прибыли (61,57), однако для этого ему потребовалось сделать ставки на большое количество матчей, что привело к относительно низкому показателю возврата инвестиций (ROI) — 3,25% — по сравнению с другими классификаторами. В то же время классификатор AMK продемонстрировал самый высокий ROI (13,53%), но при этом показал более скромную общую прибыль (38,32).

Классификаторы GNB и XGB также показали хорошие результаты, однако, что интересно, в разных диапазонах вероятностей. В то время как наилучшие результаты для классификаторов GNB были достигнуты при вероятности исхода «Да» от 39% до 51%, классификаторы XGB показали лучшие результаты при более высокой вероятности — от 55% до 64%. Среди классификаторов, основанных на распределении Пуассона, наилучший результат продемонстрировал DAC (Dixon and Coles Classifier).

Полученные результаты указывают на то, что различные классификаторы могут быть более прибыльными применительно к разным типам матчей, характеризующимся разными диапазонами вероятностей. В дальнейшей работе планируется сосредоточиться на изучении этих закономерностей и разработке более сложных и эффективных стратегий для выявления наиболее прибыльных групп матчей.

В заключение, аналогично ответу на исследовательский вопрос RQ2, ответ на вопрос RQ3 также может быть представлен с двух различных точек зрения. Если классификаторы применяют стратегии ставок ко всем доступным матчам, используя среднерыночные коэффициенты, они не демонстрируют прибыльности ни по одной из рассмотренных в данной работе стратегий. Следовательно, с этой точки зрения ответ на вопрос RQ3 будет отрицательным: классификаторы не позволяют получить прибыль при ставках на все матчи со среднерыночными коэффициентами.

Однако ситуация меняется, когда вводятся определенные ограничения. Если рассматривать ставки, сделанные у букмекера, предлагающего более выгодные коэффициенты (в данном исследовании – 1xBet), и при этом ограничивать количество ставок, будь то путем отбора матчей по конкретному чемпионату или по диапазону вероятностей, классификаторы могут оказаться полезными для разработки прибыльных стратегий ставок. Таким образом, с этой ограниченной точки зрения ответ на вопрос RQ3 становится положительным: при определенных условиях, таких как выбор букмекера с более выгодными коэффициентами и ограничение количества ставок, классификаторы могут способствовать созданию прибыльных стратегий.

7. Заключение

В данной статье было проведено исследование ранее малоизученного вопроса в области прогнозирования футбольных матчей, а именно задачи прогнозирования исхода «Обе команды забьют» (Both Teams To Score, BTTS). Эффективность прогнозирования оценивалась с помощью моделей машинного обучения как с точки зрения точности прогнозов, так и с точки зрения прибыльности на рынке ставок. Для проведения исследования был собран обширный набор данных, включающий информацию по девяти национальным футбольным лигам и данные от 19 различных букмекерских контор.

В начале работы были описаны особенности предметной области и отмечено, что задача прогнозирования BTTS представляет собой сложную проблему, в которой даже рыночные прогнозы лишь незначительно превосходят простую модель, всегда предсказывающую наиболее часто встречающийся исход (мажоритарный класс). Затем был проведен тщательный процесс разработки признаков (feature engineering) с целью создания надежных классификаторов для решения поставленной задачи. Результаты обширного набора экспериментов показали, что классификаторы машинного обучения способны превзойти рыночные прогнозы по точности, хотя это наблюдалось лишь в нескольких сценариях. Важно отметить, что наиболее эффективными оказались признаки, извлеченные непосредственно из данных рынка ставок. В большинстве случаев классификаторы, по сути, научились имитировать рыночные прогнозы.

Также был проведен эксперимент, в котором прогнозы классификаторов использовались в качестве входных данных для различных стратегий ставок. Предполагалось, что систематическое опережение рынка с точки зрения прибыльности ставок будет свидетельствовать о наличии неэффективности рынка. Результаты показали, что при размещении ставок на все доступные матчи классификаторы не смогли достичь существенной нормы прибыли. Однако при отборе матчей по определенным чемпионатам или по заданным диапазонам вероятностей были обнаружены признаки того, что использование классификаторов может быть более прибыльным. Это делает применение методов машинного обучения для решения задач подобного рода весьма перспективным.

В дальнейшем планируется расширить исследование путем включения дополнительных признаков, таких как количество ударов по воротам и угловых, а также процент владения мячом. Также предполагается изучение новых методов разработки признаков, применение классификаторов, основанных на глубоком обучении (Deep Learning), и разработка более сложных и продуманных стратегий ставок с использованием методов машинного обучения.

Комментарии (10)


  1. cupraer
    20.12.2024 13:21

    Однако при отборе матчей по определенным чемпионатам или по заданным диапазонам вероятностей были обнаружены признаки того, что использование классификаторов может быть более прибыльным. Это делает применение методов машинного обучения для решения задач подобного рода весьма перспективным.

    По-моему это делает неизбежным использование подобных инструментов для внесения дополнительных корреляций букмекерами, вот и все.

    Суть всей арифметики выше сводится к тому, что во второй лиге Бразилии забивают много, а в первой — мало, но букмекеры пока не догадались прикрутить этот весовой множитель. Еще проще его прикрутить к каждой команде: те, кто часто выигрывают крупно, — часто пропускают в этих матчах, из-за открытого характера матчей. Это статистический анализ, который а) не работает для предсказания ставок в принципе и б) прекрасно работает для _некоторых_ типов предсказаний (утрированный пример: в матче НБА забьют обе команды).

    Букмекеры и нивелируют второй тип коэффициентами, как раз.


    1. cappelchi Автор
      20.12.2024 13:21

      не совсем понял, что значит "По-моему это делает неизбежным использование подобных инструментов для внесения дополнительных корреляций букмекерами, вот и все." Какое прикладное значение этого определения? Если у вас есть теоретическая база, поделитесь.


      1. cupraer
        20.12.2024 13:21

        Букмекеры берут коэффициенты не из воздуха же. Если использование классификаторов дает лучшие результаты в сравнении с теми, что у них есть сейчас — они будут пользоваться и классификаторами тоже.


        1. cappelchi Автор
          20.12.2024 13:21

          как вариант, да. вопрос генерации признаков. Плюс у нас есть одно главное приемущество, мы можем ставить выборочно, что и показано в статье в резделе стратегий, букмкекер же по сути котирует и принимает условно всё.


          1. cupraer
            20.12.2024 13:21

            мы можем ставить выборочно

            Угу, а еще мы можем покупать только те акции, которые завтра вырастут в цене.

            Вы не сможете придумать стратегию, которая приводит к выигрышу (кроме пирамиды, конечно); прошу прощения, если разбиваю хрустальные мечты.


            1. cappelchi Автор
              20.12.2024 13:21

              нет не разбиваете. всё правильно, не стоит лезть без теоретической базы. в статье даётся видение подкрепленное экспериментом. отсутствие возможности заработка пока никак и никем не показано, но возможно, возвожно даже вы, сможете дать какие-нибудь подкрепляющие выкладки.


              1. cupraer
                20.12.2024 13:21

                Выкладки, опровергающие гипотетическую вероятность в игре с газиллионом входных параметров предоставить невозможно, очевидно. За нас работает эмпирика.

                Возможно, вам известно, что существует доказанный алгоритм победить крупье на столе блекджека с пулом в минимум шесть (кажется) колод. Ему больше пятидесяти лет. А казино по-прежнему процветают.

                Если будет найден способ обыграть букмекера, букмекер прикроет эту лазейку, вот и всё, что я хотел сказать.


                1. cappelchi Автор
                  20.12.2024 13:21

                  зачем, если есть прибыль?


                1. cappelchi Автор
                  20.12.2024 13:21

                  Да, в статье показано, что модели ML могут быть лучше букмекеров в некоторых случаях, но это не гарантирует постоянной прибыли.
                  Рынок ставок достаточно эффективен, и создание стабильной прибыльной стратегии очень сложно. Простое использование классификаторов и ставок на все матчи не работает.
                  Возможность получения прибыли существует при выборочных ставках, например, на определенные диапазоны вероятностей или в отдельных чемпионатах. Это не "гарантированный алгоритм", а скорее поиск ситуаций, где букмекеры, возможно, недооценили вероятность исхода, и ML-модели могут это заметить.
                  Букмекеры не стоят на месте и будут реагировать на любые обнаруженные "лазейки", то есть способность модели оставаться прибыльной может быть временной и дата дрифт никто не отменял.


                  1. cupraer
                    20.12.2024 13:21

                    Не, с таким-то определением я, разумеется, согласен.