Точность спортивных прогнозов на основе коэффициентов ставок / forpes.ru

Главная
Точность спортивных прогнозов на основе коэффициентов ставок

Точность спортивных прогнозов на основе коэффициентов ставок

15.08.2024 10:56

cappelchi 3 1500 Источник

Предисловие

В продолжении "Оценки инсайда в ставках на спорт", раскроем что вероятности, определенные на основе коэффициентов букмекеров с использованием модели Shin'а, являются более точными прогнозами, чем те, которые определяются с использованием базовых моделей нормализации или регрессии. Рассмотрим эмпирические доказательства того, что некоторые букмекерские конторы существенно отличаются друг от друга с точки зрения точности прогнозирования, и что коэффициенты обмена ставкам не всегда являются лучшим источником, особенно на небольших рынках. Преимущество использования вероятности Shin'a и различия между букмекерскими конторами уменьшаются с увеличением размера рынка.

1. Введение

В научной литературе наблюдается интерес к точности вероятностных прогнозов, основанных на коэффициентах ставок, как непосредственно, путем сравнения их с другими источниками вероятностных прогнозов, так и косвенно, путем их использования в стратегиях ставок и в качестве объясняющих переменных в статистических моделях. Вероятности, рассчитываемые на основе коэффициентов ставок, также используются в исследованиях таких вопросов, как эффективность рынка и конкурентный баланс спортивных соревнований. Мы рекомендуем читателю ознакомиться с обзорами Humphreys, B. R., & Watanabe, N. M.(2012), Stekler, H., Sendor, D., & Verlander, R. (2010) и Vaughan Williams, L. (Ed.) (2005). Широкое использование коэффициентов ставок неудивительно, поскольку существует множество эмпирических свидетельств того, что коэффициенты ставок являются наиболее точным общедоступным источником прогнозов вероятности в спорте. С ростом онлайн-ставок, коэффициенты ставок стали легко доступны для все большего числа и разнообразия спортивных соревнований. Однако мы считаем, что следующие две проблемы, связанные с использованием коэффициентов ставок в качестве вероятностных прогнозов, еще недостаточно решены:

(а) Какой метод следует использовать для определения вероятностных прогнозов на основе необработанных коэффициентов ставок?

(b) Имеет ли значение, какую букмекерскую контору или биржу ставок мы выберем, если доступны две или более?

Рассмотрим эти два вопроса в контексте ставок с фиксированными коэффициентами, уделяя особое внимание оценке наиболее часто используемых методов определения вероятностных прогнозов на основе коэффициентов. Эмпирическая оценка проводилась с использованием данных нескольких различных онлайн-букмекерских контор по 37 соревнованиям и пяти различным командным видам спорта (баскетбол, гандбол, хоккей с шайбой, футбол и волейбол).

1.1 Контекст

1.1. Related work

Для краткости и удобства мы сфокусируемся на наиболее актуальных результатах ставок с фиксированными коэффициентами, которые распространены в командных видах спорта. Эмпирические данные свидетельствуют о том, что коэффициенты ставок являются наиболее точным источником спортивных прогнозов. Не один раз было показано, что прогнозы вероятности, основанные на коэффициентах, лучше или, по крайней мере, не уступают статистическим моделям, использующим входные переменные, связанные со спортом (Forrest, Goddard, & Simmons, 2005; Song, Boulier, & Stekler, 2007; Štrumbelj & Vračar, 2012), экспертным советам s (Song et al., 2007; Spann & Skiera, 2009), а также (обобщенные) простые прогнозы (Pachur & Biele, 2007; Scheibehenne & Broder, 2007). Особую группу составляют коэффициенты на биржах ставок. В отличие от фиксированных коэффициентов, которые формируются букмекерами, коэффициенты на биржах ставок формируются самими игроками. То есть биржи ставок облегчают как поддержку, так и размещение ставок, и их можно рассматривать как разновидность рынка прогнозов. Во многих различных областях прогнозы, полученные на рынках/биржах прогнозирования, более точны, чем те, которые составляются с помощью традиционных подходов. (Arrow et al., 2008; Graefe & Armstrong, 2011; Tziralis & Tatsiopoulos, 2007). В спортивном прогнозировании термин "биржа ставок" в большинстве случаев означает Betfair, крупнейшую в мире биржу ставок. Существуют существенные эмпирические доказательства того, что вероятности, определенные на основе коэффициентов Betfair, являются более точными прогнозами, чем прогнозы букмекерских контор с фиксированными коэффициентами (Franck, Verbeek, & Nuesch, 2010; Smith, Paton, & Williams, 2009; Spann & Skiera, 2009). Штрумбель и Робник-Шиконья (2010) также показали, что существуют значительные различия между онлайн-букмекерскими конторами с точки зрения точности прогнозов.

2. Как определить вероятности по коэффициентам ставок?

Букмекерские конторы публикуют коэффициенты ставок, которые указывают, сколько стоила бы ставка, сделанная в букмекерской конторе в данный момент, если бы она выиграла. Онлайн-букмекерская контора опубликовала следующие коэффициенты на финальный матч Лиги чемпионов 2012 года в основное время: "Бавария" - 1.80, ничья - 3.75, "Челси" - 4.33. Учитывая, что основное время закончилось вничью 1:1, мы знаем, что за каждую единицу, которую мы поставили на ничью, мы выиграли бы 3,75 единицы (2,75 + единица, которую мы поставили). Денежная ставка на любой другой исход была бы проиграна.

Обратные коэффициенты являются показателем основных вероятностных убеждений букмекера. В нашем случае они предполагают, что у "Баварии" был шанс на победу не более $\frac {1}{1.80}=0.56$ , у "Челси" - 0,23, а вероятность ничьей - не более 0,27. Однако букмекерские конторы не предлагают справедливых коэффициентов, поэтому сумма обратных коэффициентов (также известная как сумма ставок) всегда будет больше, чем 1 (0.56 + 0.27 + 0.23 = 1.06) (иначе возникает арбитражная ситуация).

Поэтому, чтобы использовать обратные коэффициенты в качестве вероятностных прогнозов, мы должны учитывать превышение в 6% (также известное как комиссия букмекера или маржа букмекера). В большинстве исследований используется базовая нормализация (деление обратных коэффициентов на сумму ставок). Фактически, этот подход стал почти синонимом использования коэффициентов для ставок, хотя неясно, действительно ли букмекеры пропорционально увеличивают свои ставки на все возможные исходы. Широкое использование базовой нормализации можно объяснить ее простотой.

В качестве альтернативы мы можем рассматривать исход как категориальную переменную и моделировать вероятности, используя набор исторических данных о коэффициентах ставок и соответствующих исходах матчей (см., например, Goddard, Beaumont, Simmons, & Forrest, 2005). Из-за категориального характера зависимой переменной используется либо логистическая, либо мультиномиальная регрессия (multinomial regression), в зависимости от количества исходов. Упорядоченная модель предпочтительнее, если результаты находятся в естественном порядке. Существует лишь несколько исследований, в которых использовалась альтернатива базовой нормализации или регрессии. Smith et al. (2009) использовали теоретическую модель того, как букмекеры устанавливают свои коэффициенты, которая была первоначально предложена Shin’ом (1993). (Здесь можно прочитать разбор модели Shin’a) Модель Shin’a может быть использована для реинжиниринга базовых вероятностных представлений букмекера на основе приведенных коэффициентов ставок. Работы Cain, Law, & Peel, 2002, 2003; Smith et al., 2009 показывают, что данный подход улучшает базовую нормализацию. Мы используем их термин "Shin probabilities / вероятности Shin’a" для обозначения вероятностей, определяемых на основе коэффициентов ставок с использованием модели Shin’a. Удивительно, но данные вероятности не получили широкого распространения, а то малое применение, которое они получили, было сосредоточено почти исключительно на скачках. Таким образом, возникает логичный вопрос: может ли нормализация, основанная на модели Shin’a, улучшить базовую нормализацию в индивидуальных и командных видах спорта?

2.1. Базовая нормализация

Пусть - это десятичные коэффициенты в кавычках для матча с $n \geqslant 2$ возможными исходами, и пусть для всех . Обратные

коэффициенты $\pi=(\pi_1,\pi_2,...,\pi_n)$ , где $\pi_i=\frac{1}{o_i}$ , могут использоваться как

переменные скрытой силы команды, но не представляют вероятности, поскольку в сумме они больше 1.

Пусть $\beta = \sum _ {i=1}^ {n} \pi_i$ - сумма обратных коэффициентов. Разделив обратный

коэффициент на $\beta$ , мы получим набор значений $p_i=\frac{\pi_i}{\beta}$ , которые в сумме

равны 1 и могут быть интерпретированы как вероятности исхода. Мы называем это базовой нормализацией.

2.2. Модель Shin'a

Shin (1993) предложил модель, основанную на предположении, что букмекерские конторы выставляют коэффициенты, которые максимизируют их ожидаемую прибыль в присутствии неосведомленных игроков и известной доли инсайдерских трейдеров. Предполагается, что букмекер и неосведомленные игроки, делающие ставки, разделяют вероятностные убеждения , в то время как инсайдеры, как предполагается, знают фактический результат до начала самого эксперимента (гонки, матча и т.д.). В спорте такая превосходная информация может быть получена либо за счет лучшей агрегации общедоступных знаний, либо за счет частной информации, такой как информация о договорных матчах. Не теряя общности, мы можем предположить, что общий объем ставок равен 1, из которых приходится на неосведомленных игроков и - на инсайдеров. При условии, что произойдет исход , ожидаемый объем ставки на -й исход равен p_i(1 − z) + z .

Если букмекерская контора выставляет котировки на исход , то ожидаемая

ответственность(выплата) за этот исход составляет $\frac {1} {\pi_i} (p_i(1 − z) + z)$ .

Предполагая, что у букмекера есть вероятностные убеждения p, мы получаем безусловные ожидаемые обязательства букмекера:

$\sum_{n=i}^n \frac{p_i}{\pi_i}(p_i(1-z) + z)$

и общая ожидаемая прибыль

$T(\pi) =1 - \sum_{n=i}^n \frac{p_i}{\pi_i}(p_i(1-z) + z)$

Букмекерская контора устанавливает значение $\pi$ для максимизации ожидаемой прибыли с учетом следующих ограничений $0 \leqslant \pi_i \leqslant 1 \text { и } \beta < \beta_{max}$ .

$\pi= \frac { \beta_{max} \sqrt{ zp_i + (1-z)p_i^2 } } { \sum_{j=1}^n \sqrt{ zp_j + (1-z)p_j^2 } } \ \ \ \ (1)$

и, принимая во внимание тот факт, что в условиях экономического равновесия ожидаемый выигрыш букмекера будет равен 0, мы можем определить $\beta_{max}$ (см. Shin, 1993) и получить следующее решение:

$\pi_i = \sqrt { zp_i+(1-z)p_i^2 } {\sum_{j=1}^n \sqrt { zp_j+(1-z)p_j^2} } \ \ \ \ (2)$

У нас есть обратная задача - определить вероятностные оценки p с учетом указанного $\pi$ . . Jullien and Salanié (1994) показали, что уравнение (2) можно инвертировать, чтобы получить вероятности Shin’a.

$p_i = \frac{\sqrt{z^2 + 4(1-z)\frac{\pi_i^2}{\beta}} - z}{2(1-z)} \ \ \ \ (3)$

Тогда все, что остается, - это вычислить долю инсайдерской торговли . Мы

можем использовать условие $\sum_{i=1}^n p_i = 1$ , чтобы получить

$z=\frac{ \sum_{i=1}^n{ \sqrt{ z^2 + 4(1-z)\frac{ \pi_i^2 }{ \beta } } } - 2 }{ n - 2 } \ \ \ \ (4)$

которое можно решить, используя итерацию с фиксированной точкой, начиная с.

Обратите внимание, что по мере того, как сумма кэфов $\beta$ приближается к 1, доля инсайдерских ставок становится равной 0, что снижает эффективность подхода Shin'a относительно базовой нормализации (см. уравнение (3)).
В частном случае двух возможных исходов (n = 2) уравнение (4) имеет приемлемое аналитическое решение:

$z = \frac{ ( \pi_+ - 1 )( \pi_-^2 - \pi_+ ) }{ \pi_+(\pi_-^2 - 1) } \ \ \ (11)$

$\text{где }\pi_+ = \pi_1 + \pi2 \text { и } \pi- = \pi_1 − \pi_2.$

2.2.1. Здесь можно закончить?

Мы получили основные формулы и в принципе, на этом данную статью можно было бы закончить. Давайте посмотрим как можно реализовать всю вышеприведенную аналитику и формулы на python. Заранее оговорюсь, что я не являюсь экспертом ни в python, ни в алгоритмах, поэтому буду благодарен, если вы проверите код и напишите свои замечания и предложения в комментариях.

В частном случае двух возможных исходов рассмотрим вышеупомянутый матч “Бавария” - “Челси”, ставка Double Chance или 1-Х2, средние коэффициенты 1.67 - 2.13.

Базовая нормализация выглядит следующим образом:

basic_normalization = coefficients_vector * np.sum(1 / coefficients_vector)
# 1.78 - 2.28
basic_normalization_probabilities = 1 / basic_normalization
# 0.5605 - 0.4395

Нормализация Shin’a (аналитическое решение для двух исходов (11) и (3)):

pi_vec = 1 / coefficients_vector
pi_plus = pi_vec[0] + pi_vec[1]
pi_minus = pi_vec[0] - pi_vec[1]
z = (pi_plus - 1) * (pi_minus**2 - pi_plus) / pi_plus * (pi_minus**2 - 1)
pi_hat0 = (np.sqrt(z**2 + 4 * (1 - z)*((pi_vec[0]**2)/beta)) - z) / (2 * (1 - z))
pi_hat1 = (np.sqrt(z**2 + 4 * (1 - z)*((pi_vec[1]**2)/beta)) - z) / (2 * (1 - z))
# 0.5652 - 0.4360 = 1.0012

В аналитическом решении для двух исходов есть небольшая погрешность, которой можно пренебречь в пользу простоты расчёта, далее давайте рассмотрим итеративный подход к решению для произвольного числа исходов, в том числе и для тех же .

Напишем реализацию (3) по Jullien and Salanié (1994), нахождение вероятностей при известном :

def jullien_formula(z, pi, beta):
    return (
        np.sqrt(z**2 + 4 * (1 - z)*((pi**2)/beta)) - z
        ) / (
            2 * (1 - z)
            )

теперь можем итеративно подобрать z и получить вероятности по Shin’y, задав начальное оценочное z = 0.1. (precision - здесь необходимая точность решения)

def z_and_probability(pi_i_vector, z, k_lim, beta, precision, deep):
    sum_of_probabilities = 0
    pi_list = []
    for cnt in range(pi_i_vector.shape[0]):
        current_pi = jullien_formula(z, pi_i_vector[cnt], beta)
        sum_of_probabilities += current_pi
        pi_list.append(current_pi)
    if (abs(1 - sum_of_probabilities) < precision) | (deep > 10):
        print('Precision: ', abs(1 - sum_of_probabilities), 'z=', z)
        return z, sum_of_probabilities, deep, pi_list
    else:
        z += k_lim * (sum_of_probabilities - 1)
        deep += 1
        return z_and_probability(pi_i_vector, z, k_lim, beta, precision, deep)

def extract_probability(
				coefficients_vector:np.array, 
				precision = 0.00001, 
				lim_step = 0.01, 
				z_eval = 0.1
				):
    pi_i_vector = 1 / coefficients_vector
    beta = np.sum(pi_i_vector)
    if beta <= 1:
        return 0., 1 / (pi_i_vector / beta)

    eval0 = 0
    eval1 = 0
    for cnt in range(pi_i_vector.shape[0]):
        eval0 += jullien_formula(z_eval, pi_i_vector[cnt], beta)
        eval1 += jullien_formula(z_eval + lim_step, pi_i_vector[cnt], beta)
    k_lim = lim_step / (np.abs(eval0 - eval1))
    z = z_eval + k_lim * (eval0 - 1)
    return z_and_probability(pi_i_vector, z, k_lim, beta, precision, 0)

Проверим это решение для начала для n = 2, на данных для которых уже есть решения:

Теперь посмотрим для линии 1X2, где n = 3. (Коэффициенты матча “Бавария” - “Челси”)

extract_probability(
				np.array((1.8, 3.75, 4.33)), 
				precision = 0.00001, 
				lim_step = 0.01, 
				z_eval = 0.1
				)
# Precision:  4.7643393834562175e-06 z= 0.026708250579248225
# [0.535178676174756, 0.25002586584098696, 0.2148002223236404]

extract_probability(
				np.array((1.8, 3.75, 4.33)), 
				precision = 0.00001, 
				lim_step = 0.01, 
				z_eval = 0.1
				)
# Precision:  4.7643393834562175e-06 z= 0.026708250579248225
# [0.535178676174756, 0.25002586584098696, 0.2148002223236404]

В среднем скорость расчёта на colab ноутбуке 10_000 линий в секунду, что достаточно для большинства моих задач. Далее посмотрим сравнение различных нормализаций.

2.3. Regression analysis

Альтернативой является использование статистической модели для прогнозирования вероятностей исходов на основе коэффициентов. В отличие от базовой нормализации и вероятностей Shin’a, этот подход требует наличия исторического набора коэффициентов ставок и результатов матчей, который мы можем использовать для оценки параметров модели.

Мы используем стандартные модели дискретного выбора с (обратными) коэффициентами ставок в качестве входных переменных. Для спортивных состязаний с тремя исходами (победа [H], ничья [D], выезд [A] в гандболе, хоккее с шайбой и футболе) мы используем модель упорядоченной логистической регрессии (Train, 2009). Для двух исходов (победа хозяев [Н] и гостей [А] в баскетболе и волейболе) это упрощается до модели логистической регрессии (Train, 2009).

3. Data set

Мы собрали данные о спортивных матчах с указанием исходов и коэффициентов ставок. К ним относятся биржа ставок Betfair и следующие крупные онлайн-букмекерские конторы с фиксированными коэффициентами: bet-at -home, Bet365, Betclic, Betsafe, bwin, Betway, DOXXbet, Expekt, Interwetten, Jetbull, Ladbrokes, NordicBet и Unibet. Коэффициенты ставок в наших данных являются окончательными и фиксируются непосредственно перед началом события.

Краткое описание видов спорта и соревнований приведено в таблице 1. Обратите внимание, что не каждая букмекерская контора предоставляет информацию о каждой лиге и/или игре. Если не указано иное, все лиги являются соревнованиями высшего уровня в своих странах.

Таблица 1. Спортивные соревнования и игры в нашем наборе данных. (2008/09–2011/12) — Таблица 1. Спортивные соревнования и игры в нашем наборе данных. (*2008/09–2011/12)*

4. Методология

Мы сравниваем четыре различных метода определения вероятностей на основе коэффициентов ставок: базовая нормализация (Basic), вероятности Shin’a (Shin) и два варианта подхода, основанного на регрессии. Первый вариант подхода, основанного на регрессии (Logit), использует первую треть данных для оценки модели. Второй вариант (Logit) обновляет в виде скользящего окна. То есть для каждого спортивного матча вероятности определяются с использованием модели, рассчитанной на основе первой трети данных, и всех матчей из оценочной части данных, которые предшествуют текущему матчу. Обратите внимание, что мы исключаем предиктор $\pi_A$ из всех регрессионных моделей, чтобы избежать линейно зависимых предикторов.

4.1. Evaluating probability forecasts

Пусть $\pi = (\pi_1, \pi_2, ... , \pi_n)$ - наши оценки вероятности, а - вектор, указывающий на фактический результат. Мы оцениваем точность прогнозирования вероятностей, используя две стандартные оценки для категориальных прогнозов: ранжированный показатель(оценка) вероятности (RPS, Ranked Probability Score) (Epstein, 1969) и оценку Брайера (Brier, 1950).

Оценка Брайера для отдельного прогноза определяется как

$BRIER( \pi, a ) = \frac{1}{n} ||\pi - a||^2$

и RPS как

$RPS(\pi, a) = \frac{1}{n} ||C(\pi) - C(a)||^2$

где $C(x) = (c1, c2, . . . , cn), \ c_i = \sum_{j=1}^i x_i$ совокупное распределение.

Предпочтение отдается RPS из-за категориальности результатов в некоторых видах спорта (Home, Draw, Away), где имеет смысл обратить внимание на разницу между совокупными вероятностями и совокупным фактическим результатом (более подробную аргументацию см. в Constantinou & Fenton, 2012). Обратите внимание, что RPS упрощается до оценки Брайера для бинарных прогнозов (баскетбол, волейбол). Оценка Брайера используется потому, что средняя оценка Брайера для набора прогнозов может быть удобно разделяется на компоненты калибровки (смещения) и разрешения, чтобы обеспечить более подробную информацию. Мы используем обобщенную декомпозицию оценки Брайера для ситуаций, когда наблюдения распределяются по группам (бинам) вероятностей, а не непосредственно по вероятностям (Stephenson, Coelho, & Jolliffe, 2008).:

$BS = \frac{1}{n} \sum_{k=1}^m \sum_{j=1}^{n_k} ( f_{kj} - o_{kj} )^2 =\\ \frac{1}{n} \sum_{k=1}^m n_k( \overline{f}_k - \overline{o}_k )^2 \\ - \frac{1}{n} \sum_{k=1}^m n_k( \overline{o}_k - \overline{o} )^2 + \overline{o}( 1 - \overline{o} ) \\ + \frac{1}{n} \sum_{k=1}^m \sum_{j=1}^{n_k} ( f_{kj} - \overline{f_k} )^2 \\ - \frac{2}{n} \sum_{k=1}^m \sum_{j=1}^{n_k} ( f_{kj} - \overline{f}_k )( o_{kj} - \overline{o}_k ) \ \ \ \ (5)$

где - количество групп(bins), - количество прогнозов в -й группе, n - общее количество прогнозов, $f_{kj} - j$ -й прогноз в -й группе и $o_{kj}$ - наблюдаемый результат, $\overline f_k$ и $\overline o_k$ - средние значения внутри группы и $\overline o$ - общая относительная частота.

Пять компонентов в разложении уравнения (5) - это надежность (REL), разрешающая способность (RES), неопределенность (UNC), дисперсия внутри группы (WBV) и корреляция внутри группы (WBC), соответственно. Обобщенная декомпозиция может быть записана в виде , где - обобщенное разрешение.

Два члена внутри группы помогают компенсировать уменьшение компонента разрешения при увеличении размера группы, что делает обобщенную декомпозицию менее чувствительной к выбору размера группы (Stephenson et al., 2008). В особом случае, когда все прогнозы в пределах группы одинаковы (то есть когда наблюдения распределяются непосредственно по выданным вероятностям), два члена в пределах группы исчезают, и мы остаемся со стандартным разложением оценки Брайера на компоненты надежности, разрешения и неопределенности (Murphy, 1973).

5. Результаты

Сначала мы рассчитали средние баллы RPS по четырем методам определения вероятностей на основе коэффициентов букмекерских контор. Баллы были рассчитаны для каждого вида спорта (и для всех видов спорта вместе взятых) и для каждой пары букмекер/соревнование отдельно. Затем мы использовали эти показатели RPS для ранжирования методов от 1 (наилучшего) до 4 (наихудшего) для каждой пары букмекерская контора/соревнование. Такое непараметрическое сравнение предпочтительнее, поскольку результаты прогнозирования противоречат предположению о нормальности.

Вероятности Shin’a были наилучшими для 217 из 412 пар букмекерская контора/соревнование, базовая нормализация - для 103, Logit - для 67 и LogitR - для 25. В среднем, ранг вероятности Shin’a составила 1,75, базовой нормализации - 2,24, LogitR - 2,98 и Logit - 3,03. На рисунке в скобках приведены средние показатели по отдельным видам спорта. 1.

Рис.1 Средние значения оценок по методикам в разбивке по видам спорта и по всем видам спорта в целом. Различия, превышающие критическую дистанцию (КД) по результатам теста Неменьи, статистически значимы на уровне 0,01. — **Рис.1** Средние значения оценок по методикам в разбивке по видам спорта и по всем видам спорта в целом. Различия, превышающие критическую дистанцию (КД) по результатам теста Неменьи, статистически значимы на уровне 0,01.

Мы использовали тест Фридмана, непараметрический эквивалент одностороннего анализа ANOVA (см., например, Demšar, 2006), чтобы проверить, является ли какой-либо из методов значительно более высоким или более низким по рангу по сравнению с другими. Нулевая гипотеза о том, что все методы имеют одинаковый средний рейтинг, была отвергнута для каждого вида спорта и для всех видов спорта вместе взятых (все значения ). Чтобы определить конкретные пары методов, в которых один из них лучше другого, мы провели попарное сравнение с использованием теста Nemenyi post-hoc, тем самым сделав поправку на множественные сравнения. При нулевой гипотезе о равенстве рангов любая пара групп (методов), которые отличаются по рангу более чем на критическое расстояние, статистически значимо различаются.

$CD = q_{k,a} \sqrt{ \frac{ k(k-1) }{ 6N } }$

Критическое значение зависит от количества групп и выбранного уровня значимости . Для и выбранного нами уровня значимости , $q_{4, 0,01} = 3,11$ (подробнее см. Demšar, 2006). Результаты всех попарных сравнений в рамках одного теста Nemenyi можно представить на одной оси, построив график среднего значения каждого метода и используя критическое расстояние (CD), чтобы указать, где разница (расстояние) между двумя методами недостаточно велика, чтобы быть статистически значимой. Результаты нашего последующего сравнения представлены на рисунке. 1. Вероятность Shin’a значительно выше, чем базовая нормализация, в целом и для трех видов спорта (баскетбол, гандбол и футбол). Она также лучше, чем базовая нормализация для волейбола, в то время как базовая нормализация дает более точные прогнозы для хоккея, но эти два различия не являются существенными. Более того, вероятность Shin’a во всех случаях значительно выше, чем при использовании обоих методов, основанных на регрессии, а они, в свою очередь, существенно не отличаются друг от друга ни для одного из видов спорта.

5.1. Величина эффекта от использования вероятности Shin’a

Преимущество использования к вероятности Shin вместо базовой нормализации не зависит от выбора букмекерской конторы (см. Таблицу 2 для всех видов спорта вместе взятых).

Таблица 2. Средние и медианные показатели RPS и среднее улучшение вероятностей при использовании вероятностей Shin’a. — **Таблица 2**. Средние и медианные показатели RPS и среднее улучшение вероятностей при использовании вероятностей Shin’a.

Последняя колонка указание на то, насколько вероятности, полученные с использованием базовой нормализации, должны быть приближены к фактическим результатам, чтобы соответствовать точности прогнозирования вероятностей Shin’a. Улучшение незначительно, но последовательно во всех букмекерских конторах.

Ladbrokes, Jetbull, Unibet и Betway исключены из сравнения из-за их ограниченного охвата. Результаты приведены для матчей, проводимых всеми перечисленными букмекерскими конторами (N = 33 981). Вероятность Shin’a была лучше базовой нормализации не только для каждой букмекерской конторы по всем видам спорта, но и для каждой пары букмекерская контора/вида спорта.

5.2. Декомпозиция прогнозов и тестов для калибровки

Для каждого вида спорта и результата мы разделили прогнозы по всем матчам и букмекерским конторам на восемь групп одинакового размера. Группы основаны на квантилях обратных коэффициентов ставок для матча и букмекерской конторы. Таким образом, для каждого отдельного взятого вида спорта значения коэффициентов одинаковы для всех четырех методов. Результаты разложения приведены в таблице 3.

Таблица 3. Разложение средних оценок BRIER по сгруппированным прогнозам на составляющие надежности(REL), обобщенного разрешения(GRES) и неопределенности(UNC). — **Таблица 3**. Разложение средних оценок BRIER по сгруппированным прогнозам на составляющие надежности(REL), обобщенного разрешения(GRES) и неопределенности(UNC).

Вероятность Shin’a имеет наилучшие показатели по BRIER для каждого вида спорта из-за наилучшего (наивысшего) обобщающего разрешения (GRES). Показатели надежности (калибровки) коэффициентов вероятности Shin’a дают лучшие показатели BRIER’a для баскетбола и волейбола. Опять же, это означает, что модель Шина не совсем точна в том, как букмекеры устанавливают коэффициенты на матчи, в которых возможны ничьи.

В поисках дополнительной информации мы проверяем возможность калибровки в малом масштабе, то есть потенциальную погрешность подмножеств коэффициентов и, в частности, отдельных подинтервалов коэффициентов (вероятностей). Результаты представлены в виде графиков калибровки на рис. 2.

Рис.2. Графики наблюдаемых относительных частот в сравнении со средним прогнозом по трем видам спорта. Результаты по футболу и гандболу аналогичны результатам по хоккею. — **Рис.2.** Графики наблюдаемых относительных частот в сравнении со средним прогнозом по трем видам спорта. Результаты по футболу и гандболу аналогичны результатам по хоккею.

Мы можем проверить значимость этих отклонений от калибровки, отметив, что при нулевой гипотезе об идеальной калибровке стандартизированная внутренняя разница между прогнозируемыми и наблюдаемыми пропорциями будет приближаться к стандартному нормальному распределению (подробнее см., например, Lahiri&Wang, 2013). В данном случае внутренние отклонения кажутся относительно небольшими, хотя ни один из методов не является идеально откалиброванным в малом масштабе (все значения ). Высокая степень неопределенности (см. таблицу 3) показывает, что фактический исход спортивного матча относительно сложно предсказать напрямую. Значения усреднены по всем трем исходам для гандбола, хоккея и футбола. Обратите внимание, что компонент неопределенности $\overline o (1 − \overline o)$ в уравнении. (5) зависит только от вида спорта и, следовательно, является одинаковым для всех методов в данном виде спорта.

5.3. Сравнения букмекеров

Данные, использованные для получения результатов, представленных в таблице 2, также облегчают сравнение точности прогнозирования вероятностей, определенных различными букмекерскими конторами и Betfair, при одновременном учете различий между видами спорта и лигами. Аналогично проверке значимости различий между методами, мы сначала применяем тест Фридмана, а затем проводим последующий анализ с использованием теста Nemenyi. Опять же, существуют существенные различия для всех видов спорта результаты последующего попарного сравнения показаны на рис. 3.

Рис.3. Средние значения коэффициентов букмекерских контор в разбивке по видам спорта. Различия за пределами критического расстояния (CD) значимы на уровне 0,01. Результаты, выделенные черным цветом, относятся к вероятностям Shin'a, а серым - к базовой нормализации. — **Рис.3.** Средние значения коэффициентов букмекерских контор в разбивке по видам спорта. Различия за пределами критического расстояния (CD) значимы на уровне 0,01. Результаты, выделенные черным цветом, относятся к вероятностям Shin'a, а серым - к базовой нормализации.

Процедура была проведена отдельно для вероятности Shin’a и базовой нормализации. Когда вероятности Shin’a используются для определения вероятностей на основе коэффициентов, лучшим источником является Betfair (см. рис. 3(f)), но, как оказалось, он ненамного лучше, чем bet365. За исключением футбола, биржа ставок Betfair, безусловно, не всегда является лучшим выбором ни для одного из видов спорта. Если вместо вероятности Shin’a использовать базовую нормализацию (рис. 3, выделено серым цветом под осью), то Betfair выделяется как значительно лучший источник в целом и по всем пяти видам спорта (сравнявшись с bwin по гандболу). При интерпретации этого результата мы должны принять во внимание предыдущий результат, согласно которому вероятности Shin’a одинаково выше у всех букмекерских контор. То есть это расхождение является результатом не того, что вероятности Shin’a хуже базовой нормализации для определения вероятностей на основе коэффициентов Betfair, а то, что базовая нормализация менее подходит для определения коэффициентов букмекерских контор с фиксированными ставками.

5.4. Влияние размера рынка

Некоторые виды спорта более популярны и привлекают больший объем ставок. Более крупные рынки должны привести к более высокому уровню конкуренции между букмекерскими конторами, что заставит их снижать ставки и делать более точные прогнозы. Аналогичным образом, больший объем ставок также должен повысить точность прогнозов на рынках. Таким образом, разумно предположить, что размер рынка будет влиять на то, как букмекеры проводят сравнение. Для каждого соревнования мы используем средний объем ставок, сделанных на Betfair, в качестве показателя размера рынка (см. таблицу 1). На рис. 4 рассматривается взаимосвязь между размером рынка (средним общим объемом сопоставленных ставок) и ставками букмекеров (буксуммами) для двух букмекерских контор и Betfair.

Рис.4. Соотношение между размером рынка и буксуммами. Каждая точка соответствует одному соревнованию. Линейные оценки по методу наименьших квадратов приведены для каждого вида спорта (dashed) и для всех видов спорта вместе взятых (dotted). — **Рис.4.** Соотношение между размером рынка и буксуммами. Каждая точка соответствует одному соревнованию. Линейные оценки по методу наименьших квадратов приведены для каждого вида спорта (dashed) и для всех видов спорта вместе взятых (dotted).

Используется логарифм размера рынка, поскольку он обеспечивает лучшее линейное соответствие. За исключением bwin, коэффициенты корреляции Пирсона являются отрицательными и значимыми для всех букмекерских контор (см. таблицу 4, первый столбец).

Таблица 4. Коэффициенты корреляции Пирсона между логарифмическим размером рынка (V), маржой букмекера (T), разницей (D) и абсолютной разницей |D| в медианных RPS между букмекерской конторой и Betfair, а также абсолютной разницей (улучшением) в медианных RPS между вероятностями Shin’a и базовой нормализацией (I). — **Таблица 4.** Коэффициенты корреляции Пирсона между логарифмическим размером рынка (V), маржой букмекера (T), разницей (D) и абсолютной разницей |D| в медианных RPS между букмекерской конторой и Betfair, а также абсолютной разницей (улучшением) в медианных RPS между вероятностями Shin’a и базовой нормализацией (I).

Значительная вариабельность ставок внутри букмекерских контор может быть объяснена размером рынка, но в случае bwin (см. рис. 4) иллюстрирует, как ставка букмекера зависит не только от размера рынка, но и от вида спорта. Чтобы частично учесть это, мы использовали все наблюдения за букмекерами/соревнованиями, чтобы подогнать их под следующую линейную модель: Booksum ∼ log(объем) + Букмекерская контора + Спорт, где Букмекерская контора и спорт являются фиктивными(dummy) переменными. Мы опускаем информацию об отдельных коэффициентах; скорректированное значение R2 для модели составило 0,74 (p-значение < 0,001). Лишь небольшая часть различий в показателях между букмекерской конторой и Betfair в различных турнирах (с точки зрения показателей RPS) может быть объяснена размером рынка (см. таблицу 4, второй столбец). Из двух случаев, в которых корреляция была признана значимой, коэффициент положителен в одном и отрицателен в другом (bwin, Interwetten) (см. рис. 5).

Рис. 5. Соотношение между размером рынка и различием в качестве прогнозирования между каждой букмекерской конторой и Betfair. Каждая точка соответствует одному соревнованию. Учитываются линейные соответствия по методу наименьших квадратов. — **Рис. 5**. Соотношение между размером рынка и различием в качестве прогнозирования между каждой букмекерской конторой и Betfair. Каждая точка соответствует одному соревнованию. Учитываются линейные соответствия по методу наименьших квадратов.

При наблюдении абсолютной разницы коэффициенты корреляции отрицательны для всех букмекерских контор (см. таблицу 4, третий столбец). Как и ожидалось, преимущество использования вероятностей Shin’а уменьшается с увеличением размера рынка (см. таблицу 4, четвертый столбец).

6. Заключение

Наши результаты показывают, что вероятности Shin’a лучше, чем базовые подходы, основанные на нормализации и регрессионных моделях, для всех букмекерских/спортивных пар. Поэтому, когда целью является максимальная точность прогнозирования, следует учитывать вероятности Shin’a. Регрессионные модели дают откалиброванные прогнозы, но с низким разрешением, и их не следует использовать. Базовая нормализация, из-за ее простоты, все же может быть предпочтительнее в приложениях, где точность прогнозирования не имеет решающего значения.

Для всех методов вероятности отличаются от калибровки в малом масштабе. Погрешности относительно невелики, но систематическая недооценка вероятности ничьей наблюдается в видах спорта, где есть ничьи (футбол и особенно хоккей и гандбол). Это говорит о том, что ни один из методов не отражает в полной мере то, как букмекеры устанавливают коэффициенты для видов спорта с ничейным исходом. Было бы целесообразно выяснить, связано ли это с тем, что ничью сложнее предсказать (менее вероятно, что у кого-то будет инсайдерская информация), или с каким-то другим процессом, например, с тем, что букмекерские конторы иногда специально предлагают более выгодные коэффициенты (Franck, Verbeek, & Nüesch, 2013).

Наши результаты показывают, что в среднем две крупнейшие букмекерские конторы (bwin, Bet365) и крупнейшая в мире биржа ставок Betfair являются источниками наилучших вероятностных прогнозов, в то время как букмекерская контора Interwetten является худшей. В целом, различия между Betfair и букмекерскими конторами (а также между коэффициентами вероятности гола и базовой нормой) уменьшаются с увеличением размера рынка. На крупных рынках (футбол) Betfair выделяется как лучший источник прогнозов, в то время как другие букмекерские конторы являются лучшими источниками прогнозов вероятности на небольших рынках. Таким образом, согласно литературе по прогнозированию, ни один специалист по прогнозированию не является лучшим на всех рынках. Размер рынка также является основной причиной различий в ставках букмекеров. Аналогичная работа по сравнению букмекерских контор и бирж ставок (Betfair) показала, что Betfair значительно лучше подходит для баскетбола NBA, чем большинство букмекерских контор с фиксированными коэффициентами, но не все (bet356 была на втором месте) (Štrumbelj & Vračar, 2012). В рейтинге лучших европейских футбольных клубов лучшим источником была признана Betfair (Franck et al., 2010). В немецком футболе высшего уровня Betfair оказалась немного лучше букмекерской конторы с фиксированными коэффициентами (Spann & Skiera, 2009). Наши результаты согласуются с этими выводами, чего и следовало ожидать для этих крупных рынков, где различия между базовой нормализацией и вероятностью Shin меньше.

Аналогичная работа по сравнению букмекерских контор и бирж ставок (Betfair) показала, что Betfair значительно лучше подходит для баскетбола NBA, чем большинство букмекерских контор с фиксированными коэффициентами, но не все (bet356 была на втором месте) (Штрумбель и Врачар, 2012). В рейтинге лучших европейских футбольных клубов лучшим источником была признана Betfair (Franck et al., 2010). В немецком футболе высшего уровня Betfair оказалась немного лучше букмекерской конторы (Spann & Skiera, 2009). Наши результаты согласуются с этими выводами, чего и следовало ожидать для этих крупных рынков, где различия между базовой нормализацией и вероятностью Shin меньше.

Комментарии (3)

qeeveex
16.08.2024 04:12
#27170412
+1
Ять... что у него с рукой? о_О
1. dv0ich
  16.08.2024 04:12
  #27170740
  +1
  У него пальцы второй руки погружены в кружку, как в Матрице.
  1. cappelchi Автор
    16.08.2024 04:12
    #27171162
    а лошадей в самом конце видел?