Привет! В предыдущей статье про аналитику футбольных матчей я рассказал вам о нашем пайплайне в целом и тонкостях сглаживания, а также о нескольких упражнениях для игроков, которые помогают нам моделировать реальные ситуации.

В этой же части, как и обещал ранее, будет рассказ про упражнение «2*2» (проверяем, сможет ли трекинговая система нормально отслеживать игроков в условиях резких перемещениях в ограниченной локации), синтетические тесты и выводы.

Давайте по порядку.

В качестве вступления, несколько основных моментов из первой части: 

Определение скорости возможно только с определенной погрешностью. Точность этой оценки важна как при выявлении превышения скоростного режима на дорогах, так и при анализе спортивных результатов, где даже небольшие ошибки могут повлиять на выводы.

Положение футболиста на поле можно определять различными способами. 

Для этого используются:  

• Optics, оптические системы (требуют решения задач детекции и трекинга объектов, а также чувствительны к условиям освещения и перекрытиям игроков),  

• LPS, системы на основе радиосигналов (необходима установка большого количества датчиков и их тщательная калибровка), в первой части мы рассказали про Catapult,

• системы с инерционными датчиками (акселерометрами и гироскопами)

• прочее

У каждого из этих методов есть свои сильные и слабые стороны, связанные с точностью, стоимостью внедрения, требованиями к инфраструктуре и условиями эксплуатации.

Оптические системы страдают от проблем, связанных с перекрытием игроков и потерей видимости, однако они обеспечивают дополнительные возможности, такие как распознавание позы и действий, а также не требуют ношения специальных датчиков спортсменами.

Стандартизация методов для определения положения и скорости игроков является актуальной задачей как для тренеров, работающих над функциональной готовностью игроков, так для органов, регулирующих проведение соревнований.

Максимальная скорость спортсмена с одной стороны является важным аналитическим показателем, но с другой стороны это очень чувствительная к выбросам и шумам в данных метрика. Несмотря на это, максимальная скорость помогает определять специфику участия футболиста в игровых эпизодах.

Фитнес-трекеры и спортивные системы могут сталкиваться с трудностями не только при регистрации высоких скоростей, но и при работе на низких скоростях, когда накопление шумовых данных и флуктуаций приводит к накоплению ошибок.

Упражнение «Игра 2х2»

В этом задании четверо участников на площадке 10×10 метров, разбитые на две команды, соревновались за мяч в двух пятиминутных сериях. Такой формат позволил смоделировать интенсивную игровую ситуацию с частыми микродвижениями и сменами владения, типичную для матчей на малых пространствах.

Главная задача была: проверить, сможет ли трекинговая система точно отслеживать игроков на ограниченной территории с короткими и резкими перемещениями, особенно при расположении площадки в углу поля. Именно в таких трудных условиях возникают частые окклюзии, затрудняющие идентификацию игроков: bounding box-ы часто перекрывались или сдвигались даже при минимальных движениях, что стало серьезным стресс-тестом технологии.

В этих экстремальных условиях примитивный подход в расчетах дистанции давал бы систематическое завышение измеренной дистанции из-за шумов в координатах, вызванных окклюзией и быстрыми микродвижениями, что создавало иллюзию дополнительных перемещений.

Для повышения точности расчета дистанции мы используем интегрирование мгновенной скорости по времени. Такой подход позволяет точнее и плавнее восстанавливать траекторию движения, включая периоды, когда игрок частично скрыт и координаты не фиксируются.

В ходе проведенной серии упражнений каждый из футболистов преодолел значительное расстояние — от 350 до 480 метров, продемонстрировав впечатляющую активность даже на компактной площадке. Примечательно, что скорости движения игроков в этом тесте не превышали 5.5 м/с, то есть показатели максимальных скоростей здесь не столь интересны, как в динамичных упражнениях со спринтами или "змейкой", где акцент делается на резких ускорениях и рывках.

Однако, несмотря на относительно невысокие скорости, именно это упражнение оказалось самым энергоемким и трудоемким для участников: после его завершения большинству спортсменов требовалось значительно больше времени на восстановление сил по сравнению с другими тестами. Такой эффект объясняется высокой продолжительностью нагрузки и необходимостью сохранять концентрацию и выносливость на протяжении всего упражнения, что представляет собой серьезное испытание даже для подготовленных футболистов.

Так, средняя абсолютная процентная ошибка (MAPE) вычисленной суммарной дистанции составила 3.7%. Это значит, что полученные значения практически не отходят от реальных — для подобных экспериментов это весьма надежный результат. Корень средней квадратичной ошибки (RMSE) оказался равен 18.6 метра, что дает представление о типичном масштабе отклонения каждой индивидуальной оценки от истинного значения в этом упражнении.

Наш алгоритм незначительно переоценивает дистанцию на 2,7% (рисунок 2), что вписывается в рамки приемлемой погрешности. 

Наконец, оценка верхней границы доверительного  интервала для ошибки суммарной дистанции при уровне надежности 95% составил 4,1% от общей дистанции, что для среднего пробега в нашем тесте соответствует 17,3 метра. Проще говоря, с вероятностью 95% ошибка в определении пути каждого игрока не превышает этих 4,1% от их реального передвижения, что соответствует стандарту FIFA (≤5% погрешности) и подтверждает качество системы трекинга.

Синтетические тесты

В тестах FIFA ключевое значение имеет анализ скоростных характеристик игроков, однако у нас были доступны только усредненные показатели без мгновенных данных по скоростям. Для более точного скоростного анализа мы создали виртуальный стадион в Unreal Engine с параметрами, максимально приближенными к реальным условиям, и провели моделирование типовых упражнений с виртуальным игроком.

Виртуальная среда позволила получать точные данные о положении и скорости игрока в каждый момент. Мы синхронно измеряли скорости с помощью нашей трекинг-системы, чтобы напрямую сравнить реальные и измеренные показатели и построить распределение ошибок. Средняя ошибка измерения скорости составила 0,028 м/с, а RMSE — 0,59 м/с. Бутстрэп-оценка показала, что с 95% вероятностью ошибка не превышает 0,7 м/с, что указывает на высокую точность метода в том числе на  динамичных эпизодах.

Оценка качества фитнес-трекинга по методологии FIFA

Чтобы оценить, насколько хорошо совпадают данные от разных источников (например, производителя оборудования и системы фитнес-трекинга), используются специальные статистические показатели.

Для координат чаще всего используют среднюю абсолютную ошибку (Mean Absolute Error, MAE), то есть среднее значение разности модулей между позициями из двух источников. Это позволяет понять, на сколько в среднем отличаются местоположения объекта в разных измерительных системах.

Для скорости в качестве основного показателя берется среднеквадратичное отклонение различий (Root Mean Square Difference, RMSD) между двумя наборами данных. Этот показатель отражает типичное отклонение значений между источниками, то есть насколько «разбросаны» значения относительно друг друга.

Оценку обычно проводят как по всей совокупности данных, так и разбивая результаты по «скоростным зонам» (velocity bands) согласно стандартам FIFA. Для визуальной и качественной оценки результатов используют специальную шкалу, состоящую из пяти уровней («Well Above», «Above», «Standard», «Below», «Well‑below»). Границы между уровнями определяют с помощью статических квартилей и межквартильных размахов.

Для того, чтобы отнести конкретное значение RMSD/MAE к тому или иному уровню по шкале, сначала строится распределение метрики по всем сравниваемым случаям. На основании этого распределения находят квартильные значения: первый квартиль (Q1), медиану (Median), третий квартиль (Q3), а также рассчитывают межквартильный размах (IQR = Q3 – Q1) (см рисунок 4). Затем в соответствии с распределением значения делят на пять категорий: значения «well above» — ниже первого квартиля, «above» — между медианой и Q1, «standard» — между медианой и Q3, «below» — между Q3 и Q3+1.5*IQR, и «well below» — выше Q3+1.5*IQR. Такой подход позволяет однозначно и объективно определить, к какому уровню относить полученное значение RMSD в рамках данной выборки.

Само по себе значение RMSD напрямую характеризует точность совпадения данных: чем оно меньше, тем точнее работает измерительная система. Однако на практике абсолютные значения RMSD могут существенно различаться в зависимости от скоростной зоны, поскольку на высоких скоростях погрешности измерений обычно возрастают. 

Использование шкалы на основе квартилей распределения RMSD дает сразу несколько преимуществ:

• позволяет объективно сравнивать результаты внутри каждой скоростной зоны;

• устраняет необходимость заранее определять, какое значение RMSD следует считать «хорошим», особенно в условиях отсутствия универсальных порогов;

• помогает обнаруживать «выбросы» и отслеживать, насколько резко ухудшается качество измерений при увеличении скорости игроков.

Оценка точности определения скоростей и координат по методологии FIFA представлена на рисунке 5. В большинстве случаев наша система фитнес-трекинга демонстрирует результаты на уровне индустриального стандарта, а в ряде случаев превосходит его.

Выводы

Исследование показало, что наша система довольно точно определяет пройденную дистанцию, хотя ошибка возрастает при длительных активных действиях на ограниченной площадке из-за сложных траекторий. Особенно хорошо система показала себя при определении максимальных скоростей: ее точность при спринтах и ускорениях почти не уступает сертифицированному трекеру даже в динамичных эпизодах.

Мы тщательно протестировали слабые стороны нашего метода в условиях сложных экспериментов и подтвердили корректность выбранного подхода. Важно подчеркнуть, что для работы нашей системы трекинга не требуется сложный монтаж или дорогостоящее специализированное оборудование: наша система использует в базовом режиме всего 4 камеры с разрешением 6K, а для realtime режима достаточно двух камер, что делает её доступной и достаточно простой для внедрения. Благодаря использованию современных методов машинного обучения и интеллектуальной обработке видеоданных, нам удалось достичь результатов, сопоставимых по точности с профессиональными коммерческими системами LPS. 

Вместе с тем мы понимаем потенциал дальнейших улучшений и уже работаем над повышением точности системы. В частности, мы рассматриваем возможность перехода к определению позиций футболистов на основе анализа поз, что позволит получать более детальную информацию о движении отдельных частей тела и еще глубже исследовать динамику спортивной активности.

В заключение, если вас интересует вычисление пути и прикладная математика, рекомендуем книгу Я.Б. Зельдовича «Высшая математика для начинающих», где простым языком объясняются методы расчета дистанции и другие задачи физики и математики.

Неожиданная польза для науки и индустрии пришла со стороны геймдева и любителей видеоигр: при нехватке реальных данных можно использовать инструменты игровой индустрии для симуляции движений с известным ground truth. Такие симуляции позволяют тестировать алгоритмы обработки данных в воспроизводимых и контролируемых условиях, что способствует развитию методов спортивной аналитики.

Важное вкратце: 

• Для объективной проверки точности работы трекинговой системы необходима параллельная запись координат и мгновенных скоростей с помощью другого, эталонного оборудования. 

• Мы провели четыре теста по стандартным упражнениям, применяемым в сертификационном процессе FIFA (за исключением покадровой сверки траекторий).

• Сравнительный анализ с системой Catapult на основе LPS показал высокую точность расчета ключевых итоговых показателей: общей пройденной дистанции, максимальной скорости и пробега на высоких скоростях.

• Для более детального анализа, приближенного к требованиям официальной сертификации FIFA, мы дополнительно сгенерировали синтетические данные и на их основе оценили работу собственной системы. Результаты оказались в рамках допустимой погрешности, а в некоторых условиях показывали точность даже выше стандартов индустрии. 

• Мы планируем продолжать работу над увеличением точности наших фитнес-данных, дополняя их более детальной информацией. 

И ещё кое-что

Для тех, кто дочитал до этого места — небольшой бонус в качестве занятных фактов.

Как вы поняли из рассказа, аналитика футбольных матчей — штука довольно нежная и чувствительная к данным. Поэтому без разного рода факапов тут тоже не обошлось.

Для того, чтобы полностью воспроизвести FIFA-тест, важно было после выгрузки данных найти альтернативный путь для получения мгновенных координат и скоростей игроков, которые по итогам теста не предоставили Catapult. В частности, прибегать к синтетическим данным.

Ну и последнее — оказалось, что нельзя просто так взять и разметить траектории для упражнений. Нужно было решать нестандартные геометрические задачи: как на большом поле точно отмерить нужные дистанции между ключевыми точками и при этом сохранить правильную форму всей траектории. Разметка упражнений заняла больше часа подготовки.

Спасибо за интерес к Яндекс Спорттеху и нашей работе! Как и в предыдущей статье, готов ответить на ваши вопросы и комментарии.