Будучи фанатом NBA (Национальная баскетбольная ассоциация), я тщательно слежу за новостями из-за океана: игры, обмены игроками, слухи и прочее. Но, как инженера, меня также привлекают различные прогнозы на основе математического анализа, статистические показатели, которые влияют на игру. Еще интересней, как информационные технологии меняют спорт. Дальше я расскажу, как один владелец команды из мира IT попытался поменять восприятие зрителями НБА на обычную ТВ-трансляцию.

История начинается с того, что эксцентричный миллиардер Стив Балмер, который ранее возглавлял компанию Microsoft, в 2014 году приобретает за 2 млрд долларов один из баскетбольных клубов, а именно Los Angeles Clippers.

Эволюция Clippers в претендента на звание чемпиона считается самым заметным достижением Балмера с момента ухода из Microsoft, где он занимал пост генерального директора с 2000 по начало 2014 года. Пока Стив наблюдал, как его команда собирается победить очередную команду, два сотрудника Second Spectrum — компании, в которой он консультирует и значительным пакетом акций которой владеет, — закладывали фундамент изменения показа спорта на телевидении.

Second Spectrum подписала официальный контракт на поставку НБА статистики действий игроков, основанной на пространственных данных, которую компания собирает с видеокамер, установленных на аренах лиги. Недавно Second Spectrum начала делать то же самое для Высшей футбольной лиги и Премьер-лиги Англии. Кроме того, компания создает и продает собственные показатели подавляющему большинству команд НБА. Но партнерство с Балмером и Clippers привело к появлению новой революционной технологии.

В 2018 году команда вместе с Second Spectrum запустила Clippers CourtVision — приложение с дополненной реальностью и прямой трансляцией, которое отображает информацию об отслеживании игроков, статистику в реальном времени и поясняющую анимацию для фанатов, которые смотрят с настольных компьютеров и мобильных устройств.

Стало известно, что Second Spectrum выбрала AWS в качестве предпочтительного облака и платформы машинного обучения (ML) и искусственного интеллекта (AI). Second Spectrum также выбрала медиа-сервисы AWS, чтобы предлагать фанатам новые виды живого просмотра игр. Компания также использует остальные доступные сервисы AWS, чтобы предоставлять лигам и их медиа-партнерам аналитику, визуализацию и легко доступные для поиска видеоклипы во время игр и матчей, чтобы улучшить впечатления болельщиков и предоставить командам более глубокое понимание конкуренции.

Сервис создания контента Second Spectrum работает на AWS через свои облачные сервисы EC2, S3 и Elemental, чтобы уменьшить любые задержки, связанные с обработкой видео и данных. Процесс начинается, когда Second Spectrum применяет методы машинного обучения и компьютерного зрения в своей запатентованной системе оптического слежения, которая собирает трехмерные пространственные данные с камер на спортивных мероприятиях в прямом эфире, а затем индексирует видео в реальном времени с метаданными, такими как личность и местоположение игроков, а также тип текущей игры. Затем технология Second Spectrum сопоставляет эту информацию в реальном времени с историческими данными о командах и игроках, хранящимися на AWS, чтобы быстро генерировать статистику, аналитику и собственные метрики, такие как Quantified Shot Quality (ожидаемый процент эффективных попаданий с игры) и Quantified Shooter Impact (влияние игрока по сравнению со средним показателем по лиге) и использует масштабируемую и производительную инфраструктуру AWS для создания 3D-визуализаций и дополненного видео для поддержки прямых трансляций.

Second Spectrum сводит к минимуму задержки в своих потоковых сервисах и предлагает поклонникам высокое качество просмотра с помощью AWS Elemental Live (сервиса для кодирования видео в реальном времени и его сжатия для просмотра на нескольких устройствах) и AWS Elemental MediaStore (сервиса хранения, оптимизированного для мультимедиа, чтобы спортивные комментаторы могли быстро получать доступ к ключевым моментам спортивных событий). Расширяя свои отношения с AWS, Second Spectrum начнет работать с Amazon SageMaker, чтобы изучить способы улучшения и настройки своих моделей машинного обучения на основе многолетних видеоданных, снятых на десятках спортивных объектов, что позволит генерировать новую прогнозную статистику во время прямых трансляций игр. Кроме того, Second Spectrum планирует начать работу с AWS Outposts, которые расширяют инфраструктуру и сервисы AWS практически до любого центра обработки данных, пространства совместного размещения или локального объекта на отдельных спортивных аренах, чтобы еще больше уменьшить задержку в логических выводах машинного обучения, графической обработке и доставке контента в прямом эфире.

Всё происходит автоматически, без вмешательства человека, что является немалым технологическим подвигом. В настоящее время поток задерживается на две минуты с момента прямого эфира, чтобы дать время для необходимой обработки. Балмер и Second Spectrum говорят, что временной интервал постепенно станет еще меньше.

Вот неплохой пример AI + AR, в котором показаны 3 основных режима игры

Режим игрока

Этот режим фактически использовался в видеоиграх, но теперь вместо одного игрока он сосредотачивает наше внимание на всех игроках с мячом в руке и на их постоянном движении по баскетбольной площадке. Если вас интересует эффективность игроков, то для каждого из них будет указана вероятность попадания броска с точки на площадке. Значение отображается над игроком, а определенный цвет означает долю бросков с игры для этого игрока с этой точки на паркете, это рассчитывается на основе данных из предыдущих игр сезона. Зеленый — хорошо, красный — плохо. Статистика игрока также будет отображаться после того, как тот набрал очки, сделал подбор, передачу или потерял мяч, суммируя и показывая общее количество в игре. Белая точка с отметкой позиции показывает, где был сделан бросок, независимо от промаха или попадания.

Режим талисмана (Mascot)

Это не самый информативный режим и, конечно же, он не выглядит так, будто для его реализации потребовалось очень много усилий; скорее как дорогая обработка в графическом редакторе или фильтр Snapchat, который оказался интерактивным. Вы можете увидеть имена игроков внизу на большом белом фоне с номером и именем, разделенные полосой, что бессмысленно и даже отвлекает. Кроме того, под игроком зачем-то отображается синяя стрелка, обозначающая игрока с мячом, которая перемещается как и мяч. Тем не менее, это может быть хорошей маркетинговой тактикой, чтобы привлечь более молодую аудиторию, потому что баскетбольные игры могут быть очень увлекательными, но слишком долгими для детей из-за небольшой продолжительности концентрации внимания, поэтому случайная анимация может удерживать их в тонусе.

Режим тренера

В отличие от двух предыдущих режимов, в которых больше внимания уделяется фанатам и игрокам, этот больше подходит для фанатов баскетбола, тренеров и людей, которые просто любят глубоко изучать игру. Самым большим достоинством режима является то, что вы можете видеть каждый розыгрыш атаки, проводимый тренером, и подходы к тому, куда игрок будет бежать, бросать или пасовать. Белый маркер показывает почти всё, что тренер нарисовал в своем планшете. Над головой игрока будут отображаться его имя и номер, чтобы показать, у кого в данный момент находится мяч. Как и в двух других режимах, общая статистика в реальном времени отображается после того, как игрок ассистировал, набрал очки, взял или потерял мяч.

Но если вы действительно хотите почувствовать себя на арене, то переключите звук на Sneaker Squeaks.

Звук взаимозаменяемый, что добавляет игре новое измерение: вы можете переключиться на официальное вещание Clippers и смотреть игру с комментаторами, или слушать Sneaker Squeaks — звук арены: вы можете слышать общение игроков, их перемещения, площадку со скрипящими кроссовками, музыку, свистки судей, инструкции тренеров и игровые события во время тайм-аутов. Это контрастирует с традиционной трансляцией от нарезки до рекламы, поэтому даст вам ощущение присутствия на игре.

Технология дополненной реальности и цифровые наложения позволили Clippers также привлечь спонсоров с помощью виртуальных площадок на корте, а иногда и анимированных размещений. Хотя это было изобретено «на лету» во время пандемии, чтобы минимизировать финансовые потери, Скот Сонненберг, глава отдела глобального партнерства Clippers, считает, что этот подход сохранится в будущем как еще одна область роста выручки. Спонсоров можно творчески включить в прямые трансляции Clippers с помощью наложений дополненной реальности. Например, полоски от шин, тянущиеся к корзине во время простоя, в качестве рекламы шинной компании.

Генеральный директор Second Spectrum Раджив Махесваран говорит, что этот способ просмотра спортивных состязаний, при котором фанаты получают контроль над своим собственным мобильным просмотром, как в видеоигре, никуда не денется. Он считает, что спонсоры теряют интерес к пассивному размещению на корте и хотят ассоциироваться с «передовым классом контента и новыми способами графической связи с этим контентом».

Ниже предлагаю посмотреть видео с конференции TED, на которой глава Second Spectrum объяснял, какие сложности существуют для машинного обучения, действительно ли компьютер знает больше тренера и где еще может быть полезна эта технология.