Будучи фанатом NBA (Национальная баскетбольная ассоциация), я тщательно слежу за новостями из-за океана: игры, обмены игроками, слухи и прочее. Но, как инженера, меня также привлекают различные прогнозы на основе математического анализа, статистические показатели, которые влияют на игру. Еще интересней, как информационные технологии меняют спорт. Дальше я расскажу, как один владелец команды из мира IT попытался поменять восприятие зрителями НБА на обычную ТВ-трансляцию.

История начинается с того, что эксцентричный миллиардер Стив Балмер, который ранее возглавлял компанию Microsoft, в 2014 году приобретает за 2 млрд долларов один из баскетбольных клубов, а именно Los Angeles Clippers.

Эволюция Clippers в претендента на звание чемпиона считается самым заметным достижением Балмера с момента ухода из Microsoft, где он занимал пост генерального директора с 2000 по начало 2014 года. Пока Стив наблюдал, как его команда собирается победить очередную команду, два сотрудника Second Spectrum — компании, в которой он консультирует и значительным пакетом акций которой владеет, — закладывали фундамент изменения показа спорта на телевидении.

Second Spectrum подписала официальный контракт на поставку НБА статистики действий игроков, основанной на пространственных данных, которую компания собирает с видеокамер, установленных на аренах лиги. Недавно Second Spectrum начала делать то же самое для Высшей футбольной лиги и Премьер-лиги Англии. Кроме того, компания создает и продает собственные показатели подавляющему большинству команд НБА. Но партнерство с Балмером и Clippers привело к появлению новой революционной технологии.

В 2018 году команда вместе с Second Spectrum запустила Clippers CourtVision — приложение с дополненной реальностью и прямой трансляцией, которое отображает информацию об отслеживании игроков, статистику в реальном времени и поясняющую анимацию для фанатов, которые смотрят с настольных компьютеров и мобильных устройств.

Стало известно, что Second Spectrum выбрала AWS в качестве предпочтительного облака и платформы машинного обучения (ML) и искусственного интеллекта (AI). Second Spectrum также выбрала медиа-сервисы AWS, чтобы предлагать фанатам новые виды живого просмотра игр. Компания также использует остальные доступные сервисы AWS, чтобы предоставлять лигам и их медиа-партнерам аналитику, визуализацию и легко доступные для поиска видеоклипы во время игр и матчей, чтобы улучшить впечатления болельщиков и предоставить командам более глубокое понимание конкуренции.

Сервис создания контента Second Spectrum работает на AWS через свои облачные сервисы EC2, S3 и Elemental, чтобы уменьшить любые задержки, связанные с обработкой видео и данных. Процесс начинается, когда Second Spectrum применяет методы машинного обучения и компьютерного зрения в своей запатентованной системе оптического слежения, которая собирает трехмерные пространственные данные с камер на спортивных мероприятиях в прямом эфире, а затем индексирует видео в реальном времени с метаданными, такими как личность и местоположение игроков, а также тип текущей игры. Затем технология Second Spectrum сопоставляет эту информацию в реальном времени с историческими данными о командах и игроках, хранящимися на AWS, чтобы быстро генерировать статистику, аналитику и собственные метрики, такие как Quantified Shot Quality (ожидаемый процент эффективных попаданий с игры) и Quantified Shooter Impact (влияние игрока по сравнению со средним показателем по лиге) и использует масштабируемую и производительную инфраструктуру AWS для создания 3D-визуализаций и дополненного видео для поддержки прямых трансляций.

Second Spectrum сводит к минимуму задержки в своих потоковых сервисах и предлагает поклонникам высокое качество просмотра с помощью AWS Elemental Live (сервиса для кодирования видео в реальном времени и его сжатия для просмотра на нескольких устройствах) и AWS Elemental MediaStore (сервиса хранения, оптимизированного для мультимедиа, чтобы спортивные комментаторы могли быстро получать доступ к ключевым моментам спортивных событий). Расширяя свои отношения с AWS, Second Spectrum начнет работать с Amazon SageMaker, чтобы изучить способы улучшения и настройки своих моделей машинного обучения на основе многолетних видеоданных, снятых на десятках спортивных объектов, что позволит генерировать новую прогнозную статистику во время прямых трансляций игр. Кроме того, Second Spectrum планирует начать работу с AWS Outposts, которые расширяют инфраструктуру и сервисы AWS практически до любого центра обработки данных, пространства совместного размещения или локального объекта на отдельных спортивных аренах, чтобы еще больше уменьшить задержку в логических выводах машинного обучения, графической обработке и доставке контента в прямом эфире.

Всё происходит автоматически, без вмешательства человека, что является немалым технологическим подвигом. В настоящее время поток задерживается на две минуты с момента прямого эфира, чтобы дать время для необходимой обработки. Балмер и Second Spectrum говорят, что временной интервал постепенно станет еще меньше.

Вот неплохой пример AI + AR, в котором показаны 3 основных режима игры

Режим игрока

Этот режим фактически использовался в видеоиграх, но теперь вместо одного игрока он сосредотачивает наше внимание на всех игроках с мячом в руке и на их постоянном движении по баскетбольной площадке. Если вас интересует эффективность игроков, то для каждого из них будет указана вероятность попадания броска с точки на площадке. Значение отображается над игроком, а определенный цвет означает долю бросков с игры для этого игрока с этой точки на паркете, это рассчитывается на основе данных из предыдущих игр сезона. Зеленый — хорошо, красный — плохо. Статистика игрока также будет отображаться после того, как тот набрал очки, сделал подбор, передачу или потерял мяч, суммируя и показывая общее количество в игре. Белая точка с отметкой позиции показывает, где был сделан бросок, независимо от промаха или попадания.

Режим талисмана (Mascot)

Это не самый информативный режим и, конечно же, он не выглядит так, будто для его реализации потребовалось очень много усилий; скорее как дорогая обработка в графическом редакторе или фильтр Snapchat, который оказался интерактивным. Вы можете увидеть имена игроков внизу на большом белом фоне с номером и именем, разделенные полосой, что бессмысленно и даже отвлекает. Кроме того, под игроком зачем-то отображается синяя стрелка, обозначающая игрока с мячом, которая перемещается как и мяч. Тем не менее, это может быть хорошей маркетинговой тактикой, чтобы привлечь более молодую аудиторию, потому что баскетбольные игры могут быть очень увлекательными, но слишком долгими для детей из-за небольшой продолжительности концентрации внимания, поэтому случайная анимация может удерживать их в тонусе.

Режим тренера

В отличие от двух предыдущих режимов, в которых больше внимания уделяется фанатам и игрокам, этот больше подходит для фанатов баскетбола, тренеров и людей, которые просто любят глубоко изучать игру. Самым большим достоинством режима является то, что вы можете видеть каждый розыгрыш атаки, проводимый тренером, и подходы к тому, куда игрок будет бежать, бросать или пасовать. Белый маркер показывает почти всё, что тренер нарисовал в своем планшете. Над головой игрока будут отображаться его имя и номер, чтобы показать, у кого в данный момент находится мяч. Как и в двух других режимах, общая статистика в реальном времени отображается после того, как игрок ассистировал, набрал очки, взял или потерял мяч.

Но если вы действительно хотите почувствовать себя на арене, то переключите звук на Sneaker Squeaks.

Звук взаимозаменяемый, что добавляет игре новое измерение: вы можете переключиться на официальное вещание Clippers и смотреть игру с комментаторами, или слушать Sneaker Squeaks — звук арены: вы можете слышать общение игроков, их перемещения, площадку со скрипящими кроссовками, музыку, свистки судей, инструкции тренеров и игровые события во время тайм-аутов. Это контрастирует с традиционной трансляцией от нарезки до рекламы, поэтому даст вам ощущение присутствия на игре.

Технология дополненной реальности и цифровые наложения позволили Clippers также привлечь спонсоров с помощью виртуальных площадок на корте, а иногда и анимированных размещений. Хотя это было изобретено «на лету» во время пандемии, чтобы минимизировать финансовые потери, Скот Сонненберг, глава отдела глобального партнерства Clippers, считает, что этот подход сохранится в будущем как еще одна область роста выручки. Спонсоров можно творчески включить в прямые трансляции Clippers с помощью наложений дополненной реальности. Например, полоски от шин, тянущиеся к корзине во время простоя, в качестве рекламы шинной компании.

Генеральный директор Second Spectrum Раджив Махесваран говорит, что этот способ просмотра спортивных состязаний, при котором фанаты получают контроль над своим собственным мобильным просмотром, как в видеоигре, никуда не денется. Он считает, что спонсоры теряют интерес к пассивному размещению на корте и хотят ассоциироваться с «передовым классом контента и новыми способами графической связи с этим контентом».

Ниже предлагаю посмотреть видео с конференции TED, на которой глава Second Spectrum объяснял, какие сложности существуют для машинного обучения, действительно ли компьютер знает больше тренера и где еще может быть полезна эта технология.

Комментарии (16)


  1. slavius
    02.09.2021 12:08
    +1

    В скором времени и игроки не потребуются - будут трансляции соревнований компьютерных игроков.

    Спорт и игры создают условные ограничения и героически их преодолевают для условного выигрыша.


    1. major-general_Kusanagi
      02.09.2021 12:17

      Нейросетей?


      1. plFlok
        03.09.2021 10:41

        учитывая, как трудно дота даётся OpenAI, подобрать универсальную функцию для максимизации эффективности в таких играх практически нереально. Я б посмотрел даже на битву нейросетей: они также не будут идеальны


  1. polearnik
    02.09.2021 13:12

    еще не хватает контроля над камерами у зрителя чтоб не смотреть бесконечные переключения кадра а самому выбирать с какой камеры смотреть трансляцию. Вроде как пару лет назад пытались внедрить такое.


    1. OSidorenkov Автор
      02.09.2021 14:36
      +1

      Это уже реализовано в приложении:

      image


    1. beduin747
      03.09.2021 08:48

      В данном случае не плохо было бы ещё режиссёров (или кто там между камерами переключает) обучить смотреть и понимать игру. А то сидишь, смотришь какой-нибудь повтор по нескольку раз, или крупным планом как кто-то в носу ковыряется, а в это время гол забивают. Ну или реклама на треть экрана, закрывающая самый интересный момент. За это вообще-бы наказывал.

      Увы, это, в основном к нашему (РФ) тв относится.

      С камерами, кстати, вполне можно было бы сделать. Вещание в несколько потоков. Выбираешь нужный. По крайней мере с аудио такое встречал. Не помню канал, кажется что-то про авто-мото. Там можно было, помимо выбора языков, вообще убирать комментаторов, оставляя один интершум. Очень понравилось.


      1. ksr123
        06.09.2021 15:13

        А вы смотрели испанские или еще какие-то европейские трансляции, например? Российские по сравнению с ними отличные.


        1. beduin747
          06.09.2021 19:27

          Нет. Что там у них не так?


          1. ksr123
            06.09.2021 23:48

            Именно то, что вы описали.


  1. RiddickABSent
    02.09.2021 13:31

    Хороший обзор.

    Сразу же вспомнился фильм "Космический джем" с Майклом Джорданом. Там одна команда явно была прокачана такими фишками)


  1. green16
    02.09.2021 13:53

    Вот только LAC это не помогает стать чемпионами)


    1. OSidorenkov Автор
      02.09.2021 14:34

      Но тем не менее из год в год контендеры) Там уже дело не в технологиях, а в менеджменте.


      1. green16
        03.09.2021 13:18

        С приходом Балмера LAC действительно стали намного лучше как команда


  1. sunsexsurf
    02.09.2021 15:56
    +1

    в принципе, это дошло и до нас. Матч-ТВ уже начинает баловаться такими штуками (правда, не в онлайн, вроде). Когда я пытался сделать сам для водного поло - наткнулся на то, что сетки очень хреново детектят игрока на видео, который по плечи постоянно в воде сидит. И шапка с номерами не помогает, конечно же. По сути статьи - кажется, на Хабре уже не первый и не второй раз говорят о том, как это круто - воткнуть статистику / аналитику ML в трансляции и в помощь тренерам. Странно, что забывают наших ребят (российские компании), одна из которых по части data помогает всем топ-клубам Европы по футболу, ну и вторая - которая в КХЛ себя неплохо чувствует. Постскриптумом обычно идет ссылка на фильм про аналитику (Человек, который изменил все).


  1. arthin
    03.09.2021 02:21

    Похоже, пока глубокая бета. На сайте еще даже сертификат амазоновский.

    И пока это решение только для чего-то бюджетом с клуб NBA. Меня очень живо autostats интересует, который у них в NCAA - оно, похоже, умеет работать даже просто от TV стрима.


  1. Josers
    03.09.2021 10:41

    По поводу того как мы смотрим спорт, видел как то визуализации фехтования, когда трассеры идут от края шпаги, как мне кажется, довольно интересный способ визуализации, куда понятнее происходящее становиться, вроде и для реализации не так трудно. Технологии вполне дополняют спорт все же :)