Идея конференции про видеотехнологии появилась у нас в пандемию, когда мы переносили другие наши мероприятия в онлайн и создавали свой софт для этого. Мы хотели узнать новое для себя, но конференция оказалась интересной не только нам самим, но и ощутимому количеству участников для довольно узких на первый взгляд тем. И она даже помогла нам в работе над нашей видеозвонилкой.
Так что теперь мы снова проводим VideoTech — для всех, кто по работе связан с видеотехнологиями и стримингом. Конференция начнётся уже на следующей неделе, а сейчас делимся с Хабром описаниями всех докладов. Другие подробности и билеты — на сайте.
Оглавление
Доставка контента
Николай Глазырин
Яндекс
Из доклада вы узнаете, какие проблемы пришлось решить, чтобы сделать стриминг бесконечных HLS-потоков генеративной музыки. Поток каждого пользователя уникален и собирается на лету, а взаимодействие с ним не должно отличаться от обычного прослушивания музыки. Доклад будет интересен тем, кто работает со стримингом аудио.
Как CDN Яндекса работает с трафиком видеоплатформы
Евгений Зайцев
Яндекс
Как раздавать много данных, не используя технологию BGP Anycast? В докладе Евгений верхнеуровнево рассмотрит архитектуру CDN-слоя раздачи и слоя балансировки при раздаче медиаданных. Уровень сложности: для чайников.
SRT — предпосылки к появлению и его возможности
Михаил Гаранин
GaraninApps
Михаил представит вводное описание SRT: причины, по которым он появился, и его особенности. Расскажет о режимах SRT и базовых понятиях, таких как latency. А еще поделится кейсами применения SRT и расскажет про грабли, на которые наступила его команда.
Собственный JIT packager. HTTP-стриминг с низкими задержками
Альберт Камалян
EdgeЦентр
Разбор вариантов реализации стриминга с низкими задержками: зачем и кому он нужен, а также откуда берется low-latency. Вы узнаете, как делаются live-трансляции в интернете, почему в команде Альберта решили делать свой JIT packager и что из этого получилось.
Особенности трансляции видео на большую аудиторию
Максим Лёвин
CDNvideo
Максим расскажет о продуктовых и технических решениях для задач стриминга на большую аудиторию. Вы узнаете, какую аудиторию можно считать большой в зависимости от этапа: транскодирования видео, масштабирования средствами CDN и просмотра в браузере с помощью плеера.
Спикер поделится опытом его команды при выходе на орбиту крупных трансляций. Рассмотрит вопросы балансировки и минимизации задержки стриминга на аудиторию с широким географическим распределением.
Устройства и плееры
A/V Sync: что это такое и как работает
Фёдор Цымбал
Orion Innovations
Сейчас многие из нас работают из дома, и даже конференции переехали в формат видеозвонков. Одна из технологий, которая делает это возможным, называется lip sync — «губосинхронизация». Она нужна, чтобы звук не убегал от картинки, а картинка от звука.
В докладе Федор расскажет о теоретических основах A/V-синхронизации на примере задачи, которую решала его команда при разработке видеотелефона на Android. А еще вы узнаете, как A/V Sync реализован в WebRTC и ExoPlayer, а также что такое Multimedia Tunneling. Доклад будет интересен всем, кто сталкивался с синхронизацией видео и звука.
Что еще можно делать с видео в браузере
Николай Васильчук
VK
Николай расскажет, как устроены захват и трансляция экрана по WebRTC в VK Звонках и почему им понадобилась собственная реализация для передачи видео без потери качества. В докладе затрагиваются такие технологии, как WebRTC, WebCodecs, Media Source Extensions, Wasm. Он также объяснит, как устроен формат видео WebM и чем полезен DataChannel в WebRTC.
Демистификация <video> в браузере
Даниил Комаревцев
Яндекс
Chromium — это большой медиакомбайн. Более 25 декодеров и несколько демуксеров служат для безупречной работы тега. В докладе пойдет речь про архитектуру, которая за этим стоит. Почему всего этого разнообразия не хватает в Яндекс.Браузере и в других браузерах на Chromium. Даниил расскажет, как и зачем можно читать медиалоги в браузере, если вы создаете веб с видеоконтентом.
Как сэкономить трафик (и деньги) в видеостриминге?
Ольга Попова
Яндекс
Рано или поздно любой сервис сталкивается с тем, что видеоконтент стоит денег. И платить приходится не только за хранилище данных или мощности для транскодирования, но и за трафик.
В своем докладе Ольга рассмотрит способы сэкономить количество потребляемого трафика без ухудшения пользовательского опыта.
Илья Калашников
VK Видео
Илья расскажет про сложную битву за быструю и качественную доставку первого кадра в VK Видео: почему в нее вступили и в чем заключались основные сложности. Что помогло команде ускориться, а что не сработало.
Взгляд с колокольни браузеров, фронтенда и JavaScript. Однако все принципиальные вещи будут справедливы для любой платформы.
WebRTC
WebRTC: Forward Error Correction
Игорь Мелькер
Voximplant
В сетевых мультимедийных системах (например, WebRTC) потери сетевых пакетов серьезно влияют на качество коммуникации и приводят к плохому пользовательскому опыту. В WebRTC в основном используются два метода борьбы с потерями сетевых пакетов: packet loss retransmission (NACK) и forward error correction (FEC).
Игорь рассмотрит как теорию, так и детали реализации FEC в WebRTC. Благодаря компромиссу между пропускной способностью и защитой важных частей видеопотока, трафик обогащается полезной избыточной информацией, которая позволяет конечному устройству корректировать ошибки (восстанавливать потерянные пакеты).
Вы узнаете, что представляет собой FEC-пакет, как происходит генерация FEC-пакетов, а также какие нюансы стоит учитывать при реализации FEC.
Достигаем максимального CDN-offload с помощью p2p-стриминга на базе WebRTC, опыт Teleport Media
Алексей Клименко
Teleport Media
Алексей поделится историей создания платформы p2p-стриминга Teleport Media. Он расскажет об архитектуре ядра (teleport.js-скрипт) и бэкенда, а также о ключевых концепциях (blaсklist, in swarm search, timeslot search, hash broadcast и так далее), которые позволяют достичь максимальной разгрузки CDN.
Будет и кое-что о низкоуровневых особенностях работы WebRTC datachannel. Вы узнаете, почему они негативно влияют на эффективность доставки файлов через пиринг и как можно их компенсировать, чтобы обеспечить low latency и HD-стриминг.
Как в VK Звонках работают над качеством звука
Алексей Шпагин
VK
В докладе Алексей разберет, какие факторы влияют на стабильность передачи голоса во время видеоконференций и разборчивость речи: от частот дискретизации до особенностей передачи данных в TCP/IP сетях. Вы узнаете «из первых рук», как в VK Звонках оценивают и мониторят характеристики звука, чтобы предоставлять пользователям неизменно высокий уровень качества связи.
Кодеки аудио и видео
Нейросетевые артефакты сжатия и увеличения разрешения — дивный новый мир
Дмитрий Ватолин
МГУ
Продажи 4K-телевизоров быстро растут. Перестают быть экзотикой и 8K-телевизоры. Разрешение флагманских смартфонов уверенно перевалило через 2K, а планшетов — через 4K. Для таких устройств скоро потребуется соответствующий контент. Но где его взять?
К счастью, параллельно активно развиваются алгоритмы Super-Resolution. Команда под руководством Дмитрия создала три публичных бенчмарка подобных методов. В докладе он расскажет о проблемах, с которыми пришлось столкнуться, отвечая на вопрос: «Какой же SR лучше?».
Обработка изображений на CUDA для задач с видео
Федор Серженко
Фаствидео
Федор расскажет, как в его команде занимаются обработкой и кодированием изображений. Вы узнаете, как происходит работа с ними на CUDA и увидите, насколько быстро это получается.
В качестве примеров он рассмотрит проекты, которые сделали в компании благодаря этой технологии.
Как улучшить сжатие на 20% с помощью машинного обучения, не тратя 300+ машино-лет расчетов
Дмитрий Ватолин
МГУ
Максим Смирнов
Yuvsoft
Больше 10 лет назад один известный лекторий обратился к команде специалистов, чтобы уменьшить размер записей лекций через настройку параметров видеокодека. С помощью машинного обучения и методов оптимизации команда смогла построить модели разных кодеков для широкого спектра типов видео. Благодаря этому можно экономить до 20% битрейта видео при неухудшающемся качестве, меняя лишь одну строчку параметров запуска кодека.
Дмитрий расскажет, как не теряться в тысячемерных пространствах, насколько можно улучшить работу кодека оптимальной параметризацией, и почему компании, попробовав реализовать такое решение самостоятельно, возвращаются к тем, кто занимается этим на постоянной основе.
Сергей Иконин
Huawei Technologies
Сергей и его коллеги принимали активное участие в разработке последних стандартов видеокодирования H.266/VVC и MPEG-5/EVC. Из доклада вы узнаете о том, кто и как разрабатывает международные стандарты, как организована процедура, и какие фазы проходит проект от начальной концепции до финальной спецификации.
Доклад включает обзор последних стандартов H.266/VVC и MPEG-5/EVC. Кроме того, вы узнаете о новых подходах к сжатию изображений на основе нейросетей, а также о том, как идет разработка нового стандарта JPEG AI.
Ultra-low latency. Принципы и механизмы передачи видео в Cloud Gaming
Кирилл Черников
VK Play
Кирилл расскажет об основном противоречии Ultra-low latency на примере Cloud Gaming. Он рассмотрит проблему сетевых потерь, принципы и механизмы прогнозирования, предотвращения и восстановления после потерь, а также способы предобработки, параметризации и постобработки видеострима.
ML/AI
Видеоэмбеддинги и задачи, которые решаются с их помощью в Яндексе
Екатерина Глазкова
Яндекс
Стандартный подход в машинном обучении — предобучать нейросеть, которая проецирует рассматриваемый объект (видео, картинку, текст) в многомерное векторное пространство, а потом, используя эти представления, решать другие задачи (классификация, рекомендации, ранжирование, поиск похожих).
В докладе пойдет речь о модели для построения общего эмбеддингового пространства видео и текстов, ее обучении и использовании для разных прикладных задач.
Применение технологии телеприсутствия в виртуальной реальности и продуктов на ее основе
Анатолий Горонеско
VRCast
Что помогает реализовывать сервисы «удаленный ассистент» и строить продукты для виртуального шоппинга и присутствия на событиях? Телеприсутствие в виртуальной реальности. Его можно описать как «иммерсивный телемост», или телепортацию в удаленную точку с помощью программно-аппаратного комплекса в виде панорамной камеры и серверной системы распространения и доставки с плеером в веб-интерфейсе.
А расскажет об этом Анатолий Горонеско — спикер с большим опытом организации вещательной инфраструктуры для спортивных событий.
Нейросетевая human-centered видеоаналитика
Даниил Киреев
VisionLabs
Даниил расскажет про развитие и продуктовое применение таких технологий human-centered видеоаналитики, как мультикамерный трекинг людей с использованием person re-identification, анализ их атрибутов и действий. Он покажет, как типовым образом из них собирается готовый пайплайн, а также где и как в конечном итоге его можно эффективно использовать.
Анализ видеопотоков при помощи нейросетей и компьютерного зрения в реальном времени
Максим Купрашевич
SberDevices
В мире видеостриминга высокая нагрузка и реальное время обработки уже давно стандартные условия. Но это касается условно «классических» задач. С тяжеловесными нейросетями в компьютерном зрении история другая: немногие могут выдерживать одновременно десятки видеопотоков на одном сервере и обрабатывать при этом их на лету.
Из доклада вы узнаете, почему такие задачи вообще возникли, как команда Максима их решала и почему оставила основным языком своих решений Python.
Другое
Как повысить качество сервиса с помощью инструментов мониторинга
Иван Родионов
Элекард
Успешность сервиса во многом зависит от предоставляемого качества потоков. В докладе пойдет речь о системном мониторинге вещания с отслеживанием параметров QoS и QoE (доставки и возможности воспроизведения). Спикер опишет, в каких ситуациях оправдано использование объективных видео метрик, и объяснит, как интерпретировать полученные результаты.
Продуктовые near real-time статистики по видео из технических данных
Иван Соколов
Дзен
Сервисы стриминга онлайн-видео часто собирают техническую статистику с клиентов для мониторинга качества отдачи видео и подсчета метрик счастья пользователей. Но можно ли использовать их в продуктовых задачах?
Спикер расскажет, как в его команде смогли ускорить расчет продуктовых статистик (счетчика просмотров видео и числа зрителей на трансляции), воспользовавшись этим потоком данных и не привлекая клиентскую разработку.
В заключение
Напоследок остаётся только напомнить, что все остальные подробности (вроде точного расписания) — на сайте конференции. Билеты — там же.