Традиционные методы обработки изображений и видео, включая уже раритетные капсульные сети и модные видео‑трансформеры (их ждет та же участь), достигли своего потолка и для решения не самых сложных задач требуют огромных ресурсов. А есть задачи посложнее.

Не самая сложная задача – это Content ID YouTube, на разработку которой компания потратила минимум  $100 млн и 10 лет. Задачу, которую должна решать система: сравнивать видео с видео и ловить пиратский контент автоматически. Content ID – реально сложная, и по-своему выдающаяся система, про которую до сих пор известно довольно мало. Но даже она, при всех затратах и при всех усилиях лучших инженерных умов, остановилась примерно на половине пути. Хотя казалось бы: нужно всего-то сравнивать все видео с друг с другом. Что уж говорить про системы так называемого автопилота, которые тоже работают с видео – но в гораздо более сложной и разнообразной среде. Несмотря на все громкие обещания Илона Маска уважаемого, воз и ныне там. Об этом чуть позднее.

Разберем на примерах YouTube и Tesla, почему все компании, пытающиеся работать с видео и с компьютерным зрением, шагают по бесконечному тупику, и как методы TAPe нашей пока что малоизвестной научно-исследовательской лаборатории щелчком пальца (за которым стоят годы RnD) решают задачи бессильных в данном случае мегакорпораций. 

Прощайте, мечты об автопилотах на дорогах!*

В этой статье:

• Краткое описание, как и почему Гугл/Ютюб не справляются с элементарной задачей

• Куда смотрит Илон Маск, когда ему рассказывают сказки про компьютерное зрение

• Почему ИИ и здесь бессилен (потому что)

• Самое главное - что в целом не так с индустрией компьютерного зрения, с технологией компьютерного зрения, почему все это в некотором роде пустая трата времени и денег, почему, наконец, слово «распознавание» не соответствует ни одному из распространенных ML‑решений;

• Что такое настоящее распознавание и как методы TAPe решают любую задачу компьютерного зрения с качеством выше SOTA.

Анатомия бессилия Content ID

Начнем с более простой задачи – Content ID. 

Content ID хранит базу эталонных аудио- и видеоотпечатков правообладателей (по некоторым оценкам, более 800 млн референсных файлов), а каждое новое загружаемое видео прогоняется через пайплайн: извлечение признаков → инвертированный индекс → скоринг совпадений по числу совпавших сегментов и их временной непрерывности → при превышении порога – претензия или блокировка. Для аудио используется технология, близкая к Shazam: разбивка на короткие чанки (10–20 мс), спектр, характерные пиковые точки.

Все это прекрасно работает, пока вы ищете целые клипы или большие куски видео. Возьмите из фильма кусочек длиной 1, 3 или 20 минут. Система должна не только «узнать» фрагмент, но и правильно сопоставить его с нужным правообладателем из базы сотен миллионов записей – без катастрофически высокого числа ложных срабатываний. При этом порог чувствительности приходится балансировать вручную: слишком низкий – пропускает пиратство, слишком высокий – блокирует законный fair-use контент. Именно поэтому на YouTube так много видео с короткими «нарезками» из фильмов: Content ID технически не может экономически эффективно обрабатывать фрагменты ниже определенного порога длительности – и Google, по всей видимости, принял прагматичное решение считать их «некритичными».

Слишком дорого, даже для Google, сравнивать «все со всем» – теми методами, которые компании известны. 

Вот вам еще один вброс/лакмусовая бумажка: если бы у Google была экономически эффективная, работающая система Content ID, не вывел ли бы он сей продукт работы с видео на рынок? Мы утверждаем, что у него нет такой системы. Слишком дорого и неэффективно текущими технологиями обрабатывать видео.

Анатомия бессилия TESLA

У Tesla (как и у Google) конечно, есть время и  деньги и инженеры обучить любую модель – только эти модели все равно не будут выполнять задачу на нужном уровне. Несколько лет назад мы уже писали, что Tesla никогда* не сделает настоящий автопилот, и за прошедшее время ситуация только подтвердила этот прогноз. Несмотря на все громкие заявления и обещания Илона Маска, FSD официально остается лишь ассистентом водителя уровня 2 SAE: слово «autopilot» стыдливо и тихонько из интерфейса убирают, переименовывая функции в «Self‑Driving (Supervised)», сама система продается по подписке и юридически требует постоянного надзора человека.

Технически Tesla движется вперед (FSD v14, MLIR‑компилятор, v14 Lite для HW3), о чем гордо сообщают со сцены во время ежегодных Тесла-дней, а фанаты/поклонники взахлеб тиражируют эту инфу. Но этот прогресс живет в рамках все той же архитектуры, которая плохо переносит плохую видимость и редкие сценарии. И вообще негодна для автопилота. Именно поэтому на фоне роста параметров и «ускорения реакции» разворачиваются расследования NHTSA, автомобили с FSD попадают под инженерный анализ, урегулируются первые иски о гибели пешеходов, а владельцев теперь просят комментировать каждое ручное вмешательство.

Без человека система по‑прежнему не справляется – что, в общем-то, ожидаемо, для тех кто в теме. 

Анатомия бессилия ИИ

Кратко:

Вопрос: почему бы не воспользоваться всемогущим ИИ? 

Ответ: потому что он здесь бессилен, это неподходящий громоздкий инструмент.

Чуть подробнее:

Современный ИИ вообще и в компьютерном зрении в частности исходит из веры (перетекшей в уверенность, во всяком случае маркетинговую), что если взять достаточно много данных, достаточно увеличить число параметров в модели и достаточно нарастить вычислительные ресурсы, «правильные выводы из кучи данных» рано или поздно появятся сами. Чем больше, тем лучше; вопрос времени, энергии, денег как бы вынесен за скобки. Это касается не только конкретных продуктов вроде “автопилота” Tesla, а всей парадигмы — от медицинских моделей до атомной энергетики.

Статистика обучающей выборки становится центральным объектом веры (уверенности). Но статистика по своей сути — это признание того, что задача не решена, а вокруг нее накоплено множество корреляций. Математики надеются, что если достаточно долго смотреть «вокруг решения», можно подобрать приближение. Уравнение не сходится, но ведь есть кучи‑кучи данных, из которых можно вытащить более‑менее рабочий вариант. Поэтому в компьютерном зрении модель не умеет распознавать сцену, но умеет угадывать паттерны в пикселях, натренированные на огромных выборках.

Так модель живет в мире приближенных угадываний. Она работает, пока новые ситуации более‑менее похожи на те, на которых ее учили, и начинает вести себя странно там, где реальность выходит за рамки этой «привычной» статистики — в редких случаях, крайних сценариях и необычных конфигурациях сцены. В LLM это печально (ошибки, глюки, бред, плохая работа – aka «галлюцинации»), в компьютерном зрении для «автопилота» – это катастрофа.

Почему компьютерное зрение с современными подходами в принципе – мракобесие и ретроградство

Нынче технологии компьютерного зрения вынужденно (вынужденно, ибо, судя по всему, другие методы/подходы неведомы создателям многочисленных систем) разбивается на подзадачи: детекция, классификация, сегментация (и до кучи семантика). Каждая из них решается отдельно, а затем из этих кусочков пытаются собрать распознавание. Это работает до определенного уровня, но сам акт распознавания — понимание сцены — остается вне формализации. 

Отсюда гонка параметров и железа: когда не хватает качества, добавляют еще миллиарды параметров, еще слои, еще ViT, еще GPU‑фермы. В сущности, это попытка заставить лестницу дотянуться до вершины горы, вместо того чтобы признать, что лестница — неправильный инструмент.

При этом масштаб проблемы маскируется или даже не понимается: речь идет не о том, что «нужно чуть больше ресурсов», а о том, что задача в этой постановке в принципе нерешаема, как бы ни росли числа (GPU, параметров и иже с ними). 

Слово «распознавание» не соответствует ни одному из распространенных ML‑решений: модели делают маленькие задачки, сколько бы их ни было, а не задачу целиком. Главная задача так и остается – и останется – нерешенной. Детекция – это не распознавание. Классификация – это не распознавание. Сегментация – это не распознавание. Детекция + классификация + сегментация – это тоже не распознавание. 

А что же такое распознавание?

Как TAPe (и только TAPe) решает задачу распознавания в компьютерном зрении

Теперь к тому, что рано или поздно изменит ситуацию принципиально.  TAPe+ML решает любые задачи компьютерного зрения принципиально иначе и на принципиально меньших ресурсах (кажется, слишком много слова «принципиально», но такова жизнь). Более того. TAPe закрывает все, любые задачи, связанные с компьютерным зрением.

Дисклеймер для тех, кто до сих пор не знает, что это

TAPe (Theory of Active Perception, теория активного восприятия) — это не еще одна нейросеть с другой архитектурой, а принципиально (sic!) другой способ описывать (в случае с TAPe – воспринимать) информацию (в случае с TAPe – реальность). Вместо сырых пикселей или патчей — структурированные элементы (T-bits), в которые уже встроена геометрия и семантика сцены согласно в том числе математической теории на основе теории групп. Если в классическом подходе нейросеть учится выводить геометрию из миллиардов пикселей, то в TAPe она зашита в само представление — ML-слой лишь уточняет и дообучает поверх уже разумной основы.

Почитайте про TAPe здесь, на Хабре: можно начать с этой (и закончить ею же):

Тихая-тихая мировая революция. Мы сделали модель распознавания для любых задач компьютерного зрения – и выше уровня SOTA

TAPe радикально (наконец-то удалось подобрать синоним к слову "принципиально") меняет постановку задач компьютерного зрения: вместо попытки извлечь «смысл» из статистических корреляций между пикселями, он решает задачу распознавания целиком, без бесконечного наращивания параметров и GPU и не через набор подзадач. 

Детекция, классификация, сегментация в нашем подходе — побочные, фоновые задачи. Они возникают как следствие того, что распознавание уже произошло, а не как кирпичики, из которых его собирают, как это происходит в традиционных подходах. Мы идем от основы: распознавание — и фоном, как производные, получаем детекции, классы, сегменты. И получаем их на уровне или лучше SOTA.

Глава, в которой мы утверждаем, что лучшего решения для работы с видео, тем более в области компьютерного зрения, чем методы TAPe на сегодня не существуют

Конечно, все это не значит, что методов TAPe достаточно для полного Content ID или полноценного автопилота. Важно трезво разделить задачи. Автопилот — это не только компьютерное зрение; там есть интуиция человека, другие сенсорные каналы, сложные когнитивные механизмы, про которые, кажется, пока никто не знает, что это такое, как это формализовать и как «выцарапать» из данных. А Content ID – это не только видео, но и авторские права, аудиодорожки, бизнес-логика. 

Впрочем, задачу “сравнить все видео YouTube между собой” мы как раз решили. Применительно к Content ID TAPe разбивает видео на сцены (около 1600 сцен на час), каждая описывается всего 48 байтами (≈1 МБ индекса на час). TAPe-дерево поиска устроено так, что найти сцену в архиве любого размера — вопрос десятков обращений к памяти: для миллиарда сцен (80 лет видео) — около 30, для триллиона (порядка 80 тысяч лет, весь YouTube) — около 40. Все это на одном старом сервере, без GPU, мгновенно. Как тебе такое Илон Маск

TAPe‑методы позволяют реализовать часть, которая касается изображения, на максимуме — вплоть до работы с очень мелкими фрагментами. Наши алгоритмы работают с изображением на уровне вплоть до нескольких пикселей, вырезанных из большого кадра, и могут находить те же сочетания пикселей где‑то в огромных объемах. 

Что касается автопилота, то правда в том, что автопилот только «через компьютерное зрение» вообще невозможен: зрение — только часть задачи. Но именно эта часть методами TAPe решается полностью. Мы уверены, что этого максимума все равно недостаточно, чтобы собрать полноценный автопилот, но это значит, что проблема не в компьютерном зрении, а в других, неформализованных компонентах — интуиции, принятии решений, человеческом опыте. Добавлять «еще 13 млрд параметров», надеясь, что модель сама из пикселей вытащит то, что мы даже не умеем определить как понятие, — это не инженерное решение, а фантазия. Поэтому методы TAPe и не гарантируют, что однажды слово «Supervised» исчезнет из названия системы автопилота. 

Мы гарантируем другое: все, что относится к компьютерному зрению вообще и внутри автопилота в частности, нужно делать через TAPe – потому что, повторим еще раз, TAPe закрывает все, любые задачи, связанные с компьютерным зрением, и требует при этом на порядки меньше ресурсов, чем любые SOTA-модели, и при этом превосходит их по результатам. 

* Если только Илон Маск не прочитает эту статью