ИИ-агенты обещают помочь нам в реальных приложениях: от настройки браузера до редактирования изображений и работы с медиаплеером. Но чтобы уверенно жать на нужные кнопки и не путать меню, им нужны тысячи качественных демонстраций, снятых прямо в целевых программах. С такими данными беда: готовые датасеты узкие и быстро устаревают, а синтетика часто проста и плохо совпадает с задачами. Авторы Watch & Learn предлагают новую идею: взять обучающие видео из интернета и превратить их в точные пошаговые сценарии для кликов, прокруток и ввода текста.
Находка в очевидном: учимся у YouTube
Ключевая инженерная мысль здесь — смотреть на проблему как на инверсную динамику: если даны два соседних кадра экрана, нужно восстановить действие, которое их связало. Это проще и надежнее, чем пытаться по одному кадру и тексту придумать, куда кликнуть. Авторы обучают специальную vision‑модель, которая по паре кадров предсказывает тип действия, координаты клика или движения мыши, а при вводе текста — сам текст. Без хрупких эвристик и без привязки к HTML.
Как устроен Watch & Learn
1) Учим «чувствовать» действие. Сначала собирают большой корпус переходов состояний: ~500k автоматических взаимодействий с живыми сайтами плюс 132k человеческих из Mind2Web — итого более 630k троек (экран до, действие, экран после). На них тренируют модель обратной динамики: энкодер SigLIP‑2 + несколько слоев Transformer, три головы на выходе — тип действия, координаты и текст. Координаты предсказывают как классы по сетке, что заметно повышает точность.
2) Добываем сценарии из видео. По описанию задачи ретривер ищет релевантные туториалы на YouTube. Видео фильтруются по кадрам (1 кадр/с): сохраняются чистые скринкасты с высоким качеством. Далее к каждой паре кадров применяется модель инверсной динамики, и из ролика получается исполняемая последовательность действий. Для инференса хранят лучшие видео под задачу; для обучения — весь прошедший пул.
3) Используем данные дважды. Сценарии идут и как примеры в контексте при решении задач, и как обучающие данные для SFT. В первом случае к шагам добавляют краткие рассуждения, во втором — просто пары «состояние — действие».
Что получилось на практике
За счёт этой цепочки удалось собрать 53 125 сценария по 69 приложениям — от браузеров и GIMP до VLC и системных утилит. На бенчмарке OSWorld‑Verified приросты стабильные.
In‑context для универсальных моделей: Gemini 2.5 Flash +3% (19 → 22), o3 +2.5% (21.8 → 24.3), Claude 4 Sonnet +1.6% (43.9 → 45.5).
Агентный стек Jedi: +2.2% (50.6 → 52.8).
Обучение открытых моделей: Qwen 2.5‑VL 7B — +11.1%. (1.9 → 13), UI‑TARS‑7B — +3.8% (27.3 → 31.1).
Качество разметки действий — ключ к успеху. На тесте Mind2Web точность действий у модели инверсной динамики — 91.6% против 82.7% у TongUI и 72.8% у базовых систем. Особенно сильны клики и прокрутка; ввод текста сложнее, но тоже на уровне. В абляциях заметно, что голые кадры почти не помогают, а структурированные действия дают стабильный плюс; короткие рассуждения добавляют ещё немного.
Где прирост больше
Максимальные выигрыши — в доменах с богатой библиотекой чётких туториалов: chrome, gimp, vlc. Там примеры информативны и хорошо совпадают с задачами. Скромнее — в vscode и задачах ОС, где много текста и кода, а также в интерфейсах с тонкими действиями вроде drag‑and‑drop, которые текущая модель действий не поддерживает.
Почему это важно
Работа показывает, что видео из интернета — полноценные источники исполняемых навыков для ИИ-агентов. Специализированная модель инверсной динамики снимает узкое место разметки и даёт данные, которые одинаково полезны и для in‑context, и для обучения. Это практичный путь к агентам, уверенно работающим в живых приложениях, без дорогой ручной разметки.
Что можно улучшить дальше
Логичные шаги — расширить репертуар действий (перетаскивания, комбинации клавиш), научиться лучше резать длинные ролики на задачи и добавить методы обучения с подкреплением поверх полученных сценариев. Масштаб самих видео тоже можно наращивать: как показывает кривая Qwen, после «критической массы» данные начинают работать особенно заметно.
***
Если вам интересна тема ИИ, подписывайтесь на мой Telegram‑канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.