Нам привычно взаимодействовать с системами, где мы нажимаем кнопки, и система молча выполняет наши команды. Однако мобильный мир вносит свои коррективы. В сложных сценариях, будь то заказ еды или настройка приложений, необходим посредник, способный понять цель пользователя, сохранять контекст диалога, задавать уточняющие вопросы и действовать последовательно, даже если интерфейс меняется. Разработчики ColorAgent создали агента ОС, который понимает запросы на естественном языке, умеет ориентироваться в изменчивом графическом интерфейсе Android и способен строить дружелюбное и интуитивно понятное взаимодействие с пользователем.

• Модель обучена в два этапа, что повышает точность восприятия экрана, рассуждений и действий.

• Система построена на мультиагентной архитектуре, состоящей из отдельных модулей, каждый из которых выполняет специфические функции: извлечение знаний, распределение задач и рефлексия над собственными действиями.

В результате агент не просто нажимает на нужные пиксели, но и демонстрирует адаптивность к пользователю. Он запоминает привычки, отслеживает предпочтения и, когда это требуется, предвосхищая потребности, задает уточняющие вопросы.

Как учили модель

Сначала её учили делать всё по шагам, как маленького ребёнка. То есть, вместо того, чтобы сразу пытаться решить всю задачу целиком, она думает, что сделать на каждом экране и почему. Разработчики специально сделали так, чтобы было несколько правильных вариантов действий (например, открыть приложение через иконку или через команду). И ещё они придумали понятные правила, чтобы поощрять её за хорошие ответы и правильные действия. Это помогает этой модели лучше понимать, что от неё требуется, и не выдавать всякую ерунду, которую она не сможет сделать.

Потом началось самое интересное: она начала учиться сама. Сначала она придумывает разные вопросы, потом пытается на них ответить в разных условиях, как в игре. После этого её ответы проверяют и отбирают только самые лучшие: правильно ли решена задача, нормальные ли были шаги, логично ли она рассуждала. Эти хорошие примеры используют, чтобы ещё лучше её натренировать. И так по кругу. Получается, что она сама себе собирает данные для обучения, и не нужно тратить много времени на ручную работу. И постепенно она становится всё умнее и лучше.

Почему одного «универсального» агента мало

Анализ выявил три проблемы у этих агентов: они тупят на новых интерфейсах, забывают, что делали в длинных задачах, и ломаются после первой же ошибки. Надо что-то придумывать.

Мультиагентная система: кто за что отвечает

Придумали следующее: сначала задача разбирается на части, если надо, и система помнит самое важное между этими частями. Например, если агент посмотрел чек, то следующая задача уже знает все цифры и категории.

Еще система умеет подтягивать инфу из разных мест: инструкции, интернет, прошлый опыт. Это помогает, когда на экране что-то новенькое вылезает и надо понять, что делать.

И самое главное – система постоянно проверяет себя на трех уровнях: каждый шаг, несколько последних шагов и вся задача целиком. Если что-то идет не так, она сразу же исправляется.

Что получилось на бенчмарках

На AndroidWorld агент достигает 77.2% успешных завершений задач, на AndroidLab — 50.7%. Это state of the art среди открытых и ряда коммерческих систем. Интересно, как распределен вклад:

• само обучение модели (пошаговое RL + самоэволюция) уже заметно поднимает показатели: для одной из базовых моделей рост составляет +29.3 п.п. на AndroidWorld и +14.5 п.п. на AndroidLab;

• добавление мультиагентной архитектуры дает дополнительный толчок к 77.2% и 50.7% соответственно.

Отдельно авторы отмечают, что модель большего размера легче переобучается: она показывает более высокую награду на обучении, но хуже обобщает. Баланс между емкостью и устойчивостью остается вызовом.

Ближе к человеку: память и проактивность

ColorAgent хочет быть другом, а не простым роботом. Если он помнит, что ты делал раньше, он это учитывает: и что ты просил напрямую, и твои привычки. А если не помнит – не проблема. Он лучше спросит, что тебе надо, прежде чем что-то делать. Это особенно важно, когда ты говоришь что-то не очень понятное, типа закажи гамбургер. Лучше уточнить, какой размер и соус, чем сразу налажать.

На пользовательских бенчмарках это видно: 58.66% на MobileIAR и 68.98% на VeriOS-Bench — заметный отрыв от бейзлайна. За этими цифрами — аккуратное соединение системных решений (мультиагентность, память, извлечение знаний) с дисциплинированным обучением (пошаговое RL, фильтрация сценариев).

Авторы прямо заявляют о необходимости более точных оценок, включая больше приложений, сложных ситуаций, исключений и показателей, которые не ограничиваются только процентом выполненных задач. Важно также обеспечение безопасности и контроля: необходимо определить, когда обращаться к человеку, как установить лимиты прав и как функционировать в изолированной среде. Вдобавок, интересно развивать взаимодействие между агентами и искать архитектуры, которые лишены слабых мест и позволяют масштабировать взаимодействие.

ColorAgent даёт понять, что будущее операционных систем — не в одном всемогущем интеллекте, а в слаженной работе множества узкоспециализированных агентов, которые:

• Постепенно учатся и совершенствуются сами, без ручной разметки данных.

• Делятся друг с другом опытом и знаниями.

• Умеют исправлять свои ошибки и подстраиваться под нужды пользователя.

Подобная структура позволяет системе работать стабильно, понимать контекст и быть удобной для человека даже в таких изменчивых средах, как Android ОС.

? Полная статья

? Код

***

Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.