ИИ-агенты на пике хайпа и обсуждений, пускай многие сомневаются, что этот тренд надолго. Согласно исследованию нашей команды Research & Insights Центра стратегии цифровых продуктов МТС, вкладываться в эту технологию и использовать ее в мире будут всё больше/чаще/активнее/быстрее/мощнее.
В полном тексте исследования проанализировали ситуацию, тренды и возможные сценарии. Разбор основных тезисов мы, Максим Зубарев, Екатерина Лустач, Филипп Шедько и Андрей Осин, уже публиковали. В этой части расскажем про виды агентов — какие они бывают и для чего применяются:
● Simple reflex agents: ничего не помнят
● Model-based reflex agents: знают про Матрицу
● Goal-based agents: видят цель и не видят препятствий.
● Utility-based agents: эффективность и тонкий расчет
● Learning agents: постоянно совершенствуются
● Бонус: как еще разделять ИИ-агенты
Simple reflex agents
Простые рефлекторные агенты (Simple reflex agents) — базовая и примитивная форма жизни. Этот вид принимает решения на основе текущих данных. Памяти нет, агенты не обучаются и не взаимодействуют с другими, а работают только по заранее заданным правилам — «если X, то Y».
Рефлекторные агенты эффективны в средах с предсказуемым и ограниченным набором правил. А вот незнакомые ситуации ставят их в тупик — не могут перестроиться и отреагировать как нужно. Поэтому никаких сложных сценариев или условий! Эти агенты не учатся на ошибках и не обновляют правила из-за новой информации.
Пример simple reflex agent — выключатель света с датчиком движения или умный термостат, включающий обогрев, если температура ниже заданной.
Model-based reflex agents
Модельно-рефлекторные агенты (Model-based reflex agents) — более продвинутый вариант! Они воспринимают среду, отслеживают ее изменения и обладают памятью. Благодаря этому поддерживают внутреннюю модель мира, имеют о нем представление и принимают обоснованные решения в динамических, изменяемых средах. Когда вводных недостаточно или они неполные, модель восполняет пробелы самостоятельно.
По мере того как агент получает новую информацию, модель обновляется и учитывает историю состояний. То есть предыдущий simple reflex agent эволюционировал: набор правил «если X, то Y» уже не в вакууме, а в модели мира, описывающей изменения среды, в том числе из-за действий агента.
Пример: умный пылесос строит карту помещения, запоминает расположение стен, дверных проемов и мебели. Еще один представитель — автокоррекция запоминает историю ввода пользователя и учитывает ее в рекомендациях.
В общем, model-based reflex agent обновляется на основе как своих действий, так и информации с датчиков. Получаем адаптивность и улучшенные решения.
Goal-based agents
У агентов, ориентированных на цели (Goal-based agents), как и у модельно-рефлекторных, есть внутренняя модель мира. Но не только она! Еще у них появляется, собственно, цель, их так и называют — целевые агенты. Действуют они так: анализируют возможные последовательности действий и выбирают те, что ведут к цели.
Важно! Оценивают выгоду они не «лучше/хуже». Лишь прогнозируют, приведет ли конкретный шаг к цели в текущих обстоятельствах — «да/нет». То есть выбор бинарный, но решение адаптируется. Ставим цель — и агент запускается. Анализирует контекст, окружающую среду — с помощью датчиков или имеющихся данных.
Следующий шаг — спланировать последовательность действий, , алгоритм, чтоб достичь цели эффективнее.
Затем агент выполняет алгоритм, но постоянно адаптируется. То есть корректирует свой маршрут / очередность действий в зависимости от изменений среды и условий.
Показательный пример такого агента: шахматная программа, размышляющая: «Поставлю ли я мат через несколько ходов, если пойду таким образом, — да или нет?». То есть целевые агенты не просто реагируют на ситуацию и опираются на память — они уже способны построить план и адаптировать его под меняющиеся обстоятельства. Но оценивают действия исключительно по критерию того, ведут ли они к цели.
Utility-based agents
Утилитарные агенты (Utility-based agents) принимают решения, оценивая полезность и результативность действий, достигающих цели. Предыдущий тип, Goal-based agents, просто выбирает кратчайший путь к цели с оглядкой на изменения вокруг, а этот уже считает в числах, насколько вариант X выгоднее, чем Y или Z.
Числовая оценка алгоритма зависит не только от его скорости, но и от, например, стоимости, времени, прибыли, энергопотребления и так далее. Ну и неопределенность такой агент просчитывает заранее: прикидывает, какие события смогут повлиять и что с ними надо будет делать.
Пример: торговый бот анализирует биржу и выбирает лучший момент для сделки. Или сервис такси динамически меняет цены. Или бот управляет цепочками поставок. Шахматный утилитарный агент тоже имеет место быть, только победить его сложнее, чем целевой.
В общем, утилитарный агент идеален для задач с распределением ресурсов, балансированием целей и ограничений. Не просто краткий путь, а взвешивание рисков и выгод.
Learning agents
Обучающиеся агенты (Learning agents) улучшают свои действия на основе опыта, анализа обратной связи и взаимодействия с миром. Непрерывно учатся на успехах и неудачах, не просто следуют правилам, а постоянно совершенствуются, чтобы справляться с неопределенностью.
Learning agents обычно состоят из четырех компонентов:
Производительность — выбирать необходимые действия в текущей среде, исходя из базы знаний.
Обучение — совершенствовать знания и возможности агента.
Критика — оценивать эффективность агента по стандарту.
Генератор проблем — исследовать и открывать стратегии, собирать новую информацию. Благодаря ему агент находит оптимальные решения, а не слепо повторяет прошлые успешные действия.
Пример: рекомендательная система в Netflix анализирует предпочтения пользователя. Еще пример — спам-фильтры обучаются на поведении пользователей, в частности на кликах по кнопке «спам», благодаря чему постоянно улучшают фильтрацию. Сюда же относятся игровой ИИ и чат-боты поддержки.
В чем разница
Таблица со сравнением типов ИИ-агентов:
Если резюмировать, то их отличают возможности и функциональность:
Simple reflex agents принимают решения по правилу «действие/условие». В Microsoft ИИ-интерфейс собирает упоминания компании в СМИ, подкастах и соцсетях: условие — появилось упоминание, действие — уходит в подборку. Так команда коммуникаций получает инсайты для оперативной реакции.
Model-based reflex agents принимают решения на основе внутренней модели мира, своего представления о нем. Цифровой помощник операторов атомных станций от Росатома на основе собранных данных предупреждает о возможных отклонениях в работе систем и прогнозирует развитие событий на ближайшие 30 минут.
Goal-based agents оценивают не только устройство внешней среды, но и последствия своих действий.
Utility agents обычно узкоспециализированные, применяются для конкретных задач. Этим похожи на Goal-based, но решают сообразно контексту. В Wealthfront ИИ-агенты управляют портфелем, оптимизируют налоговые стратегии и корректируют инвестиции в соответствии с целями пользователя.
Learning agents — становятся производительнее и адаптируются к новым условиям. Insilico Medicine с помощью своей ИИ‑платформы Pharma AI обнаружила лечение редкой легочной болезни, разработала препарат Rentosertib и вышла на доклинические испытания примерно за 2 млн $ и 18 месяцев вместо обычных 400 млн $ и 3–6 лет.
Бонус: как еще разделять ИИ-агенты
Конечно же, выше — не единственная классификация. Еще агенты различают по сфере применения.
Интересно, что приоритет в инвестициях в агенты у инфраструктурных решений — «технологий для технологий». Более 42% венчурных вливаний, $8,53 млрд $, идут на создание и оптимизацию ИИ-агентов: AI Agent Builders, Software Development & IT Operations и AI Agent Infrastructure. Инфраструктурными ИИ-агентами занимаются 115 компаний.
Лишь 11,5% финансирования или $2,4 млрд привлекли агенты, ориентированные на конкретные отрасли — Healthcare, Finance & Banking, Education, Insurance, Logistics и другие. Почти в 4 раза меньше, хотя число компаний сопоставимо — 106. Дело в том, что специализированные решения пока воспринимаются как незрелые, но именно они станут главными драйверами спроса в ближайшие 3–5 лет.
Устойчивый спрос и зрелость заметили у еще двух направлений развития ИИ-агентов:
Customer Service: 32 компании, 1,78 млрд $, 8,5% инвестиций. Это объясняется большими, исторически накопленными датасетами и высокой стоимостью поддержки.
Personal Assistant & Productivity: 24 компании, 2,954 млрд $, 14,1% инвестиций. У этого сегмента высокий пользовательский интерес и понятное применение — управлять временем, задачами и коммуникациями.
На этом у меня все. В планах еще две статьи по текущему исследованию: будут еще две части, где мы остановимся на ситуации на иностранных рынках и будущем развития технологии.