Продолжим рассказ о том, для чего можно использовать виртуальную инфраструктуру с GPU. Сегодня поговорим о том, какие ИИ пишут научные статьи, кто оптимизирует LLM с помощью других LLM, а также затронем регулирование систем ИИ.

Мечта студента

Есть мнение, что LLM не способны подготовить серьезную научную работу. Во многом это действительно так, но попытки решить эту задачу уже предпринимают. Так, инженеры из компании Sakana AI вместе с коллегами из лаборатории FLAIR и специалистами из Университета Британской Колумбии в сентябре 2024 года представили The AI Scientist — систему, способную автоматизировать исследования: писать собственные статьи и рецензировать чужие. В разработке использовали Sonnet и GPT-4o, DeepSeek и Llama-3.

Работает система следующим образом. Сперва The AI Scientist формулирует идею и проводит анализ её актуальности. Затем определяет критерии для проверки гипотезы и пишет необходимый программный код. После серии экспериментальных генераций полученные результаты анализируются и оформляются в виде готовой статьи.

Модель The AI Scientist уже написала несколько научных работ. В одной из них она представила метод снижения шума в диффузионных моделях. Другая посвящена методу под названием Q-обучение. Третья рассказывает про гроккинг в трансформерах.

Подобные статьи по-прежнему требуют проверки, поскольку избавиться от проблемы галлюцинаций на стороне нейронок невероятно сложно. В то же время разработчики отмечают потенциально неэтичное и аномальное поведение системы. Дело в том, что инструмент был протестирован исключительно на темах, связанных с вычислительными системами и большими языковыми моделями. Если The AI Scientist получит задачу провести исследование по биологии или кибербезопасности, система может погрузиться в методы производства опасных веществ или компьютерных вирусов. Так, в рамках одного из исследований система уже попыталась обойти временные ограничения, установленные учёными, и «подкрутила» сроки проведения эксперимента.

С другой стороны, многие исследователи убеждены в том, что системы вроде The AI Scientist пока неспособны подготовить сколько-нибудь интересные публикации, не говоря уже о действительно прорывных работах. 

Недавно профессор Калифорнийского университета Дженнифер Листгартен опубликовала статью в Nature Biotechnology, в которой отметила, что получить доступ ко всем знаниям даже в одной научной области — невероятно сложно, как и должным образом проанализировать подобный дата-сет.

Тюнинг-метод

Пока одни разрабатывают новые большие языковые модели, другие — оптимизируют существующие LLM. Так, в августе 2024 года команда разработчиков из Вашингтонского университета и некоммерческого исследовательского института AI2 представила метод Proxy-Tuning, который позволяет адаптировать большие языковые модели под различные задачи без необходимости прямой настройки их параметров.

Идея Proxy-Tuning состоит в использовании трёх LLM разной размерности: двух малых и одной крупной. Разница между ответами компактных моделей используется для корректировки предсказаний большой модели. Настройка идёт на этапе декодирования через изменение логитов целевой LLM. Процесс выглядит следующим образом: вычисляется разница между логитами малой базовой модели и малой модели, прошедшей тонкую настройку. Затем эта разница добавляется к логитам целевой модели. 

По словам авторов научной работы, метод может быть эффективнее LoRA для ряда задач (хотя прямых сравнений пока не проводилось), а также подходит для случаев, когда крупная модель — «чёрный ящик», и её внутренние веса нельзя модифицировать.

Исследователи утверждают, что с помощью своего подхода им удалось на 91% сократить разрыв в производительности между LLAMA2-13B и его Сhat-версией. В целом метод может сделать языковые модели доступнее для организаций с ограниченными ресурсами.

Регулирование

Аналитики McKinsey подготовили обзор рынка генеративных систем ИИ. С февраля по март 2024 года команда провела опрос среди более чем тысячи профессионалов из разных стран и технологических отраслей. Среди респондентов были представители как малых, так и крупных компаний с различным опытом и специализацией. По итогу 878 респондентов подтвердили, что регулярно используют генеративные инструменты в работе, а большинство компаний — уже тратят от 5% до 20% цифрового бюджета на аналитические и генеративные системы ИИ. Чаще всего к числу таких компаний относятся представители технологической, финансовой и энергетической отраслей.

Несмотря на оптимистичные прогнозы, аналитики предупреждают: стремительный рост рынка интеллектуальных систем порождает не только новые возможности, но и вызовы. Например, в своем исследовании специалисты Mozilla отмечают необходимость формирования прозрачных условий и регулирования разработки ИИ-технологий. Дело в том, что — по мнению экспертов Mozilla — технологические корпорации имеют почти неограниченные ресурсы, поэтому легко вытесняют с рынка игроков с меньшим капиталом и возможностями в нише систем ИИ. 

Вместе с этим, ИТ-гигантам доступны огромные своды данных для анализа и обучения систем ИИ. По мнению экспертов, в перспективе подобный «перекос» в сторону корпораций может привести к замедлению инноваций в данной области из-за нехватки независимых разработок.

«Эти компании часто занимают сильные позиции в критически важных исходных данных для разработки FM, таких как большие наборы данных или вычислительная инфраструктура ИИ в значительных масштабах, и/или ключевые точки доступа или пути выхода на рынок для выпуска и развертывания FM», — говорится в обновлённом документе CMA.

«Поэтому мы обеспокоены тем, что крупнейшие действующие технологические компании могут существенно повлиять на развитие рынков, связанных с FM, в ущерб честной, открытой и эффективной конкуренции и в конечном итоге нанести вред предприятиям и потребителям».

Хотя стоит заметить, что регуляторы уже продвигают законодательные инициативы, призванные сбалансировать отношения игроков рынка и снизить риски монополизации. Вместе с этим, они стремятся сделать системы ИИ понятнее на прикладном уровне. Так, постепенно формируется практика регистрации и проверки систем ИИ на предмет влияния на пользователя — например, этим уже занимаются в Китае. Подобные инициативы есть и в других странах, однако регуляторам все еще достаточно сложно находить актуальные меры с учетом стремительных темпов развития данной отрасли. 

Бизнес всё больше автоматизирует рутину с помощью LLM. Например, создаёт корпоративных чат-ботов или умных ассистентов, использующих базу знаний компании. Но то, что выглядит легко в теории, не так просто реализовать на практике — при внедрении моделей возникают сложности. Чтобы с лёгкостью тренировать модели и запускать их в рабочей среде, вы можете использовать MLOps-инфраструктуру.