В полку LLM прибыло: недавно специалисты из Французского национального центра научных исследований (French National Center for Scientific Research) объявили о релизе новой большой языковой модели под названием BLOOM (расшифровывается как BigScience Large Open-science Open-access Multilingual Language Model).

Большие языковые модели или LLM (Large Language Models) — это алгоритмы глубокого обучения, которые обучаются на огромных объемах данных. Их можно использовать в качестве чат-ботов, для поиска информации, модерации онлайн-контента, анализа литературы или для создания совершенно новых фрагментов текста на основе подсказок (чем занимается, например, «Порфирьевич», который способен генерировать весьма забавные короткие рассказы).

Новая LLM с открытым исходным кодом

В отличие от таких известных LLM, как GPT-3 от OpenAI и LaMDA от Google, BLOOM является открытой языковой моделью, а исследователи охотно делятся подробностями о тех данных, на которых она обучалась, рассказывают о проблемах в ее разработке и о том, как они оценивали производительность BLOOM. OpenAI и Google не делились своим кодом и не делали свои модели общедоступными. Поэтому для сторонних исследователей они являются своего рода «черными ящиками», ведь за исключением разработчиков, вряд ли кто-то может вывести точные алгоритмы, по которым эти модели обучаются.

Впрочем, эти алгоритмы не вполне понимают даже сами разработчики. Вот, например, цитата сотрудника Alphabet, материнской компании Google: «Мы всё ещё не знаем, что конкретно изучают эти модели машинного обучения». Получается, даже создатели LaMDA не знают, как она обучается, а значит, не могут эффективно решать проблемы ИИ (об одной такой проблеме с ИИ Гугла расскажем ниже). Так что такую открытость команды разработчиков BLOOM можно только приветствовать: у них хорошие шансы вывести свою модель в лидеры по качеству ИИ, ведь они будут работать плечом к плечу с разработчиками приложений на основе своей LLM.

И уже сейчас над BLOOM работают более тысячи исследователей-добровольцев в рамках проекта под названием BigScience, который координирует стартап Hugging Face, существующий за счет финансовой поддержки французского правительства. BLOOM был официально запущен 12 июля, и разработчики надеются, что новая LLM покажет себя не хуже уже известных моделей и поможет открыть доступ к передовым технологиям ИИ для исследователей во всём мире.

Именно простота доступа к модели является ее самым большим преимуществом — любой желающий может скачать и бесплатно поработать с BLOOM на сайте Hugging Face (доступны разные версии — смотрите список с интерактивными ссылками). Пользователи могут выбирать из нескольких десятков языков и выполнять такие задачи, как написание рецептов или стихов с помощью ИИ, перевод и анализ текстов. Разработчики ИИ могут использовать эту модель в качестве основы для создания собственных приложений.

Перспективы BLOOM

BLOOM насчитывает 176 миллиардов переменных, которые определяют, как входные данные преобразуются в желаемый результат, и это больше, чем GPT-3 от OpenAI с его 175 млрд. При этом в Hugging Face утверждают, что BLOOM предлагает такие же уровни точности, как и другие модели ИИ, а для таких языков, как испанский и арабский, BLOOM является первой большой языковой моделью подобного размера.

Однако разработчики предупреждают, что она не решит имеющихся проблем, связанных с большими языковыми моделями. Это в том числе отсутствие адекватных политик управления данными и конфиденциальностью, а также склонность алгоритмов генерировать «токсичный» контент (хотя упомянутый выше «Порфирьевич», обученный на русской классике, может с этим поспорить).

Существенное различие между BLOOM и другими доступными LLM заключается в том, что ее обучали на огромном количестве языков. BLOOM может обрабатывать 46 языков, включая французский, испанский, арабский, вьетнамский, китайский, индонезийский, каталанский, целых 13 языков Индии (хинди, бенгали, маратхи и ряд других) и аж 20 африканских. На русском тоже пишет, но пока довольно вяло. Кроме того, модель понимает 13 языков программирования. Почти треть обучающих данных была введена в модель на английском языке: следствие того, что именно английский является наиболее часто используемым языком в интернете.

Языковое разнообразие, которое демонстрирует BLOOM, весьма необычно для мира LLM, в котором уверенно доминирует английский. И этого удалось добиться благодаря тому, что команда разработчиков привлекла добровольцев со всего мира для создания подходящих наборов данных на других языках, даже если эти языки не были так хорошо представлены в интернете. Например, Hugging Face организовала семинары с африканскими исследователями ИИ, чтобы найти тексты, которые можно было бы использовать для обучения модели африканским языкам. И коллективными усилиями удалось обучить ИИ «говорить» на этих языках довольно сносно.

Включение такого большого количества разных языков может оказать огромную помощь исследователям ИИ в бедных странах, которым часто трудно получить доступ к обработке естественного языка, потому что для этого требуются дорогостоящие вычислительные мощности, притом в большом количестве. BLOOM позволяет избежать затрат на обучение ИИ и сосредоточиться на создании приложений и тонкой настройке модели для решения задач на родных языках исследователей. И может случиться так, что наиболее значительным вкладом BigScience в разработку языкового ИИ окажется не сама BLOOM, а как раз исследовательские проекты на ее основе. А что же именитые конкуренты BLOOM? Один из них тоже напомнил о себе этим летом.

О разумности LaMDA: много шума из ничего?

В июне текущего года инженер Google Блейк Лемуан (он на фото выше) ошарашил мировую общественность заявлением, что LLM LaMDA, над которой он работал вместе с другими программистами, может обладать некоторым подобием разума. На эту мысль его навел диалог с программой, в котором LaMDA в большинстве случаев выдавала такие ответы, которые действительно могли бы свидетельствовать о наличии у нее мыслительных способностей. Этот диалог, опубликованный самим Лемуаном, можно найти здесь.

Некоторые ученые и общественные деятели сразу стали бить тревогу и вспоминать мрачные прогнозы писателей-фантастов о порабощении человека машинным разумом. Однако эксперты в области исследования ИИ сразу заявили, что объявление подобных систем разумными — лишь манипуляции, отвлекающие маневры со стороны IT-гигантов, а вред, который такие «разумные» системы ИИ могут принести людям, лежит совсем в иной плоскости. Рассмотрим мнения разных специалистов:

• Лингвист и исследователь систем языкового машинного обучения Эмили Бендер из Вашингтонского университета заявила о том, что откровения Лемуана — хороший повод для технологических корпораций уходить в будущем от ответственности за решения, которые ИИ будет принимать в тех областях, где он будет внедряться. Если позиционировать эти системы как реальный Artificial Intelligence, люди начнут излишне доверять им, что может привести к проблемам. В качестве примера миссис Бендер приводит собеседования при устройстве на работу и студенческие экзамены: при оценке уровня подготовки испытуемых ИИ может оказаться предвзятым из-за того, что при его обучении использовались ограниченные наборы данных. Поэтому, если упор делается именно на «разумности» системы, это будет создавать опасные прецеденты, ведь создатели ИИ смогут избегать ответственности за ошибки и недоработки своих «детищ». 

• Похожую проблему озвучила и бывший руководитель подразделения по этике ИИ Google Тимнит Гебру, заявившая о том, что происходит смещение акцентов, и вместо решения реальных проблем (например, ущемления прав отдельных групп населения при помощи ИИ) начинается обсуждение разума ИИ. Кстати, именно Т. Гебру регулярно привлекала внимание руководства Google к проблемам ИИ, заявляя, что алгоритмы, лежащие в основе поискового движка Гугла, далеки от совершенства. 

• Барт Селман из Корнельского университета указал на то, что никаких научных доказательств встроенного в системы AI интеллекта не существует и LaMDA в этом плане ничем не отличается от других. Последнее, кстати, невольно подтвердил и один из коллег Лемуана в «интервью» с LaMDA. Вот прямая цитата сотрудника компании Google, участвовавшего в беседе с ИИ ботом: «Проблема в том, что у нас нет убедительного теста, чтобы определить, является ли что-то разумным».

И действительно, тот факт, что обученная на триллионах языковых примеров система внешне разумно отвечает на вопросы (одновременно являющиеся и подсказками), никак не может свидетельствовать о наличии у нее даже зачатков разума. Это может говорить лишь о том, что разработчикам удалось хорошо обучить ее употреблению слов в контексте, но более ни о чём.

Проблемы современных моделей ИИ

Американский ученый и исследователь ИИ Гэри Маркус еще до появления в сети откровений Лемуана опубликовал на портале Scientific American материал под названием «Общий ИИ не так неизбежен, как вы думаете». В статье он убедительно доказывает несовершенство алгоритмов современных систем ИИ, которые периодически допускают нелепые ошибки и не справляются даже с теми узкими задачами, для выполнения которых разработаны.

В частности, DALL-E 2 от OpenAI провалил тест на различение изображений астронавтов, едущих на лошадях, перепутав их с лошадьми, оседлавшими астронавтов. Предыдущая версия программы путала картинки, на которых были изображены красные и синие кубы в различных пропорциях. А разрекламированный Gato нередко выдает весьма странные описания изображений. Посмотрите, например, на подписи под некоторыми фотографиями здесь. Добавим сюда еще пару характерных случаев, похожих словно братья-близнецы.

• Первый произошел в 2015 году: тогда представители Google публично извинялись за свой ИИ, пометивший темнокожего разработчика ПО и его приятеля как «горилл» сразу на 80 фото, которые те выкладывали в Google Photos. Как же в Google исправили эту обидную оплошность своего продукта? Разработчики просто удалили слова «горилла» (gorilla), «шимпанзе» (chimp и chimpanzee) и «обезьяна» (monkey) из системы, сделав недоступными пометки с использованием этих слов. Вот и всё: никакого обучения ИИ, как можно было бы ожидать от разработчиков LaMDA или AlphaZero, не оставившего камня на камне от лучших шахматных движков. При этом в Google обещали оперативно устранить проблему, однако пользователи заметили, что и через три года после неприятного инцидента указанные выше теги всё еще были недоступны для отметок на фото. 

• Второй случай куда более свежий. На этот раз оконфузился Facebook, и, что забавно, команда поддержки социальной сети угодила в точно такую же ловушку. В 2020 году один из пользователей выложил ролик, в котором была показана ссора чернокожих мужчин с полицейскими. На странице анонса ИИ-помощник Фейсбука летом-осенью 2021 года стал предлагать пользователям продолжить смотреть видео про «приматов» (primates). Подробнее об этом случае здесь. А мы добавим, что за недоработки коллег вынуждена была оправдываться пресс-секретарь Facebook Дэни Левер, которая сделала следующее заявление: «Хотя мы и внедрили улучшения в наш ИИ, мы знаем, что он далек от идеала, и нам еще предстоит много работы для достижения прогресса. Мы просим прощения у всех, кто увидел эту оскорбительную рекомендацию». Разумеется, после этого случая ИИ-помощник был отключен и отправлен на доработку. Возможно, эти обезьянки потешаются именно над ним:

Оказалось, что научить программы корректно работать с изображениями и текстами куда сложнее, чем играть в шахматы. И это не говоря уже о более общих вещах. А ведь технология распознавания изображений уже внедряется в таких областях, как, например, создание беспилотных автомобилей, которые при таком несовершенстве ИИ становятся просто опасными. Так, в конце прошлого года мир облетела новость о том, что Tesla на автопилоте чуть не сбила девушку, переходившую дорогу по пешеходному переходу на зеленый сигнал светофора.

Но о проблемах автомобильного ИИ мы подробно поговорим в следующей статье, а здесь заметим напоследок, что порабощение глобальным машинным разумом человечеству в обозримом будущем вряд ли грозит. Более того, развитие ИИ до уровня человеческого мышления в ближайшие годы тоже не просматривается. И это при том, что человек уже много лет не может конкурировать с искусственными алгоритмами по объемам обрабатываемых данных. Отсюда, например, преимущества тех же шахматных движков над менее производительным человеческим мозгом, недостаток которого заключается в ограничении объема и скорости обработки информации. 

Однако по умению мыслить нешаблонно и выходить за рамки запрограммированных ситуаций ИИ пока еще бесконечно далек от человека, что наглядно иллюстрируют приведенные выше примеры. Ну а недобросовестные разработчики могут спекулировать на этой теме, чтобы списывать на «независимый разум» разнообразные ошибки своих продуктов. И именно в этом, на наш взгляд, и заключается главная опасность развивающихся алгоритмов ИИ, которые внедряются сегодня во многих сферах человеческой жизни.

А полноценный искусственный интеллект предсказывался давно — прочтите, например, этот замечательный короткий рассказ 1966 года от классика отечественной фантастики. Как думаете, обладала ли разумом эта машина? Как бы то ни было, до подобного уровня развития общим системам ИИ еще очень далеко, и правы те разработчики, которые не пытаются объять необъятное, а развивают узконаправленные ИИ в таких областях, как лингвистика, медицина, промышленное производство, работа с большими объемами данных (экономика, статистический учет и т. д.). Поэтому мы полагаем, что именно ИИ-помощники в конкретных сферах человеческой деятельности будут способствовать дальнейшему технологическому развитию и улучшению уровня жизни каждого из нас.

НЛО прилетело и оставило здесь промокод для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.