Особенности и отличия семейств LLM в одной статье. Разберемся, что это такое, как они развивались и чем отличаются друг от друга. Для новичков и желающих упорядочить знания в сфере LLM. Это перевод статьи Brain John Aboze из блога компании Lakera.

В стремительно меняющемся под влиянием искусственного интеллекта мире большие языковые модели (LLM) находятся на переднем крае, произведя революцию в способах взаимодействия с технологиями.

Эти сложные алгоритмы, созданные для понимания и генерации человекоподобного текста, являются не просто инструментами, но и помощниками, повышающими креативность и эффективность в различных областях. Однако по мере того, как растет список названий моделей, растет и сложность поиска информации в этом богатстве.

Ландшафт столь же пугающий, сколь и захватывающий: каждая модель может похвастаться уникальными возможностями, а их отслеживание становится все более сложной задачей.

Как сориентироваться в этом море вариантов, чтобы найти подходящую модель для своих нужд? Данное руководство призвано разобраться в особенностях LLM, начиная с основополагающих принципов и заканчивая выбором между моделями с открытым исходным кодом и проприетарными моделями.

По мере того как мы будем разбираться в тонкостях этих гигантов ИИ, вы поймете их механизмы и то, как их можно использовать для инноваций в вашей сфере.

Вот список LLM, которые представлены в этом обзоре:

• GPT-3

• GPT-4

• Gemini

• LLAMA

• Claude

• BLOOM

О базовых моделях

В стремительно меняющемся ландшафте искусственного интеллекта термин "базовая модель" (Foundation Model, FM) представляет собой смену парадигмы в разработке систем ИИ. 

Термин введен исследователями из Стэнфорда. Базовая модель отличается тем, что она обучена на обширных наборах данных, часто с помощью механизма самоконтроля, что позволяет этим моделям добиваться превосходства в решении множества задач.

Такой подход знаменует собой отход от традиционных моделей, подчеркивая универсальность и адаптивность базовых в различных направлениях использования.

Стэнфордский центр исследований базовых моделей (CRFM) раскрывает эту концепцию глубже, описывая базовые модели как краеугольный камень новой парадигмы построения систем ИИ. Обучение одной модели на огромном массиве данных может быть адаптировано к огромному количеству приложений, демонстрируя ошеломляющий скачок в способности ИИ понимать мир и взаимодействовать с ним подобно человеку.

Разработка базовых моделей не только расширяет возможности практического применения ИИ, но и раздвигает границы возможностей машин, предвещая новую эру инноваций в ИИ.

Базовые модели отличаются пятью ключевыми характеристиками, которые выделяют их на фоне других моделей ИИ:

1.      Pretrained / Предварительное обучение: Используя огромные массивы данных и значительные вычислительные мощности, эти модели готовы к немедленному применению, исключая необходимость в дальнейшем обучении. Такая готовность позволяет им выполнять различные функции прямо из коробки.

2.      Generalized / Обобщенные: В отличие от традиционных моделей ИИ, предназначенных для решения нишевых задач, таких как распознавание изображений, базовые модели универсальны и предназначены для решения множества задач с помощью одной архитектуры. Такая универсальность представляет собой значительный сдвиг в понимании применения ИИ в различных областях.

3.     Adaptable / Адаптируемость: С помощью промптов или ввода определенных данных (например, текста) в модель, базовые модели можно точно настроить для выполнения специализированных задач, что демонстрирует их гибкость и способность реагировать на потребности пользователей.

4.      Large-scale / Масштабность: Размер этих моделей, с точки зрения данных, на которых они обучаются, и их архитектуры, является беспрецедентным.

5.      Self-supervised Learning / Самостоятельное обучение: Базовые модели обучаются без явно маркированных данных, выявляя закономерности и получая знания из огромных массивов данных, с которыми они сталкиваются. Этот метод самообучения позволяет им понимать и генерировать сложные ответы, отражая человеческое восприятие мира.

LLM с открытым и закрытым исходным кодом

Критической развилкой на пути пользователей этих мощных моделей является выбор между фреймворками с открытым и закрытым исходным кодом.

Различать их крайне важно, поскольку оно влияет на доступность, адаптивность и инновационный потенциал.

LLM с открытым исходным кодом, т.е. с публичным доступом к исходному коду, приглашают отдельных разработчиков, исследователей и организации свободно использовать, модифицировать и распространять модели. Такая открытость способствует созданию среды сотрудничества, которая ускоряет инновации, адаптацию моделей и решение различных проблем, что делает такие модели особенно привлекательными для академических исследований, стартапов и проектов, осуществляемых под руководством сообществ.

Преимущества LLM с открытым исходным кодом

• Доступность: Отказ от лицензионных платежей, снижение входных барьеров.

• Гибкость: Благодаря открытой настройке возможны индивидуальные решения.

• Прозрачность: Способствует доверию и этичному развитию ИИ.

• Поддерживается сообществом: Общность знаний обеспечивает надежную поддержку и инновации.

• Суверенитет над данными: Пользователи сохраняют полный контроль над своими данными.

Недостатки LLM с открытым исходным кодом

• Ограниченность ресурсов: Скорость разработки может зависеть от вклада сообщества.

• Риски безопасности: Открытый код требует внимательного обслуживания со стороны пользователя.

• Интеграционные препятствия: Совместимость и стандартизация API могут быть непоследовательными.

• Сложности с интеллектуальной собственностью: Коммерциализация может столкнуться с проблемами интеллектуальной собственности.

В противоположность открытым, закрытые LLM - это запатентованные модели, разработанные, поддерживаемые и контролируемые конкретными организациями - часто крупными технологическими компаниями. Такие модели обычно предлагаются в виде готовых к развертыванию решений, обеспечивающих надежность, масштабируемость и поддержку, но за определенную плату. Эксклюзивность и коммерческая поддержка моделей с закрытым исходным кодом делают их привлекательными для предприятий, нуждающихся в надежных и безопасных решениях ИИ, которые можно легко интегрировать в масштабные операции.

Преимущества LLM с закрытым исходным кодом

• Правовые гарантии: Четкие соглашения защищают предприятия, использующие модели на коммерческой основе.

• Масштабируемость и надежность: Разработаны для высокопроизводительных приложений корпоративного уровня.

• Повышенная безопасность: Надежные средства защиты данных идеально подходят для работы с конфиденциальной информацией (больше гарантий, что ваши данные не станут доступны третьим лицам, но они могут быть доступны компании, контролирующей модель - прим. переводчика).

• Специализированная поддержка: Структурированные обновления и ресурсы для устранения неполадок обеспечивают простоту обслуживания.

• Понятная документация: Упрощает процессы интеграции для разработчиков.

Недостатки LLM с закрытым исходным кодом

• Привязанность к поставщику: Ограниченная гибкость и зависимость от одного поставщика.

• Часто высокая стоимость: лицензионные платежи могут препятствовать доступу небольших компаний и частных лиц.

• Проблема "черного ящика": отсутствие прозрачности может затруднить этичное использование ИИ и выявление предвзятости.

Это различие между моделями с открытым и закрытым исходным кодом предполагает более широкий разговор о доступности, прозрачности и инновациях в ИИ.

LLM с открытым исходным кодом представляют собой "песочницу для исследований и обучения" для индивидуальных разработчиков и любителей, позволяя им возиться с передовыми технологиями без финансовых барьеров. Для компаний выбор между моделями с открытым и закрытым исходным кодом предполагает учет баланса между стоимостью, контролем, поддержкой и стратегической ценностью ИИ-решения в процессе цифровой трансформации.

Важно понимать, что этот выбор - не просто двоичное решение, а стратегическое соображение, отражающее ценности, цели и операционный контекст компании.

Будь то интеграция в бизнес или личные эксперименты, понимание уникальных преимуществ и проблем каждой модели является ключом к использованию трансформационного потенциала LLM.

Выбор модели, соответствующей вашим потребностям

Выбор идеальной LLM зависит от стратегической оценки ваших потребностей, ресурсов и целей. Вот краткое руководство по принятию этого решения:

Определите свои цели: Что вы хотите, чтобы делала LLM (например, обслуживала клиентов, писала, анализировала)?

Технические знания: Может ли ваша команда справиться с настройкой и поддержкой открытого исходного кода? Если нет, то закрытый исходный код предлагает больше удобств.

Бюджет: Учитывайте расходы на лицензирование (закрытый исходный код) и потенциальные эксплуатационные расходы (открытый исходный код).

Потребности в донастройке / кастомизации: Требуется ли для вашего проекта значительная доработка? Открытый исходный код - идеальный вариант. Если нет, то проще использовать закрытый исходный код.

Безопасность и соответствие нормативным требованиям: Закрытый исходный код часто имеет встроенные средства защиты. Открытый исходный код означает, что вам придется самому управлять этим аспектом.

Масштабируемость: Будет ли ваше приложение часто использоваться? Закрытый исходный код обычно лучше масштабируется из коробки.

Потребность в прозрачности: Если понимание решений, принимаемых моделью, имеет решающее значение (для предвзятости, этики), лучше использовать открытый исходный код.

Зависимость от поставщика: Удобно ли вам быть привязанным к поставщику с закрытым исходным кодом, или вы предпочитаете контроль над открытым исходным кодом?

Определите приоритеты ваших потребностей и попробуйте основные модели, чтобы понять, какая из них подходит лучше всего.

Баланс между инновационным потенциалом вашего проекта, операционными требованиями и стратегическими целями является ключевым фактором при выборе между LLM с открытым и закрытым исходным кодом. Вдумчивый анализ этих факторов поможет вам выбрать модель, которая будет соответствовать вашим текущим потребностям и поддержит ваши будущие намерения.

Список ведущих LLM

Отказ от ответственности: Этот анализ посвящен известным LLM из различных источников, как открытых, так и закрытых, отобранных за их заметное влияние и популярность. Из-за обширной и постоянно развивающейся области LLM наш обзор не является исчерпывающим. Мы стремимся выделить модели, лидирующие по инновациям, производительности и актуальности использования, и дать представление о тех из них, которые наиболее актуальны для профессионалов и энтузиастов. Эта подборка отражает текущие тенденции и признает наличие множества других LLM, способствующих развитию этой области.

Прежде чем перейти к рассмотрению конкретных моделей, необходимо понять, как определяются размер и сложность большой языковой модели (LLM). Выделяют две критические метрики: параметры и токены.

• Под параметрами понимаются переменные в нейронной сети LLM, включающие веса и смещения, которые задействованы в обучении на основе входных данных для создания релевантного вывода. Большее количество параметров означает более сложную модель, способную генерировать текст с учетом всех нюансов, что отражает сложность обучающих данных.

• Токены - это фундаментальные единицы текста, которыми оперирует LLM: от символов до слов или частей слов в зависимости от подхода к токенизации. Увеличение количества токенов повышает "качество речи" модели.

По мере усложнения, LLM могут захватывать и отражать более богатый контент. Модели с большим количеством параметров способны воспринимать и анализировать обширную информацию, что повышает их способность распознавать тонкие нюансы, взаимосвязи и контекстуальные моменты в обрабатываемых данных.

OpenAI

GPT 3

GPT-3, Generative Pre-trained Transformer от OpenAI, запущенный в июне 2020 года, представлял собой на тот момент прорыв в развитии языковых моделей ИИ с 175 миллиардами параметров, что делало его одной из самых сложных моделей, доступных на момент дебюта. 

Третье поколение серии GPT расширило возможности обработки естественного языка до беспрецедентного уровня, позволив создавать тексты - от эссе и кодов до поэзии, - [иногда] превосходящие человеческий результат.

Вслед за GPT-3 OpenAI представила GPT-3.5 в рамках постоянных улучшений, доработав производительность и уменьшив количество ошибок.

Архитектура и инновации

GPT-3 построен на архитектуре трансформера (transformer) - модели глубокого обучения, представленной в статье "Attention is All You Need" ("Внимание - это все, что вам нужно" - перевод на Хабре, ч.1 и ч.2 ) Васвани и др. в 2017 году.

Модель трансформера использует механизмы самовнимания, которые позволяют ей оценивать важность различных слов во входных данных, что значительно улучшает ее способность понимать контекст и генерировать связные и релевантные текстовые результаты.

К числу заметных достижений GPT-3 относятся:

• Масштаб: Масштабный скачок до 175 миллиардов параметров по сравнению с 1,5 миллиардами в GPT-2, обеспечивающий превосходную производительность.

• Адаптивное обучение: Мастерство в обучении с несколькими, одной подсказкой / примером и без примеров (few-shot, one-shot, and zero-shot learning), что показывает адаптивность модели.

• Универсальность: Технология позволяет GPT-3 решать любые задачи
  на естественном языке без специальной подготовки.

Среди отличительных особенностей GPT-3 - понимание и генерация естественного языка (NLU / NLG), возможность генерировать код, возможности перевода, изучение языка и широкие возможности настройки.

Профессиональный совет: Ознакомьтесь с последними достижениями в области генеративного искусственного интеллекта, включая достижения в создании изображений и текстов, нейронные сети и такие технологии, как GAN и LLM.

GPT 4

GPT-4, четвертая итерация серии Generative Pre-trained Transformer от OpenAI, была выпущена в марте 2023 года. 

Эта серия знаменует собой значительный скачок вперед в области языковых моделей искусственного интеллекта, опираясь на новаторскую работу своего предшественника GPT-3. GPT-4 еще больше расширяет возможности модели в понимании и генерации человекоподобного текста, демонстрируя значительные улучшения в точности, понимании контекста и способности обрабатывать специфические инструкции.

Благодаря усовершенствованию архитектуры и методик обучения, GPT-4 устанавливает новые стандарты для задач обработки естественного языка, предлагая беспрецедентную универсальность в различных приложениях, от создания контента до решения сложных задач.

Архитектура и инновации

GPT-4 построен на основе усовершенствованной архитектуры трансформера, сохраняя основные принципы, обеспечившие успех его предшественников, и в то же время используя значительные инновации для повышения производительности и эффективности. К ним относятся:

• Увеличение размера модели: Хотя конкретные данные о количестве параметров в GPT-4 не были опубликованы, в отличие от GPT-3, очевидно, что GPT-4 продолжает тенденцию увеличения размера модели, предлагая еще более мощные возможности обучения и прогнозирования. По данным KDnuggets, размер модели GPT-4 составил около 1,8 триллиона параметров, что существенно по сравнению с 175 миллиардами параметров GPT-3. Такое резкое увеличение масштаба еще больше расширяет возможности глубокого обучения модели, обеспечивая более высокую точность прогнозирования и более глубокое понимание сложных инструкций и контекстов.

• Усовершенствованные методы обучения: GPT-4 использует усовершенствованные методы обучения, включая более сложные процессы очистки данных, более эффективную обработку смещений в обучающих данных, а также инновации в области обучения с помощью нескольких примеров, позволяющие модели эффективно выполнять задачи с минимальным количеством входных данных.

• Улучшенное понимание контекста: Одним из отличительных улучшений GPT-4 является его способность понимать и реагировать на сложные контексты и инструкции, что делает его более искусным в генерировании релевантных и последовательных результатов по широкому кругу тем и языков.

К ключевым особенностям GPT-4 относится возможность расширенного видения, известная как GPT-4V, которая позволяет модели интерпретировать и анализировать изображения, предоставляемые пользователями.

Эта разработка представляет собой значительное достижение, объединяющее мультимодальные входные данные (например, изображения) с большими языковыми моделями (LLM), что многие считают важнейшим рубежом в исследованиях ИИ.

Мультимодальные LLM, такие как GPT-4V, расширяют возможности моделей, использующих только текст, позволяя им выполнять более широкий спектр задач и предлагать новые возможности для пользователей через различные интерфейсы.

Кроме того, GPT-4 демонстрирует превосходное понимание и генерацию естественного языка (NLU / NLG), что делает его применимым в таких специализированных областях, как юридический анализ, продвинутая техническая поддержка и творческое письмо. Кроме того, в GPT-4 улучшены меры безопасности и снижена предвзятость.

Также GPT-4 обладает повышенной интерактивностью и широкими возможностями настройки, позволяя разработчикам адаптировать модель под конкретные нужды или соответствовать определенному стилю, что повышает ее применимость в персонализированных приложениях.

Перспективы

Амбициозный путь OpenAI к созданию универсального искусственного интеллекта (AGI) сделает еще один мощный рывок с разработкой GPT-5, последней итерации в революционной серии Generative Pre-trained Transformer.

GPT-5 от OpenAI станет центром технологического прогресса, обещая превзойти своих предшественников по интеллекту, универсальности и возможностям. Во время презентации на Всемирном саммите правительств в Дубае генеральный директор OpenAI Сэм Альтман пролил свет на предполагаемые возможности GPT-5, подчеркнув, что он может значительно превзойти предшественников, будучи "немного умнее... немного лучше во всем".

Это обусловлено также активным финансированием OpenAI, направленным на ускорение инноваций в области ИИ.

Стратегия обучения GPT-5 предполагает использование обширных интернет-баз данных и эксклюзивных данных организаций для оттачивания умения рассуждать и вести беседу.

Альтман делает акцент на мультимодальности, объединяющей речь, изображения и, в конечном счете, видео, чтобы удовлетворить растущий спрос на универсальное взаимодействие ИИ. Кроме того, повышение способности модели к рассуждениям и ее надежности является центральным фактором для достижения стабильно высокого качества результатов, устраняя текущие ограничения, с которыми сталкивается GPT-4.

Поскольку возможности GPT-5 продолжают раскрываться, его разработка знаменует собой значительный скачок на пути к реализации AGI, обещая новую эру ИИ, превосходящего человеческий интеллект в различных областях.

Включение Sora в технологический стек OpenAI является свидетельством стремления организации к AGI путем расширения возможностей ИИ по обработке и генерированию мультимодальных данных. 

Выходя за рамки текста и изображений и переходя в динамичную сферу видео, OpenAI удовлетворяет растущий спрос на системы ИИ, способные беспрепятственно работать с различными типами контента, что делает взаимодействие ИИ более универсальным и отражающим человеческое понимание и творческие способности.

Кроме того, разработка Sora, основанная на соображениях безопасности и этики путем состязательного тестирования и сотрудничества с экспертами в данной области, соответствует подходу OpenAI к ответственной разработке ИИ. Это гарантирует, что по мере продвижения OpenAI к AGI, компания будет сохранять приверженность снижению рисков, связанных с дезинформацией, предвзятостью и другими этическими проблемами.

Включение новаторских возможностей Sora по преобразованию текста в видео в будущие перспективные разработки, наряду с ожидаемыми достижениями GPT-5, подчеркивает стратегию OpenAI по созданию более интеллектуального, универсального и мощного ИИ.

Такое сочетание лингвистического интеллекта с визуальным творчеством и пониманием является ключевым в миссии OpenAI по реализации AGI, обещая новую эру ИИ, который не только превзойдет человеческий интеллект в аналитических задачах, но и в создании и интерпретации сложных визуальных повествований.

Ресурсы

• Language Models are Few-Shot Learners

• OpenAI Models Documentation

• GPT-4V(ision) System Card

• GPT-4 Technical Report

• Video generation models as world simulators

Google

Gemini

Путь Google в области инноваций ИИ отмечен значительными вехами, которые позволили кардинально улучшить взаимодействие миллиардов людей с цифровой информацией.

С момента появления BERT, ранней модели трансформера Google, которая произвела революцию в понимании человеческого языка, до разработки MUM, более мощной и способной к многоязыковому пониманию и анализу видеоконтента нейросети.

Эти достижения заложили основу для сервиса разговорного ИИ Google, который первоначально назывался Bard и работал на базе LaMDA. Bard, анонсированный генеральным директором Google и Alphabet Сундаром Пичаи в феврале 2023 года, был призван объединить обширные знания, получаемые из Интернета с возможностями больших языковых моделей Google.

Однако его первоначальный релиз в марте 2023 года выявил существенные недостатки, что побудило Google усовершенствовать Bard до более сложной модели ИИ.

Признав необходимость создания более совершенной системы, Google представила PaLM 2 на Google I/O в мае 2023 года, положив начало Gemini.

Ребрендинг Bard в Gemini в феврале 2024 года означал существенный сдвиг в сторону использования Google самой передовой технологии LLM.

Это изменение названия отражало стратегический шаг, направленный на то, чтобы дистанцировать чатбота от обрушившейся на него ранее критики и привести его в соответствие с достижениями, заложенными в модель Gemini. Преобразование Bard в Gemini не было просто косметическим, это был переход к более эффективной, высокопроизводительной модели ИИ, кульминацией которого станет выпуск самой мощной версии Gemini в декабре 2023 года.

Gemini от Google представляет собой монументальный шаг в эволюции технологий искусственного интеллекта. В рамках более широкой миссии Google по внедрению передовых технологий в области искусственного интеллекта Gemini является самой сложной и универсальной моделью большого языка (LLM) на сегодняшний день (на начало 2024 года - прим. переводчика).

Gemini разработана для решения широкого спектра сложных задач и подразделяется на три различные версии: Ultra, Pro и Nano.

Такое разделение обеспечивает доступность революционных возможностей Gemini для различных платформ, от востребованных корпоративных приложений до функций на устройствах бытовой электроники.

Архитектура и инновации

Новаторская архитектура Gemini базируется на нейронной сети, основанной на модели трансформера и разработанной специально для управления сложными контекстными последовательностями различных типов данных, таких как текст, аудио и видео.

Эта архитектура была усовершенствована для включения эффективных механизмов внимания в декодер трансформера, что позволяет моделям эффективно обрабатывать и интерпретировать обширные контекстные данные.

Появление Gemini 1.5 Pro знаменует собой значительный скачок в возможностях искусственного интеллекта, сочетая превосходную эффективность с качеством, не уступающим предшественнику Gemini 1.0 Ultra. Центральное место в этом занимает архитектура Mixture-of-Experts (MoE, оценка группой моделей-экспертов), повышающая способность модели динамически и эффективно обрабатывать большие и сложные наборы данных в различных модальностях.

Gemini 1.5 Pro, универсальная мультимодальная модель среднего размера, достигает производительности на уровне Gemini 1.0 Ultra и представляет инновационный подход к пониманию длинного контекста.

Изначально предлагая контекстное окно в 128 000 токенов, эта модель расширяет границы возможностей ИИ, предоставляя контекстное окно с возможностью обновления до 1 миллиона токенов, доступное через закрытый предварительный просмотр в AI Studio и Vertex AI.

Это устанавливает новую планку в способности модели обрабатывать и анализировать огромные объемы информации, демонстрируя непрерывное развитие Gemini в решении задач и возможностей современных приложений ИИ.

Основные особенности и возможности

Архитектура и стратегии обучения Gemini воплотились в ключевых особенностях, которые отличают эти модели, таких как широкое понимание контекста, мультимодальное взаимодействие, многоязыковая компетентность и настройка.

Ресурсы

• Gemini: A Family of Highly Capable Multimodal Models

• Gemini1.5: Unlocking multimodal understanding across millions of tokens of context

Перспективы

Дорожная карта Google для Gemini направлена на переопределение потенциала искусственного интеллекта, сфокусированного на усовершенствовании планирования, запоминания и обработки данных, чтобы расширить его контекстное понимание.

Эта эволюция, как предполагается, позволит повысить точность и глубину разговорной речи Gemini, сохранив лидерство в диалоговых системах ИИ.

Не ограничиваясь простыми улучшениями, Gemini стремится изменить взаимодействие с ИИ, используя наследие Google в области ИИ для предоставления превосходной поддержки и инноваций, обогащая тем самым цифровой опыт во всем мире.

В ходе расширения Gemini будет интегрирована в ключевые сервисы Google, включая Chrome для улучшения качества работы в браузере и платформу Google Ads, предлагающую новые стратегии привлечения рекламодателей.

Это стратегическое расширение подчеркивает стремление Google внедрить ИИ в свою экосистему, предвещая новые возможности взаимодействия и вовлечения пользователей.

Meta *

*Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.

LLAMA

В феврале 2023 года компания Meta* AI (бывшая Facebook* AI) представила LLaMA - большую революционную языковую модель, призванную ускорить исследования в области ИИ.

*Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.

LLaMA, ориентированная на открытые методы, предоставляет компактные, но мощные модели, которые делают исследования ИИ высшего уровня доступными для широкого круга пользователей, включая тех, кто имеет ограниченные вычислительные возможности. Эта инициатива сделала исследования в области ИИ более масштабируемыми и доступными, предоставляя широкому кругу пользователей доступ к сложным технологиям ИИ.

Построенная на базе архитектуры трансформера, LLaMA включает в себя такие передовые усовершенствования, как функция активации SwiGLU, поворотные позиционные эмбеддинги и нормализация слоя по среднеквадратичному значению, что повышает ее эффективность и результативность (см. статью на Хабре о новых методах - прим. переводчика).

В первоначальной версии LLaMA было представлено четыре варианта модели с количеством параметров 7, 13, 33 и 65 миллиардов. Примечательно, что разработчики LLaMA подчеркнули, что модель с 13 миллиардами параметров превосходит по производительности значительно более крупную GPT-3 в большинстве бенчмарков NLP.

Изначально предназначавшаяся для избранной группы исследователей и организаций, она в результате утечки быстро оказалась в Интернете к началу марта 2023 года, став доступной для более широкой аудитории. В ответ на широкое распространение своего кода компания решила поддержать открытое распространение LLaMA, что соответствует ее приверженности открытой науке и расширяет влияние этой передовой технологии ИИ.

В июле 2023 года в сотрудничестве с Microsoft была запущена LLaMA-2, которая стала эволюционным развитием первоначальной модели, увеличив объем обучающих данных на 40 % и усовершенствовав ее, чтобы улучшить обработку данных и повысить безопасность, сосредоточившись на снижении ошибок и безопасности модели.

LLaMA 2, по-прежнему с открытым исходным кодом и бесплатная для исследований и коммерческого использования, развивает наследие LLaMA, предлагая модели с параметрами 7B, 13B и 70B, включая чат LLaMA 2 с поддержкой диалогов.

Компания-разработчик повысила доступность, опубликовав модельные веса и приняв более гибкое лицензирование для коммерческих приложений, продемонстрировав постоянное стремление к ответственному развитию ИИ на фоне опасений по поводу предвзятости, токсичности и дезинформации.

Основные цели LLaMA и LLaMA 2 - демократизация исследований в области ИИ путем предоставления более компактных и эффективных моделей, которые открывают новые пути для исследований и позволяют создавать специализированные приложения для пользователей с ограниченными вычислительными ресурсами.

Кроме того, публичный выпуск этих моделей способствует совместным исследованиям, позволяя решать такие важные проблемы, как предвзятость и токсичность в ИИ. Кроме того, такой подход позволяет создавать частные экземпляры моделей, что снижает зависимость от внешних API и повышает уровень конфиденциальности данных.

Примеры использования

• Чатботы общего назначения: Модели LLaMA способны работать в специализированных приложениях, предлагая альтернативу таким чат-ботам, как ChatGPT, особенно в сфере обслуживания клиентов и предоставления возможностей для образования.

• Инструмент для исследований: Модели служат неоценимым подспорьем для исследователей ИИ, способствуя изучению новых методологий и пониманию поведения LLM.

• Генерация и анализ кода: Модели LLaMA также отлично справляются с генерацией и анализом кода, что дает значительные преимущества в области программирования и разработки программного обеспечения.

Предоставляя открытый доступ к LLaMA и LLaMA 2, компания способствует развитию исследований в области ИИ и создает прецедент ответственного подхода к разработке и применению LLM.

Перспективы

Разработчик продвигает Llama 3, нацеливаясь на улучшение генерации кода и продвинутых диалогов, стремясь сравняться с возможностями модели Gemini от Google.

Генеральный директор компании-разработчика заявил, что, хотя Llama 2 была ведущей моделью с открытым исходным кодом, целью Llama 3 является достижение статуса ведущей LLM в отрасли с самыми передовыми функциями. Он также рассказал о приверженности компании к моделям ИИ с открытым исходным кодом и подробно описал организационные изменения, направленные на расширение усилий в области ИИ. Он также объявил о планах приобрести более 340 000 графических процессоров Nvidia H100 к концу года, а общая вычислительная мощность приблизится к 600 000 GPU H100.

Эти значительные инвестиции подчеркивают стремление компании-разработчика Llama стать лидером в исследовании и разработке в области ИИ.

Ресурсы

• LLaMA: Open and Efficient Foundation Language Models

• Llama 2: Open Foundation and Fine-Tuned Chat Models

Anthropic

Claude

Компания Anthropic, занимающаяся безопасностью и исследованиями в области ИИ, сделала значительный скачок в развитии ИИ, разработав Claude, сосредоточившись на создании надежных, интерпретируемых и управляемых систем ИИ.

Claude представлена в марте 2023 года и ознаменовала собой выход Anthropic на рынок общедоступных моделей ИИ, направленных на повышение безопасности и этичности ИИ. Claude появился как ответ на непредсказуемые, ненадежные и непрозрачные проблемы больших систем ИИ.

Claude 2 появился в июле 2023 года, опираясь на фундамент своего предшественника, с улучшенной производительностью и более широкими возможностями применения, делая акцент на этическом развитии ИИ.

Claude отличается наличием авторегрессионной модели с 52 миллиардами параметров, обученной на обширном корпусе текстов без контроля, подобно методологии обучения GPT-3, но с акцентом на этику и безопасность.

Архитектура и инновации

Архитектура Claude отражает приверженность к инновациям, используя решения, схожие с теми, что были описаны в исследованиях Anthropic, но с уникальными изюминками.

В отличие от моделей, обученных с помощью обучения с подкреплением на основе человеческой обратной связи (RLHF), Клод использует генерируемую моделью систему ранжирования в соответствии с "конституционным" подходом к ИИ. .

Этот метод начинается с набора этических принципов, формирующих "конституцию", которая направляет развитие модели и выравнивание ее результатов, демонстрируя приверженность Anthropic к этически корректным и автономным системам ИИ.

Основные цели

Основные цели Anthropic в работе с Claude включают демократизацию исследований в области ИИ и создание среды открытых исследований для совместного решения присущих ИИ проблем, таких как предвзятость и токсичность.

Предлагая Claude, Anthropic обеспечивает более безопасное и приватное использование моделей, уменьшая зависимость от внешних API и обеспечивая конфиденциальность данных.

Примеры использования

Универсальность Claude проявляется в различных приложениях:

• Творческое написание контента и обобщение: Упрощает создание контента для писателей и создателей контента.

• Помощь в кодировании: Улучшает рабочие процессы разработчиков, как это видно на примере помощника Sourcegraph по кодированию с искусственным интеллектом, Коди, который использует Claude 2 для улучшения ответов на запросы.

• Платформы для совместной работы: Приводит в действие помощников по написанию текстов с искусственным интеллектом, подобных тому, что интегрирован в Notion, революционизируя создание и управление контентом в своей экосистеме.

• Поиск и вопросы и ответы: Внедрение Claude в Quora и DuckDuckGo повышает точность ответов и вовлеченность пользователей.

• Индивидуальное взаимодействие с пользователями: Идеально подходит для персонализированного обслуживания клиентов, Claude адаптирует свой тон и ответы в соответствии с конкретными потребностями пользователей.

Будущее Claude: стратегическое видение Claude 3

Компания Anthropic планирует запустить Claude 3 в середине 2025 года. (Однако, уже выпустила - https://habr.com/ru/news/798081/ - прим. переводчика). Это важная веха в развитии искусственного интеллекта, которая обещает расширить границы технологий благодаря усовершенствованной обработке языка, рассуждениям и универсальности.

Эта модель, включающая в себя конституциональную структуру ИИ, нацелена на беспрецедентные 100 триллионов параметров, чтобы улучшить взаимодействие между людьми, аналитические способности и творческие результаты, основанные на доверии и безопасности.

Стратегическое развертывание Claude 3 подчеркивает стремление Anthropic к сбалансированному развитию ИИ, уделяя первостепенное внимание как инновациям, так и этическим соображениям:

• Ответственное масштабирование: Разработка Claude 3, рассчитанная на 100 триллионов параметров, ведется в темпе, обеспечивающем стабильность и эффективность, и рассчитана на 18 месяцев для постепенного внедрения.

• Стратегическое партнерство: Anthropic сотрудничает с такими секторами, как здравоохранение и образование, чтобы доработать приложения Claude 3, обеспечивая его запуск в соответствии с практическими и эффективными случаями использования.

• Согласованность с запросами общества: Отслеживая отношение общества к ИИ, Anthropic стремится привести внедрение Claude 3 в соответствие с общественными ожиданиями, способствуя росту доверия и признания.

• Подготовка к коммерциализации: Anthropic разрабатывает комплексную коммерческую стратегию для Claude 3, уделяя особое внимание лицензированию, выводу на рынок и поддержке партнеров, чтобы обеспечить широкое и полезное применение модели.

Создание Claude 3 включает в себя доработку конституционного корпуса для поощрения полезных и безопасных разговоров.

Проводя внешние проверки и оценки безопасности, Anthropic стремится минимизировать риски, связанные с развитием ИИ, и обеспечить использование возможностей Claude 3 без непредвиденных последствий.

В связи с предстоящим запуском Claude 3 Anthropic сосредоточится на улучшении интеграционных возможностей, расширении сфер применения и настройке ИИ-помощников для удовлетворения различных потребностей организаций.

Компания ожидает регулярных обновлений серии Claude, а Claude 3 станет важнейшим шагом на пути к созданию искусственного интеллекта общего назначения, отражая сознательный подход к ответственному использованию потенциала ИИ.

Ресурсы

• Constitutional AI: Harmlessness from AI Feedback

Hugging Face

Hugging Face, часто называемый GitHub-ом для больших языковых моделей (LLM), способствует созданию открытой экосистемы для LLM.

Изначально компания специализировалась на обработке естественного языка, но в 2020 году переориентировалась на LLM, создав библиотеку Transformers.

Эта библиотека, использующая различные архитектуры LLM, стала одним из самых быстрорастущих проектов с открытым исходным кодом в этой области.

Платформа Hugging Face, известная как "Хаб", представляет собой огромное хранилище моделей, токенизаторов, наборов данных и демонстрационных приложений (пространств), доступных в виде ресурсов с открытым исходным кодом.

Такое сочетание открытого исходного кода и традиционных SaaS-предложений позволило Hugging Face стать ключевым игроком в демократизации разработки ИИ.

BLOOM

В 2022 году компания Hugging Face выпустила BLOOM, авторегрессионный LLM на основе трансформера с 176 миллиардами параметров, под открытыми лицензиями.

Обученный на 366 миллиардах токенов, BLOOM является результатом совместных исследований в области ИИ, главным продуктом инициативы BigScience - годичного исследовательского семинара под руководством Hugging Face.

В этом семинаре приняли участие сотни исследователей и инженеров со всего мира, опираясь на значительные вычислительные ресурсы французского суперкомпьютера Jean Zay.

Кроме того, недавно компания Hugging Face представила конкурента ChatGPT под названием HuggingChat, расширив свой набор инновационных инструментов искусственного интеллекта.

Компания также ведет рейтинг Open LLM, который представляет собой платформу для отслеживания, ранжирования и оценки открытых LLM и чат-ботов, включая такие популярные модели, как Falcon LLM и Mistral LLM, а также новые проекты.

Эта инициатива подчеркивает стремление Hugging Face к прозрачности и прогрессу в области ИИ, способствуя созданию совместной среды для инноваций и оценки ИИ.

Hugging Face находится на пути к укреплению своего статуса ведущего центра для больших языковых моделей (LLM), опережая традиционные сообщества ИИ по темпам роста и вовлеченности.

Все больше разработчиков и компаний внедряют библиотеки Transformers и Tokenizers в свои процессы и продукты.

Hugging Face снижает барьеры для инноваций в области LLM, подобно тому, как GitHub произвел революцию в разработке программного обеспечения. Эта платформа не просто облегчает доступ к технологиям LLM. Она способна открыть новые рынки и укрепить сотрудничество человека и ИИ, ознаменовав собой значительный скачок в технологическом прогрессе.

Ресурсы

• BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

Выводы

В заключение следует отметить, что эволюция LLM меняет ландшафт искусственного интеллекта, предлагая беспрецедентные возможности для инноваций в различных секторах.

По мере развития отрасли ориентироваться во множестве доступных моделей, чтобы найти подходящую для конкретных нужд, становится все более важным.

С развитием многоязычных возможностей и стремлением к более открытой и инклюзивной разработке ИИ платформы становятся ключевыми помощниками в технологическом прогрессе. В настоящее время ключевыми моделями являются:

• GPT-3

• GPT-4

• Gemini

• LLAMA

• Claude

• BLOOM

Эти платформы обеспечивают демократичный доступ к передовым инструментам искусственного интеллекта и способствуют созданию экосистемы сотрудничества, ускоряющей инновации.

Сейчас мы стоим на пороге новых горизонтов ИИ, и будущее обещает нам более взаимосвязанный, инклюзивный и интеллектуальный мир, основанный на системах ИИ, которые будут более адаптивными, надежными и соответствующими человеческим ценностям.