Привет, Хабр!

В последние время интерес к генеративному ИИ и технологиям, лежащим в его основе, быстро растет. Его активно используют потребители, а компании пытаются понять, как задействовать весь его потенциал. Сегодня мы подготовили перевод дискуссии ведущих сотрудников AWS, Доктора Вернера Фогельса и Свами Сивасубраманиана, о Генеративном ИИ. Они обсуждают его возможности, почему это не хайп и как AWS демократизирует доступ к большим языковым и базовым моделям.

Что такое Генеративный ИИ?

Немного теории, что же такое Генеративный ИИ.

Генеративный искусственный интеллект – это тип ИИ, который может создавать новый контент и идеи, включая диалоги, истории, изображения, видео и музыку. Как и любой ИИ, он основан на моделях машинного обучения, предварительно обученных на огромных объемах данных и обычно называемых базовыми моделями (FM).

Начнем

(13.04.2023)

Д-р Вернер Фогельс: В последнее время общественность проявляет большой интерес к машинному обучению, создавая ажиотаж вокруг него. Это просто хайп или машинное обучение действительно станет основой для будущего развития приложений?

Свами Сивасубраманиана: Мы живем в очень увлекательные времена, которые связаны с машинным обучением. Скорость разработки моделей МО постоянно увеличивается. Но мы не достигнем того результата, к которому стремимся в ближайшие годы, если не сделаем эти модели более доступными для всех.

Свами Сивасубраманиан курирует вопросы баз данных, аналитики и машинного обучения в компании AWS. В течение последних 15 лет он занимался развитием ИИ и МО в отрасли. Команда Свами очень опытна в освоении новых технологий и превращении их в жизнеспособные инструменты.

Сегодня генеративный ИИ доминирует в новостных лентах и дискуссиях. Потребители взаимодействуют с ним, а бренды пытаются понять, как лучше использовать его потенциал для своих клиентов. Д-р Вернер Фогельс встретился со Свами, чтобы лучше понять основы этой технологии.

Д-р Вернер Фогельс: Свами, давайте вернемся в прошлое. Расскажите, помните ли вы свой первый день работы в Amazon?

Свами Сивасубраманиана: Конечно, я помню его. Попасть на работу в Amazon будучи аспирантом и ученым в то время было не очень распространенным явлением, потому что компания была известна в области розничной торговли и электронной коммерции.

Д-р Вернер Фогельс: Да, мы создавали продукт. Это довольно необычно для иностранных ученых, особенно для аспиранта, ведь в таком случае нужно перейти из плоскости простых размышлений в плоскость «как мне это создать?». Итак, с тех пор вы представили миру DynamoDB и еще несколько баз данных, но теперь в вашей компетенции также есть искусственный интеллект и машинное обучение. Расскажите мне немного о том, как выглядит ваш мир ИИ?

Amazon DynamoDB – полностью управляемая бессерверная база данных NoSQL на основе пар «ключ-значение», созданная для запуска высокопроизводительных приложений в любом масштабе.

Свами Сивасубраманиана: После создания множества баз данных и аналитических сервисов, я увлекся искусственным интеллектом, потому что именно он заставляет данные работать самостоятельно. Если посмотреть на технологию машинного обучения в целом, она не является новой. Одни из первых работ по глубокому обучению были написаны еще 30 лет назад. Но в тех работах не было указаний о необходимости ее широкомасштабного внедрения. Для успешного внедрения требовалось огромное количество вычислений и огромные объемы данных. В этом ключе именно облачные технологии позволили нам фактически раскрыть мощь технологий глубокого обучения.

Это и привело меня к тому, что 7 лет назад мы создали организацию по машинному обучению. Мы хотели передать МО, особенно технологии глубокого обучения, не только в руки ученых, но и в руки обычных разработчиков.

Д-р Вернер Фогельс: Если вспомнить первые дни существования Amazon, были ли это те же самые алгоритмы, которые мы наблюдаем сегодня, или это уже что-то новое? Прошло целых 30 лет.



Свами Сивасубраманиана: Машинное обучение действительно прошло через усложнение алгоритмов и применимость их для различных сценариев. На ранних этапах алгоритмы были намного проще, и более похожими на линейные алгоритмы или градиентный бустинг.

Если посмотреть на прошлое десятилетие, то в начале все уже было похоже на глубокое обучение, которое, по сути, было шагом вперед к способности нейронных сетей понимать и обучаться на основе паттернов. Это фактически является тем, на чем основаны все алгоритмы обработки изображений и различные виды персонализации сегодня.

Именно это привело к появлению таких изобретений, как Alexa, обладающей поразительной точностью по сравнению с другими. Таким образом, нейронные сети и глубокое обучение действительно были большим шагом вперед. И следующим большим шагом вперед является то, что происходит в машинном обучении сегодня.

Amazon Alexa — виртуальный ассистент, разработанный компанией Amazon и впервые появившийся в умных колонках Amazon Echo и Amazon Echo Dot.

Д-р Вернер Фогельс: Сегодня все больше разговоров ведется вокруг генеративного ИИ, а также больших языковых и фундаментальных моделей. Расскажите мне, чем это отличается от более узких задач, таких как, например, алгоритмы технического зрения?

Свами Сивасубраманиана: Давайте сделаем шаг назад и посмотрим на то, что такое большие языковые модели. Эти модели обучаются с помощью сотни миллиардов различных параметров, если не миллиардов.

Для понимания, параметр – это внутренняя переменная, которой алгоритм МО обучился на основе набора данных. Теперь давайте дадим представление, что за большое событие произошло?

Во-первых, если вы посмотрите на Трансформеры (Transformers), вы уже увидите большие изменения. Трансформер – это, своего рода, нейросетевая технология, которая отличается удивительной масштабируемостью по сравнению с предыдущими версиями, такими как, например, RNNS (Рекуррентная нейронная сеть). Почему это все вдруг привело к такой трансформации?

Потому что технология действительно масштабируемая, и вы можете обучать её гораздо быстрее, применяя все больше оборудования и много данных. Сейчас это означает, что всю информацию из интернета мы можем погрузить в алгоритмы и с помощью них выстроить модели, которые полностью впитают человеческие знания.

На высоком уровне генеративная текстовая модель ИИ хороша тем, что использует обработку естественного языка для анализа текста и предсказания следующего слова в последовательности.

Обращая внимание на определенные слова или фразы в исходном тексте, эти модели могут делать выводы о контексте. И на основе этого контекста они могут находить слова, которые с наибольшей вероятностью будут применяться после слов, стоящих перед ними.

Структурирование входных данных в виде инструкций с различными видами контекста может побудить модель генерировать ответы для понимания языка, знаний и композиции.

Базовые модели также способны обучаться с помощью «контекста». Например, это происходит, когда вы включаете в модель несколько демонстрационных примеров в качестве части подсказки, чтобы улучшить модели в процессе работы.

Это помогает модели корректировать вывод на основе шаблонов и стилей в примерах. Когда модели используют миллиарды параметров, а обучающим инструментом является весь Интернет, результаты могут быть поразительными. Обучение происходит бесконтрольно и не зависит от задач. А горы веб-данных, используемых для обучения, позволяют ему реагировать на инструкции на естественном языке для различных задач.

Д-р Вернер Фогельс: Таким образом, можно ли было построить задачи, основанные на моделях, которые были у нас раньше, и в которых мы уже были довольно хороши, на основе базовых моделей? Имею ввиду, что вам больше не нужны эти модели для конкретных задач, или они все еще нужны?

Свами Сивасубраманиана: Необходимость в моделях, основанных на конкретных задачах, никуда не денется. Но суть заключается в том, как мы их строим и используем. Для перевода с одного языка на другой или для генерации кода все равно нужна модель. Но то, насколько легко вы теперь можете их строить – большой скачок вперед. Так как с фундаментальными моделями, которые представляют собой весь корпус знаний, огромный объем данных, теперь гораздо проще им управлять, просто строя новые данные поверх существующих, используя тонкие настройки и конкретные примеры.

К примеру, если вы управляете рекрутинговой компанией, и хотите собрать все резюме и хранить их в формате, стандартном для поиска и индексации, вместо того чтобы создавать собственную НЛП-модель (Обработка естественного языка). Теперь вы можете использовать базовые модели и приводить несколько примеров: вот входное резюме в этом формате, а вот это вывод. Теперь вы можете уточнить эти модели, просто приведя несколько конкретных примеров, и тогда вы, по сути, будете готовы к работе.

Д-р Вернер Фогельс: Итак, в прошлом большая часть работы заключалась в том, чтобы маркировать и сортировать данные, и это было самой сложной частью, ведь именно от этого зависела точность. Значит, в данном случае, при использовании этих базовых моделей, маркировка больше не требуется?

Свами Сивасубраманиана: И да, и нет. Как всегда в таких случаях, есть свои нюансы. Но большая часть того, что делает эти крупномасштабные модели примечательными, заключается в том, что они могут быть обучены на большом количестве немаркированных данных. Вы проходите так называемую фазу предварительного обучения. Фазу, которая заключается в том, что вы собираете наборы данных, например, из интернета, а затем не маркируете их, а просто используете. Но, конечно, необходимо пройти этап дезинфекции чтобы убедиться, что вы очистили данные от PII или всего остального.

Затем вы начинаете обучение на больших аппаратных кластерах. Стоимость обучения этих моделей может составить десятки миллионов долларов. И вот, наконец вы получаете представление о модели, а затем вы проходите следующий шаг, который называется выводом.

Когда речь идет о создании таких LLM (логическая обучающая машина), самый простой шаг – это обучение. Самый сложный шаг – сбор качественных данных. Обучение моделей с низким качеством данных приведет к плохим результатам.
Необходимо отсеять отклонения, ненависть и токсичность. Вам нужно будет убедиться в том, что данные не содержат PII или конфиденциальных данных. Необходимо убедиться, что данные дедуплицированы, сбалансированы и не приводят к переизбытку выборки.

Поскольку весь процесс может быть очень дорогим и требует доступа к большим объемам вычислительных ресурсов и хранения данных, многие компании даже не знают, с чего начать.

Д-р Вернер Фогельс: Возьмем обнаружение объектов в видео. Это будет более компактная модель, чем те, которые мы видим сейчас в виде базовых моделей. Какова стоимость работы такой модели? Ведь сейчас эти модели с сотнями миллиардов параметров очень велики.

Свами Сивасубраманиана: Это отличный вопрос, потому что сейчас так много разговоров ведется вокруг обучения этих моделей, но очень мало разговоров о стоимости запуска этих моделей для получения тех самых «прогнозов», то есть выводов. Это сигнал о том, что очень немногие люди действительно развертывают их и запускают в реальное производство. Но как только они действительно развернут их в производстве, они поймут, что это – очень дорогой процесс, и вот тут-то на помощь приходят несколько важных методик. Итак, после создания таких больших моделей и запуска их в производство, необходимо сделать несколько вещей, которые сделают их экономичными и доступными для запуска в масштабе.

Одними из таких способов являются квантование. Другая методика – дистилляция, то есть у вас есть большие модели учителей, и хотя они обучены на сотнях миллиардов параметров, они дистиллируются до более мелкой модели. Это если говорить очень абстрактно, но в этом и заключается суть этих моделей.

Конечно, много средств уходит на обучение модели, но как быть с выводами? Оказывается, что из-за огромного количества этих моделей именно выводы могут стать самыми дорогими.
Чтобы уменьшить размер модели, мы можем выполнить «квантование» или «дистилляцию».

Квантование заключается в том, что мы аппроксимируем нейронную сеть, используя 8-битные целые числа вместо 32- или 16-битных чисел с плавающей запятой.

Мы также можем использовать дистилляцию, которая является эффективным переносом знаний от более крупной модели «учителя» к более мелкой и более быстрой модели «ученика».

Эти методы позволили значительно уменьшить размер модели, но, при этом обеспечить аналогичную точность и уменьшенное время ожидания.

Д-р Вернер Фогельс: Весь процесс проводится на специальном оборудовании, которое помогает уменьшать объем данных. В обычных условиях все это основано на GPU, что является очень дорогим и трудоемким процессом. Расскажите нам, что мы можем сделать с помощью специализированного кремния? Что делает его намного дешевле и экологичнее?

Кремний – материал, из которого сделаны чипы для компьютеров. Это распространенный химический элемент, содержащийся в песке. Кремний является полупроводником – это означает, что его электропроводность занимает усредненную позицию где-то между металлами, такими как медь, и такими диэлетриками, как стекло (определение от AWS)

Свами Сивасубраманиана: Когда речь идет об индивидуальном кремние, стоимость становится большой проблемой, поскольку их очень дорого обучать и очень дорого масштабировать. Вы можете создать игровую площадку и протестировать своего чат-бота в небольших масштабах, и это, возможно, не будет большой проблемой. Но как только вы начнете внедрять его в масштабах основной деятельности, все эти проблемы возрастут.

Именно поэтому с момента расширения в AWS мы инвестировали в наши пользовательские кремнии для обучения с помощью Trainium и Inferentia с выводом. И все эти вещи позволяют нам понять, что операторы принимают участие в прогнозировании решении и оптимизации их на уровне кремниевого ядра и программного обеспечения.

AWS Trainium — это ускоритель машинного обучения (ML) второго поколения, специально созданный AWS для глубокого обучения моделей с более чем 100 млрд параметров.

AWS Inferentia – это специальная микросхема для машинного обучения, разработанная и созданная компанией AWS для обеспечения высокой производительности получения логических выводов при низкой стоимости.

Д-р Вернер Фогельс: Если стоимость также отражает потребляемую энергию, ведь, по сути, это то, за что вы платите, то можно увидеть, что с точки зрения экологичности они гораздо важнее, чем работа на GPU общего назначения. Таким образом, в последнее время общественность проявляет к этому большой интерес. Является ли это реальной основой для разработки будущих приложений?

Свами Сивасубраманиана: Прежде всего, мы живем в очень интересные времена, связанные с машинным обучением. Я, наверное, говорю об этом каждый год, но в этом году это еще более важно, потому что эти большие языковые модели и базовые модели действительно могут обеспечить множество вариантов использования, когда людям не нужно будет создавать отдельные команды для построения моделей для конкретных задач.

Скорость разработки ML-моделей действительно увеличится. Но мы не достигнем целей, к которым стремимся в ближайшие годы, если не сделаем эти модели более доступными для всех. Это то, что мы сделали с SageMaker в самом начале в области машинного обучения, и это то, что нам необходимо сделать с Bedrock и другими приложениями.

Amazon SageMaker — это облачная платформа машинного обучения, которая позволяет разработчикам создавать, обучать и развертывать модели машинного обучения в облаке.

Amazon Bedrock — это новый сервис для создания и масштабирования приложений генеративного ИИ, которые могут генерировать текст, изображения, аудио и синтетические данные в ответ на запросы.

Но мы считаем, что, как и в случае с любой другой технологией, хотя цикл Хайпа и спадет, в ближайшие годы эти модели станут основной частью каждого приложения. И это будет происходить не только с точки зрения технологического, но и устойчивого развития, ведь еще есть много других вещей, которые необходимо продумать в контексте генеративного ИИ. На каких данных он учится, какой ответ он генерирует и насколько он правдив – те вопросы, на которые мы хотим дать ответ нашим клиентам.

Немного рекламы: В Serverspace вы можете создавать облачные серверы для работы с чат-ботами, создания своих приложений и тестирования. Вы можете подобрать необходимую конфигурацию VPS с помощью калькулятора на сайте или в панели управления.