Привет, Хаброжители!
Говорят, что физик Ричард Фейнман однажды сказал: «Я не понимаю того, чего не могу создать». Основываясь на этом же важном принципе, автор бестселлеров Себастьян Рашка шаг за шагом ведет вас к созданию LLM в стиле GPT, которую вы сможете запустить на своем ноутбуке. Это увлекательная книга, которая охватывает каждый этап процесса — от планирования и кодирования до обучения и тонкой настройки.
«Строим LLM с нуля» — это чрезвычайно занимательное путешествие в основы генеративного ИИ. Не полагаясь на существующие библиотеки LLM, вы реализуете в коде базовую модель, превратите ее в классификатор текста и в конечном счете создадите чат-бот, который сможет следовать вашим инструкциям в диалоге. И вы действительно поймете LLM, потому что создали ее сами!
В этой книге:
• План создания с нуля LLM, сравнимой с GPT-2.
• Загрузка предварительно обученных весов.
• Создание полного конвейера обучения.
• Тонкая настройка LLM для классификации текста.
• Разработка LLM, которая следует инструкциям человека.
Читателям понадобятся базовые знания Python и понимание основ машинного обучения. Созданная вами LLM будет работать на любом современном ноутбуке и при необходимости может использовать графические процессоры.
Кому следует прочитать эту книгу
Книга предназначена для приверженцев машинного обучения, инженеров, исследователей, студентов и практиков, которые хотят получить глубокое представление о том, как работают LLM, и научиться создавать собственные модели с нуля. Как новички, так и опытные разработчики, применяя уже имеющиеся навыки и знания, смогут понять концепции и методы, используемые при создании LLM.
Отличие этой книги от других состоит в том, что в ней подробно описан весь процесс создания большой языковой модели: от работы с наборами данных до реализации архитектуры модели, предварительного обучения на неразмеченных данных и тонкой настройки для конкретных задач. На момент написания книги ни один другой ресурс не предлагает такого полного и практического подхода к созданию LLM с нуля.
Чтобы понять примеры кода в данной книге, вы должны хорошо разбираться в программировании на Python. Знакомство с машинным обучением, глубоким обучением и искусственным интеллектом (ИИ) может быть полезным, однако обширные знания в этих областях не требуются. Большие языковые модели — уникальное подмножество ИИ, поэтому, даже если вы новичок в области LLM, вы сумеете разобраться в материале этой книги.
Если у вас есть опыт работы с глубокими нейронными сетями, то некоторые концепции могут показаться вам более знакомыми, поскольку LLM основаны на этих моделях. Однако знание PyTorch не является обязательным. В приложении A представлено краткое введение в PyTorch, которое поможет вам освоить навыки, необходимые для понимания примеров кода в книге.
Понимание математики на уровне средней школы, особенно работа с векторами и матрицами, может быть полезным при изучении внутреннего устройства LLM. Тем не менее ключевые концепции и идеи, представленные в этой книге, не требуют глубоких математических знаний.
Самое важное — наличие опыта программирования на Python. Обладая им, вы будете хорошо подготовлены к изучению больших языковых моделей и сможете понять концепции и примеры кода, представленные в книге.
«По-настоящему вдохновляет и мотивирует вас применять свои новые навыки на практике».
— Бенджамин Мускалла, старший инженер, GitHub
«Самое понятное и исчерпывающее объяснение языковых моделей на данный момент!»
— Кэмерон Вульф, старший научный сотрудник Netflix
«Себастьян сочетает глубокие знания с практическими инженерными навыками и умением простым языком объяснять сложные вещи. Это именно то руководство, которое вам нужно!»
— Чип Хьюен, автор книги AI Engineering
«Определенно актуальная книга. Настоятельно рекомендую!»
— Доктор Вахид Мирджалили, старший аналитик, FM Global
Об авторе
Себастьян Рашка
PhD, более десяти лет работает в области машинного обучения и искусственного интеллекта. Известен своими бестселлерами, посвященными машинному обучению на Python, и вкладом в открытый исходный код.
Себастьян — штатный инженер-исследователь в Lightning AI, специализирующийся на обучении и внедрении больших языковых моделей. До работы в этой компании был доцентом кафедры статистики в Университете Висконсин-Мэдисон, где занимался исследованиями в области глубокого обучения. Подробнее о Себастьяне можно узнать по адресу https://sebastianraschka.com.
Ознакомиться с оглавлением
Полистать отрывок
Приобрести книгу «Строим LLM с нуля» можно на нашем сайте.
По факту оплаты бумажной версии книги на e‑mail высылается электронная книга.
Для Хаброжителей скидка 25% по купону — LLM
stanukih
В книге речь только про языковые модели или в целом, как построить обучающуюся модель?
ph_piter Автор
Вот что автор пишет о своей книге:
Книга призвана помочь вам с нуля создавать собственные большие языковые модели, подобные GPT. В начале книги основное внимание уделяется основам работы с текстовыми данными и программированию механизмов внимания, а затем описываются способы создания модели GPT с нуля. Далее рассматривается механизм предварительного обучения, а также тонкая настройка для конкретных задач, таких как классификация текста и выполнение инструкций. Прочитав книгу, вы будете хорошо понимать, как работают LLM, и научитесь создавать собственные. Ваши модели будут меньше по размеру, чем обычные LLM, но будут использовать те же концепции и служить мощными образовательными инструментами, которые помогут понять основные механизмы и методы, используемые при создании современных больших языковых моделей.