Учим небольшую LLM с нуля: гибридное внимание, XSA, доменные бленды и загадки роста онлайн-бенчмарков +13
Публикации с тегом SFT
Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0) +3
Языковая Модель без магии: Крошечная Language Model на чистом Node.js +12
Своя GPT-like LLM по WH40K с нуля. Часть 4: Дообучение на вопрос–ответ (SFT) +6
Дообучил pretrain ruGPT3 XL 1.3B до уровня LLM (~2020 год, ChatGPT выйдет через 2 года). Сравнение с Gemma3 1B 2025 года +21
habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16 +139
Как дообучить LLM. Рассказываю шаг за шагом +36
Три попытки обогнать в бенче базовую Gemma 4 дообучением — и все три мимо
Прогнал семь LLM через свой русский спортивный бенчмарк. Базовой моделью всё равно оставляю Gemma 4 31B
Флоу комфорта: как искусственный интеллект в колонках Сбер научился создавать сценарии умного дома
Kandinsky 4.1 Image – новый генератор изображений от Сбера +17
- Natural Language Processing
- Блог компании Сбер
- Блог компании SberDevices
- Машинное обучение
- Обработка изображений
- Искусственный интеллект
Как дообучать LLM с помощью Supervised Fine-Tuning
Fine-tuning больших языковых моделей в 2024 году
Что такое supervised fine-tuning?
Как с помощью supervised fine-tuning кастомизировать LLM
