Всем привет! Меня зовут Сергей Темченко, я работаю системным аналитиком в компании EORA. Мы внедряем LLM-решения в такие компании, как Додо, Столото и другие.
Сегодня я расскажу о трёх кейсах внедрения LLM в крупных компаниях: Магнит, Skyeng и Точка. С представителями первых двух я лично созванивался, чтобы узнать детали. Эти кейсы охватывают разные сферы и помогают решать различные задачи, но всех их объединяет одно: грамотное использование LLM для быстрой оптимизации процессов. В конце статьи я подытожу своё отношение к внедрению LLM, основываясь на этих примерах.
Кейс 1: внедрения LLM для модерации отзывов в Магнит
Задача:
Команда Magnit Tech проверяла, насколько LLM могут автоматизировать модерацию пользовательских отзывов в приложении. Предполагалось, что задачу можно решать одним вызовом LLM с продуманным промптом.
Текущая система:
Сейчас используется «ансамбль» из простых словарных фильтров, паттернов и одной небольшой ML-модели. Около 67% текстов проходят автоматическую проверку, а оставшиеся 33% — вручную модераторами.
Эксперименты с моделями:
ChatGPT 3.5 показал ~80% точности при базовом few-shot prompting и до 85% — при мультиагентном методе (несколько запросов на один отзыв).
YandexGPT изначально справлялся хуже (проблемы с форматом вывода, непредсказуемые ответы), но при дообучении на собственном датасете точность выросла до 81%.
Также тестировались другие ллмки подробнее читайте в статье Магнита.
Интересный инсайт про точность:
При сравнении с «золотым стандартом» (человеческой разметкой) выяснилось, что два модератора расходятся во мнении примерно в 10% случаев. То есть реальный максимум точности (если сравнивать с человеком) — это 90%, а не 100%.
Вывод:
С такой простой задача как модерация комментариев справляется GPT 3.5 или дообученый YandexGPT.
Ссылка на оригинальную статью.
Кейс 2: LLM помогает Skyeng ускорять производство учебного контента
Задача:
Создавать и персонализировать уроки (карточки с заданиями) под конкретные запросы учеников.
Ускорить выпуск контента (Time to Market) и снизить затраты на разработку.
Решение:
Интегрировали ChatGPT в собственную CMS, чтобы методисты могли быстро генерировать задания.
Использовали готовые шаблоны промптов и научили AI подстраиваться под внутреннюю разметку Skyeng.
Добились увеличения скорости разработки в 3 раза и сокращения затрат в 4 раза на создание упражнений.
Почему не автоматизировать всё целиком?
ChatGPT иногда ошибается и «придумывает» факты, поэтому методисты, корректоры и фактчекеры должны проверять и дорабатывать контент.
При узкой специализации (например, «английский для бетонного завода») вопросы требуют экспертного участия человека.
У преподавателей есть AI-генератор внутри урока, но решение, какие задания показать ученику, они принимают самостоятельно. Таким образом, люди остаются в процессе и контролируют качество.
Вывод:
На нынешнем этапе развития LLM при сложных сценариях (как создание уроков или ответы техподдержки) разумнее оставлять человека в контуре принятия решений, чтобы оптимизировать его работу , а не пытаться полностью заменить специалистов.
Ссылка на оригинальную статью.
Кейс 3: как банк Точка внедрил LLM для приветственных сообщений в бизнес-нетворкинге
Боль пользователей:
Предпринимателям бывает сложно начать диалог с потенциальным партнёром: нужны «правильные» первые фразы. Многие не пишут вовсе или рассылают «спам» и получают бан.
Решение:
В сервисе нетворкинга «Точка Нетворк» добавили кнопку «Варианты приветствий», которая генерирует 2–3 текста с помощью ChatGPT/GPT-4/GPT-4o. При этом учитывается контекст из анкет (опыт, «чем могу помочь», «в чём нужна помощь», цели).
Результаты:
Около половины пользователей, которые смотрели подборку собеседников, воспользовались нейросетью для приветственных сообщений.
86% из них одобряют предложенные варианты, что говорит о реальном упрощении старта общения.
Важно оставлять человека в цепочке: ИИ иногда ошибается или выдаёт шаблоны, а пользователь может отредактировать текст перед отправкой.
Вывод:
LLM в Точке — это не «магия ради магии», а точечное решение реальной задачи. Благодаря этой фиче пользователи быстрее налаживают деловые связи.
Ссылка на оригинальную статью.
Общие выводы
Чтобы эффективно внедрять LLM в бизнес-процессы, важно чётко понимать, что вы хотите оптимизировать или какую «боль» пользователя снимаете. В сложных сценариях важно оставлять людей в цепочке, чтобы контролировать качество и корректность решений. Оптимальная стратегия — запускать небольшие фичи с коротким циклом разработки, проверять гипотезы и постепенно масштабировать решения, основываясь на метриках и отзывах.