Во всем AI-мире сейчас говорят о новой китайской языковой модели DeepSeek и, конечно, наша команда развития AI не могла пройти мимо этой темы. Мы сравнили ответы новой модели на реальные запросы к нашей технической поддержке с ответами других популярных моделей. Что из этого получилось и какие выводы мы сделали расскажу я — Максим Михайлов, продуктовый менеджер Cloud.ru.

Что и как мы сравнивали

В сравнительном тестировании участвовало пять моделей: OpenAI GPT4 o1-mini, Open AI o3-mini, Qwen 2.5-Max, DeepSeek-R1 и DeepSeek-R1 (32b).

Мы оценивали их по нескольким основным критериям: 

• техническая правильность ответа; 

• корректная ссылка на документацию;

• соблюдение Tone of voice (ToV); 

• гибкость подстройки под контекст запроса.

Как проходило тестирование: мы взяли 40 реальных запросов в нашу техническую поддержку, деперсонализировали их, затем отобрали релевантные статьи после выдачи retriever и передали в LLM. Получилось, что запрос в LLM состоял из системного промпта, правил написания с учетом Tone of Voice (ToV) компании, деперсонализированного запроса и документации, полученной от retriever.

Какие результаты получили

После тестирования и проверки качества ответов команда оценила модели по пятибалльной шкале. Вот что получилось:

Главный вывод, который мы сделали — большая модель DeepSeek-R1 отлично справляется с задачами, в которых важен анализ контекста и изучение документации. Облегченная же версия DeepSeek-R1 32B сильно ей уступает, однако ее производительность может быть полезна для других сценариев (например, при исправлении пунктуации и орфографии, бинарной разметке данных или быстрой генерации текстов без высоких требований к качеству).

Преимущества DeepSeek-R1

Какие преимущества DeepSeek-R1 мы выделили:

1. В отличие от других популярных моделей, DeepSeek-R1 в обязательном порядке прикладывает реальные и работающие ссылки на документацию к каждому ответу.

2. Эффективно использует контекстные запросы пользователя и формирует более персонализированные ответы.

3. Модель можно развернуть локально, что обеспечивает стабильность, безопасности и надежность. В отличие от других моделей OpenAI, которые доступы только по API и в последнее время ведут себя непредсказуемо.

Сравнение ответов моделей

Чтобы не быть голословными, покажем ответы модели DeepSeek-R1 и О1-mini на реальный запрос пользователя:

Я еще ни разу не создавал виртуалку, как я могу быстрее и дешевле ее создать? Хочу свой сервер майнкрафта.

Итоги

Наша команда увидела в DeepSeek-R1 потенциал — мы уже начали рассматривать модели интеграции в сервисы Cloud․ru и запуск нового виртуального ассистента поддержки для наших клиентов. А возможность локального использования — это, пожалуй, главное преимущество модели, которое придется очень кстати при работе с конфиденциальными данными.

А вы уже тестировали DeepSeek-R1? Какие плюсы или минусы обнаружили? Делитесь в комментариях ?