В последние несколько дней вокруг китайского ИИ-стартапа DeepSeek разгорелись споры о том, что он якобы использует проприетарные модели OpenAI.

Вопрос возник после того, как DeepSeek выпустила две модели, DeepSeek-V3 и DeepSeek-R1, производительность которых сопоставима с аналогами OpenAI при значительно меньших затратах.

OpenAI обвинила DeepSeek в неправомерном использовании своих данных для обучения конкурирующей ИИ-модели. Это обвинение вызвало острую дискуссию о правах интеллектуальной собственности в области ИИ и этике дистилляции моделей.

Дистилляция моделей, также известная как дистилляция знаний, - это техника машинного обучения, используемая для передачи знаний от большой, сложной модели («учителя») к меньшей, более эффективной модели («ученику»).

По сути, дистиллированная модель - это меньшая модель, которая работает так же, как и большая, но требует меньше вычислительных ресурсов.

Если вам интересно узнать, как происходит дистилляция модели OpenAI, ознакомьтесь с этой документацией.

Что именно было скопировано?

Осенью 2024 года специалисты по безопасности Microsoft заметили, как группа, предположительно связанная с DeepSeek, извлекает большие объемы данных из API OpenAI.

Эта деятельность вызвала опасения, что DeepSeek использует дистилляцию для несанкционированного копирования моделей OpenAI. Чрезмерное извлечение данных было расценено как нарушение условий OpenAI, которые ограничивают использование его API для разработки конкурирующих моделей.

По словам Марка Чена, директора по исследованиям OpenAI, компании DeepSeek удалось самостоятельно найти некоторые основные идеи, которые OpenAI использовал для создания своей модели рассуждений o1.

Чен отметил, что резонанс вокруг DeepSeek, из-за которого NVIDIA потеряла 650 миллиардов долларов рыночной стоимости за один день, возможно, был слишком раздутым.

Я считаю, что внешний резонанс был несколько преувеличен, особенно когда речь шла о стоимости. Одним из следствий наличия двух парадигм (предварительного обучения и рассуждений) является то, что мы можем оптимизировать возможности по двум осям, а не по одной, что приводит к снижению затрат. - Марк Чен

Хотя OpenAI не раскрывает всех деталей доказательств, она подтвердила, что есть существенные свидетельства того, что DeepSeek использовал методы дистилляции для обучения своих моделей.

В ответ на эти выводы OpenAI и Microsoft заблокировали доступ к API OpenAI для учетных записей, подозреваемых в связях с DeepSeek. Этот шаг является частью более широких усилий американских ИИ-компаний по защите своей интеллектуальной собственности и предотвращению несанкционированного использования своих моделей.

Споры также вызвали обеспокоенность в сфере национальной безопасности, и Белый дом рассматривает последствия такой практики для американской ИИ-индустрии.

Дистилляция моделей законна

Сама по себе дистилляция моделей не является незаконной. Это широко используемая техника в области ИИ для создания более эффективных моделей путем переноса знаний из более крупной модели в более мелкую.

Возьмем в качестве примера стэнфордскую модель Alpaca. Alpaca - это языковая модель, доработанная с помощью контролируемого обучения на основе модели LLaMA 7B на 52 тыс. демонстраций следования инструкциям, сгенерированных из text-davinci-003 от OpenAI.

В результате процесса генерации данных получается 52000 уникальных инструкций и соответствующих выходов, которые при использовании API OpenAI стоят менее 500 долларов.

Это показывает, как дистилляция может быть использована для создания более компактных и доступных моделей, которые при этом показывают хорошие результаты.

На самом деле, если вы читали документацию компании DeepSeek, DeepSeek R-1 - это дистиллированная модель из Qwen (Qwen, 2024b) и Llama (AI@Meta, 2024).

Для поддержки исследовательского сообщества мы открыли исходный код DeepSeek-R1-Zero, DeepSeek-R1 и шести моделей (1,5B, 7B, 8B, 14B, 32B, 70B), полученных из DeepSeek-R1 на основе Qwen и Llama.

Судя по выводам DeepSeek, этот простой метод дистилляции значительно повышает способность небольших моделей к рассуждениям.

Споры вызваны утверждениями о том, что DeepSeek использовала результаты моделей от OpenAI для тонкой настройки своих собственных моделей, что может противоречить условиям обслуживания OpenAI. Это поднимает вопросы о добросовестном использовании, праве собственности на данные и конкурентной борьбе в ИИ-индустрии.

Запуск API DeepSeek требует наличия библиотек OpenAI

Чтобы использовать API DeepSeek, вам нужно запустить 'npm install openai'.

Да, вы все правильно поняли. DeepSeek работает с клиентскими библиотеками OpenAI! Это стало возможным благодаря тому, что REST API DeepSeek полностью совместим с API OpenAI.

Это безумно гениально.

1. DeepSeek избежал траты недель на создание клиентских библиотек Node.js и Python, повторно используя код OpenAI.

2. Разработчики, использующие OpenAI, могут легко попробовать или переключиться на DeepSeek, просто изменив базовый URL и ключ API.

3. Если DeepSeek понадобится внести изменения, они могут просто форкнуть библиотеку и заменить OpenAI на DeepSeek.

Для разработчика это на самом деле хорошо, и я не вижу в этом большой проблемы, потому что это обычная практика для LLM-провайдеров и агрегаторов. OpenRouter, Ollama, DeepInfra и многие другие тоже так делают.

Кстати, о доступе к API, согласно данным Deepseek, вы можете использовать API R1 за меньшую сумму, чем вы заплатите OpenAI.

• ? $0,14 за миллион входных токенов (попадание в кэш)

• ? $0,55 за миллион входных токенов (пропуск кэша)

• ? $2,19 за миллион выходных токенов

Стоимость токена вывода почти в 30 раз дешевле, чем 60 долларов за миллион токенов вывода для o1. Это огромное сокращение расходов для компаний, занимающихся крупномасштабными операциями с ИИ.

Посмотрите на это визуальное сравнение моделей R1 от DeepSeek и OpenAI.

Переход на API R-1 означает огромную экономию. Подробнее об API-доступе DeepSeek можно узнать здесь.

Компания DeepSeek была практически неизвестна за пределами исследовательских кругов, пока в прошлом месяце не выпустила свою модель v3. С тех пор она вызвала падение акций ИИ-компаний и даже была названа "конкурентом" генеральным директором OpenAI. Неизвестно, как будут развиваться события для DeepSeek в ближайшие месяцы, но он определенно привлек внимание как общественности, так и крупных ИИ-лабораторий.

По иронии судьбы, кажется странным, что OpenAI обвиняет DeepSeek в краже интеллектуальной собственности, учитывая их собственную историю с нарушением авторских прав. OpenAI собрала огромное количество данных из интернета для обучения своих моделей, включая материалы, защищенные авторским правом, не спрашивая разрешения. Это привело к судебным искам со стороны таких авторов, как Джордж Р.Р. Мартин и Илон Маск (в отношении данных Twitter).

В результате OpenAI может стать еще более закрытой. Помните инцидент, когда Маск закрыл бесплатный доступ к API X (бывший Twitter) из-за кражи данных? Хотя вероятность того, что OpenAI поступит так же, невелика, это не исключено.