Акции NVIDIA рухнули, потеряв за одну ночь $600 миллиардов рыночной капитализации — крупнейший дневной обвал на рынке ценных бумаг в истории США. Это событие стало шоком для рынка GPU, будущее которого, как казалось, предопределено на годы вперед. Причиной стал запуск китайской нейросети DeepSeek, которая не только превзошла западных конкурентов, таких как ChatGPT, но и стоила в разработке в тысячу раз дешевле. Этот прорыв поставил под угрозу бизнес-модель NVIDIA, основанную на стабильном спросе на их GPU.
Разбираемся, как так вышло, вместе с Валерой Ковальским, CEO NDT by red_mad_robot.
Почему именно NVIDIA
Причина 1: Снижение зависимости от дорогих GPU
DeepSeek обучил свою модель всего за $6 млн, тогда как OpenAI и Google тратят миллиарды. Это стало возможным благодаря использованию RL — чистого обучения с подкреплением, без этапа supervised fine-tuning.
Что такое RL? Обучение с подкреплением — это метод, при котором модель учится взаимодействовать с окружающей средой методом проб и ошибок. Она получает вознаграждение за правильные действия, что позволяет ей постепенно улучшать свои результаты.
Почему без supervised fine-tuning? Обычно модели дообучают на больших размеченных данных, что требует значительных затрат на их сбор и обработку. DeepSeek отказался от этого этапа, сократив расходы.
Кроме того, вместо традиционного метода PPO (Proximal Policy Optimization, один из популярных алгоритмов обучения с подкреплением), использовался улучшенный GRPO (Generalized Reinforcement Policy Optimization).
Чем GRPO лучше? Новый алгоритм повышает стабильность и скорость обучения, что позволяет сократить количество вычислений и сделать процесс более эффективным.
Причина 2: Архитектура MoE (Mixture of Experts)
Mixture of Experts — это архитектура модели, где активируются лишь некоторые её части для выполнения задачи. В случае DeepSeek из 671 млрд параметров одновременно используются только 37 млрд. Результат — стоимость обработки одного токена у DeepSeek в 27 раз ниже, чем у OpenAI.
Причина 3: Смена парадигмы
Ранее считалось, что прогресс в AI возможен только за счёт увеличения вычислительных мощностей (так называемый Bitter Lesson). Этот принцип подтверждал, что добавление ресурсов и данных эффективно продвигает развитие моделей. DeepSeek доказал обратное: за счёт оптимизации методов обучения можно радикально сократить затраты и исключить необходимость в масштабных GPU-кластерах.
Последствия для рынка
Для инвесторов NVIDIA успех DeepSeek стал неприятным сюрпризом. Если ранее рост компании был основан на предположении, что спрос на GPU для обучения моделей будет только увеличиваться, то теперь очевидно: будущее технологий лежит в разработке более эффективных алгоритмов, а не в безграничном наращивании вычислительных мощностей. Это открывает новые перспективы для конкурентов и ставит под сомнение долгосрочные прогнозы NVIDIA.
И что теперь?
DeepSeek стал символом новой эпохи в развитии AI, где ключевую роль играет не только железо, но и оптимизация алгоритмов. Успех китайской нейросети напоминает рынку, что технологическое лидерство больше не эксклюзив западных компаний. NVIDIA, символ LLM-бума, теперь сталкивается с угрозой снижения спроса, что повлияет на весь сектор.
Над материалом работали:
текст — Валера Ковальский;
редактура — Игорь Решетников;
иллюстрации — Петя Галицкий.
Это блог red_mad_robot. Мы запускаем цифровые бизнесы и помогаем компаниям внедрять AI. Здесь наша команда разработки на собственных кейсах рассказывает о том, что происходит с AI сегодня, а стратегические аналитики подсказывают, что будет завтра. Мы бы подписались.
Наш телеграм канал (там всё другое, а ещё есть анонсы мероприятий): t.me/redmadnews
Комментарии (32)
JohnSmith_007
28.01.2025 17:05Так теперь Китайские смартофоны, пылесосы и холодильники смогут шнионить еще еффективнее и интилектуалнее ?
prika148
28.01.2025 17:05У меня есть глупый вопрос - надеюсь, кто-нибудь из специалистов сможет уверенно ответить:
Может быть такое, что заявления о беспрецедентных оптимизациях - выдумка? А модель училась на куда большем (не 50к против 10к, а на порядки) количестве карточек, или вовсе является "допиленной" существующей моделью?
Немного подозрительно, что именно кванты произвели такое потрясение - они, вполне вероятно, заработают на изменении курса акций NVIDIA существенные деньги, которых хватит, чтобы закупить уже настоящее железо и обучить настоящую LLM
Krypt
28.01.2025 17:05"я не специалист, но мои 5 копеек"
Детали обучения мы проверить не можем, а вот скорость работы вполне - DeepSeek опубликовали модель. Кто угодно может пойти скачать саму модель и провести тесты самостоятельно:
https://huggingface.co/deepseek-ai/DeepSeek-R1
Впрочем сам R1 обычный ПК не потянет, от всё таки большеват, этак на порядок. Но всего лишь на порядок. Distill модели вполне, но это не сам DeepSeek R1, это другие опенсорсные модели тренированные на данных сгенерированных с помощью R1 и под его наблюдением.
Сколько же ChatGPT использует вычислительный мощностей вроде никто и не знает.
...но вообще всё это пахнет очередным хайпом.
APXEOLOG
28.01.2025 17:05>то теперь очевидно: будущее технологий лежит в разработке более эффективных алгоритмов, а не в безграничном наращивании вычислительных мощностей. Это открывает новые перспективы для конкурентов и ставит под сомнение долгосрочные прогнозы NVIDIA.
Будущее лежит и там и там. Это и так было очевидно всем, кто следит за новостями в сфере GenAI. Новые алгоритмы появлялись все это время и куча моделей (в том числе от небольших компаний) догоняли топовые модели. Что до железа - без него никак, так или иначе это ещё один способ скейлинга.
blik13
28.01.2025 17:05Крах? Может и крах, но вот прям сейчас смотрю на Nasdaq и уже треть краха осталась позади. Конечно к концу дня всё может обратно вернуться в крах, а может и нет. Время покажет.
nidalee
28.01.2025 17:05Конечно крах: весь ИИ-софт, включая китайский, крутится практически безальтернативно на золотом железе ноувидео - "крах".
Krypt
28.01.2025 17:05Вообще, в случае именно с LLM, бутылочное горлышко - это скорость доступа к памяти, причём значительное. Вам нужно перелопатить этак 70Gb памяти, провести пару арифметических операций над каждым байтом.
При этом энтузиасты успешно запускают LLM на современных Маках, именно из-за того что у них оперативная память быстрая (насколько я понимаю от того, что это расшаренная память в том числе и с GPU)
В общем кажется мне NVidia лидирует только от того, что никто больше серьёзно не попытался.nidalee
28.01.2025 17:05В общем кажется мне NVidia лидирует только от того, что никто больше серьёзно не попытался.
NVIDIA лидирует потому, что ее CUDA - стандарт в вычислениях на GPU. Настолько, что AMD поборолись, и плюнули, решив, что написать эмулятор CUDA целесообразнее.
Развод Apple с AMD тоже им не сыграл на руку - пока в маках стояли карты AMD, еще был жив OpenCL. Ну, так. Кое-как. Сейчас у них доля в GPGPU по сравнению с CUDA - погрешность.
NVIDIA успешно смогла подсадить на CUDA всех и вся, настолько, что какой-то ML проект без CUDA - это как ресторан без напитков - нонсенс.
NVIDIA слегка просчитались, когда после 3060 на 12 гигабайт зажали VRAM и решили сыпать меньше. Ну и не было тогда понимания, что нужны будут сотни гигов VRAM энтузиастам дома. Apple тут повезло с их unified memory просто постольку-поскольку - она не делалась с расчетом, что когда-то все эти 100 гигов будут забиты одной ML моделью. Это оказался приятный бонус.
Сейчас выйдет NVIDIA Digits, и если Apple внезапно не переориентируется серьезно на ML - то судьба у них будет такая же, как и у GPGPU на AMD. А зная любовь Apple к огораживанию всего и вся, они скорее будут гнать юзеров на свои облака, нежели сфокусируются на локальных решениях.
Chamie
28.01.2025 17:05Да нормально нейронки крутятся на чём угодно. В StableDiffusion можно хоть одновременно использовать и встройку, и дискретку, если не путаю.
nidalee
28.01.2025 17:05Да крутятся конечно. Вопрос в том, каким количеством костылей их подпирать. Вот выжимка из wiki самого популярного webui для Stable Diffusion:
Windows+AMD support has not officially been made for webui, but you can install lshqqytiger's fork of webui that uses Direct-ml.
Training currently doesn't work, yet a variety of features/extensions do, such as LoRAs and controlnet. Report issues at https://github.com/lshqqytiger/stable-diffusion-webui-directml/issues
<...>
See if your GPU is listed as a build architecture in
PYTORCH_ROCM_ARCHvariable for Tourchvision and PyTorch. References for architectures can be found here. If not, consider building both packages locally or use another installation method.Инструкции для nvidia сводятся к: извлеки - нажми run.bat.
Chamie
28.01.2025 17:05Дык вы инструкцию-то саму и пропустили. Она тоже сводится к «скопируй вот эту команду» (гит) «и запусти webui-user.bat».
Krypt
28.01.2025 17:0595% инструкций AI проектов выглядят так. На данный момент это территория специализированных проектов и энтузиастов, для простых решений эта область слишком молода. Они ещё не успели появиться и завоевать рынок.
orekh
28.01.2025 17:05Именно. И форк тот для поддержки АМД работает плохо. Друг мой его пробовал, одну картинку генерирует, а на следующей уже падает с ошибкой нехватки памяти несмотря на 16 гб на карточке т.к. память почему-то не выгружается или не переиспользуется.
Когда раньше у меня самого была амдэшная карточка тоже страдал. Ничего связанного с ИИ на ней не работает, как ни пытайся.
Думаю, что с их объемами видеопамяти они бы с лёгкостью завоевали популярность у любителей генерировать картиночки или локально запускать silly tavern, но своих программистов АМД наверное вообще не кормит - не могу иначе объяснить почему те не пытаются контрибутить поддержку своих карт в популярные опенсорсные проекты. Или это такой тайный план Лизы Су получать откаты от куртки Хуанга.
Alex-Freeman
28.01.2025 17:05Назвать ROCm "эмулятор CUDA" это конечно сильно) То что он позволяет переносить код с CUDA не делает его "эмулятором". Для задач с повышенным требованием к память то же Instinct MI325X гораздо выгоднее H100/H200. Даже без оптимизации Instinct MI325X показывает сопоставимый уровень производительности при почти вдвое более низкой цене.
Alex-Freeman
28.01.2025 17:05Энтузиасты запускают LLM на всем, включая одноплатники. А маки со своей быстрой памятью просто в клочья рвут ускорители с HBM3)
CBET_TbMbI
28.01.2025 17:05Только сегодня кидал картинку. Авторы, где вы увидели крах?
А прямо сейчас она уже опять лезет вверх. Если китайцы сделают хорошие чаты-болталки общедоступными, то работать-то они всё равно будет на железе. А в железе нвидиа лидирует.
Если кто и пострадает, то разные стартапы, в которые раньше многие были готовы миллиарды вкладывать с малым выхлопом. Теперь инвесторы призадумаются, нужно ли вкладывать миллиарды. Или лучше найти грамотных спецов и вложить миллионы.
opusmode
28.01.2025 17:05Обожаю этих аналитиков, которые сейчас будут высасывать из пальца.
Тем временем, за торговую сессию NVIDIA отросла почти на 10%, да и весь NASDAQ Composite практически отрос.
А вот DeepSeek весь день полумёртвый и только слепой ещё не стал замечать, что он выглядит очень мутно.
tagabenz
28.01.2025 17:05Нвидиа сами перестали гнаться за мощностями и начали делать упор на алгоритмы нейросетей, пример тому новая линейка видеокарт с обновленной версией DLSS
karmael
28.01.2025 17:05фейковый фпс вместо реальной мощности. ну такое себе. это скорее правильно понимать как обозначенный водораздел между "поиграть" и "посчитать". dlss вряд ли способен помочь в расчетных задачах. Они долго к этому шли и вот наконец то пришли, однако до сих пор не ясна радость потребителей.
Politura
28.01.2025 17:05С учетом того, что теперь любой стартап может скачать модель DeepSeek-r1, запустить ее на своем железе стоимостью в смешные пару сотен тысяч баксов и получить свою локальную llm не уступающую ничем дорогой ChatGPT-o1 означает то, что скоро начнется дефицит сначала специализированных карточек, а затем и видеокарт (после того как появится гайд как эту модель запустить на домашнем кластере из видеокарт).
Ну а акции нвидии могут опять улететь вверх.
Politura
28.01.2025 17:05С учетом того, что теперь любой стартап может скачать модель DeepSeek-r1, запустить ее на своем железе стоимостью в смешные пару сотен тысяч баксов и получить свою локальную llm не уступающую ничем дорогой ChatGPT-o1 означает то, что скоро начнется дефицит сначала специализированных карточек, а затем и видеокарт (после того как появится гайд как эту модель запустить на домашнем кластере из видеокарт).
Ну а акции нвидии могут опять улететь вверх.
MaxxONE
28.01.2025 17:05В чем крах, если запускать модели все равно будут на железе NVIDIA? Особенно с учетом того, что теперь его закупку потянут не только крупные конторы, но и великое множество мелких. Скорее, акции взлетят до небес, просто невидимая рука рынка пока не разобралась в ситуации.
YuraPlusEV
28.01.2025 17:05Ставлю под сомнение этот тезис, либо его неполноту в том виде, как он приводится
Это стало возможным благодаря использованию RL
RL - по сути перебор и с точки зрения арифметики, чисто голый его вид это расходящиеся дерево, которое точно не пахнет лучшей оптимизацией, тут должно быть что-то накручено, либо какие-то махинации с выборкой для обучения.
letatel
Сегодня ДикСик дидосили весь день. Вот такая вот конкуренция.
Speedmanc
Не осилили наплыв пользователей уже в первый дань, а собираются конкурировать "бесплатно и без впн" с чатгпт. Опыт бесплатных сайтов с генерацией, которые сворачивают халяву, как только наберут достаточную базу юзеров никого не учит, лишь бы громкие заголовки писать.
johnfound
Ничего страшного – нормальный хабра эффект.
erydit
При сравнимом качестве готов платить тем, у кого не будет проблем с оплатой российскими картами и меньше цена.
Giperoglif
я вчера пытался зарегистрироваться там через гугл акк(такая возможность там есть) - постоянно отваливалось. попробовал через почту зарегистрироваться просто(тоже гугл) - код так и не пришел)
silvercaptain
У меня не получилось ни через outlook ни через google. Зато на почту яндекса пришел код моментально