Сэм Альтман — безусловно, главная звезда ИИ-бума, начавшегося после запуска ChatGPT в 2022 году. Генеральный директор OpenAI стал лицом всей индустрии, и у него есть своя профессиональная страсть: он просто обожает законы масштабирования.

Именно эти эмпирические правила связывают масштаб модели с ее возможностями. Они же объясняют ту лихорадку, что охватила индустрию: в погоне за мощностью компании сметают с рынка чипы, возводят дата-центры исполинских размеров и ради энергии готовы даже перезапускать закрытые АЭС.

В своем блоге Альтман сформулировал это так: «интеллект» модели примерно равен логарифму ресурсов, ушедших на ее обучение. Рецепт успеха звучит ��росто, хоть и дорого: можно бесконечно повышать производительность, если экспоненциально «скармливать» системе все больше данных и вычислительных мощностей.

Законы масштабирования LLM, впервые замеченные в 2020 году и уточненные в 2022‑м, родились из анализа графиков с экспериментальными данными. Для инженеров это стало своего рода «дорожной картой». Вместо движения наощупь появилась простая формула: она точно рассчитывает, какого размера нужно строить следующую модель, чтобы гарантированно получить желаемый прирост производительности.

Продолжат ли законы масштабирования работать, когда модели разрастутся до исполинских размеров? ИИ-гиганты делают ставку на «да», подкрепляя свою уверенность сотнями миллиардов долларов. Однако история прогресса учит здоровому скептицизму: то, что на графике выглядит как прямая дорога в небо, в реальности редко оказывается таким уж простым маршрутом.

Законы масштабирования работают не только с ИИ

Законы масштабирования — штука действительно впечатляющая. На них, к примеру, держится вся современная аэродинамика.

Благодаря изящной π-теореме Бэкингема инженеры научились сопоставлять поведение крошечных макетов с реальными гигантами. Будь то продувка в аэродинамической трубе или испытания в специальном бассейне — результаты можно смело переносить на полноразмерные самолеты и корабли. Секрет фокуса прост: нужно лишь убедиться, что совпадают ключевые параметры подобия.

Эти принципы — универсальный фундамент. На них держится все, что вообще способно летать или плавать. Законы масштабирования на удивление демократичны: им с одинаковой строгостью подчиняются и трансатлантические лайнеры, и прозаичные промышленные насосы.

Десятилетиями бурный рост кремниевых чипов опирался на еще одну знаменитую идею масштабирования — закон Мура. Суть проста: каждые два года количество транзисторов — крошечных переключателей на микросхеме — должно удваиваться. Именно этот ритм позволил инженерам создать современные технологии: компактные устройства с вычислительной мощностью, о которой раньше можно было только мечтать.

Здесь кроется важный нюанс: далеко не все «законы масштабирования» столь незыблемы, как и законы природы.

Одни действительно строятся на чистой математике и работают бесконечно. Другие же — лишь линии, проведенные поверх собранной статистики. Они прекрасно предсказывают будущее, но ровно до тех пор, пока мы не уходим уж слишком далеко от условий, в которых получены данные. Да, как только покидаем изученную территорию, магия исчезает.

ML Impact — про ML и AI без хайпа

Все кругом говорят про ML, но многие ли понимают его настоящую пользу для бизнеса? Мы запустили ресурс, который поможет во всем разобраться.

Подробнее →

Когда законы масштабирования перестают действовать

История хранит немало болезненных напоминаний о том, к чему приводит нарушение законов масштабирования. Хрестоматийный пример такого инженерного просчета — обрушение моста Такома-Нэрроуз в 1940 году.

Проект разработали методом масштабирования: конструкцию, которая успешно применялась на небольших мостах, превратили в более длинную и узкую форму. Инженеры тогда полностью полагались на неизменность принципов. Они исходили из предположения, что проверенные пропорции универсальны: если привычное соотношение жесткости к длине работало раньше, оно должно сработать и сейчас.

В реальности все пошло не по плану. Обычный умеренный ветер спровоцировал явление, которого никто не ожидал, — аэроупругий флаттер. Возникшая нестабильность оказалась фатальной: пролет моста не выдержал колебаний и рухнул всего через четыре месяца после открытия.

Точно так же и у «законов» микроэлектроники был свой срок годности. Десятилетиями индустрия опиралась на два фундаментальных ориентира. Первый — закон Мура, предрекавший удвоение числа транзисторов каждые пару лет. Второй — масштабирование Деннарда: транзисторы становятся меньше и быстрее, но их энергопотребление остается прежним. Эти правила служили удивительно точными маяками при проектировании чипов и формировании стратегии всей отрасли.

Однако, когда размеры транзисторов уменьшились до нанометров, система дала сбой. Прежние, казалось бы, незыблемые правила масштабирования вступили в конфликт с фундаментальными ограничениями физики.

Как только толщина затворов транзисторов сократилась до масштаба нескольких атомов, начались проблемы. Пошли утечки, и общее поведение стало непредсказуемым. Снижение рабочего напряжения тоже пришлось остановить: уменьшать его дальше стало невозможно, иначе полезный сигнал просто тонул бы в фоновом шуме.

В конечном счете, стратегия бесконечного уменьшения размеров исчерпала себя. Производительность чипов продолжила расти, но теперь это заслуга новых инженерных решений, а не просто миниатюризации компонентов.

Так законы природы или эмпирические правила?

Кривые масштабирования, которые так превозносит Альтман, — объективная реальность. До сих пор этот инструмент работал безотказно и приносил колоссальную пользу.

Собранные закономерности доказали исследователям: модели будут неизменно улучшаться, стоит лишь предоставить им достаточно данных и вычислительной мощности. Казалось очевидным, что ранние системы не имели фундаментальных ограничений. Они не упирались в архитектурный потолок — им просто не хватало ресурсов для раскрытия потенциала.

Однако важно понимать природу подобных зависимостей: они лишь описывают накопленные данные. Это не строгие математические законы, подобные тем, что используются в аэродинамике. Скорее, перед нами полезные эмпирические правила — такие же, как в проектировании микросхем. А значит, не стоит рассчитывать, что они будут работать вечно.

Правила масштабирования языковых моделей часто оторваны от суровой реальности. Не учитываются ни надвигающийся дефицит качественных данных для обучения, ни трудности, возникающие, когда ИИ сталкивается с принципиально новыми задачами. За кадром остаются и вопросы безопасности, и экономические барьеры — от стоимости дата-центров до пределов пропускной способности электросетей. Никакой закон природы или математическая теорема не дают гарантий, что «масштабирование интеллекта» может продолжаться бесконечно.

Инвестиции в кривые

Пока что кривые масштабирования ИИ выглядят на удивление плавными. Однако с финансовыми показателями история складывается совсем иначе.

Недавно Deutsche Bank выступил с тревожным предупреждением о «дефиците финансирования» в сфере ИИ. Опираясь на оценки Bain Capital, аналитики указали на колоссальный дисбаланс. Наблюдается разрыв между прогнозируемыми доходами и инвестициями в чипы, дата-центры, энергетику. Для поддержания нынешних темпов роста требуются пугающие 800 миллиардов долларов.

В свою очередь, аналитики JP Morgan подсчитали цену успеха. Чтобы получить хотя бы скромную 10-процентную прибыль от запланированного расширения инфраструктуры, всему сектору искусственного интеллекта придется генерировать колоссальную выручку — около 650 миллиардов долларов ежегодно.

Мы все еще пытаемся нащупать законы, управляющие развитием новых технологий. Сценариев два: либо реальность продолжит послушно следовать графику масштабирования, либо в дело вступят жесткие ограничители. Дефицит данных, энергетический голод или банальная неготовность пользователей платить — любое из этих «узких мест» способно радикально изменить расклад.

Альтман делает ставку на то, что законы масштабирования LLM продолжат работать. Если он прав, то безумное наращивание вычислительных мощностей оправдано — ведь результат предсказуем и сулит выгоду.

Однако растущая тревога банков служит холодным напоминанием. Некоторые истории масштабирования могут повторить судьбу моста Такома-Нэрроуз: красивые, устремленные ввысь кривые на бумаге порой скрывать фатальный изъян, который проявится лишь при столкновении с реальностью.