И снова возвращаюсь к теме больших языковых моделей. В своей достаточно старой статье я писал, что текущая архитектура БЯМ(LLM) — это гонка в тупик. Наблюдения за прошедшее время только укрепляют меня в этом мнении. Но сегодня хочу поговорить о другом, а что если тупик — это не конец пути, а просто барьер, за которым нас ждет технологическая революция? И почему те, кто сейчас вкладывает сотни миллиардов в дата‑центры, сделают всё, чтобы эта революция не случилась? Разберем по порядку.

Токены — фундаментальный костыль архитектуры

В прошлый раз я отмечал ключевую проблему: статичность структуры БЯМ. Но есть еще одна проблема, о которой говорят реже, хотя она куда фундаментальнее — это токенное представление информации.

Для тех, кто не совсем в теме, токен — это не слово и не смысл. Это статистически частый фрагмент текста, полученный алгоритмами типа BPE (Byte Pair Encoding). Модель вынуждена эмулировать смысл через синтаксис и статистику символов.

Отмечу несколько следствий этого подхода:

1. Раздутый контекст. Чтобы понять сложную идею, модели нужно прогнать через механизм внимания тысячи токенов. То, что для человека несколько предложений текста, для модели — матрица 10 000 x 10 000, требующая колоссальной памяти для KV‑кэша. Квадратичная сложность механизма внимания (O(N^2)) — это фатальная особенность архитектуры. Конечно современные модели используют более продвинутые технологии вроде линейного или разреженного внимания, но они скорее идут в плоскость увеличения размеров контекстного окна.

2. Низкая информационная плотность. Модель тратит миллиарды параметров на запоминание грамматических связок, предлогов и вероятностей сочетания символов, вместо того чтобы оперировать чистой логикой.

3. Авторегрессионная неэффективность. Модель вынуждена генерировать ответ токен за токеном, публично «проговаривая» свои мысли. Это медленно и энергозатратно.

Человеческий мозг не мыслит токенами, у нас нет «внутреннего монолога», который со скоростью 50 слов в секунду генерирует текст для самого себя. Мы оперируем концептами, образами, пространствами состояний и взаимосвязями.

И вот тут возникает закономерный вопрос: почему бы не научить модели также оперировать высокоуровневыми представлениями?

Кому выгодно текущее положение вещей?

Если переход к концептам так очевиден, почему индустрия с таким упорством продолжает наращивать параметры и строить дата‑центры? Ответ на самом деле простой: это выгодно всем, кроме конечного потребителя.

Корпоративная олигополия

В Кремниевой долине есть термин «Compute Moat» (вычислительный ров). Обучение современных топовых моделей требует кластеров из десятков и сотен тысяч чипов H100/H200/B200, гигантских объемов энергии и систем жидкостного охлаждения. Стоимость одной тренировки перевалила за $100 млн.

Это создает непреодолимый барьер входа. Не то, что отдельные исследователи, но даже университеты не могут позволить себе исследования на уровне корпораций. Стартапы вынуждены покупать доступ к API вместо создания собственных моделей.

Финансовый пузырь на стероидах

Если обратиться к отчету Sequoia Capital “AI's $600 Billion Question”, то там прямо говорится о том, что AI‑компаниям нужно $600 миллиардов годовой выручки, чтобы оправдать текущие инфраструктурные расходы. Но где взять эти деньги? Реальная выручка этих компаний на порядок ниже! И предпосылок, чтобы эти две цифры сошлись — пока нет. При этом стоимость AI‑компаний выросла на $27 триллионов за последние три года — это 36% стоимости всего американского фондового рынка. Т.е. несколько компаний, которых десять лет назад просто не существовало, формируют больше трети крупнейшего в мире фондового рынка. Пять крупнейших компаний планируют потратить более $800 миллиардов на ИИ‑инвестиции только в 2026 году. Просто вдумайтесь на минуту в порядок этих цифр и динамику с которой все это развивается.

Многие аналитики уже прямо предсказывали крах AI‑пузыря в 2026 году из‑за роста процентных ставок и инфляции. Хотя я думаю, что в 2026 это точно не случится, поскольку тут есть еще одна крайне заинтересованная сторона.

Государственный интерес: ИИ как спасательный круг американской экономики

Вот что действительно интересно — хайп вокруг ИИ и колоссальные инвестиции в эту сферу создают значительную долю прироста ВВП США. Без этого с большой вероятностью США уже давно скатились бы в рецессию.

Вот несколько цифр, которые говорят сами за себя:

• Во втором квартале 2025 года инвестиции в ИИ и дата‑центры обеспечили 30% роста ВВП

• В первом квартале 2026 года ИИ обеспечил 67% роста экономики США (ВВП вырос на 2.0%)

• вклад ИИ во втором квартале 2026 оценивается в 44% роста ВВП 

Многие закономерно задаются вопросом: «Если лопнет AI‑пузырь, вызовет ли это рецессию?». По‑моему, ответ тут более чем очевиден. И это будет не просто рецессия, это будет катастрофа. Поэтому сами власти США крайне заинтересованы в дальнейшем надувании пузыря, крах которого может похоронить не только технологические компании, но и само государство. Государственная машина активно включается в этот процесс и вот уже ФРС и Министерство торговли США публикуют отчеты, подчеркивающие вклад ИИ в экономику. И это звучит не просто как нейтральная статистика, а как прямой сигнал рынкам: «Инвестируйте дальше, это безопасно».

Понятно, что рынок нервничает, инвесторы нервничают, поэтому когда Sequoia Capital заявляет (хотя по мне так это целенаправленный вброс), что 2026 год будет «Year of Delays» для дата‑центров и AGI, то это следует расценивать как способ мягко охладить рынок, ожидания инвесторов, не допуская обвала. Ведь здравый смысл уже просто кричит — экономика AI не сходится и признаков, что она сойдется просто нет. А что будет через 2–3 года интенсивной работы, когда купленные ускорители начнут выходить из строя, даже не окупив затрат на их приобретение? Но мощности надо наращивать непрерывно — потребности инференса непрерывно растут, нужно обучать новые модели, открываются новые генеративные ниши.

Но если не задумываться о судьбах финансовых рынков и перспектив государственного образования под названием США, то для простых смертных не все так плохо. Есть исследователи, которые понимают ограниченность текущего подхода и пытаются совершить радикальный пересмотр подхода.

Янн ЛеКун и его JEPA )

Известный исследователь Янн ЛеКун открыто заявляет, что авторегрессионные LLM предсказание следующего токена) — это тупик. Он продвигает архитектуру JEPA (Joint Embedding Predictive Architecture).

Суть ее заключается в том, что модель не предсказывает следующий токен или пиксель. Она переводит данные в скрытое пространство (латентное представление) и предсказывает следующий смысл. То есть модель учится оперировать абстракциями, игнорируя ненужный шум (токены).

Результаты весьма красноречивы:

• V‑JEPA работает с видео в абстрактном пространстве представлений

• VL‑JEPA (2025) показывает лучшую производительность при 50% меньше обучаемых параметров

• LeJEPA (2026) предлагает математически обоснованный способ стабилизации обучения world‑models

ЛеКун опубликовал каталог из 14 JEPA‑моделей, называя это «структурным сдвигом, который нам отчаянно нужен».

Chain of Continuous Thought (Coconut)

Исследователи из одной запрещенной в России корпорации представили концепцию Coconut — «Непрерывная цепочка мыслей». Суть ее в том, что вместо того чтобы заставлять модель писать промежуточные рассуждения текстом (токенами), как это делают классические БЯМ, модель учат рассуждать векторами. Модель делает шаг «мысли» в латентном пространстве, обновляет свое внутреннее состояние и сразу переходит к следующему шагу. Результаты экспериментов показывают, что Coconut превосходит Chain‑of‑Thought на задачах логического рассуждения, требующих существенного поиска при планировании. Модель достигает лучшего соотношения между качеством и количеством «thinking tokens».

State Space Models: Mamba-3 и другие

В марте 2026 года Together.ai представила Mamba-3 — новую state space model, разработанную с фокусом на эффективность инференса. В отличие от предыдущих версий, Mamba-3 оптимизирована именно для скорости работы, а не только для обучения. На масштабе 1.5B параметров Mamba-3 улучшает среднюю точность на 0.6 процентных пункта по сравнению со следующими лучшими моделями и предлагает более выгодную экономику.

RWKV, хотя и имеет меньшее сообщество чем Mamba, демонстрирует больше реальных внедрений благодаря своей простоте.

State Space Models созданы именно для того, чтобы сломать монополию тяжелых трансформеров и перенести AI на edge‑устройства (смартфоны, ПК). На самом деле альтернативных архитектур куда больше, я привел лишь несколько ярких примеров. Но все их объединяет одно — в их развитие никто не направляет миллиарды долларов, словно индустрия не хочет их замечать. В этом контексте очень интересна тишина из лагеря Марка СахарнаяГора. После откровенного провала начала 25 года с моделями Llama 4 они словно ушли в тень. И лишь в этом году вышла новая линейка Muse с любопытными архитектурными изменениями. А учитывая их изначальную ориентированность на OpenSource и что долгое время их команду возглавлял упомянутый выше Янн ЛеКун, то я бы следил за ними внимательно. Равно как и за стартапом самого ЛеКуна AMI Labs.

Черный лебедь: что произойдет при успехе?

Теперь представим, что одна из этих альтернативных технологий завтра выстрелит. Появится архитектура, которая дает качество современных Frontier‑моделей, но требует в 10–100 раз меньше вычислительных ресурсов и памяти. Это и будет тем самым эффектом «черного лебедя» — событием, которое перевернет всю индустрию и экономику.

Финансовое землетрясение

Можно с высокой уверенностью говорить, что первая реакция Уолл‑стрит будет панической:

• Обвал акций Nvidia и полупроводниковых гигантов. Капитализация Nvidia держится на колоссальном спросе на ее новейшие чипы. Если для инференса хватит одной потребительской видеокарты, заказы на десятки миллиардов долларов будут отменены. Акции рухнут на десятки процентов за считанные дни.

• Кризис облачных провайдеров. Microsoft, Amazon, Google сейчас тратят сотни миллиардов на строительство дата‑центров. Эти инвестиции окажутся «токсичными активами». Им придется списывать гигантские убытки.

• Смерть стартапов‑«прослоек». Тысячи компаний, чей бизнес строится на перепродаже облачного API, просто обанкротятся.

Макроэкономическая катастрофа

Но самое страшное в данном случае — это влияние на экономику США в целом.

Если AI‑пузырь лопнет из‑за появления эффективной альтернативы:

• 30–67% драйвера роста ВВП просто испаряются и это катком проедет по всей экономике

• Инвестиции в $800+ миллиардов окажутся выброшенными на ветер

• Фондовый рынок потеряет 36% своей стоимости (это $27 триллионов), а если проследить цепочки взаимосвязей в экономике и учесть кумулятивный эффект, то наверняка больше

• США войдут в глубокую рецессию, возможно, худшую за всю свою историю

Вот почему государство не может допустить краха пузыря. А потому не может допустить появления технологии, которая сделает пузырь ненужным.

Конец монополии

Если технология станет легкой:

• Условный студент в общежитии сможет обучать собственные модели на обычном игровом ПК

• Стоимость генерации упадет почти до нуля, по цене электроэнергии

• Победа OpenSource станет неизбежной

Расцвет Edge AI

Как итог всех потрясений, ИИ перестанет быть «чат‑ботом в браузере». Он наверняка будет встроен в саму операционную систему. Большинство устройств вокруг реально станут «умными». И все это локально, не отправляя ни байта в интернет, режим приватности по‑умолчанию. Хотя этого тоже очень многим не хочется допустить.

Геополитический переворот

Сейчас США сдерживают технологическое развитие других стран с помощью санкций и эмбарго на поставку передовых AI‑чипов. Если новая архитектура требует в 100 раз меньше ресурсов, она сможет эффективно работать на старых чипах, которые производятся везде. Все санкции теряют смысл и скорее бьют по самому поставщику.

Реакция корпораций и государства: сопротивление неизбежно

Но было бы наивным думать, что крупнейшие американские корпорации и само государство не думают об этом. Там также прекрасно понимают, о чем мы говорим и разумеется не будут сидеть сложа руки. И самые очевидные действия следующие:

1. Скупка и уничтожение конкурентов

Как только какой‑то стартап разработает прорывную архитектуру, его просто купят, а затем... технология будет «интегрирована» (похоронена) в недрах корпорации, чтобы не каннибализировать текущий бизнес — история полна таких примеров.

2. Дискредитация

Будет запущена кампания по дискредитации новых подходов под лозунгами:

• Это не масштабируется

• Это не работает на реальных задачах

• Это небезопасно

• Это не пройдет compliance

3. Государственное регулирование как барьер

Здесь государство и корпорации объединят усилия. Будут лоббироваться законы, которые:

• Требуют обязательной сертификации AI‑моделей (дорого и долго)

• Вводят ответственность за действия AI (что сделает небольшие компании непривлекательными для инвесторов)

• Создают «белые списки» одобренных архитектур

• Требуют аудита безопасности, доступного только крупным игрокам

Это, в дополнение к вычислительному, создаст регуляторный ров — барьер входа, который невозможно преодолеть без миллиардов долларов и связей в Вашингтоне. И первые признаки такого регулирования мы уже наблюдаем, причем не только в США.

4. Контроль над нарративом

Государственные агентства будут публиковать отчеты, подчеркивающие вклад текущих AI‑технологий в экономику. Это создаст общественное давление: «Не ломайте то, что работает и кормит страну». Любая попытка предложить радикально новую архитектуру будет встречена вопросом: «А вы понимаете, что это уничтожит триллионы долларов инвестиций и миллионы рабочих мест?»

5. Создание экосистемной зависимости

Корпорации будут привязывать рынок к своей инфраструктуре:

• Специализированные форматы моделей, которые работают только на их железе

• Закрытые API, которые невозможно воспроизвести

• Патентные войны против альтернативных подходов

  В некотором роде это напоминает то, что происходило с нефтяным рынком. Только новой нефтью будет инференс топовых моделей, который нужно покупать за доллары, а неугодных будут отключать. И все это при полном и тотальном контроле, первые попытки которого мы уже недавно наблюдали на примере последних моделей Anthropic.

6. Контроль над исследованиями

Большинство топ‑исследователей уже работают в корпорациях. Они будут направлять гранты и финансирование в «безопасные» направления (оптимизация трансформеров, ускорение инференса), а не в радикально новые архитектуры.

Что делать нам?

Мы в России, против нас технологические санкции. Лидеры индустрии Сбер и Яндекс с их моделями что‑то пытаются создавать, но мы видим, что... впрочем, не будем о грустном. Причем вдвойне грустно, что наш собственный вектор развития лежит в направлении «догнать», мы упорно тюним чужие паровые двигатели и делаем потуги создать свой, но никак не пойти своим путем, чтобы придумать двигатель внутреннего сгорания. При том, что лидеры российского рынка буквально пылесосом собирают с рынка все перспективные кадры и выстраивают под себя финансовые потоки государственного финансирования при очевидном оверпрайсе. Почему это происходит? Для меня загадка, не хочется развивать конспирологических теорий, но задумываться заставляет.

Есть ли выход? Даже если вас съели, у вас есть два выхода.

Это конечно мое субъективное мнение, как и многое из сказанного выше, но мне кажется, что нужно идти другим путем. Не гнаться за корпорациями в их гонке мегаватт и триллионов параметров, где мы по определению неконкурентоспособны. Нужно инвестировать в фундаментальные исследования альтернативных архитектур. Ряд примеров я назвал выше, но их гораздо больше. А иногда, чтобы придумать что‑то новое, нужно просто вспомнить хорошо забытое старое.

Для нас появление эффективной архитектуры — это не угроза, а шанс. Шанс обойти технологические санкции и создать конкурентоспособный ИИ без доступа к B200, шанс получить реальный технологический суверенитет о котором очень много говорится, но на практике очень мало делается. А за очередной «прорыв» выдается китайская поделка у которой сменили наклейку.

Заключение

Текущий бум LLM — это эпоха «паровых машин», где мы пытаемся разогнать топку (железо), вместо того чтобы изобрести двигатель внутреннего сгорания.

Токенное представление — это временный костыль, позволяющий скармливать машинам человеческую культуру, мысли и способы выражения. Настоящий прорыв, который обрушит потребность в гигантских дата‑центрах и сделает сильный ИИ доступным на персональных устройствах, произойдет именно тогда, когда модели перейдут от обработки текста к манипуляции концептами, к абстрактным представлениям.

Но монопольные американские корпорации и государство будут сопротивляться. Они вложили слишком много — и деньгами, и репутацией, и макроэкономической стабильностью, чтобы позволить этому случиться.

Только история технологий показывает: как только появляется монополия на «тяжелое» железо и софт, всегда появляется волна оптимизации, которая делает технологии дешевыми, легкими и доступными каждому. Мы это уже не раз проходили и думаю пройдем еще раз. Вопрос лишь в том, сколько времени это займет и какие препятствия будут созданы на этом пути.

Для России и других стран под санкциями это окно возможностей. Пока корпорации и государство США защищают свой пузырь, мы можем построить свою альтернативную экосистему — легкую, эффективную и независимую. И вопрос только — воспользуемся ли мы этим шансом?

На этом все, спасибо самым стойким, кто дочитал ) Как всегда, буду рад содержательным комментариям, замечаниям и идеям!