Как многие уже слышали, в сентябре 2026 года TypeSafe AI представила Jev. Это модель, которая вообще не умеет генерировать текст и вместо этого принимает описание ситуации и возвращает структурированные решения с вероятностями. Разработчики назвали новый класс System One и заявили об ускорении в десятки раз на задачах автоматизации.
Впрочем, Jev не претендует на замену универсальных LLM. Да и подробности её внутренней архитектуры пока не раскрыты.
Тем не менее, кейс показательный: индустрия начинает отходить от представления, что любая интеллектуальная задача требует большой языковой модели, последовательно генерирующей токены. Причём эксперименты идут сразу на нескольких уровнях — от устройства нейросетевых блоков до самого принципа генерации и формата ответа.
GPT-подобные Transformer никуда не исчезли, на них по-прежнему построена значительная часть современных LLM. Но вместе с классикой LLM уже работают рекуррентные модели, state-space-архитектуры, гибриды с линейным attention и диффузионные генераторы текста. Некоторые используются в коммерческих продуктах, другие постепенно выходят за пределы исследовательских лабораторий.
Их и разберём в этой статье. Также обсудим будущее ИИ-систем и оценим вероятность сохранения монополии за архитектурой GPT.
Сперва договоримся, что считаем за альтернативу GPT
У GPT-подобных LLM есть две характерные черты: decoder-only Transformer с причинным self-attention параметром и авторегрессионная генерация, когда следующий токен предсказывается на основе предыдущих (нечто вроде Т9, если совсем базово).
Это независимые свойства. Можно заменить attention рекуррентным блоком, сохранив генерацию слева направо. А можно оставить Transformer, но генерировать сразу несколько позиций. Оба варианта — отход от привычной схемы GPT.
У полного self-attention вычислительная сложность обработки последовательности имеет квадратичную составляющую по её длине. При генерации помогает KV-cache: старые ключи и значения не пересчитываются, но кэш растёт вместе с контекстом. FlashAttention, GQA и MLA существенно снижают стоимость, не устраняя эту зависимость полностью.
Поэтому не стоит путать вычислительную сложность, задержку и качество: хорошая асимптотика не гарантирует ни высоких tokens/sec, ни точного поиска внутри контекста.
Стоит различать prefill — обработку промпта — и decode, выдачу новых токенов. Архитектура может быстрее читать 100 тысяч токенов, но медленнее отвечать на короткий вопрос. Другая — экономить память, но требовать особых GPU-ядер. Поэтому сравнения «в N раз быстрее» без указания нагрузки мало о чём говорят.
Jev: зачем генерировать текст, если нужна только инструкция?
В сентябре 2026 года TypeSafe AI представила Jev — модель нового класса System One. Её разработчики предложили отказаться от привычной генерации текста там, где приложению нужен конкретный ответ: выбрать инструмент, классифицировать запрос, оценить риск или определить следующий шаг.
Вместо последовательного предсказания токенов Jev получает состояние системы и набор вопросов с заранее определёнными типами ответов. Модель обрабатывает вопросы параллельно и возвращает структурированные результаты вместе с вероятностями. Никакого текстового ответа, который потом придётся разбирать парсером.
Для обучения используется метод Reinforcement Learning for Calibrated Decisions (RLCD), ориентированный на калибровку вероятностей. Важно не просто выбрать правильный вариант, но и адекватно оценить уверенность в нём.
По данным TypeSafe, на подходящих задачах Jev работает в 40–200 раз быстрее традиционных LLM. Но это сравнение вендора, причём на специфических сценариях автоматизации. Универсальным ускорением ИИ его считать нельзя.
Любопытно другое: Jev вообще не пытается конкурировать с GPT в написании текстов или кода. Она предназначена для ситуаций, когда интеллектуальное решение должно стать частью обычной программной логики. Например, одна модель пишет код, а другая быстро оценивает, какой инструмент следует вызвать или требует ли действие дополнительной проверки.
Точная внутренняя архитектура Jev пока не раскрыта. Поэтому относить её к SSM, линейному attention или какой-либо другой архитектурной семье преждевременно. Однако сам подход принципиально отличается от авторегрессионной генерации — и показывает, что развитие ИИ необязательно означает создание очередной разговорной модели.
Подробнее в анонсе Jev от их разработчиков.
Одни ли они такие?
Вовсе нет! Буквально позавчера, 11 ноября, подключились и Google, представив Gemini Decision 1 — прямого конкурента Jev. Принцип тот же: вместо генерации текста модель за один проход оценивает заданные варианты ответа и возвращает вероятности и показатели уверенности.
Однако есть существенное отличие: Gemini Decision 1 мультимодальна, работает с текстом, изображениями, аудио, видео и PDF, поддерживает контекст до 256 тысяч токенов и до 1000 независимых вопросов за запрос. Google заявляет задержку 150–250 мс и стоимость $0,10 за миллион входных токенов без платы за выходные. По результатам собственных тестов компании, модель опережает Jev на части бенчмарков (хотя и не на всех).
Интересно здесь то, что Google уже использует этот подход для маршрутизации запросов между моделями и проверки безопасности инструментов. Получается, специализированные модели принятия решений перестают быть экспериментом отдельного стартапа и постепенно превращаются в самостоятельный класс инструментов для агентных систем.
Рекуррентные сети на примере RWKV и xLSTM
Рекуррентные сети не исчезли вместе с приходом Transformer — их пересобрали с учётом новых алгоритмов и оборудования.
RWKV (Receptance Weighted Key Value) использует рекуррентное состояние при выводе, но допускает параллельные вычисления при обучении. Несмотря на Key и Value в названии, обычного self-attention с растущим KV-cache там нет.
xLSTM обновляет классическую LSTM за счёт экспоненциального gating и новых структур памяти. Вариант mLSTM использует матричную память. Команда NXAI обучила 7-миллиардную модель и открыла код и веса.
Рекуррентность оказалась не устаревшей идеей, а другим набором компромиссов по памяти, качеству и вычислениям.
Для RWKV и xLSTM важен ещё и вопрос инфраструктуры. Наличие открытых весов не означает, что модель сразу станет удобной заменой в существующем inference-сервере: требуются поддержка специфических операций, оптимизированные kernels, инструменты квантования и понятный режим батчинга. У Transformer здесь большое историческое преимущество.
Подробнее: RWKV-7, репозиторий xLSTM.
Linear attention для компактного история
Линейное внимание — ещё одно направление. Как правило, в этом подходе меняется механизм смешивания токенов, в то время как другие части Transformer могут сохраняться.
В обычном softmax attention запросы сопоставляются с ключами. В ряде линейных вариантов вычисления перестраивают так, чтобы агрегировать историю в компактное состояние и не хранить ключи и значения каждого токена для таких слоёв.
Как не стереть важные ассоциации? DeltaNet использует delta rule: перед записью учитывает сохранённую связь и корректирует память. Gated DeltaNet управляет забыванием, а Kimi Delta Attention (KDA) делает это на уровне каналов.
Такие механизмы уже есть в выпущенных моделях: Qwen3-Next сочетает Gated DeltaNet с обычным attention, а Kimi Linear от Moonshot AI — KDA с периодическими слоями полного attention на базе MLA. Заявленное ускорение длинного декодирования зависит от конфигурации и метода измерений.
В 2026 году NVIDIA предложила Gated DeltaNet-2: операции стирания и записи теперь регулируются раздельно. Цель уже не просто «линейный attention», а сохранение точности при управляемой памяти.
Полезные ссылки: Qwen3-Next, Kimi Linear, Gated DeltaNet-2.
Причём индустрия не спешит отказываться от классического attention
В практических моделях чаще встречаются гибриды, чем полный отказ от Transformer.
Например, в Qwen3-Next-80B-A3B 80 млрд параметров, из которых около 3 млрд активных на токен. Часть слоёв использует Gated DeltaNet, часть — глобальный attention. При этом разница между общими и активными параметрами — эффект MoE.
В Kimi Linear 48B-A3B на три KDA-слоя приходится один слой полного attention: дешёвые рекуррентные блоки обрабатывают большую часть последовательности, а глобальные сохраняют прямой доступ к контексту.
Стоит также разделять MoE и альтернативы attention. Mixture-of-Experts меняет прежде всего устройство вычислительных блоков: вместо активации всех параметров для каждого токена выбирается часть экспертов. Сам по себе MoE может использовать совершенно обычный Transformer. То же верно для квантования, speculative decoding и RAG — это значимые способы удешевления LLM, но не отдельные «пост-GPT архитектуры».
У гибрида всё равно может быть KV-cache для глобальных слоёв. Реальная экономия зависит от батча, длины входа и ответа, аппаратной платформы и качества вычислительных ядер. Обещать постоянную память для всей модели нельзя.
Первоисточники: Jamba, Qwen3-Next, Kimi Linear.
Liquid AI: свёртки тоже могут быть основой языковой модели
Свёрточные нейросети ассоциируются с изображениями и аудио, но полезны и в компактных текстовых моделях, особенно для локального запуска.
В LFM2 Liquid AI объединила короткие свёртки с gating и отдельными слоями attention, подбирая архитектуру под реальное оборудование, в том числе мобильные CPU. Изящная сеть на бумаге может проиграть более простой, если её операции плохо исполняются на устройстве.
27 октября 2026 года компания представила LFM3 для текста, зрения и аудио. Её tri-hybrid объединяет gated-свёртки, attention со скользящим окном и глобальный attention. В текстовой LFM3-1.7B из 24 слоёв 13 свёрточных, 5 локальных и 6 глобальных. Это не LLM без attention — просто он больше не обязателен в каждом слое.
Цель — локальные агенты и специализированные задачи при строгих ограничениях на память, энергопотребление и задержку. Сравнивать такую модель с крупнейшими облачными LLM без учёта условий бессмысленно.
Технические детали: LFM2, анонс LFM3 от 27 октября 2026 года.
Диффузионные LLM: а можно ли писать текст не слева направо?
До сих пор речь шла о моделях, продолжающих текст слева направо. Диффузионные LLM меняют сам порядок генерации.
Модель начинает с частично скрытой последовательности, восстанавливает несколько позиций и уточняет их за ряд шагов. Для текста это сложнее, чем для изображений: токены дискретны, синтаксис и порядок слов критичны.
LLaDA показала конкурентные результаты на ряде задач при масштабе в 6-10B. Но внутри LLaDA — всё ещё Transformer! Альтернатива GPT здесь именно в неавторегрессионной генерации, а не в другом нейросетевом блоке.
Mercury от Inception Labs дошла до коммерческого API и генерации кода. Параллельное уточнение токенов даёт высокую пропускную способность в опубликованных тестах. Но дополнительные итерации тоже стоят вычислений: ускорение зависит от длины ответа, железа и методики измерения.
Для программирования это интересно: код часто нужно менять в середине файла, а не только дописывать справа. Но качество такого редактирования ещё нужно проверять на реальных задачах и diff.
Есть также проблема привычных интерфейсов. Потоковая выдача текста, tool calling и продолжение ответа после внешнего действия проектировались вокруг авторегрессионных моделей. Диффузионный генератор может поддерживать похожий API, но его внутренние шаги устроены иначе. Для агента важнее не число токенов за секунду, а стабильность структурированных вызовов, предсказуемая задержка и возможность вовремя остановить выполнение.
Почитать: исследование LLaDA, технический отчёт Mercury.
Что всё это меняет для разработчика, а не для авторов бенчмарка
Очевидно: новые аббревиатуры полезны только там, где снимают реальное ограничение продукта.
Для потоковой обработки подойдут рекуррентные модели; для длинных репозиториев — гибриды с выборочным глобальным attention; для локальных помощников — компактные модели, оптимизированные под CPU или NPU. Диффузионная генерация может заинтересовать разработчиков кодовых ассистентов, если подтвердит преимущества в реальных задачах.
Не менее очевидно, что архитектура нейросети и архитектура продукта — разные вещи. Дешёвый длинный контекст не говорит модели, какие файлы важны, когда запускать тесты и как проверить правку. За это отвечает агентная среда: поиск, управление контекстом, инструменты и проверки.
В Kodik IDE мы придерживаемся той же логики: помимо моделей разных провайдеров, развиваем собственные решения «Чешир» и Auto. «Чешир» ориентирован на агентные задачи разработки, Auto помогает выбирать подходящую модель и контролировать стоимость. Мы не приписываем им какую-либо из описанных выше архитектур: для разработчика важнее результат на конкретном репозитории.
Резюме: Transformer живее всех живых, но его монополия теперь под вопросом
Ни RWKV, ни linear attention, ни диффузия пока универсально не вытеснили GPT-подобные LLM. У Transformer остаются зрелая инфраструктура, гибкость и проверенное масштабирование.
Однако развитие LLM уже не сводится к увеличению параметров. Меняются способы хранения памяти, организации вычислений и генерации. Наиболее практичный ответ нередко — гибрид из рекуррентных, свёрточных и attention-блоков.
Поэтому мы убеждены, что вопрос «какая LLM самая умная?» становится всё скучнее. Гораздо важнее уже другой вопрос:
Какая архитектура, на каком железе и с какой агентной обвязкой лучше решает эту задачу?
Этот тезис, конечно, не так эффектен, как очередные похороны Transformer. Зато гораздо полезнее для инженера.