Исследователи предложили способ сжать большую языковую модель почти вдвое и сохранить около 85% ее качества, не тратя ресурсы на обучение с полного нуля. Полученная модель на 2,27 млрд параметров прошла дистилляцию всего на 22 млрд токенов, но в среднем уже обходит Qwen3-1.7B, которую учили на 36 трлн токенов (то есть на объеме данных в 1 600 раз больше).

Метод назвали Concertina, от англ. «концертина» — вид небольшой гармошки, а не чего-то «конкретного». Способ подробно описали в статье «Folding Language Models into Themselves». Готовые веса уже выложены на Hugging Face под свободной лицензией Apache 2.0.

Что значит «свернуть» модель

Принцип работы Concertina. Группа слоев заменяется одним блоком с циклом на N проходов, где на каждом шаге к общим весам добавляется небольшая поправка. Источник.
Принцип работы Concertina. Группа слоев заменяется одним блоком с циклом на N проходов, где на каждом шаге к общим весам добавляется небольшая поправка. Источник.

Обычно при сжатии нейросетей лишние слои просто выкидывают, но от этого модель «глупеет», так как теряет глубину рассуждений. Авторы Concertina пошли другим путем и буквально сложили соседние слои Qwen3-4B попарно, как меха гармошки. 

Каждая пара соседних слоев Qwen3-4B заменяется одним общим блоком, который выполняется дважды. Общие линейные матрицы берутся из первого слоя пары. Второй проход получает поправку ранга 64, которую инициализируют усеченным SVD разности двух исходных слоев, а поток поправки масштабирует гейт для каждого токена. Нормализации RMSNorm у каждого прохода свои. После сборки студента дистиллируют из той же Qwen3-4B, потеряв при этом 43% параметров: 2,27B против 4,02B.

Сравнение с ближайшими альтернативами

Данные взяты из таблицы в пересказе карточки модели.

Qwen3-4B (учитель)

Qwen3-1.7B

Concertina-2.27B

Параметры

4,02B

1,72B

2,27B

Токены обучения

36T

36T

22B (дистилляция)

base-7 (среднее)

0,630

0,562

0,580

MMLU

0,671

0,557

0,556

MMLU-Redux

0,720

0,591

0,587

MMLU-Pro

0,404

0,297

0,301

GPQA

0,379

0,293

0,308

BBH

0,505

0,363

0,400

GSM8K

0,879

0,710

0,788

MATH

0,566

0,460

0,498

Чтобы было проще ориентироваться в метриках: base-7 — это средний балл по семи базовым тестам на здравый смысл и понимание контекста, Redux и Pro — исправленная и усложненная версии бенчмарка MMLU, GPQA проверяет научные знания уровня аспирантуры, BBH — сложную логику, а GSM8K и MATH — математику.

Concertina выигрывает у Qwen3-1.7B по base-7, Pro, GPQA, BBH, GSM8K и MATH, а на MMLU (0,556 против 0,557) и Redux (0,587 против 0,591) уступает с минимальным отрывом. Учителя она не догоняет ни на одном тесте. По моему расчету из таблицы, средняя доля качества учителя равна 84%, как и заверяют авторы. Задачи на рассуждения держатся лучше всего, около 90% у base-7 и GSM8K, а знания и сложные вопросы теряют больше, Pro и BBH ближе к 75–80%.

Что экономится, а что нет

Вес в bf16 уменьшается с 8,0 до 4,5 ГБ. Эффективная глубина остается 36 слоев (18 уникальных блоков по два прохода), и KV-кэш такой же, как у Qwen3-4B. Вычислений на токен, вероятно, примерно столько же, потому что каждый общий блок исполняется дважды. 

Замеров скорости и пропускной способности в карточке нет. Для устройств, где упираются в память весов, выигрыш виден сразу. Для серверного инференса, где решают скорость и кэш, его пока подтвердить нечем.

Как проверить

Код в репозитории короткий: функции fold_model и distill_loss, самотест на CPU. Лицензия Apache 2.0, как у исходной Qwen3-4B. В репозитории два коммита и единственный чекпоинт, других конфигураций (другой размер группы, другой ранг) нет. 

Стоит проверить метод на модели другого семейства и измерить реальную скорость. Если она не вырастет, Concertina останется способом сделать модель компактнее исключительно по памяти, но не по скорости.

А как вам сама идея рекуррентного «сворачивания» слоев? Кто-нибудь уже успел прогнать чекпоинт у себя и замерить реальный tokens/sec на GPU по сравнению с обычной Qwen3-4B? Делитесь результатами в комментариях.

ИИ‑роутер — доступ к 400+ моделям из одной панели

Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.

Запустить ИИ‑роутер →

Комментарии (26)


  1. Mixael_sas
    17.11.2026 12:08

    Примените нейросеть хотя бы на заголовке, смысл непонятен.


  1. rPman
    17.11.2026 12:08

    в результате по их же сравнению 1,7B модель хуже полученной 2,27B модели на 1…3% (BBH GSM8K на 10%) при этом количество весов у нее меньше на 32% (еще про скорость не говорят, если там дважды вычисления, значит скорость работы как у исходной 4B)… т.е. получается идея не стоящая

    p.s. проверять нужно было на модели с большим количеством весов, так как маленькие и так уже на грани качества держатся (если совсем не на заученных знаниях). маленькие модели обычно от любых попыток их оптимизировать ломаются заметно сильнее чем большие.


    1. Eduard_Bocharov
      17.11.2026 12:08

      По моему, тут смысл в снижении расходов на обучении моделей под свои требования. Количество токенов на обучение было взято на 3 порядка меньше


    1. Wolf4D
      17.11.2026 12:08

      Причём взяты веса bf16, что для такой модели - выбор крайне странный. Золотой стандарт - квант Q4_K_M, который на 4B занимает ~2.2 Гб на диске (и до 4.5 Гб VRAM). А указанными 4.5 Гб определённо можно распорядиться гораздо эффективнее.


      1. rPman
        17.11.2026 12:08

        скорее всего идея была в том что позже модель можно было бы еще и квантовать, ведь технология сжатия указанная в статье кардинально отличается от квантования и в теории будет возможно их совмещать.

        дико интересно, можно ли такое совершить с моделями по сильнее и плоскими, например qwen3.8-27b


  1. Uglevod
    17.11.2026 12:08

    Как можно сделать модель и сделать тэсты ))?


  1. CitizenOfDreams
    17.11.2026 12:08

    Concertina, от англ. «концертина» — вид небольшой гармошки, а не чего-то «конкретного».

    Да мы тут люди мал-мала грамотные, не путаем concertino и con cretino...

    Скрытый текст


    1. umbral
      17.11.2026 12:08

      Да и правильнее будет

      Концертина, от англ. «concertina»


    1. vialine
      17.11.2026 12:08

      не просто концерт, а целая концертина ))


  1. JediPhilosopher
    17.11.2026 12:08

    Объясните, для чего нужны такие мелкие модели вообще? Я пробовал qwen на 7b параметров и она была практически бесполезна во всем. Да, какой-то текст отвечать может. Но вызовы инструментов уже не может (формально там вроде есть поддержка, но на деле это слезы, постоянно ломает синтаксис вызова, цепочки вызовов уже не может сделать), галлюцинирует во всю, код писать уже тоже не умеет чтобы он работал... Зачем они вообще нужны, какой у них практический сценарий использования?


    1. ksbes
      17.11.2026 12:08

      Как раз для ответа текстом и используют - для всяких RAG, или просто искалку дают. Для конфедициальных документов - само то. Анализирует/суммаризирует не так уж и плохо.


    1. rogoz
      17.11.2026 12:08

      Ну да, вот по модели 2023 года только и оценивать практический сценарий использования.


  1. ksbes
    17.11.2026 12:08

    Ну давайте слои модели, как матрицу, ещё по JPEG “сожмём” - ещё ж эффективней будет! Нет?


  1. WondeRu
    17.11.2026 12:08

    Толерантность к ошибкам в IT за последние четыре года изменилась радикально. Раньше заказчик мог устроить скандал из-за запятой не на своём месте или неверного округления. Мы часами вычитывали код, гоняли тесты, правили мелочи, потому что качество было не опцией, а нормой.

    Модель уменьшили вдвое, и теперь она ошибается в 25% случаев. Это подают как достижение.

    "Ты лучше голодай, чем что попало есть" (с)


    1. umbral
      17.11.2026 12:08

      А вы денежный фактор в уравнение добавтье, и все сойдется.


    1. ZardoZAntony
      17.11.2026 12:08

      Так вычитывать код после модели никто не отменял. Это же инструмент генерации черновика, а не чистовой продукт. В случаях, когда черновика достаточно (пилот, демка) никто и не парится. А для качества код-ревью обязательно.


      1. balamutang
        17.11.2026 12:08

        Это модель не для кода, это говорилка настольная типа умный поиск по документам и тд


  1. slbeat
    17.11.2026 12:08

    На мак мини м4 кодить можно? - главный вопрос


  1. erbiugsd
    17.11.2026 12:08

    студента дистиллируют

    Зачем дистиллируют студента? Что необходимо от него отделить?


    1. ksbes
      17.11.2026 12:08

      Мозги. Они ему всё равно без надобности!


  1. SolidSnack
    17.11.2026 12:08

    Сознание Хабра, подскажи мне, я правильно понял что у ИИ есть критическая масса ОБЯЗАТЕЛЬНОГО количественного минимума для обучения внятной и пригодной хоть для чего-то модели?

    Получается, модель меньщая по объему заученных ею данны, чем у ребят из огромных корпораций, ближе к Т9 чем к AGI?


    1. rPman
      17.11.2026 12:08

      В зависимости от объема обучающих данных (условных знаний в них) и целевых задач, да, но как я понял оценка снизу постоянно сдвигается вниз. Самые первые исследования показывали (кажется это) что где то после 10^24 условных мат-операций, потраченых на обучение модель начинает проявлять признаки интеллекта.

      'внятная и пригодная хоть для чего то' - расплывчатое понятие, например использование как классификатор, даже 0.5B модели могут что то, а 1B могут даже изображения разбирать и описывать. Например https://huggingface.co/LiquidAI/LFM2-VL-450M требуют меньше 1Gb памяти (помню там был даже вариант запуска в браузере с поддержкой webgl).

      А вот качество и стабильность очень капризны, каждый следующий условный процент требует экспоненциально либо повышение затрат на обучение либо количество весов (требований к памяти) плюс лфайхаки типа включение размышления с высокими бюджетами или к примеру повторение одного и того же запроса с высокими значениями температуры (условно сделать 1024 запроса и статистически взять наиболее частый ответ) дают еще чуть чуть буста.

      Про Т9 это вы по больше слушайте ботов в чатах (не понимаю экономического смысла в их существовании но они есть), которые с завидным постоянством твердят эту глупость. После определенного объема обучающей выборки от Т9 там ничего не осталось (переход от мегабайтов у Т9 к терабайтам).

      p.s. между 'отвечать на короткие вопросы' и 'устойчиво решать агентские задачи' пропасть на пару порядков весов и затрат на обучение


      1. SolidSnack
        17.11.2026 12:08

        проявлять признаки интеллекта

        Утверждение очень спорное, само определение интеллекта может быть темой для дискуссии, а вы уже такое заявлете)

        После определенного объема обучающей выборки от Т9 там ничего не осталось (переход от мегабайтов у Т9 к терабайтам)

        Этому есть научное подтверждения? Или из-за объема и сложности системы это персонофикация? (Если верить гуглу). По моему, свойство психики упрощать сложные системы, антропоморфировать их, давно известно человечеству, с чего вы взяли что не занимаетесь этим прямо сейчас?

        Только потому что в алгоритм положили больше данных?


        1. rPman
          17.11.2026 12:08

          Этому есть научное подтверждения?

          конечно, если бы не тролили вы бы просто погуглили бы и нашли. есть работы по исследованию.. качество моделей функция от данных, ресурсов на обучение и количества весов (описание одной из таких исследований, что нашел гугл а не сама статья, мне лень), так же были исследования показывающие что начиная с определенной сложности у модели появляются возможности которые в нее не закладывали через обучающую выборку.

          я же осторожно сказал - 'проявляют признаки интеллекта' а не являются интеллектом, но вы упорно сводите диалог к этому. Все что у нас есть - это 'бенчмарки', экзамены, прохождение которых агентами на основе ИИ дают численную оценку, которая дает основание сравнивать модели и говорить 'эта умнее той', в т.ч. с людьми

          p.s. современные модели, все еще не дотягивают универсально до человека, но областей, в которых это так становится все меньше, а во многих областях машина давно обошла обывателя и число этих областей растет.


          1. SolidSnack
            17.11.2026 12:08

            Погуглил что? Лично для меня, что-то погуглить, само по себе не имеет никакого веса. Вы вот нагуглили сайт aiblogly, вы вот сами как думаете, такой сайт заинтересован в продвижении ИИ? Учитывая что и сайт то у них навайбкоженный...

            Что-то я пока только вижу как возможности ИИ растут с тем сколько всего в нее пытаются запихнуть, сама по себе она никаких выводов не делает и сама, по своей инициативе (как бы смешно это не звучало) ничего не учит.

            Если для Т9 построили сотни дата-центров и запихали в нее все текста человечества, лично для меня это не делает алгоритм интеллектом или даже чем-то похожим)

            Я то не свожу диалог к этому, к этому диалог сводят сами любители ИИ, заявляя что вот вот и AGI всех уволит с работы...

            А я вот слышал мнение что в текущей реализации они со 100% точностью не до одной области человека не дотянутся, даже снимки вместо рентгенолога пока не могут смотреть, да ладно рентгены, вы знаете хоть 1 компанию где на тех поддержке стоит нормальный ИИ который решил хотя-бы 1 вопрос более менее нестандартный, на который у человека уйдет 3 минуты вместе с выслушиванием причины?)

            Как-то так получается что в интернете если погуглить, да и вообще послушать людей, то ИИ уже проявляет признаки интеллекта.

            Но если просто посмотреть по сторонам то никаким искуственным интеллектом не пахнет...

            Только нейрослоп рекой льется, это да, это трудно не заметить


            1. slavic-voronezh
              17.11.2026 12:08

              ну ты сравнил бесконечный мир и набор транзисторов. Почитай на программу для андроида на странце где отзывы люди пишут к обновлениям вквидео, а им ИИ строчит одинаковые ответы на все их вопросы что в вк не удобно смотреть видео и для удобства разработана программа вквидео, в которой фоновое воспроизведение отключено как и в куче аналогичных программ, и доступно по подписке :) Поэтому вквидео смотрю только на телевизоре. ИИ - это супер перспективное направление, а вк - это супер пупер, как и вк видео.

              " если просто посмотреть по сторонам то никаким  " - зрение (*)(*) и нюх /()()\. В твоём тексте куча шаблонного - нелогичных связок слов - мусора, на котором обучают детей нелогическому мышлению, а дети - обучают взрослых, взрослые - обучают ИИ.

              Просто посмотреть и посмотреть - это наверное идёт речь про беглый взгляд, учти что воображаемая вселенная перестраивается с частотой 1/25 сек и если ты сможешь моргать с такой частотой - то у тебя получится уже перестроенный на частоту моргания взгляд. Если ты смотришь неморгая то это может быть и простой взгляд а может быть усреднённый взгляд. А если смотреть неморгая и с частотой 25 раз в секунду закрывать и открывать шторки - это не то же самое что и моргать с частотой 25 раз в секунду через моргающие шторки с частотой 25 раз в секунду, особенно если ты при этом глядишь на экран, наример, телевизора на котором также пиксели перестраиваются с определённой частотой. Прикинь какая нужна производительность если глаза имеют свойство двигать зрачками непроизвольно и ты не замечаешь этого движения, поскольку у тебя изображение определяется положением и направлением головы, и куда не двигай глаза - в любую сторону, пока не повернёшь голову поле зрение не меняется и кто тут робот?

              Есть ещё боковое зрение - и глядя боковым зрением на экран телевизора видны артефакты телекартинки.

              Так каким зрением ты смотришь прямым боковым и как оно у тебя связано с нюхом.

              В начале ты ощущаешь запах а потом смотришь или вначале смотришь а потом ощущаешь запах ИИ.