Существует много различных проектов и вариантов по ускорению генерации AI. Но в большинстве случаев они используют тюнинг модели, а так же использование внешней видео карты. Но можно ли ускорить генерацию модели, если у нас есть только процессор и ОЗУ?

Для тестирования использовалась модель Qwen3.8-Flash‑Next Gyro GGUF

В данной оптимизации помог Opus, который несколько суток гонял тесты на моём железе и пытался оптимизировать код llama. К сожалению мою учётную запись заблокировали, и после верификации и апеляции, окончательно. Возможно ли такой же тюнинг и отладка с другими моделями AI?

Версия патча Opus

Промпт t/s

Генерация t/s

Сравнение с оригиналом

fix23

10.98 / 10.05

2.41 / 2.38

×1.23

fix37

11.21 / 14.49

2.72 / 2.73

×1.40

original

4.12 / 3.75

1.97 / 1.92

—

График снижения скорости генерации в зависимости от контекста.


Патчи и наработки здесь. Пишите в комментариях железо и насколько увеличивается у вас скорость генерации после применения патчей.
https://gitlab.com/agentionai‑group/llama.cpp/‑/merge_requests/1 

Так же напишите, какая модель и из какого harness может так же долго работать как cloud code ‑заниматься такой сложной и низко‑уровненовой работой на твоём личном железе.

Комментарии (6)


  1. bkisonka
    15.11.2026 14:19

    Вы модифицировали код апстрима при помощи нейросети. Как поддерживать его собираетесь?


    1. mihail_ms
      15.11.2026 14:19

      Почему бы его не поддерживать тому, кто его писал. Например ИИ-Агенту? )))


    1. Renatk Автор
      15.11.2026 14:19

      Запустим уже патченный апстрим на данную модель и получив несколько токенов в секунду, опус за несколько дней смог дать ускорение в несколько раз на prefil и декод в токенах. Так что как поддерживать, наверное никак, т.к. я же написал уже про антропик в статье. Но и наработки, вдруг кому-то пригодятся.


  1. Dima_Levch
    15.11.2026 14:19

    Статья про ускорение на 40%, в которой не указаны ни процессор, ни характеристики памяти, ни параметры запуска. Зато есть упоминание Opus и ссылка на патчи. Без этих данных цифры практически ничего не значат, а проверить результат невозможно. Это пока больше похоже на рекламу репозитория, чем на технический разбор


    1. Renatk Автор
      15.11.2026 14:19

      В PR есть указания железа, на котором и ускорялось: `measured on an Intel Core i5-8500, Coffee Lake, 6 cores`


      1. aLLaro
        15.11.2026 14:19

        Эту информацию стоит указывать в статье, иначе получается огрызок, а не статья.