Ниже — перевод статьи «Friends Don’t Let Friends Use Ollama», опубликованной на Sleeping Robots в апреле 2026 года. Поскольку за прошедшие месяцы Ollama успела заметно измениться, я добавил к переводу несколько комментариев и примечание в конце статьи, где обновил ключевые технические детали по состоянию на сентябрь 2026 года.

Ollama стала популярной потому, что первой предложила простой интерфейс поверх llama.cpp. А затем годами старалась лишний раз не напоминать, на чём на самом деле работает, вводила пользователей в заблуждение и в конце концов развернулась в сторону облака — всё это на венчурные деньги, привлечённые вокруг чужого движка.

Вот эта история целиком — и почему сегодня альтернативы выглядят лучше.

Ollama — самый популярный способ запускать большие языковые модели локально. И, пожалуй, не должна им быть.

Своим положением она обязана прежде всего тому, что оказалась первой: первым инструментом, который сделал llama.cpp доступным людям, не желавшим компилировать C++ или самостоятельно писать конфигурацию сервера. На тот момент это действительно был полезный вклад.

Но затем проект годами систематически затушёвывал происхождение технологии, на которой работал, вводил пользователей в заблуждение относительно того, что именно они запускают, и всё дальше отходил от принципа «локально прежде всего», благодаря которому изначально и заслужил доверие. И всё это — параллельно с привлечением венчурных инвестиций.

Это не попытка найти «правду где‑то посередине». Я пользовался Ollama. Потом перестал. Ниже — почему, на мой взгляд, вам стоит сделать то же самое.

Обёртка над llama.cpp, страдающая амнезией

Все возможности Ollama по инференсу изначально обеспечивал llama.cpp — движок на C++, созданный Георгием Гергановым в марте 2023 года. Именно проект Герганова фактически сделал возможным запуск моделей LLaMA на обычных пользовательских ноутбуках. Первую версию он собрал за один вечер, положив начало всему движению локальных больших языковых моделей.

Сегодня у llama.cpp более 100 000 звёзд на GitHub, свыше 450 участников разработки, и именно он лежит в основе практически всей экосистемы инструментов, работающих с GGUF.

Ollama основали в 2021 году Джеффри Морган и Майкл Чианг, прежде работавшие над Kitematic — графическим интерфейсом для Docker, который впоследствии приобрела Docker Inc. Они прошли зимний набор Y Combinator 2021 года, привлекли предпосевные инвестиции и публично запустили продукт в 2023-м.

С самого начала идея подавалась как «Docker для больших языковых моделей»: удобная обёртка, позволяющая одной командой скачать и запустить модель. Под капотом всю основную работу выполнял llama.cpp.

Больше года README Ollama вообще не упоминал llama.cpp. Ни README, ни сайт, ни маркетинговые материалы. В бинарных сборках проекта не было и обязательного уведомления о лицензии MIT для распространявшегося вместе с ними кода llama.cpp.

И это уже не вопрос хороших манер в мире открытого ПО. У лицензии MIT есть, по существу, одно главное условие: сохранить уведомление об авторских правах. Ollama его не выполняла.

Сообщество это заметило. В начале 2024 года появился тикет #3185 с требованием привести распространение к условиям лицензии. Он более 400 дней оставался без ответа сопровождающих проекта.

Когда в апреле 2024 года открыли тикет #3697 с прямой просьбой указать использование llama.cpp, уже через несколько часов появился подготовленный сообществом запрос на слияние #3700. В конце концов сооснователь Ollama Майкл Чианг добавил одну строку в самый низ README:

«Проект llama.cpp основан Георгием Гергановым».

Ответ команды Ollama на запрос был ещё показательнее. Разработчики написали: «Мы тратим значительную часть времени на исправления и доработки, чтобы обеспечить пользователям Ollama беспроблемную работу… Со временем мы перейдём на более системно спроектированные движки».

Если перевести с корпоративного: заметного признания заслуг llama.cpp не будет, а со временем мы всё равно собираемся от него отойти.

Как написал один из комментаторов Hacker News: «Меня постоянно ставит в тупик их подход — они сами создают себе негативный пиар буквально на пустом месте. Строить продукт на llama совершенно нормально, тем более что они действительно добавляют удобство. Просто укажите вклад команды llama как положено».

Другой заметил: «О том, что Ollama старается преуменьшать свою зависимость от llama.cpp, в сообществе локальных больших языковых моделей известно уже давно».

Форк, который сделал всё только хуже

В середине 2025 года Ollama действительно продолжила дистанцироваться от llama.cpp. Разработчики отказались от него как от основного движка инференса и создали собственную реализацию непосредственно поверх ggml — низкоуровневой библиотеки для работы с тензорами, которую использует и сам llama.cpp.

Официальной причиной назвали стабильность: llama.cpp развивается быстро и иногда ломает совместимость, а корпоративным клиентам Ollama нужна предсказуемость.

Получилось ровно наоборот.

Собственный движок Ollama вернул ошибки, которые в llama.cpp исправили ещё несколько лет назад. Пользователи сообщали о сломанной поддержке структурированного вывода, проблемах с моделями компьютерного зрения и аварийных остановках из‑за проверок GGML в нескольких версиях подряд.

Модели, нормально работавшие в оригинальном llama.cpp, ломались в Ollama. Это касалось в том числе свежих моделей вроде GPT‑OSS 20B: в реализации Ollama не было поддержки типов тензоров, необходимых этой модели. Сам Георгий Герганов указал, что Ollama сделала форк GGML и внесла в него неудачные изменения.

Ирония тут почти неприлично очевидна. Годами они преуменьшали свою зависимость от llama.cpp, а когда наконец решили обойтись без него, получили ухудшенную версию того самого проекта, заслуги которого так не хотели признавать.

Результаты тестов тоже говорят сами за себя. В нескольких тестах сообщества llama.cpp оказался в 1,8 раза быстрее Ollama на одном и том же оборудовании с одной и той же моделью: 161 токен в секунду против 89.

При работе на процессоре разница составляет 30–50%. В недавнем сравнении на Qwen-3 Coder 32B llama.cpp показал примерно на 70% большую пропускную способность.

Дополнительные издержки Ollama связывают с отдельным фоновым сервисом, неудачной логикой переноса вычислений на графический процессор и собственной копией движка, которая отстаёт от основного проекта.

Названия моделей, вводящие в заблуждение

Когда в январе 2025 года DeepSeek выпустила семейство R1, Ollama разместила у себя уменьшенные дистиллированные версии — например DeepSeek‑R1-Distill‑Qwen-32B. Это дообученные модели Qwen и Llama, а вовсе не настоящая R1 на 671 миллиард параметров.

Однако в каталоге Ollama и командной строке они были представлены просто как «DeepSeek‑R1».

Команда

ollama run deepseek-r1

скачивает восьмимиллиардную дистиллированную модель на основе Qwen, которая по поведению совсем не равна настоящей R1.

Это трудно списать на случайную ошибку. Сама DeepSeek дала этим моделям названия с приставкой R1-Distill. На Hugging Face они были обозначены правильно. Ollama различие убрала.

В результате социальные сети заполнили сообщения людей, утверждавших, что они запускают «DeepSeek‑R1» на обычном домашнем железе, а затем недоумевавших, почему модель показывает слабые результаты. Заодно это било по репутации DeepSeek.

В тикетах GitHub #8557 и #8698 пользователи просили разделить модели. Оба закрыли как дубликаты, ничего не исправив.

На сегодняшний день ollama run deepseek-r1 по‑прежнему запускает маленькую дистиллированную модель. В Ollama прекрасно знали о различии и предпочли его не подчёркивать — по всей видимости, потому что название «DeepSeek‑R1» привлекает больше скачиваний, чем «DeepSeek‑R1-Distill‑Qwen-32B».

Приложение с закрытым исходным кодом

В июле 2025 года Ollama выпустила настольное приложение для macOS и Windows. Его разрабатывали в закрытом репозитории (github.com/ollama/app), распространяли без лицензии, а исходный код публично доступен не был.

Для проекта, выстроившего репутацию на открытом исходном коде, ход получился, мягко говоря, странным.

Участники сообщества сразу подняли этот вопрос. Тикет о лицензировании набрал 40 голосов. Разработчики обнаружили в бинарном файле возможные зависимости под AGPL-3.0.

При этом на сайте кнопка загрузки находилась рядом со ссылкой на GitHub, создавая впечатление, будто пользователь скачивает открытый инструмент под лицензией MIT, хотя фактически ему предлагалось закрытое приложение вообще без указанной лицензии.

Сопровождающие проекта несколько месяцев молчали. В ноябре 2025 года код наконец влили в основной репозиторий, но первоначальный запуск довольно хорошо показал, какой выбор для проекта оказывается естественным, когда приходится выбирать между прозрачностью и удобством для бизнеса.

Как сформулировали в XDA: «Если ваш проект строит репутацию на открытом исходном коде, нельзя при запуске невнятно объяснять, что именно у вас открыто, а что нет».

Modelfile: заново изобретаем уже решённую проблему

Формат моделей GGUF, созданный Георгием Гергановым, проектировался вокруг одного основного принципа: всё необходимое должно помещаться в один файл.

Первый пункт спецификации GGUF гласит: «Полная информация: все сведения, необходимые для загрузки модели, содержатся в файле модели, и пользователь не должен предоставлять никаких дополнительных данных».

Шаблоны диалога, стоп‑токены, метаданные модели — всё находится внутри файла. Указываете llama.cpp файл GGUF — и он работает.

Ollama добавила поверх этого Modelfile. Это отдельный конфигурационный файл, вдохновлённый — разумеется — Dockerfile. В нём указываются базовая модель, шаблон диалога, системный промпт, параметры сэмплирования и стоп‑токены.

Большая часть этой информации уже находится внутри GGUF.

Как выразился один из комментаторов Hacker News: «Мы буквально только что избавились от всего этого бардака с кучей файлов — и тут Ollama добавила его обратно».

Дальше проблемы начинают быстро наслаиваться друг на друга.

Ollama автоматически распознаёт только те шаблоны диалога, о которых уже знает, сверяясь с жёстко заданным списком. Если в метаданных GGUF находится корректный шаблон Jinja, но он не совпадает ни с одним из известных Ollama вариантов, система молча переключается на примитивный шаблон {{ .Prompt }}, ломая формат инструкций модели.

Пользователю приходится вручную извлекать шаблон диалога из GGUF, переводить его в синтаксис шаблонов Go — который отличается от Jinja, — и записывать результат в Modelfile.

А llama.cpp тем временем просто читает шаблон из файла и использует его.

С изменением параметров всё ещё веселее.

Если вы хотите поменять температуру или системный промпт у модели, загруженной из реестра Ollama, порядок действий такой: выгрузить Modelfile командой ollama show --modelfile, отредактировать его, а затем выполнить ollama create, чтобы создать новую запись модели.

Пользователи сообщали, что ради изменения одного параметра при этом копируется вся модель — от 30 до 60 ГБ.

Один из них описал процесс так: «Работа через modelfile — та ещё боль. Паттерн отвратительный, я его ненавижу. Некоторые модели занимают 30–60 ГБ, и копировать всё целиком ради изменения одного параметра — просто идиотизм».

Для сравнения: в llama.cpp параметры передаются обычными ключами командной строки.

Нужна другая температура? Передайте --temp 0.7.

Другой системный промпт? Передайте его в запросе к API.

Никаких дополнительных файлов, никаких десятков гигабайт копирования, никакого отдельного формата, который нужно изучать.

Кроме того, Modelfile привязывает пользователя к синтаксису шаблонов Go, который отличается от Jinja, используемого авторами моделей.

LM Studio принимает шаблоны Jinja напрямую. llama.cpp читает их из GGUF. Только Ollama заставляет переводить шаблоны с одного языка на другой — причём ошибается достаточно часто, чтобы расхождениям между шаблонами из каталога Ollama и исходными метаданными GGUF посвящались отдельные тикеты на GitHub.

Реестр как бутылочное горлышко

Когда выходит новая модель — очередной вариант Qwen, Gemma или DeepSeek, — файлы GGUF обычно появляются на Hugging Face уже через несколько часов. Участники сообщества вроде Unsloth или Bartowski быстро готовят квантованные версии.

С llama.cpp такую модель можно запускать сразу:

llama-server -hf unsloth/Qwen3.5-35B-A3B-GGUF:Q4_K_M

Одна команда. Напрямую с Hugging Face. Без посредника.

С Ollama приходится ждать.

Кто‑то из команды должен упаковать модель для собственного реестра, решить, какие варианты квантования опубликовать — обычно только Q4_K_M и Q8_0, без Q5, Q6 и IQ, — преобразовать шаблон диалога в формат Go и всё это загрузить.

До тех пор для мира Ollama модели как будто не существует — если, конечно, вы не готовы самостоятельно устраивать танцы с Modelfile.

Из‑за этого на r/LocalLLaMA регулярно повторяется один и тот же сценарий: выходит новая модель, люди пробуют её через Ollama, получают ошибки, низкую скорость или сломанный шаблон диалога — и обвиняют модель, а не среду выполнения.

В недавнем сообщении под заголовком «Если хотите тестировать новые модели, используйте llama.cpp/transformers/vLLM/SGLang» было показано, как у моделей Qwen возникают проблемы с вызовом инструментов и бессмысленные ответы, которые «происходят только в Ollama» из‑за собственной копии движка и неправильной обработки шаблонов.

Один из комментаторов сформулировал это предельно кратко:

«Друзья не дают друзьям пользоваться Ollama».

Особенно раздражают ограничения на квантование.

Ollama умеет самостоятельно создавать только Q4_K_S, Q4_K_M, Q8_0, F16 и F32. Если вам нужен Q5_K_M, Q6_K или любой вариант IQ, которые llama.cpp поддерживает уже много лет, — не повезло. Придётся выполнять квантование самостоятельно за пределами Ollama.

Когда пользователь спросил о поддержке Q2_K, ответ по существу свёлся к «используйте другой инструмент».

Для проекта, который рекламирует себя как простой способ запускать модели, предложение уйти к другому инструменту ради обычного выбора квантования весьма показательно.

Позднее Hugging Face добавил поддержку команды ollama run hf.co/{repo}:{quant}, на лету создавая манифест в стиле Docker. Это частично решает проблему доступности моделей.

Но даже тогда файл копируется во внутреннее хранилище Ollama под именем в виде хеша, тот же GGUF нельзя без лишних действий использовать совместно с другими инструментами, а проблемы с распознаванием шаблонов никуда не исчезают.

Базовая архитектура остаётся прежней: Ollama ставит себя посредником между вами и вашими моделями. И этот посредник оказывается медленнее, менее функционален и хуже совместим, чем инструменты, поверх которых он стоит.

Разворот в облако

В конце 2025 года Ollama добавила к локальному каталогу модели, работающие в облаке.

Инструмент, название которого практически стало синонимом локального и приватного инференса, начал отправлять запросы сторонним облачным провайдерам.

Закрытые модели вроде MiniMax появились в общем списке без достаточно заметного предупреждения о том, что при их выборе ваши данные уйдут за пределы локальной машины.

Пользователи подняли вопрос о маршрутизации данных. Когда вы запускаете закрытую модель вроде MiniMax‑m2.7 через «Ollama Cloud», ваши промпты могут пересылаться внешнему поставщику, который фактически размещает модель.

В собственной документации Ollama говорится: «Мы обрабатываем ваши промпты и ответы для предоставления услуги, но не сохраняем и не журналируем их содержимое».

Однако там ничего не говорится о том, что с этими данными делает сторонний поставщик. В случае моделей, размещённых в Alibaba Cloud, пользователи отмечали отсутствие гарантии нулевого хранения данных.

Ситуацию усугубила CVE-2025-51471 — уязвимость, позволяющая похитить токен аутентификации и затрагивающая все версии Ollama.

Вредоносный сервер реестра может во время обычного скачивания модели заставить Ollama отправить токен аутентификации на подконтрольный злоумышленнику адрес. Исправление появилось в виде запроса на слияние, но до основной версии добиралось несколько месяцев.

Для инструмента, построившего свой образ вокруг локальности и конфиденциальности, уязвимость, позволяющая утянуть учётные данные на произвольный сервер, — уже не просто очередная неприятная ошибка. Тут вопрос скорее к самой архитектурной философии проекта.

Венчурный сценарий

Всё это становится понятнее, если посмотреть на систему стимулов.

Ollama — стартап из Y Combinator, выпуск зимнего набора 2021 года, основанный инженерами, которые до этого сделали графический интерфейс для Docker, а затем продали его Docker Inc.

Сценарий до боли знаком: взять существующий проект с открытым кодом, завернуть его в удобный интерфейс, набрать пользовательскую базу, привлечь инвестиции — а потом решить, как всё это монетизировать.

Последовательность получается почти образцовой:

  1. Запуститься на базе открытого ПО — построить продукт на llama.cpp и завоевать доверие сообщества

  2. Свести упоминание основы к минимуму — создать впечатление самостоятельного продукта

  3. Привязать пользователей к собственной экосистеме — свой реестр моделей, хешированные имена файлов, неудобные для других инструментов

  4. Выпустить закрытые компоненты — настольное приложение

  5. Добавить облачные сервисы — основу для монетизации

Отдельно стоит посмотреть на устройство реестра моделей.

Ollama хранит загруженные модели в собственном хранилище под именами, представляющими собой хеши. Если вы несколько месяцев скачивали модели через Ollama, просто указать llama.cpp или LM Studio на эти файлы уже не получится — потребуется дополнительная возня.

Свои GGUF‑файлы в Ollama можно импортировать через Modelfile. А вот обратный путь заметно менее удобен.

Это обычная привязка к поставщику, которую большинство пользователей не замечает ровно до того момента, когда пытается уйти.

Чем пользоваться вместо Ollama

Инструменты, которые Ollama прячет за своей оболочкой, доступны напрямую. И настраивать их уже давно не намного сложнее.

llama.cpp — собственно движок. В нём есть сервер с API, совместимым с OpenAI (llama-server), встроенный веб‑интерфейс, полный контроль над размером контекста и параметрами сэмплирования, а производительность стабильно выше, чем у Ollama.

В феврале 2026 года компания Герганова ggml.ai присоединилась к Hugging Face, чтобы обеспечить проекту долгосрочное развитие. llama.cpp распространяется под лицензией MIT, активно развивается сообществом и насчитывает более 450 участников.

Проект Mozilla llamafile развивает идею единственного файла ещё дальше: модель вместе со средой выполнения упаковывается в один исполняемый файл, который работает в шести операционных системах вообще без установки.

Скачал. Запустил. Готово.

llama‑swap занимается оркестрацией нескольких моделей: загружает и выгружает их и позволяет переключаться между ними по запросу через единый адрес API.

В паре с LiteLLM получается единый прокси, совместимый с API OpenAI, который умеет маршрутизировать запросы между несколькими движками и нормально работать с псевдонимами моделей.

Если нужен настольный графический интерфейс, есть действительно открытые варианты.

Jan под лицензией AGPLv3 — локальное приложение для общения с моделями с аккуратным интерфейсом и полностью открытым исходным кодом.

koboldcpp под AGPL — форк llama.cpp со встроенным веб‑интерфейсом и широкими возможностями настройки, полностью открытый и пригодный для аудита.

Оба — настоящие проекты свободного ПО, а не обёртки, скрывающие закрытый код за открытым движком.

Есть и закрытые обёртки.

LM Studio — проприетарная программа поверх llama.cpp и самая популярная альтернатива Ollama не без причины: она предлагает примерно то же удобство «в один клик», нормальный графический интерфейс, принимает любые GGUF и предоставляет доступ ко всем основным настройкам.

Что важнее, разработчики LM Studio ведут себя по отношению к экосистеме добросовестно. У них есть отдельная страница благодарностей, где прямо указаны llama.cpp и его лицензия, и они не пытаются делать вид, будто непонятно, что находится под капотом.

Это закрытый продукт. Но не паразитический.

Msty — ещё один закрытый графический интерфейс поверх открытых движков инференса, с поддержкой нескольких моделей и встроенным поиском по базе знаний.

Я вовсе не против бизнеса, который зарабатывает на том, что делает свободное ПО удобнее. Это совершенно нормальная модель.

Но стоит честно называть вещи своими именами: такие инструменты — коммерческие продукты, существующие благодаря llama.cpp, а не какие‑то независимые альтернативы ему.

Разница между добросовестной и недобросовестной обёрткой определяется не тем, берёт ли она деньги и использует ли закрытый код. Вопрос в том, уважает ли она работу, на которой стоит.

LM Studio — уважает.

Ollama — нет.

Стоит посмотреть и на ramalama от Red Hat — ориентированный на контейнеры инструмент для запуска моделей, который прямо и на видном месте перечисляет проекты, на которых основан.

Именно так Ollama и следовало поступить с самого начала.

Ни один из этих инструментов не требует больше нескольких минут на настройку. Представление о том, будто Ollama остаётся единственным доступным вариантом для обычного пользователя, давно не соответствует действительности.

Если посмотреть шире

В марте 2023 года Георгий Герганов за один вечер собрал первую версию llama.cpp и фактически запустил революцию локального искусственного интеллекта.

Он и сотни участников сообщества затем годами работали над тем, чтобы всё более мощные модели можно было запускать на обычном пользовательском железе. Это действительно важная работа. Именно она остаётся фундаментом, благодаря которому локальный инференс остаётся открытым и доступным.

Ollama завернула эту работу в удобную командную строку, привлекла на её основе венчурные инвестиции, больше года не считала нужным нормально указывать происхождение своего движка, затем неудачно от него ответвилась, выпустила закрытое приложение и в конце концов развернула проект в сторону облачных сервисов.

На каждом этапе, когда можно было повести себя как добросовестный участник сообщества открытого ПО, компания выбирала вариант, который позволял выглядеть более самостоятельной в глазах инвесторов.

Экосистеме локальных больших языковых моделей Ollama не нужна.

Ей нужен llama.cpp.

Всё остальное — упаковка. И упаковка получше уже существует.


Примечание переводчика: что изменилось с апреля 2026 года

Оригинал этой статьи был опубликован 15 апреля и обновлён 18 апреля 2026 года. За прошедшие месяцы Ollama успела заметно изменить несколько вещей, о которых пишет автор.

Самое существенное изменение касается llama.cpp. В июне Ollama 0.30 вернула llama.cpp в качестве backend для GGUF‑моделей. В актуальном исходном коде Ollama закрепляет конкретную версию llama.cpp, собирает из неё llama-server и накладывает собственный слой совместимости. Поэтому описанный выше период собственного GGML‑backend — уже история, а не текущее состояние проекта.

Это, однако, не полностью снимает вопрос об отставании от upstream. Ollama использует не текущий HEAD llama.cpp, а зафиксированную версию. Весной 2026 года это, например, приводило к заметной разнице в производительности Vulkan на AMD из‑за отсутствующих upstream‑оптимизаций. Сейчас версии обновляются гораздо регулярнее: например, 15 сентября Ollama обновила llama.cpp до b10969. Сам механизм возможного отставания от upstream при этом никуда не исчез.

Изменилось и несколько деталей вокруг Modelfile. Параметры вроде температуры можно задавать непосредственно во время работы, а системный промпт — менять без создания отдельной копии модели; API также позволяет передавать параметры в запросе. Кроме того, при создании производных моделей Ollama использует content‑addressed layers, поэтому упомянутое выше копирование десятков гигабайт ради одного изменённого параметра не следует считать актуальным поведением. При этом Modelfile по‑прежнему остаётся отдельным слоем конфигурации поверх модели, а вопрос совместимости шаблонов с остальной GGUF‑экосистемой никуда полностью не исчез.

История с названием DeepSeek‑R1 изменилась меньше. По состоянию на сентябрь 2026 года короткое имя deepseek-r1 по‑прежнему не означает автоматически полноразмерную 671-миллиардную R1: разные размеры доступны отдельными тегами. При этом нынешняя страница библиотеки Ollama уже значительно яснее показывает, какая именно модель стоит за каждым вариантом. Поэтому претензия автора к первоначальному именованию остаётся понятной, но современный интерфейс стал прозрачнее.

Наконец, облачное направление за это время не исчезло, а, наоборот, превратилось в полноценную часть бизнеса Ollama. 9 июля компания объявила о привлечении ещё $88 млн и сообщила о 8,9 млн разработчиков, одновременно прямо назвав облако одним из ключевых направлений развития. 31 августа новые планы Pro, Max и Team перевели на прозрачную тарификацию по токенам с включённым ежемесячным объёмом кредитов. Это уже не побочная экспериментальная функция, а полноценный коммерческий сервис.

С другой стороны, претензии автора к облачной приватности сегодня требуют существенной оговорки. Действующая с марта 2026 года политика конфиденциальности Ollama прямо утверждает, что содержимое запросов к облачным моделям обрабатывается только транзитно, не используется для обучения и не сохраняется после выполнения запроса. В описании новых тарифов Ollama также заявляет Zero Data Retention и отсутствие журналирования промптов. Поэтому часть приведённой выше критики отражает состояние и прозрачность сервиса именно на момент написания оригинальной статьи, а не нынешнюю публично заявленную политику Ollama.

Комментарии (38)


  1. krabdb
    22.09.2026 15:52

    Правильно не дают! В чем проблема сразу поднять vLLM и получить нормальную конкурентность на запросах в отличие от OLLAMA?


    1. Bobos
      22.09.2026 15:52

      Потому что vllm требует прямых рук, линукса, отдельных процессов для каждой модели и возни с роутерами и тд. Олаама - это setup.exe, anykey, anykey.

      Но по хорошему и vllm давать друзьям тоже можно условно, потому что prefix_cache


      1. Mintavrus
        22.09.2026 15:52

        В статье упомянута llama‑swap , которая оркестрирует модели не только из llama.cpp, но и vllm легко подключить. Вообще, llama-swap стала для меня открытием, очень повысила удобство работы с локальными моделями. Рекомендую попробовать.


  1. MrRewolwer
    22.09.2026 15:52

    Поскольку на Хабре до сих пор нет кнопки "сделать выжимку этого нейрослопа" , я сделаю это за них (да, я полезнее всей администрации Хабре, не благодарите):

    "Ollama критикуют за сокрытие работы на движке llama.cpp, падение скорости в форках, путаницу в именах моделей и уход в облако ради венчурной монетизации, хотя существуют открытые альтернативы."

    Призываю всех пользователей делать свои выжимки нейрослоп-лонгридов, пока хабра-чинуши не почещутся.

    Я даже могу предложить способы улучшения этих выжимок:

    1. Ваша оценка нейрослопности статьи

    2. Оценка пользы от материала, а не актуальности (это исследование или просто "новость")

    3. Оценка хозяйственной полезности (другими словами, оценка уровня воды, обсуждения ради обсуждения)

    4. При наличии в статье ссылки на телеграмм автора, его аккаунт должен быть немедленно бит ссаными тряпками по лицу. К сожалению, российское законодательство запрещает нам бить автора по другим местам, кроме аккаунта.

    Предлагайте свою систему оценок.


    1. achekalin Автор
      22.09.2026 15:52

      От души рад приветствовать человека с горящими глазами! На Хабре, вот ей-ей, такого не то чтобы не хватает, но редакция точно менять не рвется примерно ничего.

      Однако, пост не нейросетевой. Точнее, может таки да, но - примус не мой, я его только починял переводил. Там в плашке про перевод в заголовке указан оригинальный автор - думаю, ему стоит написать!

      Хотя, признаться, написано и у него весьма авторски, более того, английскими довольно язвительными оборотами - я их, как смог, передал.

      Что касается слопа или нет: не примкну к любой стороне, потому что ИИ - это инструмент, вроде печатной машинки (ок, он не такая умная, но отдельные модели, скажем, умели табуляцию - это как, проблема, или все же нет?), а за текст отвечает тот, кто под ним подписался.

      Сказать по правде, не было бы корпблогов, мы бы меньше тут плевались, но - см. выше про редакцию и её желание измерять мир Хабр к лучшему.


      1. StasTukalo
        22.09.2026 15:52

        Редакция давно уже не торт- товарищ Денис изволили пойти по стрёмненькой дорожке "чем больше контента- тем больше открученной рекламы". О качестве и тематичной уместности речи давно уже нет, к сожалению. К сожалению, аналога подобного специализированного ит-шного хаба нету(((


        1. achekalin Автор
          22.09.2026 15:52

          Думаю, в любой нормальной редакции это решается тем, что главный редактор издания рулит редакцией, имея в виду некую цель.

          Раз здесь погоня за контентом выливается только в благостно выглядящие отчеты про свершения за минувший месяц, то либо выше нет никого критически настроенного, либо оптимизация и правда сделана хорошо, потом денег есть, а дальше хоть трава не расти издание живет привычной жизнью.


        1. Bobos
          22.09.2026 15:52

          Интересно было бы найти тот момент, когда хабр перестал быть тортом. По-моему я зарегался уже когда он тортом перестал быть (в 2008). Раньше прям читал статьи, сейчас воспринимаю статью (по аналогии с нейронками) как стартовый контекст для обсуждений. В них как раз самое интересное.


          1. StasTukalo
            22.09.2026 15:52

            Да, самое интересное в комментах..


          1. achekalin Автор
            22.09.2026 15:52

            Я вот как раз изучаю архив постов и комментов на Хабре - но с целью понять, когда хабравские новости стали... Как бы это сказать, обратное значение слову "торт" - вот этим вот!


    1. corw
      22.09.2026 15:52

      Как поняли, что статья (а точнее перевод этой статьи) - "нейрослоп"? Если на уровне собственных субъективных ощущений, то может стоить упомянуть, что вам так показалось? А лучше вообще пройти мимо, если формат подачи не ваш.

      Я лично прочитал с интересом и удовольствием. Тема важная, перевод качественный, у меня не возникло ощущение машинного перевода. Автору спасибо.


      1. nidalee
        22.09.2026 15:52

        Искатель нейрослопа не способен пройти мимо статьи, которая ему не понравилась. Художники этим тоже болели пару лет после релиза stable diffusion, ловили друг-друга на "генерациях", размазывали всякое по стенам, и прочие прелести гейткипинга.

        И эти выздоровеют.


      1. achekalin Автор
        22.09.2026 15:52

        Проблема таких детекторов в том, что критерий у них обычно один: «человек так не пишет». А человечество, к сожалению для классификатора, пишет примерно вообще как угодно.

        В какой-то момент борьба с нейрослопом становится отдельным жанром того же нейрослопа: набор узнаваемых штампов, чёткий диагноз без проверки источника и обязательное сообщение окружающим, что автора удалось разоблачить.

        Надо хабру отдельный хаб делать не для нейротекстов - а для охотников на них. My dear diary..., так сказать.

        Ну и как черта под этими спорами: все мы там будем. Пройдёт пара лет: станет только хуже. Но язык останется русским, просто натренированным на другом корпусе - и на словечках отдельных авторов.


  1. StasTukalo
    22.09.2026 15:52

    Мы тратим значительную часть времени на исправления и доработки

    дада, за всё время существования как нормально работать с несколькими гпу так и непридумали..


  1. apidev
    22.09.2026 15:52

    Friends Don’t Let Friends Use Ollama

    Это: "Друзья, не позволяйте друзьям использовать Ollama", а не "Друзья не позволяют друзьям использовать Ollama" же. T_T


    1. finkrer
      22.09.2026 15:52

      Нет, именно второе, здесь нет ни повелительного наклонения, ни обращения. Это известный шаблон.


    1. achekalin Автор
      22.09.2026 15:52

      Я думал перевести попроще для русского глаза, но там по тексту ссылка на коммент именного такого вида - и это важно по идее текста.


    1. iliasm
      22.09.2026 15:52

      как и в русском, в английском обращение должно быть выделено запятой, перевод верный, не говоря уже о том, что в культуре это используется именно так, как было переведено. не болтайте ерундой.


  1. atproductions
    22.09.2026 15:52

    Было уже в кратце про это на Хабре https://habr.com/ru/companies/ruvds/articles/923304/


    1. nidalee
      22.09.2026 15:52

      Тут под другой статьей человек порывался пойти тестить олламу на 395+, так что в принципе можно постить регулярно, чтобы не забывали.


  1. StriganovSergey
    22.09.2026 15:52

    Я тоже когда-то начинал с ollama, но быстро про нее все понял все и перешел на llama.cpp
    Писать статью об этом не стал, думал что все и так все видят, чего тут говорить :)

    А вот llama.cpp настолько быстро развивается, что
    попутно ломает что-то, и иногда это чинят, а иногда - нет.
    Может быть, и стоит об этом написать статью, хотя и не уверен.

    Например, если речь идет об отказе от поддержки старых архитектур
    то на починку шансов нет.
    Планомерно ухудшается в llama.cpp поддержка моих основных
    карт инференса p102-100 вот такая сборка:
    -DCMAKE_CUDA_ARCHITECTURES=61
    Все труднее найти опции запуска для этих карт, которые хотя бы
    не ухудшают производительность по сравнению с тем, что было в прошлом коммите.

    Мне даже пришлось написать скрипт llama.cpp.update
    который может делать сборку llama.cpp к любой дате, и любому коммиту - чтобы искать тот коммит который еще работает.
    А затем, получать дельту изменений между работающим коммитом и сломанным и анализировать эту разницу - чтобы понять как починить.

    Конечно, удушение архитектуры делает не только llama.cpp
    к этому причастен и проект CUDA, выкинувший архитектуру в 13 версии,
    и ядро ликнукс 7 в котором теперь проблемы с драйвером 570.211.01 для видеокарты.
    Можно, конечно, попробовать сделать форк от llama.cpp для паскаль архитектуры,
    но надо будет еще думать что делать с CUDA и драйвером на новых ядрах линукса.


    1. StasTukalo
      22.09.2026 15:52

      ухудшается в llama.cpp поддержка моих основных карт инференса p102-100

      Дайте уже паскалю помереть спокойно)..


      1. StriganovSergey
        22.09.2026 15:52

        Полтора десятка моих паскаль-карт все еще хотят жить,
        и успешно кутят сейчас модели типа
        GLM-5.3-Flash-UD-Q4_K_XL
        Qwen3.8-Flash-Next-UD-IQ4_XS

        А скоро, попробую на них запустить
        Qwen3.8-2.4T-A95B, но с этим будет много
        "колдунства" которое, еще неизвестно чем закончится.

        От скрипта, которым я ранее вручную анализировал коммиты llama.cpp
        теперь перехожу к автоматическому анализу и исправлению агентом OpenCode,
        используя локальный инференс на той же llama.cpp и на моих картах.

        Вот, кстати, в Lama.cpp недавно завезли агентный режим, ( я еще не пробовал ),
        высока вероятность что теперь llama.cpp сможет сама себя чинить и подстраивать под паскаль.

        Вообще, я категорически не приемлю
        концепцию "запланированного устаревания".




        1. nidalee
          22.09.2026 15:52

          Полтора десятка моих паскаль-карт

          Там счет за электричество получится дороже облака, не?

          UP: какая у вас скорость на нексте, кстати?


          1. StriganovSergey
            22.09.2026 15:52

            Потребление:
            Каждая карта p102-100 в режиме ожидания берет около 9 w, в режиме инференса в среднем около 70... 80 w. ( иногда в пиках до 200 w)
            Сейчас у меня на одной машине не более пяти таких карт потому, что в у меня микс из разных типов gpu - я распределяю задачи соответственно их возможностям - в одни больше слоев модели, в другие больше KV-кеша.
            Стараюсь давать больше вычислительной нагрузки на более мощные карты типа rtx 4090, а слабые карты - что-то вроде замены ddr5, которой у меня нет совсем.

            Когда ранее запускал без микса gpu
            то на одной карте p102-100 получал примерно 32 t/s для модели Gemma-4-E4B (Q8)
            на шести картах p102-100 получал примерно 25 t/s для модели Qwen3-Coder-Next (Q4)
            Это все результаты без драфт - ускорителей, а с драфтом, может давать почти в два раза больше на задачах кодогенерации.

            Для новых моделей вроде
            Qwen3.8-Flash-Next-UD-IQ4_XS пока получил скорость около 15 -18 t/s на шести картах, на одной машине, но я только начал подбирать оптимальный режим для них, и сейчас меняю аппаратную конфигурацию, посмотрим что получится выжать.
            Здесь имеет значение что у меня ddr4 и это главная проблема.

            Для Qwen3.8-2.4T-A95B планируется распределенный запуск на нескольких машинах, специально подготовленного кванта - не от Unsloth или Bartowski, а самодельного, по особому рецепту :)

            Облачные модели использовать не планирую совсем, никогда.
            Независимо от их возможностей и цены.
            Приватность дороже всего.


            1. nidalee
              22.09.2026 15:52

              Qwen3.8-Flash-Next-UD-IQ4_XS пока получил скорость около 15 -18 t/s на шести картах

              Просто вброшу, что у меня Qwen3.8-Next на 80-ваттной коробке показывает 35+ т/c. Это не какой-то камень в ваш огород, это к вопросу, почему про паскаль все забыли. Потому что разрабы сидят в основном в западных странах, где за одно электричество ваш риг выжрет однозначно больше, чем облако.

              А почему паскали, а не v100, например?


              1. StriganovSergey
                22.09.2026 15:52

                Карты брал примерно полтора года назад,
                б/у после майнинга, примерно по 3500 руб.
                Итого 15 *3500 = 52 500 руб ( за 150 gb VRAM)
                Цена за гигабайт решает все.

                Кажется, что в тот момент не было такого изобилия v100, они появились массово чуть позже, да и некоторое время у меня не было понимания как их правильно использовать (от физической обвязки до драйверов).
                Вот, да, сейчас думаю - брать ли v100.

                Коробочка (AI Max+ 395) хорошая, но уж больно дорогая.
                Не знаю, стоит ли вкладывать в нее... или на те же деньги - поставить солнечных батарей побольше на загородный дом, если электричество когда-то станет слишком дорого :)
                Скорость работы с моделью, видимо, связана с быстрой памятью, если мои карты пересадить на систему с DDR5 то и они дадут сразу больше.



                1. nidalee
                  22.09.2026 15:52

                  Не знаю, стоит ли вкладывать в нее...

                  В нее не стоит, если вы морально и физически готовы к колхозу из серверных карт (а мне кажется вы готовы), они однозначно будут лучше.


  1. lazarus_net
    22.09.2026 15:52

    Для тех кто пока нейронки только по подписке гоняет, поделитесь опытом на каком компе модели нормально гонять модели? Желательно чтобы в форм-факторе ноутбука был :)


    1. denisgrigoriev04
      22.09.2026 15:52

      Ни на каком, зачем гонять модели на ноутбуке, если можно купить обычный системный блок и видео карту и пользоваться моделью с ноутбука удаленно


  1. brat_viktor
    22.09.2026 15:52

    Так что использовать нужно вместо?


  1. Galois_E
    22.09.2026 15:52

    Ollama основана зимой 2021 года. llama.cpp появилась в 2023 году. Простите за тупой вопрос, а что Ollama делала эти 2 года? Какой инструмент использовали?


    1. denisgrigoriev04
      22.09.2026 15:52

      И откуда такая информация?

      На их гитхабе самая первая версия версия 3 года и зависела от llama.cpp. И почему у них такое название? Они в 2021 смогли вдохновиться моделью, которая выйдет в феврале 2023 года?


      1. Galois_E
        22.09.2026 15:52

        И откуда такая информация?

        Из обсуждаемой статьи. У меня поэтому вопрос и возник. Что-то не состыковывается с датами.


  1. Okeu
    22.09.2026 15:52

    В результате социальные сети заполнили сообщения людей, утверждавших, что они запускают «DeepSeek‑R1» на обычном домашнем железе, а затем недоумевавших

    И статей от инфоцыган, на фоне хайпа дипсика, утверждающие это на "серьезных щах",
    Сейчас похоже, они уже стали CEO\CTO\CPO\Co-founders и так далее)))


  1. peterplv
    22.09.2026 15:52

    Ollama стала популярной потому, что первой предложила простой интерфейс поверх llama.cpp

    А уж у llama.cpp крайне сложный интерфейс.... Оба работают из командной строки, примерно одинаково запускаются. Никогда не понимал зачем нужен этот посредник ollama, который к тому же качает сильно квантованные модели и не говорит об этом (во всяком случае так было раньше), да и вообще сильно урезан. К тому же с каких-то версий у llama.cpp появился WebUI (если запускать через сервер и обращаться к localhost), можно работать с моделями прямо в браузере через легковесный веб-интерфейс (SvelteKit-based WebUI), чем-то напоминающий старый GPT3.5, если кому так удобно.


  1. denisgrigoriev04
    22.09.2026 15:52

    Максимально тупая обёртка только для тех, у кого есть карты от Nvidia. Llama.cpp выпускает кучу сборок под каждый отдельный тип ускорителя


  1. next_account
    22.09.2026 15:52

    ollama для меня была точкой входа - именно скачать и потрогать локальную модель (через гуй под виндой). все эти статьи и коменты на хабре про ии только будоражили интерес. потом через статьи и комментарии понял что есть куча параметров (температура и прочие) которые не были доступны и lm-studio стала вторым шагом - позволяющим просто пощупать и разобраться с тонкостями. ну и сейчас llama-server в погоне за токенами, и прям щас узнаю про llama-swap. конечно плохо что создатели ollama решили скрыть истинного автора, но все эти модели обучались на каких данных? (риторический вопрос - на всех данных которые удалось выкачать в т.ч. и с торрентов). для меня ollama останется тем первым опытом который привел меня в мир ии, а плагиат - ну во многих отраслях он есть. ну и это был именно "простой опыт" - скачал программу, скачал модель и болтаешь в чате - отличная точка входа для не специалиста.