Один разработчик запустил 400B-модель на iPhone 17 Pro. Еще раз, 400 млрд параметров, правда с оговоркой, сделал он это через стриминг весов с SSD прямо в обход оперативки. И она работала. Выдавала 0,6 токена в секунду — это примерно слово в пару секунд, с задумчивыми паузами, как диалап в 2003. Технически бесполезно, на практике возможно (но ведь запустилась же).

Я начинаю статью с этой новости не просто так, она сразу ставит на место главное заблуждение про ИИ на телефоне. Все думают, что вопрос в том, влезет ли модель? И ответ: влезет почти все. Размер давно перестал быть стенкой. Стенка переехала в другое место, и про нее почему-то не пишут.

И вот еще из неочевидного. Прямо сейчас, пока вы читаете это в Chrome на десктопе, в ваш браузер уже скачана языковая модель на несколько миллиардов параметров, и любая открытая вкладка может ее дернуть без спроса. В вашем телефоне крутится Apple Intelligence? Поздравляю, вы обладатель ИИ в вашем смартфоне. В общем, маленькие языковые модели уже среди нас.

Так давайте разберемся, что это за модели на 1–7 млрд параметров, кто их делает, как они запускаются на телефоне, в браузере, и где вас ждет подвох, которого нет ни в одной таблице с бенчмарками.

Каталог готовых ИИ-моделей

Сервис для запуска и управления LLM в облаке Selectel. Выберите модель, конфигурацию и получите готовый эндпоинт для работы с ней.

Подробнее →

Как ИИ дошел до жизни такой

Еще пару лет назад слово «маленькая модель» было вежливым синонимом слова «глупая». И, честно говоря, заслуженно. Трехмиллиардная модель образца 2022 года не могла удержать мысль на два шага: спрашиваешь задачку в два действия, а она после первого ответа теряла контекст первого промпта. Код писала так, что проще самому. Репутация сохранялась надолго, и даже когда модели начали тихо умнеть, их уже оценивали предвзято.

А потом случилась пара вещей, и ни одна из них не была про «а давайте сделаем побольше».

Первый «щелчок» прилетел из DeepMind еще в 2022, с моделью по имени Chinchilla. Оказалось, что все эти модели-гиганты недоучены. Их раздули по числу параметров, но скормили слишком мало данных под такой размер. Chinchilla на 70 млрд, обученная по уму, одолела Gopher на 280 млрд параметров. То есть DeepMind, по сути, вышли и сказали: «Ребят, вы три года кормили своих титанов впроголодь». 

И из этого следовал простой вывод: если данные важнее размера, то и мелкую модель, если кормить правильно и много, можно вытащить туда, куда раньше доходили только большие.

Дальше пошли эксперименты в духе «а что, если». Проект TinyLlama взял крохотную модель на 1,1 млрд и скормил ей три триллиона токенов, далеко за ту самую «оптимальную» точку из теории. По всем правилам она должна была давно упереться в потолок и перестать учиться. Не уперлась, потолок оказался выше, чем все думали.

А самый красивый ход, на мой взгляд, сделала Microsoft. Их линейка Phi выросла из статьи с названием «Textbooks Are All You Need», «учебников достаточно». Логика такая: хватит сгребать в обучение очередную свалку интернета, давайте нагенерим и отфильтруем данные академического, «учебникового» качества, плотные, чистые, с разжеванными рассуждениями. И модель на 1,3 млрд, обученная на таком датасете, начала писать код лучше, чем модели в десять раз больше, которых обучали на всем подряд. 

Сюда же добавилась дистилляция. Берешь ответы большой фронтир-модели и тренируешь на них маленькую. Ученик перенимает повадки учителя, не повторяя весь его путь.

Но все это так и осталось бы лабораторной историей, если бы не последний кусок пазла. О нем пишут меньше всего, хотя именно он все и решил. 

В устройство моделей пришла квантизация. Когда Георгий Герганов написал llama.cpp и показал, что веса можно ужать до 4 бит на число и запускать модель на условном ноутбуке, вот тогда плотину и прорвало. Сначала LLaMA на Mac, потом на Raspberry Pi, потом на телефонах. Стандарт мобильной квантизации сейчас зовется Q4_K_M: память уменьшается вчетверо, а качество на большинстве задач проседает на проценты. 

И вот в 2026 линии пересеклись. 4B-модель сегодня делает то, на что полтора года назад была способна только 30B. 

Кто все эти маленькие модели

Открыв сегодня библиотеку моделей можно увидеть десятки семейств и у каждого по пять размеров. Пройдусь по тем, что реально имеют смысл быть у вас в кармане. Строгий рейтинг тут бесполезен, он переписывается каждый месяц.

Gemma 4 от Google — это самая «телефонная» история. Два мелких варианта, E2B и E4B, за счет хитрости с эмбеддингами по факту считают меньше, чем написано в имени, влезают примерно в 5 ГБ памяти и при этом понимают картинки. По замерам, на свежем IPhone крутятся около 40 токенов в секунду, с разбором изображений. Для такого размера это сейчас лучший результат.

Phi-4-mini на 3,8 млрд — это прямой потомок той самой «учебниковой» философии. Сильнее всех в классе на математике и коде, но проседает на языках и на творчестве. 

Qwen 3.5 от Alibaba берет контекстом: 4B вариант держит 262 000 токенов. Для такого малыша это аномалия, обычно подобные упираются в 128К. Плюс лицензия Apache 2.0 и приличная мультиязычность, что для русскоязычных задач аргумент.

Llama 3.2 в размерах 1B и 3B — это рабочая лошадка. На бенчмарках не блещет, зато вокруг нее самая зрелая экосистема, и она неожиданно толковая в том, чтобы сообразить, какую функцию подергать. А SmolLM3 интересна тем, что полностью прозрачна: открыты все данные обучения, никаких сюрпризов с лицензией датасета под капотом.

И раз уж зашли в этот зоопарк, развею любимую ошибку, на которую наступают через одного. DeepSeek-R1 «на 1.5B» или «на 7B» — это не DeepSeek-R1. Настоящий R1 — это 671 млрд параметров и сотни гигабайт на диске. 

Все мелкие теги — это дистилляции: взяли Qwen или Llama, дотюнили на рассуждениях от R1. Они копируют манеру думать вслух, но это другая модель.

Но все вышеперечисленное — это про работу руками: нужно скачивать веса и запускать самому через Ollama, LM Studio, llama.cpp или MLX. Есть и второй мир, устроенный наоборот — модели. Они уже вшиты в платформу, устанавливать ничего не нужно вообще. До них просто нужно дотянуться, и на каждой ОС это делается по-своему.

На iOS для этого есть Foundation Models framework: доступ к встроенной модели Apple из пары строк Swift. Но только к ней, свою архитектуру через этот путь не подтянуть.

На Android есть Gemini Nano, который сидит прямо в системе. 

А в браузере, в том же Chrome, тот же Gemini Nano доступен веб-странице напрямую из JS. 

Не верите, что ИИ уже сидит в вашем браузере? Рекомендую проверить самим. Откройте на десктопе DevTools и наберите в консоли:

await LanguageModel.availability()

Если вернет available, то вот оно, уже здесь, лежало все это время.

Где модели к месту

Тут важно не обманываться. Маленькая модель на устройстве — это не замена облачному гиганту. Пытаться вести с ней долгую и глубокую беседу на уровне ChatGPT и других фронтиров — занятие грустное, разочаруетесь. Сила ее в другом — уметь конкретное достаточно хорошо.

И вот в этом конкретном она внезапно очень хороша. Классификация, разбор текста, извлечение сущностей, автодополнение, суммаризация, перевод, заполнение форм, модерация, проверка грамматики. Все, что узкое и понятное, мелкая модель делает быстро, локально и за ноль рублей.

А теперь обещанный подвох

Подвох первый

Дело в тепле. Телефон не умеет долго отводить тепло, генерация токенов греет кремний, и как только датчик упирается в порог, система сама режет частоты, чтобы железо не испортилось. По обзорам, Qwen 2.5 1.5B на iPhone стартует под 38 токенов в секунду, а потом скорость оседает из-за троттлинга. На одном из Samsung в бенчмарке система уронила частоту GPU почти втрое, когда чип нагрелся до 78 градусов, и тест просто оборвался.

Подвох второй 

Дело не в TOPS, а в памяти. Производители чипов меряются числом TOPS, это про скорость вычислений на нейромодуле. Только скорость генерации текста определяет вообще не оно. Чтобы выдать каждый следующий токен, модель обязана прочитать свои веса из памяти целиком. Для 4-битной трехмиллиардной модели это примерно 2 ГБ чтения на каждый токен. При пропускной способности мобильной памяти около 70 ГБ/с упираемся в потолок порядка 35 токенов в секунду чисто арифметически.

А память в дата-центре быстрее мобильной раз в 30–50. 

Вот почему два телефона с одинаковыми TOPS выдают разную скорость, и почему Apple Silicon так хорош: у него жирная пропускная способность памяти, а не только сильный нейромодуль. То есть бутылочное горлышко в том, как быстро веса доезжают до вычислителя.

И вот теперь тот фокус с 400-миллиардной моделью на IPhone читается иначе. Она запустилась вопреки памяти: в оперативке держалось всего около 5 ГБ, а остальные двести стремились с SSD по кусочку. 

Что в остатке

История мелких моделей — это, если задуматься, история про то, как индустрия перестала решать задачу «грубой силой». Малые модели — это то, что молча работает у вас в телефоне и в браузере, пока вы об этом даже не думаете.

Стенка теперь — это пропускная способность памяти и теплоотвод, и именно туда переехало все самое интересное. Бенчмарки меряют идеальную первую секунду. А живем мы в минутах и часах, с теплым телефоном в руке.