На фоне общего хайпа вокруг ИИ холодным душем стали июльские результаты исследования METR о том, как LLM замедляют работу опытных разработчиков в опенсорсных проектах. Напомним, что в тех опытах использование LLM увеличило время выполнения задач на 19%, хотя сами разработчики ощущали противоположный эффект.

Учёные затруднились объяснить причины когнитивного искажения.

Факт в том, что многим разработчикам очень нравятся их инструменты для автодополнения и генерации кода, особенно Claude Code. Он настолько удобен, что от него буквально возникает зависимость. По опросам, чем больше люди используют такие инструменты — тем больше им нравится. Код «магически» генерируется сам собой, зачастую даже корректный.

Но это не обязательно улучшает или ускоряет разработку.

Более того, есть признаки, что в 2025 году наконец-то наступило некоторое охлаждение ожиданий в отношении к LLM.

Исследование METR было проведено на крошечной выборке из 16 мейнтейнеров c редактором кода Cursor Pro и Claude 3.5/3.7 Sonnet. Правда, 9 из 16 участников никогда раньше не использовали Cursor, а единственный человек с большим опытом Cursor показал значительную прибавку в производительности.

Но это не единственное исследование, которое указывает на рост трудозатрат из-за использования LLM, а также на охлаждение отношения к ним.

Более репрезентативным является 2025 Developer Survey от Stack Overflow, в котором приняло участие более 49 тыс. разработчиков из 177 стран.

В целом, положительное отношение к LLM-инструментам снизилось с прошлогодних 70% до 60%:

Исследование показало, что главная проблема LLM-генераторов кода — не очевидные ошибки, а «правдоподобный, почти нормальный код»:

Требуется большое количество времени, чтобы его тщательно вычитать, понять и проверить. Это особенно коварная проблема с производительностью. И это несмотря на значительный прогресс в области AI-агентов, которые с каждым годом выполняют всё более длительные и многоэтапные задачи с вероятностью успеха более 50%:

Процент успеха катастрофически падает с увеличением сложности (продолжительности задачи):

В этом году разработчикам стало более очевидно, что LLM-инструменты не справляются с действительно сложными задачами. В 2025 году только 29% респондентов сказали, что инструменты ИИ могут их решать (в 2024 году было 35%):

В отличие от явно сломанного кода, который сразу виден и подлежит удалению, «почти правильные» решения требуют тщательного анализа. Разработчики должны понять, что не так, и как это исправить. Многие сообщают, что написать код с нуля было бы быстрее, чем отлаживать и исправлять сгенерированные решения.

Куча новых инструментов

Нарушение рабочего процесса выходит за рамки отдельных задач по программированию. Опрос показал, что 54% разработчиков используют шесть или более инструментов для выполнения своей работы. Это добавляет дополнительные расходы на переключение контекста к уже сложному процессу разработки, а ведь программиста ни в коем случае нельзя отвлекать.

Несмотря на снижение доверия, разработчики не отказываются от инструментов ИИ. Они разрабатывают более сложные стратегии для интеграции их в рабочие процессы. Опрос показал, что 69% разработчиков потратили время на изучение новых техник программирования или языков программирования за последний год. Из них 44% использовали для обучения LLM-инструменты, по сравнению с 37% в 2024 году.

Проблемы от LLM

LLM уже вызвали массу проблем во всех областях, где их начали массово применять. Например, внедрение ИИ-агентов в кол-центрах и техподдержке вызывает массовое недовольство пользователей. У LLM большие проблемы с распознаванием голоса, если абоненты говорят с акцентом, быстро или неразборчиво. Зачастую он некорректно распознаёт даже цифры. Системы распознавания эмоций так часто ошибаются, что сотрудники просто игнорируют эмоциональные теги в программе.

Использование LLM также повышает требования к обучению начинающих сотрудников, которым приходится осваивать дополнительные инструменты, прежде чем приступить к работе.

В июне 2025 года исследование Gartner показало, что 50% организаций, планирующих внедрение техподдержки с ИИ-агентами, собираются пересмотреть своё решение. Опросы также прогнозируют, что более 40% текущих проектов техподдержки с ИИ будут свёрнуты к 2027 году.

На первый взгляд кажется, что LLM-инструменты сильно экономят время и повышают продуктивность, но разработчики тратят время на исправление всего дальнейшего рабочего процесса, поломанного из-за LLM, включая приём изменений, исправление ошибок и поддержку кодовой базы.

Проблемы с качеством кода усугубляются рисками безопасности из-за использования облачных LLM. Не все компании ещё научились использовать локальные LLM в своих дата-центрах.

Недетерминированный результат

Нельзя путать разработку и вайбкодинг. Само по себе составление промтов — это не программирование в обычном понимании.

Программирование — это разработка системы, которая работает как задумал её архитектор. Но LLM даёт абсолютно недетерминированный результат. Это похоже на магию, но на самом деле это не магия и не программирование. Так называемый «промт-инжиниринг» — это просто попытка обратной разработки или взлома «чёрного ящика», который представляет собой любая LLM. Как он работает и какой выдаст результат — не знает никто, включая его создателей.

Сейчас только 32,3% профессиональных разработчиков доверяют точности LLM:

Доверия никакого нет, но современные инструменты слишком удобны, чтобы от них отказаться. Только отдельные энтузиасты с большой силой воли способны отказаться. И такие случаи вызывают большой резонанс в сообществе. Примерно как отказаться от смартфона: понятно, что это делает человека более счастливым, но не каждый может найти силы или возможность, да и окружающие смотрят с подозрением.

Исправление ошибок

Исправление ошибок LLM требует времени и ресурсов. Сгенерированный код и тексты требуют дополнительной проверки, по сравнению с человеческими. На это нужно выделять дополнительные силы. С другой стороны, это порождает новые деловые ниши для новых стартапов и бизнесов, которые специализируются на обслуживании LLM-экосистемы. Например, написание структурированной документации для репозиториев, которая оптимально подходит для загрузки в контекстное окно LLM (файлы llm.txt). Это второе рождение для профессии технических писателей.

Такая проблема не только в программировании, но в дизайне, копирайтинге и других областях, где грязная работа LLM требует больших усилий по её доведению до ума, чтобы результат не вызывал отторжения у аудитории. Без специальной обработки тексты LLM просто неприятно читать, а картинки вызывают чувство брезгливости. С программным кодом здесь ситуация несколько проще, потому что он предназначен для «употребления» машинами, а не людьми.

Работы прибавилось у консультантов, независимых разработчиков и специалистов по безопасности. Если раньше разработкой сайтов занимались преимущественно профессионалы, то теперь некоторые компании запускают продукты, веб-приложения и разделы на сайте, частично или полностью сгенерированные LLM, с кучей багов и уязвимостей. Всё это приходится исправлять. Судя по всему, LLM — это золотая жила для профессиональных разработчиков, к которым пойдёт волна обращений, чтобы разгрести вайбкодинг с галлюцинациями.

С годами вал заказов будет нарастать по мере того, как компании внедряют чатботы в продакшн без присмотра профессионалов.

Невозможность поддержки

Одноразовый мусорный код, сгенерированный чатботами LLM, практически невозможно поддерживать. Он по сути с самого начала представляет собой легаси, которое проще переписать заново, чем исправлять ошибки. Но в этом нет особенно большой проблемы. Как объяснял Андрей Карпаты в лекции о Software 3.0, в будущем 99% кода будет писаться с нуля, создаваться в реальном времени и генерироваться под каждую текущую задачу. Это новая парадигма.

Software 3.0 не заменит традиционное ПО, а дополнит его. Но по объёму сгенерированный код будет многократно превосходить написанный вручную.

Похоже, после повсеместного внедрения LLM общий уровень программного обеспечения в мире продолжит деградировать.

Скорость — не главное

Набор символов на клавиатуре никогда не был главным ограничением в программировании. Это просто маленький этап в цепочке интеллектуальной инженерной работы, которая заключается в разработке архитектуры, постановке задач, тестировании, проверке кода, поддержке, коммуникации с другими разработчиками, построении базы знаний, обучении новому.

LLM ускоряет набор кода — предположим, 20% работы, но осложняет остальные 80%, особенно поддержку и обучение новым знаниям. Скорее происходит потеря знаний, чем приобретение новых.

На самом деле в разработке важна не скорость, а качество кодовой базы. А оно страдает. Результаты вайбкодинга хорошо видны со стороны — это куча лишнего кода, который человек никогда не стал бы писать, и несоответствие шаблонам, принятым в профессиональной разработке. Чтобы улучшить качество, рекомендуется больше внимания уделить подготовке промтов для LLM, давать более точные описания, более структурированный контекст. Указать, какие библиотеки использовать. Показать примеры. Генерировать более лаконичный код, файлы меньшего размера. Следовать существующим принципам и шаблонам хорошего программирования.

Другими словами, больше времени уделять подготовке перед тем, как запускать генератор. Почти никто из профессиональных разработчиков не любит вайбкодинг и не использует его в профессиональной работе:

Специалисты рекомендуют больше внимания уделять обучению сотрудников новым инструментам. В опросе Stack Overflow уровень положительных отзывов при ежедневном использовании составляет 88%, а при еженедельном — только 64%.

Новая реальность программирования в эпоху LLM

Есть мнение, что широкое внедрение LLM способствует большему распространению профессии разработчика, которая станет более доступной и понятной, менее маргинальной. Примерно то же самое, как при переходе от машинных кодов к языкам программирования высокого уровня (как тогда говорили, программирование «на английском языке» будет доступно любой домохозяйке). Если так произойдёт, то индустрии понадобится гораздо больше программистов, чем сейчас.

Возможно, появится ряд новых смежных профессий, специализаций и скиллов, таких как программирование контекста. С точки зрения Software 3.0, движки LLM можно понимать как новый тип ОС или архитектуру ПК, в которой LLM является CPU, а окно контекста выполняет роль RAM.

В этом смысле задача программиста — заполнить окно контекста правильной информацией:

Вполне вероятно, что инструменты LLM в будущем станут обязательными (бесплатными) для разработчиков во всех крупных компаниях, так же как сейчас бесплатно дают кофе — ведь это эффективный психостимулятор: он блокирует аденозин, который вызывает сонливость, а повышение работоспособности очень выгодно для фирмы.

Агенты

LLM-инструменты быстро совершенствуется, самый бурный прогресс наблюдается в сфере AI-агентов:

Агенты запускаются локально на ПК, на сервере, есть WASM-агенты в браузере и много других полезных технологий.

Есть платные облачные сервисы AI, специально заточенные на программную разработку:

Самые популярные инструменты управления агентами — Ollama (51%) и LangChain (33%).

Эффект от AI-агентов положительный, но только на индивидуальном уровне отдельных разработчиков, но не коллективов в целом:

Правда, пока агенты не вошли в мейнстрим:

К сожалению, многие полезные инновации в сфере LLM тонут в волнах бессмысленного хайпа от AI-компаний и стартапов. Бизнесы привлекают миллиарды долларов финансирования, как интернет-магазины во времена бума доткомов 90-х, обещая Сверхинтеллект и технологическую сингулярность буквально «в ближайшие годы».

Чтобы получить такие деньги, они не стесняются врать и преувеличивать, наделяя LLM «интеллектом» и приписывая им сверхчеловеческие «способности».

Пена спадёт, а полезные инструменты останутся.

Расширение сферы программирования

LLM действительно на порядок расширяет сферу программирования. Например, теперь мы можно проблем создавать маленькие приложения для себя и друзей, на которые раньше не хватало времени. Можно генерировать десятки, сотни «одноразовых» программ и скриптов на все случаи жизни. Можно генерировать тысячи тестов для случаев, которые раньше не покрывались тестами из-за трудозатрат. Всё это одноразовый мусорный код, который невозможно поддерживать, он просто решает свою задачу и выбрасывается. За счёт него сфера программирования сильно расширяется. Это огромная выгода для IT-индустрии, что должно привести к увеличению количества вакансий для разработчиков.

Чем более популярным станет вайбкодинг, тем больше работы будет у настоящих программистов. Внедрение генераторов кода с промтов на естественном языке можно сравнить с изобретением языков программирования высокого уровня типа C и Python, которые позволили программировать обычными словами вместо машинных инструкций. Вместе с распространением информационных технологий 'nj привело к многократному росту числа программистов.

Сейчас LLM иногда воспринимается как дешёвая альтернатива качественному труду. Вероятно, это означает постепенную деградацию массовых типовых решений в большинстве сфер IT. С другой стороны, такая деградация наблюдалась и раньше, это естественный процесс для современного капитализма.

Выход долгожданной модели GPT-5 показал, что нейросети по-прежнему очень далеки от уровня сверхинтеллекта, а в некоторых аспектах новые модели хуже предыдущих, оставаясь на уровне генераторов текста/кода. О настоящем понимании мира и речи не идёт.

Что касается бизнеса, то успешное внедрение LLM требует тщательной интеграции с существующими инструментами и процессами, а не полного замещения рабочих процессов. Специалисты рекомендуют больше внимания уделять обучению правильному использованию LLM. Как показал опрос, при ежедневном использовании уровень положительных отзывов составляет 88%, а при еженедельном — только 64%.

© 2025 ООО «МТ ФИНАНС»