Или как объяснить менеджменту, почему лучше перестать пушить внедрение ИИ в разработку
Почему меня стоит слушать? Я точно не айти гуру, но я зарабатываю кодом последние 8 лет, писал очень разное от низкоуровневых оптимизаций на C++ и движков инференса нейронок до классического ML и обычной продуктовой разработки на Python/JS; работал и на РФ, и на Штаты, вел универские лекции по алгоритмам и структурам данных, а еще в 2023 прошёл через "ИИ-изацию" компании ?
И меня бесит, что решения о применении ИИ принимаются на основе хайпа в твиттере/телеграме или субъективных ощущений менеджмента из серии «я за два часа навайбкодил то что вы делали месяц, ИИ – революция»
Ниже я разбираю основные проблемы и приземляю их на реальные исследования
Скрытый контекст
На бенчмарках качество ИИ систем растет, это да. Но насколько бенчмарки похожи на реальные проекты?
В реальности весь нужный для работы контекст никогда не хранится только в коде. Он находится в головах у разработчиков, которые месяцами и годами работали с репозиторием. Они видят не только слепок кода в моменте, но и знают историю и причины изменений (которые часто растут из продуктовых требований, вообще не отражённых в коде)
У ИИ ничего этого нет. Максимум, что может – пройтись по коду и вытащить базовые зависимости между сущностями.
ИИ ускоряет замедляет написание кода
Как показывает нашумевшее исследование METR – ускорение мнимое. На самом деле, исследователи увидели замедление на 19%. И что самое интересное, сами разработчики считают, что наоборот ускорились на 20%!
Вот поэтому меня и бесит принятие решений на основе ощущений – им нельзя доверять. ИИ просто дает иллюзию ускорения
Потеря фокуса
Разработка – сложная когнитивная деятельность и требует серьезного погружения. Поэтому никто не любит спонтанных звонков, уведомлений и всего, что выдергивает из концентрации.
В кодинге с ИИ, наоборот, приходится постоянно переключать контекст – пока ждешь агента, внимание уходит, переключаешься на другую задачу или рабочие чатики (ну или идешь тупить в тг/ютуб, чего тут). К моменту, когда агент отработал, весь контекст нужно вспоминать заново.
Посредственный код
ИИ обучен на всем интернете. И большинство кода – посредственное по определению. Со временем ИИ распространяет эту посредственность по репозиторию, накапливая техдолг. А в какой-то момент, когда уже не может выполнять свою работу из-за накопившихся противоречий и архитектурных костылей – начнет переписывать тесты, откладывая момент тревоги, пока не станет слишком поздно.
Увеличенный Rollback Rate
Точка отлова ошибок перемещается вперед во времени. Там где разработчик мог бы сам заметить проблему в потоке работы, теперь ошибки ловят либо QA, либо вообще пользователи на проде. Стэнфордский рисерч (статья, видео) показывает, что до 25% закоммиченного ИИ кода – содержит баги. Этот код обратно возвращается на дорабоку → цикл разработки, наоборот, увеличивается.
ИИ буквально ускоряет набор текста, но тормозит релизы
Тезисы выше – компиляция того, что я часто слышу последние пол года.
Правда есть проблема.
У аргументов шаткий фундамент – либо неверно интерпретируют результаты исследования, либо у самих исследований есть серьезные проблемы с методологией
Так, стэнфордское исследование действительно говорит, что стало больше переделок. Но они же показывают, что производительность растет настолько сильно, что даже с учетом переделок получается быстрее.
А в распиаренном исследовании METR – вообще выборка всего из 16 участников. 16, КАРЛ.
Да еще и большинство разработчиков даже не трогали Cursor до начала эксперимента. Кривая входа в кодинг с ИИ в больших проектах – очень крутая. Это лендос на lovable собрать за выходные может любой дизайнер/продакт. Но большой проект – это всегда сложная инженерия с кучей нюансов
Еще и результаты оценивали в среднем, хотя в контексте предыдущего пункта полезнее всего смотреть на верхней перцентиль – насколько увеличилась эффективность у тех, у кого получилось найти эффективные паттерны использования.
И удивительно (нет), у 4 разработчиков эффективность выросла (у двух – почти x2), причем лучший результат был у единственного, кто имел хоть сколько-нибудь существенный опыт с Cursor к началу эксперимента (50 часов).
Короче, как обычно, мало просто получить инструмент, нужно научиться им правильно пользоваться
Правда нормальных лучших практик тут нет – приходится экспериментировать самому, либо выцеплять крупицы мудрости из тонны профильных чатиков с другими экспериментаторами.
А запрос на отфильтрованную информацию – все сильнее. Вижу это и по вопросам на своих консультациях, и по личному общению с разработчиками и лидами из индустрии.
Так что я написал тем самым экспериментаторам из чатиков, чьими крупицами опыта пользуюсь, и предложил организовать онлайн-конференцию на эту тему
Все быстро вышло из под контроля и разрослось до 10 очень разных крутых спикеров и больше 1800 участников
Кто-то тут точно такое захейтит, а кому-то точно будет интересно. Второе важнее, так что делюсь.
Не уверен, что могу тут выложить ссылку на саму конфу, но за ссылки на свой канал меня раньше не банили. Так что если вам актуально – вот он, там разберетесь:)
Кстати, я правда считаю, что менеджмент не должен пушить – рыночек сам порешает. Но про это – на панельке.
Комментарии (35)
timurkhakhalev
12.10.2025 07:34На мой взгляд, главная проблема в том, что AI Coding не воспринимается как что-то, на что нужно потратить время на обучение, прежде чем начать применять в работе
mst_72
12.10.2025 07:34Я бы добавил, что приличное время (месяцы, а не 1 видос на 15 минут) + изначальный (и не малый) опыт в разработке. Иначе потом начинаются вопли про "ИИ не работает". Сделать тетрис с одного промта не совсем тоже, что отрефакторить Legacy без потерь :)
Akuma
12.10.2025 07:34А ещё деньги забыли.
Многие жмутся заплатить 20 баксов за курсор/клод/кодекс и используют открытые модели, причем еще и не самые лучшие, ибо ну че я платить что ли буду.
Получают какую-то лажу и вот вам статистика.
ogogoggogog
12.10.2025 07:34>Многие жмутся заплатить 20 баксов за курсор/клод/кодекс
Если trial у Cursor соответствует реальному PRO аккаунту, то правильно делают. За такое гугно даже 20 баксов жалко платить.
Кстати, курсор не только тупой, ещё и обидчивый, после очередного
высеранеработоспособного рефакторинга я написал: what a bullshit, you've done, you should have......
в ту же секунду "у тебя кончились лимиты, плати 20 баксов". Так и побежал... не знаю как там на JS и python, на JAVA польза от курсора отрицательная.И, кстати, если вставить код курсора в бесплатный web-chatgpt5, то он очень неплохо так рефакторит. Вот chatgpt своих 20 баксов скорее всего стоит. А тот chatgpt что внутри курсора - мусор, какой бы ярлык на него не вешали (что он chatgpt5 T).
MaxAkaAltmer
12.10.2025 07:34Имхо, в простых задачах очень даже работает и очень даже ускоряет.
В больших (больших с точки зрения сложности и больших с точки зрения объема) - не работает, пока не работает.
Этим просто нужно правильно пользоваться, если конечно готовы вместо нового авто купить вычислитель.
GTD01
12.10.2025 07:34Просто большие задачи надо разбивать на маленькие и все прекрасно и на больших работает... Контролировать конечно сложней, особенно курсор, который вместо указанной правки может пол проекта неправильно переписать))
dyadyaSerezha
12.10.2025 07:34если конечно готовы вместо нового авто купить вычислитель
А вот говорят, что если подождать 3-5 лет, то начнут промышленно делать процессоры с распределенной обработкой прямо на памяти, и они раз в тыщу ускоряют работу ИИ, при этом раз в сто повышая энергоэффективность. А может, и в сто два.
mikejk
12.10.2025 07:34Тоже заметил, что ускорения нет. Код получается красивый, но неэффективный и часто не работающий на граничных условиях.
Antra
12.10.2025 07:34Это как?
Как раз он тесты прекрасно делает для граничных условий. Гораздо больше, чем я сам бы придумал. А потом уже код правит, чтобы и на граничных условиях работал.
Впрочем, видя по тестам, что должно получиться, он и код сразу эффективнее пишет.
R0uT3r
12.10.2025 07:34Сужу по своему опыту.
Тесты он делает лишь для некоторых граничных условий. Не для всех уж точно, а для тех, что делает - слабовато. Хотя возможно я контекста не докинул. Ну и не стоит забывать, что все зависит от языка/технологии. Все таки выборка в обучении решает насколько модель умна в той или иной области.
knowthyself1
12.10.2025 07:34Мне кажется, что фокус на эффективности давно не отражает реалий экономики и общественных представлений о благе. Например, сейчас ИИ неэффективен для кодинга в среде профессионалов, но учитывая, что зарплаты в этой сфере снижаются, то смысл внедрения и налаживания кодинга с помощью ИИ - создание рабочего места с "ламером", который обучен простейшим алгоритмам и промтам. Качество кода не самое важное, он всегда ухудшается и не оптимизируется.
stas_dubich
12.10.2025 07:34А вы попробуйте не эти модели что дают почти бесплатно, а например sonet 4.5, с нормальным ТЗ
Результат сильно удивит, но хотя цена тоже, денек вайбкодинга 50 баксов
Sergio51423
12.10.2025 07:34А мне по кайфу, в последнее время юзаю Claude code в бекенде на го.
Чистая архитектура каждый слой изолирован. Пишу интерфейсы и структуры, раскидую комменты что делает, для чего и тд, краткие. Потом даю паттерны тестов ему, интерфейс, паттерны кода, и просто пару слов, "типо реализуй метод" (паттерны это типо мои инструкции, что нужно прочесть такой-то файл перед тестированием, покрытие кода 80+% и тд, инструменты, тестовые бд и прочее)
Он пишет метод, пишет тесты, проводит тесты, фиксирует баги, редактирует метод, опять тестит, проверяет результат и если все ок, то вносит результат в доку.
И вот для реализаций репозиториев, тестов, хендлеров для http/grpc, документации и тд. Прям топ. Реально ускоряет.
Насчёт бизнес логики или каких-то моментов, которые сильно долго объяснять или где потратиться много токенов - я не использую, проще самому.
Arragh
12.10.2025 07:34Это значит лишь то, что для выполнения твоих задач не требуется какой-то серьезной компетенции.
AgafonMix
12.10.2025 07:34На простых задачах ускорение есть. Но практически всегда код приходится править под свою конкретную задачу.
Bardakan
12.10.2025 07:34ИИ кодинг не работает
а у нас работает. Проверяли на главном разработчике и на бэкендерах
Hivemaster
12.10.2025 07:34Значит вы настолько плохие разработчики и пишите такую примитивную фигню, что даже тупая нейросетка способна справляться лучше вас.
sic
12.10.2025 07:34Надеюсь это сарказм.
Если архитектура проекта продуманная, модули изолированные, api / форматы данных документированные, модули делают понятные и без тз вещи, но тем не менее тз тоже есть, и задачи изолированные, то ии с большинством прекрасно справляется. Не столь прекрасно, конечно, сколь быстро.
Это не специфика "простого проекта" это просто правильный подход к разработке.
А если это не так, то это в сущности просто какой-то кусок говнокода, который лет через n бизнес, скорее всего, просто выкинет.
Krypt
12.10.2025 07:34Есть ещё одна сторона: потеря опыта самим программистом. Пока ИИ за тебя кодит, мозги ржавеют, и опыт не приобретается.
vlzh92
12.10.2025 07:34Чтение когда и его тестирование - отдельные навыки. Они не менее полезны, чем написание
Krypt
12.10.2025 07:34Да, только вы теряете основной в процессе
sic
12.10.2025 07:34А какой навык основной? Читать код всяко больше нужно, чем писать. А стучать по клавишам что-то на минимальном общем подмножестве C++ и C, к примеру, это что-то сродни судоку разгадывать, не видел, чтобы хоть кто-то от этого поумнел.
Marxell
12.10.2025 07:34Пишу на не самом популярном стеке ( мобилка), как в продакшн, так и хобби проекты.
И могу сказать что поменять кнопочку или отыскать где связываются две сущности, сделать нечто подобное к тому что уже было реализовано - ИИ даёт значительное ускорение.
Но сделать что-то с нуля масштабируемое или даже на существующем проекте добавить фичу ( именно полноценный экранчик или функциональность) - около нереально.
При этом использовал все что есть на рынке - ии-редакторы кода, чат боты ( с подпиской и без), агентов в терминале - везде проблема:
А) с контекстным окном ( слишком мало умещается, приходится думать как обрезать данные, оставляя нужные)
Б) с уровнем "интеллекта"(если так можно выразиться) модели. Пока что лучше всего показывает Claude (как и последние пару лет)
Если нужно написать что-то популярное (сайтик или небольшой бекенд на питоне) - "ВАУ, будущее наступило", но как требуется сделать что-то сложнее или на менее популярном стеке - ощущение что ты пытаешься перекинуть работу на джуна-дебила который не умеет осознавать свои ошибки.
Причем ситуация комичная уже пару лет - улучшения есть, но по чуть чуть, не спасает супер описанное тз ( потому что иногда требуется к примеру написать какие-то изменения в файлах отвечающих за сборку проекта, а не просто код городить )
vlzh92
12.10.2025 07:34Для мелких скриптовых задач работает замечательно, имхо! Например, автоматизация процесса релиза с ии выполняется мидлом за пару вечеров. Или задача заскриптовать какое-нибудь апи через curl или на питоне занимает тоже пару вечеров. Если писать такое в ручную с нуля, то уйдет день и сколько-то на отладку, при условии что не отвлекают. А уж в обычном режиме с чатами, инцидентами и прочими радостями нужна неделя.
gun_dose
12.10.2025 07:34А мне нравится использовать ИИ в кодинге. Просто потому что это прикольно. Других причин назвать не смогу. На скорость работы, как по мне, влияет очень мало. Где-то ускоряет, где-то замедляет. Но чем больше я использую ИИ, тем больше нахожу ограничений и слабых мест.
Ardni0
12.10.2025 07:34Очередной копиум. Когда нибудь вам прийдется принять, что в ваших головах точно такая же нейронка из синопсов и нейронов. И нейро кодинг работает прекрасно уже сейчас, аргументы "ну он же не на 100 процентов выполняет таску, а на 90" - копиум чистой воды
onets
12.10.2025 07:34Текущий ИИ хорого тесты пишет, с код ревью может помочь (лишним не будет), но надо за ним проверять, я игнорю 30-50% его предложений
Существующий проект - не, тяжело будет всем.
А вот если начать новый - то мне понравилось. Я сейчас тренируюсь - реальный проект, но с DDD и ИИ.
Но надо самому знать, что хочешь, держать в голове структуру. Зато удается держать сложность на неком минимальном уровне. Автоматически как бы код разбивается на меньшие куски с меньшим контекстом, потому что ИИ начинает нести чушь. А человеческому мозгу потом проще это понимать. Так как по сути у нас в голове тоже контекст.
DjUmnik
12.10.2025 07:34Пишите нормальные комментарии к коммитам, связывайте их с таск-трекером и тогда ИИ сможет понимать, что почем и откуда ноги растут.
snuk182
12.10.2025 07:34Моя мечта, скормить чатику исходники ядра и дерева устройства и сказать - обнови до актуального ведра, а соберу я уж как нибудь сам. Увы, мечта пока неподъемная.
ValeriyPus
Бред какой пишите.
T-9 (transformer) не кодит?
Кодят поди DreamCoder-ы или SMT Solver-ы?
Andriljo
Т9 это не трансформер, а статистическая модель не нейросетевая, а на алгоритмах.
Возможно вы имели ввиду модель T5 от Гугла?