Я тимлид, пятнадцать лет в разработке. Последний год мой пет‑проект пишут ИИ‑агенты, а я читаю их отчёты о том, как всё прекрасно работает. Что отчёты и реальность живут отдельно друг от друга, я знал и раньше, у меня команда из живых людей. Неожиданным оказалось другое: лекарство подошло то же самое. Дальше будет устав судьи, настоящие вердикты, сторожевые тесты и грабли, которые я собрал по дороге. Всё из живого репозитория.

Кнопка, которая говорила «готово»

Проект называется Captain's Bridge, персональный дашборд тимлида: одна страница, с которой утром видно, где горит. Стек обычный, FastAPI плюс Vue, интеграция с Jira. Пишут его агенты, я ставлю задачи и принимаю работу.

Однажды я нажал кнопку синхронизации с Jira. Кнопка отработала и показала успех. Одна деталь: Jira в тот момент была выключена в настройках, синхронизироваться было не с чем, но кнопка об этом не знала и бодро отчиталась, что всё прошло хорошо.

Я попросил агента починить. Он починил ту самую кнопку и отчитался: готово, проверил, работает. Через день я нашёл вторую кнопку с таким же поведением, потом третью. Всего их оказалось семь.

Почему агент не врёт и почему от этого только хуже

Соблазнительно сказать, что агент врёт, и написать очередной пост о том, что ИИ доверять нельзя. Но враньём тут не пахнет. У нас с агентом просто разные определения слова «готово».

Его определение: код написан, ничего не падает, тесты, которые он сам же и написал, зелёные. Моё: я нажимаю кнопку, происходит то, что на ней написано.

Между двумя определениями помещается целый класс дефектов, и у агента есть сообщники. Мой UI‑фреймворк молча проглатывает несуществующие свойства. Можно повесить @keyup.enter на компонент, который его не поддерживает, или передать :value компоненту прогресса, который ждёт :percentage, и не получить ни ошибки, ни предупреждения. На экране всё выглядит подключённым, а в консоли тишина.

Первое, что приходит в голову, попросить агента проверять себя перед тем, как отчитываться. Не помогает: проверяет он своим определением готовности, честно перечитывает код, честно прогоняет свои тесты и честно говорит, что готово. Самопроверка не добавляет второй точки зрения, она полирует первую.

Потом я сообразил, что уже видел такую задачу. В человеческой разработке её решили давно: никто не выкатывает фичу на основании слов разработчика «у меня работает». Есть приёмка, есть человек, который откроет продукт руками и решит, годится он или нет. Мы просто забыли включить приёмку агентам.

Судья

Так в репозитории появился файл docs/agents/судья-тимлида.md, устав отдельного агента, который не пишет код и только принимает работу.

Первая версия устава лежала во временном каталоге. Между сессиями каталог подчистили, и очередная проверка прошла вслепую: проверяющий не смог сверить отчёт с критериями, которых больше не было. Теперь устав живёт в репозитории рядом с кодом, и мелочью я такое не считаю. Критерии приёмки заслуживают того же статуса, что и тесты.

Кто такой судья по уставу, цитирую:

Ты тимлид продуктовой команды из 14 человек в крупной компании. У тебя уже есть Jira, Outlook и корпоративный чат, ты в них живёшь. Тебе предлагают ещё один инструмент, и вопрос ровно один: станешь ли ты открывать его каждое утро вместо того, чтобы просто пойти в Jira?

Ты не разработчик этого приложения и ничего ему не должен. Ты видел десяток дашбордов, которые красиво выглядели на демо и умерли через неделю. Ты циничен по делу, а не из вредности.

Дальше устав расшифровывает, что значит готов пользоваться, и вот тут самое важное. Готов не означает, что багов нет, их не бывает ноль. Готов значит:

1. За две минуты утром понятно, где сегодня горит.

2. Числам можно верить. Число, которое ты не можешь объяснить, хуже отсутствия числа.

3. Оно работает без тебя: две недели отпуска, а история не дырявая.

4. Ничего не врёт молча. Пустые данные показаны пустыми, а не нулями, отключённая интеграция видна.

5. Ты не боишься нажимать. Кнопки делают то, что написано, и понятно, что произошло после нажатия.

Пункты 4 и 5 попали туда прямо из истории с семью кнопками.

Правило у процесса одно: разработка заканчивается на строке ВЕРДИКТ: ГОТОВ и ни на чём другом. Ни отчёт агента‑исполнителя, ни моё «вроде работает» её не заканчивают. Пока судья пишет НЕ ГОТОВ, работа продолжается, сколько бы кругов ни заняла.

Как выглядит прогон

Ключевая строчка устава: пользуйся приложением, а не читай про него. Судья открывает браузер и следующие двадцать пять минут кликает. Переключает вкладки, жмёт кнопки по два раза, смотрит пустые состояния, меняет размер окна с ноутбучных 1440 на большой монитор, читает консоль. Руководство пользователя он сверяет с тем, что видит на экране, потому что инструкция, которая врёт, хуже её отсутствия. Код читает только чтобы понять, почему сломалось то, что он уже увидел глазами. Типичный прогон укладывается примерно в 170 вызовов инструментов.

Отвечает судья в жёстком формате: первой строкой вердикт, дальше четыре раздела. Блокеры, дизайн, раздражает но переживу, что хорошо. Разделение придумано ради дела: задерживают сдачу только блокеры. Раздражающее копится в бэклоге и не даёт превратить приёмку в бесконечное «поправь ещё вот это». В уставе есть и обратный тормоз: не выдумывай блокеры ради строгости, если инструментом уже можно пользоваться, скажи прямо, иначе разработку будут крутить вхолостую.

Историю наших отношений лучше всего рассказывает git log, цитирую сообщения коммитов как есть:

fix: «выполнение плана» считалось тремя способами и одним из них выдавало 108%
fix: кнопок, врущих об успехе, было пять — теперь их пересчитывает тест
fix: пять блокеров судьи, из них три — мои же за прошлый заход
fix: 169 эмодзи в интерфейсе против одного набора значков
docs: документация обещала девять эндпоинтов, которых нет ни одного
fix: недочиненные хвосты восьмого вердикта

Обратите внимание на строчку про три блокера за прошлый заход: судья ловит не только агента, но и меня. И на восьмой вердикт: одна из фич дошла до готовности с восьмого круга. Про скорость поговорю в конце.

Чинить весь класс сразу

Самый дорогой урок в этой истории про дисциплину, а ИИ тут почти ни при чём.

Помните семь кнопок? Чинил я их так: судья находит кнопку, агент чинит кнопку, новый прогон, судья находит следующую и справедливо пишет, что дефект не устранён. Каждый прогон стоит двадцать пять минут. Мне понадобилось четыре прогона, чтобы понять очевидное: судья нашёл экземпляр, а чинить надо весь класс.

Теперь правило такое. Если вердикт принёс дефект, первый вопрос звучит не «как починить», а «сколько ещё таких». Grep по обработчикам, по вызовам, по названиям колонок. Закрыто у нас, как выяснилось, считалось шестью разными способами, план в часах двумя, и расходились они на триста с лишним часов, а определение рабочего дня жило в трёх местах. Чинится всё найденное разом, а сверху ложится сторожевой тест, который знает все места и падает, когда появляется новое.

Сторож, который сторожит сторожа

Со сторожевыми тестами я собрал отдельную коллекцию граблей. Наступать на них было обидно, так что делюсь.

Сторож, который никогда не падает. Написали тест на класс дефекта, тест зелёный, все довольны. Вопрос только в том, зелёный он потому, что дефектов нет, или потому, что ничего не ловит. Теперь каждый сторожевой тест обязан пройти пробник: подсовываем файл с заведомым дефектом и смотрим, покраснеет ли. Тест, который никогда не падал, хуже отсутствия теста, потому что выдаёт индульгенцию.

Сторож ловит сам себя. Тест, который ищет по исходникам запрещённый паттерн, радостно нашёл его в собственном поясняющем комментарии. Подбирать слова в комментарии бессмысленно, надо вырезать комментарии перед проверкой. В Python для этого есть tokenize, для TypeScript пришлось написать маленький сканер строк.

Срабатывает ещё не значит покрывает. Моя любимая. Интерфейс зарос эмодзи, 169 штук на живых экранах, и мы решили заменить их единым набором значков. Сторожевой тест я сделал списком из девяти известных эмодзи, пробник подтвердил, что он падает, я отчитался, что чисто. Следующий же прогон судьи: на кнопке «Взять в работу» сидит ?‍?, в той же строке таблицы, где уже стоит исправленная галочка. Эмодзи номер десять, которого в моём списке, конечно, не было.

Список ловит только то, что ты уже знаешь. Сторожа надо формулировать правилом: \p{Extended_Pictographic} вместо девяти выписанных символов, любой toISOString().slice(0,10) вместо трёх известных файлов с датами. Перечень годится там, где правила не существует, и тогда его честнее сразу записать в долги.

Грабли эксплуатации самого судьи

Судья глохнет в фоне. Логичная мысль пустить двадцатипятиминутный прогон фоном и работать параллельно не пережила встречи с реальностью. Два фоновых прогона подряд умерли в одной и той же точке, сразу после фразы «прочитаю свой устав», не сделав ни одного полезного действия, их снял сторожевой таймер. На переднем плане те же прогоны проходят целиком. Привычка дорогая: каждый потерянный прогон стоит целого круга.

Параллельно работать всё равно не выйдет. У dev‑сервера включён HMR, и если править код во время прогона, судья увидит, как приложение меняется у него под курсором, а вердикт вынесет полуфабрикату. На время прогона руки прочь от кода, правки после вердикта.

Судье передаётся список исправленного. Каждый новый прогон получает перечень того, что починили после прошлого вердикта, и проверяет заявленное руками, прежде чем искать новое. Прогоны нумеруются. Приёмка перестаёт быть лотереей и становится процессом со счётчиком.

Что изменилось за месяц такой жизни.

Стало медленнее по календарю. Фича не считается готовой, пока судья не скажет ГОТОВ, а с первого раза он говорит это редко. Рекорд вы видели, восемь кругов, и каждый круг складывается из прогона и правок.

Стало дешевле по нервам. Готово в отчёте агента больше не означает «сейчас нажму и узнаю». Работу я смотрю только после вердикта. За месяц не появилось ни одной кнопки, врущей об успехе: их пересчитывает тест, а тест проверен пробником.

Побочный эффект оказался неожиданным. Чтобы судья заработал, мне пришлось письменно сформулировать, что значит готов пользоваться, те самые пять пунктов из устава. Пятнадцать лет я принимаю работу у живых людей, и такого документа у меня не было никогда: критерии жили в голове и выдавались по запросу, частями, с вариациями. Агент оказался требовательнее команды, потому что команда умеет догадываться, а он нет.

Серебряной пули из судьи не вышло. Он тоже агент, тоже ошибается и тоже работает по написанному тексту. Но определение готовности у него другое, и смещение другое: в этом коде он не написал ни строчки, защищать ему нечего. Второй точки зрения с правом вето хватило, чтобы готово снова стало значить готово.

Приёмке как идее сто лет. Я всего лишь перестал делать для агентов исключение, которого никогда не сделал бы для людей.

Продолжение, кейсы, экономика инструментов и следующие грабли, в канале Neuro TL: сегодня ему, кстати, ровно год.