Откуда я на это смотрю

Захожу в компании временным техническим директором — часто как раз в момент, когда «мы вложились в AI, а результата не видно, разберись». Клиенты под NDA, поэтому пишу под псевдонимом и без названий. Истории ниже обезличены, но не выдуманы.

И сразу оговорю позицию, чтобы не было холивара на пустом месте: я не против AI-инструментов. Я против того, как мы их меряем. Это разные вещи, и весь текст — про вторую.

Мы уже проходили это с строчками кода

Лет двадцать индустрия смеялась над метрикой «строки кода». Все согласились, что считать LOC — глупость: больше строк не значит больше ценности, скорее наоборот.

А потом пришёл AI, и мы радостно начали считать… промпты на разработчика, процент «AI-assisted» коммитов, количество занятых лицензий, adoption rate. То есть ту же самую метрику активности, только в новой обёртке. Строки кода вернулись, переодевшись.

Проблема та же, что и была. Активность — не результат. Команда может очень интенсивно пользоваться AI и выдавать ровно те же бизнес-исходы, что и до него. Дашборд при этом будет зелёным.

Куда уезжает узкое место

Вот механика, которую дашборд адопшна не показывает.

Когда генерация кода дешевеет в разы, узкое место не исчезает — оно переезжает вниз по потоку. На ревью. На QA. На интеграцию. На разбор того, что нагенерили.

Раньше написать код было дорого, а проверить — относительно дёшево на фоне написания. Теперь написать — почти бесплатно, и вся стоимость переехала на проверку и доведение. Senior-инженеры это чувствуют первыми: ревью-очередь распухает, потому что в неё валится в разы больше изменений, и каждое надо понять, а не просто пробежать.

То есть команда реально занята. AI реально используется. А сквозная пропускная способность — время от идеи до того, что увидел клиент — могла не сдвинуться вообще или даже просесть. Потому что пропускная способность конвейера определяется самым узким его местом, а это место теперь завалено дешёвым кодом, ждущим дорогого человеческого внимания.

Три уровня зрелости отчётности

Когда смотрю, как в компании отчитываются по AI, вижу три уровня.

Уровень 1 — активность. Лицензии, adoption, промпты, токены. Ставится по умолчанию, потому что это то, что отдаёт вендор из коробки. Отвечает на вопрос «пользуются ли люди тем, что мы купили» — это вопрос закупок, а не инженерии.

Уровень 2 — движение. Cycle time, число PR, время в ревью. Уже лучше — мерим конвейер. Но эти метрики локально оптимизируются и игнорят результат: PR можно дробить, cycle time улучшать, а клиент изменений не почувствует.

Уровень 3 — результат на единицу затрат. Сократилось ли время доставки изменения, которое видит клиент? Упала ли стоимость инцидентов? Выкатили ли роадмап тем же составом? И главное — сколько каждый из этих исходов стоил в деньгах на AI?

Третий уровень — единственный, который понимает финдир без перевода. Потому что он в той же валюте, что и его вопрос: вложили деньги — получили результат.

Почему честную метрику обходят стороной

Если результат-на-затраты — очевидно правильная метрика, почему её почти никто не показывает?

Потому что она опасная. Дашборд активности умеет только расти. Дашборд результата умеет сказать «это не работает». Мерить результат на затраты — значит признать, что часть AI-вложений (возможно, бóльшая) пока не приносит ничего, и сказать это вслух, перед теми, кто эти траты одобрил.

Кажется, что это карьерный риск. На деле — наоборот. В переговорке через квартал хуже всех будет тому, чья красивая история про adoption развалится от одного деления финдиректором столбика «потратили» на столбик «получили». А лучше всех — тому, кто пришёл первым и сам сказал: вот здесь AI окупается, вот здесь пока нет, вот это я срезаю, а вот сюда хочу добавить. Это не признание поражения. Это единственная версия разговора про AI, которая наращивает доверие, а не сжигает его.

Что спросить у себя на этой неделе

Без дашбордов, просто честно:

1. Если финдир спросит «что нам дал AI за прошлый квартал» — сможете ответить в терминах результата, за минуту, без слова «adoption»?

2. Знаете, куда переехало ваше узкое место? (Подсказка: спросите senior-ревьюеров, как у них с нагрузкой.)

3. Назовёте хоть один AI-сценарий, который сегодня отключили бы за ненадобностью? Если «ни одного» — у вас не портфель, у вас подписка.

4. Есть в команде кто-то, кто отвечает за стоимость AI на единицу результата — или это общий инструмент и ничей показатель?

Большинство руководителей пока не отвечают на эти вопросы уверенно. Это не личный провал — вендоры, хайп 2023–2024 и метрики из коробки толкали ровно в обратную сторону. Но «у всех дашборд такой же» не будет аргументом в переговорке, где спросят именно про ваш.

Что со всем этим делать

Коротко: меряйте не активность, а стоимость результата. Снимите честный baseline до внедрения. Возьмите метрики, которые финдир признаёт за результат. Сопоставьте с тратами в тех же единицах. Относитесь к AI как к портфелю, которым управляете, а не как к фиче, которую «внедрили».

Это не про то, чтобы быть против AI. Это единственное, что вообще сохраняет AI-бюджет живым после первого серьёзного разговора с финансами.

Вопрос к вам, и он мне правда интересен: куда у вас переехало узкое место после внедрения AI? По моим наблюдениям — почти всегда в ревью и переделки, но интересно, у кого иначе. Читаю и отвечаю в комментариях.

Рабочие материалы по теме первых 90 дней руководителя — чек-лист и шаблоны — собрал в бесплатный набор, ссылку держу в профиле, чтобы не превращать статью в рекламу.