Вчера я наткнулся на Хабре на прекрасную статью "Помешательство вокруг ИИ парализовало принятие решений" - это один из немногих текстов, встреченных мною за последнее время, в котором задаются серьёзные вопросы про экономическую эффективность внедрения ИИ в бизнес-процессы и в разработку программного обеспечения. Так получилось, что за последние два года я успел поработать и над построением продукта на базе ИИ, и над внедрением ИИ в разработку, и набил на этом всём множество шишек. В этом посте я хочу описать свой опыт и рассказать про множество проблем ИИ-разработки и ИИ-продуктов, о которых сейчас публично почти не говорят. Все активно обсуждают технические проблемы вроде изоляции агентов, но про основные проблемы внедрения ИИ - организационные, экономические, философские - ни слова.

За последние несколько лет мы уже много раз наблюдали массовые психозы: блокчейн, NFT, ковид - вот только некоторые из них. Те из нас, кто ещё сохранил память о том, как это было, чувствуют, что современное наваждение ИИ - точно такой же массовый психоз. Конечно, под каждым психозом лежит что-то реальное: блокчейн - действительно полезная и нашедшее своё применение технология, NFT - теоретически интересная технология на основе блокчейна, во время ковида люди действительно болели и умирали. Реальная основа в каждом случае была, но ей уделялось фанатично непропорциональное внимание, у людей просто сносило крышу. В средневековой христианской литературе такие массовые истерии обычно описывались как одержимость демонами: люди теряют контроль над собой, фиксируют своё сознание на одной идее, ведут себя как зомби, а когда всё заканчивается, ничего не помнят. Рассказам тех, кто помнит, как всё было, и напоминает про это, не то чтобы не верят - скорее воспринимают их как истории из какой-то другой реальности. Но я помню.

Я помню как в две тысячи восемнадцатом году в небольшом магазинчике в Пензе я слышал, как продавщица колбасного отдела обсуждала с продавщицей сырного отдела биткойн и криптовалюты. Я помню как пару лет спустя весь мир полностью остановили на полтора года из-за эпидемии болезни с небольшой смертностью, запрещая выходить из дома без QR-кода и маски на лице. Я помню, как вирус был настолько заразным, что было нельзя гулять одному в парке, и как толпа BLM-протестующих обладала полным к нему иммунитетом. Я помню, как эта самая эпидемия ковида внезапно и необъяснимо полностью закончилась двадцать четвертого февраля двадцать второго. Я помню, как в том же двадцать втором люди платили сотни тысяч долларов за запись в блокчейне о владении пикселями процедурно сгенерированной обезьяны. Помню как разрабатывал софт для картинной галереи в Тель-Авиве, в которой владельцы развесили на стенах телевизоры с наскоро намалёванной в фотошопе мазнёй и пытались через висящие рядом с телевизорами QR-коды продавать эти мазюки в виде NFT со средним чеком в $5000. Через пару лет я буду помнить, как в августе двадцать шестого в Техасе заменяли телефонных операторов скорой помощи ИИ-автоответчиками, а все мои знакомые строили оркестраторы агентов. Я буду помнить. Помните и вы.

А теперь перейдём к делу!

Фабрики софта

В последнее время я всё чаще наблюдаю происходящие в среде инженеров-программистов случаи отрыва от реальности, проявляющиеся в маниакальном стремлении к построению конвейеров разработки программного обеспечения. Поймите меня правильно, я совсем не скептик в отношении применения искусственного интеллекта: большие языковые модели действительно коренным образом изменили саму парадигму разработки ПО, и я сам за последние полгода полностью перестроил своё мышление и деятельность на spec-first и AI-native подходы. Но я вижу, что некоторые инженеры зашли в этом перестроении мышления под ИИ так далеко, что потеряли всякую связь с реальностью.

Многие программисты, да и я сам, любят играть в компьютерную игру Factorio, в которой задача игрока - построение фабрики, состоящей из соединённых друг с другом производственных линий и конвейерных лент, перемещающих изделия из одного "цеха" в другой. Сейчас многие программисты строят на основе технологий искуственного интеллекта фабрики разработки программного обеспечения, включающие в себя и создание спецификации продукта, и проектирование дизайна приложения, и разработку приложения, и его тестирование, и маркетинг. Идеальный сценарий использования в таком конвейере выглядит так: на созвоне команды люди разговаривают про какую-то новую функцию приложения, инструмент по распознаванию голоса превращает запись звонка в текст, LLM суммирует этот текст в краткое попунктное изложение "хотелок", превращает эти хотелки в чёткую спецификацию, согласно этой спецификации создаёт дизайн функции в приложении, разрабатывает функцию и тесты на неё, после прохождения тестов функция выкатывается на А/Б тестирование, и при успехе в А/Б тестировании функция раскатывается на всех пользователей, и ИИ пишет маркетинговый анонс новой функции в социальные сети. С инженерной точки зрения, это бесконечно красиво. С экономической же точки зрения, смысла в этом конвейере немного.

Я читаю много статей про построение таких технологических линий по разработке софта, и раз за разом у меня возникает вопрос к авторам, на который толком никто не может мне ответить. Я прошу авторов показать, что конкретно выпустили их "фабрики софта". Чаще всего мне либо ничего не показывают, либо показывают что-то, что можно навайбкодить без всех этих ухищрений или даже написать руками без ИИ за вменяемое время. Представьте себе, что вы видите посреди поля огромный завод со множеством цехов, со сложной роботизированной автоматизацией внутри каждого из них, вы подходите к директору этого завода, и спрашиваете, что же сходит с его конвейера, а он либо ничего не может вам показать, либо показывает сошедший с конвейера в единственном экземпляре "Запорожец". Как писал Салтыков-Щедрин, от него кровопролитиев ждали, а он чижика съел. Такой уровень бессмысленной автоматизации подобен обработке дачных шести соток промышленным комбайном. Эта автоматизация делается исключительно ради удовольствия автоматизатора, экономической целесообразности в ней нет.

Любая автоматизация имеет экономический смысл только при часто повторяющемся и легко масштабируемом "в ширину" процессе. Например, автоматизация обработки полей трактором вместо ручного труда имеет смысл, так как обработка полей повторяется ежегодно, и её легко масштабировать на новые тысячи гектаров земли. В случае программного обеспечения у нас попросту нет потребности в постоянном добавлении в приложения новых функций. Уже до эпохи ИИ многими приложениями стало трудно пользоваться из-за того, что в них стало слишком много функций, а магазины приложений стали тонуть в приложениях-клонах. При ограниченном спросе бесконечный рост предложения не имеет экономического смысла.

Конечными потребителями любой экономической цепочки являются субъекты - люди и государства. B2B существует только потому, что существует B2C. А количество возможностей потребления людьми и государствами приложений и контента физически ограничена - потреблять сходящие с "фабрик софта" новые функции попросто некому. Можно выпускать по двадцать новых функций в неделю, но ими никто не будет пользоваться, а все наоборот будут ругаться, что интерфейс опять изменился в худшую сторону. У одного из описанных мною строителей софтверных фабрик я обнаружил блог с сотнями сгенерированных LLM постов - и каждую неделю с конвейера сходит по десять новых. Кто это всё будет читать, если это не читает даже сам "автор" блога?

Идеальным примером бессмысленной автоматизации может служить концепция "умного дома" с подключёнными к интернету лампочками, розетками и шторами. В рекламном проспекте всё красиво, в реальности же широкой популярностью умные дома не пользуются, так как эта технология пытается решить выдуманные проблемы. Что если вам нужно выключить свет на кухне, находясь на другом конце земного шара? Реальные же потребности людей умные дома не удовлетворяют. Например, несколько лет назад в купленной мною стиральной машинке я обнаружил возможность подключить машинку к вайфаю и запустить стирку через мобильное приложение. Какой невыдуманный сценарий использования решает эта функция?

Стирку нужно рассматривать не как отдельный процесс, а как часть конвейера по удовлетворению человеческой потребности в чистой и красивой одежде. Выглядит этот конвейер так: человек носит одежду, она пачкается и пропитывается потом, человек бросает грязную одежду в корзину для белья, бельё из этой корзины раз в определённый период порциями перекладывается в стиральную машину и стирается, после стирки одежда достаётся из машинки и выкладывается на сушилку, после того, как вся одежда высохнет, она гладится и складывается в шкаф. Этот конвейер превращает грязную одежду в чистую и опрятную, чем удовлетворяет человеческую потребность в чистоте и красоте. Вайфай в стиралке с управлением стиркой по телефону ничего в этом процессе не упрощает. Реально полезные и упрощающие жизнь улучшения этого процесса - это встроенная в стиралку сушилка, которая два шага процесса превращает в один, и использование услуг прачечной, то есть аутсорсинг всего процесса вовне. Другой реальной оптимизацией станет распространение домашних роботов-слуг со встроенным искусственным интеллектом, которые смогут сами перекладывать бельё, стирать, сушить, гладить и складывать в шкаф.

Всегда нужно думать о том, в чём именно заключается реальная польза от технологий. Открывшиеся с появлением больших языковых моделей возможности по интеллектуальной автоматизации процессов завораживают, но реальная польза от внедрения этой автоматизации есть не во всём. Нужно различать, что действительно экономически эффективно, а что - просто баловство. Кроме того, самое тяжёлое в разработке принципиально неавтоматизируемо с помощью искусственного интеллекта: поиск ответа на вопрос, что именно и зачем мы делаем. Самое тяжёлое - быть субъектами. Немецкий философ Фридрих Ницше писал, что тот, у кого есть Зачем жить, сумеет выдержать почти любое Как. Сейчас в строительстве софтверных фабрик большинство работает над тем, как производить софт, но совсем не задумываются над вопросом "зачем?".

Более того, большинство разработчиков сейчас принципиально "копают не туда". Все думают над тем, куда бы ещё внедрить искусственный интеллект, хотя на самом деле в мире стремительного распространения ИИ потребности людей и, соответственно, экономические возможности для разработчиков лежат в прямо противоположном направлении: людей начинают заботить вопросы, как находить качественный контент в мире бесконечно генерируемого ИИ-шлака, как структурировать своё собственное мышление, как сделать так, чтобы дети не тупели от ИИ и соцсетей, как обрести ценность в мире бесконечного копирования и симулякров. Этот путь труден, но настоящие сокровища лежат именно на нём.

Раковый рост фич

В экономической теории игр описано несколько законов, согласно которым в любой организации, будь-то корпорация или государство, количество бюрократии может только расти. Например, согласно закону Паркинсона, число чиновников имеет тенденцию увеличиваться независимо от реального объёма работы - чиновники просто создают работу друг для друга и стараются множить количество подчинённых, так как чем больше у начальника подчинённых, тем больше предоставляемый ему поток финансирования и выше социальный статус. Согласно закону Пурнелля, в любой организации люди, ориентированные на существование и расширение самой организации, всегда в итоге берут верх над людьми, ориентированными на изначальную цель создания организации. Те, кто работал в больших корпорациях и государственных структурах, прекрасно понимают, о чём тут говорится. По сути любая организация в определённый момент становится "живой", и как всё живое стремится к самосохранению и росту. Иногда этот рост превышает все разумные ограничения и становится раковым, убивая любую настоящую экономическую активность всё вокруг себя.

Подобный процесс происходит с фичами и дизайном приложений. Работающие на проекте продакт-менеджер и дизайнер не могут сказать, что приложение уже идеально и не нуждается в доработках, так как в таком случае тут же встанет вопрос о целесообразности их трудоустройства в компании. Правила игры принуждают продакт-менеджера и дизайнера оправдывать свое существование: постоянно выдумывать новые функции и переделывать уже идеальный дизайн. Любой, кто задаст вопрос "А зачем мы это делаем?", тут же будет подвергнут остракизму, так как ставит под сомнение то, за что люди получают деньги на жизнь.

Ещё до эпохи ИИ-разработки эта проблема приводила к раковому росту фич в приложениях: огромное количество программ превратились в неуправляемые комбайны или, как это называют американцы, bloatware - раздутый софт. С появлением ИИ скорость разработки новых функций возросла на порядок - если раньше софт превращался в bloatware за годы, то теперь для этого достаточно и пары месяцев. Одной из главных функций программистов в эпоху до ИИ было торможение чрезмерного энтузиазма продакт-менеджеров. Наше человеческое мышление состоит из двух основных процессов в нервной системе - возбуждения и торможения. Если торможение ослабляется, то наступает мания - ничем не ограниченное возбуждение. Её мы и видим в окружающем нас ИИ-психозе.

Удар по мышлению

Часто топ-менеджерами ИИ-разработка представляется так: можно дать обезьяне в помощь ИИ, и она за пару бананов сделает то, что раньше делали несколько высокооплачиваемых специалистов. На самом деле, всё, конечно же, не то, чтобы не так, а прямо наоборот. Разработка с помощью ИИ предъявляет колоссальные требования к компетенции программиста: если раньше в любой ИТ-компании было достаточно работы для начинающих специалистов и крепких середняков, то теперь наиболее эффективны маленькие команды, состоящие из сверхквалифицированных профессионалов экстра-класса, управляющих ИИ-конвейером разработки на совершенно ином уровне абстракции нежели раньше.

Такая ситуация приводит к тому, что в недавней статье в одном из научных журналов назвали трагедией когнитивных общин по аналогии с трагедией общин в теории игр. Ловушка трагедии когнитивных общин может привести всю ИИ-разработку к полному краху. Заключается эта ловушка в следующем: для того, чтобы эффективно работать вместе с ИИ нужно быть очень глубоким специалистом в своей области деятельности, а чтобы стать таким хорошим специалистом с полным пониманием своей области нужно долго набивать руку на множестве простых задач, а это как раз та часть, которую использование ИИ исключает. Чтобы драться как мастер боевых искусств, нужно сначала тысячи раз отработать простые удары, а если это невозможно, то драться ты не научишься вообще. Это приведёт к тому, что новых специалистов просто не будет, так как ИИ исключит их появление.

При делегировании искусственному интеллект мышления, абстрагирования, декомпозиции страдают даже уже опытные специалисты - без постоянного решения простых рутинных задач разработки мышление потихоньку деградирует так же, как мышцы слабеют при сидячем образе жизни. Кроме того, из-за отсутствия работы с простыми рутинными задачами резко вырастает когнитивная нагрузка: если раньше большую часть рабочего времени можно было потихоньку писать код в состоянии потока, и только меньшую часть времени тратить на когнитивно-тяжелую работу над проектированием, то сейчас осталась лишь эта тяжелая часть. Ресурс человеческого мозга и внимания не бесконечен - мозгу нужно отдыхать. А теперь задач для отдыха, во время выполнения которых не нужно использовать глубокое мышление, не осталось.

Более того, при "ручной" разработке софта у человека в голове формируется ментальная карта продукта и механизма его работы - он знает, какие части есть в системе, как они взаимодействуют друг с другом, какие основные абстракции используются. При разработке с ИИ этой ментальной карты не формируется - спрашиваешь у ответственного человека, как работает функция, за разработку которой он отвечал, а он и не знает. Экспертиза в головах работников исчезает.

Экономические проблемы

Самая трудная часть в создании чего-то ценного - это не "механическая" работа по разработке, а понимание того, что делать, как делать, какие есть ограничения, есть ли у этого экономическая целесообразность. ИИ хорошо оптимизирует механическую часть работы, но вот эта самая сложная часть остаётся. ИИ позволяет сделать очень много полностью бессмысленной работы и выпустить сотни никому не нужных проектов. А вот создание работающего бизнес-продукта и сейчас требует огромных усилий и удачи.

Например, два года назад мы с друзьями запустили hautech.ai - платформу для нейросетевой генерации по фотографии одежды фотографий людей в этой одежде. Расчёт был на то, что такой продукт позволит мелким продавцам одежды, у которых нет денег на фотографа, генерировать хорошие фото для своих страничек на маркетплейсах, а крупным корпорациям сэкономить на услугах фотографов. Кроме того, ИИ-генерация позволяет затачивать фотографии под определённую внешность - например, одна и та же пижама на маркетплейсе для посетителей из Беларуси надета на девочку европейского вида, для посетителей из Казахстана на девочку азиатской внешности, для посетителей из Кении на девочку-негритянку. В теории выглядит хорошо, и продукт действительно заработал и, простите за каламбур, заработал, но на практике в процессе запуска обнаружились проблемы, о которых никто и не думал.

Во-первых, добиться стопроцентно точного соответствия вида одежды на человеке по фотке одежды при автоматической генерации оказалось очень трудно - все равно нужен человек, который будет отбирать хорошие фото, проверять на соответствие реальности, иногда чуть-чуть редактировать фото в редакторе. Такую работу хорошо может выполнять только фотограф, но фотографу не нужен этот геморрой, ему легче отфоткать всё на живой модели - тогда не нужно проверять фото на ошибки. Во-вторых, оказалось, что мелким продавцам ширпортреба фотки людей для маркетплейсов особо и не нужны, а заточка по внешности под разные рынки не даёт особого преимущества. В-третьих, что касается крупных компаний с сотнями позиций, оказалось, что ИИ-генерация не имеет особого экономического смысла - найм фотографа и модели, которая сотню раз переодевается раз в минуту и отфоткивается, по итоговой стоимости в пересчёте на одну вещь выходит сопоставимым по стоимости с ИИ-генерацией или даже дешевле. В-четвёртых, что касается реально известных модных домов, там стоимость фото в цене одежды исчезающе мала, да и значительной частью их бизнеса является "подводная" часть, основанная не на одежде, а на, скажем так, шоуруме-маркетплейсе по поставке красивых девушек модельной внешности заинтересованным клиентам. Таким образом, создать экономически целесообразный продукт невероятно сложно - всегда есть куча ограничений, снижающих экономическую эффективность технологии.

То же самое касается и внедрения ИИ-разработки в компаниях. ИИ сильно ускоряет написание кода и делает программиста-одиночку крайне продуктивным. Но при совместной работе над одним и тем же продуктом скорость разработки становится не преимуществом, а проблемой - усиленные с помощью ИИ лебедь, рак и щука быстро разнесут воз в пух и прах. В больших компаниях написание кода давно не проблема - гораздо больше времени тратится на выявление потребностей, согласование, проектирование. ИИ-разработка требует маленьких автономных команд, а вся корпоративная культура управления прямо заточена на увеличение бюрократии - чем больше у менеджера поголовье подчинённых, тем выше статус и больше бюджеты. Как совместить эти две вещи - непонятно.

Заключение

Искусственный интеллект - это, очевидно, полезная технология, которая уже изменила и ещё изменит очень многое в нашем мире. Но не стоит поддаваться массовому психозу, нужно думать над тем, где он реально нужен, а где нет, где его использование эффективно, а где нет, где плюсы перевешивают минусы, а где наоборот минусы слишком весомы и делают использование технологии невыгодным. Ягорячо рекомендую вам прочитать статью, на которую я ссылаюсь в самом начале этого поста. Ну и можете почитать мой телеграм‑канал, в котором я пишу о философии, программировании, экономике, математике и куче чего ещё. Туда я часто выкладываю то, что из‑за тематических ограничений не могу публиковать на Хабре.