Если кратко — он убогий.

Я не фанат «ИИ», а особенно бездумного хайпа с громогласными заголовками. Некоторое время назад я даже расчехлил лопатку, чтобы покопаться в истории и показать, что ИИ-хайп ничем не отличается от шумихи вокруг Кобола, к примеру (или лоу кода). И там и там нам обещали, что программистов заменят, но чот пока это желание исполняется со скрипом.

И вот, натолкнувшись отчёт MIT NANDA, я вижу дерзкое утверждение: «95 % организаций не получают никакой отдачи от своих ИИ-проектов».

Мне, как прожженному «ретрограду» и «луддиту», которым меня не раз кликали добрые люди, положено бы порадоваться и накатать ещё одну обличающую статью: «А я говорил! А вы не верили!» Я так обязательно сделаю, но не сейчас.

Потому что с этим отчетом что-то не так.

Давайте разберёмся с цифрой «95»

И вот, включив немного ресурсов «вершины» эволюции под названием мозг, я погуглил и с удивлением обнаружил, что страшная цифра «95%» не так уж и страшна, если знать статистику провалов внутренних ИТ-проектов. Ведь всё познается в сравнении?

Я сталкивался с разной статистикой: где-то пишут, что успешны только от 43% до 62% проектов (критерии успешности затронем позже), где-то указано, что 50-60% ИТ успешны, но все эти цифры меркнут по сравнению со статистикой ниже.

Forbes, 2016 год, интервью с Майклом Гейлом. Как пишут в статье, Майкл — «признанный эксперт в области комплексного технологического маркетинга, основавший в 2001 году компанию Strategic Oxygen…С 2001 года он непосредственно участвовал в реализации более 500 глобальных программ и кампаний для крупных технологических брендов»

И вот Майкл подбил статистику по 500 проектам и выдал, что «84% компаний терпят неудачу при цифровой трансформации». Статья, впрочем, так и называется.

Цифра красивая, хоть и чуть меньше 95. Запомним и идём дальше к отчету CHAOS Report. CHAOS — это аббревиатура Comprehensive Human Appraisal for Originating Software. Отчёт производит и публикует исследовательская группа Standish Group.

Если вы читали отчёт NANDA, то видели вставку, что «цифры являются приблизительными и основаны на результатах индивидуальных интервью, а не на официальных отчётах компаний». В принципе, на этом можно и остановиться, потому что всё с этими бедолагами понятно, но так будет неинтересно. Ведь приблизительные цифры из отчета NANDA базируются на 52 интервью и 153 опросах руководителей и анализе 300 общедоступных проектов в области ИИ (вырезка из отчета). 

А отчет CHAOS основан на 50 000 проектах. Обратите внимание на разницу. 

Так вот, у нас есть отчёты за разные года:

• В отчёте за 2016 год (который любезно изучил и описал Артем Ушанов) у нас успешных только 36%. А если приглядеться, то успешны на самом деле только 14%. А значит, что неудачников у нас 86%.

• В отчёте Standish CHAOS за 2018 год только 16,2% ИТ-проектов были завершены успешно. Это значит, что 83,8% ИТ-проектов были частично или полностью провалены.

• В отчете за 2020 год только 31% завершены успешно.

• А вот в CHAOS за 2015 год указано, что доля неудачных крупных и сложных проектов составляет 98%!

Прикольно, да?:) 

Оказывается, что большинство ИТ-проектов — неудачные. И утверждение «95% ИИ-проектов провальные» выглядит уже не так пугающе — обычный вторник в ИТ, где всего 2% успешно выполненных проектов.

Что происходит в России с ИТ-проектами я не знаю — статистики у меня нет. У нас все скромные, успехами хвастаться не любят. Но что-то мне подсказывает, что картина та же. Но не будем заострять на этом внимание, потому что отчет NANDA всё равно зарубежный, так что и статистику мы будем брать оттуда.

А что значит «успешно»?

Как же в NANDA определили, что ИИ-проекты неудачные? В отчёте NANDA определение успеха такое:

«Мы определяем успешное внедрение инструментов генеративного AI для решения конкретных задач, как внедрение, которое, по мнению пользователей или руководителей, привело к заметному и устойчивому повышению производительности и/или прибыли»

Посмотрим на определение успешности из CHAOS любопытства ради. После 2015 года критериями успешного ИТ-проекта считается такой:

«Успех... означает, что проект был завершён в разумные сроки, уложился в бюджет и удовлетворил заказчика и пользователей, независимо от первоначального объёма работ»

Примечательно, что до 2015 года всё было по-нормальному и успешным проектом считалось ПО, поставленное в срок, в рамках бюджета и со всеми запланированными функциями.

Видимо в 2015 году что-то случилось и положительным стал считаться результат, который хотя бы есть.

Но просто странно, что к ИИ-проектам требования строгие, а к ИТ-проектам — мягонькие: «Закончился и ладно!» Странная неоднозначность, вам не кажется? Весь Хабр завален историями про костыли, велосипеды, профуканные сроки и превозмогание, но когда речь идёт про ИИ это всё быстро забывается.

Потому что если к ИТ-проектам относиться также строго, то ни о каких 31% успешности не будет и речи. Будет как в отчете McKinsey, где из 5400 исследованных ИТ-проектов успешными будут 0,5%. Успешным по МакКинси считается проект, что:

• завершился вовремя,

• в рамках бюджета,

• и приносит именно те результаты, которые были прописаны в начале проекта.

Это что-то из древней рекламы сыра Хохланд:

— Пап, а успешные ИТ-проекты есть?
— Нет, сынок, это фантастика.

По этой стате получается, что успешных ИИ-проектов в 10 раз больше, чем ИТ. Я же прав? Ведь 5% на порядок больше, чем 0,5%? Или я не прав? Подскажите, может я тучи нагоняю?

А можно ли вообще доверять отчету?

Это всё была прелюдия, потому что (по моему глубокому убеждению) никаких «95%» в природе не существует.

Статистика из отчёта меня напрягает. Такое ощущение, что цифры в отчёте NANDA взяты с потолка. Посмотрите на этот график из раздела 3.2.

Что вы там видите? Я вижу, что:

• 60 компаний из 100 изучили ИИ на предмет возможного внедрения,

• 20 компаний запустили пилот,

• 5 компаний получили успешный результат.

Это мы сейчас про правый столбец. Я, конечно, не умею читать статистику, но меня смущают глупые мысли о том, что если компания не стала внедрять GenAI после изучения, то она будет относиться к неуспешным? Потому что я вижу, что 5% успешных проектов взяты из 100 исходных компаний. Верно? Но ведь надо брать от 60? 

Вы меня извините, но по графику я вижу, что 40% компаний, которые вообще не стали изучать ИИ и LLM, приписали к неудачникам. Я же верно думаю? И если убрать 40% компаний из статистики, мы получим не 5% успешных проектов, а уже 8,3%.

Так и нужно считать цифры? Простите, я не знал, я из колхоза, у нас математика по старым учебникам. Поэтому я и говорю, что цифры взяты с потолка. Впрочем, в отчёте NANDA об этом прямо и говорится — «цифры являются приблизительными и основаны на результатах индивидуальных интервью, а не на официальных отчётах компаний».

Простите, не удержался. Просто это очень смешно. Я еще раз процитирую отчет:

«Эти цифры являются приблизительными и основаны на результатах индивидуальных интервью, а не на официальных отчётах компаний. Размер выборки зависит от категории, а критерии успеха могут различаться в разных организациях»

А если «цифры являются приблизительными», то может и нет 95% неудач? Я тут тупо шучу, но на самом деле весь отчет держится на соплях. Для примера вот цитата отчета на странице 7

«As one CIO put it, "We've seen dozens of demos this year. Maybe one or two are genuinely useful. The rest are wrappers or science projects.»

Перевод

«Как сказал один из руководителей ИТ-отдела: «В этом году мы видели десятки демонстраций. Возможно, одна или две из них действительно
полезны. Остальные — это обёртки или научные проекты»»

Может один проект. А может два. А может 100. 

Действительно, откуда руководителю знать, сколько у них провальных проектов? Проект туда, проект сюда, деньги не считаем.  

Вот у нас недавно статья вышла, где Михаил Войтко, руководитель по внедрению решений продвинутой аналитики в Дирекции ботов и виртуальных ассистентов рассказывает, как они деньги на ИИ-проекты и ту отдачу, что от ИИ получат, считают до рубля. То есть если нет просчитанного финансового эффекта, то денег никто и никому не дадут. 

А тут: «Может прибыльно, может нет, я деньги не считал». И в этом весь отчёт — в MIT NANDA нет точных цифр. Да и откуда им взять-то цифры? Зайдите в раздел 8.2 отчёта и увидите всю «методологию»:

• проведено 52 интервью с «заинтересованными сторонами»,

• 153 опроса «руководителей» предприятий,

• анализ более 300 общедоступных проектов в области ИИ.

Получается, что MIT NANDA зашли к каким-то ребятам и спросили: «Чё, пац��ны, ИИ?» А те им ответили «Ну да, мы не видим каких-то результатов, прибыли нет». Но цифр нет, все на чуйке. 

Мне будет достаточно сложно, но я могу найти 50 человек, которые тем или иным образом связаны с ИИ. Чуть сложнее будет организовать опрос человек на 100 или 150, но это тоже можно сделать. И знаете, какой результат будет после опроса?

«99% ИИ-проектов успешны»

Смекаете? 

Опрос и интервью — это не статистика. 

• Имеет значение КОГО вы спрашиваете. Ребята, которые внедряют ИИ и ребята, которые категорически отрицательно относятся ко всему подобному, но работают с ИИ потому что их заставляют (или с ним не работают), дают совершенно разные ответы.

• Имеет значение КАК вы спрашиваете, КАК задаете вопросы. Вопрос «Как вы оцениваете ваши ИИ-проекты? и вопрос «Ваши ИИ проекты не оправдали себя?» — это разные вопросы, которые склоняют к разным ответам. И таких вопросов можно нагенерить бесчисленной количество.

• Значение имеют только цифры в отчетах, которые хранятся в бухгалтерии (или где они там хранятся?). А про цифры из отчетов в NANDA нет ничего, потому что им никто не давал никаких бумаг. Они могут судить о результативности только на основе субъективного мнения и косвенных признаков. И я сейчас не нагоняю волну на NANDA. Они, повторюсь, честно и открыто так в отчете и пишут. И о том, что они изучали, допустим, отчеты о прибылях и убытках, какие-то бухгалтерские документы или что-то подобное нет и слова.

Вот почему я не могу использовать отчет NANDA в качестве аргумента. Мне просто будет стыдно использовать его как пруф. Это пустышка.

Резюмируя

Меня можно закидать минусами, но убирая в сторону религиозную убежденность в своей правоте, объективно — отчет NANDA, как бы мягко сказать...это шоколад, который уже один раз съели.

Отчет NANDA не вызывает доверия. Как собраны данные? Как считались? Почему мы должны доверять этим цифрам, основанным не на документах, а на словах из ОПРОСОВ И ИНТЕРВЬЮ? 

К психологическим опросам в интернетах доверия больше.

А откуда взялась цифра в 95%? Даже если рассматривать её саму по себе, то включив логику и математику за 7 класс даже я, деревенский дурачок, вижу, что цифра ближе к 92%. И на этом моменте возникают сомнения к остальной интерпретации команды NANDA. 

Так отчёт и делали.

А самое интересное — это фамилии людей из опроса и названия компаний. Кто эти люди? В каких компаниях запускались проекты? На какое количество сотрудников? Какой бюджет? Главное, какие у проектов были заявленные цели и какие выгоды они хотели получить? Они хотели заработать денег? Или сэкономить? Что это вообще за проекты? Но здесь ответов нет.

Я не говорю, что 95% неудач в области ИИ-проектов не может быть правдой. Может.

На примере провалов сложных корпоративных ИТ-проектов в это легко верится. Но прикол в том, что классические ИТ-проекты — это наработанная практика. Материалов о том, как проводить «цифровые трансформации», миграции или разделку монолита — тонна. Но даже с этой тонной проекты всё равно умудряются проваливать сроки, раздувать бюджеты и очень сильно отдаляться от намеченных планов.

А все ИИ-проекты сложные: технология новая, процессы старые и мало кто понимает, как их вообще реализовывать. Корпоративные ИИ-проекты — это область неизведанного. Никто же и не знает, как эти ИИ-проекты вообще делать.

GPT 3.5 был раскатан на всех в ноябре 2022 года, а более-менее нормальная версия в виде GPT-4 вышла в марте 2023, а в мае 2023 релизнули GPT-4o. Вот с этого момента пошла вода горячая. 

И если считать, что бизнес вдруг резко проснулся и прям без проволочек и бюрократических препонов начал строгать ИИ-проекты (что невозможно, вы и сами знаете), то получается, что им всего пара лет? В реальности же гораздо меньше — год, может быть 1,5. В то же время средняя продолжительность корпоративных ИТ-проектов составляет 2,4 года в частном секторе и 3,9 года в государственном...

Получается, что ИИ в корпоративном секторе всё ещё в зачаточном состоянии. О таких младенцах просто нельзя судить. Просто нельзя объективно судить, что ИИ-проекты провальны. Это просто необъективно.

Я дал почитать статью одному коллеге (что пожелал не связываться с таким токсичным персонажем, как я, и решил остаться анонимным), который разбирается, как запускать ИТ-проекты, и процитирую его сообщение:

«ИТ-проекты это сложно. Управление ресурсами / скоупом / временем заслуживает отдельной дисциплины для изучения. Трансформация подходов в любой части ИТ проектов это сложность со звёздочкой. И поэтому трансформация, которая началась и доведена до конца — это успех. 

ИИ — это совершенно новая технология. Проекты убыточные, потому что работа с ИИ предполагает новые орг.процессы, ведь нужно изменить то, как люди взаимодействуют. А все пытаются натянуть на старые рельсы, а оно не натягивается, естественно.

Проекты внедрения ИИ предполагают кардинальные трансформации, выработки устойчивых процессов, которые не просто адаптированы, а являются ai-native по своей природе, чтобы извлечь обещанную выгоду в виде увеличения производительности и сокращения расходов для бизнеса.

Считать метрики в ИТ-то сложно, индустрия более-менее научилась это делать не так давно, после внедрения процессов DevOps. А считать метрики успешности внедрения ИИ вдвойне сложно, мы ещё не научились этого делать как индустрия.

Для ИИ должны появиться свои процессы и критерии оценки, чем сейчас вся индустрия активно и занимается. А пока что любой отчёт выглядит как социальный опросник или NPS – что-то вроде market research»

Не со всем согласен, но некоторые утверждения подтверждает статистика и исследования таких мастодонтов, как ФРС. Да, та самая Федеральная Резервная Система США выкатила исследование, в которой прямым текстом говорят, что традиционные показатели производительности для ИИ-проектов не работают. 

А знаете, что самое интересное? База опроса ФРС — тысячи компаний, в отличии от NANDA.

Цитата:

«Эти опросы были проведены государственными учреждениями, неправительственными организациями, учёными и некоторыми частными компаниями. Опросы в основном проводились с конца 2023 года по середину 2024 года. Для каждого опроса мы проанализировали результаты, чтобы извлечь соответствующие данные о внедрении ИИ. Это включает в себя подсчёт количества респондентов и определение того, проводился ли опрос на уровне компании или на уровне отдельного сотрудника. Мы также фиксируем, охватывают ли опросы ИИ в целом или конкретно генеративный ИИ (genAI), учитывая недавний интерес к этой технологии. Кроме того, мы фиксируем время проведения каждого опроса, определяя, был ли сбор данных осуществлен в конкретный момент времени или в течение определенного периода. Примечательно, что лишь некоторые из этих опросов проводились на регулярной основе. Ярким примером является опрос Бюро переписи населения США о тенденциях и перспективах развития бизнеса (BTOS), который проводится каждые две недели. В основном мы опираемся на статистику BTOS за конец 2023 — начало 2024 года, когда в перепись были включены дополнительные подробные вопросы о внедрении ИИ»

Вот скрин из исследования, часть таблицы из каких опросов каких организаций ФРС брали данные.

И, если уж говорить о цифрах, то:

«Опросы компаний показывают, что уровень внедрения ИИ варьируется от 5 до 40%. Опросы сотрудников показывают, что от 20 до 40% работников используют ИИ на рабочем месте, причём в некоторых профессиях, например в программировании, этот показатель гораздо выше»

Это, конечно, не 95%, а гораздо скромнее, потому что авторы такого масштабного исследования не хайпят, а смотрят на ситуацию более-менее трезво. И даже ФРС не может сказать, КАК ИИ влияет на производительность и прибыль компаний. Нет таких метрик пока.

Но в NANDA база пара сотен человек и вот у нас есть кликбейтный заголовок.

Но если уж вам нужен кликбейт, то он есть у меня. По данным опросов Worklytics 96% сотрудников, использующих генеративный ИИ, считают, что он повышает их продуктивность. Уровень опроса примерно тот же, что и у NANDA — «Я так чувствую»

Но если и этого не хватит, то вот вам отчет DORA 2025, где на основе ответов 5000 (а не 50) разных «специалистов в области технологий», авторы выяснили, что ИИ работает как катализатор:

• В командах с отлаженными процессами результативность повышается.

• В расхлябанных понижается.

Цитирую:

«…команды с плохой коммуникацией или неясными рабочими процессами могут столкнуться с тем, что ИИ усугубляет существующие проблемы»

Кажется, теперь понятно. Эта та же история, когда зумеры уходят с работы, потому что условия труда это галера, а нерадивые работодатели жалуются, что зумеры не хотят работать (в опенспейсе на 500 человек без кондера и отгулом в туалет по расписанию). Я тупо шучу, но похоже на то.

Можно вас и дальше закидывать всякими ссылками, вроде:

• Шестимесячное исследование MIT Economics, где выяснили, что сотрудники, использующие инструменты ИИ, тратят на 25 % меньше времени на работу с электронной почтой и административные задачи. 

• Или сравнительное исследование ArXiv, где «ChatGPT, GitHub Copilot и Codeium, демонстрируют значительное повышение эффективности написания кода и скорости отладки».

Но смысл? Кажется, что я сказал уже всё, что мог и мысль моя вполне понятна. За сим крепко жму руку и откланиваюсь.

Подписывайтесь на Телеграм-канал Alfa Digital, где рассказывают о работе в IT и Digital: новости, события, вакансии, полезные советы и мемы.

Может быть интересно: