Попалось интересное исследование о последствиях внедрения ИИ в работу R&D лаборатории:

Toner-Rodgers, Aidan. 2024. "Artificial Intelligence, Scientific Discovery, and Product Innovation." MIT, December 25, 2024.

Интересно оно тем, что в нём рассматривается то, как ИИ вписывается в по-настоящему интеллектуальную сферу, а так же тем, что показывает не только изменения в эффективности исследований, но и влияние внедрения ИИ на самих учёных.

Его результаты можно отчасти экстраполировать и на другие похожие области, ту же разработку софта, об этом после разбора самой статьи.

Сеттинг эксперимента

Эксперимент проводился в R&D лаборатории неназванной крупной американской компании, специализирующейся на создании новых материалов и их последующем применении в здравоохранении, оптике и промышленном производстве.

В исследовании участвовали 1018 учёных со степенями в области химии, физики и инженерии.

ИИ-инструмент представляет собой набор графовых нейронных сетей (GNNs), обученных на структуре и свойствах существующих материалов, и используется для "обратного проектирования", генерируя новые соединения на основе заданных характеристик.

Влияние ИИ на эффективность R&D

• учёные, использующие ИИ, открывали на 44% больше новых материалов;

• в результате количество патентных заявок возросло на 39%;

• через несколько месяцев после внедрения ИИ наблюдалось увеличение на 17% числа прототипов продуктов, использующих новые материалы;

• с учётом затрат на внедрение ИИ, эффективность R&D увеличилась на 13-15%.

Влияние на новизну

• материалы, предложенные ИИ, имели более уникальные химические структуры;

• ИИ способствовал созданию новых продуктовых линеек, а не просто улучшению существующих;

• показано отсутствие "эффекта уличного фонаря" - опасения, что ИИ будет направлять поиск в уже изученные, но малоперспективные области, не подтверждаются.

Неравномерность влияния на производительность

ИИ оказывает неравномерное влияние на работу учёных, при этом наиболее продуктивные исследователи получают гораздо больше пользы от использования ИИ:

• учёные в нижней трети распределения производительности увидели минимальные улучшения;

• разрыв в производительности между 90-м и 10-м перцентилями — более чем в 2 раза.

Автор выделяет два ключевых навыка, которые влияют на продуктивность учёных: генерация идей новых материалов и оценка их перспективности.

Оказывается, что именно различия в способности оценивать предложения ИИ объясняют почти всю неоднородность во влиянии ИИ на учёных.
ИИ увеличивает общее количество перспективных кандидатов (новых материалов) для рассмотрения, но делает их оценку более сложной.
А учёные с высокими навыками оценки лучше определяют перспективные материалы, предложенные ИИ, и избегают false positives, что позволяет им тестировать меньше материалов, но с более высокой вероятностью успеха.

Опрос учёных показывает, что их способность оценивать предложения ИИ во многом зависит от их экспертных знаний в области материалов.
Это является демонстрацией того, что ИИ не является «уравнивающим» инструментом — напротив, он усиливает различия между учёными, и это подчеркивает важность экспертизы в эпоху ИИ.

Последствия в работе

Показано перераспределение рабочего времени на разные задачи после внедрения ИИ-инструмента:

• ИИ автоматизировал большую часть задач по генерации идей, сократив время, затрачиваемое учёными на эти задачи, с 39% до менее 16%;

• время, затрачиваемое на оценку предложений ИИ, увеличилось на 74% (с 23% до 40% от общего времени исследований);

• время, посвященное экспериментам (синтез и тестирование материалов), выросло с 37% до 44%.

В ответ на изменения в процессе исследований лаборатория начала адаптировать свои кадровые практики.

В последний месяц исследования 3% учёных были уволены, причем 83% из них находились в нижнем квартиле по навыкам оценки.

Однако одновременно с этим было нанято больше новых сотрудников, чем было уволено. Автор предполагает, что эти новые сотрудники с большой долей вероятности обладают именно высокими навыками оценки материалов.

Влияние на удовлетворенность работой

Учёные сообщают о значительном снижении удовлетворенности своей работой после внедрения ИИ, причем этот эффект наблюдается практически у всех, включая тех, кто получил наибольшие преимущества от ИИ.

Основные причины снижения удовлетворенности:

• 73% отмечают, что их навыки используются не в полной мере;

• 53% считают, что их работа стала менее творческой и более рутинной;

• 21% выражают обеспокоенность тем, что ИИ затрудняет определение их личного вклада в открытия;

• 19% отмечают, что ИИ-инструмент сложен в использовании.

Несмотря на удовольствие от повышения продуктивности, 82% учёных сообщают об общем снижении удовлетворенности. Это показывает то, что положительные эффекты от увеличения продуктивности не компенсируют негативное влияние изменений в рабочих задачах и снижение творческой составляющей работы.

Учёные в нижнем квартиле по продуктивности испытывают наибольшее снижение удовлетворенности, даже если их продуктивность немного увеличилась. Это связано с тем, что продвижение по карьерной лестнице в лаборатории зависит от относительной, а не абсолютной продуктивности.

Также учёные сообщают о небольшом снижении удовлетворенности своим выбором профессии.

Это явилось следствием того, что работа с ИИ изменила их ожидания от научной деятельности, сделав ее менее творческой и более ориентированной на оценку предложений ИИ.

Инструмент, с которым они работали, автоматизирует именно те задачи, которые учёные находят наиболее увлекательными - создание идей для новых материалов.

Изменение взглядов на ИИ

Учёные не ожидали тех эффектов, которые были задокументированы в исследовании, что в целом соответствует тенденции, когда эксперты в своей области недооценивают возможности ИИ.

После работы с ИИ учёные начинают более позитивно оценивать его потенциал для повышения продуктивности. Уровень согласия с утверждением "ИИ сделает учёных в моей области более продуктивными" почти удвоился.

А вот опасения по поводу потери рабочих мест остались на прежнем уровне, т.е. и не увеличились, и не уменьшились. Это связано с тем, что учёные понимают, что ИИ не заменяет их полностью, но меняет характер их работы.

Учёные также верят, что ИИ изменит навыки, необходимые для успеха в их области. В результате 71% учёных планируют переобучение, чтобы лучше взаимодействовать с ИИ.

Заключение

Долгосрочное влияние ИИ будет зависеть от того, насколько связанные с ним технологии смогут трансформировать науку и инновации. Результаты этого исследования показывают, что ИИ значительно ускоряет открытие новых материалов, что приводит к увеличению числа патентных заявок и росту инноваций в продуктах. Однако технология эффективна только в сочетании с достаточно квалифицированными учёными.

Исследуя механизмы, лежащие в основе этих результатов, автор показывает, что ИИ автоматизирует большую часть задач, связанных с генерацией идей, перераспределяя усилия учёных на оценку материалов, предложенных моделью. Топовые учёные лучше определяют перспективные предложения ИИ, в то время как другие тратят значительные ресурсы на тестирование false positives, что показывает, что ИИ меняет навыки, необходимые для научных открытий.
Несмотря на рост продуктивности, учёные сообщают о снижении удовлетворенности своей работой.

Эти результаты вносят вклад в более широкую дискуссию о роли человеческой экспертизы и творчества в мире ИИ.

Одна точка зрения, часто связанная с сообществом ИИ-исследователей, предполагает, что большие данные и глубокое обучение сделают экспертные знания устаревшими, поскольку модели автоматизируют большинство форм когнитивного труда.

Другие, напротив, скептически относятся к способности ИИ выполнять экономически значимые задачи, особенно в таких областях, как научные открытия, где требуются творческие прорывы.

Данная статья предлагает промежуточную точку зрения. В материаловедении ИИ может значительно ускорить изобретательство, но модель должна быть дополнена экспертами, которые могут оценивать и улучшать ее предсказания.

Личные выводы

Я вижу в этой статье много аналогий тому, что уже происходит или будет происходить в сфере разработки ПО по мере всё большего внедрения ИИ, так что выскажу своё мнение на этот счёт по каждому из релевантных выводов исследования.

Общее повышение продуктивности

При правильном подходе писать код с ИИ можно в несколько раз быстрее, особенно если мы говорим про типовой boilerplate, из которого состоит добрая часть большинства проектов - с таким как раз ИИ очень хорошо справляется.

Отсутствие "эффекта уличного фонаря": опасения, что ИИ будет направлять поиск в уже изученные, но малоперспективные области, не подтверждаются

С точки зрения разработки это хорошо, что на типовой вопрос ИИ даёт типовой ответ - нам вместо внезапного креатива в коде нужны надёжные проверенные решения.
А вот если запрос у нас не совсем типовой - стоит его обсуждать с моделями-ризонерами (DeepSeek R1, ChatGPT o1), чтобы как раз какую-то неочевидную тему проработать.
Плюс, у топовых моделей также шире те знания, которые могут быть ими перенесены между языками/платформами, что позволяет выуживать из них нестандартные решения.
Рассчитывать на настоящий креатив, впрочем, не приходится, но вот синтез довольно интересным бывает.

ИИ не является "уравнивающим" инструментом - напротив, он усиливает различия между учёными, и это подчеркивает важность экспертизы в эпоху ИИ

По тому, что я вижу и читаю, именно условные сеньоры+ больше всего получают выгоды от работы с ИИ, и именно их продуктивность может вырастать в несколько раз за счёт того, что они могут верно выбрать направление и оценить решения, которые предлагает ИИ.
И в этом случае их неравенство по сравнению с джунами только усиливается - точно так же как с учёными в статье.

Перераспределение рабочего времени на разные задачи после внедрения ИИ

Действительно, при работе с ИИ пропадает часть задач - в случае с разработкой, именно шаблонных задач - и освобождается время на глубокие размышления и разнообразную креативную деятельность, которая в том числе и не связана с программированием (продуктовые фичи, юзабилити и т.п.), что приводит к тому, что приходится думать на большем количестве уровней абстракции.

Значительное снижение удовлетворенности своей работой после внедрения ИИ.
Инструмент, с которым работали учёные, автоматизирует именно те задачи, которые они находят наиболее увлекательными - создание идей для новых материалов

Легко могу себе представить фрустрацию разработчиков, которые любят именно писать код, но ничего лучше, кроме как менять свои предпочтения и вкладываться в дополнительные навыки, я не могу посоветовать, увы, - индустрия в будущем радикально изменится и нужно меняться вслед за ней.

Учёные не ожидали тех эффектов, которые были задокументированы в исследовании. Это в целом соответствует тенденции, когда эксперты в своей области недооценивают возможности ИИ.
После работы с ИИ учёные начинают более позитивно оценивать его потенциал для повышения продуктивности

Наблюдал такое уже не раз - человек отнекивается и не верит, пока не покажешь ему эффективный подход для работы с ИИ, после чего - эйфория (я столько всего сделаю!) вперемешку с отчаянием (я больше не нужен!), потом понимание ограничений, отрезвление и осознанное включение нового инструментария в работу по месту, а не как придётся.

Учёные понимают, что ИИ не заменяет их полностью, но меняет характер их работы

По сути, именно аугментация, усиление себя при помощи ИИ, с делегацией ему посильных задач - это то, к чему нужно стремиться для повышения своей ценности на меняющемся рынке труда разработки ПО.

Было нанято больше новых сотрудников, чем было уволено

Есть такая точка зрения, что спрос на разработчиков-автоматизаторов нового поколения только возрастёт, т.к. откроются новые ниши там, где раньше разработку не могли себе позволить из-за проблем с кадрами и/или высокой их ценой.

71% учёных планируют переобучение, чтобы лучше взаимодействовать с ИИ

Это норма, новые технологии всегда требуют времени на их изучение, да и смена привычек и устоявшихся подходов тоже не происходит мгновенно.

В случае с ИИ разработчикам нужно ещё и менять mindset: переходить на более высокий уровень абстракции, учиться ставить и делегировать задачи, проверять их исполнение, брать задачи из смежных областей - словом, становиться кем-то между архитектором и project-менеджером, со способностью иногда покодить.

И чем раньше начать, тем проще будет в дальнейшем.

Этихлид - а ещё вот в Telegram пишу про AI / техлидство / спорт и всякое околофилософское вокруг всего этого, подключайтесь