Очень много говорят о вреде использования LLM для пользователей. Проводятся научные эксперименты, которые, в большинстве своём, подтверждают интуитивные предположения о рисках. Подопытные впадают в эмоциональную зависимость, тупеют, теряют память, снижается критичность, уверены в собственной правоте, разрывают связь с обществом и так далее. Многочисленные опасения касаются того, что LLM могут снижать когнитивные способности, в частности — креативность, превращая пользователя из генератора идей в простого оператора. Наш эксперимент был призван проверить, так ли это на самом деле.

Эксперимент поставлен Гадеевой Д.Г., кандидатом психологических наук, а поскольку я вынужденно выступил в роли печатной машинки, то счёл возможным, не дожидаясь окончания традиционных расчетов в Excel, использовать всю мощь современных LLM, и провести анализ результатов эксперимента в автоматическом режиме. Сразу хочу сказать, что эта статья не претендует на научность, подготовка её научного варианта займёт немало времени, включая пересчёт статистики и подготовку самого материала. 

❯ 1. Описание эксперимента

Цель исследования была достаточно проста, проверить как влияет LLM на креативность студентов, помогает ли, и как сказывается эта помощь. Для решения этой сложной задачи были привлечены студенты-психологи первого и второго курса общим числом более 80 человек на каждом этапе.

В эксперименте участвовали четыре группы: ЭГ-1 экспериментальная группа первый курс, ЭГ-2 экспериментальная группа второй курс, и, соответственно контрольные группы КГ-1 и КГ-2 первый и второй курс. Группы разбивались в алфавитном порядке, хотя такой метод не является строго случайным, он позволил сформировать условно сопоставимые группы.

На первом этапе экспериментальные группы при помощи LLM-ассистента за 10 минут писали 10 наиболее оригинальных способов использования простого карандаша. Контрольные группы делали то же самое, но без привычного ИИ-помощника. Сразу хочу сказать, что мои опасения по поводу неготовности студентов к эре искусственного интеллекта были надуманы. У всех студентов на телефоне было минимум одно приложение, чаще всего chatGPT. У некоторых было и два, и три ассистента. Поскольку цель эксперимента не была проверить мощность конкретного ИИ или умение студента работать с ним, соответственно, не ставились ограничения по выбору модели, промпта или иных связанных с этим условий. Проверялась обыденная «как всегда» работа студента с ИИ.

Второй этап прошел через семь дней. На нём и экспериментальные группы, и контрольные выполняли аналогичное задание: 10 оригинальных способов использования канцелярской скрепки за десять минут, но на втором этапе всем группам использование ИИ было запрещено. Телефоны были собраны и возвращены только после сбора ответов.

Почему были выбраны карандаш и скрепка? Это классические объекты для тестов на дивергентное мышление (ориентир тест Гилфорда).

❯ 2. Нюансы эксперимента

Всего было предложено более 100 способов использования каждого предмета, и это с учетом того, что при первичной обработке я объединял синонимичные способы, например для карандаша: написать стихотворение, написать отчёт, написать письмо. Проблемы были с почерком, несмотря на то, что студенты далеки от медиков, почерк был ужасающе к ним близок. Анонимность опроса не позволяла уточнить у самих участников, так что приходилось разбираться самим. Ни одна LLM помочь здесь не смогла. 

Были предложены и ряд загадочных способов использования, например, для нескольких предложений пришлось провести мини-исследование, которое показало, что есть мода втыкать украшения в резиновые тапки — кроксы, называется Jibbitz.

Для дальнейшего исследования, все способы были разделены на десять групп (инструмент, украшение и т.д.). В итоге получились две таблицы для двух этапов, которые выглядели так: 

Этап 1. Способы использования простого карандаша

❯ 3. Работа с LLM

Здесь и далее использовалась модель Gemini 2.5 pro. Я прекрасно понимаю всю силу воображения больших языковых моделей, поэтому пришлось подготовиться. Во-первых обработка таблицы. Классическая широкая схема, как на примере выше, часто вводит LLM в заблуждение, они работают с длинными таблицами, вы их видели, например, когда делаете сводные таблицы в Excel.

Пример длинной таблицы:

Если у вас нет желания, как у меня, или возможности подготовить таблицу именно в таком формате, готовьтесь к проблемам. Сразу рекомендую удалить все лишние, необязательные строки и ячейки, например, название таблицы, названия группы в объединенных ячейках сверху и так далее. 

Затем промпт, чем четче вы расскажете про свою таблицу, тем легче и увереннее LLM её обработает. В свой промпт я включил и обработку таблицы, и первую часть анализа, вам рекомендую делать это на разных этапах.

Выбор метода анализа. Эксперимент классический, поэтому вы можете смело обращаться к LLM за советом. Данных о методиках экспериментов в обученной базе много и на этом этапе вероятность ошибки очень мала. Не стесняйтесь предлагать новые гипотезы, ставить открытые вопросы типа, что ещё можно получить из этих данных.

Предварительно я остановился на следующих показателях:

1. Беглость: Общее количество предложенных идей.

2. Гибкость: Количество уникальных семантических категорий (Тип способа), к которым относились идеи участника.

3. Оригинальность Идеи (Наименование способа): Сумма баллов за каждую идею. Баллы присваивались на основе частоты встречаемости идеи во всей выборке на данном этапе:

   • 0 баллов: Идея встретилась у >10% участников.

   • 1 балл: Идея встретилась у менее 10% участников, но более чем у одного.

   • 2 балла: Идея встретилась только у 1 участника («супер-идея»).

4. Оригинальность Категории (Типа способа): Аналогичная система подсчета (0, 1, 2), но для семантических категорий. Примечание: в ходе анализа этот показатель продемонстрировал крайне низкую вариативность (средние значения близки к 0) и был признан малоинформативным.

Для проверки гипотез использовался t-критерий Стьюдента для независимых выборок, двухфакторный дисперсионный анализ (ANOVA) и корреляционный анализ (Пирсона). Уровень значимости p < 0.05.

А вот и сам промпт для LLM:

Результаты анализа. ИИ бесполезен?

При сравнении средних показателей (t-критерии и ANOVA) между контрольными и экспериментальными группами на первом этапе не было выявлено статистически значимых различий ни по Беглости, ни по Гибкости, ни по Оригинальности Идей. Другими словами поверхностный анализ в лоб показывает, что ИИ не дает статистически значимого прироста в креативности. Средние показатели в группах ЭГ были незначительно выше, но эта разница находится в пределах статистической погрешности (например, для Оригинальности Идей на первом курсе (p = 0.1059).

Единственным значимым фактором на Этапе 1 оказался «Курс» (p = 0.0133), что указывает на то, что студенты 2-го курса в целом генерировали более оригинальные идеи, чем студенты 1-го, независимо от использования ИИ. Возможно, сказался студенческий опыт и в целом  взросление студентов.

На Этапе 2 (когда все работали без ИИ) статистически значимых различий между группами, которые ранее использовали ИИ, и контрольными группами также не обнаружено.

Использование ИИ в одном задании не привело ни к положительному (тренировка), ни к отрицательному (привыкание, снижение самостоятельности) эффекту при выполнении следующего задания.

Самый сильный эффект, обнаруженный в исследовании, — статистически значимое снижение Оригинальности Идей на Этапе 2 по сравнению с Этапом 1. Это снижение наблюдалось в трех из четырех групп (КГ2, ЭГ1, ЭГ2), КГ1 показало снижение, но статистически незначимое.

Вероятнее всего, это снижение не связано с ИИ, а является артефактом самого дизайна: возможно задание «скрепка» объективно сложнее для генерации оригинальных идей, чем «карандаш». К сожалению, недостаток испытуемых не позволил провести эксперимент и в обратном порядке, сначала скрепка, потом карандаш.

❯ Копаем глубже

Естественно, я не остановился на полученных результатах, а перешел к поиску других корреляций.

Были выдвинуты следующие гипотезы: 

1. Чем больше выдвинуто идей, тем выше оригинальность. 

2. Помог ли ИИ всем одинаково? Или он «подтянул» отстающих, а сильным студентам не дал ничего 

3. В каких группах появились самые-самые уникальные идеи?

Вот промпт к углубленному анализу:

Гипотеза 1.  Мы проверили связь (корреляцию Пирсона) между «Беглостью» (количеством) и «Оригинальностью Идеи» (качеством) на Этапе 1, разделив всех участников на две большие группы: Контрольную и Экспериментальную.

• В Контрольных группах (КГ): Обнаружена статистически значимая положительная связь между Беглостью и Оригинальностью (r = 0.384, p = 0.0093). Классическая модель подтвердилась: «количество переходит в качество».

• В Экспериментальных группах (ЭГ): Эта связь полностью отсутствовала (r = 0.212, p = 0.2074).

То есть ИИ фундаментально меняет сам творческий процесс. При самостоятельной работе успех зависит от навыка предложения идей. При работе с ИИ студенты достигали высокой оригинальности не за счет увеличения «Беглости», а, видимо, за счет навыка критического отбора и селекции идей, предложенных ИИ.

Если ИИ не увеличивает общее количество «супер-идей» (их доля равна 9-10% в обеих группах), то за счет чего растет качество? Ответ дал анализ «банальных» ответов (идей с 0 баллов). Анализ всего массива ответов показал статистически значимое ($p=0.019$) снижение доли банальностей в группах с ИИ (50% против 60% в контрольных группах).

Вывод: ИИ работает как фильтр шума. Студенты, работающие самостоятельно, часто «застревают» в переборе очевидных вариантов, повторяя их в разных формулировках. ИИ помогает проскочить этот этап и сразу перейти к более содержательным идеям

Гипотеза 2. Я проверил, кому ИИ помогает больше: слабым или сильным студентам (на примере 1-го курса, Этап 1). Взял уровень оригинальности КГ1 (контроль) как «базовый» уровень и сравнили с профилем ЭГ1 (с ИИ).

Ура, это крайне неожиданное явление, которое точно оправдывает всю возню с экспериментом. Объясню его как то, что ИИ адекватно помогает только тем, кто имеет минимальную базу, значит, надо просто научить, например, правильно работать с LLM и слабые перейдут в сильные. ИИ как усилитель сильных, это красиво.

Но здравый смысл заставляет меня засомневаться, и, как настоящий вайб-ученый, я провожу проверку ещё в двух сессиях (кстати, здесь я перешёл на Gemini 3.0 Pro). Результат есть, но моя соблазнительная гипотеза отвергнута. Пересчёт показал общее усиление, сенсации не будет. Хотя много сенсаций в ученом мире, похоже, родились именно так.

ИИ не просто усиливает элиту, он подтягивает отстающих до приемлемого уровня, сдвигая всё нормальное распределение вправо.

Гипотеза 3. Существовало опасение, что ИИ усредняет ответы и мешает генерации настоящих прорывов (идей на 2 балла).

Анализ показал, что это не так. Доля супер-идей в Контрольных группах составила 9.84% от всех идей. Доля супер-идей в Экспериментальных группах составила 9.49% от всех идей.

Разница в 0.35% статистически незначима. Студенты, работавшие с ИИ, были способны генерировать (или отбирать) такое же количество абсолютно уникальных (в рамках выборки) идей, как и студенты, работавшие самостоятельно.

Далее последовал мозговой штурм, я думал сам и пытал LLM, многое упиралось в дизайн эксперимента и нехватку данных. Например порядок ответов был бы интересен для определения когнитивной усталости и ее влияния на оригинальность. Вообще в сырых данных это есть, но перелопачивать всё и заново заполнять таблицу я, как настоящий ученый, оставил будущим ассистентам.

Гипотеза о том, что супер-идеи LLM генерирует в других областях, чем люди, была отвергнута. Человек с ИИ, что забавно, генерировал идеи в тех же семантических областях, что и люди самостоятельно. Впрочем, учитывая, что LLM учится на человеческих текстах это вполне логично. Как логично и то, что у человека идей по нестандартному применению карандаша и скрепок к собственному телу существенно больше.

Результаты по остальным гипотезам я не стал вносить в статью, большей частью из-за того, что они просто подтверждали интуитивно понятное. 

Было опасение, что вместо ответов студентов я буду изучать ответы ИИ. Анализ показал обратное. Внутри группы, работавшей с ИИ, обнаружилась жесткая зависимость: те, кто сгенерировал мало идей (низкая беглость), показали провально низкую оригинальность (3.5 балла). Те, кто работал активно (высокая беглость), получили высокий балл (6.2 балла).

Вывод: Закон «количество переходит в качество» продолжает работать и с ИИ. Нейросеть — это не волшебная кнопка, а инструмент, требующий усилий. Ленивый студент с GPT проигрывает трудолюбивому студенту без GPT.

❯ Проблема LLM

LLM легко может галлюцинировать на каждом этапе. При обработке таблицы, при подсчёте, при интерпретации. Многое зависит от чистоты и чёткости предложенных данных и промпта. Я снижал риски промптом, доработкой исходных данных и контрольными анализами в других сессиях и на других LLM. Кроме того, Gemini использует в расчётах Code Interpreter, то есть выполняет анализ с помощью встроенного Питона, что позволяет быть уверенным в отсутствии арифметических ошибок, но не в логике кода.

Пример, при проверке одной и той же гипотезы (о банальных идеях) в разных сессиях LLM я получил разные уровни статистической значимости (p=0.06 и p=0.019). Расследование показало, что модели по-разному интерпретировали инструкцию «посчитать частоту»: одна считала уникальных людей (при этом у человека могло быть больше одной идеи в наименовании способа), другая — общее количество упоминаний идей в массиве. Второй подход (учет всех идей) оказался более чувствительным к повторам и выявил значимый эффект, который первый подход счел «тенденцией». Это доказывает: LLM не ошибается арифметически, но семантические нюансы промпта могут кардинально менять выводы исследования. Без понимания сути данных ученый рискует пропустить открытие или, наоборот, увидеть то, чего нет

LLM может не распознать значимый эффект, потому что ей не сказали его оценить. Соответственно, как самостоятельный ученый LLM весьма и весьма посредственен. Нужно понимать самому, что вы ищете, потому что LLM не получив вопрос, конечно на него не ответит. 

Рост использования языковых моделей в науке с одной стороны неизбежен, с другой он снижает доверие к полученным данным. Ученые, особенно не понимающие суть LLM, могут легко излишне довериться искусственному интеллекту, особенно в трудоемких этапах, и получить каскадную ошибку, которая полностью изменит окончательные выводы. Но соблазн десятикратно повысить скорость обработки данных, я полагаю, перевесит всё остальное. Надежды на то, что 100% ученых будут тщательно проверять расчёты LLM нет никакой. И уж точно на уровне базовой науки  — проходные статьи в платных журналах, доклады на местных конференциях, всё будет делаться с LLM, и будет требовать дополнительной верификации.

Метапроверка. Ну и перед тем, как окончательно завершить статью, провожу финальный тест. Естественно, сохраняя стиль и логику эксперимента, сделаю это на LLM. Небольшой промпт, заставляющий модель критически анализировать проект, под спойлером.

В основном модель требовала больше научного стиля, но учитывая задачи статьи, я эти замечания отмёл. Тем не менее, добавлю, что снижение оригинальности на втором этапе, может быть связано с тем, что скрепка моно предмет, и отсутствие возможности его разобрать привело к снижению количества оригинальных идей. Ещё LLM рекомендовала добавить раздел метапроверка, что я сейчас и сделал. Большей частью из любви к странному юмору.

❯ Заключение

Прямое сравнение средних показателей не выявило статистически значимого влияния ИИ на креативность.

Однако более глубокий анализ показал, что ИИ фундаментально меняет сам творческий процесс, разрывая традиционную связь «количество-качество» и смещая фокус с генерации на критический отбор. При этом роль когнитивной лени пользователя остается, но проявляется уже в фильтрации и выборе идей. Наиболее значимый эффект ИИ носит характер усиления: он усиливает общую оригинальность для всех студентов.

Опасения о том, что ИИ снижает способность к генерации прорывных, уникальных идей, не подтвердились: доля супер-идей в обеих группах была практически идентичной.

И метавыводы: Использование LLM в науке связано с рисками точности. Если для гуманитарных наук, это, возможно, некритично (сомневаюсь), то использование LLM в обработке статистических данных, физике, математике, экономике сразу снижает доверие к результатам. LLM слишком легко обращается с цифрами и их интерпретацией. Без должного контроля со стороны человека LLM может стать источником труднообнаружимых ошибок.

И финальный вывод: анализ данных эксперимента проведен с помощью LLM, я честно это признаю, и надеюсь, что мои выводы совпадут с результатами настоящей научной статьи. Авторы других статей, научных или нет, могут никогда вам в этом не признаться. И да, проверять расчеты в Excel я счёл несправедливым по отношению к будущей научной статье.

Новости, обзоры продуктов и конкурсы от команды Timeweb.Cloud - в нашем Telegram-канале ↩