Увидел десяток постов, где люди всерьёз утверждают, что ChatGPT якобы делает нас глупее. Мне сразу показалось, что это чушь (спойлер: так оно и есть).
К авторам оригинального исследования Your Brain on ChatGPT у меня мало претензий. Они честно обозначили все ограничения своего исследования. Более того, в разделе FAQ прямо ответили на ключевой вопрос:
Безопасно ли говорить, что большие языковые модели (LLMs) по сути делают нас «глупее»?
Нет! Пожалуйста, не используйте слова вроде «тупой», «глупый», «деградация мозга», «вред», «повреждение», «повреждение мозга», «пассивность», «упрощение», «крах» и тому подобные.
Пожалуйста, также избегайте выражений вроде «сканирование мозга», «LLM заставляют перестать думать», «негативное влияние», «повреждение мозга», «ужасающие открытия».
А вообще, надо отдать им должное: они ухватились за хайповую тему и мощно выстрелили в медиа. Гении маркетинга!
О боже, учёные из MIT написали, что у нас отвалится жопа!! ?
Тем не менее, считаю своим долгом подушнить.
Начнём с того, что это даже не публикация, а препринт. То есть исследование (как дипломатично выразились некоторые журналисты) не прошло рецензирование — его просто выложили в интернете.
Это нормальная практика, если вы хотите получить обратную связь от коллег до подачи в журнал или работаете в конкурентной области, где важно как можно быстрее застолбить приоритет. В компьютерных науках так делают постоянно.
Но это создает проблему: теперь внимание и признание достаются не тем, кто сделал работу качественно, а тем, кто сделал её быстро и шумно. В результате общий уровень научных исследований проседает. Об этом уже есть публикации: тут и тут.
Методологических проблем в препринте хватает (см ниже). Но главное, сама статья очень тривиальная.
Во-первых, в ней вообще не рассматриваются возможные долговременные последствия использования языковых ассистентов. А ведь именно это и вызвало ажиотаж.
Во-вторых, подумать только! Люди, которые не особо вдумывались при написании текста, потом хуже его помнят и слабее ощущают авторство? Кто бы мог подумать! ???
Вот вам ещё идея для гениального исследования: берём две группы, одна тренируется считать в уме, а другая — на калькуляторе. Вопрос на миллион: кто лучше справится с вычислениями в уме?
Перейдём к методологическим проблемам:
Маленькая выборка: всего 54 студента, а в последней сессии только 18. Ну это просто смешно, размер эффекта ничтожный.
Не учтены индивидуальные различия участников: уровень когнитивных способностей, образования, опыт работы с ассистентами. Групповые эффекты просто проигнорированы.
Контекст ограничен написанием эссе: делать из этого выводы про «умственные способности» в целом — некорректно. Это узкоспецифичная задача.
Задание не структурировано: авторы прямо пишут, что не делили процесс на подзадачи (генерация идей, написание, редактирование и т.д.). А ведь именно такая структура помогла бы понять, на каком этапе происходят те или иные когнитивные изменения — и что вообще измеряется.
Мне, как человеку, занимающемуся визуализацией, в глаза сразу бросаются вырвиглазные графики в стиле “как сделать хуже”. Цветовые шкалы без подписей (см. первый же график), радужные палитры с нелинейным градиентом (ох…), микроскопический шрифт 12 pt, который можно было бы спокойно заменить читаемым 18 pt. Крч дальше дефолтных настроек не шли.
С точки зрения ЭЭГ — тоже всё не так просто. Авторы пишут, что при самостоятельном письме наблюдается повышенная коннективность (связность между разными участками мозга). Звучит любопытно, но коннективность — не активация. Возможно, участники просто задействовали меньше участков мозга, но более эффективно.
Вы спросите, а почему нет спектрального анализа и локализации сигнала? А потому что, ЭЭГ в принципе не позволяет надёжно локализовать источник сигнала (она для временного разрешения). Для этого нужна fMRI, а она дорогая.
К чести авторов, они обещают все исправить в будущем.
Комментарии (29)
durka
04.07.2025 11:37Было бы более корректно, если бы вы назвали свою заметку "Исследование MIT не даёт убедительных доказательств, что LLM делает людей глупее". Но однозначно заявлять - "ChatGPT не делает нас глупее" - пока преждевременно.
digrobot
04.07.2025 11:37Интеллект, как и мышцы, атрофируется без тренировки.
HardWrMan
04.07.2025 11:37Собственно, появление гуглежа задолго до появления этого вашего LLM уже доказало, что основная масса "подключенных" людей в среднем немного но заметно деградировала и в полном оффлайне без гугла из себя особо ничего не представляет.
На самом деле, я думаю, что это естественный процесс. Мозг - штука беспрецедентно ленивая и он борется за возможность получать информацию с минимальными энергитическими затратами. Это мозг придумал интернет, затем базы данных и хранилища и затем гугл. Так что появление чистого "Homo Interneticus" явно не за горами. А всякие LLM всего-лишь следующая ступень гуглежа, чтобы запрашивать информацию привычным общением без необходимости печатать. Ну и где-то рядом с этим мы имеем отупляющие бесконечные генераторы контента, вроде Тик-Тока.
dv0ich
04.07.2025 11:37Собственно, появление гуглежа задолго до появления этого вашего LLM уже доказало, что основная масса "подключенных" людей в среднем немного но заметно деградировала и в полном оффлайне без гугла из себя особо ничего не представляет.
Пральна, и с появлением книг люди тоже заметно деградировали :)
HardWrMan
04.07.2025 11:37Не согласен. Чтение книг имеет некоторые когнитивные требования. Помимо обязательного распознавания глифов букв в осмысленный текст а так же визуализация этого текста в некоторую сцену внутри головы, требовалось ещё и помнить некоторый контекст, который в зависимости от книги мог быть достаточно большим. А так как скорость чтения относительно медленная, то время хранения контекста могло исчисляться месяцами.
dv0ich
04.07.2025 11:37Так и взаимодействие с нейросетью имеет некоторые когнитивные требования. Например, нужно понимать, как составить промпт. А то я насмотрелся, как некоторые люди пытаются добиться от чатботов вразумительного ответа, отсылая им шизофазию :)
Более того, на этапе составления промпта мысли приходят в порядок и бывает что надобность в промпте уже отпадает. Этакая новая форма метода утёнка: https://ru.wikipedia.org/wiki/Метод_утёнка
HardWrMan
04.07.2025 11:37Скажите, голосовые помощники (Алиса, Алекса, Сири, Ок-Гуголь и т.д.) считаются за этот ваш ИИ? Если так, то о какой "подготовке" промпта идёт речь, когда ты с ними общаешься обычным языком как с простым собеседником? При этом, если говорить конкретно за Алису, например, она явно больше, чем просто поисковик, хотя умеет и тупо гуглить/яндексить если ты её прямо об этом просишь. А ещё, она типа узнаёт людишек - можно настроить на себя (твоя аудиобиометрия как ключ) и она будет в толпе вопросов к тебе обращаться точечно, как и слушать чисто тебя. А ещё, когда ко мне мелкие племяши приехали в гости и атаковали несчастную, мне тут же пришёл пуш на мобилу в аккаунт с текстом "обнаружены новые дети, включить родительский контроль?".
Что касается генеративных нейронок, которые создают контент, они да, требуют промпт. Например, тот же Stable Diffusion. Но это уже не помощник, это инструмент. А любым инструментом следует уметь пользоваться.
dv0ich
04.07.2025 11:37Голосовые помощники - да, не требуют вдумчивых промптов и по сути аналогичны людям-собеседникам. Однако дело вот в чём: если текстовое взаимодействие с чатботом можно назвать заменой гуглингу, то взаимодействие с голосовым помощником это новое явление, которому просто не было аналога в прежние годы и времена (за исключением разве что телефонных справочных, которые были далеко не везде и не всегда). И это явление сделало более доступным людям огромные массивы знаний. Я не понимаю, как это может сделать людей глупее. По мне так совсем наоборот.
HardWrMan
04.07.2025 11:37Я не понимаю, как это может сделать людей глупее. По мне так совсем наоборот.
Как и интернет с гуглежом в целом: зачем мне учить, запоминать, развивать если можно просто спросить нужное? Как итог: полный ноль без онлайна. Повторюсь: не следует недооценивать лень мозга. Если он нашёл более лёгкий способ добычи информации то он никогда не вернётся на более сложный.
dv0ich
04.07.2025 11:37Так а книги-то чем отличаются в этом плане от гугла?
Как итог: полный ноль без онлайна.
Это просто сферическая в вакууме чепуха. Большинство (если не все) глупых анскильных людей, которых я встречал, ни черта не умели гуглить, да и не имели такого желания в принципе. А если человек умеет искать информацию - это уже стоит больше, чем любой зубрёж. И когда человек раз за разом ищет одну и ту же инфу - она всё равно откладывается в его мозге, как в кэше. А если она забылась, то похоже что не очень-то нужна была.
С чатботами и голосовыми помощниками точно такая же картина: тупицам всё это нахой не надо, они и так самые умные на свете и всё знают.
HardWrMan
04.07.2025 11:37Ну вот у меня лично другая статистика и я её уже озвучил. И тут получается просто ваше слово против моего. Согласно квантовой физике, варианты истинного положения дел не ограничиваются только этими двумя (вашим и моим).
slonopotamus
04.07.2025 11:37Так а книги-то чем отличаются в этом плане от гугла?
Тем что книга не умеет сама себя открыть на нужной странице где содержится ответ на вопрос. А библиотека не может сама принести с полки нужную книгу.
TolikAnatolik
04.07.2025 11:37Личный опыт. Моя мать рассказывала что учителя говорили при появлении логарифмических линеек ученики станут тупее. Потом мой опыт, калькуляторы. Потом компьютеры. Потом гугль. Теперь чаты ЖПТ. Вопрос. Если повсеместно ( а внедрение предыдущих сущностей повсеместно) происходило это. Кто создавал все более мощные сложные системы. По логике все должно было остановиться на логарифмических линейках. Или не дай бог еще раньше на счетах.
MaksimMukharev
04.07.2025 11:37Или на солнечных часах, ведь там тоже пришлось отказаться от невероятно полезного навыка как-то координировать действия без знания точного времени.
durka
04.07.2025 11:37а вы можете аргументировать, что ученики не стали тупее после появления лог.линеек? может быть это действительно произошло?
dv0ich
04.07.2025 11:37Учебники и справочники сделали людей глупее. Вот раньше, помню, было хорошо: чтобы получить какое-то знание - приходилось самому отыскивать специалистов в разных странах, опрашивать их, находя к ним подходы. Тут тебе и языки знать нужно, и тонкости человеческой психологии, и приёмы поиска людей в незнакомой местности. А потом что стало? Взял учебник или справочник и получил всё в готовом виде на своём родном языке. Даже мозг напрягать не надо. Тьфу! Деградация...
Politura
04.07.2025 11:37Перейдём к методологическим проблемам:
На мой взгляд, одна из важнейших методологических проблем это как они провели 4-й этап на котором группы менялись: те, кто использовал ЛЛМ теперь писали сами, а те, кто раньше писал сам - использовали ЛЛМ. И поведение участников, как и результаты, сильно отличались от того, как было на предыдущих этапах, из-за чего было много хайпа на тему отупения.
Вот только 4-й этап во-первых был необязательным и пришло сильно меньше народу (которого и так было слишком мало для нормального исследования), а во-вторых задание отличалось - вместо того, чтоб писать новое сочинение как на предыдущих этапах, участники переписывали старое.
Так что к участникам оригинального исследования есть огромная претензия, или скорее, вопрос: эти изменения в 4-й этап были сделаны специально, чтоб на разнице в ЭЭГ с предыдущими этапами можно было начать говорить об отуплении, или нечаянно накосячили?
gun_dose
04.07.2025 11:37Тут всё просто: LLM делает глупых глупее, а умных умнее. Если вы не глупеете от использования LLM, то у меня для вас хорошие новости. Но в среднем для человечества новости так себе.
TolikAnatolik
04.07.2025 11:37Наверное это как с любым изобретение. Допустим машина. Она и плюс и минус. Ты становишься жирнее но при этом успеваешь больше. Но можно просто быть жирным без успевания так как разницу во времени будеш тратить на ничего не далание. Но и если не будет у тебя машины ты также не будеш ничего делать и также будеш лежать на печи.
maertor
04.07.2025 11:37ЧатГПТ делает действительно делает людей глупее. Как минимум потому, что у них отсутствует критическое мышление. Они становятся готовы оправдать любую фигню ради удобства. Но теперь, в отличие от прошлых времён, хватаются за эту возможность как настоящие звери. Буквально каждый первый готов разорвать несогласного, вызывающего к разуму, по кусочкам. Таким людям, как автору статьи, плевать, что человечество, и он в том числе, будет загибаться вскорости от жажды и холода - и невозможности восполнить потребности, потому как и воду, и энергию отобрала нейросеть. Это не шутка: ИИ требуется все больше энергии и воды.
Ирония в том, что цивилизацию погубит не машина, а ее создатели, жадные до бабла. Корпорации готовы пожертвовать жизнями миллионов и миллиардов ради баснословных прибылей. И вешают лапшу обывателям про продуктивность и прочие ништяки.
Поэтому и идут придирки к мелочам. А взглянуть на проблему глобально, выше собственного носа, подобного рода критики не решаются.
0x6b73ca
04.07.2025 11:37Я несколько месяцев писал код с ассистентами и когда у меня пропал интернет я испытал трудности, после того пишу сам а ChatGPT использую как штуку которая даст мне быстро какую то вводную информацию и если её не достаточно или она оказывается не совсем правдивой то иду в доки смотреть.
Но ради справедливости замечу что программирование это хобби, мне нравится этим заниматься и если за меня всё будут делать агенты/ассистенты то в этом не будет никакого смысла
Моё мнение, нейронками надо не только уметь пользоваться а ещё и иметь само дисциплину чтобы не разлениться
DMaslo
04.07.2025 11:37Использование генеративных нейро сетей - это большая нагрузка на мозг. Фильтровать критически тонну информации/опровергать/тестировать... То ещё удовольствие.
Я использую в учебных/рабочих целях.
Плюс ещё могу из минусов написать что при изучении, очень часто белые пятна в изучении технологии. Ты о них знаешь, но никак времени не находишь. Постоянно в процессе.
За год использования, ну... Больше 1000 (импортировал в obsydian, а далее агентами редактируются, связываются и формируются "дев-стори") чатов о Django, Odoo, Pyton, NixOS, Docker, Docker-swarm, Docker-compose, сеть,ансибл, и хрен пойми что ещё...
Высшее в 12 году закончил - "инженер системотехник" - ИТ, но после то електриком был з доступом до 10 кВт, строителем, фирма своя была из 3 человек - телефоны ремонтировали. Ещё 6 специальностей которые с ИТ не связаны. Это я к чему - во первых после вуза. В те года не особо и брали всех. За 10 лет сколько всего - что угнаться просто нереально.
Нескажу что даже мидл SRE, front-end, back-end. Пойти могу как Пайтон Разграб на фронт-енд или бек-енд. Девопс тоже вариант вполне реальный. Вопрос - возьмут ли ))) это не знаю, в ИТ неспокойное время).
Я не думаю что нейро сети делают нас глупее. Это инструмент, а не один мозг на двух. Инструмент не больше ни меньше. Молотком тоже можно отбить себе пальцы и остаться калекой.)
ianrygel
04.07.2025 11:37AI делает то же, что когда-то сделали порно или интернет: облегчает доступ к решению проблемы. Но такой путь ничему не учит. Проблема исчезает за 5 минут… но мозг не учится! И не создаёт новых связей! А мозг любит простые решения так как это приносит удовольствие. И он будет снова и снова идти по тому же пути.
Когда автор в последний раз учил стихи, чтобы прочитать их любимому человеку? А заглядывал в печатную энциклопедию? А искал информацию в библиотеке? Скорее всего давно, потому что легкий путь победил.
Возможно, автор статьи ставит себя выше основной массы. Возможно, он не стал ленивее от упрощения задач: не смотрит тв и ютуб, читает книги, всё старается делать вручную, автоматизирует только своими руками.
Если это так и он не проецирует поведение большинства на себя, тогда неудивительно что ему исследование кажется слабообоснованным. Но для большинства оно довольно точно описывает реальность.
white-wild
Местами LLM модели делают нашу жизнь намного сложнее, приходится искать правду в куче сгенерированного контента...