Все знают, как большие языковые модели – такие, как ChatGPT, – галлюцинируют или даже врут. Такие ошибки могут создавать проблемы людям, активно использующим нейросети. Интересный и, может, неожиданный вопрос: это ошибка или это вообще-то необходимо для интеллекта?
В юности я хотел что-нибудь изобрести в области физики. Было много идей, и часто, спустя какое-то время, эти идеи разрушались и деградировали, так как я или чего-то не учитывал, или что-то отбрасывал или что-то не так понимал. Но чем менее критично я относился к собственным идеям, тем дольше они жили. Если хочешь что-нибудь открыть, то подобные идеи необходимы: открытия в физике или еще в чем-то – это предшествующая длинная цепочка интересных (и тем не менее ошибочных) гипотез.
Тогда я принял решение не врать самому себе и другим, чтобы цепочка идей быстрее разворачивалась и был больший шанс что-то изобрести. Но вот это и не стало получаться. С течением времени я стал замечать все больше багов в генерируемых идеях. Все время что-то не так понимал, искажал или забывал факты. И такое поведение, на мой взгляд, свойственно не только мне. Ошибки искажения и отрицание совершенно точно случившихся фактов я замечаю и у других людей. В полиции о таком говорят «Врет как свидетель».
Недавно я придумал объяснение этому.
Из нейролингвистического программирования и других источников по психологии вроде как известно (походу здесь я исказил факты, и это может быть уже моим мнением), что мозг воспринимает ограниченный объем информации. В жизни ежесекундно передаются тысячи миллионов событий-сигналов в мозг. Мозг сильно отфильтровывает их и строит упрощенную идеализированную модель происходящего. Отбрасывая при этом и важные факты, которые не вписались в эту идеализированную модель.
Обдумывая свои идеи, я постепенно начал тратить на это все больше времени: часы, дни, недели и годы. Постепенно я пришел к более совершенным моделям. Но во многих случаях совершенно нет времени, чтобы тратить его на обдумывание (еще и в таком объеме). Тогда несовершенная и в чем-то ошибочная модель происходящего гораздо выгодней более совершенной, но недоступной здесь и сейчас. Исходя из первой, ты уже можешь как-то действовать и что-то предпринимать.
Думаю, что даже самые умные люди галлюцинируют или врут в каждом десятом предложении. Обычно, когда указываешь людям на ошибки, они обижаются или начинают защищаться, таким образом оберегая свою модель происходящего и свои убеждения (которые, как им кажется, доказали свою полезность). Если модель разрушается, то строительство новой может быть долгим и болезненным процессом.
Если выдвинутые в этой статье идея и теория верны, то хотелось бы, чтобы они распространились, чтобы люди имели больше возможностей признавать свои ошибки, учиться и совершенствоваться.
Также эта теория может быть интересна для развития искусственного интеллекта, так как меняет точку зрения на галлюцинации нейросетей. То есть галлюцинации нейросетей – неизбежный и даже нужный процесс. Только нужно дальше придумывать, как это обратить нам на пользу.
Комментарии (23)
touols Автор
26.01.2025 18:22Ну думаю, мало отличаются, но одно дело когда игнорируешь факты и другие точки зрения, другое дело когда о них забываешь. Вообщем какая-то разница есть но трудно формулируемая. Может попозже сформулирую. Может сочту не существенным...
JBFW
26.01.2025 18:22По сути с эволюционной точки зрения это изменчивость и отбор, только для идей.
Если на любой вопрос ответы всегда однозначны и точны - развития не будет, сложно развивать 2+2=4.
Если начинаются дикие фантазии, и некоторые из них проходят проверку реальностью - идёт развитие.
CrazyOpossum
26.01.2025 18:22Ок, только какое отношение языковые модели имеют к интеллекту и ИИ в частности?
touols Автор
26.01.2025 18:22Ну ваше мнение, как у многих, что нейросеть не интеллект, а мое мнение, опять же как у многих, что нейросеть это что-то проявляющее, на удивление, какие-то признаки интеллекта.
PanDubls
26.01.2025 18:22Один из признаков котёнка -- отсутствие дверцы. Мир полон вещей без дверцы, в их список входят: договор страхования, папайя, мышонок. Ничего из этого, тем не менее, проявляя признаки котёнка, котёнком не является.
touols Автор
26.01.2025 18:22Ну и что? Вы беретесь доказать, что большая языковая модель ни разу не интеллект?! Аргументы в студию. Просто хейт мне не интересен :-)
PanDubls
26.01.2025 18:22Почему хейт? Я не ненавижу всё, что не является искусственным интеллектом. Не являясь подлинным ИИ LLM-ки остаются прикольным инструментом для анализа естественного языка.
JBFW
26.01.2025 18:22Это доказательство отрицания: если предмет котенок то у него нет дверцы, следовательно наличие дверцы отрицает что это котенок.
У прочих перечисленных также нет дверцы, поэтому при прочих равных нельзя доказать что договор страхования не котенок, доказательство отрицания не выполнено.
Вот шкаф, например, не котенок, наличие дверцы это доказывает.
Не вижу противоречий
engine9
26.01.2025 18:22Мне кажется, что умение признать собственную неправоту, как публично, так и перед самим собой это характеристика зрелой, развитой психики и культуры мышления.
Но при этом люди могут как искренне заблуждаться так и намеренно обманывать.touols Автор
26.01.2025 18:22Но для лидера состояние "Аккела промахнулся" крайне нежелательно :-). Так что врать окружаишим и себе может быть выгодным.
engine9
26.01.2025 18:22Это смотря какие ценности у группы где он лидер.
touols Автор
26.01.2025 18:22Лидер обычно тот суждениям которого доверяют. Если видят, что человек ошибается, то к его мнению гораздо меньше доверия. И такой человек редко лидер. Особенно в политике, когда большинство народа в политике не особо сечет, а голосовать может.
Политика - это первый напрашивающийся пример. В научном институте другая ситуация наверно. Но мировом научном сообществе статья с грубыми ошибками лидера, думаю, сразу в лужу посадит.
Конечно, как я думаю, умение признавть ошибки признак зрелой личности. Просто примеры когда признание ошибки не выгодно или опасно есть. Я это сейчас хотел вам сказать. Это у вас не вызывает противоречий?
engine9
26.01.2025 18:22Мне кажется что ваш образ лидера больше об образе такого главаря ОПГ, и я думаю, что в истории есть примеры лидеров крупных корпораций и стран которые признавали ошибки и это только на пользу шло.
AlexunKo
26.01.2025 18:22Моя интуиция говорит, что все наше сознание и его продукция имеет какую-то недетерминистическую, хаотичную, вероятностную природу, поэтому ни в чем нет 0 и 100% (все наши логические, языковые и понятийные конструкции - это лишь попытка выжить/опереться). Поэтому все вопросы типа "так X или Y!?" уже неправильные и наивные.
touols Автор
26.01.2025 18:22Только вот наверно часто X-90% а Y-10% вероятности и выбрать X выгодно.
LeToan
26.01.2025 18:22Но Х выберут большинство и эта очевидная выгода оказывается разделена на столь мелкие куски, что гораздо менее вероятный Y интереснее, с учетом, что он вполне вероятен, не около 0.
kogemrka
26.01.2025 18:22Даже в такой ситуации всё непросто и не обязательно выбрать X - выгодно.
Пример из "Одураченных Случайностью" Талеба:
Однажды на одной из таких встреч меня попросили высказать мнение о фондовом рынке. Я заявил не без помпы, что уверен в небольшом росте цен на следующей неделе, причем с высокой вероятностью. Насколько высокой? «Примерно 70 %». Ясно, что это было сильное утверждение. Но меня кто-то перебил: «Нассим, послушай, ты только что хвастался, что открыл короткую позицию по фьючерсам на индекс S&P 500, причем очень крупную, поставив на снижение рынка. Что тебя заставило передумать?» — «Я не передумал! Я очень сильно верю в свою позицию! [Смех в аудитории.] На самом деле я чувствую сейчас, что нужно продавать еще!» Коллеги в комнате выглядели чрезвычайно смущенными. «Так вы смотрите на рынок по-бычьи или по-медвежьи?» — спросил меня один «стратег». Я ответил, что не понимаю слова «бычий» или «медвежий» вне их чисто зоологического контекста. Точно так же, как в случае с событиями А и Б из предыдущего примера, мое мнение заключалось в том, что рынок, скорее всего, должен был пойти вверх («я смотрю на него по-медвежьи»), но при этом лучше открывать короткие позиции («я смотрю на него по-бычьи»)
cupraer
26.01.2025 18:22Замечали вы у себя ошибки и искажения фактов?
Несомненно. Но я никогда не придумывал «факты».
Более того, если разработчик в моей команде ошибается, я лично буду ему помогать. Если любой человек в компании при решении задачи начнет выдавать свои фантазии за факты (типа, «эта база данных позволяет колбэки в коде на этом языке», в ситуации, когда это не так) — мы расстанемся вчерашним днем.
exTvr
"Врать, галлюцинировать, заблуждаться" - чем это фундаментально отличается от "фантазировать, изобретать, мечтать"? Если не считать точку зрения.
touols Автор
Упс. не там ответил.
touols Автор
Бывает сильно фантазируешь. Так что придуманная фантазия сильно нравиться и хочешь применить как-то ее. Потом проходит время и обнаруживаешь аргумент, который опровергает эту фантазию и она разрушается. Но тут интересно, что этот аргумент уже всплывал в мыслях. Просто сам себе сказал это не существенно и увлеченный идеей забыл про него. Вот это я называю враньем. Но оно часто присутствует. Чтоб такой аргумент возобладал нужно чтоб фантазия развилась до некоторой степени. Бывает такие аргумент хотя и присутствуют в мыслях, но фантазия долго живет вопреки ему. (Недавно разрушилась идея которая жила 9 лет :-))
c0r3dump
Бывает даже, что потом через какое-то время находится фатальная ошибка в аргументе или всплывают новые факты, что аргумент уже не аргумент и идея снова жива, а потом снова и снова туда-сюда несколько раз, эх.