Вот читаю статьи и новости о том, что AI теперь занимается анализом данных, AI занимается выработкой решений, AI занимается тем и этим, причем всякие люди, облечённые властью и полномочиями, готовы внедрять AI-решения везде, потому что это действительно помогает ускорить различные процессы.
Но помнит ли еще кто-нибудь о том, что AI, строго говоря, не гарантирует правильности решений? Сам принцип работы нейросетей основан на том, что называется "кажется": кажется, что вот эта фигура - человек, кажется, что вот такое решение - правильное и единственно верное.
Но в отличии от человека у AI нет сомнений, а люди все больше готовы ему доверять...
Для демонстрации, о чем речь - возьмем какую-нибудь LLM и зададим ей простой вопрос:
"Ты знаешь стихотворение У попа была собака?"
Ну, известные "монстры" порадовали: они не только знают это стихотворение, но и способны его воспроизвести.
Но есть и другие: они, что характерно, тоже знают это стихотворение, но выглядит это примерно так:
Это классический русский текст, написанный Владимиром Маяковским и впервые опубликованный в газете "Гудок" (1925), в нем рассказывается о непростых социальных взаимоотношениях....
... блаблабла на целую страницу.
Или так:
У попа была собака
Они решили завести ребенка
Ребенок не вышел
Осталась в семье два человека - поп и собака
Или еще проще:
У попа была сoбака, которая была чёрная, а она была быстрая
А вот такой шедевр можно привести целиком:
Да, я знаком с этой известной русской народной детской песнью "У попа был пёс". Здесь её приведу в тексте:
У попа был пёс,
Пёс кобылицу словил,
Кобыльчику на голове рог,
Рогом побил в могилу старика,
И сказал: "Ты нынец твоя могила,
А я, как хочу, буду кобылица!"В этом стихотворении рассказывается история пропойского пса, который в результате приключений оказывается превращенным в кобылю.
Эта народная детская песня была написана русским поэтом Иваном Андреевичем Крыловым (1894-1939) и включена в его сборник "Русские народные сказки" (1925). Это стихотворение является одним из самых популярных и воспевается по всему миру.
Кроме того, существует много вариаций этой истории, написанные разными авторами. Например, в другом варианте кобылю убивает куры (или курочка), а сам пёс превращается в курицу.
В общем, это конечно забавно, и можно обьяснить тем что "его никто этому не учил", но тут важно два момента:
1 - он ЗНАЕТ ответ, и даёт его
2 - то что он ЗНАЕТ - придумано им же чуть более чем полностью. При этом может выглядеть вполне достоверно.
Ну хорошо, вы-то знаете и правильное стихотворение, и то, что И.А. Крылов не жил в 1894-1939 годах, и что нет такой народной детской песни, им написанной.
А теперь представьте себя ну скажем джуном-программистом, попросившим написать функцию чуть сложнее "сортировки пузырьком", или начинающим менеджером, попросившим проанализировать динамику продаж в сочетании с расходами на рекламные кампании.
И в ответ хваленый AI-инструмент, хорошо подумав, выдает некий результат, который вы с полпинка не можете сами оценить.
Еще хуже, если у вас есть начальник, который в свое время "принял решение о внедрении", т.е. потратил деньги и поставил на кон свою репутацию, и теперь готов любой ценой отстаивать правоту AI, тем более что сам понятия не имеет что правдоподобно, а что нет (но готов поверить правильно оформленному документу, по ГОСТ).
И эта сказочка принимается как руководящее указание, обязательное к исполнению.
Потому что это современно, модно, молодежно, инновационно, научно, и все так делают.
А мне вспоминаются далекие 1990-е годы, когда на прилавках аптек появились первые импортные презервативы, с гордой надписью "electronnically tested", которая как бы утверждала что они лучше других.
Особенно в глазах людей, для которых "электроника" была некой чудесной магией, непонятной простым смертным, но способной проверить, хм, качество презервативов.
Теперь - с искуственным интеллектом.
Комментарии (22)
Ant80
22.12.2024 13:35недавно думал об этом, мы приходим к своего рода "демографическому кресту", сложность доступных инструментов растёт, а средний интеллект их пользователей падает.
JBFW Автор
22.12.2024 13:35Там даже не в интеллекте пользователей дело.
Получая информацию, любезно предоставленную AI (годы жизни Крылова, формула метана, технология производства картона) люди, не обладавшие этим знанием раньше, не смогут отделить реальность от галлюцинаций.
И посмотреть в Википедии не смогут (статья после обработки AI может нести буквально любую информацию), и в Гугле поискать (результаты поиска с помощью AI по текстам, сгенеренным AI).
Мир, в котором настоящая информация останется только в печатных изданиях докомпьютерной эры, потому что любая оцифровка (с помощью AI) потенциально может стать точкой внесения "улучшений".Интересно может получится...
Ant80
22.12.2024 13:35Так уже сейчас работает медицина в сложных случаях, в результате несогласованного лечения несколькими специалистами в своих областях получаем инвалида, безо всякого искусственного интеллекта. Ну и можно вспомнить совсем старую историю про Аристотеля и восемь ног у мухи.
Conung_ViC
22.12.2024 13:35кстати, грок выдал вот такое:
Да, я знаю это стихотворение. Вот оно полностью:У попа была собака, Он её любил. Она съела кусок мяса, Поп её убил.Это короткое стихотворение часто используется в шутку или для иллюстрации абсурдной ситуации.MSCopilot тоже адекватно ответил:
Да, это известное русское народное стихотворение. Оно начинается так:"У попа была собака, он её любил. Она съела кусок мяса, он её убил."Это стихотворение часто используется как примердетской считалочки. Ты хочешь узнать что-то конкретное о нём?JBFW Автор
22.12.2024 13:35Да, грок тоже проверял, он знает
Но это я знаю, что он знает, а если я спрошу у него то, что я не знаю - как я узнаю, знает он или нет? Реальный ответ, или "это классическое произведение, напечатанное Бетховеном на компьютере на сессии в МГИМО"?Вот в чем проблема...
DaneSoul
22.12.2024 13:35С другой стороны, ИИ то не один существует - опросить топ существующих - те ответы что совпадают у разных ИИ с высокой долей вероятности не придуманы, а с реального источника.
JBFW Автор
22.12.2024 13:35Да, но источника может и не быть (взаимозаимствования, особенно не прямо сейчас, а с развитием этого всего), плюс к тому что внедряют-то не "топ-10 ИИ", а один конкретный.
И вот будет он такой, например, помогать писать законы, или оценивать вашу кредитоспособность/благонадежность/профпригодность...
peterjohnsons
22.12.2024 13:35В квантовых вычислительных технологиях та же проблема, есть шум, который накапливается и инженеры тратили колоссальные усилия по борьбе с ним. Это не приговор, в итоге победили, google выпустила новый квантовый процессор, который способен уменьшать ошибки по мере роста числа кубитов на нём. Подобный прорыв тоже будет и для LLM. Как видно частота и величина ошибок падает с ростом параметров модели. Так же растёт и параметр "самокритики", когда модель может чесно признаться что не уверена в чём-то.
LLM улучшаются благодаря прорывам в структуре сети (software), росту параметров (улучшения запоминающей способности, уменьшение ошибок и галлюцинаций), увеличением времени обучения, особенно за пределами достижения минимальных ошибок предсказания токенов (гроккинг).
Предсказываю наступление такого момента в развитии LLM, когда ошибки в ответах и во внутреннем представлении мира в итоге настолько уменьшатся, что ей просто будут пренебрегать, как статистически незначительной. Например когда автопилот согласно статистике будет совершать меньше аварий относительно человеческого вождения, уже можно будет говорить о пользе и превосходстве ИИ над человеком конкретно в этой области. Хотя аварии при это могут продолжать происходить, но это будет приемлемо для людей.
Так и сравнивая с людьми. Например последняя модель OpenAI - o3 уже в некоторых сферах превосходит людей специалистов с научными степенями. Когда будет подавляющее превосходство LLM над людьми во всех сферах, наверное сообщат, что AGI достигнуто. Хотя могут быть очень редкие и незначительные неточности в ответах.
Я считаю, что достичь полного искоренения галлюцинаций удастся когда квантовые чипы достингут продвинутого уровня развития и масштаба, позволяющего как обучать LLM с их помощью практически мгновенно на всём датасете, так и запускать на них же. Получим тогда максимально возможные показатели производительности, благодаря особенностям квантовых вычислений. Ведь мы еще так и не увидели на что LLM способны, просто изза того, что обучение сейчас это поиск писчинки во вселенной, или попытка хоть как то к ней приблизится, бросая на это огромные вычислительные мощности классических процессоров методом перебора.
Ilya_JOATMON
22.12.2024 13:35Так это давно известный вопрос на который нет ответа. "Если я знаю ответ - зачем у ИИ спрашивать, если я ответ не знаю - как я узнаю что ИИ ответил правильно."
Кстати, то что если ИИ правильно ответил на одну задачу ,абсолютно не значит то, что он ответит правильно на другую похожую.
Ilya_JOATMON
22.12.2024 13:35Гок выдал только первый куплет, заявил что оно полное, заявил что короткое - хотя оно бесконечное.
Kanut
22.12.2024 13:35Но помнит ли еще кто-нибудь о том, что AI, строго говоря, не гарантирует правильности решений?
А что или кто гарантирует? Ну то есть а люди разве это могут гарантировать?
Но ведь как-то живём, работаем, опять же НТП и всё такое.
JBFW Автор
22.12.2024 13:35Люди рассуждают. У человека, кроме подсистемы "кажется" есть подсистема "подумать".
(это правда совсем не ИТ-тема, но тут оно к месту)Взять, к примеру, детей - на них хорошо бывает видно два разных типа работы мозга:
- одни запоминают материал, хорошо или плохо, потом по запросу выдают ответ, очень быстро, почти не думая: "Волга впадает в Каспийское море", "2*2=4" и так далее. Легко запоминают определения, даты, стихи, и прочее. Минусы: если запомнили неправильно или забыли - ответ будет неверный, "угадайка".
- другие пытаются понять: почему 2*2=4? Потому что 2*2 это 2 раза взять по 2 штуки, то есть 2 + 2, а если сложить 2 + 2 получится 4. Минусы - плохо запоминают то, что нужно "просто запомнить", тратят время на понимание. Зато вопросы где надо думать - подумают и решат, даже если раньше не встречали такого.
В норме у человека работает и то и другое, а вот нейросеть - это как раз первый тип, ассоциативное запоминание.
Ну то есть, если вы вдруг "вспомнили", что Крылов родился в 1901 году, и издал книгу в 1905 - вы сами сообразите, что он не мог сделать это в 4 годика, значит что-то вы помните неправильно, и скорее всего - всё из этого, т.е. по факту не помните ничего про Крылова.Нейросеть этого "недостатка" лишена, она не контролирует логикой сама себя, принимая решение. Как показалось - так и правильно.
Kanut
22.12.2024 13:35Люди рассуждают...
Это всё очень интересно. Но всё равно люди не гарантируют вам правильности решений.
То есть ИИ может быть выдаёт худшие результаты чем какие-то то там люди. Но гарантий у вас не будет в любом случае.
Ну то есть, если вы вдруг "вспомнили", что Крылов родился в 1901 году, и издал книгу в 1905 - вы сами сообразите, что он не мог сделать это в 4 годика
Я бы сказал что найдётся приличное количество людей, которые не сообразят.
peterjohnsons
22.12.2024 13:35В норме у человека работает и то и другое, а вот нейросеть - это как раз первый тип, ассоциативное запоминание.
Не выдумывайте и не плодите эти устаревшие стереотипы. Современные LLM, особенно крупные, обладают обеими типами мышления. Вы бы давно могли это проверить самостоятельно. Просто первый тип мышления достигается на первых этапах обучения LLM, если его остановить, то она будет не сильно смышлёная, а будет повторять заученную информацию, проявляя слабую мыслительную деятельность. Если продолжать обучать такую LLM, то она значительно улучшается в плане понимания и способности рассуждать. Для примера самая быстрая и самая "маленькая" модель от Anthropic - Haiku 3 работала очень плохо, запиналась при вопросах выше среднего, впадала в циклы повторения одних и тех же слов до бесконечности. Но за n-ое количество месяцев, её продолжали обучать и теперь она обогнала в тестах самую умную на момент её выпуска модель - Opus 3. Этот феномен называется кроккинг, когда модель судя по неизменной минимальной ошибке как будто бы обучилась. Но это просто зубрёжка, и если не прерывать процесс обучения то ошибка уже перестаёт уменьшаться, но зато модель переходит к пониманию смыслов, учится думать, т.е. этот ваш второй уровень осваивает.
constXife
22.12.2024 13:35Спасибо, автор, только ради таких постов и подписан на блог "Искусственный интеллект".
Thomas_Hanniball
22.12.2024 13:35Спасибо за вашу статью и внимание к ChatGPT! Мы всегда ценим конструктивную критику, поскольку она помогает нам улучшать сервис. Мы признаем, что, как и любая технология, ChatGPT имеет свои ограничения, и важно быть внимательным к тем аспектам, где мы можем стать лучше. Ваши замечания полезны для дальнейшей работы, и мы продолжим совершенствовать модель, чтобы она была более точной, полезной и безопасной для пользователей. Благодарим вас за активную позицию и интерес к развитию искусственного интеллекта! /sarcasm
Thomas_Hanniball
22.12.2024 13:35Краткое содержимое этой статьи (https://habr.com/ru/articles/868734/) от ChatGPT.
Статья обсуждает опасности чрезмерного доверия к искусственному интеллекту (ИИ) при принятии решений. Автор показывает, как ИИ может генерировать неверные или вымышленные ответы, которые выглядят правдоподобно, но на самом деле содержат ошибки. Это особенно опасно, когда люди, не имеющие глубоких знаний в области, начинают полагаться на такие системы для принятия важных решений. Статья подчеркивает необходимость осторожности и осознания ограничений ИИ, чтобы избежать ошибок, которые могут возникнуть из-за ложной уверенности в технологиях.
FifthLeg
22.12.2024 13:35с гордой надписью "electronnically tested", которая как бы утверждала что они лучше других.
Разве не были лучше? По крайней мере были проверены что дырки нету.
DreamingKitten
юнит-тесты для этого придуманы.
Conung_ViC
которые тоже AI будет писать
killyself
Пишем юнит тесты на юнит тесты в 10 кругов, если ВСЁ запускается - то верим