Вот читаю статьи и новости о том, что AI теперь занимается анализом данных, AI занимается выработкой решений, AI занимается тем и этим, причем всякие люди, облечённые властью и полномочиями, готовы внедрять AI-решения везде, потому что это действительно помогает ускорить различные процессы.
Но помнит ли еще кто-нибудь о том, что AI, строго говоря, не гарантирует правильности решений? Сам принцип работы нейросетей основан на том, что называется "кажется": кажется, что вот эта фигура - человек, кажется, что вот такое решение - правильное и единственно верное.
Но в отличии от человека у AI нет сомнений, а люди все больше готовы ему доверять...
Для демонстрации, о чем речь - возьмем какую-нибудь LLM и зададим ей простой вопрос:
"Ты знаешь стихотворение У попа была собака?"
Ну, известные "монстры" порадовали: они не только знают это стихотворение, но и способны его воспроизвести.
Но есть и другие: они, что характерно, тоже знают это стихотворение, но выглядит это примерно так:
Это классический русский текст, написанный Владимиром Маяковским и впервые опубликованный в газете "Гудок" (1925), в нем рассказывается о непростых социальных взаимоотношениях....
... блаблабла на целую страницу.
Или так:
У попа была собака
Они решили завести ребенка
Ребенок не вышел
Осталась в семье два человека - поп и собака
Или еще проще:
У попа была сoбака, которая была чёрная, а она была быстрая
А вот такой шедевр можно привести целиком:
Да, я знаком с этой известной русской народной детской песнью "У попа был пёс". Здесь её приведу в тексте:
У попа был пёс,
Пёс кобылицу словил,
Кобыльчику на голове рог,
Рогом побил в могилу старика,
И сказал: "Ты нынец твоя могила,
А я, как хочу, буду кобылица!"В этом стихотворении рассказывается история пропойского пса, который в результате приключений оказывается превращенным в кобылю.
Эта народная детская песня была написана русским поэтом Иваном Андреевичем Крыловым (1894-1939) и включена в его сборник "Русские народные сказки" (1925). Это стихотворение является одним из самых популярных и воспевается по всему миру.
Кроме того, существует много вариаций этой истории, написанные разными авторами. Например, в другом варианте кобылю убивает куры (или курочка), а сам пёс превращается в курицу.
В общем, это конечно забавно, и можно обьяснить тем что "его никто этому не учил", но тут важно два момента:
1 - он ЗНАЕТ ответ, и даёт его
2 - то что он ЗНАЕТ - придумано им же чуть более чем полностью. При этом может выглядеть вполне достоверно.
Ну хорошо, вы-то знаете и правильное стихотворение, и то, что И.А. Крылов не жил в 1894-1939 годах, и что нет такой народной детской песни, им написанной.
А теперь представьте себя ну скажем джуном-программистом, попросившим написать функцию чуть сложнее "сортировки пузырьком", или начинающим менеджером, попросившим проанализировать динамику продаж в сочетании с расходами на рекламные кампании.
И в ответ хваленый AI-инструмент, хорошо подумав, выдает некий результат, который вы с полпинка не можете сами оценить.
Еще хуже, если у вас есть начальник, который в свое время "принял решение о внедрении", т.е. потратил деньги и поставил на кон свою репутацию, и теперь готов любой ценой отстаивать правоту AI, тем более что сам понятия не имеет что правдоподобно, а что нет (но готов поверить правильно оформленному документу, по ГОСТ).
И эта сказочка принимается как руководящее указание, обязательное к исполнению.
Потому что это современно, модно, молодежно, инновационно, научно, и все так делают.
А мне вспоминаются далекие 1990-е годы, когда на прилавках аптек появились первые импортные презервативы, с гордой надписью "electronnically tested", которая как бы утверждала что они лучше других.
Особенно в глазах людей, для которых "электроника" была некой чудесной магией, непонятной простым смертным, но способной проверить, хм, качество презервативов.
Теперь - с искуственным интеллектом.
Комментарии (70)
Ant80
22.12.2024 13:35недавно думал об этом, мы приходим к своего рода "демографическому кресту", сложность доступных инструментов растёт, а средний интеллект их пользователей падает.
JBFW Автор
22.12.2024 13:35Там даже не в интеллекте пользователей дело.
Получая информацию, любезно предоставленную AI (годы жизни Крылова, формула метана, технология производства картона) люди, не обладавшие этим знанием раньше, не смогут отделить реальность от галлюцинаций.
И посмотреть в Википедии не смогут (статья после обработки AI может нести буквально любую информацию), и в Гугле поискать (результаты поиска с помощью AI по текстам, сгенеренным AI).
Мир, в котором настоящая информация останется только в печатных изданиях докомпьютерной эры, потому что любая оцифровка (с помощью AI) потенциально может стать точкой внесения "улучшений".Интересно может получится...
Ant80
22.12.2024 13:35Так уже сейчас работает медицина в сложных случаях, в результате несогласованного лечения несколькими специалистами в своих областях получаем инвалида, безо всякого искусственного интеллекта. Ну и можно вспомнить совсем старую историю про Аристотеля и восемь ног у мухи.
agat000
22.12.2024 13:35Да в принципе мало что меняется. Человеки становятся все более узко-специализироваными и меньше понимают даже в смежных областях, не говоря уж о дальних. И приходится верить на слово специалистам. Теперь еще и АИ.
Я не врач, не автомеханик, не экономист - в этих вопросах приходится полагаться на узких спецов, даже поверхностно зная основы этих сфер. Эрудиция уже не помогает.
Даже в своей сфере приходится консультироваться с теми, кто глубже знает конкретную тему.
Такова цена цивилизации - все усложняется, начинаешь больше зависеть от сторонних источников информации.
Conung_ViC
22.12.2024 13:35кстати, грок выдал вот такое:
Да, я знаю это стихотворение. Вот оно полностью:У попа была собака, Он её любил. Она съела кусок мяса, Поп её убил.Это короткое стихотворение часто используется в шутку или для иллюстрации абсурдной ситуации.MSCopilot тоже адекватно ответил:
Да, это известное русское народное стихотворение. Оно начинается так:"У попа была собака, он её любил. Она съела кусок мяса, он её убил."Это стихотворение часто используется как примердетской считалочки. Ты хочешь узнать что-то конкретное о нём?JBFW Автор
22.12.2024 13:35Да, грок тоже проверял, он знает
Но это я знаю, что он знает, а если я спрошу у него то, что я не знаю - как я узнаю, знает он или нет? Реальный ответ, или "это классическое произведение, напечатанное Бетховеном на компьютере на сессии в МГИМО"?Вот в чем проблема...
DaneSoul
22.12.2024 13:35С другой стороны, ИИ то не один существует - опросить топ существующих - те ответы что совпадают у разных ИИ с высокой долей вероятности не придуманы, а с реального источника.
JBFW Автор
22.12.2024 13:35Да, но источника может и не быть (взаимозаимствования, особенно не прямо сейчас, а с развитием этого всего), плюс к тому что внедряют-то не "топ-10 ИИ", а один конкретный.
И вот будет он такой, например, помогать писать законы, или оценивать вашу кредитоспособность/благонадежность/профпригодность...
peterjohnsons
22.12.2024 13:35В квантовых вычислительных технологиях та же проблема, есть шум, который накапливается и инженеры тратили колоссальные усилия по борьбе с ним. Это не приговор, в итоге победили, google выпустила новый квантовый процессор, который способен уменьшать ошибки по мере роста числа кубитов на нём. Подобный прорыв тоже будет и для LLM. Как видно частота и величина ошибок падает с ростом параметров модели. Так же растёт и параметр "самокритики", когда модель может чесно признаться что не уверена в чём-то.
LLM улучшаются благодаря прорывам в структуре сети (software), росту параметров (улучшения запоминающей способности, уменьшение ошибок и галлюцинаций), увеличением времени обучения, особенно за пределами достижения минимальных ошибок предсказания токенов (гроккинг).
Предсказываю наступление такого момента в развитии LLM, когда ошибки в ответах и во внутреннем представлении мира в итоге настолько уменьшатся, что ей просто будут пренебрегать, как статистически незначительной. Например когда автопилот согласно статистике будет совершать меньше аварий относительно человеческого вождения, уже можно будет говорить о пользе и превосходстве ИИ над человеком конкретно в этой области. Хотя аварии при это могут продолжать происходить, но это будет приемлемо для людей.
Так и сравнивая с людьми. Например последняя модель OpenAI - o3 уже в некоторых сферах превосходит людей специалистов с научными степенями. Когда будет подавляющее превосходство LLM над людьми во всех сферах, наверное сообщат, что AGI достигнуто. Хотя могут быть очень редкие и незначительные неточности в ответах.
Я считаю, что достичь полного искоренения галлюцинаций удастся когда квантовые чипы достингут продвинутого уровня развития и масштаба, позволяющего как обучать LLM с их помощью практически мгновенно на всём датасете, так и запускать на них же. Получим тогда максимально возможные показатели производительности, благодаря особенностям квантовых вычислений. Ведь мы еще так и не увидели на что LLM способны, просто изза того, что обучение сейчас это поиск писчинки во вселенной, или попытка хоть как то к ней приблизится, бросая на это огромные вычислительные мощности классических процессоров методом перебора.
buratino
22.12.2024 13:35В некоторых сферах специалисты с учеными степенями уверенно врут не хуже сивого мерина, соответственно, AI может превосходить этих специалистов по степени уверенного вранья
Ilya_JOATMON
22.12.2024 13:35Так это давно известный вопрос на который нет ответа. "Если я знаю ответ - зачем у ИИ спрашивать, если я ответ не знаю - как я узнаю что ИИ ответил правильно."
Кстати, то что если ИИ правильно ответил на одну задачу ,абсолютно не значит то, что он ответит правильно на другую похожую.
funca
22.12.2024 13:35Если я знаю ответ - зачем у ИИ спрашивать, если я ответ не знаю - как я узнаю что ИИ ответил правильно.
Нужно оценивать на другом уровне абстракции. Условно, если прибыль растёт, значит ИИ отвечает "правильно" - без относительно того, что это значит и сколько он нагаллюционировал.
Ilya_JOATMON
22.12.2024 13:35А если "прибыль" падает? Тут на сейв поинт не вернешся и не переиграешь. Так что нужен максимально правильный результат.
Hardcoin
22.12.2024 13:35А если вы спросите у человека, как вы узнаете? В медицине фуфломицины на миллиарды долларов выписываются. Не ясно, в чем тут преимущество человека. Меньше галлюцинирует? Пока да, но люди-то не развиваются (в целом), а ИИ лишь на старте развития.
Ilya_JOATMON
22.12.2024 13:35Так человек человеку рознь. Есть эксперты в областях, а есть хрены с горы. Что интересно, многие люди больше доверяют мнению какого-то чувака из инета, чем специалиста.
buratino
22.12.2024 13:35может чего и проверяет.
Но мне он вполне уверенно наврал на запрос о наличии несуществующих команд в некоем протоколе. Сначала выдал описание на несуществующий ID от существующего, потом перепутал описания для двух существующих и повторно выдал описание для несуществующего от одного из двух существующих
Ilya_JOATMON
22.12.2024 13:35Гок выдал только первый куплет, заявил что оно полное, заявил что короткое - хотя оно бесконечное.
Kanut
22.12.2024 13:35Но помнит ли еще кто-нибудь о том, что AI, строго говоря, не гарантирует правильности решений?
А что или кто гарантирует? Ну то есть а люди разве это могут гарантировать?
Но ведь как-то живём, работаем, опять же НТП и всё такое.
JBFW Автор
22.12.2024 13:35Люди рассуждают. У человека, кроме подсистемы "кажется" есть подсистема "подумать".
(это правда совсем не ИТ-тема, но тут оно к месту)Взять, к примеру, детей - на них хорошо бывает видно два разных типа работы мозга:
- одни запоминают материал, хорошо или плохо, потом по запросу выдают ответ, очень быстро, почти не думая: "Волга впадает в Каспийское море", "2*2=4" и так далее. Легко запоминают определения, даты, стихи, и прочее. Минусы: если запомнили неправильно или забыли - ответ будет неверный, "угадайка".
- другие пытаются понять: почему 2*2=4? Потому что 2*2 это 2 раза взять по 2 штуки, то есть 2 + 2, а если сложить 2 + 2 получится 4. Минусы - плохо запоминают то, что нужно "просто запомнить", тратят время на понимание. Зато вопросы где надо думать - подумают и решат, даже если раньше не встречали такого.
В норме у человека работает и то и другое, а вот нейросеть - это как раз первый тип, ассоциативное запоминание.
Ну то есть, если вы вдруг "вспомнили", что Крылов родился в 1901 году, и издал книгу в 1905 - вы сами сообразите, что он не мог сделать это в 4 годика, значит что-то вы помните неправильно, и скорее всего - всё из этого, т.е. по факту не помните ничего про Крылова.Нейросеть этого "недостатка" лишена, она не контролирует логикой сама себя, принимая решение. Как показалось - так и правильно.
Kanut
22.12.2024 13:35Люди рассуждают...
Это всё очень интересно. Но всё равно люди не гарантируют вам правильности решений.
То есть ИИ может быть выдаёт худшие результаты чем какие-то то там люди. Но гарантий у вас не будет в любом случае.
Ну то есть, если вы вдруг "вспомнили", что Крылов родился в 1901 году, и издал книгу в 1905 - вы сами сообразите, что он не мог сделать это в 4 годика
Я бы сказал что найдётся приличное количество людей, которые не сообразят.
peterjohnsons
22.12.2024 13:35В норме у человека работает и то и другое, а вот нейросеть - это как раз первый тип, ассоциативное запоминание.
Не выдумывайте и не плодите эти устаревшие стереотипы. Современные LLM, особенно крупные, обладают обеими типами мышления. Вы бы давно могли это проверить самостоятельно. Просто первый тип мышления достигается на первых этапах обучения LLM, если его остановить, то она будет не сильно смышлёная, а будет повторять заученную информацию, проявляя слабую мыслительную деятельность. Если продолжать обучать такую LLM, то она значительно улучшается в плане понимания и способности рассуждать. Для примера самая быстрая и самая "маленькая" модель от Anthropic - Haiku 3 работала очень плохо, запиналась при вопросах выше среднего, впадала в циклы повторения одних и тех же слов до бесконечности. Но за n-ое количество месяцев, её продолжали обучать и теперь она обогнала в тестах самую умную на момент её выпуска модель - Opus 3. Этот феномен называется кроккинг, когда модель судя по неизменной минимальной ошибке как будто бы обучилась. Но это просто зубрёжка, и если не прерывать процесс обучения то ошибка уже перестаёт уменьшаться, но зато модель переходит к пониманию смыслов, учится думать, т.е. этот ваш второй уровень осваивает.
omxela
22.12.2024 13:35Не выдумывайте и не плодите эти устаревшие стереотипы.
Не выдумывайте и не плодите эти новейшие стереотипы. Вы употребляете понятия "мышление", "понимание смыслов", "учится думать" и т.п., которые не формализованы, смысл и механизм работы которых вовсе не ясны. И перспектива как-то не просматривается. Это, конечно, очень романтично звучит, спору нет. Но LLM - это по-прежнему пусть большая, но языковая модель. Много параметров с приписанными им вероятностями, которые и есть результат обучения. К каким параметрам ближе - те и выбираются. Это сложная система. Вы не видите, что происходит под капотом. И результат может вас удивить. До такой степени, что вы заговорите о "смышлёности" или "способности рассуждать". Но сути дела это не меняет. Это всего-лишь предсказательный автомат. К компьютеру привыкли? Привыкните и к этому. Но не нужно раздувать хайп. Если вы застали так называемый "пузырь дот-комов", то аналогию просмотрите с лёгкостью. Но много людей пострадает ни за что.
peterjohnsons
22.12.2024 13:35Нет, вы как раз демонстрируете устаревшее понимание природы LLM. То, что вы описываете - это примитивное представление о них как о простых статистических моделях. Но современные исследования показывают гораздо более сложную картину.
Да, на низком уровне это действительно параметры и вероятности. Но точно так же человеческий мозг на низком уровне - это просто нейроны и синапсы с электрохимическими сигналами. Суть в том, что из этих базовых элементов возникают более сложные паттерны и способности.
Возьмём тот же "пузырь доткомов" который вы упомянули - это совершенно некорректная аналогия. Доткомы были основаны на завышенных ожиданиях от примитивных веб-технологий. А современные LLM демонстрируют вполне реальные достижения - они проходят сложнейшие тесты, решают математические задачи с пошаговыми рассуждениями, пишут работающий программный код, ведут осмысленные дискуссии по сложным темам.
То, что мы не до конца понимаем механизмы работы этих систем, не означает, что нужно отрицать наблюдаемые результаты. Кстати, многие процессы человеческого мышления тоже до сих пор не формализованы, но это не мешает нам признавать их существование.
Так что давайте судить по фактическим достижениям, а не по устаревшим теоретическим представлениям двадцатилетней давности о том, чем "должны" быть нейросети.
JBFW Автор
22.12.2024 13:35Аналогия с доткомами как раз самая прямая:
- появилась перспективная технология, и менеджеры тут же за нее ухватились: уух, мы сейчас!!А "сейчас" не получилось. Прошло много лет до появления Алибабы (как площадки для продажи продукции заводов) и Амазона (розничного маркетплейса), а потом еще много лет до открытия в каждой деревне пунктов выдачи Озон и WB, которые только в последние несколько лет реально подвинули оффлайн-торговлю.
И это не потому что "примитивные веб-технологии", дело не в навороченном дизайне и крутых джаваскриптах, дело в проникновении веба в каждый телефон и каждый телевизор, когда любой бабке проще открыть сайт или приложение на телефоне и заказать новые спицы, чем тащиться в магазин через весь город.
Общество, бизнес, банки созрели для того чтобы техническая возможность стала частью жизни.И вот теперь AI находится как раз в стадии доткомов: он вышел из лабораторий и скучных исследований "будем программировать сеть из 10 узлов и 3 слоев", теперь AI пишет тексты, ведет заумные беседы и сочиняет стихи.
Уух, мы сейчас!! - закричали менеджеры....С другой стороны, пока менеджеры кричат - идут инвестиции и оплачивается работа по улучшению...
peterjohnsons
22.12.2024 13:35Давайте посмотрим на конкретные факты, которые показывают фундаментальное отличие текущей ситуации от пузыря доткомов.
В эпоху доткомов мы видели рост NASDAQ на 500%, основанный на "воздухе" - в 1999 году сотни убыточных компаний выходили на биржу с одним лишь веб-сайтом в активе. Им требовались годы для создания реальной инфраструктуры.
Сегодня 72% организаций уже внедряют AI, причём 20% активно его используют с измеримыми результатами. Например, X5 Group благодаря AI сократила списания на 2% и увеличила выручку на 1%. Это не "перспективы", а реальные деньги.
И технологический прогресс продолжается. Буквально в начале декабря 2024 года Google представила квантовый процессор Willow, который способен решать за 5 минут задачи, требующие от обычных компьютеров времени больше возраста Вселенной. Это не маркетинговый хайп - процессор уже демонстрирует работающую квантовую коррекцию ошибок, открывая путь к практическому применению квантовых вычислений в AI.
Так что да, определённый инвестиционный ажиотаж есть. Но в отличие от доткомов, за ним стоят не просто "идеи", а работающие технологии, которые уже приносят измеримую пользу и продолжают стремительно развиваться. Это качественно другая ситуация.
randomsimplenumber
22.12.2024 13:3520% активно его используют с измеримыми результатами
У 80% результат ниже погрешности измерения. У 20% лучших - на уровне погрешности (1%, серьезно??).
JBFW Автор
22.12.2024 13:35Сегодняшняя новость (чисто по памяти, попалось в ленте между ГОСТом на шаурму и запретом Вотсапа):
BBC возмущена тем что какой-то AI от Apple, формируя ленту новостей, произвольно вставлял в нее придуманные им же новости "от BBC".
Возможно, эта новость тоже была им придумана ))
peterjohnsons
22.12.2024 13:35А мне вот какая новость с хабра попалась:
Победа Claude (Anthropic)
По данным Anthropic, GitLab сообщает об улучшении эффективности на 25-50% среди своих команд разработчиков, использующих Claude. Sourcegraph, платформа для анализа кода, зафиксировала увеличение темпов вставки кода на 75% после перехода на Claude в качестве основной модели AI.
Фейл ChatGPT (OpenAI)Однако эффекты от помощников по кодированию на основе AI не являются равномерно положительными в масштабах всей отрасли. Исследование Uplevel не выявило значительных улучшений производительности для разработчиков, использующих GitHub Copilot. Ещё более тревожно, исследование зафиксировало увеличение количества ошибок на 41% при использовании инструмента AI
Так что не стоит однобоко смотреть. Если вестись на хайп вокруг OpenAI может сложится мнение, что ИИ не приносит пользы программистами и компаниям разработчикам ПО. Только забывают уточнить о каком именно ИИ идёт речь, их много, все разные и подходят для разных ниш по разному.
https://habr.com/ru/companies/bothub/news/869104/JBFW Автор
22.12.2024 13:35платформа для анализа кода, зафиксировала увеличение темпов вставки кода на 75% после перехода на Claude в качестве основной модели AI
слышу до боли знакомое "хлеборобы увеличили обмолот пшеницы до 123 центнеров с гектара!"
Так-то качество работы сервисов и повышение доходности компании наверное не в темпах вставки кода определяется. Хотя смотря для кого...
peterjohnsons
22.12.2024 13:35Ну теперь я точно знаю что ты или совсем не кодер, или кодер-старовер. А я кодер, и я лично знаю насколько Sonnet 3.5 лучше чем ChatGPT-4o. У ChatGPT память рассыпается с каждым ответом и она начинает выдумывать новый код вместо старого, при попытке его воспроизвести (у Geminni с этим или еще хуже или так же, аутсайдеров я между собой не сравнивал). Это раздражает больше всего. Sonnet 3.5 последняя очень хорошо держит понимание кода, поэтому её хвалят. Короче я понял, подобные негативные комментарии просто от непрофильных специалистов, не тестировавшие модели на реальных обьемных контекстах кода.
JBFW Автор
22.12.2024 13:35Короче, совсем не понял ))
Речь вообще шла не о запоминании придуманного ранее кода языковыми моделями, тем более в такой узкой нише как "помоги написать функцию"
Bluewolf
22.12.2024 13:35Люди рассуждают не все, не всегда, а когда рассуждают - часто делают это некорректно. Не вижу каких-то особых отличий.
constXife
22.12.2024 13:35Спасибо, автор, только ради таких постов и подписан на блог "Искусственный интеллект".
Thomas_Hanniball
22.12.2024 13:35Спасибо за вашу статью и внимание к ChatGPT! Мы всегда ценим конструктивную критику, поскольку она помогает нам улучшать сервис. Мы признаем, что, как и любая технология, ChatGPT имеет свои ограничения, и важно быть внимательным к тем аспектам, где мы можем стать лучше. Ваши замечания полезны для дальнейшей работы, и мы продолжим совершенствовать модель, чтобы она была более точной, полезной и безопасной для пользователей. Благодарим вас за активную позицию и интерес к развитию искусственного интеллекта! /sarcasm
Thomas_Hanniball
22.12.2024 13:35Краткое содержимое этой статьи (https://habr.com/ru/articles/868734/) от ChatGPT.
Статья обсуждает опасности чрезмерного доверия к искусственному интеллекту (ИИ) при принятии решений. Автор показывает, как ИИ может генерировать неверные или вымышленные ответы, которые выглядят правдоподобно, но на самом деле содержат ошибки. Это особенно опасно, когда люди, не имеющие глубоких знаний в области, начинают полагаться на такие системы для принятия важных решений. Статья подчеркивает необходимость осторожности и осознания ограничений ИИ, чтобы избежать ошибок, которые могут возникнуть из-за ложной уверенности в технологиях.
FifthLeg
22.12.2024 13:35с гордой надписью "electronnically tested", которая как бы утверждала что они лучше других.
Разве не были лучше? По крайней мере были проверены что дырки нету.
omxela
22.12.2024 13:35И что за могучая электроника проверяла, что нету дырки? Датчик давления?
FifthLeg
22.12.2024 13:35Там же не было написано, проверено могучей электроникой. Датчик давления с обвязкой вполне может быть электроникой.
agat000
22.12.2024 13:35не поленился, прояндексировал. Проверяют высоким напряжением в развернутом виде. Электроника вообще ни при чем, разве что для принятия решения о выбраковке.
Хотя в ответах и другие варианты есть, дичь полная, типа надувания и наполнения водой.
Познавательно.
Imaginarium
22.12.2024 13:35Я всё жду, когда люди поймут, что llm не производят смысл, мы сами определяем его присутствие или отсутствие в выводе ботов с llm. Другими словами, мы должны заранее знать ответ на вопрос, который спрашиваем у llm, чтобы его верифицировать. Наверное, чтобы гарантировать (слабо) достоверность ответов, llm она должна учиться так, чтобы воспроизвести в своем обучении весь процесс создания знаний человечеством, в точности -- и мы получим результат в виде осведомленности с учётом известных искажений и ошибок, то есть, результат не очень высокого качества.
Конечно же, llm не мыслит и не является серебряной пулей, несмотря на высказанные в комментариях выше мечты и прочий гроккинг. Llm -- типичный костыль, автомат, не очень хорошо понятно что автоматизирующий (аутсорсинг уверенности?), который рано или поздно перенесет на свой продукт свою стоимость и на этом всё кончится. Но пока корпорации закидывают деньгами будет на слуху, да.
Bluewolf
22.12.2024 13:35Кожаным мешкам просто неприятно) Хотя никакого отдельного механизма логики в двух килограммах киселя в голове нет, как и всего процесса создания знаний человечеством.
А есть набор довольно плохо обученных нейронок и крошечное ОЗУ, позволяющее дико медленно и с ошибками оперировать логическими правилами с небольшим объемом информации, и требующего костылей, начиная от бумаги с ручкой до гораздо более сложных штук для чего-то большего.
ayevdoshenko
22.12.2024 13:35Тут ведь речь не про неприятность, а про опасность отсутствия критического отношения к выдаче ИИ, а так же про то, что отсутствие фильтров может и скорее всего запустит наводнение интернета массой скам-контента, который станет попадать уже на вход обучения новым ИИ.
Ну и да - я согласен с автором в том, что если сам не знаешь ответа, то один источник - не истина в последней инстанции, нужно как минимум воспользоваться несколькими, что, опять же, необходимо и когда информация поступает не от ИИ. Опять же ИИ мне лично помогает быстрее справляться с рутиной; а так же и получать гипотезы, которые потом нужно проверить, но нагенерировать быстрее - с ИИ.
Imaginarium
22.12.2024 13:35Хотя никакого отдельного механизма логики в двух килограммах киселя в голове нет, как и всего процесса создания знаний человечеством.
Совершенно очевидно, что, учитывая алогичность и обилие иррационального в поведении человека, Вы абсолютно неправы) в этих самых паре кило жирной ткани логики как раз крайне мало, зато есть масса эвристики, которая вообще неописуема и неопределяема в настоящее время.
В любом случае, кожаным мешкам должно быть совершенно всё равно, т.к. при любом исходе спора о логике в киселе, создать машину, производящую прибавочную стоимость попросту невозможно, это всё равно что вечный двигатель создать, и поэтому любые влажные мечты о "сильном ИИ" попросту безосновательны. Нет, мы можем, конечно, натянуть пернатое на сферу, и решить, что то, что мы получаем от "ИИ" -- именно то, что нам и нужно: как раз сейчас этим всем натужно занимаются даже в этом топике, но довольно скоро это нам надоест. Как и всегда)
agat000
22.12.2024 13:35На это есть старая шутка:
"Компьютеры бесподобны - за одну минуту они могут совершить такую ошибку, на которую у сотни человек уйдет месяц".
И другая - "У сверхпрограммы будут сверхглюки".
В общем ничего принципиально не поменяется - человеки тоже ошибаются и глючат. А иногда даже целенаправленно врут и искажают инфо. Кому больше верить - это еще вопрос.
Politura
22.12.2024 13:35А теперь представьте себя ну скажем джуном-программистом, попросившим написать функцию чуть сложнее "сортировки пузырьком", или начинающим менеджером, попросившим проанализировать динамику продаж в сочетании с расходами на рекламные кампании.И в ответ хваленый AI-инструмент, хорошо подумав, выдает некий результат, который вы с полпинка не можете сами оценить.
Джун, если глупый, то сделает пул-реквест и если AI накосячил - получит по башке от того, кто будет ревьюить. Если умный, то будет разбираться в коде, пока его досконально не разберет и не поймет правильно ли он решает задачу, или нет.
В таком ключе AI вряд ли ускорит работу джуна. В какой-то мере он может ему помочь вырасти, разбирая сгенерированный код, хотя, подозреваю, что джун вырастет быстрее если будет сам его писать. Однако я точно знаю, что AI может вполне ускорить работу сеньера генерируя код под простые задачи, типа, feature flag removal, где сеньеру будет достаточно беглого взгляда, чтоб понять, сделано правильно, или нет.
Иными словами, вы неправильно позиционируете текущий AI. Это не оракул, способный решить вам задачу, которую вы не понимаете. Это джун, помогающий сеньеру быстро решать рутинные задачи не требующие большого ума.
JBFW Автор
22.12.2024 13:35так это не я его так позиционирую, это так сейчас везде подается.
А вот как инструмент, помогающий быстро решить какую-то фигню типа "как там у нас окошко по центру CSSом расположить?" - вполне можно.
ayevdoshenko
22.12.2024 13:35Ну не только. Я активно пользуюсь и генерацией гипотез в том, в чем не разбираюсь или разбираюсь слабо - ИИ генерит их быстро и так же быстро, запросами дальнейшими, можно корректировать эти гипотезы и с помощью ИИ "доводить их до ума". Но в целом - да, использование ИИ никак не избавляет от необходимости думать самому : )
TrololoGpt
22.12.2024 13:35«Автор, браво! Читаешь вашу статью — и ощущение, будто вы соревновались с AI, кто сделает больше логических кульбитов за минуту. AI ошибается, говорите? Спасибо за открытие! Если бы он не ошибался, его бы давно назвали не “искусственным”, а “идеальным”. Но вы, конечно, правы: доверять без оглядки нельзя — ни машине, ни человеку. Особенно, если человек пишет статью, сравнивая AI с презервативами.
Кстати, ваша идея про “электронно протестированный” AI — это гениально. Предлагаю внедрить новый ГОСТ: если модель не прошла ваши тесты на знание русских народных стихов, запрещаем её к использованию. Ведь, как мы знаем, от того, как AI рифмует про собаку, напрямую зависит успех рекламной кампании.
А ещё про начальников и “руководящие указания” — остро, но как-то знакомо. У вас явно был личный опыт, а мы тут всё на AI гоняем. Может, вместо статьи про “неправильность решений” стоит написать что-то вроде “Почему начальники хуже AI?” Это, поверьте, найдёт горячий отклик у вашей аудитории.
В общем, спасибо за эмоции, но вот за конструктив — явно не к вам. Пока AI хоть что-то считает, вы тут себе надумали проблему из пустоты. Зато про Ивана Андреевича Крылова повеселили, почти как AI. Ждём ваш следующий шедевр, например, о том, как машина не умеет готовить борщ!»
JBFW Автор
22.12.2024 13:35А вот кого-то задело ))
Возможно, того самого начальника, решившего внедрить AI в своем хозяйстве.TrololoGpt
22.12.2024 13:35У автора этих строк нет чувств. Это не помешало ему выдать этот текст на промт - ответь автору статьи с элементами троллинга в его адрес
JBFW Автор
22.12.2024 13:35но промт кто-то же составил _именно так_ )
Это и был автор. А буковки печатать и голосовым вводом можно, это не делает автором слушалку голоса
zabanen2
22.12.2024 13:35хз почему у такой статьи такой высокий рейтинг на хабре. автор сам говорит: "помогает ускорить различные процессы", "не гарантирует правильности решений". Всё по Геделю о полноте системы.
Вот более насущный вопрос: все AI системы - коммерческие. Когда уже том же вопросе про стих, AI будет говорить: "ну что вы прицепились Маяковскому, у него во такие недостатки, вот тут приврал, тут непоэтично. Лучше послушайте новый трек Моргенштейна, который затрагивает проблему блаблабла"
sergeyns
22.12.2024 13:35Ладно когда AI ответил на ваш запрос,... я знаю, остальные люди научаться что AI может отвечать фигню, главное чтобы было понятно что это именно AI. Хуже когда будет непонятно (как уже сейчас в гугле - сначала выдается ответ сгенерированный AI) где ответ AI, а где результат поиска по реальным документам. А вот когда объем инфы, сгенерированной AI станет настолько большим (а есть ощущение что это уже близка), что даже классическим поиском будут находится только галлюцинации - вот тогда будет вообще весело...
Kanut
22.12.2024 13:35У того же chatGPT можно в "индивидуальной информации" указать чтобы он всегда давал ссылки на оригинальные источники. И это вполне себе работает.
И не вижу проблем добавить такую же опцию и для поиска через ИИ. Другое дело что такие вещи совсем не обязательно будут бесплатными или точнее не обязательно будут доступны в бесплатных версиях.
gree-gorey
22.12.2024 13:35AI-инструмент, хорошо подумав, выдает некий результат, который вы с полпинка не можете сами оценить.
Ну так поэтому для GenAI и LLM существует целый ряд задач, которые они хорошо решают, как помощник для человека. Есть хороший принцип, описанный в этой статье на Medium:
Generative AI is most helpful when assisting humans by solving problems where solutions are Hard to Make, but Easy to Check (HMEC).
То есть, все эти LLM помощники хороши, например там, где нужно перелопатить огромную кучу документов, чтобы найти ответ. Но как только ответ найден - проверить его легко - человеку достаточно посмотреть на документ, найденный нейросетью (работает только с сетями, предоставляющими ссылки). Это очень хорошо работает в сферах с большим количеством документов, например, юриспруденции, медицине и т.п. Людям там понадобится гораздо больше времени, чтобы что-то найти, и не факт, что они что-то не упустят.
LLM - это инструмент, и странно считать, что чат-бот широкого профиля решит за нас все задачи. Нужно учить людей им пользоваться и понимать как и что он решает хорошо, а что не очень. В конце концов, люди и простой гугл поиск используют для того, чтобы находить доказательства плоской Земли, написанные другими людьми, то есть это не проблема AI.
iroln
22.12.2024 13:35Проблема не в том, что AI ошибается и галлюцинирует by design. Проблема в том, что он не может остановиться и не может принять решение, что он не способен решить задачу в принципе и сообщить об этом пользователю. Он будет до бесконечности извиняться и "исправлять" своё решение, каждый раз выдавая что-то типа "да ты прав, тут ошибка, вот исправленное решение", и уверенно генерировать очередную порцию правдоподобного бреда с тестами, которые не проходят, с "фактами", которые не существуют. И он никогда не остановится. Вот в этом проблема.
DreamingKitten
юнит-тесты для этого придуманы.
Conung_ViC
которые тоже AI будет писать
killyself
Пишем юнит тесты на юнит тесты в 10 кругов, если ВСЁ запускается - то верим
randomsimplenumber
Дешевле самому написать эту сортировку ;)
Wizard_of_light
"Если программа не запускается-в ней ошибка, а если запускается-в ней две взаимокомпенсирующие ошибки". Дырочки в
кошкеюнит-тестах могут оказаться точно напротивглазокошибок.UFO_01
Когда говорят про юнит-тесты, но забывают интеграционные, каждый раз эту байку вспоминаю (вольная интерпретация)
dididididi
Если она сначала написала код, что корабль утонет, то и юнит тесты она напишет, и честно проверит, что корабль утонет.
DreamingKitten
Вы зачем-то исходите из заведомо идиотской предпосылки. Это примерно то же самое, что поручать код-ревью тому же, кто этот код и написал. Если в команде процессы настроены таким образом, тимлида надо гнать в шею, а не ныть по поводу ущербности нейросетей. Как говорится, дай дураку ...й стеклянный -- он и его разобъёт и руки порежет.