ИИ шагает по планете и входит в нашу повседневную жизнь. Но иногда преподносит сюрпризы. Некоторые из них - неприятные.
Моя электрическая газонокосилка начала выбивать в доме пробки.
Я решил с ней разобраться.
Агрегат состоит, грубо говоря, из несколько мудрёного включателя (с дополнительной кнопкой) и электромотора. Разберёмся, кто из них коротит. Так думал я. Вскрыв агрегат, я увидел ещё и конденсатор. Похоже, виновником был он.
Чтобы восстановить в голове школьные познания по физике конденсатора (ментальную модель) стал я расспрашивать про конденсатор ИИ (Copilot). Я задал ему две серии вопросов. Ответы ИИ в обоих случаях были логичны и последовательны, но … противоречили друг-другу.
Пришлось порыться в Википедии и физическом словаре. Оказалось, что ИИ был в обоих случаях прав. Но… конденсатор ведёт себя очень по-разному под постоянным током и под переменным током.
Любой электрик первым делом спросил бы меня - а какой у тебя ток, постоянный или переменный? Я в своих вопросах напрямую тип тока не упоминал. А ИИ, не спрося меня об этом, «садился» на ту или иную «ветку» теории.
Для меня это пример, когда использование рекомендаций ИИ может оказаться очень опасным.
Думаю, таких областей, где поведение объектов очень различается в зависимости от контекста, очень много. И, насколько я понимаю, «напрямую» в базирующихся на GPT технологиях эта проблема не решается. А догадываться о контексте на уровне «обвязок» тоже непонятно как.
А что думают по этому поводу специалисты по ИИ?
P.S. И, если вас это волнует - конденсатор я поменял и газонокосилка заработала. А виновник - на снимке.
Дополнение.
Я планировал написать очень короткую заметку, описывающую мой один конкретный опыт. Но по прочтению первых комментариев решил её дополнить упоминанием о собственных многочисленных экспериментах в области практического использования ИИ в программировании.
Последнее время я в своих проектах сравниваю два ассистента - платный GitHub Copilot и бесплатный (подозреваю - пока) - Gemini. (Кому интересно, некоторые из них я описывал в своей ТГ группе).
Оба весьма опаздывают за прогрессом (иногда спорным в Angular). Особенно этим грешит Github Copilot. Он предлагает решения с использованием фич, которые хорошо описаны, но уже помечены разработчиками Angular как deprecated.
А ведь это проблема, очень похожая на проблему с постоянным и переменным током. А именно: существуют два варианта технологии. Оба позволяют решить некую задачу. Разработчики предлагают использовать новый вариант их технологии, а ИИ, наученный на старых примерах, рекомендует вам старый.
Понятно, что проблема эта общая. В программировании компилятор подскажет программисту, что решение deprecated. А кто подскажет инженеру или врачу, если они начнут консультироваться с ИИ?
Комментарии (69)
Myclass
30.05.2025 18:32Про компьютеры, про телевизор, телефон, интернет, и вот сейчас про ИИ - будет куча людей, которых оно делает тупее, а будут те, кто это возьмёт на вооружение и будет только получать выгоду.
pnmv
30.05.2025 18:32получение прямой выгоды от технологии не отменяет высокую вероятность отупения, поскольку применять будут "на автомате".
Vcoderlab
30.05.2025 18:32Похоже, у автора пробился X-конденсатор (стоящий между двумя проводами, идущими в розетку). Но при чём тут ИИ?
Где промпт? Где ответы ИИ? Где анализ ответов с указанием правильных и ошибочных мест?
ИИ - не учитель. Он помощник для тех, кто уже разбирается в предмете настолько, чтобы отличить его фантазии от реальности.
visirok Автор
30.05.2025 18:32ИИ - не учитель.
Многие, включая меня, часто используют ИИ, чтобы не лезть в гугл, который вместо ответа заваливает тебя рекламой.
lazy_val
30.05.2025 18:32Меня гуглопоиск заваливает своими AI Overview, под которыми сам же расписывется AI responses may include mistakes. С рекламой проще было, ее скипаешь просто и смотришь реальные ответы.
tage_whanuvur
30.05.2025 18:32учитель: как правильно ирак или иран ?
ученица: ирак
учительница: нет - это разные страны
ученица: но вы не так спрашивали
© есть такой мем-видос из класса
inkelyad
30.05.2025 18:32Я на это каждый раз жалуюсь в комментариях, когда очередная статья "мы ИИ прикрутили к поиску" появляется. Весь этот поиск до сих пор не умеет переспрашивать (за исключением очень редких случаев) "Тут есть варианты <список>, вам про какой надо?"
pnmv
30.05.2025 18:32вместо обучения человеков правильно и конкретно писать запросы, придумали учить роботов додумывать.
но, чтобы обучить корректно додумывать, нужно, сначала, научить правильно думать. этот момент они упустили.
inkelyad
30.05.2025 18:32придумали учить роботов додумывать
А точно учили? Мне казалось, что оно более-менее by design и просто из их устройства следует - скатываться в наиболее вероятный ответ.
А по поводу 'сначала' - я вот не уверен. Человек тоже не сразу рефлексию 'о чем я думаю и в какую сторону' умеет. Доделывание с вариантами и у человека, вроде бы отдельно тренировать надо.
pnmv
30.05.2025 18:32А точно учили?
не учили, а придумали учить. это не одно и то же. попытка, как известно, не пытка, но есть один нюанс.
Доделывание с вариантами и у человека, вроде бы отдельно тренировать надо.
прежде доделывания, нужно научиться "делать примерно так же". это то, на чём, пока что, плотно сидят современные "вумные контуперные роботы" (нейронные сети).
JBFW
30.05.2025 18:32Был, можно сказать, натурный эксперимент (на самом деле не эксперимент - просто два разных учителя младших классов в одной и той же школе)
В одном классе - учитель пытался детям обьяснять к примеру арифметику, и требовал точных ответов. Если отвечали неправильно - требовал подумать и пересчитать.
У него были троечники, до которых доходило с трудом, руководство было этим недовольно.В другом классе - учитель просто натаскивал детей "на датасеты" и потом проводил экспресс-опросы, типа: "сколько будет 4*6?" - кто первым выкрикнул правильное - тот и молодец. Кто неправильное - попробует угадать на следующем вопросе.
Троечников у него не было, как вы понимаете. Прекрасный учитель, дети усваивают материал быстро, все довольны.И вот результат я потом видел: чел, учившийся по второй методике, "знал всё", половину неправильно, думать и рефлексировать не умел в принципе, но был в своих знаниях уверен. И до окончания школы так и не научился думать...
Hardcoin
30.05.2025 18:32Обучить человеков? Сто лет пытаются обучать человеков. Выходит средне, приходится жить с тем, что есть. Если разработчик сервиса не живёт в стране розовых единорогов, ни о каком «обучу миллион пользователей» он не будет думать.
pnmv
30.05.2025 18:32разработчику надо привлечь пользователей, или нет?
если это просто распил, пришлите мне мои сорок шекелей, и я таки уже пойду по своим делам.
morheus9
30.05.2025 18:32Решение проблемы частично решает заезжаный всеми MCP , который позволяет дать модели контекст
А так да, думать тоже надо. ИИ помошник, а не замена мозгов, во всяком случае пока.
engine9
30.05.2025 18:32Я эмпирически установил, что в электронике прям очень неплохо шарит Claude. Я даже кидал ему табличные значения ВАХ и просил угадать что это и он отвечал верно. Он прям пугающе хорош в вопросах электроники, но иногда ерунду говорит. Но ChatGPT тот в сравнении в этой теме вообще двоечник.
lazy_val
30.05.2025 18:32Любая (общеизвестная) LLM (от Сэма, Амодея, гугла, французов, китайцев, зеленых банков и прочих) при решении задач по электричеству путает системы СИ и СГС. Проверено лично на множестве примеров. Особенно любит складывать диэлектрическую проницаемость вакуума в системе СИ (Ф/м) и просто диэлекрическую проницаемость диэлектрика (безразмерная величина). Ну то есть как килограммы со штуками складывать.
SofiaVonH
30.05.2025 18:32Я с вами полностью согласна. Совет, задавать все важные детали в промпте, в этом случае неуместен. Если мне все детали известны, то я не буду задавать вопрос. А если неизвестны и ИИ не даёт мне подсказок, то помощь от него сомнительная.
В этом случае нужны не контекстные знания, а определённая техника промптинга.
Green__Hat
30.05.2025 18:32ИИ работает от запроса.
Если вы четко знаете, чего хотите и разбираетесь в теме, лучше задавать вопрос однозначно, ясно и закрыто. Таким же образом писать хотелки.
Если в теме профан, то всегда надо спрашивать "предложи варианты". Иначе начнешь умничать и строя предположения подсказывать ИИ ответы, тогда можно зайти в дебри, так как ты не знаешь как надо, но толкаешь беседу вопросами и робот покорно идет в рассуждении следом, полагаясь на кожаного.
В вашем случае не надо было щеголять обрывками забытой школьной программы, а честно написать, мол так и так, разобрал косилку, кто виноват и что делать. Иначе робот начинает генерировать ответы на вопросы, а вы и не знаете о чем толком спрашивать
inkelyad
30.05.2025 18:32то всегда надо спрашивать "предложи варианты"
Вопрос на засыпку - почему у поисковых (т.е. "хочу найти знания о...") ИИ такое прямо явно не вбито или в виде галочки?
zhka
30.05.2025 18:32Так у человека может возникнуть ложная уверенность в том, что бывает более одного ответа на вопрос Или что по вопросу существует некая полемика. Это пугает электорат,
slog2
30.05.2025 18:32А может проблема не с ИИ, а с тем что у вас не достаточно базовых знаний по конкретной теме чтобы правильно сформулировать промпт?
AlexanderMatveev
30.05.2025 18:32Вчера менял зимние шины на летние (да, поздно) и ради интереса спросил, куда ставить более изношенные шины. ИИ от Гугла тоже выдал странное. А это может стоить кому-то жизни.
deepmind7
30.05.2025 18:32Ну вы же не сказали какие у вас ведущие колёса, а какие рулевые. Ваш альтернативный совет также может стоить кому-то жизни.
DSSilver
30.05.2025 18:32Так он же, вроде, правильно ответил)
Старые - спереди, новые - сзади. Так же как во фрагменте статьи из обычного поиска ниже)
randomsimplenumber
30.05.2025 18:32Тут бы мнение не анонимуса из интернета, а кого-то из взрослых. Профессора из автотранспортного института например. А то мне кажется, кто это перепечатки советов из журнала ЗА Рулём. Может, при наличии АБС и нет разницы?
vadimr
30.05.2025 18:32АБС не волшебством же работает. Лысая резина заблокируется раньше.
Ответ зависит от типа привода, развесовки и той цели, которой вы в принципе хотите достичь. Если у вас задний привод и вы боретесь с заносом, то надо беречь задние, а если передний и со сносом, то передние. А так вообще лучше, когда резина свежая везде.
Что касается профессора. Профессор Цыганков, помнится, рассматривал около 20 способов торможения. Автора какой из них интересует? Или может не торможение вообще? Если он хочет на бмв тапку в пол на светофоре, то точно хорошие надо назад.
А если не лезть в науку, а руководствоваться формальными соображениями, то: резину рекомендуется менять на всех 4 колёсах, а порядок перестановки шин при износе описан в руководстве по эксплуатации вашего автомобиля.
randomsimplenumber
30.05.2025 18:32резину рекомендуется менять на всех 4 колёсах, а порядок перестановки шин при износе описан в руководстве по эксплуатации вашего автомобиля.
Однозначно да. Но тут спрашивали, как насчёт менять только 2 колеса..
vadimr
30.05.2025 18:32Ну LLM обычно не с руки посылать пользователя в пешее эротическое, как сделал бы в данном случае специалист.
randomsimplenumber
30.05.2025 18:32Вот именно. Но если этот ваш llm обучен на журнале ЗаРулем - каких откровений от него можно ожидать?
johnfound
30.05.2025 18:32Есть такое мнение и оно существует давно. И есть под собой основания. По автофорумам, если такие остались, обсуждается часто и становится иногда поводом холиваров.
saag
30.05.2025 18:32Послушайте, хомо, на месте вашего светила когда то была другая звезда, со своей планетной системой и даже обитателями, они тоже в процессе своего развития увлеклись искуственными помощниками, теперь нет ни звезды, ни планетной системы, только в память о них вы носите на себе кусочки металла, это конечно делает вам честь, но не забывайте откуда этот металл взялся в конце концов:-)
visirok Автор
30.05.2025 18:32Комментарии к статье подтверждает гипотезу, возникшую у меня в результате моего пассивного мониторинга происходящего в сфере ИИ - описаная проблема, похоже, не распознана и, как следствие, пока не имеет названия.
Попробуем тогда сами разобраться, о чём идёт речь.
Представим, что у нас есть запрос к банку данных вида
SELECT * FROM A WHERE x1=… x2=…
Если запросу удовлетворяет множество объектов, то DB их и выдаст или скажет, что их слишком много для выдачи.
А ИИ ведёт себя так, как если бы DB выдавало один объект, не предупреждая об их количестве.
Как правильно назвать такое поведение? Первое, что приходит в голову - «Умалчивание многозначности ответа».
Если зайти с другой стороны - наш запрос с точки зрения содержания DB недостаточно чёток.
Поэтому второй вариант названия этой проблемы - «Игнорирование нечёткости запроса».
Есть ли другие идеи?
vadimr
30.05.2025 18:32Ещё раз. LLM вообще не манипулирует содержанием. Ваш селект бесконечно ближе к сути дела, чем LLM. Это происходит потому, что кто-то (человек) провёл анализ предметной области и отобразил её семантические домены в домены базы данных. LLM ничего такого не делает и не должен. Он просто переставляет слова.
visirok Автор
30.05.2025 18:32LLM вообще не манипулирует содержанием
Про это я не говорил.
Ваш селект…
Я его использовал для пояснения аналогии, а не для сравнения.
Он просто переставляет слова…
Не соглашусь. Тут количество давно перешло в качество. ИИ генерирует полезные фрагменты программ и даёт полезные ответы на многие вопросы.
Поэтому важно иметь по его поводу работающую ментальную модель, а следовательно - знать и уметь называть его свойства. По крайней мере в его нынешней ипостаси. И одно важное, обсуждаемое в статье свойство современных ИИ - умалчивание (игнорирование) многозначности ответов.
vadimr
30.05.2025 18:32Если вам полезна перестановка слов в выдаче поискового сервера, то и слова богу. Не надо только думать, что в ней содержатся какие-то новые знания.
visirok Автор
30.05.2025 18:32Что такое новое знание - вопрос определения этого понятия. Я использую куски кода, сгенерированные ИИ, которых до этого никто не писал.
Можно (нужно) ли называть это новым знанием - вопрос открытый.
Zuy
30.05.2025 18:32А можно где-то увидеть что конкретно его спросили и как он ответил? А то можно так спросит, что и человек разные ответы даст.
Nurked
Это примерно так же, как если бы хирург подошёл к пациенту и сказал: "Ба! Если вы не будете чистить ногти - то у вас может развиться заражение. Дайте-ка я вам щас ногтями займусь."
Тем временем, у пациента оторвано всё до середины позвоночника.
Вы нашли "новую проблему" в том, что является проблемой.
Вы только не на том уровне и не то ищете.
Проблема как была так и осталась: Отвественность человека. Может ли он взять на себя ответственность за что-то? Не вину. Не "Ай-ай-ай!" А именно отвественность: "Несмотря ни на что, я убежусь, что эта штука будет работать!".
Способов сделать что-то правильно - всегда один. Например, завести автомобиль правильно можно выполнив несложную последовательность действий. Завести автомобиль НЕправильно можно бесконечным количеством способов.
Теперь вы к бесконечному количеству способов прибавляете ИИ. Он позволяет решить проблему ещё одним бесконечным количеством способов. Одна бесконечность, плюс ещё одна бесконечность, дают вам в итоге одну бесконечность. Так что особо ничего не меняется.
У нас есть надежда, что существует небольшое количество людей, которые возьмут и сами изучат необходимые материалы с помщью ИИ. Но, это как в Фильме 43:
Сколько бы люди не выли о том, что ИИ - это следующая ступень эволюции, и будет находить и обучать за секунды, в реальности это просто ещё один повод для кого-то не делать своей работы.
А вы тут рассказываете, что проблема в том, что ИИ чего-то не понимает. ИИ понимает лишь настолько хорошо, насколько хорошие материалы в него загружены. А если большинство материалов в Common Crawl о том, что никто не понимает, что такое постоянный ток, то и ИИ этого "понимать" не будет.
visirok Автор
Наверное, я недостаточно пояснил суть.
Есть приборы и природные феномены, которые ведут себя по-разному в разных контекстах или ситуациях. Спрашивающий может об этом не знать. А ИИ «попадает» на множество знаний из другого контекста и выдаёт вроде бы абсолютно правильные сведения или советы.
Вот в чём проблема.
pnmv
не он попадает, а в него. потом, приходим уловные "мы с вами" и пишем не достаточно конкретный запрос (ах, простите, ну конечно же "промпт"!)
поскольку индусосеть (нет, не расизм, и вообще отсылка к относительно последним новостям) - это весьма продвинутое "автодополнение" пользовательского текста, то и ожидается, что мы будем ему скармливать максимально внятный запрос. внятный и конкретный.
raspberrycyril
проблема как раз в том, что вы рассуждаете с точки зрения того, как работает существующий инструмент, а автор предлагает вариант того, как оно быть в хорошо работающей реализации этого инструмента. Вряд ли ведь электрик, у которого вы спросите про конденсатор, не станет вас спрашивать про то, какой в сети ток.
vadimr
Вряд ли электрику придёт в голову заменить себя языковой моделью. Если на то пошло, рассуждения – вообще не конёк электрика.
Хорошо работающая реализация – это в данном случае сам электрик.
pnmv
электрик попросит схему устройства.
johnfound
Ну, не знаю я что вы спрашивали и что вам отвечали, но для простого конденсатора контексты не ограничиваются постоянным и переменным током. И наоборот – если вы понимаете суть конденсатора и его физические принципы работы то вы будете понимать и все возможные варианты его поведения одновременно. При этом если я правильно понимаю, ваш желтый конденсатор был неисправен и значит конденсатором уже был чисто условно. Подозреваю, что спрашивали не то и поэтому получали странные ответы.
visirok Автор
Начав ремонт, я их не понимал, потому что не помнил, потому что последний раз изучал их в средней школе много десятилетий назад.
Vugluskr1
А должен был знать. Это школьные знания.
inkelyad
Это неважно. Смысл в том, что ИИ, когда человек пытается использовать его в качестве интерактивного справочника по поводу того, что он не знает -- не рассказал варианты. И человек даже не узнает, что могло быть/бывает по другому.
Вот в чистом виде мем про ИИ из фантастики
"- Ты почему не сказал?
Меня не спрашивали."
Как-то оно нехорошо и это надо чинить.
Artem_Omny
Можно попросить, чтобы он задавал уточняющие запросы. Тогда он будет симулировать это поведении ии. Но я сам, когда пишу длинный промт понимаю, что я быстрее это уже нагуглил бы.
vadimr
Языковая модель вообще не работает со знаниями. Она комбинирует слова в часто используемые цепочки.
Snownoch
Прямо в бинго!
Hardcoin
Нет проблемы. Добавьте в запрос «задай уточняющие вопросы, если нужно», любая топовая сетка их задаст.
А вроде бы абсолютно правильные сведения выдает и гадалка и гороскоп и бабка-соседка. Куча людей верит чему угодно, так всегда было, ИИ тут мало что меняет.
JBFW
Проблема с ИИ в том, что он в текущей версии - просто масштабированный вариант "обычного интеллекта" (со всеми его достоинствами и недостатками).
В частности, для того чтобы он мог превзойти своих учителей - его нужно научить не только массиву знаний, но и умению задавать себе вопросы, находить ответы и проверять их.
Ребенок должен задавать много дурацких вопросов:
-- почему Луна круглая?
-- почему пчела жужжит?
-- можно ли поджечь море? А если бы было можно, то что?
Не знать, "прочитав 100500 книг", а узнавать, выстраивая причинно-следственные связи, и проверяя их "а что если бы?".
Это не все люди умеют, а умеет ли хоть какой-нибудь ИИ?
Пока не умеет - не станет он разумом. Базой знаний - да, знатоком алгоритмов сортировки на разных языках - запросто, знатоком конденсаторов - возможно, а вот разумом - нет.
vadimr
Умеет, только не LLM.
Snownoch
А что?
vadimr
Символический ИИ.
Dhwtj
LLM не умеет в критическое мышление, не ранжирует достоверность информации, как следствие не сомневается и не любит задавать уточняющие вопросы.
И это принципиально не изменится ещё долго.
LLM родился старым
anoldman25
Поддержу. У Рабле есть такая формулировка: руку на отсечение дашь?
Nurked
Прикол в том, что эти-то работы как раз никуда не делись.
Я сейчас работаю в американском финтехе. Мне руку на отсечение надо давать за каждый доллар. Тут при слове ИИ-Агент для написания кода только улыбаются, хлопают по спинке и мягко выгоняют.
То же самое происходит в ракетостроении и самолётостроении. Кто-то должен быть в ответе. Это - очень напряжно, но нам не надо волноваться за свои зарплаты. Оно того стоит.
Я не говорю, что я не использую ИИ для написания кода. Конечно использую. Но только мне всё равно придётся расписываться за то, что я знаю каждую строчку и готов за неё отвечать.
lazy_val
Было бы интересно узнать - весь код, или какие-то специальные задачи (тогда какие именно)?
Применительно к финтеху, естественно.
Nurked
Ну, сгенерировать клиент по ЯМЛУ на основе OpenAPI - это святое. Потом поправить и отрехтовать чуток. Это круто.
А вот расчёт суммы снятой с карточки - руками.
anoldman25
Хотелось бы, чтобы это правило применялось не только в финансах и строительстве ракет!
alextrof94
Ии прекрасно все понял. Он понял ровно столько, сколько его спросили. Про хирурга плохой пример, вот правильный: если у тебя вылезла болячка на коже - дерматолог предложит мазь, а хирург предложит вырезать ее. В данном случае ии отвечает либо как хирург, либо как дерматолог в зависимости от фазы луны, и только дополнительно сказав, что это просто прыщ расковырянный - ты получишь правильную рекомендацию про мазь и отправляющего тебя к кожнику хирурга.
Вывод: задавайте промпты правильно и получите правильный результат. А то тяжёлым микроскопом гвозди тоже можно забивать, но зачем?... Ии - всего-лишь тэгированная база данных, выдающая первый подходящий ответ.
vadimr
Идея ваша ясна, но аналогия плохая. В реальности хирург пошлёт к дерматологу. Протокол лечения один общий.