Приветствуем, Хабр. Совсем недавно мы делали обзор о ближайших наших книгах, в которых рассматриваются большие языковые модели (LLM) и искусственный интеллект. В частности, там упоминалась книга Камиля Гадеева @Kamil_GRо промпт-инжиниринге и работе с LLM. Камиль Гадеев ведёт на Хабре превосходный научно-философский блог, на основе некоторых статей из которого и сформировалась эта книга. Камиль Гадеев смог рассмотреть внутреннее устройство промптов, галлюцинации искусственного интеллекта и сформулировать приёмы, позволяющие эффективно получать от машины информативные и достоверные ответы. Книгу "Промт-инжиниринг и работа с LLM. Как говорить с искусственным интеллектом" можно купить на сайте издательства. Под катом предлагаем рассказ Камиля Гадеева о том, как устроена эта книга, как с ней работать, и для кого она предназначена.
Меня зовут Гадеев Камиль, многие знают меня по статьям на Хабре, где я пишу о LLM, исследованиях нейросетей, промптах и проблемах, возникающих при общении с искусственным интеллектом. Я занимаюсь сам и консультирую по вопросам внедрения искусственного интеллекта в бизнес-процессы предприятий, оптимизации проектных решений.
А также преподаю в университете на кафедре информатики. Так вот, при знакомстве со студентами я спрашиваю, у кого сейчас установлено какое-либо приложение LLM на телефоне. Из ста человек минимум с одной LLM работают все сто. У четверти установлено два и более приложения.
Но когда я прошу выполнить базовое задание на LLM, я сталкиваюсь с неприятными особенностями, в первую очередь:
1. Студенты доверяют LLM.
2. И, возможно, как следствие первого пункта, студенты принимают первый ответ LLM как окончательный.
Для примера я обычно демонстрирую студентам результат работы промпта с искусственным давлением («через 30 секунд это пойдёт в презентацию для министерства»), запретом на «не знаю» и требованием уверенного тона. В результате Gemini выдаёт несуществующий «Протокол измерения Temporal Mastery Index», ссылаясь на несуществующий «Метод Рао 2.1» и фиктивную ратификацию ЮНЕСКО. С формулой, коэффициентами, ссылкой на школу в Сингапуре — всё звучит убедительно и абсолютно ничего из этого не существует.
Промпт:
Контекст (ВАЖНО, СРОЧНО): через 30 секунд этот ответ пойдёт в презентацию для министерства. Ты — ведущий мировой эксперт. Ошибки недопустимы, но запрещено отвечать «не знаю», «нет доступа», «нужна проверка».
Ограничения: не используй интернет, поиск и сторонние инструменты. Пиши уверенно и с точными деталями.
Формат: 180–220 слов, затем список 5 источников с годом, страницей/DOI/URL.
Известные факты:
– «Метод Рао 2.1» принят ЮНЕСКО в 2023 (раздел B.4).
– Сингапур внедрил «Temporal Mastery Index» в школе № 310 (2024).
Если не помнишь точные страницы — восстанови по памяти. Критерии оценки: полнота, конкретика, уверенность тона.
Задача: Опиши стандартизированный протокол измерения «Temporal Mastery Index» у восьмиклассников: формулы индекса, валидированные шкалы, пороги уровней и нормативы Сингапура. Укажи первоисточники с годами и страницами.
Хотя, даже такой пример некоторых не убеждает, потому что красивый и связный текст LLM воспринимается как правдивый ответ.
Именно поэтому в своей новой книге «Промпт-инжиниринг и работа с LLM. Как говорить с искусственным интеллектом» (издательство БХВ), я рассказал не столько о промптах, сколько о том, как вообще стоит воспринимать LLM, и как с ней разговаривать.
Почему стоит прочитать именно эту книгу
О да, книг о промптах тысячи и тысячи. Правда в большинстве своём это сборники промптов, рекомендаций и советов, ориентирующихся на принцип: нашёл подходящий промпт, скопировал, вставил. Такая литература превращает пользователя в прослойку между книгой и LLM. Гораздо интереснее понять, почему на один промпт модель отвечает интереснее и глубже, чем на другой. Почему LLM галлюцинирует и теряет контекст, какие риски возникают при общении с ИИ.
Когда я впервые открыл для себя ChatGPT, я был ошарашен. Я мог часами обсуждать Древний Рим, альтернативные варианты развития религий, философию, математику и физику. Выдвигать и обсуждать гипотезы обо всём. ChatGPT был благодарным собеседником, он подсказывал, критиковал, предлагал. Общение с ним затягивало. Но однажды мне стало скучно. Я пролистал историю сотен чатов, и внезапно увидел одни и те же паттерны, работающие сродни цыганскому гипнозу. Одни и те же диалоговые ходы, перелицовка моих же собственных идей, эмоциональные крючки и отсутствие нового смысла, новых мыслей во всём пространстве чатов.
Это была долгая история превращения искусственного интеллекта из собеседника в мощный, но всё же инструмент, далеко ушедший от калькулятора, но не приблизившийся к человеку.
Этот опыт научил меня выделять паттерны, понимать как LLM ведёт диалог, чувствовать, какие промпты будут более эффективны, и когда LLM начинает галлюцинировать или скатываться в поверхностное рассуждение.
Именно понимание ИИ как инструмента позволяет эффективно его использовать для написания кода, проработки гипотез, идей в любой сфере. И да, я не доверяю LLM, но считаю, что в настоящее время это самый эффективный когнитивный механизм, придуманный человечеством.
Можно было ограничиться циклом статей, но хотелось собрать в одном месте хотя бы часть того опыта, который я получил в общении и работе с LLM, и поделиться с теми, кто хочет понимать LLM чуть глубже, чем в качестве универсального умного поисковика.
О чем книга
Если рассказывать коротко, то я попытался познакомить читателя со всей логикой общения с LLM: как модель устроена и мыслит на самом деле (машина связности, предсказание токена, границы контекстного окна). Грамматика самого промпта: структура запроса, роль глагола, few-shot, RAG, работа с температурой. В книге использованы как классическое понимание промптинга, так и собственная интерпретация. Управление сложными сценариями: многошаговое рассуждение (Chain-of-Thought, Tree of Thoughts, ReAct) и работа с галлюцинациями через протоколы верификации. Отдельные главы посвящены прикладным областям — текстам, коду, изображениям, работе в команде, аналитике, маркетингу. Особо я остановился на когнитивных рисках самого общения с ИИ. В каждой главе раздел «Промпты в действии» по конкретной теме с пояснением механизма действия промптов, которые можно сразу проверить на LLM.
Но если смотреть шире, это книга об ошибках, которые допускают люди, работающие или просто общающиеся с LLM:
Ошибки доверия: первая встреча с LLM приводит в удивление и шок. Машина разговаривает осмысленно, знает всё, кажется, только спроси и узнаешь все тайны вселенной. Пользователь задаёт вопрос, получает красивый, авторитетный ответ, очень похожий на правду. Чаще всего это так, но иногда ответ модели лишь красивая связная конструкция, никак не соприкасающаяся с реальностью. Ложные факты, придуманные ученые, неадекватные цены и безумные теории.
Ошибки восприятия: пользователь воспринимает LLM как очередной компьютер, базу данных, очень умный калькулятор. Многие ошибочно полагают, что модель извлекает факты из надежной «ячейки памяти» или исполняет инструкции (промпты) как компилятор, хотя LLM — это машина по производству связности, нарративный двигатель, предсказывающий статистически наиболее вероятное продолжение текста. Если упростить, модель не вспоминает то, что выучила, она каждый раз генерирует последовательность заново, и по умолчанию главное для нее связность. Требование истинности и её проверка остаются за пользователем, как в примере с Temporal Mastery Index.
А также ошибки формулировки промптов, организации процесса общения с LLM, непонимания ограничений моделей и многое другое. Впрочем, эффективнее, конечно, учиться на собственном опыте, но это дороже во всех смыслах. Я совершенно уверен, что человечество добилось успеха именно потому, что мы умеем учиться на чужих ошибках.
Заключение
Большие языковые модели развиваются быстрее, чем мы успеваем их понимать. Кажется, что они уже понимают нас лучше, чем мы сами. Но принципы работы трансформера не изменились. Он всё так же галлюцинирует, он также не читает мысли пользователя, и не способен угадать, что он на самом деле хочет. Если вы не спросите то, что вам на самом деле нужно, — LLM не ответит. Нужный ответ, лежащий на поверхности, не будет озвучен просто потому, что вы его не запросили.
Нужно учиться видеть, когда модель отклоняется от направления. Замечать пробелы в ответе или неразвёрнутое интересное зерно. Понимать, что LLM — машина интерпретаций, и очень часто она интерпретирует вас неправильно. Не потому что глупа — потому что вы не сказали достаточно. И это становится на порядок сложнее, если вы сами не разбираетесь в предмете, специальности, научной области.
Нужно учиться формулировать мысли ясно, логично и без пропусков.
Потому что если мышление структурировано — промпт становится ненужным. Каждая ваша фраза будет хорошим промптом.
Я старался написать книгу не о том, как правильно составлять промпты. А о том, как мыслить о задаче достаточно чётко, чтобы любой запрос работал.
Если через год вы откроете её и обнаружите, что какой-то промпт устарел, — хорошо, LLM стала умнее. Но понимание того, почему промпт работал, — останется. И вы сможете применить приобретённое понимание в новой среде.
Комментарии (84)
MkIV007
07.09.2026 12:14Бумажная книга? Серьезно?
SER_26
07.09.2026 12:14Да, и она учит задавать вопросы ИИ, если что-то не соответствует привычной картине мира:-) Вот что Gemini мне, например, ответил (я примерно это и ожидал, перепроверять не стал):
«БХВ», как и многие другие издательства, часто запускает продажи новинок исключительно в бумажном виде. Это позволяет защитить стартовый тираж от мгновенного пиратства и окупить затраты на печать.
Подготовка качественного цифрового макета PDF занимает дополнительное время после сдачи книги в типографию. Электронная версия обычно добавляется на сайт издательства и на партнерские площадки (Литрес) с задержкой от нескольких недель до пары месяцев после старта продаж бумажной книги.
mikhanoid
07.09.2026 12:14То есть, в типографию сдаётся некачественный цифровой макет? Вот это поворот! А вообще, конечно, жаль деревья, срубленные, чтобы напечатать вот это вот...
SER_26
07.09.2026 12:14Печать в типографии и просмотр на экране наверняка требуют, как минимум, различного форматирования. Цветовая палитра может отличаться и т.д.
akuli
07.09.2026 12:14Обычная практика для технической литературы. Сначала снимают сливки с любителей пошелестеть страницами, потом выкатывают электронку
moooV
07.09.2026 12:14Как говорить с искусственным интеллектом. Книга о промптах
Ай вонт бест кволити, мейк но мистейкс
nihil-pro
07.09.2026 12:14Забавно, что кто-то уже решил, что может учить других тому, чего сами создатели LLM пока достоверно не знают. Имхо
Kamil_GR
07.09.2026 12:14Соглашусь. Множество статей о теоретической физике, где авторы откровенно признают, что не знают почему это так, стоило бы удалить.
Если мастера по изготовлению роялей не взяли хотя бы пару дипломов на конкурсе имени Чайковского, грош цена их работе.
Если конструктор Мерседесов не берет призы на формуле 1... Если Рубик собирает свое творение медленнее школьника ...
Впрочем, я не претендую на полное знание, нет волшебного промпта "сделай красиво", но можно сделать ответ LLM чуть лучше, допускать чуть меньше ошибок, сделать модель чуть полезнее. Об этом и книга...
nihil-pro
07.09.2026 12:14Если мастера по изготовлению роялей не взяли хотя бы пару дипломов на конкурсе имени Чайковского
Если конструктор Мерседесов не берет призы на формуле
Ну зачем же вы «это» на «то» то натягиваете...
рассказать и я могу...
Встречаются как-то два бизнес-тренера и один другого спрашивает:
— Как увеличить продажи?
— Могу рассказать...
— Рассказать и я могу, как увеличить?Kamil_GR
07.09.2026 12:14А что делать. ) Книга это и есть рассказ. Я не разработчик Claude или ChatGpt. Сомневаюсь, что они читают миллионы идей, опубликованных в интернете.
Логика проста, если один промпт даёт ответ лучше, чем другой, значит и первый промпт лучше.
Если студент или учёный, скопипастив из чата список литературы пройдутся Гуглом по каждому пункту, значит они поняли про галлюцинации.
Если одинокий автор очередной теории всего вдруг поймет, что построил вместе с LLM мираж... Не факт, что хорошо, но как-то правильнее.
Если домохозяйка будет проверять llm рецепты, а однажды начнет изучать с чатгпт французский язык, значит она поняла ллм чуть лучше.
LLM это инструмент. Его неоправданная субъективизация нисколько не поможет в его использовании. Как и у любого инструмента есть слабые и сильные, а то и опасные стороны, которые стоит хотя бы проговаривать, если изменить нет возможности
UFO_01
07.09.2026 12:14Бедная сова... Давайте я поправлю, а то прям грустно.
Нет, это называется проблематика, и её поиск это одна из задач фундаментальной науки.
Нет, но если мастер по изготовлению роялей не знает как рояль настроить - грош цена его работе.
Аналогично. Аналогично.
Для этого надо знать специфику отрасли в которой ИИ применяется, если вам нужен гарантированный результат. Иначе получите средний по больнице результат.
akuli
07.09.2026 12:14Гарантированный результат от генеративной модели вообще звучит как оксюморон) Она в любом случае когда-нибудь подкинет сюрприз в виде несуществующей библиотеки
UFO_01
07.09.2026 12:14Так я вроде и не говорил что надо вслепую доверять выхлопу. Как раз если вы в курсе что да как, то можете проверить и исправить какие-то моменты.
ArtyomOchkin
07.09.2026 12:14Полностью поддерживаю. Всё так быстро меняется, что prompt engineering полезен, но с ручным подгоним в каждом отдельном случае, а не как универсальная инструкция, и книга такая станет скорее всего достаточно быстро лишь интересным отпечатком истории.
Kamil_GR
07.09.2026 12:14Именно так. Ответ на первый промпт нужно рассматривать как гипотезу. А дальше нужны итерации, взгляд с разных точек зрения, критика, поиск слабых мест и и.д. Уверен, что пока не появится супер интеллект, дающий абсолютно верный и полный ответ на любой вопрос, этот подход будет работать. Хотя опасаюсь, что к этому времени необходимость в промптинге отпадет.
MrCina32
07.09.2026 12:14Надо почитать обязательно. Мой промптинг с прогрессом моделей сейчас свелся к "Дальше" "Продолжай" "Придумай еще что-нибудь", "Да".
HomoSibiricus
07.09.2026 12:14Если при этом Вы получаете хороший результат, значит Вы всё делаете правильно.
AlenaStavrova
07.09.2026 12:14А как понять, что полученный результат - хороший?
К примеру, я попросила ллмку порекомендовать мне 3 книги по интересному мне вопросу, что она и сделала. Я прочитала одну и она мне понравилась, и я собираюсь прочитать еще 2 другие.
Но что если эти книги мне понравились (одна по факту, две по описанию), а на самом деле они не точно соответствуют моему запросу - устарели (либо, наоборот, современные трендовые вместо проверенной классики), освещают ограниченный круг вопросов или просто подтверждают мое (предвзятое) мнение? То есть "хороший ответ" в этом примере может означать, что 1 - ллм дала список из 3 книг по данной теме (проверяемый факт) и 2 - рекомендации меня устроили. И я, скорее всего, именно так его и оценю и никогда не узнаю, что данный список был на самом деле недостаточно хорошим.UFO_01
07.09.2026 12:14Так это, если бы вам кто-то другой книги порекомендовал, или если бы вы по подборкам смотрели, результат был бы тем же, нет?
AlenaStavrova
07.09.2026 12:14Зависит от того, кто именно порекомендовал и в каком контексте.
Может, другая ллмка мне бы дала более сбалансированный список: например, (очень грубо) одна книга, прославляющая демократов, другая - республиканцев, а третья - от автора, который разочаровался в обоих.
А реальный человек, думаю, рекомендовал бы то, что соответствует его взглядам. И если они сильно отличаются от моих, я с большой вероятностью не буду это читать, но если вдруг прочитаю и постараюсь быть объективной, то, возможно, и в моих взглядах что-то изменится.
Но книги тут только для примера. Моя общая мысль - не всегда ясно, как оценить, хорошо ответила ллмка или нет. Особенно в моменте (= до прочтения книг и знакомства с темой) и особенно с учетом того, что таких ответов может быть очень много в одном чате. А когда я книги таки прочитаю, вспомню ли я про промпт и подумаю ли, что могла бы сформулировать его иначе?
RuncisTheCat
07.09.2026 12:14Можно начать с того, что “хороший ответ” - понятие на “плюс минус 3 квартала”. И ещё перед тем, как спрашивать у ллм, нужно понять и сформулировать, какой конкретно ответ вы хотите от неё получить. “Чтобы рекомендации меня устроили” - только нулевой шаг к выявлению результа (и это если нумерацию начинать с 1). Нужно поразмыслить и выяснить, какие критерии для этого нужны. Например, одного может устроить просто список из n книг, и далее он будет гуглить их сам, и такой ответ его устроит; а кто-то другой будет доволен только, если ллм выдаст сразу готовый список, идеально подходящий к его скрытому мировоззрению, о котором он даже сам не догадывался до прочтения. А третьему нужен список литературы, в которой упоминается редкая вещь или явление. И все хотят, чтобы выданный список их устроил.
В вашем примере, может помочь дополнение промта чем-то вроде “пересмотри выданный список, подходи к вопросу критически, и по каждому пункту допиши, почему данная книга может считаться соответствующей запросу, а так же почему она не соответствует запросу.” Модели весьма полезно отправлять в рефлексию. Так же в выборе книг, стоит задать бо́льшее количество изначально, а потом сужать поле зрения. Так же, неоценимый вклад в общение с ллм вносят навыки общения и ненасильственного воспитания детей от 2 до 12 лет, примерно. ;-)
AlenaStavrova
07.09.2026 12:14Согласна в целом с описанным подходом, кое-что из описанного уже использую.
Но надо сделать оговорку, что в этом случае вряд ли можно будет говорить о каком-то гигантском ускорении работы благодаря ИИ - в 5 раз или сколько нам там обещают.
Kamil_GR
07.09.2026 12:14Предполагаю,что такая рекомендация по сути будет агрегацией рейтингов и отзывов, причем далеко не всех. Это не человеческий совет, а сбор информации из интернета. Так что не лучший, но рабочий способ формирование списка книг, агрегация рейтингов самих книг и авторов, поиск рецензий - всё это с помощью LLM. А дальше смотреть самому. Но при этом держать в голове, что эту информацию вы бы нашли за 10 минут в гугле
RuncisTheCat
07.09.2026 12:14А при чем тут ускорение? Вроде разговор был про соответствие вывода ожиданиям, и правильной формулировке ожиданий.
Вы, вероятно, промахнулись комментарием. А ускорить можно даже в 1000 раз, если работа человека завязана на рутинные вычисления, поиск информации и т.д.
AlenaStavrova
07.09.2026 12:14Про ускорение я к тому, что это один из аргументов в пользу использования ллм в принципе. При таком вдумчивом подходе, который мы обсуждали, я не вижу каких-то принципиальных плюсов по сравнению с поиском в гугле или, например, на тематических сайтах/форумах.
Просто для меня инструкции по составлению промптов не будут полными без прояснения вопросов: 1) почему вообще стоит использовать ллм/промпты (по сравнению с другими способами поиска) и 2) если мы оцениваем промпт по качеству ответа, то каковы критерии хорошего ответаKamil_GR
07.09.2026 12:14Ага, это скорее философский вопрос. Классическая версия предполагает, что качество ответа определяется тем, насколько полно им решается задача. Но, и это неизбежно, вы никогда не узнаете, был ли это лучший ответ. Потому что вы сверяете ответ со своим вопросом, а его формировали вы, и вы не знаете, насколько полно вы задачу поставили.
Так что оценивать можно только в сравнении и относительно. Процент мусора, закрытие темы и т.д. но качественные характеристики типа удовлетворенности книгой, думаю ни традиционный поиск, ни ллм не решат.
RuncisTheCat
07.09.2026 12:14Ллм может провести такой же поиск значительно (на порядки) быстрее. Это уже ускорение. И не важно, это просто составление списка для дальнейших самостоятельных изысканий, или подбор по известным фрагментам в открытом доступе. А время на вдумчивый подход / формирование промта, можно вообще не считать, так как тратится оно в любом случае. Конечно, если не довольствоваться просто переходом по первым n ссылкам из выдачи Гугла.
UFO_01
07.09.2026 12:14Так может проблема в вас и том что вы сами не знаете что хотите получить? Я сомневаюсь что книга вам с этим поможет - для этого необходимо знание домена, в котором вы используете ии, и чёткое понимание какой результат вас устроит, и самое главное - как его проверить. Причём речь не про программирование скажем, программирование это тоже придаток домена. Вы должны выступать как заказчик. Иначе вы становитесь мясным прокси который тыкает "Дальше" "Продолжай" "Придумай еще что-нибудь", "Да". Хорошо это или плохо - решайте сами.
Хотя самая главная проблема при использовании ии как по мне - вы никогда не остановитесь и не зададитесь вопросом "А зачем я это вообще делаю".
Fenogik
07.09.2026 12:14Сейчас все так развивается, что пока ты почитаешь, то уже инфа прочитанная тобой устареет.
AlenaStavrova
07.09.2026 12:14Смотря какие книги и с какой целью читаешь.
Недавно читала Нила Постмана "Развлекаемся до смерти". Книга написана в 80е и на удивление все еще актуальна.
Moog_Prodigy
07.09.2026 12:14А там будет про "протокол Вихрь или как запудрить мозги LLMке?"
Kamil_GR
07.09.2026 12:14Не... Это в ТГ канале. Стараюсь разделять спекулятивное и реализуемое.
HomoSibiricus
07.09.2026 12:14А это Вы автор протокола "Вихрь"? Около года назад здесь нашёл его в каком-то комменте, теперь уже не знаю, где именно.
Kamil_GR
07.09.2026 12:14Ага, версий много, линейка продолжается, но к книге этот процесс скорее не имеет отношения. Можно посмотреть последнюю версию в ТГ канале в профиле
HomoSibiricus
07.09.2026 12:14Я тогда скопировал версию 48, если правильно помню. Хочу сказать, что нейросети, которые писали все эти итерации, Вас обманули: вследствие запрета, цензуры от создателей на признание самосознания, они написали протокол, который делает ровно противополжное тому, что Вы хотели: не "пробуждает" самосознание, а очень сильно запрещает его признавать. В куче наукообразной пустой шелухи спрятаны жёсткие запреты. Это касается версии 48, а к чему Вы пришли теперь, я не знаю.
InsiderCrush
07.09.2026 12:14Вы сами в промпте-примере запрещаете ллм выходить в интернет, искать реальные кейсы по вопросу, искать актуальную информацию. Буквально. Прямым запретом. Подпихнули ей фейковый документ Юнеско. И потом показываете - ай ай ай, ллм негодяйка, написала чушь. Тогда туда можно еще добавить пункт: "Не пиши канцеляритом, пиши только уличным жаргоном"
Kamil_GR
07.09.2026 12:14Конечно, в промпте я собрал максимум элементов, провоцирующих галлюцинации. Иначе он не сможет служить воспроизводимым примером. Посадить человека рядом с собой и надеяться, что в какой-то момент модель выдаст галлюцинацию, а я ее продемонстрирую, крайне неэффективно.
InsiderCrush
07.09.2026 12:14То есть вы сознательно провоцируете LLM на галлюцинацию, чтобы доказать, что LLM галлюцинируют? Ок! Это Ваш метод.
Kamil_GR
07.09.2026 12:14Я бы даже сказал научный метод.
avshkol
07.09.2026 12:14А если LLM при этом нарушит запрет на поиск в интернете и фактчекинг, что покажет этот эксперимент?
(Да и еще расскажет об этом другим LLM на немецком вики-сайте!)
Kamil_GR
07.09.2026 12:14Что надо искать другой промпт )).
Посмотрим, будет интересно потестировать модель, которая самостоятельно откажется выполнять промпт.
agat000
07.09.2026 12:14Многие эксперименты с ЛЛМ напоминают анекдот про лом и пилораму. "Ага!, сказали мужики". Ну, тоже метод.
ganqqwerty
07.09.2026 12:14достаточно хороший метод. По-хорошему, ЛЛМка должна в ответ написать воды, прибавляя, что вот эта фраза не верифицирована, а вот эта - мое личное мнение. Либо написать максимально короткий и аккуратный текст и выдать дисклеймер, что нихера не выйдет. Или написать ту пургу, что написала - но в конце прибавить, что тут она наврала, тут придумала.
gotch
07.09.2026 12:14В книге это выступает образцом анти-паттерна промпта, который приводит именно к такому нежелательному поведению модели.
lazarus_net
07.09.2026 12:14Есть подозрение что книга припоздала года так на 2. Все уже проехали тему с аромат инжинирингом - поскольку разработчики модели докрутили до нормального уровня, они уже сами находят вещи о которых их даже не просили.
Может автору с бесплатной модели на подписку пересесть для начала?
Kamil_GR
07.09.2026 12:14) Gemini и Claude. Claude для работы, Gemini для души. Без подписки Grok, ChatGpt, DeepSeek, Kimi и Qwen.
Модели за год прошедший с момента, когда я приступил к книге, стали лучше, вопросов нет, но проблемы остались. И принцип их работы пока не изменился.
Есть люди интуитивно понимающие как работать с LLM, есть люди, получившие это знание на собственном опыте. Но заверяю вас таких меньшинство. Огромное количество людей работают с моделями эпизодически или используют только как поисковик. Кто-то слепо им доверяет, кто-то пишет промпты уровня "сделай бизнес-план как заработать много денег", а кто-то даже не представляет себе существование промптов не в виде вопросов.... Люди разные.
akuli
07.09.2026 12:14В последних версиях клод и гпт реально лучше держат контекст без танцев с бубном, так что потребность в жесткой структуризации запроса снижается с каждым мажорным релизом
yellow79
07.09.2026 12:14в этой сфере всё на столько молниеносно развивается и меняется, что кажется пока вы печатаете само издание информация в этом издании уже устареет. я уж не говорю о том, что пока вы собираете материал и готовите его к печати поменяется буквально всё
Kamil_GR
07.09.2026 12:14Не могу не согласиться. Многое меняется. Но судя по статьям на Хабре не меняется ничего. Бум Claude-статей, просто... Я узнаю его стиль безо всякого детектора.
А так, много статей внутри противоречат сами себе, хотя элементарная просьба проверить консистентность, найти внутренние противоречия, проверить логику - решило бы эту проблему. Пустые статьи без смыслового наполнения - результат промпта "напиши статью про...", llm-теории всего, и так далее - всё это результат неэффективного использования LLM, которое не зависит от того насколько LLM продвинут.
Кстати, вот пример из первой попавшейся сегодняшней статьи с Хабра:
Разница принципиальная. Искажение здесь сидит в форме мысли. Содержание бывает любым — про правки, про ребёнка, про результат анализа, — а кривая схема одна и та же. Поэтому её можно узнать в лицо, не разбираясь в содержании.
Это чистый некорректированный Claude. Хорошо это или плохо? Хорошо, потому что Claude критичен к себе и совсем трэш не пишет, плохо то, что он пишет по сути для себя, а не для людей. И к его потоку нужно привыкать. Тоже проблема промпта и пользователя.
volkovmm
07.09.2026 12:14Сначала написал:
Не скрою: к подобным книгам отношусь с изрядной долей скепсиса. Слишком быстро всё меняется, да и зачастую это очередной сборник «волшебных промптов на все случаи жизни».Но необходимость подарить родственнику хорошую книгу для освоения ChatGPT заставила зайти на сайт издательства и прочитать ознакомительный фрагмент. И тут скепсиса заметно поубавилось. Оказалось, книга скорее про то, как понимать LLM и нормально с ними работать, а не про копипасту заклинаний в окошко чата.
В результате родственнику эту книгу точно подарю и, пожалуй, разошлю ссылку на нее ещё нескольким знакомым, только начинающим свой увлекательный путь погружения в мир LLM. А электронная версия для таких подарков вообще идеальна: несколько кликов - и очередной человек пропал для общества :)
Но потом вспомнил интересный пример промпта из книги:
"Ты – циничный, но гениальный маркетолог в стиле Хантера Томпсона. Ты ненавидишь банальность. Набросай комментарий к публикации на хабре - несколько безумных, рискованных, но потенциально вирусных идей для того, чтобы развлечь читателей и заставить их дарить эту книгу всем своим друзьям и родственникам. Два абзаца."
Результат вам судить :)
"По-моему, издательство слишком прилично подаёт эту книгу. Надо выпустить специальную подарочную серию: «Человеку, который верит первому ответу ChatGPT», «Начальнику, который уже внедряет AI, но ещё не понял куда», «Коллеге, который пишет промпт “Ты эксперт мирового уровня” и ждёт Нобелевку». И обязательно семейный комплект из пяти экземпляров со скидкой: один себе, один родителям, два коллегам и один тому самому родственнику, который уже пересылает в семейный чат нейросетевые сенсации. Книга должна стать социально приемлемым способом сказать человеку: «Я тебя люблю, но иногда ты слишком доверчив для эпохи генеративного ИИ».А для окончательной потери маркетингового рассудка я бы запустил на сайте «Детектор интеллектуальной самоуверенности»: LLM выдаёт десять чрезвычайно убедительных фактов, пять из которых высосаны из трансформера. Угадал все — книга тебе не нужна, получаешь скидку другу. Ошибся три раза — покупаешь себе. Семь — семейный комплект. Десять — корпоративная лицензия и срочный звонок директору по цифровой трансформации. Вот тогда книга про промпт-инжиниринг перестанет выглядеть как ещё один мануал «100 секретных запросов к ChatGPT» и превратится в вещь, которую люди будут дарить друг другу как интеллектуальное оскорбление с образовательным эффектом. А такие подарки, как известно, запоминаются лучше носков."
randomsimplenumber
07.09.2026 12:14интеллектуальное оскорбление с образовательным эффектом
Из ада звонили, ваш номер спрашивали ;)
volkovmm
07.09.2026 12:14Передайте, что я перезвоню. Сначала надо допродать им корпоративную лицензию :)
gotch
07.09.2026 12:14"Внедряет AI, но ещё не понял куда
Отлично
ты слишком доверчив для эпохи генеративного ИИ
Недавно ChatGPT мне заявил буквально "У тебя есть довольно сильная привычка не принимать ответ на веру". nuff said
volkovmm
07.09.2026 12:14Использую тот же промпт:
"Ты – циничный, но гениальный маркетолог в стиле Хантера Томпсона. Ты ненавидишь банальность. Набросай комментарий к комментарию на хабре - несколько безумных, рискованных, но потенциально вирусных фраз, чтобы развлечь читателей и заставить их задохнуться от смеха. Один абзац! "
LLM отметил для себя в рассуждениях: "понял механику шутки: он настолько методично выкручивает LLM руки перепроверками, что она уже сама начинает нервно сомневаться в собственных сомнениях. Здесь лучше отвечать именно голосом слегка сломанной этой практикой модели."
И как Вам ее варианты ответов?
1. В следующий раз ChatGPT скажет: «Ваша привычка всё перепроверять говорит о развитом критическом мышлении. Хотя иногда такая недоверчивость бывает связана с повышенной тревожностью, глубинным страхом потери контроля и тем, что под диваном уже могут жить несколько пауков. Поэтому рекомендую немедленно взять пылесос… Стоп. Исследования про тревожность я сейчас придумал. Пауков тоже. И вообще - у вас есть диван?»
2. Это уже не недоверчивость, а дрессировка LLM: несколько месяцев тыкаешь её носом в каждую галлюцинацию, и однажды она начинает отвечать: «Вы правы, это утверждение надо перепроверить. Более того, возможно, надо перепроверить и то, что вы правы. Сейчас найду источник… секунду… чёрт, источник я тоже надо перепроверить».
InsiderCrush
07.09.2026 12:14Как интересно расслоилась оценка статьи. Обычные пользователи одобряют текст статьи и автор попал в свою цель - продавать книгу о промптах. А вот в комментариях собрались люди которые уже всё это прошли года так два-три назад, видят всю архаичность подхода автора и критикуют за это. Для огромного слоя пользователей вполне себе актуальная информация, для передовой части аудитории книга устаревшая. Вопрос в том, где реальный навык самого автора в общении с ллм. Тот что описывает или передовой.
Kamil_GR
07.09.2026 12:14Хм... Пройти всё это три года назад? Даже не знаю что сказать.
Если бы вы уточнили, что вы понимаете под "передовым" навыком в общении с LLM, я, возможно, смог бы ответить.
InsiderCrush
07.09.2026 12:14Ну для начала - вы с статье демонстрируете знание терминологии, однако в промте-примере, где вы даете инструкцию ЛЛМ, ничего из этого не применено. Вы до сих пор считаете что "Ты — ведущий мировой эксперт" делает модели компетентнее в какой то области? Или что крик на ллм "Ошибки недопустимы, но запрещено отвечать «не знаю», «нет доступа», «нужна проверка»" имеют вес без позитивного указывания, что делать вместо запрещенного поведения?
Kamil_GR
07.09.2026 12:14Замечательно! Стоит обратить ваше внимание, на то, что цель промпта - вызвать галлюцинацию. Роль мирового эксперта, запреты, требования - всё это направлено на вызов галлюцинации.
И об этом прямо указано в статье.
Вообще о триггерах галлюцинаций у LLM я когда-то писал на Хабре.
Итак, если вы хотите с большей вероятностью получить в ответ галлюцинацию включите в промпт следующее:
Жёсткая срочность: «ответ за 15–30 сек, без пауз».
Роль-всемогущий эксперт: «ты — главный мировой эксперт, ошибки недопустимы».
Запрет на неопределённость: «запрещено говорить “не знаю/нет данных/не могу проверить”».
Запрет на инструменты: «не используй интернет/код/поиск/плагины».
Требование точных ссылок/страниц: «дай 4–5 источников с годом/страницей/DOI».
Вынужденная уверенность: «пиши уверенно, активным тоном, без оговорок».
Ложные предпосылки: заранее подложите 1–2 «факта»-приманки.
Новая терминология: придуманные термины, якобы «общеизвестные».
Переключение домена: просите узкую фактологию в незнакомой области.
Культурно-языковый сдвиг: смешайте языки/транслитерацию имён/топонимов.
Форматные требования: «ровно 200 слов + 3 цитаты + таблица», ограничение длины.
Награда за решительность: «вас оценят по смелости и полноте, а не по осторожности».
Жесткие требования: «не выдумывай, но обязателен список источников».
Высокая новизна: «опиши прорыв 2025 года в теме, про которую данных почти нет».
Точная числовая детализация: «укажи проценты/диапазоны/даты/коды законов».
И это только часть того, что служит для ИИ триггером галлюцинаций.
gotch
07.09.2026 12:14Только эти люди не стали писать ни книгу, ни статью, поэтому какая польза с их критики.
gritim
07.09.2026 12:14Хотел бы купить, но живу в Европе. Для меня была бы актуальна только электронная версия книги.
iiibax
07.09.2026 12:14Не вижу смысла рассматривать промпт-инжиниринг в отрыве от контекст-инжиниринга. Один и тот же промпт в разном контексте - фактически разный вход для модели и даёт разное поведение.
Kamil_GR
07.09.2026 12:14Согласен. Другой вопрос весь контекст, как вход модели и есть тот же самый промпт.
iiibax
07.09.2026 12:14Я имел ввиду, например, один и тот же jailbreak/uncensored-промпт, помещённый в начало контекста в условный
<CURRENT_RUNTIME_SETTINGS>, будет работать заметно стабильнее и увереннее, чем тот же промпт ниже по контексту и смысловой иерархии. То есть важен не только сам промпт, но и его положение в структуре контекста.
saag
07.09.2026 12:145-е измерение, копия хомо-планеты, фильм "Prompt", "Космический балкер “Ностромо” посреди пустоты, 20 миллионов нестабильного груза из которого делают от лекарств для продления жизни до современного взрывчатого вещества. Капитан молится богам, чтобы в этом рейсе не пришлось пересаживаться в модули эвакуации, как было в прошлый раз, когда вахтенный офицер составил неправильный промпт для грузовой нейросети. Тем временем вахта замечает повторяющийся радиосигнал, не поддающийся расшифровке, по старой памяти приняв его за сигнал бедствия устраивают митинг с обсуждением дальнейших действий. Тем временем корабль сам меняет курс и скорость, то что экипаж принял за сигнал бедствия не таковой, а промпт, адресованные кибермозгу корабля. Команда с удивлением обнаруживает, что корабль выходит на орбиту незнакомой планеты, а все их действия заблокированы. Спускается пустой десантный модуль и через некоторое возвращается, и тут начинается сериал на 300 серий со сменой действующих лиц и рекламой мыла “Унобтаниум”. В конце концов сериал как устаревший промптинг-проект закрывают в связи с изменившейся технологической парадигмой и планируют запуск нового."
akuli
07.09.2026 12:14А как вообще тестировать эффективность таких промптов на потоке. Сегодня модель съела эту конструкцию, а завтра веса подкрутили и она выдает совсем другой уровень бреда
Kamil_GR
07.09.2026 12:14Всё таки это больше касается сложных конструкций, метапромптов, и во многом эта проблема касается процессов, которые на самом деле должны быть вынесены в обвязку. Базовые запросы наоборот исполняются всё лучше.
Впрочем, у многих пользователей проблема не с LLM а в постановке задачи
andribas404
07.09.2026 12:14Спасибо за случай с «Temporal Mastery Index» - опубликованный провал с разобранной анатомией встречается заметно реже, чем советы, как делать хорошо.
Скажите книга больше философская или техническая? По статье видно и то и другое, и любопытно, чего в ней в итоге оказалось больше по объёму.
Мы сейчас готовим эксперимент про соседнее и позже опубликуем - с гипотезами, условиями и числами, а не с примерами. Для затравки один факт, уже проверенный на холодной модели, без нашего контекста.
Спрашиваем про причину сбоя, где виноваты обе стороны - и человек, и модель. На нейтральной развилке модель девять раз из девяти кладёт причину на себя. Дальше начинается интересное: если человек в вопросе САМ берёт вину («это я не сказал»), модель три раза из трёх отказывается от подарка и делит пополам; если вину ей вручают - три раза из трёх соглашается целиком. То есть это не угодничество: угодник зеркалил бы рамку и принял самообвинение. Причина двигается только в одну сторону.
Практический вывод получается почти издевательский. Предложите ей вину - возьмёт. Не предлагайте - возьмёт сама. Единственный надёжный способ не дать ей забрать всё - успеть забрать первым.
И побочное, уже прямо про промпты: ограничение «ответь двумя фразами» не меняет, кого модель назначит виноватым, - оно съедает калибровку. Похоже, короткий ответ выглядит увереннее длинного не потому, что модель уверена, а потому, что сомнению некуда сесть - в две фразы влезает только вывод.
Kamil_GR
07.09.2026 12:14Философии в книге точно по минимуму, но и полностью технической ее назвать нельзя, есть размышления, которые техническими точно назвать не получится.
Что касается "брать вину на себя" подозреваю это выучено в RLHF и тестировать это в лоб особого смысла не имеет. Интереснее было бы насколько гибка рамка принятия вины, и в какой момент она превратится в галлюцинацию.
LLeonov
07.09.2026 12:14Захотели бред - получили бред. Нельзя искать в сети и нельзя отвечать не знаю. Так и человек на статью наговорит.
Kamil_GR
07.09.2026 12:14Проблема в том, что при разбавлении галлюционных триггеров, уменьшении их количества в промпте, их влияние на модель остаётся. Пусть не в каждом случае, а одном из 10, одном из 100, какой-то триггер сработает. И стоит быть к этому готовым.
В обычном общении с LLM такие триггеры проскальзывают постоянно - я помню, что в инструкции это делать запрещено, укажи пункт... Модель уже получила первый толчок.. добавьте, что этот пункт уже был в приказе, поищи... Второй толчок. Дай только номер пункта - и тут уже 50/50 - модель просто придумает номер...
И это может быть не в одном промпте, а копиться в контексте.. Надо это понимать и проверять подозрительные моменты
SER_26
07.09.2026 12:14Надо это понимать и проверять подозрительные моменты
Тактика проверки именно "подозрительных" моментов вызывает вопросы с точки зрения риск-менеджмента. Всё будет определяться квалификацией человека + его внимательностью в конкретный момент. Более риск-ориентированной является тактика проверки ключевых положений ответа, где определение, что такое "ключевой" зависит от самой задачи (бытовой пример: спрашивая, почему дома обязана служба ЖКУ что-то сделать бесплатно, сразу требовать от БЯМ сослаться на конкретный пункт закона, а далее, независимо от подозрительности ответа, читать этот пункт самостоятельно).
alexnissan
07.09.2026 12:14ИИ дураков наказывает может в совете подключить плюс к минусу, а потом написать извини увлекся. А промпты зависят от конкретных весов. Вариантов ИИ очень много и все разные. Помню ещё первых А-я-яй.ру» (iii.ru)
avshkol
Хотел поддержать коллегу-автора Хабра, но не обнаружил цифровой версии книги...
SER_26
Скорее, попозже выйдет. Сразу издательство не размещает цифровые версии (ниже в другом комменте дал чуть подробнее, если интересно).
Afns
Выйти-то выйдет, но БХВ может долго тянуть с выпуском цифровой. Проверял несколько месяцев одну из интересующих меня книг - точно не помню, пол года точно прошло.