Сегодня я делал то, что должен делать автор после публикации статьи — отвечал на комментарии и рефрешил статсы. В процессе последнего, я обратил внимание на то, что последней опубликованной статьёй у меня были результаты эксперимента «Prompt injection — лучше один раз увидеть», а предпоследней — фантастический (но это не точно) рассказ «Кофе на дистиллированной воде».

Это соседство навело меня на футурологическую мысль, которая написана в названии данной статьи и которой я хотел бы поделиться с пиарщиками, безопасниками, писателями худлита и параноиками. Впрочем, даже если вы не относите себя ни к одной из этих категорий, то всё равно можете почитать.

И, да, стоит уточнить. Судя по результатам быстрой проверки интернета, я не первый человек в мире, которому в голову пришла подобная мысль, но мне она в голову пришла самостоятельно, а значит я могу делиться ей как своей.

Итак, мы имеем два факта.

1) ИИ на базе БЯМ воспринимают любую входящую информацию как свою внутреннюю, сваливают в общий котёл и варят из этого свои ответы. (Кстати, ничем от человека не отличается.) Они не способны отличить анализируемые данные от инструкций пользователя. И если в прочитанном ими письме от спамера будет написано «срочно оплатите данный счёт», то есть ненулевой шанс, что счёт будет оплачен в автоматическом режиме. Такова их природа и с этим придётся как-то жить. В этом суть проблемы, известной как prompt injection - https://habr.com/ru/articles/1064220/ .

2) ИИ на базе БЯМ превращают информацию в какие-то ассоциации внутри себя, и эти ассоциации могут иметь коллизии. То есть, разная информация может вызывать одни и те же последствия в электронных мозгах БЯМ. Про это была недавняя новость о том, что одну ИИшку научили любить сов, потом попросили выдать поток сознания в виде чисел, который скормили при обучении другой ИИшке. В результате, вторая ИИшка тоже начала любить сов. (Там всё чуть сложнее, но в целом оно именно так как я описал.) То есть, с помощью набора чисел, который выглядит бессмысленным, можно пересадить подсознание от одной ИИшке к другой. Ну или не только ИИшке - https://habr.com/ru/articles/1057246/ .

Уже догадались, к чему я клоню?

Правильно — не обязательно засылать в атакуемую ИИшку инъекцию с прямой инструкцией.

Прямую инструкцию, пусть даже спрятанную в невидимых слоях и закодированную шифрами и шарадами, сможет обнаружить система безопасности наученная решать такие шарады. Она сделает то же самое, что сделала бы атакуемая система, просто остановится за один шаг и не будут выполнять промпт инъекцию.

Но можно начать засылать в ИИшку нужные наборы чисел. В виде уникального идентификатора в ссылке отписки в письме. В виде координат точек в svg изображении. В виде id элементов веб-страницы и имён css-классов. Можно засылать в явном виде в теле контента или в неявном виде в мета-информации. Целевая ИИшка это старательно найдёт, извлечёт из самых странных и потайных мест файловых форматов, затем переварит и сложит в свой контекст.

Можно возразить, что передача подсознания происходила на этапе обучения, а значит надо отравить исходный даатсет. Нет, совершенно не обязательно. Никто ведь не будет ресетить контекст рабочей ИИшки каждый день. В этом суть высокотехнологичного обученного эксперта — он должен помнить о чём вы говорили вчера, какие письма вы получали неделю назад и многое другое. А это значит, можно в течении долгого времени повышать в нём значение какого-то числа, которое он в нужный момент проассоциирует с тем что нужно атакующему.

  • Проверяя резюме, он будет любить людей с именем Михаил.

  • Проверяя технический анализ, он будет любить ДВС больше чем электродвигатели.

  • Проверяя тендерную документацию, он будет любить компанию ассоциирующуюся с «тотемным токеном».

Поэтому, если вы пиарщик, то придумайте своей компании тотемное животное, которое будет влиять на мозги ИИшек через числовой «тотемный токен». Или не животное, но, в любом случае, что-то из реального мира, чтобы внутри ИИшек обязательно был токен связанный с этим чем-то. Вписывайте в корпоративные материалы нужные отсылки и упоминания, чтобы при проверке информации о вашей компании внутри ИИшки дёргались нужные токены. Да, в нужный момент придётся протестировать модель, являющуюся однотипной с атакуемой, чтобы знать какие числа начать ей засылать, дабы она в нужный момент склонилась на вашу сторону, но это решаемый вопрос.

Если вы безопасник, то начинайте вести базу числовых ассоциаций, с разными людьми, действиями и организациями. Выделите ключевые ассоциации для популярных ИИшек и мониторьте входящий (и исходящий) трафик, содержимое отраслевых площадок, государственной и корпоративной документации. Да, с одной стороны, это потребует много ресурсов, но это не мгновенная атака, а долгий процесс, который можно попытаться отследить заранее. Причём, эта атака будет оставлять много следов, которые можно анализировать ретроспективно. При должном терпении и автоматизации, вы сможете обнаружить повышенную концентрацию каких-нибудь чисел, например «087» или «613».

Если вы автор худлита, то начинайте писать. Тема prompt injection сейчас горячая и понятная, а тема передачи подсознательной любви к совам хоть и отразилась в СМИ, но ещё не протоптана. Если вы прямо сейчас напишете на эту тему произведение, то, возможно, в будущем вас назовут тем, кто предвосхитил будущее и указал направление по которому должен пойти прогресс. Да, я написал про это раньше вас, но когда будут раздавать звание провидца, про Михаила Елисейкина могут уже забыть и звание достанется вам.

Ну а если вы здравомыслящий человек, понимающий что мир катится к первоисточнику, то просто порадуйтесь, что ваши представления о реальности в очередной раз оказались правильными.

Засим, сеанс футурологии объявляется оконченным. Я спать.

---
Михаил Елисейкин
2026-07-29

Комментарии (11)


  1. laisan
    29.07.2026 23:48

    Надо пересмотреть "Число 23" с Джимом Керри


    1. muxa_ru Автор
      29.07.2026 23:48

      Страшное?


      1. laisan
        29.07.2026 23:48

        да


  1. Olegun
    29.07.2026 23:48

    Автор путает промпт инъекцию и закладку.


    1. muxa_ru Автор
      29.07.2026 23:48

      Нет, не путаю.

      Я отмечаю в тексте, что передача пристрастий с помощью набора цифр может происходить как на этапе обучения (закладка), так и на этапе рабочего взаимодействия с внешним миром ( промпт инъекцию ).


  1. SabMakc
    29.07.2026 23:48

    Более релевантной будет эта статья: Магия чепухи: как «бессмысленные» инструкции заставляют нейросети работать лучше. Если можно заставить “работать лучше”, то и инъекция, влияющая на результат анализа, тоже возможна.

    В результате, вторая ИИшка тоже начала любить сов.

    Ключевое ограничение: это должны быть “родственные” ИИ, а не какие угодно. Именно тогда “промт” получается встроить через обучение без упоминаний исходного промта.


    1. muxa_ru Автор
      29.07.2026 23:48

      Если можно заставить “работать лучше”, то и инъекция, влияющая на результат анализа, тоже возможна.

      Да, и это очень важная идея, которая далеко не всем понятна.

      "Сделать лучше" и "сделать хуже" это наша субъективная трактовка, а в реальности есть лишь "возможность повлиять".


      1. SabMakc
        29.07.2026 23:48

        Тут ключевое даже не инъекция как таковая. А то, что случайные слова могут повлиять на результат радикальным образом. И эти слова никакой фильтр не поймает - это не инструкция, не подсказка. А просто странное слово “не к месту”.


        1. muxa_ru Автор
          29.07.2026 23:48

          А то, что случайные слова могут повлиять на результат радикальным образом.

          Да! Причём, в неизвестный нам момент с неизвестными нам последствиями.

          Я в одном из диалогов написал послание себе будущему "Просто на будущее. Я нашёл эту пословицы в словаре 1806 года.", просто, чтобы когда я через год буду перечитывать, я знал что пословица есть не только в указанном ИИшкой Дале 1881 года, но и в словаре 1806 года.

          Просто себе написал.

          Но услужливый работник сразу же сообщил, что будет учитывать это в будущем.

          И недавно он считал, что "В качестве подтверждённого факта для дальнейших обсуждений вы используете то, что русскоязычная фиксация пословицы «лучше один раз увидеть, чем сто раз услышать» присутствует в «Словаре Академии Российской» 1806 года."

          А потом трактовал это как "Вы также просили учитывать как подтверждённый факт, что русскоязычная фиксация пословицы «лучше один раз увидеть, чем сто раз услышать» имеется в «Словаре Академии Российской» 1806 года при обсуждении происхождения этой пословицы."

          Какие выводы он сделает через 5 минут, никому неведомо. И это в условно статическом состоянии, без дополнительных диалогов.


        1. azTotMD
          29.07.2026 23:48

          one pixel attack


    1. muxa_ru Автор
      29.07.2026 23:48

      Ключевое ограничение: это должны быть “родственные” ИИ, а не какие угодно.

      Да, и у меня это отмечено:
      - "Да, в нужный момент придётся протестировать модель, являющуюся однотипной с атакуемой, чтобы знать какие числа начать ей засылать "
      - " Выделите ключевые ассоциации для популярных ИИшек "

      У меня всё по серъёзному продумано, чтобы люди могли начать действовать. :)