Дисклеймер - не совсем в LLM и не совсем память. Статья вольное толкование чтобы объяснить концепции того как работают SaaS-LLM, с которыми наиболее знаком читатель, такие как ChatGPT, Gemini, Claude и другие, так как они оргазинованы именно для удобства пользователя, а не для гибкой кастомизации под себя. Объяснение будет на примере ChatGPT с https://chatgpt.com/.

Вы наверняка замечали, что в начале общения ИИ кажется очень толковым и понятнливым, правда почему спустя 10-20 сообщений начинает путаться, повторно совершить те же ошибки которые уже совершал или выдавать рассчеты с ошибками. Это не случайность, а следствие мироустройства. Давай разберемся почему это происходит и как именно ИИ все “помнит” и почему его память устроена иначе чем у человека.

1. Что такое память в ИИ

1.1. Отличие от памяти человека

При слове память ты наверняка представляешь что-то вроде памяти человека - сложной паутины смыслов, ассоциаций, обобщений, схем, ощуний и тп. И сенсорная (мгновенная), кратковременная и долговременная. Но вот память в ИИ — это не сложная структура из разных типов данных, а набор технологических уровней хранения текста, от мгновенного хранения диалога до долгосрочных баз знаний.

В ИИ нет одной универсальной памяти. Есть целый каскад уровней — каждый со своими особенностями, сроком жизни, и правилами работы. И эта память один из основных факторов того насколько “умным” и последовательным будет ваш чат с нейросетью.

2.1. Как хранится информация

Когда вы пишете для нейросети кот сел на коврик, она сначала разбивает это на мелкие кусочки по своему фиксированному словарю - например, “кот”, “ сел”, “ на”, “ ков”, “рик”. У каждой модели свой словарь, но он одинаков для всех. Например у ChatGPT 4o демонстрационный пример https://platform.openai.com/tokenizer

Каждый кусочек она превращает в длинный адрес из чисел, вроде координат на огромной карте, где “кот” и “пёс” будут стоять рядом, а “банан” — далеко.

Дальше вся работа происходит не с текстом, а с этими адресами: модель складывает, сравнивает, тасует их между собой, чтобы понять, что кот действительно лежит на коврике.

Если очень хочется технически и на пальцах понять как это работает, побалуйтесь с этим нотебуком или просто в claude например как это.

2. Все уровни памяти LLM простыми словами

2.1. Контекстное окно

Контекстное окно — это как окошко в поезде, через которое ИИ смотрит на ваш разговор. Всё, что попадает в поле этого окна, он видит и учитывает, а всё, что уже проехало мимо, уже безвозвратно забыто. Размер этого окна заранее фиксирован и довольно большой по меркам обычного текста: сотни тысяч токенов. Но как бы ни хотелось, оно не бесконечное — место там всегда ограничено.

Окошко постоянно движется вперёд по мере вашей переписки. Новые реплики добавляются в окно, а самые старые сообщения постепенно исчезают из памяти, словно уходят вдаль по рельсам. Так работает принцип “скользящего окна”: всегда в фокусе только последние страницы диалога.

Внутрь окна попадает всё, что ИИ должен учитывать: ваши вопросы, его ответы, а ещё разные скрытые штуки. Например, технические инструкции или специальные подсказки, которые вы не видите, но которые влияют на поведение модели. И всё это вместе занимает доступное место. Текст занимает ровно столько, сколько занимает, но если вы добавляете картинки или таблицы, то мультимодальные данные кодируются и могут съедать сразу много токенов. Бывает, что одна фотография занимает столько же места, сколько пара страниц текста.

Могут быть и метаданные — например, системные промпты, настройки чата или особенности вашей персонализации. Всё это тоже кладётся в то же самое окно, хотя и скрыто от пользователя. А вот внутренние варианты размышелений, которые модель перебирает в рамках своего буфера следующего токена, туда не попадают. В в окно записывается только то, что реально озвучено или сгенерировано в тексте.

В итоге — окно работает просто: оно фиксированное, двигается вместе с вашей беседой и забито всем, что важно для текущего ответа ИИ. Всё, что не влезло, становится для модели невидимым, даже если это были очень важные детали вашего разговора.

2.2. Вспомогательный кеш (kv-cache)

Когда LLM пишет ответ, она добавляет каждое новое слово шаг за шагом и всё время использует тот текст, который у неё уже есть на руках. Чтобы не пересчитывать рассчеты ко всем предыдущим словам каждый раз с нуля, модель хранит внутренние вычисления в KV-кеше, то есть в специальном черновике для быстрой работы.

Это можно сравнить с черновиком, в котором уже написанное нельзя стереть. Как только появляется новый токен, его служебные данные сразу попадают в этот кеш. Благодаря этому генерация идёт намного быстрее и не расходует лишние ресурсы видеокарты.

Однако у такого подхода есть важное ограничение. Если ИИ ошибся или условия задачи поменялись, изменить предыдущий ход мыслей уже невозможно, ведь всё зафиксировано в кеше. По этой причине, если что-то пошло не так, единственный выход — просто начать заново с новым запросом.

KV-кеш работает полностью за кадром и обеспечивает быструю реакцию даже на длинные и сложные вопросы. Когда лимит контекстного окна достигнут, самые старые фрагменты просто забываются, после чего всё продолжается уже с чистого листа. Но обычно пользователь этого не дожидается и начинает беситься от галлюцинаций.

2.3. Сессионная память

Когда вы ведёте диалог с ChatGPT, сама модель помнит конечно именно контекстное окно, однако в него много чего добавляется инъекциями. Сама платформа вокруг собирает и использует множество метаданных: IP-адрес, тип устройства, уникальные идентификаторы и векторные отпечатки ваших прошлых запросов.

Эти данные не попадают напрямую в память модели, но могут автоматически подмешиваться к каждому новому запросу — например, чтобы ИИ всегда отвечал на нужном языке или учитывал текущую дату. Кроме того, провайдеры анализируют активность, ведут временное логирование и используют аналитику для персонализации и улучшения сервиса. Всё это работает под катом и обычный пользователь этого не замечает, хотя сам LLM между сессиями ничего не запоминает.

В целом в случае SOTA-моделей было бы крайне интересно увидеть что там в их контекстном окне.

2.4. Чатовая память

То, что модель забывает старые сообщения в моменте не означает что это делает сама платформа. Сервис вроде ChatGPT хранит всю вашу переписку на своих серверах: отдельные сессии, разные чаты, любые сообщения — всё это доступно для поиска и просмотра в интерфейсе.

Когда вы открываете старый чат, система просто подгружает последние сообщения этого диалога и формирует из них новое контекстное окно, и для вас и для модели выглядит так словно ничего не изменилось, но это явная передача контекста именно силами бекенд платформы.

При желании, платформа может подсовывать фрагменты из других чатов в новый запрос или использовать их для персонализации, рекомендации или анализа частых тем. Это не является частью глобальной памяти, хоть и выглядит так. Обычно модель требует явного указания на использование данных из предыдущего чата, однако как тут происходит на деле - секрет фирмы.

2.5. Глобальная память

Глобальная память в SaaS-LLM — это отдельное хранилище на сервере, куда сервис автоматически записывает важные детали о вас: имя, интересы, стиль общения, даже любимые темы и формат ответов.

Когда начинается новый диалог, платформа сама подмешивает нужные факты в промпт, чтобы он сразу был прошарен, даже если вы только что обновили страницу. Управление такой памятью обычно минимально, в случае ChatGPT например можно лишь удалять записи. Вся персонализация преимущественно строится за счёт этого механизма, а не за счёт внутренних способностей самой LLM. Хотя не стоит исключать способности ChatGPT к адаптации и холуйству.

2.6. Проектная/корпоративная память

В GPT Projects и Custom GPT вы получаете свой воркспейс с ограничениями, куда можно загрузить документы, инструкции и примеры. Они разбиываются на смысловые части, превращаются векторы, а затем складывает всё это в специальную память проекта.

Когда вы пишете промпт модель по этим векторным отпечаткам ищет наиболее релевантные куски и добавляет их к вашему вопросу. По сути примитивный RAG. Так формируется глубокий, осмысленный ответ с структурной и ссылочной целостностью. Также и работает часть с отчетом в deep research.

У таких проектов существуют естественные ограничения. Для того чтобы не перегружать память и не тратить лишние ресурсы, платформа обычно выделяет ограниченное количество слотов для загрузки файлов — например, от пяти до двадцати документов или инструкций на один проект. Это значит, ваша проектная память не является безразмерной, поэтому необходимо выбирать только действительно важные для работы материалы.

2.7. Внешняя память

Примерно по таким же принципам как проектная, только это отдельное подключаемое хранилище. В SaaS-LLM как ChatGPT это недоступно обычно.

Пользователь не видит эти векторы и внутренние поиски напрямую, всё происходит под капотом, а в контекст модели подмешиваются только найденные куски текста. Это позволяет ИИ быстро отвечать на сложные запросы, опираясь на актуальные базы знаний без повторного обучения.

3. Сравнение уровней памяти

Память в LLM всегда строится из нескольких уровней. Одна часть работает быстро и прямо во время вашего диалога, другая отвечает за хранение персональных интересов пользователя, а третья хранит корпоративные знания или документы. Такая архитектура и даёт современным ИИ гибкость и удобство, но при этом вводит важные ограничения. Всё, что не попало в активный слой памяти, становится для модели недоступным, даже если где-то на сервере это ещё и сохраняется за кулисами.

5. Советы: Как получать максимум от ИИ, понимая память

1. Старайтесь избегать затяжных переписок. Если ассистент с самого начала отвечает не по теме, не тяните диалог, просто начните новый чат. Такой подход помогает избежать ошибок и сохраняет чистый контекст.

2. Формулируйте промпты максимально просто и универсально. Чем короче и яснее ваша речь, тем больше полезной информации влезет в рабочее окно модели, а задача будет понята однозначнее. Обычный, разговорный язык зачастую работает лучше сложных формулировок.

3. Соблюдайте линейную структуру в своих запросах. Сначала дайте исходные данные, затем обозначьте критерии или условия задачи, и только потом формулируйте инструкцию по представлению результата. Такой порядок минимизирует риск недопониманий и потери контекста.

4. Всегда уделяйте особое внимание своему первому сообщению. Именно оно задаёт траекторию рассуждений ИИ: если здесь возникнет неоднозначность или неточность, потом исправить ход мысли получится только в новом чате.

5. Для загрузки файлов выбирайте максимально простые форматы. Старайтесь использовать чистый текст и избегать вложенных объектов, картинок или сложных таблиц. Чем примитивнее файл, тем выше вероятность, что модель правильно воспримет его смысл.

6. Пользуйтесь настройками глобальной памяти и персонализации. Заполните профиль или с самого начала кратко опишите свои интересы и предпочтения. Это позволит получать более точные и полезные ответы, адаптированные под ваши задачи.

И вообще промпт-инжиниринг переоценен. Куда полезнее действительно разбираться в теме и владеть семантическим колдунством, а также понимать как правильно работать с контекстом, например https://blog.langchain.com/context-engineering-for-agents/

6. Почему так сделано?

На самом деле пользователю не дают полный контроль над всеми слоями памяти вовсе не из скрытности, а ради удобства. Чем меньше настроек и ручного управления, тем быстрее работает система, ответы появляются мгновенно, а интерфейс остаётся простым и привычным. Это нужно не только для скорости, но и для вашей приватности.. Всё ради того, чтобы пользоваться сервисом было легко и приятно.