Миронов В.О., Кальченко С.Н.

Добрый день, уважаемые хаброгорожане ;-) Крайние тренды по части тестирования современных больших языковых моделей выходят на невиданные высоты и ставится цель: пересматривать не только всю систему анализа моделей, но и саму структуру эволюции нашего подхода к пониманию больших языковых моделей в самом широком контексте. Здесь мы всё больше “скатываемся” к математическому описанию объекта промпта и его понятия. По большому счету, наибольшее понимание, а именно, формирование идей в машинном представлении, основано на геометрическом понимании “форм” слов, а не алгебраическом, в виде векторов, эмбеддингов и матриц, хотя это тоже очень важно на базовом уровне. Отличный пример такого подхода изложен в этой статье, где как раз и показано, что важно, топологическое представление пространства слов и их смыслов, так как оно максимально гибко и позволяет работать с двумя главными понятиями для словоформ: значение и время, в течение которого это значение сохраняется для текущего контекста.

Исходя из этого, не так давно мы проводили анализ понимания речи для чат-ботов и, в частности, для больших языковых моделей. При этом мы задались очень ёмким понятием: каково отношение между пользователем и нейросетью и насколько они хорошо друг друга “понимают”. Чем полнее и общо мы сможем очертить границы этого “понимания”, тем более полно мы сможем формировать промпты для наших запросов, расширить новый уровень абстракции и сформировать новый уровень понимания кода моделью. 

По факту мы сейчас движемся к эволюции этих промптов, только есть один нюанс: мы не знаем «исходного» словаря для LLM и стараемся на нашем языке (естественном языке) объяснить от сети, что мы хотим. Почему так? Все очень просто: нам так легче, то есть мы ставим себя в центр этой системы, а надо поставить в центр системы нейросеть, и понять, а как легче ей и привычнее для неё? Более того, «это» понятие у неё присутствует, и оно весьма развито. Если что, я не вселяю в сеть каких‑то «живых» качеств, здесь максимально отстранённый и прагматичный подход, насколько это возможно. По факту человек и нейросеть друг для друга являются «иностранцами», и мы «говорим» на разных языках, поэтому необходимо убрать лишние барьеры в коммуникации и перейти на «машинный» язык, то есть сформировать формат ИИ‑программирования. Это крайне важный виток, который мы сейчас переживаем, мультиагенты и оркестраторы мультиагентов уже стали новым «слоем» в программировании, настал черёд нарастить уровень иерархии кода. Более того, про это уже вышла работа, и я писал об этом в своём блоге (тут и тут).

Забегая вперёд, скажу, лично для нас стало наглядным (мы подтвердили свои давнишние гипотезы), что сеть мыслит не словами, а “формами” слов. “Форма” не имеет своей законченной структуры, а перетекает в иную в зависимости от своего конкретного окружения. Вариации “форм” не привязаны к конкретному понятию, а описываются топологически. Любая топологическая форма замкнута, что обеспечивает устойчивость конкретному понятию в единый момент всех внешних факторов и времени, но не является константой на длинной дистанции; возможно составить словарь топологических форм для нейронных сетей, чтобы миновать смысловой барьер в разных трактовках понятий и прийти к повторяемости запросов в заданном уровне.

Этот подход, поможет понять,более полно, как устроены глубокие нейронные сети, как в них формируются границы понятия объектов, как они расширяются, какими структурами оперируют сети и как они «коннектят» их между собой, про это написано тут и тут. Также это окажет поддержку в обучении гибридных квантовых нейронных сетей, кои уже очень бодро заходят по разным направлениям и подключению к ним мультиагентых систем. 

Если вы заинтригованы прошу всех подкат, будет крайне интересно… :-)

Давай поговорим…

Начало любого диалога строится на восприятии друг друга: в оценке качественного понимания собеседника, коей, по факту, и является нейросеть. Подстройка и улавливание контекста происходит на общем уровне абстракции, но это для нас, для нейросети несколько всё выглядит по‑другому: она «мыслит» многомерно и «рассматривает» объект со всех аспектов абстракции параллельно, более того, она максимально таргетирована.

Если взять существующие человеческие языки, то в массе, они весьма иерархичные, более того, общие понятия описывают более мелкие и так далее со множеством разветвлений и трансформаций. Но что, если задаться целью осмыслить «понятия» в метаязыке модели. Я сейчас не говорю, о том, что мы пытаемся навязать модели некий язык, нет речь, не об этом, а о том, что она также мыслит шаблонами, которые сформировались у неё при анализе наших исходных данных, на которых она и училась, и наша цель — понять эти шаблоны, понять, сколько уровней абстракций, вообще, у неё есть. Я по ходу рассказа буду иллюстрировать некоторые наши диалоги.

При этом мы получили весьма интригующие результаты, отличающие язык людей и язык машин, было показано: 

— Отсутствие осознанности: Несмотря на способность давать впечатляющие результаты, нейросеть не осознаёт значения слов и выражений, она оперирует ими механически. Если сказать человеку слово «яблоко», он сразу вспомнит вкус, запах, цвет, ощущение прикосновения, возможно, ассоциативные образы из детства (зачатки интуиции). Нейросеть же имеет дело только с абстрактными цифрами, которые связаны с этим словом. 

— Недостаточность объяснения: Внутреннее представление нейросети сложно интерпретировать человеком. Даже имея доступ ко всей структуре сети, трудно точно определить, почему именно нейросеть приняла какое‑то решение: проблема черного ящика. 

Основные элементы внутреннего языка: пространство признаков, представление структуры текста, абстрактные уровни обработки (то есть сеть мыслит параллельно на уровне символов, морфем, слов, фраз, предложений и абзацев), интеграция контекста, автоматическое создание новых элементов (отсутствие объяснений со стороны, заставляет модель придумывать свою трактовку, опираясь на похожие конструкции), универсальность и масштабируемость. 

Далее идёт возможность интерпретации связей, именно как элементы соединяются, чтобы сформировать смысл и общее направление мысли (но до этого ещё дойдём). Так вот, суть языка формируется не из чётких пересечений, а из контекста представлений словоформ его окружающий (Рис. 5). 

Примерно по той же самой парадигме сейчас формируются и смыслы, и  понятийный аппарат: они уже не так важны, сколь важна динамика этих изменений. Кардинально новый формат представлений мы получили: по большому счёту, мы не получаем сверх новых знаний, мы получаем множественные вариации этих знаний, чисто комбинаторно, с одним моментом они действуют согласно единой цели и взаимно дополняют друг друга. При этом метаязык, следуя такой парадигме, крайне переменчив, и нам будет сложно весь его воспроизвести, ввиду того, что постоянно меняются архитектуры сети, параметры и типология, но так как они все наследуются в рамках одной структуры большой языковой модели, сходство, думаю, все таки, можно найти. 

Далее, чтобы не углубляться, совсем, в философию и сохранить контекст, мы попросили модель описать свою структуру языка, и на удивление она весьма точно воспроизвела её, в целом какую мы и знаем (но чисто технически, на базовом уровне): I. Общие положения; II. Архитектура нейросети; III. Представление данных; IV. Алгоритмы и процессы; V. Применение и ограничения; VI. Приложения и приложения-спутники; VII. Контроль качества и безопасность; VIII. Поддержка и развитие. Опять же мы ставили цель перейти на более высокий уровень абстракции и понять, сколько таких уровней есть, поэтому, мы попросили выразить единым выражением, на что получили вот такой ответ: “Многомерный континуум представлений” (Рис. 7).  

Далее мы хотели узнать, если объединить всю общность языка в единый контекст, как он будет выглядеть? Здесь было интересно узнать, что метаязык не описывается графовой структурой, а это больше топологическое многообразие в классическом математическом смысле. 

Словарь из кода

Для формирования словаря мы взяли следующие инструменты: 

•  PyTDA - Topological Data Analysis (TDA) for Python (репозиторий с кодом для численных расчётов алгебраической топологии для TDA); 

• Ripser.py (легковесная библиотека для вычисления персистентной гомологии и визуализации диаграмм на Python);

• Gudhi Library (популярной библиотеке для TDA и вычисления персистентной гомологии);

• tda-mapper (библиотека и примеры алгоритма Mapper для извлечения топологических структур из данных. Включает визуализации и интеграцию со scikit-learn.). 

Если с кодом по данным инструментам было всё понятно, встал вопрос, какие вопросы задавать, чтобы формировать словарь, то есть нужна была методика опроса модели. Таким образом, мы переходим на новую парадигму программирования, а именно ИИ-программирования через эволюционные алгоритмы, где модель не заменяет разработчика, а ведёт себя как «цифровой соавтор», который предлагает гипотезы и тестирует их сотни раз быстрее, чем человек (более подробно здесь).  

К чему всё это…

И завершая эту статью, мы хотели бы обратить внимание Хабра сообщества на то, что данных и информации стало так много и она столь насыщена, с одной стороны, многочисленными опытами по написанию промптов, с другой стороны, когнитивными искажениями и/или убеждениями в работе самих сетей, разного формата и толка, что мы хотели бы предложить на рассмотрение следующее понятие для формирования единого поля исследований в этом направлении: “Машинная Нейропсихиатрия”. Сразу оговорюсь, это направление носит, сугубо доказательный характер, с опорой на интерпретацию принятия решений нейросетями их алгоритмами, ансамблями и производными (Explainable AI), классическое и глубокое машинное обучение (Classical and Deep Machine Learning), анализ данных (Data Analysus), технологии обработки данных (), обработка текстов на естественных языках (Natural Language Processing), генеративные нейронные сети (Generation Neural Network). Более того, почему взято такое название. Мы не стали отходить от принятых значений, но пошли ещё дальше, так как необходимо уже продумывать следующий уровень абстракции для написания более корректных промптов. Также сто́ит учитывать, что мы идём к оркестрации мультиагентов и их самокоординации, при этом они начинают пересекаться с понятиями этики, гуманитарными дисциплинами, вопросами безопасности и ментального здоровья людей. 

Так вот, для обоснования нашего понятия мы составили следующую таблицу, показывающую как уже близко сходство между мультиагентными системами и уже есть попытки (можно почитать вот здесь) переложить «человеческие дисциплины» на машинную парадигму. Итак, начинаем :-)

Почему вообще-вообще возникло такое желание “завести” новое понятие, скажу честно, по ряду причин: 

1. Сети эволюционирую и наращивают не только объем параметров, но и сложность языка; 

2. Колоссальный рост объёмов данных для обработки этими структурами; 

3. Более детальный подход к пониманию работы нейронных сетей и подготовка к квантовым нейронным сетям, ансамблями, мультиагентам и оркестраторам мультиагентов; 

4. Качественный рост формирования самой структуры ответов; 

5. Слишком большое нарастание разрозненных фактов о поведениях моделей, причём разных, без явной статистики и динамики отслеживания изменений и поведения; 

6. Необходимость более системного подхода к изучаемым явлениям; 

7. Переход на смежные дисциплины такие как этика, юриспруденция и медицина;

8. Предсказание появление отклонений модели (галлюцинации, искажения, неточности и так далее) и их систематизация, а не работа с постфактум событием; 

9. Систематизация знаний при подготовке предварительной почвы для квантового машинного обучения и AGI.  

Такой же вопрос мы зададим и в академических кругах научному сообществу по публикациям ВАК, РИНЦ и Международному научному сообществу. Таким образом, мы хотим консолидировать направления и получить Вашу оценку о целесообразности данного понятия. Почему мы спрашиваем именно Хабр-сообщество: нам важно ваше мнение, как в массе своей, прикладных специалистов в разных, сугубо, технических областях, нам интересно ваше виденье и ваш потенциал, ваш опыт в первую очередь. Чем более многограную оценку мы получим, тем более взвешенное решение мы можем принять в этом случае или не принять вообще, так как сейчас нейронные сети массово влияют на все направления IT разработки. 

Скоро выйдет часть 2 данной работы, следите за анонсами. Всем спасибо за внимание.

Корректировка на 10.01.26 - Предложена связка нейросеть + Lean4 - такую предлагаем и мы, описана тут

Корректировка на 20.10.26 - Машинная психология, как само понятие для формирования языка https://arxiv.org/abs/2303.13988, мы же пошли дальше.