Всем привет, меня зовут Артем Гроза, я Data Scientist в SimpleWine. Я хотел бы поделиться с вами рассказом о таком важном и малоизученном эффекте, как эмерджентность. На написание данной статьи меня вдохновило выступление директора Института перспективных исследований мозга МГУ Константина Анохина на конференции Data Fusion.

Что общего между муравейником и нейронной сетью? 

Начнем с самых основ. Эмерджентность — это фундаментальный феномен, при котором в сложной системе спонтанно возникают новые свойства и закономерности, которых нет в отдельных её частях. Она отражает способность системы демонстрировать поведение, которое невозможно предсказать, исходя из знаний о ее отдельных частях. Этот принцип лежит в основе многих природных и искусственных систем, от живых организмов до социальных структур.

Один из ярких примеров эмерджентности можно увидеть в природе — это организация муравьиной колонии. По одиночке они — простые существа, выполняющие обычные задачи: ищут еду, ухаживают за потомством, строят гнездо. Но когда тысячи муравьев работают вместе, они создают сложную систему, которая управляется не кем-то одним, а сама собой.

В результате такой самоорганизации у колонии появляются новые функции, которых нет у отдельных особей. Например, они могут поддерживать нужную температуру в гнезде, координировано защищать колонию и распределять ресурсы. Некоторые виды даже выращивают грибы, создавая «сады» для пищи.

Как масштабирование моделей делает их умнее

Вернёмся к теме машинного обучения и проявления эмерджентных свойств в глубоких нейронных сетях. Одна из самых первых работ выпущена лабораторией DeepMind совместно с Google Research и Стэнфордским университетом «Emergent Abilities of Large Language Models» («Эмерджентные свойства больших языковых моделей»). В ней сформулированы принципы проявления эмерджентных свойств при масштабировании размеров больших языковых моделей. Другими словами, с увеличением числа параметров в модели начали непредсказуемо проявляться свойства, которых не замечали до этого. Например, на датасете MMLU они примерно определили, при каком размере модели начинают вести себя по-новому. 

Massive Multi-task Language Understanding — это тест с 57 заданиями по разным темам: математика, история, право и др. Для моделей вроде GPT-3, Gopher и Chinchilla с ~10²² FLOPs (порядка 10 млрд параметров) результаты почти такие же, как при угадывании. Но если увеличить до 3–5·10²³ FLOPs (70–280 млрд параметров), производительность значительно улучшается. Грубо говоря, она начинает «умнеть» и давать более точные ответы.

OpenAI тоже изучали поведение моделей и обнаружили интересную вещь: что ещё первые версии GPT, анализируя отзывы с Амазона начали активировать нейрон, отвечающий за поиск сантимента в тексте (лексики, маркирующей негативное или позитивное отношение). Открытия OpenAI и Google DeepMind подтолкнули их к созданию инструментов, которые помогают понять, как работают нейросети «изнутри». Google разработали Gemma Scope — нейросеть архитектуры автоэнкодер (sparse autoencoders), которая обрабатывает нейронные активации на MLP слое. В нём обычно хранятся факты (т.е. фичи). Разреженный автоэнкодер принимает на вход скрытое состояние после активации MLP слоя и сжимает скрытое состояние. С помощью инструмента можно определить, на какие токены и с какой силой активировались определенные нейроны в датасете. Например, на картинке ниже можно увидеть активации нейронов, отвечающих за мифы Древней Греции.

Инструмент OpenAI Microscope позволяет визуализировать, как активируются нейроны в сверточных нейросетях. Он показывает, за какие признаки отвечает каждый нейроны, и даже позволяет увидеть, как эти признаки выглядят с точки зрения самой модели:

Эмерджентность в естественных нейронных сетях

Хотя я и не нейробиолог, важно обратиться к естественным процессам. В этом плане интересен доклад Константина Анохина, который раскрывает, как наш мозг обрабатывает информацию и как это связано с работой нейросетей.

Учёные выявили интересную особенность активности нейронов у мышей, которые реагируют на гнездо и другие объекты с углублениями. Эти клетки, называемые «нейронами гнезда», активируются избирательно в зависимости от того, как мышь взаимодействует с различными предметами. Например, одна из таких клеток, Клетка №1, резко увеличивала свою активность, когда мышь приближалась к гнезду, но не реагировала на другие объекты, такие как чашка с водой или угловой забор. Это говорит о том, что нейрон «узнаёт» гнездо и активируется только в ответ на него.

Ещё более удивительным оказалось поведение этих нейронов в зависимости от размера гнезда. Когда учёные изменили диаметр и высоту стенок гнезда, активность клеток менялась: нейрон реагировал сильнее или слабее,  в зависимости от того, насколько гнездо подходило его «предпочтениям». Это позволяет предположить, что мозг мыши способен различать размеры объектов, с которыми она взаимодействует, и выбирать, какие из них важны для дальнейшей обработки.

Дальнейшие исследования показали, что есть разные типы «нейронов гнезда». Некоторые активируются только на короткое время, когда мышь подходит к гнезду, другие продолжают «гореть» всё время, пока мышь внутри. А есть и такие клетки, которые, наоборот, замолкают, как только мышь оказывается в гнезде, и активно работают только тогда, когда она находится вне его.

Эти открытия подчеркивают, насколько важно для мозга мыши распознавать и различать объекты. Это может быть связано с эволюционной необходимостью быстро находить укрытие в случае опасности. Как оказалось, мозг мыши тонко настроен на восприятие окружающего пространства, и специальные  нейроны помогают ей ориентироваться в окружающем мире.

В исследовании «Cognition as Systemogenesis» Юрия Александрова приведены интересные результаты исследования мозговой активности кролика. Эксперимент заключался в следующем: экспериментальная клетка (A, C), в которой животное выполняет действие для получения пищи, потянув кольцо под углом (A) или нажимая на педаль (C), оснащена парными кормушками. Кормушки автоматически выдают награду при нажатии на соответствующую педаль (расположенную на той же стенке клетки, что и кормушка) или при подтягивании соответствующего кольца. 

На графиках можно заметить, что есть специфические нейроны, которые активируются только при тяге левого кольца (В) и нейроны, которые активируются при нажатии на правую педаль (D). Интересно, что колец было несколько и активации происходили только при тяге левого. То есть мы можем наблюдать реакцию животного на объекты, которых никогда не было в ареале обитания кроликов. Значит существуют нервные клетки, которые отвечают за форму кольца и его положение в пространстве.

Заключение

Многие из вас, дочитав до этого места, могут задаться вопросом: "Окей, эмерджентность в нейросетях — звучит круто, но зачем мне это вообще понимать? Какой от этого профит?" И вот тут начинается самое интересное. Давайте разберёмся, почему эта тема — не просто заумные размышления ресерчеров, а реально важная штука, которая может изменить игру.

Во-первых, эмерджентность в искусственных нейросетях — это как "красная таблетка" для понимания, как эти чёрные ящики вообще работают. Представьте: вы наконец-то начинаете видеть, почему нейросеть выдала тот или иной результат, и, что ещё круче, можете этим управлять. Захотели — подкрутили нужные нейроны, чтобы алгоритм стал прозрачнее и эффективнее. Это не просто теория, а реальный инструмент, который поможет сделать нейросети более предсказуемыми и безопасными. Особенно если речь идёт о серьёзных вещах, вроде медицины, финансов или беспилотников, где ошибки недопустимы.

Во-вторых, эмерджентность в наших собственных мозгах — это ключ к одной из самых больших загадок: как вообще возникает сознание? Если мы разберемся, как из кучи нейронов рождаются мысли, чувства и идеи, это не только приблизит нас к пониманию себя, но и даст мощный толчок для развития AI. Представьте: мы берем идеи из биологии, переносим их в машинное обучение и получаем нейросети, которые не просто "угадывают" котиков на фотках, а реально начинают "думать" и адаптироваться, как человеческий мозг. Это уже не просто апгрейд, а настоящая революция в том, как мы создаем и используем технологии.

Так что эмерджентность — это не просто академический хайп. Это шаг к тому, чтобы сделать нейросети умнее, прозрачнее и ближе к нам, людям. А в перспективе — это шанс построить будущее, где технологии не просто работают, а реально помогают нам решать самые сложные задачи. И, согласитесь, это звучит как вайб, который стоит того, чтобы в него вникнуть.

Дополнительные материалы

• Alexandrov, Y.I. Cognition as Systemogenesis / Y.I. Alexandrov // Anticipation: Learning from the Past. : The Russian/Soviet Contributions to the Science of Anticipation. – Berlin, – 2015. – P. 193-221

• Анохин К. Доклад. Эмерджентность в нейронных сетях искусственного и естественного интеллекта (https://data-fusion.ru/programma.html)

• Zoph B. et al. Emergent abilities of large language models //TMLR. – 2022.

• Lin L, Chen G, Kuang H, Wang D, Tsien JZ. Neural encoding of the concept of nest in the mouse brain. Proc Natl Acad Sci U S A. 2007 Apr 3;104(14):6066-71. doi: 10.1073/pnas.0701106104. Epub 2007 Mar 27. PMID: 17389405; PMCID: PMC1851617.