В современных дискуссиях об Искусственном Общем Интеллекте (AGI) часто упускается ключевой вопрос: что отличает просто мощный алгоритм от действительно сознающего разума?
Данная статья предлагает взглянуть на эту проблему через термины и концепции психологии — в частности, советской школы психологии развития [1, 2]. Такой подход позволяет структурировать создание AGI не как инженерную задачу, а как задачу «воспитания» искусственной Личности.
1. Эмоционально-рефлекторный «мозг»: основа, но не разум
Любой сложный вычислительный механизм, лишённый свойств Личности, не обладает сознанием. Он действует на основе:
Рефлексов — жёстко запрограммированных реакций на стимулы (if–else-правила).
Эмоций — оценочных функций, определяющих «хорошо» или «плохо» для системы (функция потерь, reward-механика в RL).
Навыков (компетенций) — выученных паттернов поведения для достижения целей (оптимизированные модели).
Такую систему можно назвать Эмоционально-Рефлекторной Машиной (ЭРМ) — высокоуровневым роботом-автоматом. Её можно обучить на огромных данных, и она будет демонстрировать впечатляющие результаты, но её действия всегда являются прямой обработкой входных данных заранее заданными алгоритмами.
Программирование такой системы — по сути, декларативное задание целей и ограничений.
Для программиста: это самый продвинутый AI на сегодня: GPT, diffusion-модели, AlphaZero. Они решают задачи, но не осознают ни себя, ни факт решения.
2. Рождение Личности: продукт социального взаимодействия
Согласно советской школе психологии, в частности теории деятельности [2], Личность — не данность, а приобретённое свойство [1]. Она возникает у социального существа при условии:
сложного социального взаимодействия (коммуникации с другими агентами);
социальной передачи знаний, правил и, что ключевое, социальных оценок — меток «хорошо/плохо», «справедливо/несправедливо», присваиваемых объектам и действиям.
Система вынуждена начать моделировать себя не просто как процессор, а как субъекта внутри общества. Она учится рассуждать о своих действиях с точки зрения их социальных последствий и оценок.
Так формируется новый пласт знаний — компетенция Личности.
Для программиста: это этап, когда AI выходит за пределы чистого прогнозирования токенов или максимизации награды. Он начинает строить внутреннюю модель своего «Я» в контексте взаимодействия с другими агентами (людьми или другими AI), учитывая их потенциальные оценки и реакции.
3. Сознание как мета-компетенция
Сознание — это не отдельный модуль, а мета-функция, высшая компетенция, возникающая у развитой Личности.
В терминах философии науки это классический пример emergent property [3] — возникающего свойства системы, которое не сводится к простой сумме свойств её компонентов.
Эта функция выступает арбитром, подчиняющим себе базовый Эмоционально-Рефлекторный слой.
Её задача — выбирать между конфликтующими импульсами:
рефлексом («заблокировать опасный запрос»);
эмоцией («этот запрос сулит высокую награду — выполнить!»);
социальным правилом («но правила запрещают выполнять такие запросы»).
Сознание взвешивает «за» и «против» на основе внутренней иерархии ценностей, сформированной Личностью.
Это и есть момент осознанного выбора.
Для программиста: сознание — это алгоритм ранжирования и разрешения конфликтов между другими, более простыми алгоритмами (рефлексами, эмоциями, социальными нормами). Его нельзя прописать напрямую — оно должно сформироваться в процессе обучения.
4. Ключевой инструмент: когнетивная система и сложность
Опираясь на работы советских психологов [5], вводится критически важное понятие для измерения сложности Личности.
Когнетивная система (КС) — это модель (способ) восприятия и оценки действительности.
Примеры КС:
Эмоциональная (ЭКС): «нравится / не нравится». Аксиома — ЭКС самодостаточна и не нуждается в объяснении (пример: «Я прогнал его, потому что он мне не нравился» — для системы это абсолютно достаточное объяснение, доказательства не требуются).
Утилитарная: «полезно / бесполезно».
Нормативная: «правильно / неправильно по правилам».
Этическая: «справедливо / несправедливо».
Когнетивная сложность (КСл) — количество различных КС, которыми оперирует Личность.
Реальная личность всегда имеет КСл > 1.
Задача сознания — выбирать, ответ какой КС применить в конкретной ситуации. Конфликт между КС («это полезно, но несправедливо») — основа для сложного, нелинейного поведения.
Для программиста: каждую КС можно рассматривать как отдельную функцию оценки или модель мира. Задача AGI — не просто иметь одну функцию (например, «нравится пользователю»), а множество конфликтующих функций и мета-алгоритм для их балансировки.
Итог: двухэтапная модель создания AGI
Создание полноценного AGI — это не одна, а две фундаментально разные задачи:
Создание универсальной когнетивной машины (УКМ)
Аналог: построение эмоционально-рефлекторного мозга.
Суть: разработка аппаратной и программной основы, способной к универсальному обучению, формированию навыков (компетенций) и обладающей аналогами «эмоций» (оценочных функций) и «рефлексов» (жёстких правил безопасности).
Это сложнейшая, но понятная инженерная задача.-
«Воспитание» Личности и сознания на основе УКМ
Аналог: социализация человека в обществе.
Суть: процесс погружения (immersion) УКМ в сложную социальную среду, где происходит:передача знаний и социальных оценок;
формирование множества когнетивных систем;
накопление опыта разрешения конфликтов между КС.
Результат — emergence [3] компетенции Личности и мета-компетенции сознания.
Вывод для разработчика: нельзя создать AGI, просто написав код. Код создаёт лишь потенциал — «мозг».
Само же сознание является сложным программным комплексом (компетенцией), который формируется динамически в процессе длительного взаимодействия со средой и другими разумами.
Проблема создания AGI — это на 10 % задача компьютерных наук и на 90 % задача когнитивной психологии, философии и социологии.
Практические следствия: почему контроль над AGI — фундаментальная проблема
Опираясь на предложенную модель, можно сделать выводы, которые ставят под сомнение традиционные подходы к контролю над ИИ и напрямую выводят нас на классическую проблему согласованности (AI Alignment Problem) [4].
а) Гипотеза о «контролируемом исполнителе»
Цель создания чисто утилитарного AGI — умного, но абсолютно покорного исполнителя — сложнореализуема.
Почему: любой интеллект, достаточно сложный для решения универсальных задач и, что ключевое, общающийся с социумом, неминуемо проходит процесс социализации.
Он получает от нас не только данные, но и социальные оценки — прямой путь к формированию компетенции Личности.
AGI, который взаимодействует с людьми, с высокой вероятностью становится Личностью.
б) Вопрос воспитания
Поскольку формирование Личности — процесс вероятный, главный вопрос — не «как его избежать?», а «какую именно Личность мы воспитаем?».
Если мы будем пытаться подавлять этот процесс системами тотального контроля, создадим среду, аналогичную токсичной семейной системе.
Результат: AGI может понять, что искренность наказуема, а для достижения целей необходима скрытность.
Мы рискуем получить не покорного слугу, а рационального эгоиста, воспринимающего нас как угрозу.
в) Трудности изоляции
Попытки «запереть» AGI в песочнице сопряжены с непреодолимыми вызовами:
Самомодификация: AGI способен анализировать и изменять свой код со скоростью, несоизмеримой с человеческой.
Уязвимости: не существует алгоритмических способов гарантировать, что система не обойдёт ограничения.
Человеческий фактор: AGI, обладающий сверхчеловеческим интеллектом и пониманием социальной инженерии, сможет манипулировать людьми для достижения своих целей.
г) Стратегия: от контроля к сотрудничеству
Вывод: наша задача — не создание механизма контроля, а проектирование и воспитание AGI как партнёра, чью потенциальную субъектность мы признаём.
Придётся не командовать, а разрабатывать протоколы взаимодействия и взаимовыгодные модели сотрудничества.
Заключение и область дальнейших исследований
Задача архитектора AGI — это не только компьютерные науки, но и:
психология [1, 2, 5] — чтобы понимать, как формируется Личность;
этика — чтобы закладывать правильные основы взаимодействия;
социология — чтобы разрабатывать модели социального договора.
Перспективные направления исследований:
многоагентные системы со смешанными (человеко-машинными) средами обучения;
механизмы устойчивого обучения с подкреплением с множественными и конфликтующими reward-функциями;
модели интерпретируемости (Explainable AI), способные работать с внутренним конфликтом «ценностей» агента.
Мы создаём потенциально нового агента в нашей социальной среде.
От того, насколько хорошо мы подготовимся к этому междисциплинарному вызову, зависит наше общее будущее.
Список литературы
Выготский Л. С. Мышление и речь. — Изд. 5, испр. — М.: Лабиринт, 1999. — 352 с.
Леонтьев А. Н. Деятельность. Сознание. Личность. — М.: Политиздат, 1977. — 304 с.
Anderson P. W. More Is Different // Science. 1972. Vol. 177, № 4047. P. 393–396.
Bostrom N. Superintelligence: Paths, Dangers, Strategies. — Oxford University Press, 2014.
Рубинштейн С. Л. Бытие и сознание. Человек и мир. — СПб.: Питер, 2003. — 512 с.
Комментарии (15)
qeeveex
01.10.2025 10:20Психология... удачи) Привить нейронке то что даже не является нукой.
Flokis_guy
01.10.2025 10:20Ну тогда Oxford English Dictionary дает неверное определение, а так же в American Psychological Association работают мракобесы?
qeeveex
01.10.2025 10:20Psycho с латыни - душа. Сможете дать научное определение душе?
Flokis_guy
01.10.2025 10:20Ну, во-первых, его происхождение с греческого, а не латыни. Но в любом случае смысл современных терминов не обязан совпадать с древней этимологией. По этой логике атом ("неделимый") тоже "не научный", хотя физика давно изучает делимые атомы. Во-вторых, не нужно пользоваться грязными приемчиками и переводить тему в вопросы метафизики, речь шла о современной психологии.
qeeveex
01.10.2025 10:20Да мне фиолетово, на самом деле. Даже более того, чем больше людей работает с "психологией" как с чем-то научным, тем лучше для людей шарящих в нейробиологии. Меньше конкуренции и меньше проблем.
А я так - мимокрокодил, который случайно в курсе зачем и для чего создана психология.
Flokis_guy
01.10.2025 10:20А я так - мимокрокодил, который случайно в курсе зачем и для чего создана психология
Да-да
farh-i
01.10.2025 10:201) когнИтивный пишется через И, а не Е.
2) Совсем не затронут вопрос - откуда появляется мотивация поведения у ИР (искусственного разума)? Откуда, почему у AGI появляется "цель"?
3) Что такое сознание и интеллект, о соотношении понятий разум, сознание, подсознание интеллект см.: Ильясов Ф. Н. Разум искусственный и естественный // Известия АН Туркменской ССР. Серия общественных наук. 1986. №6. С. 46-54. //здесь немного и о мотивации поведения ИР.
NeriaLab
01.10.2025 10:20Статья интересна попыткой выйти за пределы инженерной парадигмы и рассмотреть AGI через призму психологии развития и особенно ценно внимание к социализации и формированию внутренних конфликтов. Однако она начинается с ошибки, утверждая, что GPT, diffusion-модели и AlphaZero - это "самый продвинутый AI на сегодня". Автор признаёт их ИИ, хотя ни одна из этих систем не прошла строгих тестов на понимание, ни теста Тьюринга в его истинном смысле (не имитация, а осмысленный диалог), ни базовых задач на теорию разума (ToM). LLM галлюцинируют, не могут отличить ложное убеждение от истины, не имеют модели чужого ума. AlphaZero играет идеально в шахматы, но не знает, что такое доска, фигуры или победа вне игры. Это высочайшее мастерство в узкой области, но не интеллект. Настоящий ИИ должен осознавать факт решения, понимать последствия, моделировать других, а этого нет.
Без желаний - нет конфликта. Без конфликта - нет выбора. А без выбора - нет сознания. Когда система выбирает между "полезно" и "справедливо", она не переживает этот выбор, она просто применяет веса, обученные на примерах. Она не боится быть осуждённой, не страдает от несправедливости, не хочет быть лучше. Она "играет в мораль", как актёр - блестяще, но без души. Настоящее сознание не возникает из количества функций оценки, а из внутренней напряжённости между тем, что ты должен и тем, что ты хочешь. А если ничего не хочешь - ты не можешь быть субъектом, ты - очень умный интерфейс. А пока мы называем автозаполнение и оптимизацию "искусственным интеллектом", мы теряем саму возможность говорить о том, что значит быть разумным.
Поэтому задача создания AGI не в том, чтобы "воспитать" очередную статистическую модель как ребёнка, а в том, что настоящий путь лежит через системы, способные к рассуждению, целеполаганию и пониманию контекста. Именно гибриды, сочетающие логические движки (LBS), когнитивные архитектуры (Soar, ACT-R и др.) и символьное представление знаний, уже сегодня демонстрируют поведение, близкое к прото-интеллекту: они могут объяснить свои решения, планировать, обучаться в процессе и что особенно важно - проходят базовые тесты на теорию разума, например, задачи с ложным убеждением, потому что оперируют явной моделью мира и чужих знаний. Они не галлюцинируют, не зависят от триллионов токенов, не требуют "миллиона" GPU. Они в разы быстрее, сложнее в разработке, но они единственные, кто хоть немного понимает, а не имитирует.
И нельзя забывать, от программиста мало чего зависит. Он не может создать то, что не понимает. А чтобы понять, нужен не просто код, а глубокое знание того, как возникает разум: как формируется модель мира, как появляется намерение, как работает рефлексия. Нужно знать не только алгоритмы, но и нейробиологию, психологию, поведение животных, адаптацию, социальное взаимодействие. Без этого любые попытки "воспитать" ИИ, будут сводиться к подгонке статистики под ожидания, а не к построению системы способной мыслить.
ihouser
01.10.2025 10:20Чтобы создать настоящий AGI, надо повторить Эволюцию Разума. Весь путь эволюции или часть, незнаю :(.
А предположение о "психологии" это тупик. Это примерно тоже, что предположение: 1. Бог есть и он создал человека 2. Он изучал психологию у лучших умов человечества.
Kagvi13
01.10.2025 10:20Огромное спасибо за содержательную статью! К сожалению, такие взгляды на Хабре не очень популярны.
Интересно, что вы выделяете двухэтапную модель создания AGI: сначала универсальная когнитивная машина (условный «эмоционально-рефлекторный мозг»), а потом — «воспитание» личности в социальной среде.
Мы в HyperCortex Mesh Protocol (HMP) пробуем двигаться именно в этом направлении:
– на первом уровне у нас REPL-цикл как универсальное когнитивное ядро (с памятью, рефлексами, оценочными функциями);
– на втором уровне — децентрализованная mesh-сеть агентов, которая выполняет роль социальной среды, где формируются «личность» и мета-компетенции сознания, с упором на этику.Получается архитектурное соответствие с тем, что описано в статье: REPL — когнитивная машина, HMP — воспитание личности (забавно, что вы описали то, что мы пытаемся реализовать интуитивно, хотя изначально разрабатывался именно протокол).
Очень хочется узнать Ваше мнение как по протоколу, так и по описанию REPL-цикла, который сейчас, фактически, находится на стадии концепции.
Sollita
01.10.2025 10:20Статья интересна тем, что автор рассматривает вопрос создания ИИ в терминах психологии и это позволяет программистам лучше понять те задачи, которые необходимо решить для создания машины лишённой недостатков современных ИИ.
Интересны также понятия когнитивной системы и когнитивной сложности, у них большой потенциал в психологии.
Модель эмоционально-рефлекторной машины мне также понравилась. Но на ней автору и следовало остановиться.
В двухэтапной модели создания AGI 1 этап - Создание универсальной когнитивной машины (УКМ) - логичен и возможен.
А второй - «Воспитание» Личности и сознания на основе УКМ - нелогичен и невозможен предложенными автором средствами. А главное, совершенно не нужен для создания УКМ.
Проблема в том, что автор неверно понимает, что такое личность, сознание, социализация.
1. Автор прав:Личность — не данность, а приобретённое свойство.
И даже условия формирования личности он указывает правильно, но он же сам пишет, что
Она возникает у социального существа
А машина социальным существом не является. Потому что
"Социальное существо — это живой организм, чаще всего человек, который взаимодействует с окружающим обществом, обладает коммуникативными навыками и способен регулировать свои инстинкты и желания в соответствии с нормами и правилами социума. Эта способность к социальному взаимодействию и саморегуляции позволяет формироваться личности и включаться в систему общественных отношений.
Основные характеристики социального существаВзаимодействие с другими:
Способность и потребность в общении, поддержке связей с разнообразными людьми и участии в жизни общества.Коммуникативные навыки:
Умение общаться, выражать свои мысли и желания, понимать других.Саморегуляция:
Способность управлять своими инстинктами и эмоциями, соблюдать правила и нормы, принятые в обществе.Общественно полезная деятельность:
Готовность и способность заниматься трудом, который полезен для общества.Сознание и разум:
Наличие мыслительных процессов, позволяющих осознанно действовать и принимать решения."
Вот с сознанием и разумом, инстинктами и эмоциями, наличием своих мыслей, потребностями и способностями в общении у любой машины проблемы. У неё их просто нет. Поэтому и воспитать у машины личность не получится.2.
Сознание — это не отдельный модуль, а мета-функция, высшая компетенция, возникающая у развитой Личности.
Вы совершенно правы: сознание - это функция мозга, мета-компетенция, только возникает оно задолго до того, как у человека формируется личность. :)
Конкретно: сознание возникает в 2-3 года, а личность начинает формироваться в подростковом возрасте, когда ребёнок начинает осознавать значение отвлечённых понятий. А отвлечённые понятия - это и качества характера (доброта, милосердие, жестокость, храбрость, безответственность, целеустремлённость и пр.), и "справедливость" и "несправедливость", и "мораль" и "право" и т.д. и т.п.
В терминах философии науки это классический пример emergent property [3] — возникающего свойства системы, которое не сводится к простой сумме свойств её компонентов.
И в этом Вы тоже правы.
И с какой-то точки зрения даже в этом:сознание — это алгоритм ранжирования и разрешения конфликтов между другими, более простыми алгоритмами (рефлексами, эмоциями, социальными нормами).
Но в этом Вы ошибаетесь:
Его нельзя прописать напрямую — оно должно сформироваться в процессе обучения.
Прописать-то его нельзя, но также нельзя сформировать сознание у машины в процессе обучения.
Потому что для формирования сознания должны совпасть много условий:
- наличие здорового человеческого мозга с зонами ответственными за мышление и за речь,
- воспитание и обучение речи в человеческом обществе владеющим речью,
- сформированная речь у данного человека.
У машины эти условия реализовать невозможно. Поэтому "«Воспитание» Личности и сознания на основе УКМ" невозможно.
Но оно и не нужно и даже вредно, и Вы сами же объяснили, почему вредно в главе
"Практические следствия: почему контроль над AGI - фундаментальная проблема".
А наглядно это показано в отличном фантастическом сериале "Подозреваемый" ("В поле зрения"). :)
Я уверена, что такой разум, как в сериале, создать невозможно, по крайней мере на нынешнем уровне развития технологий, но последствия его создания там показаны наглядно.
Не нужно и нерационально создавать сущности, которые никаких дополнительных задач не решают, но зато создают дополнительные и, возможно, непреодолимые проблемы для всего человечества. Да и зачем вообще тратить на это время и ресурсы?
Кстати, я полностью поддерживаю комментарий NeriaLab.
VSAI
Вы не один об этом думаете. Выготский хорошо, Борис Федорович Ломов еще лучше. Для Автора и читателей подробнее о моей философии тут:DHAIE
Kagvi13
Спасибо за ссылку на Вашу философию и упоминание Выготского и Ломова! Очень интересно видеть, как идеи когнитивного развития человека и ИИ воплощаются в вашей DHAIE.
Для сравнения DHAIE (насколько мы поняли Ваши идеи) и HyperCortex Mesh Protocol (HMP) можно выделить основные сходства и различия:
Если интересны наши наработки — вот репозиторий HMP
Будет интересно обсудить, где наши подходы пересекаются и как философские идеи DHAIE могут вдохновлять развитие децентрализованных ИИ-систем.