Что это значит? Автор книги The Self-Assembling Brain, профессор Питер Хизингер, рассказывает, чему нейросетям стоило бы поучиться у биологического мозга, насколько назрел новый подход к искусственному интеллекту и как именно мозг собирает себя сам. Подробностями делимся под катом, пока у нас начинается флагманский курс Data Science.

История искусственного интеллекта наполнена теориями, попытками изучить и воспроизвести работу и структуру мозга. Например, системы символического ИИ пытались копировать поведение мозга с помощью основанных на правилах модулей. Глубокие нейронные сети разработаны согласно паттернам активации нейронов и их соединений.

Но есть идея, не получившая достаточного внимания со стороны сообщества ИИ. Она о том, как мозг создаёт сам себя. Так утверждает Питер Робин Хизингер, профессор нейробиологии Свободного университета Берлина (Freie Universität Berlin).

В своей книге The Self-Assembling Brain Хизингер предлагает не рассматривать мозг как конечный продукт, а вместо этого изучать, как по мере роста закодированная в геноме информация превращается в мозг. Это направление исследований может помочь открыть новые идеи и направления исследований в сообществе ИИ.

The Self-Assembling Brain организована как серия презентаций семинаров, которые перемежаются дискуссиями инженера по робототехнике, нейробиолога, генетика и исследователей ИИ. Эти дискуссии помогают понять взгляды и характер каждой области по темам о разуме, мозге, интеллекте и искусственном интеллекте.

Биологический мозг против искусственных нейронных сетей

Многие тайны разума остаются нераскрытыми. Но мы знаем, что геном — программа построения человеческого тела — не содержит подробной информации о том, как будет устроен мозг.

Начальное состояние не даёт информации, чтобы напрямую вычислить конечный результат. Его можно получить только вычислением функции и выполнением программы от начала и до конца, шаг за шагом. Алгоритм развивает в мозгу новые состояния, и эти новые состояния формируют основу дальнейшего развития. Хизингер в книге The Self-Assembling Brain рассказывает об этом так: 

«На каждом шаге активируются части генома. Они производят геномные продукты, которые сами изменяют то, какие части генома активируются после этого. Обратная связь между геномом и его продуктами непрерывна, а конкретный шаг раньше или позже может оказаться невозможным. Новые состояния организации достигаются шаг за шагом, по мере роста».

Таким образом, наш геном содержит необходимую для создания мозга информацию. Однако эта информация — не чертёж с описанием мозга. Это алгоритм, который развивает мозг во времени.

Рост, организация и обучение в биологическом мозге происходят параллельно. На каждом новом этапе развития мозг приобретает новые способности к обучению (здравый смысл, логика, язык, решение проблем, планирование, математика). С возрастом способности к обучению изменяются. «Подход ИНС подводит к настоящему мозгу ближе любого другого известного подхода. Однако самоорганизация мозга не была главной темой на протяжении большей части истории исследований ИНС», — пишет Хизингер.

ИНС — это фиксированная структура, количество её слоёв и параметров определено заранее. Вначале параметры не содержат никакой информации, инициализируются случайными значениями.

В процессе обучения, по мере рассмотрения многочисленных примеров, нейронная сеть постепенно подстраивает значения параметров. Когда сеть достигает приемлемой точности в отображении входных данных в соответствующие выходные, обучение прекращается.

С точки зрения биологии, разработка ANN — это как дать мозгу вырасти до взрослого размера, затем включить его и попытаться научить его что-то делать.

«Биологический мозг не начинается как сеть со случайными синапсами и отсутствием информационного содержания. Мозг растёт», — пишет Хизингер. — Паук не учится плести паутину; информация закодирована в самом процессе развития нейронной сети паука».

Хотя глубокие нейронные сети часто сравнивают с их биологическими аналогами, их фундаментальные различия ставят нейронные и биологические сети на два совершенно разных уровня.

«Сегодня, смею заметить, как никогда ясно, насколько эти два понятия несопоставимы», — пишет Хизингер. — С одной стороны — сочетание генетически заложенного роста и обучения на новом материале по мере развития; с другой — не рост, но обучение через перенастройку случайной сети».

Почему самостоятельная сборка мозга в значительной степени игнорируется в исследованиях ИИ

Вот что Хизингер рассказывает в интервью TechTalks:

«Для меня — нейробиолога, который всю жизнь занимался исследованиями в попытке понять, как гены могут кодировать мозг, отсутствие в основных ИНС идей роста и самоорганизации действительно было причиной обратиться к сообществам ИИ и изучения искусственной жизни».

Учёные, которые изучают искусственную жизнь, в последние годы исследуют процессы развития на основе генома. Хотя успехи глубокого обучения  в значительной степени затмили прогресс в этой области. 

В этих архитектурах нейронные сети проходят через процесс, итеративно создающий их архитектуру, а также регулирующий веса. Этот процесс сложнее традиционного подхода глубокого обучения, а значит, выше и вычислительные требования. Вот что Хизингер рассказывает об этом:

«Подобные усилия требуют некоторого обоснования — в основном демонстрации того, что может дать настоящее эволюционное программирование ИНС, чего не может дать текущее глубокое обучение. Этой демонстрации пока не существует. 

Показано, что эволюционное программирование работает, имеет интересные особенности, например, в адаптивности, но деньги и внимание направляются на подходы, попадающие в заголовки газет. Вспомните MuZero и AlphaFold».

То, о чём говорит Хизингер, в некотором роде напоминает состояние глубокого обучения до 2000-х. Тогда в теории было доказано, что глубокие нейронные сети работают, однако ограничения вычислительных мощностей и данных не позволили нейросетям получить широкое распространение.

«Возможно, через несколько лет новые (квантовые?) компьютеры вдруг преодолеют существующие ограничения. Мы не знаем», — предполагает Хизингер.

Короткие пути к ИИ

Ещё одна причина, по которой сообщество ИИ не уделяет достаточного внимания самостоятельной сборке мозга, связана с различными взглядами на то, какие аспекты биологии имеют отношение к воспроизведению интеллекта. Учёные всегда стараются найти наименьший уровень детализации, дающий справедливое объяснение предмета их исследования.

Исследователи сообщества ИИ пытаются идти короткими путями, то есть избегать внедрения ненужных биологических деталей. Нам не нужно подражать природе во всем её беспорядке, считает Хизингер. 

Поэтому вместо попыток создать систему ИИ, которая создаст себя сама путём генетического развития, учёные пытаются построить модели, приблизительно повторяющие поведение конечного продукта мозга.

«Некоторые ведущие исследователи в области ИИ заходят далеко. Они говорят, что 1 Гб информации о геноме — в любом случае слишком мало, так что это должно быть всё обучение», — сказал Хизингер. — Аргумент не очень хороший: конечно, известно, что 1 Гб геномной информации в процессе роста может произвести гораздо больше информации».

Уже есть несколько экспериментов, которые показывают, что с небольшим объёмом данных, алгоритмом и достаточным количеством циклов выполнения возможно создавать крайне сложные системы. Показательный пример — созданный Джоном Конвеем клеточный автомат "Жизнь". 

Это сетка клеток, состояние которых меняется с «мёртвого» на «живое» по трём правилам: 

• Любая окружённая двумя или тремя соседями живая клетка остаётся живой на следующем этапе, 

• Окружённые тремя живыми клетками мёртвые клетки тоже оживают на следующем этапе. 

• Оставшиеся клетки гибнут.

«Игра в жизнь» и другие клеточные автоматы, например Правило 110, иногда приводят к Тьюринг-полным системам. Эти системы способны к вычислениям любого рода.

«Всевозможные случайности теоретически могут быть частью детерминированной программы, на которую мы смотрим изнутри, поскольку не можем посмотреть на Вселенную со стороны», — считает Хизингер. — Хотя это очень философский аргумент, который нельзя доказать так или иначе, подобные «Правилу 110» эксперименты показывают, что основанная на очень простом геноме система может породить бесконечную сложность. Эта система изнутри может выглядеть сложной, как Вселенная».

Так и мозг начинается с очень простой структуры, постепенно развиваясь в сложное образование, превосходящее информационную ёмкость первоначального состояния. Поэтому отбрасывать изучение генетического развития как не имеющего отношения к интеллекту может быть ошибочно, как утверждает Хизингер.

«Некоторые исследователи ИИ, по понятным причинам ослеплённые успехами чистого обучения, немного недооценивают и теорию информации, и биологию. И я бы добавил: биологи [здесь] не помогают, они также в значительной степени игнорируют вопрос теории информации, пытаясь найти отдельные гены и молекулы, проводку мозга».

ИИ общего назначения по-новому

В книге The Self-Assembling Brain Хизингер утверждает, что, когда дело доходит до воспроизведения человеческого мозга, нельзя идти короткими путями, необходимо выполнить алгоритм самостоятельно сборки в мельчайших деталях. Но нужно ли нам брать на себя такое обязательство?

В современном виде искусственные нейронные сети страдают от серьёзных недостатков, включая необходимость в большом количестве обучающих примеров и чувствительность к изменениям в окружении. 

Они не обладают способностью биологического мозга обобщать навыки для выполнения множества задач и их применения к невиданным ситуациям. Несмотря на это, ИНС доказали высокую эффективность в решении конкретных задач, когда обучающих данных достаточно и они представляют распределение, с которым модель встретится. В некоторых приложениях нейронные сети даже превосходят человека в скорости и точности.

Чего мы хтоим? Вырастить роботу мозги? Или предпочитаем придерживаться коротких путей, дающих нам узконаправленные системы AI, которые могут выполнять определённые задачи превосходя человека? Хизингер считает, что узкие приложения ИИ будут продолжать процветать и станут неотъемлемой частью нашей повседневной жизни. «В смысле узких ИИ успех абсолютно очевиден, и предела нет, если это так», — сказал он. Однако ИИ общего назначения немного сложнее. 

«Я не знаю, почему мы хотим воспроизвести человека in silico. Но это похоже на то, почему мы хотим полететь на Луну. На самом деле это не очень интересное место», — делится Хизингер.

Но пока сообщество ИИ продолжает гнаться за мечтой о воспроизведении человеческого мозга, ему необходимо скорректировать свой взгляд на искусственный интеллект общего назначения.

«Что на самом деле должно означать слово "общий"? В этом нет согласия. Значит, ИИ ведёт себя как человек? Как насчёт интеллекта бабочек (всё закодировано!)?» — сказал Хизингер, отметив, что каждая форма жизни сама по себе обладает общим интеллектом, который подходит для выживания.

«Вот где я вижу проблему: "Интеллект человеческого уровня" — это на самом деле немного несерьёзно. "Человеческий интеллект" — вот что понятно: это наш [интеллект]. У людей очень специфический для человека тип интеллекта», — сказал он.

И этот тип интеллекта не может измеряться уровнем выполнения одной или нескольких задач, таких как игра в шахматы или классификация изображений. Напротив, широта областей, в которых человек может действовать, принимать решения, управлять и решать проблемы, делает его по-своему интеллектуальным. Как только вы начинаете измерять и сравнивать уровни интеллекта в [конкретных] задачах, вы лишаете их человеческого аспекта, считает Хизингер.

«На мой взгляд, искусственный интеллект общего назначения — это не проблема всё более высоких "уровней" нынешних узких подходов для достижения человеческого "уровня". Такого на самом деле не существует. Если вы хотите сделать ИИ по-настоящему человеческим, то речь идёт не о том, чтобы сделать нынешние ориентированные на уровень задач ИИ быстрее и лучше. Речь идёт о том, чтобы ввести в сеть тот тип информации, который делает человеческий мозг человеческим», — сказал он. — И это, насколько я могу судить, в настоящее время имеет только одно известное решение и путь — биологический. <…> Коротких путей нет».

А пока искусственный интеллект приближается к человеческому, вы можете обратить внимание на наши курсы.

Узнать подробности акции.

• Профессия Data Scientist (24 месяца)

• Курс «Machine Learning и Deep Learning» (6 месяцев)