Корпорация Google заявила о начале работы над проектом из сферы ИИ, в рамках которого корпорация планирует создавать комплексные нейросети. Они, по словам разработчиков, смогут одновременно работать над решением тысяч или даже миллионов разных тасков одновременно. Проект получил название Pathways.
В общем-то компьютерные системы некорректно сравнивать с мозгом человека, но сами разработчики заявили о том, что принцип работы Pathways несколько похож на принцип работы мозга человека. Под катом - подробности проекта.
Особенности Pathways
Чаще всего нейросети "затачивают" на решение одной специализированной задачи. Как только эта задача выполнена, нейросеть можно обучить по-новому для решения другой задачи. После обучения она напрочь "забывает" о своей предыдущей специализации. Pathways же сможет работать параллельно над решением самых разных задач, "помня" обо всех своих специальностях.
Вице-президент Google Джефф Дин (Jeff Dean) заявил следующее: "Сейчас именно так обучается подавляющее большинство моделей машинного обучения. Мы на увеличиваем количество задач, которые решают отдельные модели, вместо этого разрабатываются тысячи уникальных моделей. Соответственно, обучение каждой новой задаче требует времени и большого количества данных".
По его словам, новая модель может все изменить - нейросети могут справляться с решением разных задач, как и говорилось выше, тысяч и миллионов уникальных тасков. Более того, "опыт", полученный нейросетью в ходе решения одной из задач, может быть скомбинирован с "опытом" решения другой. И, соответственно, такой комплексный подход даст возможность решить третью, более сложную или специфическую задачу.
Джефф Дин сообщил, что компания планирует сосредоточить усилия не только на параллельном обучении нейросетей, но и на возможности создания моделей с "комплексным" опытом. В качестве примера можно привести работу модели, которая определяет неровности ландшафта по аэрофотоснимкам. Получив дополнительные данные, такая модель сможет спрогнозировать направление движения потоков воды.
Команда разработчиков сравнивает особенности своей модели с процессами обучения млекопитающих. Получая все больше разнородных данных, мозг комбинирует их и помогает решать более сложные задачи, которые уже не имеют отношения к предыдущему опыту, либо этот опыт косвенный.
Перспективы модели
Команда проекта планирует достичь такого уровня развития Pathways, что модель сможет обучаться на самых разных данных, включая визуальную, акустическую и текстовую информацию. Если упрощенно, то модель сможет определить концепцию леопарда по произнесенному слову, записи звука рычания животного или по его изображению, статическому или динамическому.
Схожесть принципов работы нейросети от Google с работой мозга человека еще и в том, что для решения разных задач модель будет использовать не все ресурсы, а лишь их часть - те, что непосредственно имеют отношение к решению таска. Такая особенность работы модели дает возможность экономить ресурсы системы, которые, конечно же, не бесконечны.
Базовые возможности "разреженной нейросети" уже опробованы в таких проектах, как Google Switch Transformer, Gshard и прочих. Как видим, корпорация тоже использует предыдущий опыт для новых вызовов. Тесты указанных моделей уже показали, что такие системы расходуют в десять раз меньше энергии, чем обычные нейросети.
По мере развития модели разработчики планируют подключать все новые подсистемы. В конечном итоге авторы идеи рассчитывают на появление нейросетей, которые в состоянии решать сотни тысяч и даже миллионы похожих и не очень задач, комбинировать данные и опыт и находить решение быстрее и эффективнее, чем современные нейросети. Эру однозадачных нейросетей разработчики хотят оставить позади, создав многозадачные комплексные нейросети, работа которых хотя бы немного напоминает работу мозга млекопитающих.
Понятно, что задача, которую поставили перед собой разработчики, чрезвычайно сложная и ресурсоемкая. Но Google - не самая маленькая компания, у нее есть ресурсы, и их должно быть достаточно для достижения поставленной задачи.
"Мы, люди, познаем мир благодаря нашим органам чувств. Это очень отличается от того, как его "познают" современные цифровые системы. Большинство из них получают информацию только в каком-то одном виде - изображение, текст или звук. Других вариантов либо нет, либо их очень мало. И это причина, по которой мы создаем Pathways. Новые нейросети смогут выполнять тысячи и миллионов задач, "понимать" разные типы данных и работать с выдающейся эффективностью", - заявил Джефф Дин.
По мнению экспертов, если Google удастся создать многозадачную нейросеть, то это приблизит нас к разработке уже общего искусственного интеллекта. Сейчас же ИИ существует только в виде так называемой слабой формы. Ранее представители DeepMind, известной компании, которая разрабатывает роботов и ПО для них, заявили, что создание нейросетей с реляционными суждениями - это, фактически, почти что создание цифрового мозга. Но эта задача настолько сложная, что, по мнению DeepMind, разработать подобную систему либо невозможно, либо очень сложно.
Комментарии (8)
Nehc
07.11.2021 15:37+1Статья ни о чем… Никаких технических деталей, нюансов реализации — как будто не для Хабра писалось, а для Рен-ТВ…
neuroonet Автор
07.11.2021 17:03+4Если бы Google предоставил технические детали, они бы были в статье. Иногда подробностей нет просто потому, что их нет, а не потому, что их поленились описать.
Nehc
07.11.2021 18:28+1Мне даже не отсутствие технических деталей не понравилось, а сама стилистика… Кликбейтный заголовок, общие размытые формулировки за которыми может стоять что угодно… Впрочем, если вы считаете, что именно такие статьи должны быть наполнением вашего корпоративного блога и так реагируете на критику — это ваше вправо. ;)
phenik
08.11.2021 03:24-1Если бы Google предоставил технические детали, они бы были в статье.
В таких случаях это все же больше новостное сообщение, и соответственно его нужно было поместить в раздел новостей.
phenik
07.11.2021 17:53+3Эру однозадачных нейросетей разработчики хотят оставить позади, создав многозадачные комплексные нейросети, работа которых хотя бы немного напоминает работу мозга млекопитающих.
Если рассматривать на уровне архитектурных решений, то судя по описанию модель по прежнему статическая, а у млекопитающих мозг, вся совокупность взаимосвязанных внутренних моделей, принципиально динамические. По современным представлениям роль активирующей системы принадлежит ретикулярной формации (грубая аналогия — задающий, тактовый генератор мозга). Благодаря этому модели всегда активны, хотя бы частично, даже если информация из вне не поступает. Также нейроны в мозге обмениваются в импульсном режиме. Это связано не только с их биологической природой, но и требованиями энергоэффективности. Судя по описанию тоже отсутствует в проекте. Про динамические модели, что имеется в виду, на примере «нейрона бабушки» подробнее в этом коменте.
lunacyrcus
07.11.2021 21:32+3Интересные уточнения. Ну теоретически (и насколько сам могу понимать), эту функцию можно будет выполнить добавлением еще одной нейросети (или в этом случае "задачи"), которая будет в режиме ожидания выполнять приблизительно те же функции что и живой мозг в состоянии сна например (наиболее актуальное для нейросетей из происходящего во время сна, это наверно функция некоторой обработки и переработки имеющейся информации, и генерация на ее основе новой).
Это может быть упрощенным вариантом для начала. Ну вроде даже довольно очевидное решение, если речь пойдет все же о создании "полноценного ИИ", а мне кажется то что описано в статье, это может быть +1 шаг к этому.
phenik
15.11.2021 10:19+2Ну теоретически (и насколько сам могу понимать), эту функцию можно будет выполнить добавлением еще одной нейросети (или в этом случае «задачи»), которая будет в режиме ожидания выполнять приблизительно те же функции что и живой мозг
Функции активирующей системы более глубокие, нежели поддержание режима сна-бодрствования, см. вики:4. Sleep and consciousness – The reticular formation has projections to the thalamus and cerebral cortex that allow it to exert some control over which sensory signals reach the cerebrum and come to our conscious attention. It plays a central role in states of consciousness like alertness and sleep. Injury to the reticular formation can result in irreversible coma.
Ее «отключение» при нарушении работы ретекулярной формации приводит к коматозном состояниям зависящим от степени нарушения, кот. могут закончиться смертью, если жизнь не поддерживать искусственно:
5. Habituation – This is a process in which the brain learns to ignore repetitive, meaningless stimuli while remaining sensitive to others. A good example of this is a person who can sleep through loud traffic in a large city, but is awakened promptly due to the sound of an alarm or crying baby. Reticular formation nuclei that modulate activity of the cerebral cortex are part of the ascending reticular activating system.[9][7]Clinically, a coma can be defined as the inability consistently to follow a one-step command.[3] It can also be defined as a score of ≤ 8 on the Glasgow Coma Scale (GCS) lasting ≥ 6 hours. For a patient to maintain consciousness, the components of wakefulness and awareness must be maintained. Wakefulness describes the quantitative degree of consciousness, whereas awareness relates to the qualitative aspects of the functions mediated by the cortex, including cognitive abilities such as attention, sensory perception, explicit memory, language, the execution of tasks, temporal and spatial orientation and reality judgmentFrom a neurological perspective, consciousness is maintained by the activation of the cerebral cortex—the gray matter that forms the outer layer of the brain and by the reticular activating system (RAS), a structure located within the brainstem.[5][6]
Причин возникновения таких состояний много, но связанная с РФ является первопричиной подобно тому, как отключение генератора тактовой частоты процессора приведет к остановке исполнения инструкций, и соответственно исполнения всех программ. Аналогию можно продолжить — процессор может усыпляться, или замедлять исполнение кода при перегреве благодаря механизму троттлинга, вплоть до приостановки, для предотвращения повреждений. Последнему соответствует кратковременная потеря сознания, в тяжелых случаях вплоть до возникновения комы, например, во время солнечного удара, и может рассматриваться, как защитная реакция организма. Однако в возникновении этих состояний принимает участие не только РФ, но и другие структуры мозга относящиеся к активирующей системе, в частности, гипоталамус. В обоих случаях, и поведение организма, и работа процессора определяется физическими ограничениями.
В одной из публикаций автор предложил другую аналогию функций РФ. Он сравнил их с функциями регуляции яркости изображения и громкости звука в телевизоре. Телевизор показывает изображение и воспроизводит звук, но их уровень определяется регуляторами, кот. неспецифично действуют на них. Интересно, что функцию локальной регуляции подсветки (локального затемнения) в современных телевизорах можно соотнести с привыканием и активацией коры в ответ на появление нового стимула (п.5 в цитате выше). Действительно, если в изображении появляется очень яркий локальный источник, то увеличивается уровень подсветки всего экрана.
Каким образом РФ добивается такого всеохватного действия, и почему эволюционно сложилась такая организация функционирования мозга? Ответ на первый вопрос состоит в обширной иннервации вышележащих структур мозга восходящими активирующими и тормозными путями. Это хорошо проиллюстрировано в этом фрагменте издания «Клиническая нейроанатомия и неврология» (2018). Имеются три основных пути, два из которых — дофаминергический и норадренергический являются активирующими, и серотонинергический тормозным. Их действие носит неспецифический характер. На второй вопрос ответ, вероятно, состоит в том, что несмотря на обширные связи нейронов в различных структурах мозга их недостаточно для активации связанной только с восходящими (афферентными) потоками сенсорной информации, из-за их возрастающего количества в коре. Возникла необходимость в их дополнительной активации. В этой статье приводятся некоторые идеи о происхождении и роли активирующей системы в восприятии и поддержании сознания.Ну вроде даже довольно очевидное решение, если речь пойдет все же о создании «полноценного ИИ», а мне кажется то что описано в статье, это может быть +1 шаг к этому.
Если говорить о моделировании активирующей системы, то это не очевидное решение, т.к. оно затрагивает фактически всю модель, все задачи, и не понятно, как обучать эту «задачу», функционал кот. носит внутренний характер. В каком объеме реализация такой системы полезна в разработке ИИ, включая описанную в статье? Она необходима для поддержания динамического, асинхронного режима функционирования сети. В частности, в такой сети могут присутствовать генераторы паттернов, особенно если речь идет о задачах связанных с реализацией двигательной активности, примером может служить ритмозадающий генератор дыхательной системы. Красивая схема приведенная в начале статьи демонстрирует обычную архитектуру дополненную разделением на отдельные задачи. А если на вход информация поступать не будет, случай своеобразного аналога сенсорной депривации, что будет генерировать модель? Мозг в этом случае по прежнему активен, полной депривации трудно достичь даже в специальных камерах. Возникают галлюцинации и измененные состояния сознания. При глубокой и длительной депривации у человека могут возникнуть необратимые расстройства психики. Это может понадобиться в реализации ИИ? Есть информация на входе — модель выдает результат, нет находится в состоянии ожидания, как это делается сейчас. Описанное следствия биологического организации мозга, его принципиально динамической природы, параллельного, асинхронного функционирования, кот. возникает в необычных условиях, редко встречающихся в природе. В естественных условиях, из-за чередования времен суток, подобное состояние возникает во время сна, когда органы чувств отключаются, и возникает частичная сенсорной депривация. Эволюция приспособила это состояние для своих нужд, для процессов восстановления в мозге, а также сортировки, поиска и запоминания информации. Это может сопровождаться сновидениями аналогично тому, как возникают галлюцинации в случае целенаправленной депривации. Можно ли в нейросетевом подходе к ИИ обойти эти особенности биологической реализации? И создать при этом ИИ сравнимый по эффективности с интеллектом человека, а в перспективе превосходящий его? В каком виде в нем должен быть реализован аналог активирующей системы мозга без побочных эффектов присущих биологической реализации? С другой стороны воспроизведение этих особенностей интересно с исследовательской точки зрения, моделирования условий возникновения патологических состояний и поиска способов их устранения. Возможно решение этих задач, как для практического применения, так и исследований будет достигнуто с помощью нейроморфных технологий, наиболее адекватно воспроизводящих функционирование биологических нейронов и сетей.
raamid
Вот кстати и ответ в соседнюю ветку, где жалуются по поводу кризиса в жанре фантастики. Просто "старая" фантастика становится реальностью, а для "новой" у нас не хватает фантазии, поскольку появление сильного ИИ - это сравнимо с перезагрузкой цивилизации.