Словарь Вильяма Шекспира составляет 12000 слов. Словарь негра из людоедского племени «Мумбо-Юмбо» составляет 300 слов. Эллочка Щукина из книги «12 стульев» легко и свободно обходилась тридцатью.

Человек легко понимает Эллочку. Увы, компьютер скорее бы понял Шекспира, чем Эллочку. Нам хватит понять контекст и интонацию — остальное мы додумаем, — а компьютеру надо четкости в каждом термине. Желательно без синонимов. Чем больше образов скрыто за каждым словом, тем сложнее его понять. Контекстозависимость человеческих слов только одна из сложностей обучения искусственного интеллекта естественному языку. Если отличить съедобный лук от стреляющего лука можно при наличии полноты описания ситуации, то отрицание смысла иронией или риторические вопросы распознаются только по интонации. Дополнительную сложность создает синтаксис и порядок слов в предложении.

Игорь Мордач, сотрудник американской лаборатории искусственного интеллекта OpenAI, однако решил, что Эллочкин язык — далеко не тупиковый путь, а вполне подходящий пример, на котором боты выстроят язык для своего общения, а потом и нас поймут. Только и 30 слов для компьютерной Эллочки он пожалел. В его эксперименте компьютерная программа создавала язык «с нуля».

В поисках универсального языка общения с машинами

Точность распознавания естественного языка сейчас у лидеров когнитивных систем (IBM Watson, Google, ABBYY, Microsoft, Наносемантика) позволяет в общем понять смысл и ответить на письменный вопрос при заранее определенной предметной базы знаний, но разговор даже с 90% точностью распознавания фраз на самом деле очень утомителен. Разговорная речь, насыщенная междометиями и проходящая часто в обширной компании с пересечением диалогов, ставит бота по способности поддерживать беседу на уровень трехлетнего ребенка.

Наличие способности у программ точно реагировать на смысл фраз позволило бы решить множество проблем интерфейса, а значит подключить ботов (агентов искусственного интеллекта) к любой повседневной человеческой задаче. Диалог с машинами есть и сейчас — телевизор, например, общается на языке пульта. Но понимает очень мало команд. Причем и их понимает только после программирования. Из этого просто примера ясно, что для быстрого и гибкого общения с многоцелевыми программами и устройствами (хотя бы роботами), надо убрать из диалога посредников. Среди которых, увы, и программисты.

Оптимисты компьютерной лингвистики связывают надежды с нейросетями. В их понимании проблема только в необходимости обработки большого количестве примеров. Оппоненты считают задачу неразрешимой. Не столько из-за масштаба обучения, сколько из-за равнозначности этой задачи задачи созданию сознания у машин. Примеры считающих дельфинов или общающихся обезьян каждая из сторон трактует себе на пользу — одни как перспективу, другие как тупик. Для интересующихся подробностями на Хабре и ГТ есть много постов про естественный язык. К примеру «Введение в распознавание естественного языка».

Предметом этого поста является третий подход, взятый за основу Игорем Мордачем — пусть машины сами сначала научатся общаться на создаваемом ими же языке. Процесс выработки своего языка позволит программным агентам искусственного интеллекта лучше понять алгоритм подстройки терминов под новые смыслы, правила фразообразования и использовать эти знания для бесед с человеком. Именно так поставил задачу Мордач, ранее работавший специалистом по созданию движущихся роботов-киногероев. С учетом этого бекграунда Игорь решил, что обучение движениям содержит алгоритмы сбора информации и её частичного одновременного использования, которые можно использовать в любом обучении.

Для обучения ботов языку ботов (программных агентов) поместили в условную вселенную «белого квадрата», задали им цели, энергию движения и возможность обрабатывать опыт соотнесения себя с целью. Изначально у ботов был минимальный набор команд действия, личный опыт успеха, а также дали способ обмена информацией — через близкий «тактильный контакт» или через дистанционный прообраз «слуха и зрения» (тут уместнее использовать термин направление информационного потока). Предназначением ботов в условной вселенной «белого квадрата» было достичь определенной точки самому, сообщить свою цель другому агенту, обменяться целями, затолкать другого агента к цели при отсутствии между ними информационного обмена. Цели и боты отличались цветом или размером.

Для агента Смита матрица при ее сотворении Мордачем выглядела бы примерно так:


В эксперименте OpenAI измеряемым параметром успешности проб и ошибок были факт и скорость достижения целей. Они могли быть бездействие или движение определенной точки (непосредственного контакта с целью или контакта через других агентов) в виртуальном мире белого квадрата. Чем быстрее достигалась цель, тем полезнее признавался используемый список терминов в текущем диалоге целей. Цели и успех были как индивидуальные, так и коллективные.

В процессе выполнения задач боты обогатили языковой запас новыми понятиями условно соответствующими человеческим — от терминов движения до понятий: выше, ниже, правее, левее. Мордач рассчитывает, что устанавливая правила словообразования, боты смогут легче «понимать» такие же правила в человеческих языках. В том числе обучаясь точности использования сравнительных и неопределенных терминов. ИИ плохо понимает абстрактные и обобщенные термины. Точнее он вообще ничего не понимает, но с какими то фразами он работать готов, а для других надо получить уточняющую информацию. В выражении «машина едет быстро» как минимум слово «быстро» — нуждается в измерении. Даже в понятиях ПДД «быстро» — это все равно массив значений, которых вписывается в какой-то интервал. Точнее несколько интервалов — для города, автобанов и сельской местности.

Нейросети, конечно, умеют работать с неопределенными терминами, но их обучение обычно начинается не с нуля, содержит ряд стартовых правил обработки, а также не имеет зависимости накопления сигнального опыта от типа канала, по которому информация передается. Это основные новинки экспериментов Мордача.

Сравнение дистанционных коммуникаций и тактильного общения ботов:

Отсутствие тела и границ делает все эти термины условными, конечно.

Примечательный момент ещё и в том, что успех каждого бота рассчитывался как доля от успеха всех ботов, поощряющая сотрудничество при достижении цели. То есть качество словарного запаса оценивалось по совокупности используемого языка. Получается, кто-то должен был обязательно собирать и сообщать второстепенные обстоятельства достижения цели, которые в случае индивидуального выполнения целей каждым носителем мешали бы достичь оных. Статистическое правило 20/80 — получение 20% информации обеспечивают 80% достижения цели — работает на уровне индивидуального субъекта, но в коллективе кто-то всегда должен свои 100% собранной информации отдать на дополнительные 1% достижения цели.

Все случаи «вербальной» и «невербальной» контактной коммуникации ботов при исследовании Мордача показаны в видео:

Рукотворная и незаметная Матрица как итог ботовского общения

Основная идея Мордача — сделать так, чтобы постигая «окружающий мир», боты создали язык, необходимый для этого постижения. В его концепции язык — это результат действий. Иные ученые обращают внимание на то, что развитый язык и способность общения на абстрактный темы позволит машинам создавать свои идеи, описывать и творить новые сущности, ранее не существующие. Тут недалеко и от преобразования нашего мира.

Способность понимать естественный язык считается тесно связанной с наличием у субъекта общения сознания. Приведет ли умение понимать смысл сказанного к появлению сознания у машин? Возможно только обладающий человекоподобным созданием субъект может полностью понимать естественный язык, а создание языка ботов в их собственной среде как раз к разумным ботам в той или иной версии агента Смита и приведет.

Установка ботами приоритетов по ходу обучения противоречит инженерному принципу надежности и предсказуемости работы машин. Непредсказуемость приоритетов, способность фантазировать, самообучение, скрытность общения ботов для человека — уже дали о себе знать в предыдущих экспериментах OpenAI. Не имея обязательной конечной цели, программы придумывали себе неожиданные приоритеты по ходу обучения. В эксперименте по виртуальным лодочным гонкам выполнение сопутствующих задач стало для ботов выгоднее 1 места и вообще прохождения гонки до конца. Выполнение попутных задач приносило на 20% больше очков.

Знакомо, не правда ли? Роберт Шекли описал это 65 лет назад в известном рассказе «Страж-птица», которые от предупреждения убийств перешли к блокировке любой активности на Земле, игнорируя иные приоритеты и задачи ради основной:

Джексон зевнул и остановил машину у обочины. Он не заметил в небе сверкающей точки. Ему незачем было остерегаться. Ведь по всем человеческим понятиям он вовсе не замышлял убийства.
Он протянул руку, хотел выключить зажигание… И что-то отбросило его к стенке кабины.
— Дура железная, — сказал он повисшей над ним механической птице. Автомобиль не живой. Я вовсе не хочу его убить.
Но страж-птица знала одно: некоторые действия прекращают деятельность организма. Автомобиль, безусловно, деятельный организм, Ведь он из металла, как и сама страж-птица, не так ли? И при этом движется…

Эксцессом создания собственного языка у ботов может стать создание ими собственной виртуальной вселенной. По крайней мере в истории человечества такие прецеденты есть. Процитирую Толкиена:

Изобретение языков является основой моих трудов. «Истории» были написаны более для того, чтобы создать мир для этих языков, а не наоборот. Для меня сначала возникает слово, а затем — история, связанная с ним. Я бы предпочел писать «по-эльфийски». Но, безусловно, такая книга, как «Властелин Колец» подверглась серьёзной редактуре, и я оставил там ровно столько «языков», сколько мог переварить читатель (хотя сейчас я узнаю, что многие хотели бы большего). [...] В любом случае, для меня это во многом эссе по «лингвистической эстетике», как я иногда отвечаю людям, которые спрашивают меня, о чём я написал свою книгу.

Того, что машины начнут думать раньше, чем мы это поймем, опасаются и в OpenAI. Если же у ботов будет ещё и свой язык, то люди проворонят этот момент почти наверняка. Поэтому у Мордача задача не только создать ботовский язык, но и создать переводчик на человеческий. Сначала конечно на английский.

Отвечая на подобные опасения, Игорь приводит контаргументом известный мысленный эксперимент в области философии сознания и философии искусственного интеллекта под названием «китайская комната», опубликованный Джоном Сёрлом в 1980 году. Суть утверждения Серла в том, что любое полноценное общение теоретически вполне возможно без сознания, но с использованием для ответов достаточно подробных правил интерпретации вопросов собеседника. Более общий вывод Сёрла говорит о том, что любые манипуляции с синтаксическими конструкциями не могут приводить к пониманию.

В таком контексте собственный язык и собственная виртуальная вселенная совершенно не означает наличия сознания у ее агентов и объектов. Как в компьютерных играх. Или, как считают некоторые, — как у человека, сознание которого только семантический шлюз между четким «искусственным» языком внутри мозга и естественным шумом сигналов внешнего мира.