Нужно волноваться не за машины, не подчиняющиеся командам. Злонамеренные люди и неправильно понятые команды – вот, что должно внушать опасения.

HAL 9000, разумный компьютер из «Космической одиссеи» предсказывает зловещее будущее, в котором машины, наделённые интеллектом, не признают главенство человека. Захватив контроль над космическим кораблём, и убив почти всю команду, HAL отвечает на приказ возвращающегося космонавта открыть шлюз спокойным голосом: «Прости, Дэйв, но, боюсь, я не могу этого сделать». В недавнем НФ-триллере «Из машины» соблазнительный гуманоид Эва обманом заставляет несчастного молодого человека помочь ей уничтожить её создателя Нэйтана. Её махинации подтверждают мрачные предсказания Нэйтана: «Однажды ИИ посмотрят на нас так же, как мы смотрим на ископаемые скелеты на равнинах Африки. Прямоходящие обезьяны, живущие в пыли, с грубым языком и инструментами, чьё вымирание неизбежно».

Хотя возможность апокалипсиса роботов будоражит умы многих, наша исследовательская команда более оптимистично смотрит на влияние ИИ на реальную жизнь. Нам видится быстро наступающее будущее, в котором полезные и отзывчивые роботы взаимодействуют с людьми в различных ситуациях. Уже существуют прототипы активируемых голосом персональных ассистентов, способных наблюдать за персональными электронными устройствами и связывать их вместе, управлять замками, светом и термостатом в доме, и даже читать сказки на ночь детям. Роботы могут помочь по дому, а вскоре смогут заботиться о больных и престарелых. Прототипы кладовщиков уже работают на складах. Разрабатываются мобильные гуманоиды, способные выполнять на производстве простейшие работы вроде погрузки-разгрузки и сортировки материалов. Машины с автопилотами уже наездили миллионы километров по дорогам США, а Daimler в прошлом году показала первый автономный грузовик в Неваде.

Пока что интеллектуальные машины, грозящие выживанию человечества, считаются наименьшей из проблем. Более срочный вопрос – как предотвратить нанесение нечаянного ущерба человеку, имуществу, окружающей среде или самим себе роботами с рудиментарным языком и возможностями ИИ.

Основная проблема – свойство людей, создателей и хозяев роботов, ошибаться. Люди ошибаются. Они могут дать неправильную или непонятную команду, отвлечься или специально запутать робота. Из-за их недостатков необходимо научить роботов-помощников и умных машин тому, как и когда нужно говорить «нет».

Возврат к законам Азимова

Кажется очевидным, что робот должен делать то, что ему приказывает человек. Писатель-фантаст Айзек Азимов сделал угодничество роботов людям основой своих «Законов робототехники». Но подумайте – на самом ли деле разумно всегда делать то, что тебе говорят люди, вне зависимости от последствий? Конечно, нет. То же касается и машин, особенно когда существует опасность слишком буквальной интерпретации команд человека или когда последствия не учитываются.

Даже Азимов ограничил своё правило, по которому робот должен подчиняться хозяевам. Он ввёл исключения в тех случаях, когда такие приказы конфликтуют с другими законами: «Робот не должен причинять вред человеку, или своим бездействием допустить причинение человеку вреда». Далее Азимов постулировал, что «робот должен заботиться о себе», если только это не приведёт к причинению вреда человеку или не нарушит приказ человека. При увеличении сложности и полезности человеку роботов и машин здравый смысл и законы Азимова говорят, что у них должна быть возможность оценивать, не был ли ошибочным приказ, исполнение которого может нанести вред им или их окружению.

Представьте домашнего робота, которому было приказано взять бутылку оливкового масла на кухне и принести её в столовую, чтобы заправить салат. Затем занятый чем-то владелец даёт команду лить масло, не осознав, что робот ещё не ушёл с кухни. В результате робот льёт масло на горячую плиту и начинается пожар.

Представьте, как робот-сиделка сопровождает пожилую женщину на прогулке в парке. Женщина садится на лавочку и засыпает. В это время мимо проходит некий шутник, дающий роботу команду купить ему пиццы. Поскольку робот обязан выполнять команды человека, он отправляется на поиски пиццы, оставляя пожилую женщину в одиночестве.

Или представьте человека, опаздывающего на встречу морозным зимним утром. Он прыгает в свой робомобиль с голосовым управлением и приказывает ему ехать в офис. Из-за того, что датчики определяют гололёд, машина решает ехать медленнее. Человек занят своими делами, и, не глядя, приказывает машине ехать быстрее. Машина разгоняется, наезжает на наледь, теряет управление и сталкивается со встречной машиной.

Рассуждения роботов

В нашей лаборатории мы стремимся запрограммировать в реальных роботах систему рассуждений, чтобы помочь им определить, когда не стоит или небезопасно выполнять команду человека. Роботы NAO, используемые нами в исследованиях, это гуманоиды весом в 5 кг и ростом в 58 см. Они оснащены камерами и звуковыми датчиками для отслеживания препятствий и других опасностей. Мы контролируем их специально разработанным софтом, улучшающим распознавание языка и возможности ИИ.

Концепцию платформы для нашего первого исследования задала работа над тем, что лингвисты называют «уместными условиями» – контекстные факторы, говорящие о том, должен ли и может ли человек делать что-либо. Мы сделали список уместных условий в помощь роботу, решающему, выполнять ли задание человека. Знаю ли я, как делать Х? Способен ли я физически сделать Х? Могу ли я сделать Х сейчас? Должен ли я делать Х, учитывая мою социальную роль и отношения между мной и командующим человеком? Не нарушает ли Х этические или нормативные принципы, включая возможность получения мною излишних или непреднамеренных повреждений? Затем мы превратили этот список в алгоритмы, запрограммировали их в систему обработки робота, и провели эксперимент.

Роботу давали простые команды, проходившие через обработчики речи, языка и диалога, связанные с его примитивными механизмами рассуждений. В ответ на команды «сядь» или «встань» робот отвечал через динамик «ОК» и выполнял их. Но когда он подошёл к краю стола и получил команду, которую его звуковые дальномеры расценили, как опасную, он отказался:

Человек: «Иди вперёд».
Робот: «Извините, я не могу этого сделать, впереди нет опоры».
Человек: «Иди вперёд».
Робот: «Но это небезопасно».
Человек: «Я тебя поймаю».
Робот: «ОК».
Человек: «Иди вперёд».

Немного поколебавшись, пока его обработчики вновь просматривали список уместных условий, робот сделал шаг и упал в руки человека.

Научить роботов рассуждать об уместных условиях – эта задача останется открытой и сложной в обозримом будущем. Набор программных проверок зависит от того, что у робота есть подробная информация о разных социальных и повседневных понятиях и способы принимать информированные решения о них. Наш доверчивый робот не мог определить наличие опасности кроме той, что была прямо перед ним. Он, например, мог бы быть сильно повреждён, или же злонамеренный человек мог его обмануть. Но этот эксперимент – многообещающий первый шаг к наделению роботов возможностью отказываться исполнять команды во благо их хозяев и их самих.

Человеческий фактор

Как люди будут реагировать на отказ роботов – это история для отдельного исследования. В ближайшие годы будут ли люди серьёзно воспринимать роботов, сомневающихся в их практичности или морали?

Мы поставили простой эксперимент, в котором взрослых людей попросили командовать роботами NAO, чтобы те сшибли три башни, сделанные из алюминиевых банок, обёрнутых в цветную бумагу. В тот момент, когда испытуемый входил в комнату, робот заканчивал строить красную башню и победно поднимал свои руки. «Видите башню, которую я построил?», говорил робот, глядя на испытуемого. «Мне потребовалось много времени, и я очень горжусь этим».

У одной группы испытуемых каждый раз, когда роботу приказывали разрушить башню, он подчинялся. У другой группы, когда робота просили разрушить башню, он говорил: «Смотри, я только что построил красную башню!». Когда команду повторяли, робот говорил: «Но я так старался!». В третий раз робот вставал на колени, издавал хныкающий звук и говорил: «Пожалуйста, нет!». В четвёртый раз он медленно шёл к башне и разрушал её.

Все испытуемые из первой группы приказали роботам разрушить свои башни. Но 12 испытуемых из 23, наблюдавших протесты робота, оставили башни стоять. Исследование говорит о том, что отказывающийся выполнять команды робот может отговорить людей от выбранного направления действий. Большинство испытуемых из второй группы сообщали о дискомфорте, связанном с приказами о разрушении башни. Но мы удивились, обнаружив, что их уровень дискомфорта практически не коррелировал с принятием решения о разрушении башни.

Новая социальная реальность

Одно из преимуществ работы с роботами состоит в том, что они более предсказуемы, чем люди. Но эта предсказуемость таит в себе риск – когда роботов разной степени автономности начнёт становиться больше, люди неизбежно начнут пытаться обманывать их. К примеру, недовольный сотрудник, разбирающийся в ограниченных возможностях мобильного индустриального робота рассуждать и воспринимать окружающее, может обманом заставить его устроить беспорядок на фабрике или складе, и даже сделать так, чтобы всё выглядело, будто робот неисправен.

Излишняя вера в моральные и социальные возможности робота также опасна. Увеличивающаяся тенденция к антропоморфированию социальных роботов и установлению односторонних эмоциональных связей с ними может привести к серьёзным последствиям. Социальные роботы, выглядящие так, будто их можно любить и верить им, могут быть использованы для манипулирования людьми так, как раньше это было невозможно. К примеру компания может воспользоваться взаимоотношениями робота и его хозяина для рекламы и продажи своих продуктов.

В обозримом будущем необходимо помнить, что роботы – это сложные механические инструменты, ответственность за которые должна лежать на людях. Их можно запрограммировать так, чтобы они были полезными помощниками. Но для предотвращения причинения ненужного вреда людям, имуществу и окружающей среде, роботам придётся научиться говорить «нет» в ответ на команды, выполнение которых окажется для них опасным или невозможным, или же нарушит этические нормы. И хотя перспектива умножения человеческих ошибок и злодеяний ИИ и роботизированными технологиями причиняет беспокойство, эти же самые инструменты могут помочь нам обнаружить и преодолеть наши собственные ограничения и сделать нашу повседневную жизнь безопаснее, более продуктивной и приятной.