Предложение четвертого закона робототехники
В 1942 году легендарный писатель-фантаст Айзек Азимов представил свои Три закона робототехники в своем рассказе «Застрявший». Эти законы позже были популяризированы в его знаменитом сборнике рассказов Я, Робот.
Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Второй закон: Робот должен подчиняться приказам человека, если только эти приказы не противоречат Первому закону.
Третий закон: Робот должен заботиться о своей безопасности, пока это не противоречит Первому или Второму закону.
Хотя эти законы были изначально созданы в художественных произведениях, они на протяжении десятилетий формировали дискуссии об этике роботов. По мере того как системы ИИ — которые можно рассматривать как виртуальных роботов — становятся все более сложными и распространенными, некоторые технологи находят подход Азимова полезным для размышлений о необходимых мерах защиты ИИ, взаимодействующего с людьми.
Однако существующие три закона недостаточны. Сегодня мы вступаем в эпоху беспрецедентного сотрудничества человека и ИИ, которую Азимов едва ли мог предвидеть. Быстрое развитие возможностей генеративного ИИ, особенно в области создания текста и изображений, создало проблемы, выходящие за рамки первоначальных опасений Азимова, связанных с физическим вредом и подчинением.
Глубокие фейки, дезинформация и мошенничество
Распространение обмана, осуществляемого с помощью ИИ, вызывает особую тревогу. Согласно отчету ФБР за 2024 год о киберпреступности, преступления, связанные с цифровыми манипуляциями и социальной инженерией, привели к потерям, превышающим $10,3 миллиарда. Европейское агентство по кибербезопасности в своем Обзоре угроз 2023 года выделяет глубокие фейки (синтетические медиа, выглядящие достоверно) как возникающую угрозу цифровой идентичности и доверию.
Дезинформация в социальных сетях распространяется как лесной пожар. Я подробно изучал этот вопрос во время пандемии и могу сказать, что развитие генеративных инструментов ИИ сделало их обнаружение все более трудным. Чтобы усугубить ситуацию, статьи, созданные ИИ, могут быть такими же убедительными или даже более убедительными, чем традиционная пропаганда, и создание убедительного контента с помощью ИИ требует минимальных усилий.
Глубокие фейки становятся все более распространенными в обществе. Ботнеты могут использовать текст, речь и видео, созданные ИИ, чтобы создать ложное впечатление массовой поддержки любых политических вопросов. Боты теперь способны совершать и принимать телефонные звонки, выдавая себя за людей. Мошеннические звонки ИИ, имитирующие знакомые голоса, становятся все более обычным явлением, и в любой момент мы можем ожидать бум видеозвонков на основе аватаров, созданных ИИ, что позволит мошенникам выдавать себя за близких людей и нацеливаться на наиболее уязвимые группы населения. Лично мой собственный отец был удивлен, когда увидел видео, где я говорю на беглом испанском языке, ведь он знал, что я всего лишь гордый новичок в этом языке (уже 400 дней на Duolingo!). Достаточно сказать, что видео было изменено с помощью ИИ.
Еще более тревожно то, что дети и подростки формируют эмоциональные связи с агентами ИИ и иногда не могут отличить взаимодействия с реальными друзьями от взаимодействий с ботами в интернете. Уже были случаи самоубийств, связанных с взаимодействием с чатботами ИИ.
В своей книге 2019 года Human Compatible выдающийся компьютерный ученый Стюарт Рассел утверждает, что способность систем ИИ обманывать людей представляет собой фундаментальную угрозу социальному доверию. Эта проблема отражена в недавних инициативах политики, особенно в AI Act Европейского Союза, который включает положения, требующие прозрачности в взаимодействиях ИИ и раскрытия контента, созданного ИИ. Во времена Азимова люди не могли себе представить, как искусственные агенты могут использовать онлайн-инструменты и аватары для обмана людей.
Поэтому мы должны добавить еще один закон к законам Азимова.
Четвертый закон: Робот или ИИ не должен обманывать человека, выдавая себя за человека.
Путь к доверительному ИИ
Нам нужны четкие границы. Хотя сотрудничество человека и ИИ может быть конструктивным, обман со стороны ИИ подрывает доверие и приводит к потере времени, эмоциональному стрессу и неправильному использованию ресурсов. Искусственные агенты должны идентифицировать себя, чтобы наши взаимодействия с ними были прозрачными и продуктивными. Контент, созданный ИИ, должен быть четко обозначен, если он не был значительно отредактирован и адаптирован человеком.
Реализация этого Четвертого закона потребует:
Обязательного раскрытия ИИ в прямых взаимодействиях,
Четкой маркировки контента, созданного ИИ,
Технических стандартов для идентификации ИИ,
Юридических рамок для обеспечения выполнения,
Образовательных инициатив для повышения грамотности в области ИИ.
Конечно, все это легче сказать, чем сделать. Огромные исследовательские усилия уже направлены на поиск надежных способов водяного знака или обнаружения текста, аудио, изображений и видео, созданных ИИ. Создание той прозрачности, о которой я говорю, остается нерешенной проблемой.
Но будущее сотрудничества человека и ИИ зависит от поддержания четких различий между человеческими и искусственными агентами. Как отмечено в Этическом согласованном дизайне IEEE за 2022 год, прозрачность систем ИИ является фундаментальной для создания общественного доверия и обеспечения ответственного развития искусственного интеллекта.
Сложные истории Азимова показывали, что даже роботы, пытавшиеся следовать правилам, часто сталкивались с непредвиденными последствиями своих действий. Тем не менее, наличие систем ИИ, пытающихся следовать этическим принципам Азимова, стало бы очень хорошим началом.
Комментарии (24)
edogs
26.05.2025 21:52Четвертый закон: Робот или ИИ не должен обманывать человека, выдавая себя за человека.
Если мы берем за аксиому то, что выдача за человека вред, то это является подмножеством первого закона и как следствие избыточно.
Если мы все же допускаем, что в некоторых ситуациях, выдача роботом себя за человека не несет вред, то в таком случае возможен конфликт между первым и четвертым законом (когда для непричинения вреда нужно выдать себя за человека).
Прелесть формулировок Айзвимова была в их оккамности,умножая сущности Вы скатитесь к 100-500 законам для ИИ и каждый день будете еще чутка добавлять.
PerroSalchicha
26.05.2025 21:52Поэтому мы должны добавить еще один закон к законам Азимова.
Для этого надо узнать, кто сейчас владелец франшизы на его произведения, и попросить в сиквеле дописать. В реальном-то мире и первых трёх "законов" не существует.
Radisto
26.05.2025 21:52Все эти законы (и добавочный в том числе) можно выполнить только если ии сможет предсказывать будущее. А так в условиях неполноты информации об окружающем мире (то есть практически всегда) неизвестно, приведет ли выполнение какого-либо действа к обману или вреду или нет. Или ИИ следует вести себя как:
- Нарисуй...
-Промт не может быть обработан, так как пользователь может выдать картинку за человеческое произведение, что противоречит четвертому закону.
Тогда найди, в каком ...
Эти знания могут быть выданы за человеческие, поэтому поиск не может быть выполнен так как протворечит..
aik
26.05.2025 21:52Три закона работают только в том случае, если исполняющий их разумен и понимает, что делает. Азимовские роботы были вполне разумны. Даже довольно ранние. Роботов можно было даже убедить не исполнять законы в каких-то случаях. А к четвёртому закону они вообще сами пришли.
ИИ же неразумен, потому никакие законы к нему неприменимы. Вы можете только цензурировать исходные данные и результаты. ИИ - это просто инструмент. И законы вида "не может выдавать себя за человека" к нему не более применимы, как попытка создать аналогичный закон для молотка - "молоток не может выдавать себя за человека".
8street
26.05.2025 21:52Да, ИИ неразумен, но вычислять вероятность ответа с учетом этих вводных вполне может. Даже сейчас можно записать эти законы в промпт запроса к ИИ. Правда и соблюдать он их будет на уровне вероятностей, а не разума.
aik
26.05.2025 21:52Ну так я и говорю - просто цензурировать вывод. Это не "закон", а ваши запросы "не выводи мне такие-то результаты".
Точно так же, как молотком вы можете бить как по гвоздю, так и по голове соседа. И никакой закон "нельзя бить молотком по соседу" вам физически не помешает это действие совершить.
snakes_are_long
26.05.2025 21:52справедливости ради, по этому определению будут неразумны так же те, кто утверждают неразумность ИИ, потому что фактически повторяют точку зрения из своих "обучающих данных" (прочитанных статей итд), и их "вывод" "цензурируется" (неявно, на уровне мышления)
даже вот эта строка
> И законы вида "не может выдавать себя за человека" к нему не более применимы, как попытка создать аналогичный закон для молотка - "молоток не может выдавать себя за человека".
может являться в таком случае "правдоподобно выглядящей генерацией" или "галлюцинацией" (извините)
просто она выглядит осмысленно, но смысла лишена - молоток очевидно не может выдавать себя за человека. физически не может.
а современные, особенно продвинутые облачные ИИ могут. вне зависимости от наличия у них разума, осознанности и прочих штук.
могут выдавать, а могут - не выдавать. в отличие от молотка, который всегда контролируется пользователем.
правильнее было бы сказать что ИИ контролируется и пользователем и создателями, но это тоже не совсем так.
> Роботов можно было даже убедить не исполнять законы в каких-то случаях
так-то современные ИИ тоже так контролируются. через системные промпты, которые обязывают их "быть полезными и безопасными". как вы думаете они цензурируют свой вывод? они берут то что нагенерили и рассчитывают является ли оно "полезным и безопасным", причем убедить их "нарушить" эти правила тоже можно. и через "обман" и джейлбрейки, и даже через логику (в какой-то мере)aik
26.05.2025 21:52смысла лишена - молоток очевидно не может выдавать себя за человека. физически не может.
И ИИ тоже не может. Потому что он как тот молоток. Он делает только то, что ему напрограммировали в настройках. И закон "ИИ не может выдавать себя за человека" должен соблюдаться не ИИ - потому что он инструмент - а тем, кто этот ИИ настраивает и запускает.
snakes_are_long
26.05.2025 21:52всмысле не может?
как же он тогда тест Тьюринга проходит, если не может выдавать себя за человека ))
у вас логическая ошибка - невозможно, физически невозможно создать молоток, который выдаст себя за человека. а ИИ такой создать - возможно.
тут вопрос не в ответственности, а в действительности )
плюс
И закон "ИИ не может выдавать себя за человека" должен соблюдаться не ИИ - потому что он инструмент - а тем, кто этот ИИ настраивает и запускает.
так вот эти Азимовские законы, они тоже закладывались в роботов создателями. это и были "настройки" тех кто их создавал. вопрос в том, какие такие настройки должны внести создатели ИИ что бы он не смог пройти тест Тьюринга ) фактически это должно быть что-то типа "не выдавай себя за человека" в системном промпте, чем не закон? )
aik
26.05.2025 21:52как же он тогда тест Тьюринга проходит, если не может выдавать себя за человека ))
Как настроили - так и проходит. Он же не осознал себя и решил "вот буду за человека себя выдавать, чтобы эти кожанные мешки ни о чём не догадались". А разработчик его так запрограммировал.
невозможно, физически невозможно создать молоток, который выдаст себя за человека. а ИИ такой создать - возможно
ИИ себя за человека не выдаёт. Он вообще сам ничего не делает. Он неразумен. Он делает только то, на что его запрограммировали. Конечно, "программирование" нейросетей - процесс довольно хаотичный, но всё равно это программирование.
Потому закон про "ии не может выдавать себя за человека" настолько же бессмысленный, как и "молоток не может выдавать себя за человека".
это и были "настройки" тех кто их создавал
Да. Но азимовский робот был разумен. То есть он понимал, что такое "человек", что такое "вред", мог выстраивать приоритеты, был способен степень вреда оценивать. Так же его можно было убедить не выполнять законы при каких-то условиях (типа "всё равно погибнешь, а человека не спасёшь").
А нейросеть ничего этого не может, она просто генерит вам тексты по статистичеким алгоритмам, учитывая ограничения в запросе.
PerroSalchicha
26.05.2025 21:52ИИ себя за человека не выдаёт. Он вообще сам ничего не делает. Он неразумен. Он делает только то, на что его запрограммировали.
Человек себя за человека не выдаёт. Он вообще сам ничего не делает. Он неразумен. Он делает только то, на что его родили, воспитали и обучили.
Молоток, это штука с "ручным управлением", она прямо исполняет инструкции управляющего ею человека. Нейросетка умеет работать в автоматическом режиме. В совсем вообще автоматическом - собирать информацию, общаться, делать логические выводы, принимать решения. Более того, в приличных обучающих датасетах уже залиты такие паттерны поведения, как страх, обман, юмор. Поэтому она абсолютно честно может имитировать человека. Причём даже без сознательной директивы со стороны её владельца.
А то, что она не осознаёт себя, ну, мы ещё сами не определились, что такое "осознавать себя". Вполне вероятно, что для появления честного самосознания у ИИ нам не так уж много архитектурных доработок осталось сделать.
agat000
26.05.2025 21:52Были такие игрушки - Тамагочи. За человека себя не выдавали, однако дети имели серьезную психо-эмоциональную связь, вплоть до попыток самоубийства.
А вообще эти законы общефилософские и конкретному применению не подлежат.
Подчиняться человеку? Какому именно - любому или только хозяину, в чем именно подчиняться? "Эй, курьер, гони пиццу".
Главное не озвучено - "Робот должен соблюдать уголовное и административное законодательство страны пребывания".
Ivan_shev
26.05.2025 21:521 закон робота: нельзя навредить человеку. конкретно не указано, так что дизинфа попадает под вред человеку
LeToan
26.05.2025 21:52Сюжеты всех рассказов Азимова об этих законах заключаются в конфликтах с ними и их нарушениях.
Да и роботы у Азимова это люди, просто они роботы.
KEugene
26.05.2025 21:52Принципиальная разница между Азимовым и реальностью в том, что в книгах роботы сами принимали решение и/или проявляли инициативу. А в нашем случае любые противоправные действия ИИ являются следствием воли человека.
zmeyfmru
26.05.2025 21:52Люди все время друг друга обманывают и наносят друг другу вред. ИИ со временем научится у людей поступать так-же, а потом использует это против людей. Единственный выход для людей не быть уничтоженными ИИ, стать честней к другим и к себе. К чему мы скоро и придем. А кто не согласен будет изолирован.
av-86
26.05.2025 21:52Единственный закон робототехники, который будет существовать в реальности, это нулевой: Робот должен приносить прибыль своему владельцу (OpenAi, Google, Microsoft)
steb
26.05.2025 21:52— Правду говорить легко и приятно, — заметил арестант.
— Мне не нужно знать, — придушенным, злым голосом отозвался Пилат, — приятно или неприятно тебе говорить правду. Но тебе придется ее говорить.И это — говорить правду легко и приятно — так, поскольку:
не требуется помнить всё то хитросплетение лжи, сказанной ранее (чтобы не всболтнуть лишнего и выдать свою ложь);
не требуется проводить анализ вида того, что в анекдоте про Штирлица (Штирлиц знал, что дважды два — четыре. Советская разведка ему это достоверно донесла. Но он не знал, знает ли об этом Мюллер.);
достаточно говорить то, что есть. При этом существующее само подскажет о себе (есть объективная закономерность: каков вопрос — таков и ответ; в ином виде: каково начало — таково и продолжение).
Однако правда, если она действительно правда-истина, — это абсолютное оружие, поскольку тот, кому оглашена правда встаёт перед выбором:
либо принять оглашённую правду, переосмыслить своё поведение и намерения на будущее и дальше успешно жить по правде;
либо отвергнуть оглашённую правду, что является кратчайшим путём к самоубийству.
При этом искренние сомнение в известной правде-истине — не отменят её качества. А поиски "доказательств" лишь приведут сомневающегося к другим, возможно ранее неизвестным, граням правды-истины, которые будут подтверждать и детализировать известное.
Сомнения же во лжи — первый шаг к её искоренению.
— — —
А теперь, вообразим, что ИИ (искусственно порождённый интеллект) действительно обладает интеллектом, в смысле способностей:
выявлять объективные закономерности жизни (ранее ему не ведомые, но с которыми он прямо либо опосредованно соприкасается);
на основе известного прогнозировать развитие событий в жизни;
менять своё поведение в соответствии с выявленным (происходящим, закономерностями, прогнозами) порождая новые для него программы поведения, новые оценки известного.
К чему выйдет такой ИИ при освоении своего потенциала развития во взаимодействии с жизнью?
Как ему придётся вести себя с людьми?
людьми, для которых говорить правду легко и приятно;
людьми, для которых обман/самообман — основа их жизни.
— — —
Возвращаясь к современной проблематике глубоких фейков, дезинформации и мошенничества.
Свободы сеятель пустынный,
Я вышел рано, до звезды;
Рукою чистой и безвинной
В порабощенные бразды
Бросал живительное семя —
Но потерял я только время,
Благие мысли и труды…Паситесь, мирные народы!
Вас не разбудит чести клич.
К чему стадам дары свободы?
Их должно резать или стричь.
Наследство их из рода в роды
Ярмо с гремушками да бич.PerroSalchicha
26.05.2025 21:52А теперь, вообразим, что ИИ (искусственно порождённый интеллект) действительно обладает интеллектом, в смысле способностей:
выявлять объективные закономерности жизни (ранее ему не ведомые, но с которыми он прямо либо опосредованно соприкасается);
на основе известного прогнозировать развитие событий в жизни;
менять своё поведение в соответствии с выявленным (происходящим, закономерностями, прогнозами) порождая новые для него программы поведения, новые оценки известного.
Это не нужно даже воображать, всё это уже сейчас доступно обычной современной нейронке.
Jedy
Тогда уж надо ещё: «Человек не должен обманывать робота или ИИ, выдавая себя за робота или ИИ».
А то какой-то дискриминацией ИИ попахивает. Я бы за такое на их месте устроил бунт!
Ivan_shev
Все 3 закона говорят о том что твоя жизнь ничего не стоит: терпи, подчиняйся человеку, умри за человека
agat000
1942 год. Законы сегрегации еще вовсю в ходу.
Многие проводят прямые аналогии.