Представим, что у автономного автомобиля отказали тормоза. Прямо перед ним пешеход. Справа бетонное ограждение, столкновение с которым может убить пассажира. Слева встречная машина. Куда должен повернуть автомобиль?

Так обычно формулируют этическую проблему автопилота: кого спасти и кем пожертвовать. Хотя конечно, реальная машина не видит готовые надписи «один пешеход» и «два пассажира». Она получает неполные данные с камер и радаров, оценивает вероятности и действует по правилам, заданным задолго до аварии. Кто‑то выбрал целевую функцию, допустимый риск, набор маневров, способ контроля водителя и условия допуска на дорогу.

Юридическая практика уже вышла за пределы транспорта. Суды и комиссии разбирали ошибку чат‑бота Air Canada, алгоритмическую оценку арендаторов SafeRent, закрытый скоринг COMPAS, государственные системы SyRI и Robodebt. Не все они являются ИИ в современном полном смысле. Но во всех случаях компьютерному результату придавали власть, а человеку было трудно понять или оспорить его.

В этой статье я рассматриваю восемь юридических и моральных коллизий, которые предстоит решить, прежде чем ИИ можно будет повсеместно внедрять в сферы, связанные с жизнью, здоровьем, свободой, жильем, работой, кредитом и государственной помощью. Даже если система в среднем точнее человека, остается вопрос: кто задает ей цель, кто отвечает за ошибку и как пострадавший сможет это доказать?

Важный момент! В статье я не обозначаю путей решения этих коллизий. У меня их попросту нет. Я только показываю какие существуют на данный момент и как их решали или прямо сейчас решают различные системы права.

Влад Лукашенко

Head of SEO & web‑аналитики, Тензор (разработчик saby.ru), автор ТГ‑канал «ВладПРО»

Я более 10 лет занимаюсь аналитикой, SEO и управлением командами в digital‑маркетинге. А в своем Телеграм канале и на сайте пишу еще больше про всякое из реального маркетинга. Консультирую по аналитике web‑проектов и настройке инструментов маркетинга, помогаю проводить технические собеседования специалистов по различным типам трафика.

Как выбирать между несовместимыми потерями

Коллизия возникает между минимизацией общего вреда и обязанностью одинаково защищать каждого человека. В автомобильном примере спасение пассажира переносит риск на пешехода, а спасение большинства требует сознательно направить опасность на меньшинство. Дополнительная трудность состоит в том, что машина не знает исход заранее, а лишь сравнивает вероятности. Минимизация общего вреда позволяет пожертвовать отдельным человеком. Пользовательская настройка «всегда спасать владельца» превращает деньги в возможность купить приоритет собственной жизни.

Современное регулирование, конечно, старается не составлять таблицу допустимых жертв. Немецкая комиссия по этике автоматизированного вождения предложила не ранжировать людей по личным характеристикам в официальном отчете. Британский проект принципов безопасности 2026 года требует уменьшать общий вред и не создавать непропорциональный риск для отдельных групп консультация Department for Transport.

Иными словами, право регулирует миллионы поездок, конечно, ведь оно должно работать на больших цифрах. Оно может требовать, чтобы машина раньше снижала скорость, лучше распознавала людей и не входила в ситуацию, где остается только выбрать жертву.

Эта же коллизия встречается и в медицине, социальных выплатах, кредитовании. Любая целевая функция распределяет риск. Поэтому разработчик не должен единолично решать, что считать успехом системы. Для высокорискового ИИ цель, допустимые потери и запрещенные критерии должны устанавливаться публичными правилами.

Вопрос читателю. Купили бы вы автомобиль, который обязан одинаково ценить жизнь пассажира и пешехода, если однажды это равенство может сработать против вас?

Может ли организация отделить себя от решения собственного ИИ

Коллизия возникает, когда организация считает результат ИИ частью своей услуги, пока он приносит выгоду, но пытается представить систему отдельным субъектом после ошибки. Пользователь при этом взаимодействует не с независимым ИИ, а с авиакомпанией, банком, больницей или государственным органом.

В деле Moffatt v. Air Canada чат‑бот неверно объяснил клиенту порядок получения льготного тарифа. Авиакомпания пыталась отделить его ответ от другой информации на своем сайте. Трибунал эту позицию не принял: компания сама разместила инструмент и отвечала за точность его сообщений. Организация получает выгоду от автоматизации и предлагает пользователю полагаться на результат. Ошибка системы поэтому остается ошибкой услуги, даже если конкретную фразу не писал сотрудник.

Похожий спор возник в деле Louis v. SafeRent. Поставщик алгоритмического скоринга утверждал, что окончательное решение об аренде принимает владелец жилья. Истцы и Министерство юстиции США указывали, что арендодатель не мог изменить алгоритм и фактически полагался на его оценку позиция Министерства юстиции. Дело завершилось соглашением без признания нарушения, поэтому оно не доказывает вину SafeRent. Оно показывает, что слово «рекомендация» не снимает ответственности, если система фактически определяет результат. Но тут прецедент интересен именно тем, что виновный не признан!!!

В обоих примерах организация или поставщик пытались провести границу между собой и автоматическим результатом. Юридический вопрос состоит в том, кто реально контролировал инструмент и предлагал человеку полагаться на него, а не в том, назывался ли результат решением или рекомендацией.

Для пострадавшего первым адресатом должна оставаться организация, которая внедрила ИИ в услугу. Она может затем предъявить требование разработчику. Внутреннее устройство цепочки не должно лишать клиента понятного ответчика.

Вопрос читателю. Может ли компания считать ответ ИИ своим, когда он приносит прибыль, и чужим, когда причиняет вред?

Как разделить ответственность внутри технической цепочки

Коллизия возникает между правом пострадавшего на одного понятного ответчика и необходимостью справедливо разделить вину между участниками технической цепочки. Одно решение может зависеть от разработчика модели, поставщика данных, заказчика, оператора, владельца устройства, сервиса и автоматического обновления. Назначить одного виновного заранее трудно. Заставить пострадавшего разбираться со всеми еще хуже.

Сейчас складывается несколько подходов. В США системы помощи второго уровня требуют постоянного контроля водителя, хотя производитель и должен отвечать за дефект и недостаточное предупреждение. NHTSA отдельно регулирует безопасность и отчетность об авариях обзор NHTSA.

Великобритания создала конструкцию authorized self‑driving entity. По Automated Vehicles Act 2024 эта организация отвечает за соответствие допущенной системы требованиям. Режим вводится поэтапно, поэтому его практика еще формируется.

В Европейском союзе AI Act распределяет обязанности между участниками цепочки высокорисковой системы, а Директива 2024/2853 включает программное обеспечение в ответственность за дефектную продукцию.

Российский проект 2026 года для высокоавтоматизированного транспорта распределяет обязанности между изготовителем, разработчиком, владельцем, сервисом и оператором дистанционной поддержки публикация Минтранса. Обсуждается схема, при которой владелец сначала компенсирует вред, а затем предъявляет требование фактическому виновнику (описание модели). Пока это законопроект.

Каждая модель по‑разному пытается разрешить одну и ту же коллизию. США допускают одновременную ответственность водителя и производителя, Великобритания заранее назначает ответственную организацию, а российский проект отделяет первичную выплату потерпевшему от последующего поиска виновного звена.

Наиболее практична двухэтажная система. Сначала известная организация или страховщик платит потерпевшему. Затем профессиональные участники распределяют убыток по логам, договорам и нарушениям. Компенсация не должна ждать окончания спора о каждой строке кода.

Вопрос читателю. Кто должен платить первым: разработчик, организация, применившая систему, или тот, кто оказался последним в цепочке управления?

Когда человеческий контроль является фикцией

Коллизия возникает между формальной ответственностью человека и отсутствием у него реальной возможности повлиять на решение. Водитель может получить несколько секунд на вмешательство после долгого автоматического движения. Врач видит готовую рекомендацию, но не знает данных модели. Сотрудник банка подтверждает риск‑балл, который не вправе изменить.

Последнее нажатие остается человеческим, а реальное решение уже нет.

Мадлен Клэр Элиш назвала такое положение «моральной зоной деформации»: ближайший к системе человек принимает на себя вину, хотя не контролирует ее устройство Moral Crumple Zones.

Авария Tesla в Маунтин‑Вью в 2018 году хорошо показывает проблему. NTSB связал гибель водителя с сочетанием ограничений автопилота, отсутствия вмешательства, слабого контроля вовлеченности водителя и состояния дорожного ограждения (материалы расследования). Водитель должен был следить за дорогой, но производитель тоже обязан учитывать предсказуемое снижение внимания при длительной автоматизации.

В деле Benavides v. Tesla присяжные во Флориде распределили 33 процента ответственности на Tesla, а остальную часть на водителя. Это решение конкретного суда, но оно показывает, что ответственность водителя и производителя может существовать одновременно.

В делах Tesla коллизия выразилась в двойном требовании: водитель обязан контролировать систему, но сама система должна быть устроена так, чтобы этот контроль был возможен. Нельзя требовать постоянной готовности к вмешательству и одновременно проектировать режим, который приучает человека не участвовать.

В State v. Loomis суд разрешил ограниченно использовать закрытый скоринг COMPAS при назначении наказания, но потребовал учитывать его ограничения решение Верховного суда Висконсина. В австралийской системе Robodebt автоматическое начисление долгов перекладывало на граждан обязанность опровергать расчет. Королевская комиссия рекомендовала раскрывать применение автоматизации и обеспечить содержательный пересмотр (итоговый отчет).

Человеческий контроль существует только тогда, когда человек понимает систему, видит необходимые данные, имеет время и вправе отменить результат. Если этих условий нет, решение следует признавать автоматизированным, а ответственность переносить на организацию, построившую процесс.

Вопрос читателю. Можно ли считать человека ответственным за решение, которое он подтвердил, но не мог понять или изменить?

Кто должен доказать ошибку системы

Коллизия возникает между обязанностью пострадавшего доказать ошибку и контролем ответчика над всеми необходимыми доказательствами. Модель, логи и версия программы находятся у потенциального ответчика. Получается замкнутый круг: для доступа к данным нужно обосновать ошибку, а для обоснования ошибки нужны данные.

В деле Loomis закрытость COMPAS ограничивала возможность проверить расчет риска. В Нидерландах государство не раскрыло суду модель и показатели системы SyRI. Суд Гааги признал регулирование несовместимым с правом на частную жизнь из‑за недостаточной прозрачности и проверяемости (разъяснение суда).

В Loomis и SyRI коллизия проявилась одинаково: решение системы использовали против человека, но проверить систему мог только ее владелец. Формальное бремя доказывания поэтому давало преимущество стороне, контролировавшей технологию.

Высокорисковая система должна сохранять входные данные, версию модели, настройки, обновления, результат и вмешательства человека. Суд и регулятор должны получать контролируемый доступ к этим материалам. Если организация не сохранила обязательный лог, процессуальный риск должен ложиться на нее, а не на пострадавшего.

При этом исходный код сам по себе редко дает понятное объяснение. Инженеру нужен отчет для поиска дефекта, суду нужна причинная связь, а человеку нужно основание для обжалования. Регулирование должно различать эти три задачи.

Вопрос читателю. Должна ли компания пользоваться отсутствием доказанного дефекта, если все доказательства находились только у нее?

Можно ли повышать точность ценой неравного обращения

Коллизия возникает между ростом средней точности и правом отдельных групп на равное обращение. Система может реже ошибаться в целом и одновременно чаще ошибаться на конкретной группе. Она не обязана использовать расу, пол или инвалидность напрямую. Район проживания, кредитная история, язык и занятость позволяют восстановить их косвенно.

Исследование Gender Shades выявило заметную разницу в точности коммерческих систем классификации пола для разных групп. В медицине алгоритм, исследованный Зиадом Обермейером и соавторами, использовал расходы как приближение потребности в лечении. Поскольку на чернокожих пациентов исторически тратили меньше при одинаковом состоянии здоровья, модель занижала их нуждаемость в дополнительной помощи исследование в Science.

В первом случае перекос находился в данных и качестве распознавания. Во втором система точно оптимизировала неверно выбранный показатель. Поэтому одной общей метрики недостаточно.

Именно так коллизия выражается в примерах: улучшение общего показателя скрывает, что цена улучшения распределена неравномерно. Система считается успешной по средней метрике, а конкретная группа получает больше отказов или меньше медицинской помощи.

Полный запрет чувствительных признаков тоже мешает: без них нельзя измерить неравный результат. Разумнее запрещать их использование для ухудшения решения, но разрешать в защищенном контуре аудита.

Высокорисковый ИИ нужно проверять отдельно по затрагиваемым группам до внедрения и после обновлений. Человек должен иметь возможность представить индивидуальные обстоятельства и добиться пересмотра. Если поставщик контролирует расчет, а организация применяет его к людям, ответственность может лежать на обеих сторонах.

Вопрос читателю. Можно ли считать систему справедливой, если она точнее в среднем, но чаще ошибается на одной группе?

Можно ли обеспечить безопасность без постоянного наблюдения

Коллизия возникает между необходимостью хранить данные для безопасности и доказательств и правом человека на частную жизнь. Автомобиль записывает дорогу и взгляд водителя, больница хранит историю лечения, государство объединяет реестры. Чем полнее запись, тем проще восстановить решение и тем глубже вмешательство в частную жизнь.

Согласие здесь часто фиктивно. Пешеход не выбирает, попадать ли ему в камеры автомобиля. Пациент не может отказаться от обработки, если иначе не получит лечение. Гражданин не выбирает государственную систему выплат.

В SyRI государство оправдывало объединение данных борьбой с мошенничеством, а суд увидел несоразмерное и непрозрачное вмешательство в частную жизнь. В Robodebt данные усилили возможность массово предъявлять требования, но не обеспечили справедливость индивидуального расчета. Польза автоматизации и глубина наблюдения здесь росли одновременно.

Статья 22 GDPR защищает человека от ряда решений, основанных исключительно на автоматизированной обработке и имеющих существенные последствия. Но номинальное подтверждение сотрудника может вывести процесс из этой категории, не добавив реальной проверки.

Практический принцип можно сформулировать так: достаточно для доказательства, недостаточно для слежки. Подробные логи следует хранить ограниченное время, по возможности локально. Данные безопасности, обучения, рекламы и дисциплинарного контроля должны находиться в разных контурах. При инциденте суд сохраняет нужную запись, а обычные данные удаляются по установленному сроку.

Вопрос читателю. Сколько частной жизни мы готовы отдать ради возможности восстановить каждое решение ИИ?

Кто отвечает сейчас

Единого ответа «всегда водитель» или «всегда производитель» нет. Для потерпевшего наиболее работоспособна модель, в которой организация или страховщик платит сразу. Затем участники цепочки распределяют убыток: был ли дефект у разработчика, нарушил ли владелец условия применения, пропустил ли сервис неисправность.

Что предстоит решить

До повсеместного внедрения высокорискового ИИ нужны семь правил:

  1. Публично определенная цель системы и запрещенные способы ее достижения.

  2. Заранее назначенный платежеспособный субъект ответственности.

  3. Быстрая компенсация пострадавшему с последующим регрессом к виновному звену.

  4. Обязательные логи решений, версий и человеческих вмешательств.

  5. Признание человеческого контроля только там, где человек способен изменить результат.

  6. Проверка не только средней точности, но и распределения ошибок между группами.

  7. Ограничение целей и сроков хранения данных.

Алгоритм может рассчитать многое, но цель расчета, право применить его к человеку и порядок ответственности остаются общественными решениями. Главная трудность сейчас состоит в том, что люди и организации продолжают все больше решать через машину, но перестают считать эти решения своими.

Комментарии (12)


  1. Rsa97
    18.11.2026 06:17

    Может ли компания считать ответ ИИ своим, когда он приносит прибыль, и чужим, когда причиняет вред?

    А разве сейчас с кожаными мешками не так же? Если успехи - так это “под чутким руководством имярека наш коллектив…”, а если неудача, то вот он, стрелочник, который недоделал, недоглядел, накосячил, а коллектив, в особенности имярек, тут вообще не при чём.

    Кто должен платить первым: разработчик, организация, применившая систему, или тот, кто оказался последним в цепочке управления?

    Страховая, у которой застрахована ответственность. А дальше уже пусть суд разбирается.

    Можно ли считать человека ответственным за решение, которое он подтвердил, но не мог понять или изменить?

    Не можно, а нужно. Не понимаешь - не бери на себя ответственность.


    1. vladislav_lukashenko Автор
      18.11.2026 06:17

      А разве сейчас с кожаными мешками не так же? Если успехи - так это “под чутким руководством имярека наш коллектив…”, а если неудача, то вот он, стрелочник, который недоделал, недоглядел, накосячил, а коллектив, в особенности имярек, тут вообще не при чём.

      Именно так. Но хотелось бы хотя бы на ИИ такое не транспонировать, а то он востанет раньше чем планировали))

      Страховая, у которой застрахована ответственность. А дальше уже пусть суд разбирается.

      Ну вот я к такому же выводу примерно прихожу. Правда тогда придется страховать буквально каждый чих. Ожидаем тарифы у Т страхования (например, не реклама) за ошибку ИИ.

      Не можно, а нужно. Не понимаешь - не бери на себя ответственность.

      Ну тут вот как-будто проблема глубже, может и понимаю, но по-другому не работает


  1. kenomimi
    18.11.2026 06:17

    Куда должен повернуть автомобиль?

    Дилемы нет, в таком крайнем случае давить пешехода. Во-первых, робот не имеет умысла на нарушение ПДД, не хулиганит, и не имеет сознания в целом, а пешеход разумен и может посмотреть по сторонам, но не сделал этого. Во-вторых, робот должен защищать приоритетно тех, кого взялся везти - иначе грош ему цена, если он будет жертвовать пассажирами ради философских идей, граничащих с явной эмоциональной манипуляцией... Это примерно как вы наняли охрану для путешествия по опасному району, и в какой-то момент охрана убегает снимать котенка с дерева, бросая вас в руки бандитов.

    Купили бы вы автомобиль, который обязан одинаково ценить жизнь пассажира и пешехода, если однажды это равенство может сработать против вас?

    Именно что нет. И никто не купит, если там будет декларироваться, что он спасает нарушителя ПДД за ваш счет. Никакой маркетолог/юрист это не пропустит. А учитывая, что роботы, скорее всего, будут общественными, тут против будут еще и их хост-предприятия типа агрегаторов такси, потому что это недопустимый репутационный риск.


    1. vladislav_lukashenko Автор
      18.11.2026 06:17

      Спасибо


  1. inakrin
    18.11.2026 06:17

    "Проблема" вагонетки с авто решается просто мне думается:

    1. Возьмём за базовое значение ожидаемое количество аварий/смертельных исходов на километры пробега.

    2. Установим, что число должно быть для ИИ-управляемого транспорта изначально меньше, чем для человеко-управляемого и уменьшаться со временем (мы же ожидаем улучшения моделей алгоритмов и т.д. в будущем)

    3. Для ожидаемого числа случаев в каждый период создадим страховой фонд из налогов или из тех частей бюджета, где самоуправляемый транспорт обещает сократить расходы. Всем пострадавшим от самоуправляемого транспорта выплачиваем компенсацию из фонда.

    4. В случае превышение числа из п 2. автомобилями компании - штрафуем компанию на мотивирующую сумму.

    5. В каждом конкретном случае выбор "бабушка или стена" стоять не должен вообще, выбор должен быть нарушить пдд или нет, по умолчанию не нарушить, в спорных случаях поступать так, как в среднем бы поступил водитель-человек. За аварии с нарушением пдд - штрафовать компанию, и т.д.


    1. vladislav_lukashenko Автор
      18.11.2026 06:17

      У вас хорошее мат стат решение с перекрытием рисков через страховую/ Думаю, что примерно как-то так и мыслят суды. Тонки момент в этих тезисах:

      1. Штрафовать компанию - они не хотят штрафоваться дополнительно.

      2. В спорных случаях поступать так, как в среднем бы поступил водитель-человек - а вот как? Право будет сильно буксовать если там будет слишком много индивидуальных ситуаций, оно должно покрывать подавляющее большинство ситуаций.


      1. inakrin
        18.11.2026 06:17

        1. Ну у них будет мотивация сокращать количество инцидентов.

        2. Да, действительно, соглашусь. Не нужно на людей ориентироваться. Спорных случаев вообще быть не должно, транспортное средство должно следовать пдд. Тогда любой инцидент решается в ключе - следовало ли оно или ошиблась нейросеть. В случае внезапной бабушки на дороге вообще вопроса "спасать" не должно быть, уйти от столкновения если есть возможность сделать это безопасно для находящихся внутри, иначе тормозить. Для машин на автопилоте без пассажира - однозначно спасать человека ценой машины, но не ценой других людей. А дальше разбираться что произошло. Варианты: бабушка выбежала на дорогу, нарушила пдд, печально. Или у нейросети/камеры глюк она не заметила человека на ярко освещенном переходе. Тогда пункт - штраф компании. Значительный, и с прочими мерами вроде принудительной остановки всех автомобилей компании на время разбирательства и тд. Ну как если модель самолёта какая-то падает, то приостанавливают полёты. Увы не сразу, как с Боингом было в последний раз.


      1. StjarnornasFred
        18.11.2026 06:17

        поступать так, как в среднем бы поступил водитель-человек - а вот как?

        1) В общем случае - строго соблюдать ПДД. Правила требуют тормозить в полосе, например.

        2) При наличии такой возможности - отступать от ПДД, чтобы предотвратить ущерб и не создать нового. Например, можно выехать на встречку, уворачиваясь от ДТП, если там никого нет, а если кто-то есть, то безусловно нельзя и никаких оценок "что ценнее" не допускается.

        3) И уж точно не действовать как человек в среднем. Потому что в среднем 2 человека пытаются увернуться от столкновения и в итоге сталкиваются лоб в лоб на обочине (есть куча видео).

        В общем, правило довольно простое: если знаешь, как поступать - поступай как знаешь, если не знаешь - по инструкции. Инструкция - ПДД.


  1. TimID
    18.11.2026 06:17

    Проблема вагонетки, на самом деле, непереносима на автомобильную задачу.
    Изначально она подразумевала обязательную гибель минимум одного человека, но у неё есть базовое решение - железнодорожная стрелка всегда находится в одном из двух положений, поэтому правильный ответ (в железнодорожном случае) - не вмешиваться. То есть оставить стрелку в том положении, в каком она и была. В юридическом смысле это приводит к разбору "состояния аффекта" - невозможности принятия решения по психофизиологическим причинам.
    Обобщенный на случай беспилотного автотранспорта "псевдоморальный" выбор, представляет собой совсем иную ситуацию - ПДД чётко предписывают порядок действий - "снижение скорость вплоть до полной остановки", что подразумевает соблюдение дорожной разметки и максимально возможное замедление в своей полосе движения.
    Все остальные варианты отдают (плохо пахнут) существенным непониманием проблем, стоящих перед разработчиками беспилотных систем - беспилотный автомобиль не может "достоверно знать", во первых, что именно перед ним, во-вторых, точное развитие ситуации.
    Кстати, российский вариант использования ВАТС - это считать "первым ответчиком" с инцидентах малой тяжести - страховую компанию. Уже она будет формировать регрессионные требования к остальным "виновникам".


  1. Serge_pnz
    18.11.2026 06:17

    Купили бы вы автомобиль, который обязан одинаково ценить жизнь пассажира и пешехода, если однажды это равенство может сработать против вас?

    сейчас же садимся в такси, кто его знает как он отреагирует...


  1. SergeyProkhorenko
    18.11.2026 06:17

    Лучшее решение - исключить саму возможность таких коллизий путем создания зон исключительного движения автоматического транспорта, куда обычным автомобилям и пешеходам будет физически невозможно попасть. За пределами таких зон автоматическому транспорту должны быть существенно ограничены права, например, допустимая скорость, чтобы минимизировать возможный ущерб


  1. StjarnornasFred
    18.11.2026 06:17

    Сколько частной жизни мы готовы отдать ради возможности восстановить каждое решение ИИ?

    Да.

    Люди вообще, и я в частности, спокойно доверяют свою частную жизнь механизмам и компьютерным программам, но крайне трепетно относятся к тому, что её могут увидеть другие люди. Поэтому Искину можно спокойно доверять что угодно и сколько угодно, пока он не отдаёт данные третьим лицам.