В 1946 году NYT раскрыла один из главных секретов Второй мировой войны - "удивительную машину, которая впервые применяет электронные скорости для решения математических задач, бывших до этого слишком сложными и громоздкими". Один из создателей ЭНИАК говорил, что ее целью было “заменить, насколько это возможно, человеческий мозг”. Хотя эта ранняя версия компьютера не заменила наш мозг, она открыла новую эру, в которой, по словам историка Джилл Лепор, “технологические изменения значительно опередили человеческую способность к моральному расчету” [в данном случае имеются ввиду быстрота и точность выбора, основанного на моральных принципах - прим. перевод.].

Эта эпоха продолжается применением машинного обучения к вопросам управления и контроля. Данная технология в некоторых областях уже стала неотъемлемой частью — например, ВВС США используют её в качестве “рабочего члена экипажа” на военном самолете, а армия США для выбора правильного “стрелка” по цели, идентифицируемой датчиками. Военные делают успехи в использовании алгоритмов машинного обучения для управления роботизированными системами, анализа больших массивов данных, прогнозирования угроз и формирования стратегии. Использование алгоритмов в этих и других областях открывает потрясающие возможности — от экономии человеко-часов при планировании до превосходства пилотов-людей в воздушных боях и использования “многовариантного семантического движка” для улучшения нашего понимания глобальных событий и тенденций. Тем не менее с возможностью машинного обучения возникает этический риск — военные могут отдать выбор между жизнью и смертью алгоритмам, а отказ от самостоятельности в таких вопросах лишает человека статуса морального субъекта.

До сих пор дебаты о роли алгоритмов в выборе поля боя были или-или: либо алгоритмы должны выбирать между жизнью и смертью, потому что нет другого способа идти в ногу со все более автоматизированным полем боя, либо люди должны выбирать между жизнью и смертью, потому что нет другого способа учесть моральные принципы. Это ложная дихотомия. Выбор - это не единая вещь, которую можно передать либо алгоритмам, либо людям. На разных уровнях принятия решений (т.е. на тактическом, оперативном и стратегическом) выбор является результатом процесса, состоящего из нескольких этапов. Вопрос не в том, должны ли алгоритмы или люди принимать решения о жизни и смерти, а скорее в том, за какие этапы процесса каждый должен нести ответственность. Разбивая выбор на составные части и обучая военнослужащих науке принятия решений, военные могут как повысить скорость данного процесса, так и сохранить моральный дух. В этой статье предлагается, как сделать и то, и другое — описываются составляющие компоненты выбора, затем обсуждается, какие из этих компонентов должны выполняться алгоритмами машинного обучения, а какие требуют участия человека.

Решения и что нужно для их принятия

Представьте себе пилота истребителя, охотящегося за ракетами класса "земля-воздух". Когда пилот атакует, он определяет, что его выбор по сравнению с другими максимизирует ожидаемую полезность и выгоду. Он может неосознанно, принимая решение, оперировать данными терминами и не способен сделать точный расчет, но, тем не менее, он определяет, какое решение наиболее оптимально. Базовый процесс одинаков независимо от того, являются ли лица, принимающие решения, исполнителями на передовой или командирами в удаленных операционных центрах. Конечно, масштабы и особенности принятия решений меняются на более высоких уровнях ответственности: от риска для одного подразделения до многих, или от риска для жизни одного до риска для жизни сотен. Независимо от того, где находится лицо, принимающее решения, или, скорее, где находится право на законное применение силы, выбор требует тех же четырех основных шагов.

Первый шаг — перечислить альтернативы, доступные лицу, принимающему решения. У пилота истребителя, опять же, только для примера, может быть две альтернативы: атаковать ракетную систему с относительно более безопасного, дальнего подхода или атаковать с близкого расстояния с большим риском, но с более высокой вероятностью успеха. 

Второй шаг — рассмотреть каждую из этих альтернатив и определить возможные результаты по ним. В этом случае результаты пилота могут включать:

• Уничтожение ракеты при выживании

• Уничтожение ракеты без выживания

• Неспособность уничтожить, но выжить

• Неспособность уничтожить и вместе с тем неспособность выжить

Третий шаг состоит в том, чтобы сделать условную оценку вероятности, или оценку вероятности каждого результата, предполагающего данный вариант действий. Если пилот приблизится вплотную, какова вероятность того, что он уничтожит ракету и выживет? Какова такая же вероятность для атаки с большого расстояния? И так далее для каждого результата каждого варианта.

На данный момент пилот определил, что он может сделать, что может произойти в результате и насколько вероятен каждый результат. Теперь нужно сказать, насколько ценна каждая из вероятностей. Чтобы сделать это, требуется определить, насколько важно, следующее обстоятельство: выгода для миссии, полученная от уничтожения ракеты, и "стоимость", полученная от жертвования своей жизнью, жизнями целевых комбатантов [подробнее - прим. перевод.] и жизнями случайных прохожих [некомбатантов - прим. перевод.] . Недостаточно сказать, что уничтожение ракеты выгодно, а жертвование жизнью дорого. Нужно поместить выгоду и затраты в единую общую метрику, иногда называемую полезностью, чтобы ценность одного можно было напрямую сравнить со стоимостью другого. Это относительное сравнение известно как ценностный компромисс, четвертый шаг в этом процессе. Независимо от того, находится ли лицо, принимающее решения, на тактическом переднем крае или принимает решения высокого уровня, компромисс имеет одну и ту же базовую форму: лицо, принимающее решения, сопоставляет ценность достижения военной цели с затратами денег и жизней (дружественных, вражеских и гражданских), необходимых для ее достижения. Этот компромисс является одновременно этическим, и военным — он накладывает цену и на жизнь и на военную цель.

Как только эти четыре шага будут выполнены, рациональный выбор станет вопросом довольно простой математики. Полезности взвешиваются по вероятности результата — результаты с высокой вероятностью приобретают больший вес и с большей вероятностью определяют окончательный выбор.

Важно отметить, что как для людей, так и для машин, принимающих решения, “рациональный” — это не обязательно то же самое, что этичный или успешный. Процесс рационального выбора — лучший способ, учитывая неопределенность, оптимизировать то, что лица, принимающие решения, ценят. Это не говорит, что у кого-то есть правильные ценности, и не гарантирует хорошего результата. Хорошие решения все равно, иногда, приводят к плохим результатам, но выверенный процесс принятия решений оптимизирует результаты в долгосрочной перспективе.

По крайней мере, в ВВС США пилоты сознательно не выполняют расчеты ожидаемой полезности в кабине. Также неразумно говорить, что они должны это делать, так как выполнение миссии достаточно трудоёмко. Для людей, принимающих решения, явная проработка этапов расчетов ожидаемой полезности непрактична, по крайней мере, на поле боя. Однако с машинами все по-другому. Если военные хотят использовать алгоритмы для достижения скорости принятия решений в бою, то им необходимо сделать компоненты решения легко поддающимися вычислению — то есть четыре вышеприведенных шага необходимо свести к числам. Возникает вопрос, возможно ли предоставить цифры таким образом, чтобы сочетать скорость, обеспечиваемую машинами, с этическим суждением, которое может обеспечить только человек.

От т.н. переводчика

Если есть желание предметнее обсудить тему статьи или обложить меня последними словами (по какой бы то ни было причине), то буду рад видеть вас тут: каналья.