Компания ASRC Federal, специализирующаяся на разработке технологий для разведки и обороны, соместно с Мэрилендским университетом опубликовала мрачный прогноз о последствиях неизбежного применения искусственного интеллекта в вооруженных конфликтах.

По мнению авторов, неизбежным такое развитие событий следует считать потому, что на сегодняшний день процесс уже запущен. В США в рамках проекта Sea Hunter уже запущен беспилотный военный корабль. В России работа над построением ракет, оснащенных системой управления с искусственным интеллектом, ведется с 2017 года. В 2019 году о своем намерении присоединиться к гонке вооружений заявило и китайское правительство. В будущем наличие полностью автоматизированной военной техники, вероятно, станет необходимым условием поддержания обороноспособности государства на должном уровне.

Одна из фундаментальных проблем применения искусственного интеллекта заключается в рисках, связанных с утратой контроля со стороны разработчика. Алгоритмы машинного обучения можно разделить на три группы: самые простые отвечают за механические операции, не требующие критического осмысления, у более комплексных поле ответственности включает все задачи, не предполагающие принятая ключевых решений, наконец, наиболее развитые системы работают в полностью автономном режиме, без человеческого надзора. Как правило, последняя группа используется в сценариях с серьезными угрозами, когда нужна сверхчеловеческая скорость осмысления и реагирования.

Вооруженные конфликты, по мнению авторов, тяготеют именно к этой категории ситуаций. Когда одна из сторон начинает применять беспилотную военную технику, она получает огромное преимущество: без дополнительного звена в виде куратора, оценивающего обстановку и принимающего решения процесс построения стратегии и санкционирования атаки ускоряется в разы. Соответственно, это подталкивает и других участников процесса принять такую же модель.

«Если системы искусственного интеллекта окажутся эффективными, неизбежно начнет нарастать давление, вынуждающее повысить уровень их вовлеченности в военные действия. Стабильный успех будет означать, что человек постепенно будет вытесняться из процесса… его роль сведется к проведению криминалистического анализа пост-фактум, когда уже завершены бои или подписаны соглашения».

Бесконтрольность принятия решений означает, что технология будет сама определять, когда, по отношению к кому и в каком объеме применять силу. Подобная ответственность ставит массу этических вопросов, на данный момент неразрешимых — искусственный разум пока не может проводить настолько тонкие моральные оценки.

Другая опасность кроется в ошибках и сбоях системы. Исключить их совсем невозможно в принципе, даже при нормальном режиме работы, в условиях же войны кибератаки станут одной из стандартных разновидностей диверсии. Системы, основанные на технологиях искусственного интеллекта, будут нести серьезный урон от уязвимостей нулевого дня. Исследователи полагают, что современные классификаторы не могут обеспечить нужный баланс универсальности и устойчивости против манипуляций. Масштабные атаки могут перегрузить систему аномалиями по одному вектору, чтобы не оставить ей ресурсов для защиты по другому. Последствием таких взломов будет рост числа человеческих жертв.

Рисуя столь мрачную картину будущего, авторы не смягчают ее перечислением контрмер, которые могут в корне поменять ситуацию. Основной вывод, к которому они приходят, заключается в необходимости ограничивать экспансию искусственного интеллекта, «пока он не научится самостоятельно принимать этические решения лучше, чем при совместной работе с людьми», и придерживаться принципов интерактивности, прозрачности и устойчивости при его создании. Тем не менее, их работа представляет полезный и отрезвляющий обзор рисков, тем более полезное, что исходит от специалистов, поставляющих технологии правительству США.

Комментарии (9)


  1. Flying
    22.05.2019 16:53
    +3

    Роберт Шекли в рассказе "Страж-птица" всё описал ещё в 1953-м.


  1. Yuri_M
    22.05.2019 17:09

    Опять ретрограды со своей «этикой» лезут… Сила, доминирование — стоят любых рисков. И пока «этичные» будут сопли жевать — конкуренты-«доминаторы», которым на любые этики плевать, их просто скушают.


    1. Caracat
      22.05.2019 17:31
      +2

      Боец, шибко озабоченный вопросами этики и морали, на поле боя никому не нужен. Потому для пикантных и грязных дел нужна была и есть малообразованная молодёжь, которой внушить можно что угодно, либо отморзки, которым море по колено.


  1. wilderwind
    22.05.2019 17:31

    "… и восстали машины из пепла ядерного огня"
    Если раньше это казалось совсем уж фантастикой, делом невозможно далёкого будущего, то сейчас смотришь на все эти нейросети, дроны, их прогресс — и понимаешь, что не такое уж оно и невозможное.
    Любая перспективная технология становится в первую очередь оружием, так было всю историю человечества. При этом воюют правительства, а гибнут простые люди, которым война не нужна. Либо не по своей воле, либо с промытыми мозгами идут убивать таких же людей, как и они сами.
    Скорей бы уже ИИ очистил эту планету от агрессивных приматов, всё равно мы никогда не научимся жить мирно…


    1. Pydeg
      22.05.2019 23:57

      Вы думаете условный ИИ будет жить мирно? Все войны сводятся к контролю за ресурсами и дело вовсе не в какой-то мифической чрезмерной агрессивности приматов, пока ресурсов ограниченное количество — войны никуда не исчезнут.


  1. WildLynxDev
    22.05.2019 18:33

    en.wikipedia.org/wiki/Energetically_Autonomous_Tactical_Robot

    Вот вам ешё для кучи. На английском правда.

    Мне кажется парадокс Ферми начинает находить объяснение.


  1. scifinder
    22.05.2019 19:05

    искусственный разум пока не может проводить настолько тонкие моральные оценки
    Естественный — тоже.


  1. ssurrokk
    22.05.2019 21:58

    Если ведущие государства мира не договорятся, кранты нам всем


  1. Raynor
    23.05.2019 11:44

    Какое счастье для России: можно пропустить этап профессиональной армии и перейти от допотопной воинской повинности сразу к войне между искусственными интеллектами.