В истории о машинах, побеждающих людей, появилась новая глава: ИИ снова победил пилота-человека в виртуальном воздушном бою. Соревнование AlphaDogfight стало финалом испытаний нейросетевых алгоритмов, разработанных для американских вооруженных сил. И наилучшей демонстрацией возможностей интеллектуальных автономных агентов, способных победить вражеские самолеты в воздушном бою. Подробнее — в материале Cloud4Y.
Это не первый раз, когда ИИ побеждает пилота-человека. Испытания 2016 года показали, что система искусственного интеллекта может победить опытного инструктора по боевым полетам. Но симуляция DARPA в четверг, возможно, была более значимой, поскольку она столкнула множество алгоритмов между собой, а затем против человека в сложных условиях. Помимо интеграции ИИ в боевые машины для повышения их боеспособности, подобные симуляции также могут помочь тренировать людей-пилотов.
Начало
В августе прошлого года агентство Defense Advanced Research Project Agency (DARPA) выбрало восемь команд для участия в серии испытаний. В список попали Aurora Flight Sciences, EpiSys Science, Georgia Tech Research Institute, Heron Systems, Lockheed Martin, Perspecta Labs, PhysicsAI и SoarTech (как можно понять, наряду с крупными подрядчиками оборонной промышленности, типа Lockheed Martin вопросом занимались и небольшие компании, вроде Heron Systems).
Целью программы являлось создание ИИ-систем для боевых беспилотников и беспилотных ведомых, прикрывающих пилотируемые истребители. Учёные и военные рассчитывают, что ИИ сможет вести воздушный бой быстрее и эффективнее человека, снизить нагрузку на летчика, предоставив ему время для принятия важных тактических решений в рамках более масштабной боевой задачи.
Первый этап AlphaDogfight Trials проводился в ноябре 2019 года в лаборатории прикладной физики университета Джонса Хопкинса. На нем нейросетевые алгоритмы, созданные разными командами, вели воздушный бой с системой искусственного интеллекта Red, созданной специалистами DARPA. Бои между алгоритмами велись в режиме 1х1 на низком уровне сложности. Второй этап испытаний прошел в январе 2020 года. Он отличался от первого повышенной сложностью. Заключительный этап испытаний, состоявшийся 20 августа 2020 года, можно было посмотреть в прямом эфире на YouTube-канале DARPA.
Испытания проводились в авиационном симуляторе FlightGear с использованием программной модели динамики полета JSBSim. В первых двух этапах нейросетевые алгоритмы управляли тяжёлыми истребителями F-15C Eagle, а в третьем — средними F-16 Fighting Falcon.
Как машина победила человека
На третьем этапе испытаний нейросетевые алгоритмы сперва провели воздушные бои друг с другом. Победителем всех боев была признана система, созданная компанией Heron Systems. Воздушные бои велись на ближней дистанции с использованием только пушечного вооружения.
Затем алгоритм Heron Systems провел воздушный бой с опытным летчиком-истребителем и инструктором ВВС США с позывным Banger. Всего было проведено пять боев. ИИ-алгоритм одержал победу во всех. «Стандартные приёмы воздушного боя, которые изучают летчики-истребители, не сработали», — признал проигравший машине пилот. Но в последних раундах человек смог продержаться дольше.
Причина в том, что ИИ не могли учиться на собственном опыте во время реальных испытаний. К пятому, последнему раунду воздушной схватки пилот-человек смог значительно изменить свою тактику, что и позволило продержаться намного дольше. Тем не менее, недостаточная скорость обучения опытного лётчика привела к его поражению.
Другим победителем испытаний можно назвать глубокое обучение с подкреплением, при котором алгоритмы искусственного интеллекта снова и снова, иногда очень быстро, испытывают задачу в виртуальной среде, пока не разовьют нечто вроде понимания. Какой тип нейронной сети использовали разработчики, не раскрывается. Heron Systems использовала обучение с подкреплением для обучения нейронной сети. Во время обучения сеть провела четыре миллиарда симуляций.
Второй результат в виртуальных воздушных боях показал алгоритм, разработанный компанией Lockheed Martin. Его подготовка также велась методом обучения нейросети с подкреплением.
Немного деталей
Ли Ритхольц, директор и главный архитектор искусственного интеллекта из Lockheed Martin, после испытаний рассказал журналистам, что попытка заставить алгоритм хорошо работать в воздушном бою сильно отличается от обучения программному обеспечению просто «летать», то есть поддерживать определённое направление, высоту и скорость.
«Изначально компьютерная программа не понимает даже самые элементарные вещи, что ставит её в уязвимое положение по сравнению с любым человеком. Вам не нужно объяснять пилоту, что он не должен врезаться в землю. Это базовые инстинкты, напрочь отсутствующие у машины. Преодоление этого незнания требует обучения алгоритма тому, что за каждую ошибку приходится платить. Обучение с подкреплением вступает в игру, когда алгоритм назначает веса [затраты] каждому маневру, а затем повторно определяет эти веса по мере обновления своего опыта.
Процесс сильно варьируется в зависимости от входных данных, включая сознательные и бессознательные предубеждения программистов в отношении того, как структурировать моделирование. В команде были жаркие споры на тему того, что лучше: написать программное правило, основанное на человеческих знаниях, чтобы ограничить ИИ, или позволить ИИ учиться методом проб и ошибок. Мы решили, что внедрение правил ограничивает производительность программы. Ей нужно учиться методом проб и ошибок», — рассказал Ритольц.
Нет сомнений в том, что ИИ может учиться, и очень быстро. Используя локальные или облачные ресурсы для моделирования воздушных боёв, что он может повторять урок снова и снова на нескольких машинах. У Lockheed, как и у нескольких других команд, был пилот-истребитель. Они также могли запускать обучающие наборы на 25 серверах DGx1 одновременно. Но то, что они в конечном итоге производили, могло работать на одном GPU. Для сравнения, после победы Бен Белл, старший инженер по машинному обучению в Heron Systems, сказал, что их алгоритм прошёл не менее 4 млрд симуляций и приобрёл примерно 12 лет опыта.
В итоге DARPA поздравили с победой стартап Heron Systems, чей алгоритм сумел обойти разработки более крупных компаний вроде Lockheed Martin.
Что ещё интересного есть в блоге Cloud4Y
> «Сделай сам», или компьютер из Югославии
> Госдепартамент США создаст свой великий файерволл
> Искусственный интеллект поёт о революции
> Какова геометрия Вселенной?
> Пасхалки на топографических картах Швейцарии
Подписывайтесь на наш Telegram-канал, чтобы не пропустить очередную статью. Пишем не чаще двух раз в неделю и только по делу.
Valsha
Это было предсказуемо. У человека нет никаких шансов в бою с машиной. Тем более если ещё боевые машины с ИИ будут спроектированы с условием что их будут использовать ТОЛЬКО в связке с ИИ. То не надо делать «поблажку на слабость человека» (перегрузки, системы жизнеобеспечения, спасения пилота и тп). Просто уверен что с такими «системами боевыми» бой закончился и не начавшись.
eagleivg
Страж-птицы: Начало
AlexanderS
Можно сразу параллельно начинать и Ястребов делать)
astromill
тоже сразу про них и подумал
Valsha
Или фильм Стелс (2005).
Довольно хороший, крепкий фильм и очень в тему.
Wingtiger
HK-Aerial
hokum13
Ну например пушку можно поставить не курсовую, а турельную и тогда весь этот пилотаж ни к чему от слова совсем.
tegArt
Пилотаж нужен для противостояния умникам, у которых турель есть, а уворот не прокачан :)
hokum13
А если умнику, у которого прокачан пилотаж еще и турель стабилизированную поставить?
Bedal
ерунда. Обоих собьют ракетами, какие турели?
hokum13
Добро пожаловать в 1960-е. Тогда тоже хотели отказаться от пушек, но первая же реальная война показала ошибочность такого мышления.
Наземная ПВО может быть уже подавлена или еще не развернута. Любая ПВО может быть иметь проблемы с целеуказанием из-за работы РЭБ, использования эффективных stealth-технологий и т.п… В конце концов, не всегда понятно можно ли открывать огонь, а когда дело дойдет до dogfight-а — ракеты уже не помогут.
Bedal
добро пожаловать в современные реалии. Пушки применимы только на хорошо дозвуковых скоростях, даже когда человек только задаёт цель, а собственно стрельбу ведёт комп (что сейчас — стандарт). Это никак не зависит от типа системы управления, банальная физика. Увеличение воздушной скорости в полтора раза (стрельба на сверхзвуке) приводит к увеличению сопротивления раза в четыре (там даже не квадратичная зависимость). Скорость снаряда падает, и скорость относительно цели становится мизерной. В результате снаряду просто не хватает энергии долететь, сохранив точность и убойность.
С другой стороны, головки самонаведения ракет поумнели настолько, что при всей РЭБ главным и последним преимуществом самолёта над ракетой является запас энергии. То есть заставить ракету лететь до тебя дольше, так что у неё энергии не хватит.
В 60е годы ракеты были тупее, запас энергии у них был меньше, и было их на борту в типовом случае пара штук. Нынешние по всем трём параметрам куда как толще.
hokum13
Всё правильно сказали, но… Но всё это уже произносили в 60-е.
Как говорят любители диалектики — изменения в количестве не перешло в изменение в качестве.
Как и в 60-е сближение может закончиться dogfigth-ом, сейчас пожалуй даже с большей вероятностью, т.к. все стали внедрять stealth-технологии. Маневренный бой ведется уже на дозвуке, а значит пушки становятся более чем эффективными.
В во Вьетнаме РЭБ (в начале) против ракет вообще не применяли и вся тактика уклонения от ракет сводилась к той же самой энергии — не поменялось.
Выросло количество ракет, но появились всякие stealth, РЭБ, ловушки и т.п., которые нивелируют количество.
А главное изменился характер войн. Вьетнам был прост — с одной стороны янки, с другой гуки. Увидел врага — стреляй, тебя за это наградят. А в Сирии… То атакующий бомбер сбить нельзя, а то гражданскую колонну расстрелять необходимо. И вполне может так получиться, что в момент поступления приказа ракеты уже либо не эффективны, либо и вовсе опасны для атакующего (например когда теми самыми ракетами сбили ИЛ-20, вместо F-16).
Bedal
Энергетика ракет очень существенно выросла. Ещё и поэтому дозвук — это практически «сидящая утка». Не убежишь от ракеты, не успеешь разогнаться.
это не приводит к росту вероятности пушечного боя. Вероятность пушечной атаки по земле — да, но, опять же, это недостаточно выборочно по нынешним временам. Отстрелить из пушки одного конкретного типа сложнее, чем ракетой.
Dvlbug
Вроде как читал, что в ВВС считается, что если дошло до догфайта, то боевая миссия провалена. Пилот должен выпустить ракеты издалека и уйти от боя.
VolCh
А если противник не согласен с решением уйти?
KivApple
Ракеты достигнут его быстрее, чем он достигнет того, кто их выпустил.
VolCh
У противника могут быть антиракеты, ловушки, противоракетные манёвры и т. п.
salkat
Это в кино от ракеты легко уклониться
alexey_c
Ракет может не хватить на всех желающих.
geher
Наверное, в большинстве случаев дело решат ракеты, пущенные с большой дистанции.
Но случаи таки бывают разные. И от близкого знакомства с пушечным вооружением противника в реальности никто из пилотов не застрахован.
Навскидку вариант.
Не увидел противника на радаре вследствие особо эффективных действий РЭБ противника до момента, когда дистанция для пуска ракет стала слишком мала, в то время как вторая сторона не смогла пустить ракеты по беззащитному слепому по такой же или иной (например, у второй стороны просто кончились ракеты, но осталась наглость) причине. Это что, сразу запрет на полеты в случае применения противником эффективных средств РЭБ?
Да и вообще, сводить воздушный бой к "пустили ракеты друг по другу издалека и сразу катапультировались", оставив за бортом разные превратности войны, которые могут привести к очень интересным ситуациям, как-то странно. В частности, ситуация "боевая миссия провалена" для войны с более сильным, равным или хотя бы не очень отстающим противником является не чем-то исключительно редким, а скорее обычным делом.
grondek
del
grondek
Например, на F-4 Phantom пушку сначала не поставили. Их вернули только во время Вьетнамской войны после оценки статистики использования ракет, которая была достаточно низкой: по некторым типам ракет порядка 10-15% попаданий. При этом, у МиГов пушки были (у некоторых в подвесном контейнере).
Это, правда, было очень давно. Но последнее время практически не было боев на современной технике на равных. Обычно один из противников существенно превосходил другого. Поэтому более современной статистики нет.
VolCh
В Югославии было существенное превосходство, если смотреть на отдельные бои, а не на общее соотношение сил?
grondek
Вообще-то было. НАТО все же летало под колпаком аваксов и рэб. Чисто воздушные бои там были редкостью. Югославия в воздушных боях потеряла только 6 самолетов, а остальные на аэродромах.
Ну и там не было боев с полным расходованием ракет с обеих сторон. У МиГ-29 вроде 6 точек подвески, у F-16 не помню, но не менее 6, возможно 10. МиГи бывало расходовали все ракеты и их давили числом потом.
Bedal
фишка в том, что подобно обученные программы могут быть очень близки к тому, что нужно ракетам для попадания. Там, вероятно, и будут они в первую очередь применены.
romxx
Насколько я помню, эта концепция провалилась уже во времена Вьетнамской войны. Это до нее делали что-то типа F-104, чисто ракетный сверхзвуковой истребитель. Да и F-4 Fantom изначално был беспушечный. Но практика реальных боевых действий показала, что догфайт никуда не делся, и по-прежнему ближний бой на автоматических пушках вполне себе реальность. Это понимание стоило многих жизней в результате.
mamont80
А мне не кажется что ИИ не под силу стрелять из пушки и уворачиваться от ответного огня. Как будто это козырь мешков с костями. На сколько я знаю, маневренность современных истребителей утыкается уже в возможности организма человека переносить перегрузки. Есть ещё тот аргумент, что пилоты товар штучный, требует огромного времени и денег на обучение, а ИИ легко копируется.
geher
Интересно, а для ИИ, управляющего самолетом, могут ли найтись уязвимости, позволяющие заставить его в упор не видеть истребитель противника, как это получилось для автомобилей и дорожных знаков?
wmgeek
Зачем воевать оружием, если победу можно одержать зеленой бумажкой или даже набором байтов?
Bedal
Однако «воевать оружием» это не отменило.
grondek
Ближний Восток и сейчас так воюет. В той же Сирии куча мелких деревень переходила туда-сюда после договорняка с руководством.
Bedal
Так воюют везде и всегда, и будут. Но «воевать оружием» это не отменяет.
grondek
Не отменяет. Просто на востоке это очень явно проявлялось буквально совсем недавно, 2-4 года назад.