ВВЕДЕНИЕ
Статистика аварийных происшествий показывает, что в настоящее время наиболее опасным участком полёта по-прежнему остаётся посадка. Причём в большинстве случаев аварийные происшествия происходят по вине личного состава (рис. 1). Таким образом, задача оценки действий летчика по управлению воздушным судном на этапе посадки является актуальной как для гражданской, так и для военной авиации, поскольку позволяет повысить безопасность полётов.
Рис. 1. Диаграммы распределения аварийных происшествий по этапам полёта и по видам нарушений личного состава
Выполненный анализ существующих способов оценивания качества пилотирования на основе информации бортовых устройств регистрации (БУР) показал их недостаточную эффективность.
В соответствии с Курсом боевой подготовки (КБП) оценка качества выполнения посадочного маневра определяется на основании данных бортовых и наземных средств объективного контроля, а также наблюдений инструктора и лиц группы руководства полетами (рис. 2).
Рис. 2. Структура формирования оценки
По КБП оценка техники пилотирования на этапе посадки по материалам бортовых СОК выполняется путем анализа параметров полета в 4-х контрольных сечениях глиссады (рис. 3): вход в глиссаду, прохождение дальнего приводного радиомаяка (ДПРМ), прохождение ближнего приводного радиомаяка (БПРМ), касание взлетно-посадочной полосы.
Рис. 3. Снижение самолёта по глиссаде
При этом полетные данные используются не в полном объеме: из 14 нормативных параметров, установленных КБП для оценки качества выполнения посадки, только 5 параметров определяются по материалам БУР, что составляет всего 35,7 %. Остальные параметры определяются на основании наблюдений инструктора и лиц группы руководства полетами, что вносит значительную долю субъективизма в итоговую оценку.
Таким образом, существует необходимость дополнения методики КБП параметрами, учитывающими характер пилотирования самолета на протяжении всего этапа снижения по глиссаде и регистрируемыми штатными БУР.
МОДИФИКАЦИЯ СУЩЕСТВУЮЩЕГО СПОСОБА ОЦЕНКИ ДЕЙСТВИЙ ЛЁТЧИКА НА ЭТАПЕ ПОСАДКИ
В работах [1-3] было доказано, что структура движения ручки управления самолетом на посадке является характеристикой качества пилотирования (показывает насколько уверенно лётчик управляет самолётом). Основываясь на этих работах можно сделать вывод, что в роли информативного признака для оценки качества пилотирования целесообразно использовать параметр «Угол отклонения ручки управления самолетом по тангажу»
, который регистрируется на всех современных ВС штатным бортовым устройством регистрации (рис. 4). Данный способ позволяет оценить действия летчика на всем этапе посадки, кроме того в нем отсутствует субъективизм. Типовая система управления самолетом в продольном канале представлена на рисунке 5.
Рис. 4. Графики изменения параметра «Отклонение РУС по тангажу» на этапе посадки для летчиков различной классной квалификации; а) летчик 1 класса; б) лётчик без класса; в) передача управления
Рис. 5. Система управления самолетом в продольном канале (МУ-615А — потенциометрический датчик угловых перемещений, РП — рулевой привод)
Описанный выше способ оценки предлагается интегрировать в известную методику оценки техники пилотирования по КБП. Таким образом, повысится процент объективности итоговой оценки за счет введения в итоговую оценку дополнительного объективного показателя, характеризующего действия летчика на всем этапе снижения по глиссаде.
На основе работ [4, 5] для оценки посадки предлагается использовать спектр сигнала
, а для построения модели зависимости между данным спектром и уровнем подготовки пилота (либо оценкой, выставленной командиром полёта), характеризующимся его классной квалификацией, использовать методы машинного обучения с учителем.В качестве входных признаков в реализации предложенного метода использовались отсчеты нормализованного сглаженного спектра
исследуемого дискретного сигнала , а в качестве выходного признака – номер класса летчика.Вектор входных признаков
формировался при помощи описанных ниже преобразований:- Вычисляем спектр F дискретного сигнала длины N
;
- Амплитуды сигнала, частоты которых меньше 0,5 Гц, обнуляем для исключения информационной составляющей сигнала, связанной с частотой собственных колебаний воздушного судна по углу атаки;
- Приводим спектр к виду от 0 до 2,5 Гц и изменяем размер полученного вектора признаков до фиксированного значения при помощи бикубической интерполяции (получили вектор
); - Сглаживаем спектр методом скользящего окна для получения более однородных данных и нормализуем по амплитуде:
,
,
где m – размер окна (в реализации m = 10), а K – постоянное число, превосходящее все значения
(в реализации K = 250).
Построение модели зависимости между спектром сигнала
и номером класса лётчика выполнялось при помощи двух алгоритмов машинного обучения с учителем: метода опорных векторов (SVM) с радиальной базисной функцией в качестве ядра и метода градиентного бустинга деревьев (GBT).В реализации GBT использовался со следующими параметрами:
- тип функции потерь – аномальные потери;
- количество итераций бустинга – 3000;
- параметр регуляризации – 0,0008;
- порция подвыборки – 0,0001;
- максимальная глубина деревьев принятия решений – 1;
- с использованием суррогатов.
УТОЧНЕНИЕ ПРЕДСКАЗАННОГО НОМЕРА КЛАССА ЛЁТЧИКА
Для выявления слабых мест алгоритмов было проведено тестирование и были рассчитаны диаграммы распределения ошибок. Одна из этих диаграмм представлена на рисунке 6.
Описание базы, использованной для тестирования, приведено в разделе «Результаты и обсуждение».
Рис. 6. Диаграмма распределения ошибок для метода GBT
Первые три столбца диаграммы (рис. 6) соответствуют случаям неправильно детектированного 1-го класса (включая снайперов), при этом красный столбец соответствует случаям, когда 1-й класс определён как 2-й класс, зелёный столбец соответствует случаям, когда 1-й класс определён как 3-й класс и синий столбец соответствует случаям, когда 1-й класс определён как без класса. Аналогично для 2-й, 3-й и 4-й тройки столбцов, которые соответствуют 2-му, 3-му классу и “нулевому” классу (без класса).
Анализ диаграммы распределения ошибок показал, что в большинстве случаев алгоритмы ошибаются на один класс, поэтому разумно в дальнейшем провести отдельный анализ для каждой пары ближайших классов. Например, уточнять предсказанный номер класса лётчика уже в бинарном классификаторе.
В реализации использовались следующие бинарные классификаторы:
- если предсказанный класс «3-й класс», то используется метод SVM для классификации лётчиков 2-го и 3-го классов;
- если предсказанный класс «без класса», то используется метод GBT для классификации лётчиков 3-го класса и без класса.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Согласно стандартной схеме оценивания обобщающей способности алгоритма классификации, все имеющиеся данные делятся на обучающую и тестовою выборки. Однако из-за большого количества входных признаков требуется как можно большее количество примеров в обучающей выборки, иначе алгоритму классификации может не хватить информации для построения модели зависимости. Также требуется большое количество примеров в тестовой выборки для оценки качества классификации с высокой точностью.
В нашем случае объём имеющихся данных ограничен, поэтому для оценивания обобщающей способности алгоритма классификации используется метод кросс-валидации.
Все имеющиеся данные были разбиты на 5 непересекающихся блоков, каждый из которых содержит 48 образцов по 12 образцов на каждую классность пилота: без класса, 3 класс, 2 класс и 1 класс (включая лётчиков снайперов). Данные были получены с бортовых устройств регистрации маневренных самолётов (название самолёта сказать не могу). Результаты представлены в таблице ниже.
| Вид алгоритма | Ошибка алгоритма E, ед. | ||||
|---|---|---|---|---|---|
| общая точность | 1 класс и лётчики снайперы | 2 класс | 3 класс | без класса | |
| Метод SVM | 0,5526 | 0,5667 | 0,6167 | 0,3167 | 0,7152 |
| Метод GBT | 0,5566 | 0,6167 | 0,3667 | 0,5167 | 0,7318 |
Итоговая оценка эффективности алгоритма:
рассчитывались по следующей формуле:
где
– количество тестовых примеров, в которых допущена ошибка, 
– количество тестовых примеров в тестовой выборке.Анализ полученных результатов показал, что наилучшую общую точность показал метод GBT. Кроме того, уточнение предсказанного номера класса лётчика в бинарных классификаторах повысило общую точность у метода SVM на 2 %, а у метода GBT на 3 %.
ЗАКЛЮЧЕНИЕ
Использование методов машинного обучения позволило экспериментальным путем подтвердить коррелированность параметра «Угол отклонения ручки управления самолетом по тангажу» на этапе снижения самолета по глиссаде с уровнем подготовки летчика, выраженного в баллах в соответствии с его классностью. Полученная точность метода опорных векторов и градиентного бустинга деревьев составляет 55%. Таким образом, спектр сигнала «Угол отклонения ручки управления самолетом по тангажу» может быть использован в качестве дополнительного параметра для оценки действий лётчика на этапе посадки, а построение системы, выставляющей оценку по данному спектру, можно выполнять при помощи алгоритмов машинного обучения с учителем: метод опорных векторов и градиентный бустинг деревьев.
- Авиационная медицина / под ред. Н. М. Рудного, П. В. Васильева, С. А. Гозулова. – М.: Медицина, 1986. – 580 с.
- Гладков Б. М. Автоматизированная оценка натренированности летчиков с использованием показателей управляющих воздействий: научно-методические материалы по проблемам обеспечения безопасности полетов. Иркутское ВВАИУ / Б. М. Гладков. – И., 1991. – C. 73–79.
- Фролов Н. И. Пути изучения работоспособности летчика в полете / Н. И. Фролов // Космическая биология. – 1978. – № 1. – С. 3–10.
- Патент № 2436164 Российская Федерация, МПК G07C 11/00, G08G 5/00. Способ оценивания качества пилотирования самолета летчиком на этапе посадки по данным штатного бортового устройства регистрации / Полуэктов С. П., Кашковский В. В., Тихий И. И., Лапин И. П.; заявитель и патентообладатель ФГОУ ВПО «Военный авиационный инженерный университет» (г. Воронеж) Министерства обороны РФ. – № 2010140360/08; заявл. 01.10.2010; опубл. 10.12.2011, Бюл. №34. – 3 с.
- Полуэктов С. П. Один из подходов к расширению возможностей автоматизированной системы оценки качества пилотирования воздушного судна / С. П. Полуэктов, Е. П. Колесников // Актуальные вопросы науки и техники в сфере развития авиации: сборник тезисов докладов III Международной научно-технической конференции авиационного факультета. – Минск: Военная академия Республики Беларусь, 2013. – С. 81–82.
Нафиков М.А.
UPD: ссылка на проект и базу данных.
Комментарии (36)
RealFSA
14.04.2016 17:10+1Отлично! Осталось подключить подобный математический аппарат к автомобилю, и по данным датчиков руля и педалей, получать уровень подготовки водителя, и его состояние за рулем. Усталось, внимательность и прочие параметры.
Stas911
14.04.2016 22:00Начало давно положено — страховые давно используют параметры движения для оценки водителей.
Zveroloff
15.04.2016 08:11+1У меня в Вольво есть «предупреждение об управлении усталым» или как-то так называется. Думаю, на похожем принципе и основано.
Propheta13
15.04.2016 13:15В UK назьівается BlackBox. Оно к счастью по желанию. Обьічно ставят для удешевления страховки после штрафа (после например штрафа за превьішения она взлетает раза в 2). У знакомого стоит — так вот стоимость полиса ему подняли потому как «бьістро и не єкономично разгоняется».
kahi4
14.04.2016 17:24+1Все это замечательно, но один главный вопрос: зачем тут машинное обучение? Лишь из-за моды?
Поясню: выкинув всю воду из статьи и посмотрев на графики (к слову, они контринтуитивны: получается, опытный пилот дергает ручку как бешеный, а кто сел первый раз за ВС — двигает ей спокойно? Где пруфы, Билли?), отчетливо видно, что определять класс летчика можно… по обычной дисперсии. И было бы очень интересно увидеть именно сравнение (я так понимаю, это дипломная работа? У нас была такая лабораторная, там не только дисперсию считали, там чуть больше показателей, в случае диплома эту работу бы не приняли) с классическими методами и показать, что "машинное обучение" показывает большую точность, нежели обычная градация дисперсии или какие-то еще статистические методы (возьму на себя смелость предсказать, что это не так, и получить великолепную статью в стиле "хватит лепить машинное обучение куда не попадя")
forcesh
14.04.2016 18:02Данную методику предлагается интегрировать в уже существующую. Пилоту придётся поддерживать параметры и по кбп. поэтому дёргания не помогут.
Вы имеете ввиду эту работу? Так там данные с тренажёров. Игрушка просто.
Машинное обучение использовал только потому, что при помощи них можно быстро и удобно построить модель зависимости.
Исследования при помощи статистических методов тоже проводились[4, 5]. Но там не проводили тестирование на базе целиком, а только посчитали коэффициент корреляции. Поэтому, что из них лучше, сказать не могу.kahi4
14.04.2016 18:32Нет, не видел эту работу.
Евдокименкова затянули в нейронные сети? Хех. Очевидно, это не лабораторная. И задача там несколько другая. В рамках этой задачи проверка работоспособности на тренажере вполне достоверна (на сколько можно судить по аннотации, с самой работой не знаком, к сожалению).
Вообще давайте по сути. Я не вижу доказательства достоверности вашего алгоритма. Таблица, построенная по скрытым данным, которые вы не можете показать, даже самолет не называете (почему, к слову? почти уверен, что это су-27 или су-35), в которой три числа, из которых вы утверждаете о работоспособности метода. Как метод реагирует на внешние возмущения? (поломка, ветер, прочие случайные и неопределенные воздействия)? "Вектор входных признаков… формировался при помощи описанных ниже преобразований" — кроме преобразования в спектр ничего не понятно: ни откуда взялись параметры, ни почему они такие.
Точность метода 0.5 — точность подбрасывания монетки. Кому такой метод вообще нужен?
Ну и просто смешно, простите, когда к.т.н. и студент называют "игрушкой" работу за авторством доктора наук, двух кандидатов и одного аспиранта, собственно, преподающих на кафедре, специализирующейся на методах управления л.а.
forcesh
14.04.2016 18:43Данные выложу в течение недели. Название самолёта мне запретили говорить.
Параметр показывает лишь, то насколько уверенно лётчик управляет самолётом.
Я не называл работу игрушкой. Тренажёр — игрушка.
Пример с монетой неудачный. Там всего два исхода.
kahi4
14.04.2016 18:44-2Ну и просто смешно, простите, когда к.т.н. и студент называют "игрушкой" работу за авторством доктора наук, двух кандидатов и одного аспиранта, собственно, преподающих на кафедре, специализирующейся на методах управления л.а.
Я имел ввиду, это не профессионально: проявите уважение к коллегам.
forcesh
14.04.2016 18:49+1Никаким образом я не проявляю не уважения. Посадка на тренажёре и на реальном самолёте — небо и земля
Yak52
14.04.2016 18:19Кстати да. Хороший летчик дергает ручку меньше чем начинающий. У начинающего как правило больше «двойных движений» Т.е. имеется в наличие либо «перерегулирование» либо «недорегулирование». Начинающему приходится после воздействия на самолет «прислушиваться» к тому, в какое положение он его перевел и при необходимости вносить корректировки. Опытный же пилот ставит самолет в нужое положение одним движением ручки. Исключение, пожалуй, только полеты строем, там приходится дергать ручку непрерывно.
Iceg
14.04.2016 18:31+2Хороший летчик дергает ручку меньше чем начинающий.
Но графики говорят об обратном.Yak52
14.04.2016 20:40Вот это на графиках и странно.
kimaero
15.04.2016 08:30А еще совершенно неясно как при этом учитываются метеоусловия. Характер движений РУСа в штиль, при порывистом или боковом ветрах очевидно различается и совсем не факт что зависит от «классности» пилота.
forcesh
15.04.2016 09:55Метеоусловия никак не учитываются. По-хорошему нужно увеличивать количество информационных признаков для более детального представления посадки. Но, опять же, таких данных, пока нет.
ksil
15.04.2016 15:45все же, прокомментируйте, пожалуйста, почему опытный пилот дергает ручку интенсивнее и чаще, чем менее опытный? у меня тоже взгляд сразу при прочтении за это зацепился.
novice2001
15.04.2016 16:10+1Потому что опытный летчик очень быстро компенсирует минимальные отклонения от идеальной траектории, а неопытный реагирует гораздо медленнее, а его траектория в результате получается очень «горбатой».
novice2001
15.04.2016 15:29+1Если говорить о сферическом самолете в вакууме (точнее абсолютно симметричном самолете в абсолютно изотропной атмосфере), то видимо так и есть. Бесконечно опытный пилот смог бы поставить самолет с бесконечно малой инерцией в нужное положение за одно движение.
На практике на самолет действует куча постоянно изменяющихся сил и моментов, а его моменты инерции далеко не нулевые: если это Су-27, то по массе это 3 КамАЗа.
Если посмотреть на масштаб оси Х, то «как бешеный» летчик ручку не дергает. Он просто парирует начинающиеся небольшие отклонения от идеальной глиссады, в то время как неопытный летчик регулярно отклоняется от нее на значительные углы. К сожалению, исходных данных для этой графиков нет, но даже без них очевидно, что если построить скользящие средние для углов отклонения РУС, то получившиеся кривые для классного летчика будут куда более гладкими.
el777
14.04.2016 18:10Любопытно. Но совершенно контринтуитивно, почему более частое дергание с большей амплитудой — признак классности. При то, что лучшим считается «снайпер» — видимо, тот который сразу «раз и сел» без долгой подгонки.
Вывод тоже спорный — точность метода — 55%. Если просто подбрасывать монетку, то будет 50%.forcesh
14.04.2016 18:25Этот параметр позволяет скорее оценить уверенность лётчика. По-моему логично, что пилот с малым опытом не совершает резких движений из-за страха.
Ну это точность классификации по уровням классности. Систему предлагается использовать для оценки.
В идеале, конечно, хотелось бы использовать оценку командира за посадку вместо класса лётчика, но таких данных у меня нет.
Пример с монетой неудачный) там два исхода, здесь 4(различий между 1-м классом и снайпером не делал)
knagaev
18.04.2016 11:43Вам второй раз сказали про монетку, и второй раз Вы не поняли и ответили точно так же :)
Это к вопросу о качестве настроенной модели.
Имеется в виду, что имитацию выходов на Вашей модели можно получить просто подбрасывая монетку — слишком много шума.
Почитайте про ROC-AUC или т.п. вещи — будет очень полезно, без оценки качества модели далеко не пойти.
381222
14.04.2016 23:26+1Затронутая тема очень интересна, но статья мягко говоря странная. Вроде бы собирались оценивать действия летчиков на этапе посадки, но пишите вы о классификации классов летчиков. Метрика странная, почему не матрица определения классов, точность, полнота, f-мера и т.п.? Количество ошибок по классам само по себе мало о чем говорит.
Параметры GBT меня поразили :) Можете пояснить?:
— Никогда не слышал о такой функции потерь:) Может быть я ее знаю под другим именем?
— Зачем в GBT регуляризация? В принципе можно ее сделать, но у вас еще и классификация, а не регрессия.
— Порция подвыборки это в смысле sabsample? 0.01% от выборки за раз?? А зачем так? Сколько у вас вообще данных?
— Максимальная глубина деревьев 1, при рекомендуемых 6 и обычно используемых 10+. Чем продиктован такой выбор?
— Что такое суррогаты? Вы увеличивали количество данных с помощью synthetic data generation?
И отдельно — всегда интересовало почему не сделают автоматическую посадку? Робот посадит самолет гораздо точнее, быстрее среагирует на порывы ветра и скольжение, быстрее поймет, что посадку надо прерывать и идти на повторную.381222
14.04.2016 23:42По количеству данных посмотрел, но вопросов не убавилось) Как вам удалось считать, используя 0.01% от 48 штук? Или для GBT кросс-валидация не использовалась? Но все равно почему не 0.5 или 0.8, почему 0.0001??
forcesh
15.04.2016 09:46Классификацию классов лётчика я делал для того, чтобы хоть как-то оценить работоспособность алгоритма. По-хорошему нужно использовать оценку командира за посадку, но таких данных нет.
Там не количество, а нормализованные значения от 0 до 1. По-моему этого достаточно. Хотя матрица неточностей будет более наглядно представлять результаты. Спасибо за идею:)
Реализацию gbt использовал из библиотеки OpenCV. Аномальная функция — CvGBTrees::DEVIANCE_LOSS.
Все параметры для GBT подбирались экспериментально. Тесты показали, что лучше использовать регуляризацию, суррогаты и использовать именно такую глубину деревьев.
Для GBT кросс-валидация использовалась. А с порцией подвыборки я погорячился:) Каюсь. Не обязательно такую маленькую делать
synthetic data generation не использовал. была такая идея, но возник вопрос: правильно ли это делать для таких данных?
Тоже задавал этот вопрос своему н.р. Ответ был такой: лётчики, пока не готовы доверить свою жизнь машине.381222
15.04.2016 17:35+1Посмотрел документацию по OpenCV, очень самобытный пакет, по крайней мере в части ML :) Попробуйте не decision trees, а что то из random forest или xgboost с настройкой под бустинг random forest. Тем более, что у вас переменных много, а данных мало.
Про аномальную функцию разобрался :) Это Logloss или кросс-энтропия. Правда, в оригинальном исполнении с регуляризатором. В регрессии регуляризатором штрафуют большие коэффициенты весов, а здесь мы что штрафуем? Я бы еще понял, если бы он был от -1 до 1, чтобы смещать деление по классам. Но он от 0 до 1, т.е. смещает только в одну сторону.
Низкие значения полученной точности алгоритмов подозрительны. На картинках глазом видны отличия, а алгоритм выдает 55%, такого не может быть.forcesh
15.04.2016 17:51Я попробую. Спасибо)
Отличия между, например, 2-м и 3-м классом не так хороши видны, как на графиках. Отсюда такая точность
Kreastr
15.04.2016 08:30«В нашем случае объём имеющихся данных ограничен, поэтому для оценивания обобщающей способности алгоритма классификации используется метод кросс-валидации.
Все имеющиеся данные были разбиты на 5 непересекающихся блоков, каждый из которых содержит 48 образцов по 12 образцов на каждую классность пилота.»
Уточните, пожалуйста, сколько блоков из 5 использовалось для обучения, а сколько для проверки. При рассчете итоговой оценки использовались все возможные сочетания или некоторое количество случайых? Так же интересно узнать количество информации в одном сэмпле (например, 5 каналов управления по 20000 измерений с разрешением АЦП 16 бит).forcesh
15.04.2016 09:53При кросс-валидации один блок тестовый, оставшиеся объединяются в тренировочную выборку. Потом тестовый блок меняется на другой и всё повторяется. И так для каждого блока. Таким образом, все образцы тестируются.
В одном образце примерно 500 дискретный отсчётов сигнала. Частота дискретизации сигнала 4 либо 5 Гц
JustCyber
15.04.2016 10:57А чем не устраивает обычна автоматическая посадка по ILS?
forcesh
15.04.2016 11:02Лётчики, пока не готовы доверить свою жизнь автоматике. Плохие метеоусловия никто не отменял
novice2001
15.04.2016 16:10+1Видимо тем, что стоит задача объективно оценить именно подготовку летчиков к посадке.
А у «обычной автоматической посадки по ILS» ограничений вагон и маленькая тележка. Тем более что на военных аэродромах никаких ILS нет, и надеяться на их существование в боевых условиях вообще глупо.
crmMaster
Выводы просто атас!
«Лучший летчик лучше управляет самолетом». Офигеть. Никто бы не догадался :)
forcesh
Классность лётчика и его оценка за посадку не одно и тоже