Оценивание функционального состояния пилота по сигналам датчиков различной природы Текст научной статьи по специальности «Медицинские технологии»

Оценивание функционального состояния пилота по сигналам датчиков различной

природы

ВН. Юрко, ОН. Корсун

Аннотация—В работе представлены результаты исследований по обнаружению признаков утомления пилота и взаимосвязи между параметрами, характеризующими психофизиологическое состояние летчика, и показателями качества пилотирования. Для оценки состояния летчика использовались сигналы различной природы: отклонения ручки управления самолетом в каналах тангажа и крена, электроэнцефалограммы, определение эмоциональных состояний и анализ параметров морганий по видеоизображениям лица, определение углового положения головы пилота. В этом заключается особенность настоящего исследования, которое направлено на выявление возможностей информационных каналов, которые традиционно для оценки функционального состояния пилота не используются. По этой причине общепринятые медицинские показатели (пульс, давление, температура, кожно-гальваническая реакция) не рассматривались.

Показателями качества пилотирования являлись вертикальные и горизонтальные отклонения от линии глиссады при заходах на посадку на пилотажном стенде. Для обработки экспериментальных данных использовались спектральные плотности сигналов, частотные функции когерентности, метод главных компонент, а для анализа видеоизображений - сверточные нейронные сети глубокого обучения. В результате исследований выявлены устойчивые корреляционные связи между показателями точности пилотирования и такими характеристиками оператора как частотные функции когерентности по сигналам управления, отношение первой и второй главных компонент сигналов электроэнцефалограммы, количество эмоциональных состояний и число морганий. Произведен выбор параметров для определения усталости оператора (с ростом усталости падает степень линейности связи между управляющим воздействием (ручка управления по тангажу) и вертикальной перегрузкой; при распознавании эмоций и морганий индикаторами усталости являются категории «Печаль», «Страх», «Сердитый», частота и длительность морганий).

Ключевые слова—Функциональное состояние оператора, сверточные нейронные сети, эмоции, моргания, электроэнцефалограммы.

I. Введение

Функциональные возможности летательных аппаратов приводят к предъявлению высоких требований к

Статья получена 10 марта 2024.

Корсун О. Н.: ФАУ ГосНИИАС, Москва (e-mail: marmotto@rambler.ru).

Юрко В. Н.: ФАУ ГосНИИАС, Москва (e-mail: Wlad_T90@mail.ru).

подготовке пилота, который должен считывать и верно интерпретировать показания большого числа приборов, а также быстро реагировать на возможные приборные отказы, изменения внешних условий и другие критические ситуации.

Качественное выполнение полетного задания непосредственным образом зависит от психофизиологических ограничений членов экипажа, которые могут быть оценены на стадии подготовки к полету. При этом анализ изменений психофизиологического состояния непосредственно на борту летательного аппарата позволяет предотвратить наступление критических полетных ситуаций и скорректировать действия и решения потенциально недееспособного пилота, вплоть до полной передачи его функций системе автоматического управления летательным аппаратом [1].

В связи с невозможностью полного вывода оператора из контура управления задача оценивания и контроля психофизиологического состояния пилота во время выполнения полетного задания является актуальной и соответствует современным перспективным направлениям развития технологий интеллектуальной поддержки экипажей.

II. Алгоритм вычисления оценок спектральных

ПЛОТНОСТЕЙ УПРАВЛЯЮЩИХ СИГНАЛОВ ЛЕТЧИКА.

ОЦЕНИВАНИЕ СТЕПЕНИ УТОМЛЕНИЯ ПО УПРАВЛЯЮЩИМ СИГНАЛАМ ЛЕТЧИКА

Для исследования управляющих сигналов летчика-отклонений ручки управления самолетом (РУС) в каналах тангажа и крена , использовались классические методы спектрального анализа. Энергия сигнала, генерируемого летчиком, находится в некотором низкочастотном диапазоне [/н, /в ], тогда как другие частотные

диапазоны характеризуют шумы измерений.

Оценка дисперсии полезного управляющего сигнала х(/;), I = 1, N в заданном частотном диапазоне может

быть вычислена по формуле:

Гв

Щ х) = | 4 (I) df,

Гн

где $ (f) - оценки спектральных плотностей сигнала

х^), I = .

В данной формуле используется тот известный факт, что дисперсия скалярного сигнала х(/) равна интегралу по частоте от его спектральной плотности:

D(x) = j ¿Х (f ) df .

N

Этот алгоритм используется далее при вычислении спектральных и взаимных спектральных плотностей сигналов.

На рис. 1 представлен управляющий сигнал (ручки управления самолетом РУС по тангажу) во временной области для одного захода на посадку.

На практике оценки спектральных плотностей вычисляются для дискретных значений частоты Г(к), к = 0,1,...кН ,...кВ, где к = 0 соответствует постоянной составляющей /0 = 0 Гц, а целые числа кН, кВ определяются из соотношений:

Г (кн ) » ГН , 1(кв ) » Г в .

Расчетную формулу для оценки дисперсии в заданном частотном диапазоне можно получить, вычисляя интеграл, например, по формуле трапеций.

Оценки дисперсии в заданном частотном диапазоне определяются для каждой скалярной составляющей входного сигнала.

Вычисления оценок спектральных плотностей рекомендуется производить по следующему алгоритму, основанному на быстром преобразовании Фурье (БПФ).

Алгоритм состоит из следующих операций: -вычисление для исходного скалярного сигнала = 1,И, где N - четное, дискретного преобразования Фурье методом БПФ;

- применение спектрального окна Гудмена-Эноксона-Отнеса

3

X (Г (к)) = X (Г (к)) + X а (X (Г (к -1)) + X (Г (к + /)),

г=1

N

к = 0,1,...,--1;

2

где а1 = 0,1817, а2 = -0,1707, а3 = 0,1470 , а крайние точки определяются из свойства симметричности дискретного преобразования Фурье;

- вычисление несглаженных оценок спектральных плотностей

Рис. 1. Управляющий сигнал (РУС по тангажу)

На рис. 1 синим показаны отклонения РУС, зеленым пунктиром выделен весь интервал времени, в течение которого происходил заход на посадку, а красным выделен стационарный участок, на котором целесообразно вычислять спектральные плотности сигнала, поскольку в начале и в конце захода характер управления существенно изменяется. На рис. 2 представлен график спектральной плотности мощности управляющих сигналов (для удобства анализа - в степени

Ях (Г (к)) = ^X (Г (к)) X (Г (к)), к = 0,1,...,- -1

где Т = - ^ - интервал дискретизации исходного

временного ряда, Кс = 0,856 - коэффициент коррекции,

соответствующий выбранному спектральному окну;

- вычисление окончательных оценок спектральных плотностей осреднением по 2Ь +1 частотам

~ 1 ь ~

~х (Г (т)) = —- X ~ (Г (т + 0),

2Ь +1 ¡=-ь

где т = 0,(21 +1), 2(2Ь +1),..., т < кВ, Ь = 3...7.

1 15 2

Freq.Hz; from 0 1 Hz Рис. 2. Спектральная плотность мощности управляющего сигна-ла(квадратный корень)

Произведено усреднение по 7 частотным компонентам. Синим цветом отображён спектр с использованием окна Гудмэна-Эноксона-Отнеса (ГЭО), красным - окна Ханна, зелёным - прямоугольного окна. В легенде, в соответствующих строках указаны интегралы по данным спектрам на всём частотном диапазоне. Общая тенденция - падение оценок спектров мощности с увеличением частоты.

III. Анализ функции когерентности между

УПРАВЛЯЮЩИМИ СИГНАЛАМИ И ОСНОВНЫМИ ПОЛЁТНЫМИ ДАННЫМИ

В настоящем исследовании наилучшие результаты удалось получить на основе частотных функций когерентности, которая характеризует степень линейной взаимосвязи между сигналами.

Частотная функция когерентности двух сигналов выражается через их спектральные плотности следующим образом:

На рис. 3 представлен график когерентности между управляющим воздействием (отклонением ручки управления самолетом по тангажу) и вертикальной перегрузкой, на рис. 4 представлена функция когерентности между отклонением ручки управления самолетом в канале крена и углом крена.

1.5 2 2.5 Freq.Hz

Рис. 3. Функция когерентности между РУС-тангаж и вертикальной перегрузкой

0,12

t ОД

ы

р

H 1Я 0.0В

тз

а

% 0,06

W

а 0 04

1

О и 0,02

Я

4 б г

Номер полетной записи

Рис. 5. Изменение интегрального критерия в зависимости от номера эксперимента в канале тангажа

2

Ргеч.Нг

Рис. 4. Функция когерентности между РУС-крен и креном

В качестве критерия далее использовался интеграл функции когерентности по частоте в диапазоне от нуля до 3 Гц, в котором сосредоточена основная энергия сигнала. График на рис. 5 демонстрирует процесс обучения пилота - интеграл функции когерентности между сигналом управления по тангажу и отклонением от глиссады по вертикали выше при большей натренированности пилота.

Подавляющее количество управляющих воздействий оператор совершал в канале тангажа (процесс «удержания» глиссады), в то время, как в канале крена оператор спорадически компенсировал набегающие ошибки по боковой координате. На рис. 6 представлен график зависимости функции когерентности между вертикальным отклонением от глиссады и управляющим сигналом оператора в продольном канале от СКО отклонения от глиссады по вертикали. Каждая точка на графике соответствует очередному заходу на посадку.

Рис. 6. График зависимости среднего значения функции когерентности между отклонением от глиссады по высоте и управляющим сигналом оператора в продольном канале от СКО отклонения от глиссады по вертикали

За исключением нескольких выпадающих из общей закономерности точек, чем выше средние значения функции когерентности между ошибкой по высоте и управляющим сигналом оператора в продольном канале, тем выше точность пилотирования.

IV. Анализ электроэнцефалограмм в целях оценки

СОСТОЯНИЯ ЧЕЛОВЕКА-ОПЕРАТОРА В ПРОЦЕССЕ ПИЛОТИРОВАНИЯ

Для анализа электроэнцефалограмм(ЭЭГ) человека-оператора были использованы методы спектрального анализа и метод главных компонент. Метод главных компонент позволяет существенно уменьшить размерность базиса из сигналов с датчиков, регистрирующих различные ритмы головного мозга, без потери информативности.

Воспользуемся методом главных компонент для анализа состояния человека-оператора в процессе выполнения пилотажного задания [2, 3]. Для этого выберем 7 равномерно распределенных временных интервалов длительностью 1...2 секунды для эксперимента №1 и 11 равномерно распределенных временных интервалов той же длительности для эксперимента №2. Перейдём в частотную область, вычислив на каждом временном участке спектральные плотности исходных сигналов. В данной работе используется набор из 12 сигналов ЭЭГ, шесть из которых (сигналы № 1 - 6) преимущественно регистрируют тетта-ритмы головного мозга, а оставшиеся шесть (сигналы № 7 - 12) - альфа-ритмы. Для полученных спектральных плотностей вычислим 12 главных

компонент и определим, какую долю информации описывают первые две главные компоненты на каждом временном интервале. Эта доля и будет контролируемым параметром.

Для всех тетта-сигналов имеет место тренд возрастания доли первых двух главных компонент при повышении когерентности между ошибкой по высоте и управляющим сигналом оператора в продольном канале. Рост доли первых двух главных компонент в сигналах, регистрирующих тетта-ритмы головного мозга, можно связать с повышением концентрации внимания оператора, что, в свою очередь, ведёт к меньшим ошибкам при выполнении пилотажной задачи. Ранее было показано, что когерентность между ошибкой по высоте и управляющим сигналом оператора в продольном канале коррелирует с точностью пилотирования. Соответственно, результаты эксперимента показали прямую связь между долей первых двух главных компонент и точностью выполнения полётного задания.

Графики на рис. 7 показывают, что для первых и для вторых компонент имеет место тенденция снижения отношения норм при повышении среднего функции когерентности, откуда следует, что при повышении функциональной активности головного мозга и, как следствие, концентрации внимания оператора при выполнении пилотажного задания, повышается и качество выполнения этого задания.

8_ ü~

0.4 0.5 IntCoherence

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 1пЛСоИегепсе

Рис. 7. Графики зависимости отношения норм первых и вторых главных компонент от среднего значения функции когерентности между ошибкой по высоте и управляющим сигналом оператора в продольном канале

мальному или печальному выражению лица. Склонность к засыпанию, выражающаяся в зевании, классифицируется как удивление или страх. Усталость - торможение, притупление желаний, ощущение оглушенности. Как и страх, усталость призвана останавливать делать что-либо и, если не сменить деятельность, организм оператора перейдет в состояние сна. На рис. 8 и 9 форма зависимости количества эмоций категорий «Печаль» и «Страх» от номера захода на посадку интерпретируется как накопление усталости оператора.

Рис. 8. График зависимости для эмоциональной категории «Печаль». Между заходами 11 и 12 оператор отдыхал

9 10 11 12 13 14 15 16 17 18 19 20 21 22 Номер зпходя

Рис. 9. График зависимости для категории «Страх». Между заходами 11 и 12 оператор отдыхал

Из рис.8 и 9 можно предпололжить, что 30-минутного отдыха в данном случае оказалось достаточно для восстановления исходного состояния оператора. На это указывает сходство двух ветвей графиков, соответствующих сериям посадок от начала эксперимента до отдыха, и после отдыха.

2

1.5

0.5

0.1

0.2

0.3

0.6

0.7

0.8

2

1.5

0.5

V. Контроль психофизиологического состояния

ОПЕРАТОРА ПО ЭМОЦИОНАЛЬНОМУ ВЫРАЖЕНИЮ ЛИЦА И АНАЛИЗУ ХАРАКТЕРИСТИК МОРГАНИЙ

На обученной определению эмоциональных состояний нейронной сети был проведен эксперимент по оценке состояния оператора. В ходе эксперимента обрабатывались видеозаписи лиц 11 операторов во время выполнения пилотажной задачи захода на посадку в ручном режиме пилотирования на авиационном тренажёре [4]. Общая длительность видеозаписей составила примерно 5 часов. Операторы выполняют в течение длительного времени монотонную работу, что соответствует нор-

Важно отметить, что эмоциональный фон у операторов разный. Поэтому при выборе параметров для определения усталости необходим индивидуальный подход. В проводимых экспериментах видно, что если для определения усталости одного оператора используются категории «Печаль» и «Страх», то для определения усталости другого лучшим выбором будет анализ по категории «Сердитое состояние». У всех операторов при увеличении точности пилотирования регистрируется рост числа эмоциональных состояний типа «Печаль(Sad)», что, вероятно, соответствует высокой концентрации внимания (рис. 10)._

1000

¿>сю

5 ВОО —

1 fr 700

а %

1 S son

I "

| Й son

s I

ï a 400 E S

S

100

2 00 100

I •

•«г •

• ж» ж * ж А * А

, * ж'

* ъя О ■ Л я

. * ■ ■ * ■ . ■ " ■

* 1 ■ . ° В ■ ' - в

■ ■ ° * ♦ • ■ F я

о * О ♦ ♦ Ф • *

1 []-?.!> У11-Ч1) (0-40 4(1--.И f.'KO о:i. 'к ]['mi ш ■ > т г 'im. ( i 4.[ гто DtpuD

Рис. 11. Гистограмма, отображающая среднее количество эмоций категории "Печаль" в минуту по полосам СКО отклонения от глиссады по вертикали

Детектирование морганий осуществлялось методом Eye Aspect Ratio (EAR) и с помощью нейросетевой модели. Вследствие восприятия новой информации и сильной концентрации внимания при заходе на посадку частота морганий оператора падает. Но при большей точности пилотирования регистрируется большее число морганий оператора (рис. 12). Объясняется это тем, что оператор пилотирует уверенно, держит ситуацию под контролем.

1 1 К: ! сггклоненютотглисслдыпогертпкгижт.м

Рис. 10. График зависимости количества эмоциональных состояний типа «Печаль» от СКО отклонения от глиссады по вертикали.

Отмеченная закономерность подтверждается также графиком на рис. 11, где представлены средние количества эмоций «Печаль» в минуту для заходов с различными точностями пилотирования. Повышение частоты данной эмоции соответствует уменьшению СКО ошибок пилотирования, то есть повышению точности.

Рис. 12. График зависимости количества морганий от СКО отклонения от глиссады по вертикали

VI. Исследование положения головы оператора

при ЗАХОДАХ НА ПОСАДКУ

В процессе исследования положения головы по заходам в сериях экспериментов был выявлен факт, что при наблюдении пилотами за глиссадными планками на экране правого многофункционального индикатора в кабине тренажера голова смещается по азимуту и углу места. В среднем по азимуту - в пределах 2.5 градуса влево и 3.5 градуса вниз по углу места, что говорит о накоплении усталости оператора в каждом заходе (рис.13, 14 ).

Рис. 13. График зависимости положения головы оператора по углу места от времени

10

4 V

5 У ~ 5

I

и о

= -0,00 58х+ 2 ,7499 |\

у s

Л;

0 3 0 0 9 0 ,0 15

Время, о

Рис. 14. График зависимости положения головы оператора по азимуту от времени

В зависимостях тангенса угла наклона головы пилота от направления вдоль продольной оси самолета по вертикали от СКО отклонения от глиссады по вертикали тренда не наблюдается. В зависимостях среднего отклонения головы пилота от направления вдоль продольной оси самолета по вертикали от СКО отклонения от глиссады по вертикали и горизонтали выраженный ниспадающий тренд(рис. 15, 16).

Рис. 15. График зависимости среднего отклонения головы пилота от направления вдоль продольной оси самолета по вертикали от СКО отклонения от глиссады по вертикали

) К( > Il I kl'llllllllll Il I [. ПИЧ1 1Ы Пи 1'1|1П HI II I.I1H м

Рис. 16. График зависимости среднего отклонения головы пилота от направления вдоль продольной оси самолета по вертикали от СКО отклонения от глиссады по горизонтали

Библиография

[1] V.N. Evdokimenkov, R.V. Kim, M.N. Krasil'shchikov, G.G. Sebry-akov, "The use of the neural network model of pilot control actions for their individually-adapted support," Journal of Computer and Systems Sciences International, vol. 54, no. 4, pp. 609-620, 2015.

[2] B.T. Jap, S. Lal, P. Fischer, E. Bekiaris, "Using EEG spectral components to assess algorithms for detecting fatigue," Expert Systems with Applications, vol. 36, no. 2, part 1, pp. 2352-2359, 2009.

[3] О.Н. Корсун, Е.И. Михайлов, "Методы анализа электроэнцефалограмм в целях оценки состояния человека-оператора в процессе пилотирования," Cloud of Science, т. 5, № 4, с. 649-663, 2018.

[4] O.N. Korsun, V.N. Yurko, E.I. Mikhaylov, "Operator's State Estimation Based on the Face's Video Images Analysis Using Deep Convo-lutional Neural Networks," In 2019 Workshop on Materials and Engineering in Aeronautics. IOP Conf. Series: Materials Science and Engineering, vol. 714, p. 012012, 2020. doi:10.1088/1757-899X/714/1/012012.

VII. ЗАКЛЮЧЕНИЕ

Диагностические признаки состояния оператора, выявленные по разным измерительным каналам (сигналы управления, электроэнцефалограммы, распознавание эмоций, число морганий, отклонения головы), существенно коррелированы между собой. Наблюдается примерно одинаковый вид зависимости диагностических признаков от величины отклонений относительно линии глиссады по вертикали. При напряженной работе операторов сильно снижается средняя частота и длительность морганий. Наблюдается большое количество неполных морганий. Длительное пилотирование в таких режимах способствует сильному утомлению.

Для выявления психофизиологического утомления оператора можно использовать как один из вышеперечисленных каналов, так и несколько каналов одновременно для повышения достоверности результатов.

Отметим также, что почти все рассмотренные методы (кроме ЭЭГ) являются бесконтактными. Бесконтактные методы оценки функционального состояния оператора сложны, но имеют преимущества. Они исключают необходимость крепления всевозможных датчиков к телу оператора и позволяют получать оценку исследуемых показателей без отвлечения оператора от работы.

Assessment of the pilot's functional state based on sensor signals of various nature

V.N. Yurko, O.N. Korsun

Abstract—The article presents the results of researches to identify signs of pilot fatigue. The correlations between the parameters of the psychophysiological state of the pilot and indicators of the quality of piloting were studied. To assess the pilot's state, signals of various natures were used: deviations of the aircraft control stick in the pitch and roll channels, electroencephalograms, estimates of emotional states and analysis of blink parameters from pilot's face video images, determination of the position of the pilot's head. This is the peculiarity of this study, which is aimed at identifying the opportunities of information channels that are traditionally not used to assess the functional state of a pilot. For this reason, generally accepted medical indicators (pulse, blood pressure, temperature, galvanic skin response) were not considered.

Indicators of piloting quality were vertical and horizontal deviations from the glide path line during landing approaches on a aircraft flight simulator. To process experimental data, spectral densities of signals, frequency coherence functions, and the principal component method were used. Deep learning con-volutional neural networks were used to analyze video images. As a result of the research, stable correlations were identified between indicators of piloting accuracy and operator characteristics such as frequency coherence functions of control signals, the ratio of the first and second principal components of electroencephalogram signals, the number of emotional states and the number of blinks. A set of parameters has been determined to estimate operator fatigue (with increasing fatigue, the degree of linearity of the relationship between the control signal (pitch control stick) and vertical overload decreases; when recognizing emotions and blinks, indicators of fatigue are the categories «Sadness», «Fear», «Angry», frequency and duration of blinks).

Keywords— Functional state of operator, convolutional neural networks, emotions, blinking, electroencephalograms.

REFERENCES

[1] V.N. Evdokimenkov, R.V. Kim, M.N. Krasil'shchikov, G.G. Sebry-akov, "The use of the neural network model of pilot control actions for their individually-adapted support," Journal of Computer and Systems Sciences International, vol. 54, no. 4, pp. 609-620, 2015.

[2] B.T. Jap, S. Lal, P. Fischer, E. Bekiaris, "Using EEG spectral components to assess algorithms for detecting fatigue," Expert Systems with Applications, vol. 36, no. 2, part 1, pp. 2352-2359, 2009.

[3] O.N. Korsun, E.I. Mikhaylov, "Methods for analyzing electroencephalograms to assess the state of a human operator during piloting," Cloud of Science, t. 5, № 4, c. 649-663, 2018.

[4] O.N. Korsun, V.N. Yurko, E.I. Mikhaylov, "Operator's State Estimation Based on the Face's Video Images Analysis Using Deep Convolutional Neural Networks," In 2019 Workshop on Materials and Engineering in Aeronautics. IOP Conf. Series: Materials Science and Engineering, vol. 714, p. 012012, 2020. doi:10.1088/1757-899X/714/1/012012.

O.N. Korsun, State Research Institute of Aviation Systems (GosNIIAS), Moscow, head of department, Dr. Sc. (eng), professor (e-mail: mar-motto@rambler.ru).

V.N. Yurko, State Research Institute of Aviation Systems(GosNIIAS), Moscow, engineer (e-mail: Wlad_T90@mail.ru).