CC BY
39
УДК 004.89
DOI: 10.18698/0236-3933-2021-1-120-134
МЕТОДЫ КОНТРОЛЯ
ПСИХОФИЗИОЛОГИЧЕСКОГО СОСТОЯНИЯ ОПЕРАТОРА ПО ЭМОЦИОНАЛЬНОМУ ВЫРАЖЕНИЮ ЛИЦА И АНАЛИЗУ ХАРАКТЕРИСТИК МОРГАНИЙ НА ОСНОВЕ ГЛУБОКИХ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ
О.Н. Корсун В.Н. Юрко
ГосНИИАС, Москва, Российская Федерация
marmotto@rambler.ru wlad_t90@mail.ru
Аннотация
Проанализированы два подхода оценивания состояния оператора по видеоизображению лица с использованием глубоких сверточных нейронных сетей: 1) автоматическое распознавание эмоций; 2) анализ характеристик морганий. Исследование включало в себя оценку изменений функционального состояния оператора во время выполнения пилотажной задачи захода на посадку в ручном режиме пилотирования на авиационном тренажере. Во время пилотирования проводилась запись параметров полета системой объективного контроля и видеозапись лица оператора. Затем с помощью разработанного специального программного обеспечения выполнялось автоматическое распознавание эмоций (морганий) с синхронизацией распознанных эмоций (морганий) и записанных значений параметров полета. В результате выявлены устойчивые зависимости степени утомления оператора от числа распознанных нейросетевой моделью эмоций. Тип эмоции зависит от индивидуальных психологических характеристик каждого оператора. В проводимых экспериментах эти зависимости хорошо прослеживаются при анализе эмоций «Печаль», «Страх», «Гнев». Выявлена корреляция между характеристиками морганий и точностью пилотирования. При большей точности пилотирования регистрировалось большее число морганий оператора, что объясняется уверенным пилотированием при стабильном психофизиологическом состоянии
Ключевые слова
Сверточные нейронные сети, эмоции, моргания, состояние оператора
Поступила 24.06.2020 Принята 27.07.2020 © Автор(ы), 2021
Работа выполнена при поддержке РФФИ (проект РФФИ №18-08-01142)
Введение. В последние годы все большую актуальность приобретает задача оценивания психофизиологического состояния экипажа в полете. Становится очевидным, что недостаточно контролировать только параметры полета, определяющие выполнение полетного задания, без учета нервно-эмоциональных реакций пилотов. Удовлетворительный уровень решения пилотажной задачи может быть достигнут за счет избыточного напряжения, функционирования на пределе психических и психофизиологических возможностей. Надежность деятельности летчика значительно повышается, когда результаты выполнения полетного задания становятся стабильными, а психофизиологические реакции соответствуют сложности выполняемой задачи.
Для проведения исследований по оценке психофизиологического состояния летчика в процессе пилотирования разработано специальное программное обеспечение, основанное на использовании [1]:
- накопленного в последние годы в мировой практике опыта автоматического распознавания эмоций по изображению лица;
- сверточной нейронной сети для определения морганий с последующим анализом характеристик морганий, основными из которых являются длительность фазы моргания и средняя частота.
В процессе разработки программного обеспечения и проводимых исследований найдены и проанализированы несколько научных статей по указанным направлениям. В них описаны области применения методов автоматического распознавания эмоций, рассмотрены алгоритмы автоматического распознавания эмоций на изображении лица человека на основе традиционных методов анализа изображений, сложившихся до широкого внедрения в эту область сверточных нейронных сетей, например метод Виолы — Джонса [2]. Сверточные нейросети для распознавания эмоций применены в [3, 4], при этом основное внимание направлено на исследование различных вариантов архитектуры нейронных сетей. В этих работах авторы нацелены непосредственно на распознавание эмоций при обучении студентов, в детекторах лжи и т. д. Особенно актуально правильно определить состояние человека в случаях, сопряженных с обеспечением безопасности функционирования технических систем. Для этого необходимы системы распознавания усталости человека-оператора, распознавания признаков сонливости. В этом направлении предлагается использовать не только распознавание эмоций, но и, например, характеристики морганий, движения глаз. С использованием нейросетевых технологий в [5] проанализированы движения век и глазного яблока в целях исследования симптомов сонливости. На основе традиционных методов анализа
изображений в [6] рассмотрено выделение характеристик морганий в целях определения степени усталости оператора. Актуальны исследования электроэнцефалографических индикаторов утомления (медленных ритмов (тета и альфа), индивидуального альфа-ритма, индекса утомления) [7]. Для выявления информативных признаков электроэнцефалограмм в [8] предложено использовать метод главных компонент и статистический анализ данных. Для аналогичных целей в [9] применены сверточные нейронные сети.
В перечисленных работах отмечено, что проблема оценивания состояния человека по изображениям лица, характеристикам морганий, электроэнцефалограммам весьма актуальна, но далека от окончательного решения. Одна из особенностей исследований, представленных в настоящей работе, состоит в том, что предпринимается попытка связать параметры сигналов с характеристиками функционирования оператора, например с точностью решения пилотажной задачи. Другая особенность — результаты распознавания эмоций рассмотрены как некоторые индикаторы состояния, коррелированные, например, со степенью усталости. Это перспективный подход, поскольку конечной целью являются не эмоции оператора, которые весьма переменчивы и индивидуально зависимы, а его способность выполнять свои функциональные обязанности.
Представлены результаты анализа экспериментальных данных, полученных на авиационном тренажере при выполнении одного из наиболее ответственных этапов полета — захода на посадку в ручном режиме пилотирования. В перспективе планируется применение разработанных методов для анализа полетных данных.
Описание методов исследования. В настоящее время глубокие свер-точные нейронные сети полагаются наиболее перспективными для задач распознавания образов. Особенность методики глубокого обучения состоит в том, что она поэтапно, послойно конструирует все более сложные представления и учитывает их взаимодействие, вследствие чего каждый слой обновляется в соответствии с потребностями как предыдущего, так и последующих слоев.
Эмоция — особый вид психических процессов средней продолжительности, отражающих субъективное оценочное отношение к существующим или возможным ситуациям и объективному миру. Несмотря на индивидуальные и культурные различия людей, существуют общие, генетически обусловленные парадигмы того, как именно наши эмоции выражаются в виде сокращений совершенно определенных ансамблей мышц лица: лба, бровей, век, щек, губ, подбородка [10].
Этапы автоматического распознавания эмоций:
1) регистрация изображения в реальном времени путем захвата видеопотока соответствующей камеры либо анализ ранее записанных видеофайлов;
2) распознавание контуров лиц на изображении;
3) передача изображений лиц в обученную сверточную нейронную сеть и выдача результатов по классифицируемым эмоциям.
В открытом доступе имеются базы данных большого объема, которые можно использовать для обучения нейронных сетей. Здесь при разработке специального программного обеспечения для обучения глубокой сверточ-ной нейронной сети выбран набор данных FER-2013 [11], который состоит из 35 887 монохромных изображений размером 48 х 48 пикселей с семью типами эмоций (гнев, отвращение, страх, радость, грусть, удивление, нейтральное состояние). Из них тренировочных изображений 28 709, проверочных — 3 589, тестовых — 3 589 изображений. Данные из набора преобразуются в массивы вещественных чисел — значения интенсивностей пикселей пересчитываются из диапазона [0, 255] в диапазон [0, 1].
Для детектирования контуров лиц на изображении выбран каскад Хаара — один из классических способов распознавания классов объектов с высокой скоростью работы [12]. Использован подход на основе сканирующего окна: изображение сканируется окном поиска и для каждой области изображения, над которой проходит окно, рассчитывается признак Хаара. Наличие или отсутствие предмета в окне определяется разницей значений признака и обучаемым порогом. Система детектирования полностью автоматизирована и не требует вмешательства человека, поэтому данный подход работает быстро.
Архитектура сконструированной сверточной нейронной сети с использованием принятой терминологии [13] имеет вид:
[2xConvolution (3х3)] — MaxPooling (2х2)— Dropout (0.5), [2xConvolution (3x3)] — MaxPooling (2x2)— Dropout (0.5), [2xConvolution (3x3)] — MaxPooling (2x2)— Dropout (0.5), [2xConvolution (3x3)] — MaxPooling (2x2)— Dropout (0.5), Dense (512)— Dropout (0.5), Dense (256)— Dropout (0.5), Dense (128)— Dropout (0.5), Dense (7).
Здесь 2xConvolution (3x3) — два последовательных слоя свертки с ядром свертки 3x3 пикселя; MaxPooling (2x2) — слой предвыборки, т. е. выбора максимального значения из соседних в окнах 2x2 пикселя; Dropout (0.5) —
прореживание на этапе обучения, коэффициент прореживания (доля обнуляемых признаков) 50 %; Dense (N) — полносвязный слой с N скрытыми нейронами.
В слоях свертки Convolution использована функция активации ReLU (Rectified Linear Unit). В первый сверточный слой добавлена регуляризация весов для уменьшения сложности сети путем ограничения значений ее весовых коэффициентов. Использована L2-регуляризация — добавляемый в функцию потерь штраф пропорционален квадратам значений весовых коэффициентов. Последний полносвязный слой — слой потерь, возвращающий массив с семью оценками вероятностей распознаваемых эмоциональных состояний [14].
Проверка предложенной структуры на тестовом наборе, содержащем 3589 изображений, показала 62,4 % правильных распознаваний [15].
Основные результаты. На обученной определению эмоциональных состояний нейронной сети проведен эксперимент по оценке состояния оператора. В ходе эксперимента обработаны видеозаписи лиц 11 операторов во время выполнения пилотажной задачи захода на посадку в ручном режиме пилотирования на авиационном тренажере. Длительность видеозаписей составила примерно 5 ч, частота кадров записи 30 Гц.
Общий перечень распознаваемых эмоций и процентная доля каждой эмоции от общего числа распознанных эмоций при выполнении полетного задания приведены в таблице.
Общий перечень распознаваемых эмоций и процентная доля каждой эмоции* от общего числа распознанных эмоций при выполнении полетного задания
Пилот Доля каждой эмоции от общего числа распознанных эмоций, %
Гнев Страх Грусть Удивление Нейтральное состояние
1 2,40 2,1 36 4 56
2 0 0 37,7 0 62,3
3 21 0,2 78,3 0
4 0 0,06 1,8 1,45 96,70
5 0,1 1,37 6,7 3,88 87,90
6 0,02 0,78 1,8 1,62 95,75
7 0 1,53 2,21 8,05 88,20
8 52,86 0 ов доля эм 37,60 0 )сть» и «Отвра 9,54
9 5,28 64,35 30,36
10 0,10 84,94 14,95
11 * Для вс 39,45 ех пилот 47,04 оций «Радо 13,51 щение» составляет 0.
Операторы выполняют в течение длительного времени монотонную работу, что соответствует нейтральному или печальному выражению лица (рис. 1, а, б). Склонность к засыпанию, выражающуюся в зевании, классифицируется как удивление или страх (рис. 1, в, г).
а бег
Рис. 1. Нейтральное отношение (я), печаль (б), классификация зевания как удивление (в) или страх (г)
Психологи дают определение усталости как торможение, притупление желаний, ощущение оглушенности. Как и страх, усталость вызывает нежелание делать что-либо и, если не сменить деятельность, организм оператора перейдет в состояние сна. Форма зависимости числа эмоций «Печаль» и «Страх» от номера захода на посадку интерпретируется на рис. 2 как накопление усталости оператора. В рамках серии заходы выполнялись без перерыва и накапливалась усталость. Между двумя сериями оператор отдыхал. Отдых между сериями (рис. 2, я и в) приводит к восстановлению состояния оператора. После начала второй серии снова накапливается усталость, поэтому процессы на совмещенных зависимостях (рис. 2, б и г) очень похожи.
Следует отметить, что эмоциональный фон у операторов различен, поэтому при выборе параметров для определения усталости необходим индивидуальный подход. Если в проводимых экспериментах для определения усталости одного оператора использовать эмоции «Печаль» и «Страх» (см. рис. 2, я-г), то для определения усталости другого лучшим выбором будет анализ эмоции «Гнев» (рис. 2, д). В таком случае заходы на посадку выполнялись одной серией, без перерывов между заходами.
Кроме того, для исследования усталости оператора проведены следующие эксперименты. Конструировалась глубокая сверточная нейронная сеть с обученной сверточной основой, дообучался последний сверточный слой и полносвязный классификатор [16-18]. Выходной слой состоял из нейронов, соответствующих состояниям оператора: отдохнувшее и уставшее. Данные для обучения — наборы изображений из первой и последней минуты записи лица оператора во время выполнения полетного задания.
5 10 15 20 Номер захода на посадку а
5 10
Номер захода на посадку б
5 10 15 20 Номер захода на посадку в
5 10 15
Номер захода на посадку д
5 10
Номер захода на посадку
г
Рис. 2. Зависимости числа эмоций «Печаль» (а, б), «Страх» (в, г) и «Гнев» (д) от номера захода на посадку 1-22 в, д) и 12-22 (б, г): красные маркеры соответствуют первой серии заходов на посадку с номерами 1-11, синие — второй серии заходов с номерами 12-22
Распознавание записи длительностью 14 мин показало, что до 9 мин 30 с нейронная сеть относила изображения к состоянию «отдохнувшее», после — к состоянию «усталость». Это подтверждает работоспособность методики. Зоны активации классов, т. е. области изображения, по которым они относятся к тому или иному классу [19], показаны на рис. 3.
Для определения фактов морганий разработано специальное программное обеспечение, основанное на применении глубокой сверточной нейронной сети [20, 21]. При рационально выбранном расположении видеокамеры (эксперименты проведены с камерой Logitech C920 HD Pro, частота записи 30 Гц) программное обеспечение способно с высокой точностью определять факт наличия моргания, распознавая состояние
глаз — «глаза открыты» и «глаза закрыты» (рис. 4). Результатом разработанного программного обеспечения является запись состояния глаз оператора в файл с полетными данными для последующего более глубокого анализа.
а б
Рис. 3. Визуализация зон активации классов «отдохнувшее» (а) и «уставшее» состояние (б)
а б
Рис. 4. Демонстрация распознавания нейросетевой моделью состояния глаз оператора (а — «глаза открыты», б — «глаза закрыты») с выводом визуальной
информации на экран
При спокойной работе оператора частота морганий составляла 14-18 морганий в минуту, средняя длительность морганий — 157 мс (рис. 5, а). При напряженной работе оператора — выполнении заходов на посадку на авиационном тренажере — частота морганий уменьшилась до 5-8 морганий в минуту (рис. 5, б), моргания перешли в разряд быстрых (58 мс). Это обусловлено необходимостью непрерывного контроля параметров, отображающихся на приборной панели.
Рис. 5. Графики морганий при спокойной работе (а) и при выполнении захода на посадку (б) (0 — глаза открыты; 1 — глаза закрыты)
Проведенные эксперименты выявили корреляцию между характеристиками морганий и точностью пилотирования [22]. Зависимость числа морганий от среднеквадратического отклонения (СКО) летательного аппарата от линии глиссады по вертикали приведена на рис. 6. При боль-
15 20 25 30 35 45 45 50 СКО летательного аппарата от линии глиссады по вертикали
Рис. 6. Зависимость числа морганий от СКО летательного аппарата от линии глиссады по вертикали (красные маркеры соответствуют первой серии заходов
на посадку с номерами 1-11)
шей точности пилотирования регистрируется большее число морганий оператора. Это объясняется тем, что оператор пилотирует уверенно, держит ситуацию под контролем.
Заключение. Проведенные исследования показали наличие устойчивых зависимостей между степенью утомления оператора и числом распознанных нейронной сетью эмоций, причем тип эмоции зависит от конкретного оператора. Кроме того, выявлена зависимость между точностью пилотирования и характеристиками морганий. Следует отметить, что бесконтактные методы оценки функционального состояния оператора сложны, но имеют преимущества. Они исключают необходимость крепления всевозможных датчиков к телу оператора и позволяют получать оценку исследуемых показателей без отвлечения оператора от работы.
ЛИТЕРАТУРА
[1] Корсун О.Н., Юрко В.Н. Оценивание состояния оператора по изображению лица на основе глубоких сверточных нейронных сетей. Сб. докл. XVI Всерос. науч.-техн. конф. «Научные чтения по авиации». М., ВВИА им. Жуковского, 2019, с. 266-270.
[2] Ахметшин Р.И., Кирпичников А.П., Шлеймович М.П. Распознавание эмоций человека на изображениях. Вестник технологического университета, 2015, т. 18, № 11, с. 160-163.
[3] Mehendale N. Facial emotion recognition using convolutional neural networks (FERC). SN Appl. Sei., 2020, vol. 2, no. 3, art. 446.
DOI: https://doi.org/10.1007/s42452-020-2234-1
[4] González-Lozoya S.M., de la Calleja J., Pellegrin L., et al. Recognition of facial expressions based on CNN features. Multimed. Tools Appl., 2020, vol. 79, no. 19-20, pp. 13987-14007. DOI: https://doi.org/10.1007/s11042-020-08681-4
[5] Sun M., Tsujikawa M., Onishi Y., et al. A neural-network-based investigation of eye-related movements for accurate drowsiness estimation. Proc. IEEE EMBC, 2018, pp. 5207-5210. DOI: https://doi.org/10.1109/EMBC.2018.8513491
[6] Корсун О.Н., Тихомирова Т.А., Михайлов Е.И. Оценка состояния человека-оператора по анализу изображений лица. Вестник компьютерных и информационных технологий, 2019, № 7, с. 10-19.
DOI: https://doi.org/10.14489/vkit.2019.07.pp.010-019
[7] Поликанова И.С., Леонов С.В. Психофизиологические и молекулярно-генетические корреляты утомления. Современная зарубежная психология, 2016, т. 5, № 4, с. 24-35.
[8] Корсун О.Н., Михайлов Е.И. Методы анализа электроэнцефалограмм в целях оценки состояния человека-оператора в процессе пилотирования. Cloud of Science, 2018, т. 5, № 4, с. 649-663.
[9] Lin W., Li C., Sun S. Deep convolutional neural network for emotion recognition using EEG and peripheral physiological signal. In: Zhao Y., Kong X., Taubman D. (eds). Image and Graphics. ICIG 2017. Lecture Notes in Computer Science, vol. 10667. Cham, Springer, 2017, pp. 385-394. DOI: https://doi.org/10.1007/978-3-319-71589-6_33
[10] Ekman P., Friesen W.V. Unmasking the face: a guide to recognizing emotions from facial expressions. ISHK, 2003.
[11] Challenges in representation learning: facial expression recognition challenge. kaggle.com: веб-сайт.
URL: http://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge (дата обращения: 15.12.2020).
[12] Метод Виолы — Джонса (Viola — Jones) как основа для распознавания лиц. habr.com: веб-сайт.
URL: https://habr.com/ru/post/133826 (дата обращения: 15.12.2020).
[13] Zhang K., Zhang Z., Li Z., et al. Joint face detection and alignment using multitask cascaded convolutional networks. IEEE Signal Processing Letters, 2016, vol. 23, no. 10, pp. 1499-1503. DOI: https://doi.org/10.1109/LSP.2016.2603342
[14] Учебники TensorFlow. tensorflow.org: веб-сайт.
URL: https://www.tensorflow.org/tutorials (дата обращения: 15.12.2020).
[15] Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems. Curran Associates, 2012, pp. 1097-1105.
[16] Korsun O.N., Yurko V.N., Mikhaylov E.I. Operator's state estimation based on the face's video images analysis using deep convolutional neural networks. IOP Conf. Ser.: Mater. Sci. Eng., 2020, vol. 714, art. 012012.
DOI: https://doi.org/10.1088/1757-899X/714/1/012012
[17] Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. InICLR, 2015.
[18] Simonyan K., Vedaldi A., Zisserman A. Deep inside convolutional networks: visualising image classification models and saliency maps. arxiv.org: веб-сайт.
URL: https://arxiv.org/pdf/1312.6034.pdf (дата обращения: 15.12.2020).
[19] Selvaraju R.R., Das A., Vedantam R., et al. Grad-CAM: why did you say that? Visual explanations from deep networks via gradient-based localization. arxiv.org: веб-сайт. URL: https://arxiv.org/pdf/1610.02391v1.pdf (дата обращения: 15.12.2020).
[20] Yiu Y.-H., Aboulatta M., Raiser T., et al. DeepVOG: open-source pupil segmentation and gaze estimation in neuroscience using deep learning. J. Neurosci. Methods, 2019, vol. 324, art. 108307. DOI: https://doi.org/10.1016/j.jneumeth.2019.05.016
[21] Ronneberger O., Fischer P., Brox T. U-net: convolutional networks for biomedical image segmentation. arxiv.org: веб-сайт. URL: https://arxiv.org/pdf/1505.04597v1.pdf (дата обращения: 15.12.2020).
[22] Прудников Л.А., Климов Р.С. Потенциальные возможности управления профессиональной подготовкой операторов на основе оценки психофизиологического состояния. Современное образование, 2016, № 2, с. 52-64.
DOI: https://doi.org/10.7256/2409-8736.2016.2.17889
Корсун Олег Николаевич — д-р техн. наук, профессор, начальник лаборатории ГосНИИАС (Российская Федерация, 125319, Москва, ул. Викторенко, д. 7).
Юрко Владимир Николаевич — аспирант, инженер ГосНИИАС (Российская Федерация, 125319, Москва, ул. Викторенко, д. 7).
Просьба ссылаться на эту статью следующим образом:
Корсун О.Н., Юрко В.Н. Методы контроля психофизиологического состояния оператора по эмоциональному выражению лица и анализу характеристик морганий на основе глубоких сверточных нейронных сетей. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2021, № 1 (134), с. 120-134. БОТ: https://doi.org/10.18698/0236-3933-2021-1-120-134
METHODS FOR MONITORING THE PSYCHOPHYSIOLOGICAL STATE OF A HUMAN OPERATOR VIA EMOTIONS REFLECTED IN FACIAL EXPRESSIONS AND ANALYSIS OF BLINKING CHARACTERISTICS USING DEEP CONVOLUTIONAL NEURAL NETWORKS
O.N. Korsun marmotto@rambler.ru
V.N. Yurko wlad_t90@mail.ru
State Research Institute of Aviation Systems, Moscow, Russian Federation
Abstract
We analysed two approaches to estimating the state of a human operator according to video imaging of the face. These approaches, both using deep convo-lutional neural networks, are as follows: 1) automated emotion recognition; 2) analysis of blinking characteristics. The study involved assessing changes in the functional state of a human operator performing a manual landing in a flight simulator. During this process, flight parameters were recorded, and the operator's face was filmed. Then we used our custom software to perform automated recognition of emotions (blinking), synchronising the emotions (blinking) recognised to the flight parameters recorded. As a result, we detected persistent patterns linking the operator fatigue level to the number of emotions recognised by the neural network. The type of emotion depends on unique psychological characteristics of the operator. Our experiments allow for easily tracing these links when analysing the emotions of "Sadness",
Keywords
Convolutional neural networks, emotions, blinking, state of the operator
"Fear" and "Anger". The study revealed a correlation between blinking properties and piloting accuracy.
A higher piloting accuracy meant more blinks record- Received 24.06.2020
ed, which may be explained by a stable psychophysio- Accepted 27.07.2020
logical state leading to confident piloting © Author(s), 2021
The study was supported by Russian Foundation for Basic Research (project RFBR no. 18-08-01142)
REFERENCES
[1] Korsun O.N., Yurko V.N. [Assessment of operator state by image of his face based on deep convolution networks]. Sb. dok. XVI Vseros. nauch.-tekh. konf. "Nauchnye chteniya po aviatsii" [Proc. XVI Rus. Sc.-Tech. Conf. "Scientific Readings on Aviation"]. Moscow, VVIA im. Zhukovskogo Publ., 2019, pp. 266-270 (in Russ.).
[2] Akhmetshin R.I., Kirpichnikov A.P., Shleymovich M.P. Recognizing human emotions from images. Vestnik tekhnologicheskogo universiteta [Bulletin of the Technological University], 2015, vol. 18, no. 11, pp. 160-163 (in Russ.).
[3] Mehendale N. Facial emotion recognition using convolutional neural networks (FERC). SN Appl. Sci., 2020, vol. 2, no. 3, art. 446.
DOI: https://doi.org/10.1007/s42452-020-2234-1
[4] Gonzalez-Lozoya S.M., de la Calleja J., Pellegrin L., et al. Recognition of facial expressions based on CNN features. Multimed. Tools Appl., 2020, vol. 79, no. 19-20, pp. 13987-14007. DOI: https://doi.org/10.1007/s11042-020-08681-4
[5] Sun M., Tsujikawa M., Onishi Y., et al. A neural-network-based investigation of eye-related movements for accurate drowsiness estimation. Proc. IEEE EMBC, 2018, pp. 5207-5210. DOI: https://doi.org/10.1109/EMBC.2018.8513491
[6] Korsun O.N., Tikhomirova T.A., Mikhaylov E.I. Visual-based monitoring of human operator flight tasks performance. Vestnik komp'yuternykh i informatsionnykh tekhno-logiy [Herald of Computer and Information Technologies], 2019, no. 7, pp. 1019 (in Russ.). DOI: https://doi.org/10.14489/vkit.2019.07.pp.010-019
[7] Polikanova I.S., Leonov S.V. Psychophysiological and molecular genetic correlates of fatigue. Sovremennaya zarubezhnaya psikhologiya [Modern Foreign Psychology], 2016, vol. 5, no. 4, pp. 24-35 (in Russ.).
[8] Korsun O.N., Mikhaylov E.I. Methods of electroencephalogram analysis for the human operator's condition estimation during the piloting. Cloud of Science, 2018, vol. 5, no. 4, pp. 649-663 (in Russ.).
[9] Lin W., Li C., Sun S. Deep convolutional neural network for emotion recognition using EEG and peripheral physiological signal. In: Zhao Y., Kong X., Taubman D. (eds). Image and Graphics. ICIG 2017. Lecture Notes in Computer Science, vol. 10667. Cham, Springer, 2017, pp. 385-394. DOI: https://doi.org/10.1007/978-3-319-71589-6_33
[10] Ekman P., Friesen W.V. Unmasking the face: a guide to recognizing emotions from facial expressions. ISHK, 2003.
[11] Challenges in representation learning: facial expression recognition challenge. kaggle.com: website. Available at: http://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge (accessed: 15.12.2020).
[12] Metod Violy — Dzhonsa (Viola — Jones) kak osnova dlya raspoznavaniya lits [Viola — Jones method as a basis for face recognition]. habr.com: website (in Russ.). Available at: https://habr.com/ru/post/133826 (accessed: 15.12.2020).
[13] Zhang K., Zhang Z., Li Z., et al. Joint face detection and alignment using multitask cascaded convolutional networks. IEEE Signal Processing Letters, 2016, vol. 23, no. 10, pp. 1499-1503. DOI: https://doi.org/10.1109/LSP.2016.2603342
[14] Uchebniki TensorFlow [TensorFlow textbooks]. tensorflow.org: website (in Russ.). Available at: https://www.tensorflow.org/tutorials (accessed: 15.12.2020).
[15] Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems. Curran Associates, 2012, pp. 1097-1105.
[16] Korsun O.N., Yurko V.N., Mikhaylov E.I. Operator's state estimation based on the face's video images analysis using deep convolutional neural networks. IOP Conf. Ser.: Mater. Sci. Eng., 2020, vol. 714, art. 012012.
DOI: https://doi.org/10.1088/1757-899X/714/1/012012
[17] Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. InICLR, 2015.
[18] Simonyan K., Vedaldi A., Zisserman A. Deep inside convolutional networks: visualising image classification models and saliency maps. arxiv.org: website. Available at: https://arxiv.org/pdf/1312.6034.pdf (accessed: 15.12.2020).
[19] Selvaraju R.R., Das A., Vedantam R., et al. Grad-CAM: why did you say that? Visual explanations from deep networks via gradient-based localization. arxiv.org: website. Available at: https://arxiv.org/pdf/1610.02391v1.pdf (accessed: 15.12.2020).
[20] Yiu Y.-H., Aboulatta M., Raiser T., et al. DeepVOG: open-source pupil segmentation and gaze estimation in neuroscience using deep learning. J. Neurosci. Methods, 2019, vol. 324, art. 108307. DOI: https://doi.org/10.1016/j.jneumeth.2019.05.016
[21] Ronneberger O., Fischer P., Brox T. U-net: convolutional networks for biomedical image segmentation. arxiv.org: website.
Available at: https://arxiv.org/pdf/1505.04597v1.pdf (accessed: 15.12.2020).
[22] Prudnikov L.A., Klimov R.S. Potential ability to manage professional operator training based on the assessment of their psychophysiological state. Sovremennoe obrazovanie [Modern Education], 2016, no. 2, pp. 52-64 (in Russ.).
DOI: https://doi.org/10.7256/2409-8736.2016.2.17889
Korsun O.N. — Dr. Sc. (Eng.), Professor, Head of the Laboratory, State Research Institute of Aviation Systems (Viktorenko ul. 7, Moscow, 125319 Russian Federation).
Yurko V.N. — Post-Graduate, Software Engineer, State Research Institute of Aviation Systems (Viktorenko ul. 7, Moscow, 125319 Russian Federation).
Please cite this article in English as:
Korsun O.N., Yurko V.N. Methods for monitoring the psychophysiological state of a human operator via emotions reflected in facial expressions and analysis of blinking characteristics using deep convolutional neural networks. Herald of the Bauman Moscow State Technical University, Series Instrument Engineering, 2021, no. 1 (134), pp. 120-134 (in Russ.). DOI: https://doi.org/10.18698/0236-3933-2021-1-120-134
В Издательстве МГТУ им. Н.Э. Баумана вышло в свет учебное пособие авторов Е.Л. Микрина, М.В. Михайлова
«Навигация космических аппаратов по измерениям от глобальных спутниковых навигационных систем»
Рассмотрены вопросы проектирования и разработки сложных многофункциональных систем космической навигации на базе глобальных спутниковых навигационных систем для широкого класса низкоорбитальных, высокоорбитальных и высокоэллиптических космических аппаратов, а также круг вопросов, связанных с созданием бортовых средств навигации для автономного определения орбиты космического аппарата.
По вопросам приобретения обращайтесь:
105005, Москва, 2-я Бауманская ул., д. 5, стр. 1
+7 (499) 263-60-45
press@bmstu.ru
Ьйрв^/ЬпкШ.ргевв
