CC BY
37
ВЕСТНИК ЮГОРСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
_2021 г. Выпуск 3 (62). С. 68-75_
DOI: 10.17816/byusu20210368-75 УДК 621.397.424
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта 18-47-860018 р_а.
О. Л. Исаева, Р. Р. Ключникова
МЕТОД ОПРЕДЕЛЕНИЯ СТРЕССОВОГО СОСТОЯНИЯ ЧЕЛОВЕКА ДЛЯ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ
Работа посвящена разработке методики выявления напряженного состояния (стресса) с помощью видеокамеры. Проводились эксперименты по определению напряженного состояния двумя методами: измерение кожно-гальванической реакции с помощью «Активацио-метр-6» и методом пупиллографии. Сравнительный анализ пупиллограмм и графиков кож-но-гальванической реакции (КГР) показал, что результаты измерений двумя методами согласуются при условии наличия эмоции: корреляция p=0,88 при наличии ответной реакции на тест-объект и ее уменьшение при снижении реакции. В сочетании с другими методами (айтрекинг, виброизображение), возможно проводить дистанционно диагностику напряженного состояния, что позволит предотвратить агрессивное поведение людей, суициды и др.
Ключевые слова: напряженное состояние, пупиллография, кожно-гальваническая реакция, активациометр, тест-объекты.
O. L. Isaeva, R. R. Klyuchnikova
METHOD FOR DETECTING HUMAN STRESS STATE FOR VIDEO SURVEILLANCE SYSTEMS
The work is devoted to the development of a technique for identifying a stressed state (stress) using a video camera. Experiments were carried out to determine the stress state by two methods: measurement of galvanic skin response using the "Activatiometer-6" and by the method of pupillog-raphy. Comparative analysis of pupillograms and graphs of galvanic skin response (GSR) showed that the results of measurements by the two methods are consistent under the condition of the presence of emotion: correlation p=0.88 in the presence of a response to the test object and its decrease with a decrease in the response. In combination with other methods (eye tracking, vibraimage), it is possible to carry out remote diagnostics of a stress state, which will prevent aggressive behavior of people, suicides, etc.
Keywords: stress state, pupillography, galvanic skin reaction, activationometer, test objects.
Введение
В связи с участившимися проявлениями агрессии и террористической угрозой, проблема объективной прогнозирования поведения человека, связанного с оценкой его психологического состояния человека, относится к числу наиболее актуальных. Напряженное состояние понимается как совокупность деятельностных состояний организма, характеризующихся повышением уровня функционирования систем по сравнению с состоянием покоя [1]. Чтобы напряженное состояние не приняло крайние формы, необходима своевременная диагностика.
Для диагностики напряженного состояния используется ряд физиологических, психофизиологических и биохимических показателей. Например, Алпатов А. В. и др. используют метод флуктуационного анализа ЭЭГ в задачах контроля напряженных состояний человека-
оператора [2]. Юматов Е. А. и др. [3] разработали метод выявления напряжения/стресса, основанного на регистрации вегетативных показателей человека и на расчете кросскорреляци-онных коэффициентов. Также разработано специальное портативное устройство. Однако при использовании данного метода нельзя определить причину напряженного состояния, возможно определить только его величину. Чо и др. предложили перспективный подход к распознаванию напряженного состояния/стресса с помощью тепловизионной камеры [4].
Также идентификация психоэмоционального состояния человека возможна по мимике, анализу звуковых волн [5], виброизображению [6]. Однако определение эмоционального состояния по мимике может быть недостоверным, поскольку человек может подделать «нужное» выражение лица. Анализ звуковых волн не будет работать, если человек молчит. Идентификация по виброизображению не регистрирует малые изменения в психофизическом состоянии. Для дистанционной диагностики психологического состояния искусственным интеллектом из вышеперечисленных подходит только наблюдение за мимикой, анализ звуковых волн и виброизображение. Таким образом, остается актуальным совершенствование дистанционного метода определения напряженного состояния. При этом если научиться выявлять напряженное/стрессовое состояние по изменениям размеров зрачков, то станет возможным прогнозировать поведение людей.
Цель работы - разработать методику выявления напряженного состояния человека системами видеонаблюдения.
Задачи:
1. Провести эксперименты по выявлению напряженного состояния двумя методами: с помощью пупиллографического модуля и регистрации изменений КГР.
2. Сравнить полученные результаты, проверить наличие корреляции между изменением размеров зрачков и КГР.
Методика выявления напряженного состояния
Техника проведения эксперимента
Измерение психоэмоционального состояния проводили с помощью активациометра, регистрирующего кожно-гальваническоую реакцию (КГР). Использовалась стандартная методика [7].
Рисунок 1 - Процедура диагностики на приборе модели «АЦ-6»
После данной процедуры с помощью оптоэлектронной системы (рис. 2) производится видеосъемка реакции зрачка.
Рисунок 2 - Пупиллографический модуль регистрации изменений размеров зрачка
Пупиллографический модуль состоит из видеокамеры и специального шлема. Использовалась цифровая видеокамера ZWO ASI 120MC-S со скоростью видеосъемки 30 кадр/с на основе цветной матрицы AR0130CS с размерами пикселя 3,75 x 3,75 мкм и рабочей областью 4,8 х 3,6 мм. Разрядность АЦП составляет 12 бит (4096 уровней). Матрица камеры защищена встроенным фильтром, который отсекает инфракрасную часть спектра.
Процедура видеосъемки оптоэлектронной системой начинается с того, что испытуемый садится на стул, на него надевается специальный шлем, создающий жесткую координатную связь головы и видеокамеры. Затем испытуемый смотрит на экран телевизора (расположен на стене), с которого демонстрируется стимульный материал. При этом расстояние от стула до стены составляет не менее двух метров. Так как все испытуемые имеют разные физиологические особенности, необходимо корректировать угол наклона видеокамеры в соответствии с каждым человеком. Процедура видеосъёмки зрачка длится не более 10 минут.
Испытуемым было предложено посмотреть презентацию, состоящую из 13 калибровочных слайдов и 11 стимульных материалов (изображений). На последнем слайде презентации было представлено фото молодого человека. Данный молодой человек до проведения эксперимента (за несколько дней или часов) заходил во время учебного процесса в кабинет к студентам (преподаватель в это время отсутствовал в кабинете), с целью исправить оценку в журнале преподавателя (данное действие было заранее согласовано с преподавателем).
Эксперимент проводили с согласия участников. Всего приняло участие 50 человек в возрасте от 17 до 35 лет. Присутствовали представители мужского и женского пола, представители разных национальностей. Все испытуемые не имели болезней глаз или же зрение было скорректировано (очки, линзы).
Обработка и анализ полученных данных
Проблема точного выделения зрачка связана с оконтуриванием. Во многих случаях очень важно выделить зрачок, отследить его размеры и трек. Для оконтуривания зрачков существуют различные методы. Можно назвать морфологическое выделение круга, проекции яркости или ее градиента, построение оптимального контура. Мы для препарирования изображений, обработки и оконтуривания зрачков используем программу FiJi. Процесс обработки представлен на рис. 3.
Рисунок 3 - Процесс оконтуривания зрачка
Визуализация результатов была проведена в программе Оп§тЬаЬ20.
Сравнение результатов, полученных двумя методами
На всех участников эксперимента воздействовали одинаковым визуально-информационным стимулом. Участники эксперимента были поделены на две категории. Люди из первой категории присутствовали в кабинете и наблюдали за тем, как молодой человек пытается исправить оценку в журнале преподавателя. Люди из второй категории (контрольная группа) не присутствовали на паре, то есть они ничего не видели. Таких студентов было 5. Мы предположили, так как студенты скрывали от преподавателя факт попытки внесения исправлений в журнал, то они должны были находиться в напряженном состоянии. Напряженными считаются моменты, наполненные стресс-факторами, когда оказываются важными последствия очередности событий [1].
Подтверждением того, что человек находится в напряженном состоянии, является превышение ситуативного показателя над индивидуально-типологическим сверх нормы. В отличие от индивидуально-типологического показателя психического состояния ситуативный показатель отражает психическое состояние человека в конкретной ситуации. На рис. 4 отмечены два уровня психоэмоционального состояния, соответствующие стандартизированным показателям по диагностической шкале психоэмоциональных состояний [7]: красная линия - уровень «чрезмерно», желтая линия - уровень «выше среднего».
Рисунок 4 - Статистика измерений кожно-гальванической реакции
Однако студенты могли испытывать волнение из-за самой процедуры измерения из-за чего показатели их психоэмоционального состояния могли находится на одном из этих уровней. Поэтому необходимо измерить величину воздействия именно стимульного материала (фото моло-
дого человека, который пытался внести изменения в журнал преподавателя) на испытуемого. В связи с этим измерения ситуативного показателя психического состояния проводили до и после воздействия стимульного материала. Для дополнительного подтверждения результатов после проведения эксперимента участникам задавался вопрос: «Встречали ли Вы когда-нибудь этого человека?». При этом испытуемый прижимал пластинчатые электроды прибора «Активацио-метр», что позволяло измерять КГР непосредственно в ходе осмысления заданного вопроса и спустя несколько секунд после него. Отсутствие реакции должно означать, что испытуемый говорит правду; в то время как наличие реакции означает, что он утаивает информацию.
Общее эмоциональное состояние всех участников эксперимента можно оценить по усредненному значению индивидуальных ситуативных показателей испытуемых. Проверка гипотезы, что значение ситуативного показателя после воздействия стимульного материала превышает значение ситуативного показателя до воздействия стимульного материала, производилась с помощью сравнительного анализа результатов измерений. Сравнительный анализ проведенных измерений до (1) и после (2) воздействия стимулов представлен в таблице 1.
Таблица 1 - Сравнение средних значений ситуативных показателей
Описательная статистика
УЛЯ N Среднее Среднеквадратичное отклонение Дисперсия Минимум Максимум
24.4 (1) 43 19,9814 8,5131 72,4735 3,8 43,
22 (2) 43 16,8233 7,016 49,2237 3,2 33,4
Отчет о средних значениях ситуативных показателей
УЛЯ Среднее 99.9 % ЬСЬ 99.9 % иСЬ
24.4 (1) 19,9814 15,3885 24,5742
22 (2) 16,8233 13,0381 20,6084
Средняя разница (1-2) 3,1581 0,5552 5,7611
Парный двухвыборочный 1-тест
Предполагаемая средняя разница 0,
Средняя разница 3,1581
Дисперсия 60,8486
Пирсон Я 0,8239
Статистика теста 4,2924
Степени свободы 42
Н1: Ми1 - Ми2 Ф 0 / Не равно (двусто] ронний)
\ критическое значение (0,1 %) 3,5377 р-значение 0,0001 Н1 (0.1 %) Принято
Н1: Ми1 - Ми2 <0 / меньше (нижний хвост)
\ критическое значение (0,1 %) -3,296 р-значение 0,9999 Н1 (0.1 %) Отклонено
Н1: Ми1 - Ми2> 0 / Больше чем (верхний хвост)
\ критическое значение (0,1 %) 3,296 р-значение 5,0954Е-5 Н1 (0.1 %) Принято
Оказалось, что среднее значение ситуативного показателя уменьшилось. Логично предположить, что у большинства испытуемых напряженное состояние сверх нормы было обусловлено процедурой измерения, а не воздействием стимульного материала.
Однако у 15 % испытуемых ситуативный показатель (напряженное состояние) увеличился. Именно на этих студентов стимульный материал подействовал.
В качестве примера на рис. 5 представлены пупиллограммы двух студентов. Были взяты данные именно этих студентов, поскольку у одного из них присутствовала явная эмоциональная реакция, а у другого она была слабой.
0.0 8.2 16.4 24.6 32.8 41.0 49.2 57.4 65.6 73.8 82.0 90.2
Типе, б а)
3.4 5.1 6.8 8.5 10.2 11.9 13.6 15.3 17.0 18.7 20.4 22.1
Тгте, з
б)
Рисунок 5 - а) Пупиллограмма и КГР с сильным эмоциональным откликом; б) Пупиллограмма и КГР со слабым эмоциональным откликом
Значения напряженного состояния представлены в таблице 2.
Таблица 2 - Показатели напряженного состояния для студентов № 1 и № 2
до воздействия стимулов
Д о воздействия стимулов
№1 14 13 12 13 14 13 12 11 12 12
№2 22 22 24 18 18 18 18 18 17 16
После воздействия стимулов
№1 16 16 16 14 14 15 14 15 14 15
№2 8 8 8 8 8 8 8 8 8 8
Напряженное состояние студента № 1 (рис. 4а) увеличивалось в процессе воздействия стимулов (в среднем с 12 до 15). Устный опрос подтвердил, что студент № 1 узнал на фото человека, совершающего попытку исправить оценку. Кроме того, он указал слайды, просмотр которых вызвал у него эмоциональный отклик.
Напряженное состояние студента № 2 (рис. 4б) не увеличивалось, а уменьшалось (в среднем с 19 до 8). В процессе опроса студент № 2 сказал, что не испытывал никаких эмоций, человека на фото никогда не видел. В его пупиллограмме (рис. 4б) изменение размеров зрачковой реакции не выходит за пределы серой зоны.
Важным шагом является проверка наличия корреляционной связи между напряженным состоянием, измеряемым КГР и напряженным состоянием, измеряемым методом пупилло-графии. После корреляционного анализа, мы получили, что между изменением размеров зрачка и кожно-гальванической реакцией существует значительная корреляция (р=0,88). Полученные результаты позволяют связать кожно-гальваническую реакцию и реакцию зрачков в ответ на стимульный материал. При этом корреляция между размерами зрачка и КГР сильно снижается, если стимульный материал не вызывает никакого отклика (таблица 3).
Таблица 3 - г-Спирмена
УЛЯ У8. УЛЯ N ЯЬо Ь р-значение
Л(8/8тефтах уб.| Лг 28 -0.2262 -1.1839 0.2472
Л^тефтах У8. |А КГР 29 -0.1636 -0.8617 0.3965
Лг У8.| Л КГР 28 -0.0474 -0.2422 0.8105
Таким образом, если эмоциональная реакция отсутствует, то КГР не коррелирует с изменением размеров зрачков. Однако если эмоциональный отклик будет, то напряженное состояние будет выявлено и посредство КГР и посредством пупиллографии.
Основные выводы
Проведены эксперименты по определению напряженного состояния двумя методами: измерение кожно-гальванической реакции с помощью «Активациометр-6» и измерение методом пупиллографии. Полученные результаты сравнивались:
- Кожно-гальваническая реакция и изменение размеров зрачков коррелирует (р=0,88), при условии наличия эмоции.
Разность измерений на приборе «Активациометр-6» до и после воздействия стимулов, является показателем напряженного состояния. Результаты, полученные пупиллографиче-ским методом, согласуются с результатами измерений КГР:
- Пупиллограммы людей, уровень психоэмоционального состояния которых после воздействия стимулов увеличился, содержали эмоционально окрашенные участки;
- В пупиллограммцах людей из контрольной группы увеличения амплитуды за пределы калибровочной зоны отсутствовало. То есть напряженное состояние не регистрировалось ни пуплографическим модулем, ни «Активациометром-6».
Таким образом, пупиллограммы могут стать бесконтактным средством измерения напряженного состояния. Так как КГР и размер зрачков коррелируют, то зрачковую реакцию можно использовать в системах безопасности, в которых наблюдение должно быть ненавязчивым (скрытым).
Литература
1. Increasing the noise immunity of optical-electronic systems based on video cameras with an optical converter / M. P. Boronenko, P. Yu. Gulyaev, A. E. Seregin, K. G. Poluhina. -DOI: 10.1088/1742-6596/643/1/012028 // Journal of Physics: Conference Series. - 2015. - Vol. 643. - P. 012028.
2. Метод флуктуационного анализа ЭЭГ в задачах контроля напряженных состояний человека-оператора / А. В. Алпатов, С. П. Вихров, Р. А. Зорин, М. М. Лапкин. - Текст : непосредственный // Биотехносфера. - 2013. - № 2 (26). - C. 52-58.
3. Патент № 2073484 Российская Федерация, МПК А61В 5/02 (2006.01), А61В 5/04 (2006.01) Способ определения эмоционального стресса и устройство для его осуществления : № 93027568/14 : заявл. 1993.05.17 : опубл. 1997.02.20 / Юматов Е. А., Судаков К. В., Тараканов О. П. - 16 с. - Текст : непосредственный.
4. Cho, Y. DeepBreath: Deep learning of breathing patterns for automatic stress recognition using low-cost thermal imaging in unconstrained settings / Y. Cho, N. Bianchi-Berthouze, S. J. Julier. - DOI: 10.1109/ACII.2017.8273639 // Seventh International Conference on Affective Computing and Intelligent Interaction (ACII). - San Antonio, 2017. - P. 456-463.
5. Kalyan, V. P. Choice of solutions for recognizing emotions by speech / V. P. Kalyan // Machine Learning and Data Analysis. - 2016. - № 2 (4). - P. 454-470.
6. Нгуен, Д. К. Обзор методов оценки психоэмоционального состояния человека / Д. К. Нгуен, М. М. Южаков. - Текст : непосредственный // Информационно-измерительная техника и технологии : материалы VI научно-практической конференции, Томск, 27-30 мая 2015 г. - Томск : Издательство ТПУ, 2015. - С. 109-112.
7. Цагарелли, Ю. А. Системная диагностика человека и развитие психических функций / Ю. А. Цагарелли. - Казань : Познание. - 2009. - 492 с. - Текст : непосредственный.
8. Бороненко, М. П. Телевизионная измерительная система наносекундного разрешения / М. П. Бороненко, П. Ю. Гуляев. - Текст : непосредственный // Доклады Томского государственного университета систем управления и радиоэлектроники. - 2014. - № 1 (31). - С. 60-64.
9. Григорьевская, А. А. Компьютерный эксперимент верификации инвариантных свойств Trace- критерия спиновой неустойчивости на основе моделирования дифференциальных хронограмм движения / А. А. Григорьевская // Математика : материалы 59-й Международной научной студенческой конференции. - Новосибирск, 2021. - С. 94-95.
