CC BY
83
среды с рабочим органом уплотнителя, позволяет предсказать существенные для наиболее эффективного накопления пластической деформации параметры динамического поверхностного воздействия по заданным исходным физическим характеристикам слоя среды.
Выявленные в результате численного эксперимента закономерности, представленные в виде таблиц и графических зависимостей, могут быть использованы для разработки методик энергоэффективного использования уплотняющих дорожных машин и проектирования их рабочих органов.
Список литературы
1. Murthy V. N. S. Geotechnical engineering. Series: Civil and Environmental Engineering. London, CRC Press, 2002. 1056 p.
2. Hong Z.; Yu S. B.; Fei W. P.; Yao S. The technique of paralleling motivation with impact and vibration for impact roller // 2006 International Technology and Innovation Conference (ITIC 2006). P. 676-680. DOI: 10.1049/cp:20060845
3. Townsend F. C.; Anderson B. A Compendium of Ground Modification Techniques // Research Report BC-354. UF Contract. №. 4910-4504-887. Florida Department of Transportation (FDOT), 2004. P. 16-60.
4. Hanbing Liu; Jing Wang; Weichao He; Jingke He. Study on shear strength of compacted subgrade soils by test and numerical simulation // World Automation Congress 2012 (Puerto Vallarta, Mexico, Mexico). P. 1.
5. Козлов В. В. Лагранжева механика и сухое трение // Нелинейная Динамика. 2010. Т. 6, № 4. С. 855-868.
D0I:10.20537/nd1004009.
6. Михеев В. В., Савельев С. В. Исследование влияния деформации адаптивного рабочего оборудования дорожного катка на процесс деформирования уплотняемого грунта // Строительные и дорожные машины. 2013. №
7. С. 45-51.
7. Hanbing Liu; Jing Wang; Weichao He; Jingke He. Study on shear strength of compacted subgrade soils by test and numerical simulation // World Automation Congress 2012. P. 1-4.
8. Rouveure R.; Bacconnet C.; Chanet M.; Monod M.-O.. Simulation of realistic soils for 3-D computational models // 2003 IEEE International Geoscience and Remote Sensing Symposium (IGARSS-2003) Proceedings. Vol. 4. P. 29002902. DOI: 10.1109/IGARSS.2003.1294625.
9. Elaoud A.; Chehaibi S.; Abrougui K. Simulating the effects of the passage of tractors on agricultural land // 2013 5th International Conference on Modeling, Simulation and Applied Optimization (ICMSAO). P. 1 -6. DOI: 10.1109/ICMSAO.2013.6552661.
10. Hong Z.; Yu S.B.; Fei W.P.; S. Yao The technique of paralleling motivation with impact and vibration for impact roller // 2006 International Technology and Innovation Conference (ITIC 2006). P. 676-680. DOI: 10.1049/cp:20060845.
11. Jun Li; Yan Li; Zhili Zhou; Fengkui Cui. Study on continuous detection of vibro-roller compactness // 2009 International Conference on Mechatronics and Automation. P. 2637-2641. DOI: 10.1109/ICMA.2009.5246709.
12. Forssblad L. Vibratory Compaction in the Construction of Roads, Airfields, Dams, and Other Projects // Research Report. № 8222, Dynapac, S-171, №. 22, Solna, Sweden, 1977.
13. Massarsch K. R.; Fellenius B. H. Vibratory compaction of coarse-grained soils // Canadian Geotechnical Journal. 2002. № 39(3). P. 695-709.
14. Peihui Shen. Mathematic modeling and characteristic analysis for the intelligent compactor // 2011 IEEE International Conference on Mechatronics and Automation. P. 2249-2253. DOI: 10.1109/ICMA.2011.5986289.
15. Mooney M. A., Rinehart R. V., Facas N. W., Musimbi O. M., White D. J., Vennapusa P.K.R. // 2010 Intelligent Soil Compaction Systems. NCHRP REPORT 67 6. Washington, D.C. 2010.
УДК 004.932
РАСПОЗНАВАНИЕ ПСИХОФИЗИОЛОГИЧЕСКОГО СОСТОЯНИЯ ЧЕЛОВЕКА НА ОСНОВЕ АНАЛИЗА ТЕРМОГРАММ ЛИЦА И ШЕИ
А. Е. Сулавко, С. С. Жумажанова
Омский государственный технический университет, г. Омск, Россия
DOI: 10.25206/2310-9793-2017-5-4-143-152
Аннотация - Предложена методика вычисления признаков на термограммах лица и шеи, характеризующих субъектов и их следующие психофизиологические состояния: нормальное (спокойное), сонное и состояние алкогольного опьянения. Предложен метод субъект-зависимого распознавания данных состо-
яний (с необходимостью создания эталонов состояний каждого человека) с количеством ошибок 1,5 % и субъект-независимого распознавания состояний (создавать эталоны не требуется) с количеством ошибок 24,2 %.
Ключевые слова: температурные параметры лица, термограммы, метод последовательного применения формулы гипотез Байеса, асимметрия лица, температура сонной артерии.
I. Введение
С развитием информационных технологий и повышением степени автоматизации процессов управления обостряется проблема взаимодействия человека-оператора с компьютерными и информационно -телекоммуникационными системами. Во многих сферах человеческой деятельности имеется тенденция роста доли ошибок, совершаемых человеком на фоне повышения надежности машин и усиления роли «человеческого фактора». Оператор является главным звеном системы «человек-машина», т.к. он ставит задачи, контролирует процесс функционирования и анализирует результат работы машин. Поэтому контроль психического состояния оператора является важной задачей. Выявить психические патологии потенциального работника-оператора (соискателя работы) возможно на медицинском осмотре. Сложней дело обстоит с определением временных изменений в психоэмоциональной сфере субъекта, вызванных воздействием психоактивных веществ и хроническими формами переутомления. Работа в состоянии переутомления или алкогольного опьянения вызывает резкое повышение вероятности появления ошибок, связанных с «человеческим фактором». Сотрудник неадекватно оценивает свои возможности, снижается его уровень концентрации внимания, происходит ухудшение периферийного поля зрения и искажение восприятия действительности. Национальным советом по безопасности на транспорте (США) расследовано 182 инцидента, произошедших с 2001 по 2012 год, в результате усталость назвали их причиной в 20 % случаев [1]. Ежегодно в мире от техногенных аварий погибает до 200 тыс. человек и около 120 миллионов получают травмы. Основной причиной считается «человеческий фактор». Ошибки оператора нередко вызваны опьянением.
Существующие методики определения состояния являются либо контактными, либо не позволяют провести проверку скрыто без активного вовлечения человека в эту процедуру. Это обстоятельство существенно ограничивает возможности и сферу применения данных методик.
Настоящее исследование посвящено разработке метода распознавания психофизиологического состояния оператора по термографическим изображениям (термограммам) лица и шеи.
II. Понятие состояния человека
Имеется несколько трактовок понятия «состояние человека» [2], в настоящей работе интерес представляют следующие:
1. Функциональное состояние (ФС), которое характеризует эффективность деятельности или поведения человека и возможность выполнить конкретную работу [2]. Диагностика ФС выполняется на основании результатов измерения психофизиологической информации, а также информации о качестве деятельности субъекта. Данный термин часто употребляется в контексте рассмотрения эргатических систем и когда речь идет о производительности труда. ФС может отражать разные уровни функционирования человека (в зависимости от контекста): физиологический, психологический, психофизиологический [3].
2. Психофизиологическое состояние (ПФС) - совокупность свойств человека, отражающих биологические аспекты проявления адаптации к изменяющимся условиям окружающей среды и оцениваемых на основании измерения психофизиологической информации [3]. Данный термин близок по смыслу к предыдущему, данные понятия не являются тождественными. ПФС отражает психофизиологический уровень функционирования человека.
3. Эмоциональное состояние - психическое состояние, которое возникает в процессе жизнедеятельности субъекта и определяет не только уровень информационно-энергетического обмена, но и направленность поведения [2].
Все приведенные определения в той или иной степени отражают суть понятия «состояние человека». Тем не менее при описании результатов проведенного в рамках настоящей работы исследования используется термин ПФС, так как данное понятие в большей степени подчеркивает психофизиологическую природу распознаваемых состояний.
III. Достигнутые результаты в области распознавания состояний человека по тепловым параметрам лица
Тепловидение позволяет бесконтактно измерять следующие физиологические параметры: кровоток [4], частота пульса, положение и распределение кровеносных сосудов [5], частота дыхания [6]. С помощью теплови-зионных камер можно получить информацию о распределении температуры на поверхности лица человека, которая имеет свойство меняться при изменении состояния человека. К тому же область лица интенсивно ин-
нервируется нейронными путями, что значительно влияет на его физиологические показатели. Одним из наиболее ярких проявлений постоянного напряжения являются нахмуренные брови. Нахмуривание вызвано сокращением соответствующих надбровных мышц. Активация данных мышц требует большего количества крови, которая поступает из супраорбитальных сосудов. Данные сосуды расположены посередине лба и состоят из двух основных ветвей. Увеличение кровотока в супраорбитальных сосудах повышает температуру поверхности кожи в области лба.
Ряд исследований в области тепловидения показали, что тепловой анализ лица можно использовать в качестве методики идентификации лжи, поскольку внезапный стресс, вызванный ложным высказыванием испытуемого, влечет за собой увеличение кровотока в периорбитальной области, а постоянное напряжение приводит к повышенному кровотоку в области лба [4]. Во время стресса также наблюдается снижение температуры в области щек, увеличение температуры в области сонной артерии, средняя температура в области носа остается неизменной [4].
Авторы работы [7] исследовали возможность классификации состояний страха, грусти, печали и злости, а также нормального состояния с использованием данных, полученных от тепловизора. Область лица предварительно была разделена на шесть регионов: область лба, бровей, правого и левого глаз, носа, рта. Для всех обозначенных областей были вычислены координаты, которые использовались при классификации состояний. Распознавание состояний в данной работе выполнялось с использованием метода опорных векторов (SVM). Каждое состояние ассоциировалось с одним из распознаваемых классов образов. Общее число классов составляло пять (включая состояние «норма»). В работе использовалась техника «один против одного»: классификатор обучался на примерах каждой пары классов (эмоций, состояний), таким образом, было построено 52 классификаторов. Также использовалась модификация Босера - Гийона - Вапника метода SVM (kernel trick, предложенная впервые М. А. Айзерманом, Э. М. Браверманом и Л. В. Розоноэром для метода потенциальных функций) для построения нелинейного классификатора с заменой скалярных произведений произвольными функционалами (ядрами). После нескольких экспериментов с линейными, квадратичными, полиномиальными и радиальными ядрами, полиномиальное ядро показало наилучшую эффективность классификации. В результате процент верных решений для различных испытуемых в среднем составил 87,5 % [7].
Авторы работы [8] изучали изменения температуры лица, вызванные человеческими эмоциями, спровоцированные зрительными стимулами. Они предложили частотный анализ временных данных о температуре кожи лица для классификации эмоций по линейному дискриминантному анализу Фишера (LDA) на основе генетического алгоритма. В [9] предложен метод классификации эмоций на основе температурных характеристик лица с использованием метода анализа главных компонент (PCA). Количество верных классификационных решений для различных испытуемых менялось от 56 % до 80 %.
Известны работы по распознаванию лжи при анализе ложных и правдивых ответов, в которых применяются статистические алгоритмы или искусственные нейронные сети. Некоторые из подобных методов показывают достаточно высокие вероятности правильного распознавания: 0,87 [10], 0,971 [11]. В работах [12, 13] показано, что тепловые сигналы, полученные в области глаз у субъектов, говорящих ложные высказывания, имеют более резкое и существенное изменение по сравнению с ответами лиц, говорящих правду. Авторы указанных работ [12, 13] анализировали параметры кривых, описывающих глаза, предполагая бимодальное распределение данных величин. В этих же работах описан алгоритм выбора оптимальных пороговых значений для функций плотности вероятности этих величин, в зависимости от порогов делается заключение относительно принадлежности теплового изображения к классу «ложь» или «правда». Метод, предложенный в [12], позволил правильно распознать ложные высказывания в 84 % случаев, в [13] достигнут следующий показатель: 91,7 % верных решений распознавания лжи для 24 испытуемых [13].
Результаты исследований говорят о возможности использования тепловидения для распознавания состояния «испуг» [14], «страх» [15], эмоциональное возбуждение [16] и радость [17].
IV. Формирование базы и анализ термограмм. Выделение признаков
Признаком назовем произвольную физическую величину, которая характеризует ПФС человека. Термограмма преобразуется в вектор значений признаков. По совокупности признаков можно распознать состояние, в котором находится субъект, присутствующий на термограмме.
Проведен эксперимент по формированию базы образцов термограмм с привлечением 65 испытуемых. Каждый испытуемый «вводился» поочерёдно в следующие состояния:
1. Нормальное (спокойное, адекватное) состояние. В данном состоянии субъект не подвергался каким-либо воздействиям. Эксперимент проводился в начале рабочего дня.
2. Сонное состояние. Для имитации данного состояния участники принимали успокаивающие естественные растительные средства седативного действия, к которым относятся пустырник, мята, валериана, и прослушивали успокаивающую музыку.
3. Опьянение. Испытуемый принимал алкоголь, дозировку которого рассчитывали по формуле Видмарка. Масса выпитого соответствовала количеству алкоголя в крови с концентрации было более 0,5 %о, что превышает допустимый уровень концентрацией алкоголя для водителей транспортных средств в России и приводит к статистически значимым изменениям ВСР.
Подтверждение «перехода» в соответствующее ПФС осуществляло на холтеровском мониторе «Кардиотех-ника-04» по изменению пульса субъекта.
Каждый испытуемый выполнял тестовое задание на компьютере, находясь в соответствующем состоянии. Тестовое задание длилось 20 минут. В процессе выполнения задания осуществлялась тепловизионная съемка области лица и шеи субъектов (использовался тепловизор Nec th 7100, ориентация съемки - фас). Все тепловые видеозаписи были разложены на кадры (термограммы).
Определение области человеческого лица (кожи лица) осуществляется путем нахождения пороговой яркости изображения лица (температуры лица), рассчитанным по методу Оцу [18]. Данный метод выбирает порог к , чтобы минимизировать межклассовую дисперсию черно-белых пикселей. Для повышения производительности обнаружения лиц пороговый уровень температуры соотносится с коэффициентом, который линейно зависит от среднего значения температуры на изображении. Выбранное значение порога к позволяет преобразовать исходное изображение в бинарное. Получаемое бинарное изображение представлено в виде совокупности более мелких областей, а область лица, из-за более высокой температуры, образует единую область, которая в дальнейшем легко разбивается на подобласти (глаза, нос, рот и т.д.).
При изменении ПФС человека характер распределения температуры и динамика ее изменения на разных участках человеческого лица меняется. С учетом этого область лица была разделена на четыре сектора (горизонтальное разбиение):
1. Лоб.
2. Глаза и переносица.
3. Нос и рот.
4. Шея.
На основании известной информации о размере головы, антропометрическом соотношении областей лица (так называемого «золотого сечения» лица) [19, 20] и результатах анализа примеров термограмм в работе [21] был предложен детектор, который в сочетании с модификациями, описанными в работе [22] позволяет выделить такие участки лица, как лоб, брови, глаза и нос. Выделение областей рта и шеи базируется на геометрии лица: область рта ограничивалась областью носа (вверху) и последующим сужением в области шеи (внизу). При использовании данного детектора и выделении областей рта и шеи, термоизображение лица было разделено на четыре горизонтальных участка.
Известно, что при переходе в измененное ПФС, распределение температуры левой и правой половины лица может отличаться [23]. Поэтому решено разбить область лица на две вертикальные части: правую и левую в соответствии с билатеральной осью лица, проходящей через середину линии, соединяющей внутренние уголки глаз, и кончик носа. Для корректного определения оси симметрии изображение области лица должно быть вы-равнено относительно наклона головы. Выравнивание реализуется на ненормализованном изображении. Сначала при помощи итеративного обучаемого алгоритма Лукаса-Канаде [24] на изображении автоматически выделяются две ключевые точки - внутренние уголки глаз. Уголки глаз - самые «горячие» точки на термоизображении, и находятся в центре области концентрации максимальной температуры. Через середину отрезка, соединяющего ключевые точки параллельно оси ординат, проводится прямая. Таким образом, для последующего расчета признаков, область лица субъекта была разбита на 8 подобластей (рис. 1).
В качестве признаков использовались:
- средние значения функций яркости a(z) пикселей выделенных подобластей, где z - порядковый номер пикселя в подобласти, зависящий от его координат x, y;
- средние значения функций цветовых составляющих пикселей r(z), g(z), b(z) выделенных подобластей (цвет пикселей описывался моделью RGB);
- коэффициенты корреляции между функциями aa(z) и air(z), ra(z) и rir(z), ga(z) и gir(z), ba(z) и bir(z), которые относятся к различным подобластям, где i - номер сектора, I - левая часть, r - правая часть.
Таким образом, приведенные признаки характеризуют температуру и асимметрию температур лица и шеи субъекта, находящегося в каком-либо ПФС. Общее количество признаков 64. Указанные признаки имеют распределение, близкое к нормальному (рис. 2). При этом площади пересечения функций плотностей вероятности данных признаков, характеризующие различные состояния испытуемых существенно отличаются от единицы,
таким образом, данные признаки характеризуют ПФС испытуемых. Для отдельных испытуемых некоторые признаки существенно различаются в нормальном и измененном состояниях, однако схожи по значениям в сонном состоянии и состоянии алкогольного опьянения (рис. 3).
Рис. 1. Процесс определение признаков на термограмме
Рис. 2. Гистограмма относительных частот коэффициентов корреляции функций Ь^) подобластей 1/ и 4г (для всех испытуемых)
Рис. 3. Плотности вероятности коэффициентов корреляции функций Ь,-^) подобластей 1/ и 4г (для двух испытуемых)
Распределения строились с учетом погрешностей (ошибок) вычисления признаков.
V. Метод распознавания ПФС Реализовать алгоритм идентификации ПФС субъектов можно на базе метода последовательного применения формулы гипотез Байеса (ППФБ) [25], который заключается в вычислении интегральных апостериорных вероятностей гипотез за некоторое число шагов, равное количеству признаков, при помощи формулы (1). Каждая гипотеза подразумевает, что субъект находится в определенном ПФС. На каждом шаге за априорную вероятность принимается апостериорная вероятность, вычисленная на предыдущем шаге, в качестве условной вероятности подается на вход плотность вероятности значения очередного признака.
' Ёр,-,<Н,\Л)Р<А,\Н,)
1=1
где Р(А}\И) - условная вероятность гипотезы Н о том, что предъявленные данные термограммы соответствуют /-ому ПФС, равная плотности вероятности значения у-го признака, Р/Н1 /А) - апостериорная вероятность /-ой гипотезы, вычисленная на у-ом шаге. На первом шаге все гипотезы (ПФС) считаются равновероятными: Р0(Н/А) = 1/п, где п - количество идентифицируемых гипотез.
ППФБ позволяет реализовать метод распознавания ПФС в 2-х вариантах:
1. Субъект-зависимое распознавание (СЗР) ПФС. В этом случае требуется создать эталон каждого распознаваемого ПФС для каждого субъекта в отдельности. Эталон представляет собой параметры функций плотностей вероятности признаков (в данном случае закон распределения можно считать нормальным), характеризующих определенное состояние и полученных при статистической обработке термограмм субъекта, для которого создается эталон данного состояния.
2. Субъект-независимое распознавание (СНЗР) ПФС. Требуется сформировать по одному эталону для каждого распознаваемого ПФС, вычисляя параметры функций плотностей вероятности признаков по независимым данным термограмм лица, полученных при тепловой съемке различных субъектов, находящихся в том состоянии, для которого создается эталон. Чем большее количество испытуемых удастся привлечь для построения эталонов, тем точней будут вычислены параметры функций плотностей вероятности признаков, характеризующие различные ПФС. От каждого испытуемого в этом случае требуется получить по одной термограмме.
В первом случае для каждого субъекта, распознавание состояний которого планируется выполнять, требуется предварительно создать эталоны его ПФС. При распознавании состояния субъект предварительно должен пройти идентификацию и аутентификацию.
Во втором случае требуется создать общие эталоны ПФС для всех субъектов. Предполагается, что можно осуществлять распознавание состояний даже тех людей, которые не принимали участия в формировании эталонов. В данном случае идентификация субъекта не требуется, однако вероятность ошибок распознавания в данном случае будет существенно выше. Для снижения количества ошибок можно определить группы субъектов, для каждой из которых сформировать эталоны ПФС (например, отдельно для женщин и мужчин, для определенной возрастной группы лиц и т.д.), однако при таком подходе требуется провести дополнительные исследования и подтвердить наличие зависимости используемых признаков от соответствующих критериев деления людей на группы.
С использованием имеющихся термограмм лица 65 испытуемых проведен вычислительный эксперимент по оценке ошибок СЗР и СНЗР ПФС. Каждая термограмма была преобразована в вектор значений признаков (оценка числа ошибок данного преобразования не проводилась, значения признаков подавались на вход методу ППФБ независимо от корректности вычисления). Для формирования эталона ПФС субъекта (вычисления параметров соответствующих плотностей вероятности признаков) в случае СЗР использовалась 21 термограмма соответствующего испытуемого. В случае СНЗР было сформировано 2 эталона: «нормальное состояние», «измененное состояние». Для формирования первого эталона использовалось по одной термограмме от каждого испытуемого в нормальном состоянии, для формирования второго - по одной термограмме от каждого испытуемого в сонном состоянии и по одной в состоянии опьянения. Такой подход решено применить опираясь на ГОСТ Р 52633.5-2011, регламентирующий процесс обучения искусственных нейронных сетей в приложениях биометрической аутентификации. В данном стандарте рекомендуется использовать не менее 21 примера биометрических данных аутентичного субъекта (образа «Свой»), но для обучения на данных неизвестных субъектов (образа «Все чужие») рекомендуется использовать не менее 64 независимых примеров, т.е. 64 биометрических образца, полученных от других произвольных людей. Данные, не использованные при обучении классификатора на базе ППФБ, использовались для его тестирования. Вероятность ошибок подсчитывалась как отношение числа ошибок к общему количеству опытов. Результаты эксперимента можно видеть на рис. 4-5.
Рис. 4. Распределение вероятностей ошибок СЗР ПФС для различных испытуемых
Рис. 5. Снижение вероятности ошибок СНЗР ПФС при увеличении числа термограмм, подаваемых на вход по методу ППФБ для принятия решений
При СЗР ПФС все рассмотренные признаки являются достаточно информативными (повышающими вероятность верных решений метода ППФБ в целом), однако при переходе к СНЗР информативность признаков резко снижается, так как указанные признаки характеризуют не только ПФС, но и испытуемых. Об информативности признаков для целей СНЗР ПФС можно судить по рис. 6-7, где Sqfн(xJ)fи(xJ)) - площадь пересечения функций плотностей вероятности, / - номер признака, /н(х) - функция плотности вероятности „/-ого признака, характеризующая нормальное состояние всех испытуемых, /и(х^) - аналогичная функция, характеризующая измененные состояния всех испытуемых, М(\С(/,к)\) и S(\Cj,k)\) - математическое ожидание и среднеквадратичное отклонение модулей коэффициента парной корреляции |С(/,к)| между /-ым и к-ым признаками, где к=1...64. Чем ниже значения Sq(fн(xJ)fи(xJ)) и |С(/,к)|, тем информативнее/-ый признак в целом для испытуемых.
Рис. 6. Площади пересечения плотностей вероятности признаков, характеризующих различные ПФС при СНЗР
Рис. 7. Взаимная корреляционная зависимость признаков, характеризующих различные ПФС при СНЗР
Многие из рассмотренных признаков при СНЗР ПФС становятся неэффективными и отрицательно влияют на вероятность верных решений метода ППФБ. Поэтому результат, иллюстрируемый на рисунке 5, получен при
использовании только 33 наиболее информативных признаков. Признаки отбирались эмпирически, ориентируясь на распределения SqfJx^fJxCj)), M(\C(j,k)\) и S(|C(j,k)|) (рис. 6-7). Эксперимент по СНЗР ПФС проводился в несколько итераций, на каждой из которых исключался наименее информативный признак по данным рис. 6-7. Процесс продолжался, пока достигалось снижение вероятностей ошибок распознавания ПФС, при 32 признаках и менее количество ошибок начало возрастать. Также при СНЗР ПФС увеличивалось число одновременно подаваемых на вход термограмм субъектов для принятия каждого идентификационного решения, таким образом удалось снизить число ошибок. Как видно из рисунка 5, при подаче на вход метода ППФБ более 3-х векторов значений признаков (данных более 3 -х термограмм), вероятность ошибки практически не снижается.
VI. Заключение
Предложена методика определения 64 признаков, идентифицирующих следующие психофизиологические (ПФС) состояния субъектов: нормальное (спокойное), сонное, состояние легкого алкогольного опьянения. Предложен метод субъект-зависимого и субъект-независимого распознавания ПФС на основе формулы гипотез Байеса. В первом случае, чтобы распознать состояние конкретного человека, требуется создать эталоны его ПФС, во втором случае этого не требуется (предварительно формируется 2 эталона для всех людей сразу -нормального состояния и измененного).
Проведен эксперимент по распознаванию ПФС с участием 65 испытуемых. Вероятность ошибок субъект-зависимого распознавания ПФС по данные одной термограммы для различных испытуемых составила от 0,001 до 0,051. Распределение данных вероятностей близко к экспоненциальному закону (для более 45 % испытуемых вероятность ошибки не превысила 0,008), при этом математическое ожидание вероятности ошибки распознавания составляет 0,015, а среднеквадратичное отклонение 0,014. Найденные признаки являются зависимыми от распределения температуры каждого конкретного человека. Поэтому вероятность ошибок субъект-независимого распознавания оказалась существенно выше: по одной термограмме - 0,301, по двум - 0,264, по трем - 0,25, по 8 - 0,242.
В дальнейшем планируется усовершенствовать методику выделения признаков, применяя при анализе бинаризованного термоизображения метода Виолы-Джонса (и др.) [26], а также применить другие подходы к формированию решений, в частности широкие искусственные нейронные сети, сети квадратичных форм и многомерных функционалов Байеса [27, 28].
Источник финансирования
Работа выполнена при финансовой поддержке Министерства образования и науки РФ в рамках базовой части государственного задания в сфере научной деятельности (проект № 2.9314.2017/БЧ).
Список литературы
1. Marcus J. H., Rosekind M. R. Fatigue in transportation: NTSB investigations and safety recommendations. Injury Prevention. 2016. DOI: 10.1136/injuryprev-2015-041791.
2. Богомолов А. В., Гридин Л. А., Кукушкин Ю. А., Ушаков И. Б. Диагностика состояния человека: математические подходы. М.: Медицина, 2003. 464 с.
3. Ильин Е. П. Психофизиология состояний человека. СПб.: Питер, 2005. 412 с.
4. Pavlidis I., Levine J., Baukol P. Thermal imaging for anxiety detection // In Proc. 2nd IEEE Workshop Comput. Vis. Beyond Vis.Spectr., Methods Appl., Jun. 2000. Р. 104-109.
5. Sun N., Garbey M., Merla A., Pavlidis I. Imaging the cardiovascular pulse // In Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2005. Р. 416-421.
6. Fei J., Zhu Z., Pavlidis I. Imaging breathing rate in the CO2 absorption band // In Proc. 27th Annu. Int. Conf. IEEE Eng. Med. Biol.Soc. Vol. 1-7. Sep. 2005. Р. 700-705.
7. Basu A. [et.al.]. Human emotion recognition from facial thermal image based on fused statistical feature and multi-class SVM. 2015 INDICON. Р. 1-5, 17-20 Dec. 2015.
8. Nhan B. R., Chau T., Member S. Classifying Affective States Using Thermal Infrared Imaging of the Human Face // IEEE Transactions on Biomedical Engineering, 2010. Vol. 57, no. 4. P. 979-987.
9. Khan M. M., Ingleby M., Ward R. D. Automated Facial Expression Classification and Affect Interpretation Using Infrared Measurement of Facial Skin Temperature Variations // ACM Transactions on Autonomous and Adaptive Systems, 2006. Vol. 1, no. 1. P. 91-113.
10. Tsiamyrtzis P., Dowdall J., Shastri D., Pavlidis I. T., Frank M. G., Ekman P. Imaging facial physiology for the detection of deceit // Int. J. Comput. 2007. Vol. 71, no. 2. Р. 197-214.
11. Pollina D. A. [et al.]. Facial skin surface temperature changes during a 'concealed information' test // Ann. Bio-med. Eng. 2006. Vol. 34, no. 7. Р. 1182-1189,
12. . Pavlidis I., Levine J. Monitoring of periorbital blood flow rate through thermal image analysis and its application to polygraph testing // In Proc. 23rd Annu. Int. Conf. IEEE Eng. Med. Biol. Soc., Oct. 2001. Vol. 23. P. 28262829.
13. Pavlidis I., Levine J. Thermal image analysis for polygraph testing // IEEE Eng. Med. Biol. Mag., vol. 21, no. 6, p. 56-64, Nov./Dec. 2002.
14. Shastri D., Merla A., Tsiamyrtzis P., Pavlidis I. Imaging facial signs of neurophysiological responses // IEEE Trans. Biomed. Eng., vol. 56, no. 2, p. 477-484, Feb. 2009.
15. Levine J. A., Pavlidis I., Cooper M. The face of fear // The Lancet, vol. 357, no. 9270, p. 1757-1757, 2001.
16. Nozawa A., Tacano M. Correlation analysis on alpha attenuation and nasal skin temperature // J. Stat. Mech.: Theory Exp., vol. P01007, p. 1-10, 2009.
17. Nakanishi R., Imai-Matsumura K. Facial skin temperature decreases in infants with joyful expression // Infant Behav. Dev., vol. 31, p. 137- 144, 2008.
18. Otsu N. A threshold selection method from gray-level histograms // IEEE Trans. Syst. Man Cyber. 1979. Vol. 9(1). P. 62-66.
19. Koprowski R., Wojaczynska-Stanek K., Wrobel Z. Automatic segmentation of characteristic areas of the human head on thermographic images // Machine Graphic & Vision. 2007. 1 Vol. 6(3/4). P. 251-274.
20. Sohail A. S. M., Bhattacharya P. Detection of facial feature points using anthropometric face model // IEEE International Conference on Signal-Image Technology and Internet-Based Systems, Tunisia, Springer Lecture Note Series in Computer Science (LNCS). 2006. P. 656-665.
21. Marzec M., Koprowski R., Wrobel Z. Detection of selected face areas on thermograms with elimination of typical problems // Journal of medical in formatics & technologies. 2010. Vol. 16. P. 151-159.
22. Mariusz Marzec, Robert Koprowski, Zygmunt Wrobel, Agnieszka Kleszcz, Slawomir Wilczynski. Automatic method for detection of characteristic areas in thermal face images // Multimedia Tools and Applications, June 2015. Vol. 74, Issue 12. P. 4351-4368.
23. Epifantsev B. N. Arkhipov A. A. Informativeness of the facial asymmetry feature in problems of recognition of operators of ergatic systems // Optoelectronics, Instrumentation and Data Processing, 2015. Vol. 51(4). P. 346-353.
24. Lee I. B., Park K. S. Measurement of ocular torsion using iterative Lucas-Kanade optical flow method // Conf Proc IEEE Eng Med Biol Soc. 2005. Vol. 6. P. 6433-6437.
25. Epifantsev B. N., Lozhnikov P. S., Sulavko A. E., Zhumazhanova S. S. Identification Potential of Online Handwritten Signature Verification // Optoelectronics, Instrumentation and Data Processing. 2016, № 3(52). P. 238-244. DOI: 10.3103/S8756699016030043.
26. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features // Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. 2001. Vol.1. P. 511-518.
27. Ivanov A. I., Lozhnikov P. S., Serikova Yu. I. Reducing the Size of a Sample Sufficient for Learning Due to the Symmetrization of Correlation Relationships Between Biometric Data // Cybernetics and Systems Analysis, May, 2016. Vol. 52, no. 3. P. 379-385.
28. Ivanov A. I., Kachajkin E. I., Lozhnikov P. S. A Complete Statistical Model of a Handwritten Signature as an Object of Biometric Identification / Control and Communications (SIBCON), 12-14 May 2016, Moscow. P. 1-5
