CC BY
64
БИОФИЗИКА И МЕДИЦИНСКАЯ ФИЗИКА
Термографическая визуализация и анализ изображений динамических
процессов в области лица
И. А. Знаменская1, Е.Ю. Коротеева1^, А. В. Хахалин1, В. В. Шишаков2,
С. А. Исайчев3, А.М. Черноризов3
Московский государственный университет имени М. В. Ломоносова, физический факультет, 1 кафедра молекулярных процессов и экстремальных состояний вещества; 2 кафедра математического моделирования и информатики Россия, 119991, Москва, Ленинские горы, д. 1, стр. 2. 3 Московский государственный университет имени М. В. Ломоносова, факультет психологии, кафедра психофизиологии. Россия, 125009, Москва, ул. Моховая, д. 11.
E-mail: a koroteeva@physics.msu.ru
Статья поступила 12.05.2017, подписана в печать 18.07.2017.
Описаны принципы визуализации и анализа тепловых полей, формируемых различными физиологическими процессами на лице человека и в окружающем пространстве. На основе инфракрасной термографии с высоким временным и пространственным разрешением исследованы динамические характеристики таких полей и проанализирована возможность их использования для количественного анализа психофизиологических показателей личности. Разработан и протестирован программный модуль для сопоставления изображения с видеокамеры и тепловизионной камеры. Рассмотрены три типа динамических тепловых полей в области лица, связанные с дыхательной активностью, пульсациями кровеносной системы, процессом потовыделения. Полученные результаты могут быть использованы при разработке технологии комплексной регистрации и анализа активности центральной и периферической нервной системы с использованием тепловизора.
Ключевые слова: инфракрасная термография, психофизиологические показатели, обработка изображений, распознавание образов.
УДК: 533.17, 612.2, 004.93.1. PACS: 87.57.-s, 87.63.Hg, 47.80.Jk, 07.05.Pj.
Введение
Организм человека представляет собой открытую неравновесную термодинамическую систему, которая находится в состоянии постоянного обмена веществами и энергией с окружающей средой. Совокупность сложных физиологических и психофизических механизмов отвечает за процесс терморегуляции — поддержания постоянной температуры тела при изменении внешних условий. Терморегуляция организма за счет теплоотдачи связана в основном с выделением и испарением влаги с поверхности кожи, изменением динамики кровотока и объема крови в поверхностных сосудах, а также с дыхательной активностью. Такие биофизические параметры, как сердечный пульс, потоотделение, частота дыхания, являются наиболее важными показателями физического и психоэмоционального состояния человека.
В последние годы наблюдается все возрастающий интерес к развитию новых методов и технологий надежного бесконтактного мониторинга основных биофизических показателей организма. Методы, основанные на использовании инфракрасной (ИК) термографии с этой точки зрения представляются на данный момент весьма перспективными [1].
Основная масса тепловизоров работает в двух диапазонах длин волн ИК-излучения, соответствую-
щих окнам прозрачности атмосферы: 3-5 мкм (средневолновый, М"ШЯ) и 8-14 мкм (длинноволновый, Собственное излучение кожи человека приходится в основном на диапазон волн 4-50 мкм, с максимумом спектральной плотности на длине волны порядка 10 мкм. Благодаря высокому коэффициенту излучения (е= 0.94-0.98), изменения температуры кожи приводят к значительному изменению мощности регистрируемого тепловизором ИК-излучения, на которое практически не влияет отраженное излучение от окружающих объектов.
Для непосредственного тепловизионного измерения наиболее доступной является область лица. При неизменных условиях внешней среды поверхность лица физически здорового человека имеет неоднородное распределение температуры, определяемое физиологическими особенностями организма. Изменение поверхностного распределения температуры происходит вследствие изменения внешних условий, физической или эмоциональной нагрузки, различных внешних воздействий [2]. При этом наиболее чувствительным к внешним и внутренним раздражителям оказывается область носа [3].
Современные тепловизионные системы позволяют регистрировать распределение ИК-излучения от объектов с высоким временным, пространственным и температурным разрешением. Это дает возмож-
ность не только дистанционно визуализировать, но и количественно характеризовать малейшие изменения теплового потока от поверхности тела [1]. В частности, доступна регистрация быстропротекаю-щих тепловых процессов в области лица, реализующихся в коротких интервалах времени, соизмеримых со временем протекания эмоциональных реакций (1-4 с). В то же время значительный прогресс в тепловизионных исследованиях на сегодняшний день определяется не столько постоянным совершенствованием аппаратных характеристик тепловизоров, сколько созданием и оптимизацией алгоритмов обработки, а также методов сопоставления результатов тепловизионной съемки с данными, полученными с привлечением других измерительных систем.
Представленная работа направлена на создание технологии комплексной регистрации и анализа активности центральной и периферической нервной системы с использованием тепловизора (в сочетании с видеокамерой) на основе трех видов динамических тепловых полей в области лица. Создан и протестирован программный модуль для приведения теплового поля на лице к стандартному представлению (по изображению в видимой области спектра). В статье приводятся результаты: 1) по визуализации и анализу струйных дыхательных течений в широком диапазоне углов обзора; 2) по регистрации пуль-сационных характеристик кровотока в выделенных областях; 3) по регистрации проявления активности потовых желез. Также исследуется взаимосвязь теп-ловизионных данных с данными физических измерений электродермальной активности (кожно-гальва-нической реакции) и психофизиологической оценкой уровня эмоционального возбуждения человека.
1. Экспериментальный метод
Для проведения инфракрасной съемки в экспериментах были использованы (по отдельности) две тепловизионные камеры. Первая камера марки FLIR SC7700 работает в диапазоне длин волн 3.7-4.8 мкм (MWIR) и позволяет получать тепловизионные изображения с частотой до 115 Гц с пространственным разрешением 640 х 512 пикселей и до 400 Гц с ограниченным разрешением. Данная MWIR-ка-мера относится к классу фотонных приемников с охлаждаемым ИК-детектором. Управление камерой и обработка термограмм проводятся при помощи программного обеспечения Altair и FLIR ResearchIR Max. Вторая камера модели COX CX640 работает в диапазоне длин волн 8-14 мкм (LWIR) и позволяет получать тепловизионные изображения с частотой до 50 Гц с пространственным разрешением 640x480 пикселей. LWIR-камера относится к классу неохлаждаемых тепловых приемников микроболометрического типа, обладает тепловой инерционностью и меньшей, по сравнению с MWIR-камерой, температурной чувствительностью. Для получения
и анализа термограмм используется программное обеспечение Thermal Imaging Analyzer.
В экспериментах принимали участие 17 здоровых испытуемых (12 мужчин и 5 женщин) в возрасте от 19 до 55 лет. Все измерения проводились в положении испытуемых сидя, после их адаптации к лабораторным условиям в течение нескольких минут. Камера располагалась на расстоянии порядка 1 м от испытуемого (расстояние подбиралось в зависимости от фокусного расстояния используемого объектива). Время съемки варьировалось от 20 с до 5 мин. Частота съемки составляла 5-50 Гц. В специально оборудованном помещении поддерживалась фиксированная комнатная температура (22-23 ° C).
В ряде экспериментов одновременно с телевизионной проводилась видеосъемка цифровой камерой Canon 60D. Исследовательский комплекс также включал электроэнцефалограф-анализатор ЭЭГА 21/26 «Энцефалан 103-03» для измерения кожно-гальванической реакции (КГР). Частота дискретизации прибора составляла 250 Гц. Электроды в виде двух пластин прикреплялись к указательному и безымянному пальцам. Регистрация КГР помогала следить за активностью вегетативной нервной системы по изменению электрического сопротивления кожи.
2. Алгоритм анализа термографических изображений
Для анализа термографических изображений был разработан алгоритм и программное обеспечение, позволяющее приводить зарегистрированное тепловизорами цифровое тепловое поле на лице человека к стандартному представлению. Для анализа также использовалось программное обеспечение на языке Python с использованием библиотек OpenCV [5] и Dlib [6]. Данные библиотеки, используя метод Виолы-Джонса [7], дают возможность найти лицо на изображении, а также выделить характерные ключевые точки лица (глаза, губы, нос и т. д.) и наложить на изображение лица сетку так называемых нормированных лицевых координат. Это позволяет оценить ориентацию лица относительно плоскости детектора камеры и найти на изображении участки, соответствующие требуемым лицевым чертам (крылья носа, область верхней губы под носом, области по бокам от переносицы и т. д.), на всех кадрах видеоряда. Такой подход позволяет компенсировать движение головы относительно камеры, а также оценить, видны ли эти участки на изображении.
Представленные алгоритмы применялись как к тепловизионным видеосъемкам, так и к визуальным. Проводилось компьютерное сопоставление изображения с видеокамеры и тепловизионной камеры. При одновременной съемке тепловизионной и обычной цифровой камерой для синхронизации видеоряда использовалось моргание глаз. Основной задачей являлась регистрация динамики изменения
теплового сигнала в так называемых «областях интереса» на термограммах.
Изначально планировалось, что использование дополнительного синхронного видеоряда в визуальном диапазоне поможет более точно оценивать положение контрольных точек лица на изображении и лучше компенсировать движение и повороты лица относительно камеры. Однако при тепловизион-ной регистрации с пространственным разрешением 640 х 512 пикселей выяснилось, что дополнительная информация с цифровой видеокамеры не вносила существенных улучшений в сравнении с результатами, полученными с использованием одной только теп-ловизионной камеры. В дальнейших экспериментах с камерой РЫК БС7700 информация с видеокамеры на учитывалась.
3. Результаты 3.1. Термографический анализ дыхательных потоков
В процессе дыхания происходит газообмен между легкими и внешней средой. С точки зрения газодинамики процесс выдоха через нос представляет собой двойное периодическое струйное течение. В ряде работ изучалась возможность качественной и количественной визуализации дыхательных потоков на основе оптических методов и численных расчетов [8, 9]. Так, при помощи высокоскоростного теневого метода было получено, что максимальные значения протяженности воздушной струи и скорости потока составляют 0.6 м и 1.4 м/с при носовом дыхании и 0.8 м и 1.3 м/с при дыхании через рот [8].
Здоровый взрослый человек в состоянии физиологического покоя совершает от 12 до 18 дыхательных движений в минуту [10]. Частота дыхания — важный жизненный показатель. Изменения данного параметра могут служить ранним сигналом как серьезного заболевания, так и психического или физиологического стресса.
Термографическая регистрация дыхательного процесса возможна за счет двух механизмов. Во-первых, выдыхаемый при комнатной температуре газ имеет температуру 32-340 С. Это приводит к локальному периодическому нагреву кожи лица вниз и по бокам от ноздрей (области интереса), которое регистрируется при тепловизионой фронтальной съемке лица в достаточно широком диапазоне углов. Во-вторых, выдыхаемый поток становится возможным визуализировать в ИК-диапазоне за счет разницы в составе вдыхаемого и выдыхаемого воздуха. Человек вдыхает атмосферный воздух, содержащий (по объему) 21% кислорода и 0.03% углекислого газа. Состав выдыхаемого воздуха непостоянен, но в целом он содержит меньше кислорода (около 16%) и значительно больше углекислого газа (до 4-5%). Помимо этого, в выдыхаемом воздухе существенно повышается содержание водяных паров. В отличие от кислорода и азота водяной пар и углекислый газ имеют полосы поглощения в ИК-области спектра.
Волновое число, см-1 [Волновое число, см 1
Рис. 1. Спектры пропускания углекислого газа (слева)
и паров воды (справа) [4]. Прямоугольными областями отмечены рабочие диапазоны MWIR- и LWIR-камер
В частности, одна из полос поглощения углекислого газа лежит в рабочем диапазоне MWIR-камеры (рис. 1).
В ходе экспериментов проводилась съемка MWIR- и LWIR-камерами. Испытуемым предлагалось дышать либо только через нос, либо только через рот. Съемки велись анфас и в профиль. Было получено, что периодическое изменение температуры областей интереса стабильно наблюдается при регистрации ИК-излучения от поверхности кожи анфас как в средневолновом, так и длинноволновом диапазонах (рис. 2). Использование MWIR-камеры также дает возможность визуализации дыхательного течения (за счет повышения содержания углекислого газа) при съемке в профиль (рис. 3). Поскольку ИК-сигнал в данном случае оказывается слабее, чем при регистрации излучения с поверхности кожи, увеличение соотношения сигнал/шум возможно путем увеличения времени интеграции камеры (от 0.8 до 2 мс). При этом было обнаружено, что дыхательный поток в основном визуализируется несколько лучше в случае носового дыхания. Дело в том, что при выдохе через рот выходное сечение воздушной струи приблизительно в два раза выше [9], таким образом, ниже плотность выдыхаемого воздуха, что снижает интенсивность регистрируемого ИК-излучения.
Для количественного анализа дыхательных циклов проводился спектральный анализ тепловых пульсаций турбулентного потока в областях интереса на основе алгоритма быстрого преобразования Фурье (FFT). Затем данные усреднялись для количественного определения преобладающей частоты, то есть частоты дыхания [11]. Было получено, что в случае равномерного, спокойного дыхания при регистрации полей ИК-излучения в течение 20 с и выше появляется возможность исследовать эволюцию и частотные характеристики дыхания с высокой точностью (рис. 2). Поскольку частота дыхательных движений не превышает 1 Гц, съемку достаточно проводить на частоте от 2 Гц, что соответствует временному разрешению большинства современных тепловизоров. Кроме того, при использовании MWIR-камеры возможность визуализации выдыхаемого потока и расчета частоты дыхания сохраняется при повороте головы вплоть до 1500 от оси камеры.
Рис. 3. Визуализация дыхательного потока МШШ-ка-мерой на стадии выдоха через нос (а, в) и рот (б), при съемке лица под углом 90о (а, б) и 135° (в) к камере
Рис. 2. Регистрация дыхательного процесса анфас MWIR (вверху) и LWIR (внизу) камерами: а — динамика среднего значения температуры в выделенных областях, б — результат спектрального преобразования
ИК-сигнала
физическими свойствами личности. В спокойном состоянии у среднестатистического испытуемого можно выделить одну основную частоту, соответствующую базовой частоте дыхания (в диапазоне 0.2-0.3 Гц). Под воздействием ситуации стресса, изменении психофизического состояния регулярный характер дыхания нарушается; в результате на спектрах могут появляться сравнимые по интенсивности дополнительные частоты (рис. 4).
3.2. Термографический анализ процесса потоотделия
При тепловизионной визуализации области лица человека пространственная неоднородность термограмм возникает также в процессе терморегуляции за счет потоотделения. Активность потовых желез связана с уровнем физической или эмоциональной нагрузки. И хотя потовые железы распределены относительно равномерно по коже, они редко функционируют одновременно и с одинаковой интенсивностью [12]. Открытие потовых пор на поверхности кожи приводит к появлению темных (более холодных) точек на термограмме. Это связано с тем, что пот обладает несколько иным, по сравнению с кожным покровом, коэффициентом излучения; кроме того, в результате испарения капель пота происходит охлаждение кожи вблизи каналов потовых желез. Таким образом, методика термографического исследования активности потовых желез ограничена пространственным разрешением тепловизора — возможна визуализация потовых пор, диаметр которых превышает размер одного пикселя матрицы чувствительного элемента.
В настоящей работе исследовалась возможность тепловизионной регистрации процесса потоотделения в ситуации стресса. Для возникновения стрессовой реакции в лабораторных условиях использо-
Рис. 4. Усредненный по нескольким областям интереса спектр дыхательного сигнала человека в стрессовом состоянии
При статистическом анализе спектров дыхания добровольцев показано, что спектры часто имеют особенности, связанные с индивидуальными психо-
КГР, отн. ед.
6000
60 Время, с
^000
Рис. 5. Термограмма лица человека во время прохождения теста Струпа (слева) и зависимость средней температуры областей интереса (1 и 2) от времени записи совместно с временной разверткой КГР-сигнала (справа): а — глубокий вдох, б — резкий звук, в — начало прохождения теста Струпа. Темные точки на
термограмме — каналы потовых желез
вались неожиданный резкий звук и тест Струпа. Синхронно велась регистрация КГР. Пример динамики температуры областей интереса и КГР-сигнала представлен на рис. 5. Было обнаружено, что пики КГР соответствуют увеличению количества открытых потовых пор на термограммах, а также последующему понижению среднего значения температуры в областях интереса (зоны лба и носа). Анализ термограмм также показал, что средние времена выделения и испарения капель пота на термограммах не превышают 1 с. При этом характер расположения и активность потовых желез являются индивидуальными для каждого человека.
Данные результаты показывают, что инфракрасная термография открывает широкие возможности дистанционной диагностики психоэмоциональной активности человека при условии предварительного анализа его индивидуальных физиологических особенностей. Временное разрешение современных тепловизоров оказывается достаточным, чтобы регистрировать изменения теплового потока, соизмеримые со временем протекания эмоциональных реакций (1-4 с). А использование камер и объективов, обеспечивающих повышенное пространственное разрешение, позволяет визуализировать и исследовать активность индивидуальных потовых пор на лице человека.
3.3. Термографический анализ кожного кровотока
В физиологической системе колебания кровотока являются одной из наиболее существенных причин, вызывающих изменения температуры кожи [2]. В ряде работ пульсации температуры поверхности кожи предлагалось рассматривать как источник тепловых волн, распространяющихся в коже и регистрируемых как изменение температуры ее поверхности. Областями интереса в данном случае являются зоны крупных кровеносных сосудов, расположенных непосредственно под кожей и визуализируемые как наиболее нагретые. Такими областями считаются области между глазом и переносицей [3].
В отличие от регистрации дыхания (преимущественно контрастные потоки газа, а также наружный нагрев кожи) и пота (жидкость, визуализируемая при испарении, контрастирует по температуре с кожей), при регистрации подкожного кровотока возникают специфические проблемы. Они связаны с тем, что визуализируется непосредственно тепловое излучение кожи, имеющей температуру, слабо отличающуюся от подкожной; тепловые волны от кровотока быстро затухают при подходе к поверхности. Кроме того, при пульсации подкожных сосудов происходит локальное смещение кожи, которое регистрируется как изменение температуры в точке. Эффект от нагрева наружного слоя кожи, таким образом, для современных тепловизоров, имеющих температурное разрешение от 0.2 К, имеет уровень теплового шума. Анализ показывает, что алгоритмы компенсации движений лица человека не позволяют обеспечить измерения локальных пульсаций кровотока даже на близком расстоянии и при малых изменениях положения лица.
Заключение
Рассмотрены физические основы методов визуализации нестационарных тепловых полей, формируемых на лице человека и в окружающем пространстве вследствие протекания различных физиологических процессов. С высоким временным и пространственным разрешением исследованы динамические характеристики таких полей. Съемка велась в двух диапазонах длин волн инфракрасного излучения 3.7-4.8 и 8-14 мкм. Проведен сравнительный анализ возможностей выявления на основе термографии психофизических показателей личности при регистрации трех процессов: дыхания, потоотделения, кровотока в подкожной области. Разработан программный модуль для сопоставления изображения с видеокамеры и тепловизионной камеры. Показано, что эффект от нагрева наружного слоя кожи при пульсации кровотока имеет уровень теплового шума и не может являться достаточно серьезным источником данных для количественного анализа.
Разработан метод количественного анализа изменений активности нервной системы в коротких интервалах времени, соизмеримых со временем протекания эмоциональных реакций (1-4 с), на основе комплексной регистрации и анализа двух типов динамических тепловых полей в области лица: 1) поля, визуализируемые в воздухе в результате регистрации выдыхаемых газов, а также участков кожи, нагреваемой дыханием; 2) поля, визуализируемые на коже в результате потовыделения. Результаты бесконтактной дистанционной диагностики сопоставлялись и хорошо корелировали с данными, снимаемыми контактным методом по изменению электрического сопротивления кожи (КГР).
Показана возможность количественного анализа частоты дыхания при регистрации динамики температуры от 20 с на частоте от 5 Гц, как анфас, так и при повороте головы вплоть до 1500 от оси камеры. При этом в нормальном состоянии спектральный анализ полученных полей позволяет выделить базовую частоту дыхания с высокой точностью. В ситуации же стресса профиль спектральных кривых искажается, и выделение одной доминирующей частоты оказывается невозможным. Помимо этого, продемонстрировано, что воздействие стрессовых ситуаций вызывает появление локальных множественных пятен в области потовых желез на термограммах, что приводит в целом к изменению усредненной температуры участков кожи в обла-
стях интереса (порядка 1 ° C) за времена, не превышающие 1 с.
Работа выполнена при финансовой поддержке РНФ (грант 16-18-00080) и с использованием обо-рудоваия, приобретенного в рамках Программы развития МГУ до 2020 года.
Список литературы
1. Иваницкий Г.Р. // УФН. 2006. 176, № 12. С. 1293. (Ivanitskii G.R. // Phys. Usp. 2006. 49. P. 1263.
2. Скрипаль А.В., Сагайдачный А.А., Усанов Д.А. // Тепловизионная биомедицинская диагностика: Учеб. пособие. Саратов, 2009.
3. Cardone D., Pinti P., Merla A. // Computational and Mathematical Methods in Mediспектр спесте. 2015. e984353.
4. Linstrom P.J., Mallard W.G. // NIST Standard Reference Database. 69.
5. OpenCV: http://opencv.org/.
6. Dlib: http://dlib.net.
7. Viola P., Jones M.J. // IJCV. 2004. 57, N 2. P. 137.
8. Tang J.W., Nicolle A.D., Klettner C.A. et al. // PLOS ONE. 2013. 8, N 4. e59970.
9. Gupta J.K., Lin C.-H, Chen Q. // Indoor Air. 2010. 30. P. 31.
10. Ganong's Review of Medical Physiology // 24th Edition LANGE Basic Science. 2012.
11. Znamenskaya I.A., Koroteeva E.Yu., Khakhalin A.V., Shishakov V.V. // Scientific Visualization. 2016. 8, N 5. P. 122.
12. Vainer B.G. // Phys. Med. Biol. 2005. 50. R63.
Infrared thermography and image analysis of dynamic processes around the facial area
I.A. Znamenskaya1a, E.Yu. Koroteeva1b, A.V. Khakhalin1, V.V. Shishakov2, S. A. Isaichev3 , A. M. Chernorizov3
1 Department of Molecular Processes and Extreme Matter States;
2 Department of Computer Methods of Physics,
Faculty of Physics, Lomonosov Moscow State University. Moscow 119991, Russia.
3 Department of Psychophysiology, Faculty of Psychology, Lomonosov Moscow State University. Moscow 125009, Russia.
E-mail: a koroteeva@physics.msu.ru.
This paper describes the principles of visualization and analysis of thermal fields generated by different physiological processes around the facial area and in the environment. The dynamics of these fields was studied and their possible application for quantitative evaluation of psychophysical parameters is analyzed using infrared thermography with high spatial and temporal resolution. A software module has been developed and tested for combining infrared and visible camera images. A technique was proposed for complex recording and analysis of central and peripheral nervous activities using a thermal camera that captures three types of temperature fields that vary with time around the facial area: exhaled gas flows, cutaneous blood circulation, and sweat gland activity.
Keywords: infrared thermography, physiological parameters, image processing, pattern recognition. PACS: 87.57.-s, 87.63.Hg, 47.80.Jk, 07.05.Pj. Received 12 May 2017.
English version: Moscow University Physics Bulletin. 2017. 72, No. 6. Pp. 595-600.
Сведения об авторах
1. Знаменская Ирина Александровна — доктор физ.-мат. наук, профессор; тел.: (495) 939-44-28, e-mail: znamen@phys.msu.ru.
2. Коротеева Екатерина Юрьевна — канд. физ.-мат. наук, ст. науч. сотрудник; тел.: (495) 939-27-41, e-mail: koroteeva@physics.msu.ru.
3. Хахалин Андрей Владимирович — канд. физ.-мат. наук, ст. науч. сотрудник; тел.: (495) 939-44-28, e-mail: avkhakhalin@mail.ru
4. Шишаков Виталий Владимирович — канд. физ.-мат. наук, мл. науч. сотрудник; e-mail: shift@physics.msu.ru
5. Исайчев Сергей Александрвич — канд. психол. наук, доцент.
6. Черноризов Александр Михайлович — доктор психол. наук, профессор.
