CC BY
27
УДК 62-97/-98+62-1/-9
DOI: 10.18698/0236-3933-2021-4-122-138
ЭКСПЕРИМЕНТАЛЬНОЕ ОБОСНОВАНИЕ РЯДА ТРЕБОВАНИЙ К АППАРАТНЫМ И МЕТОДИЧЕСКИМ СРЕДСТВАМ НЕКОНТАКТНОЙ ФОТОПЛЕТИЗМОГРАФИИ НА ОСНОВЕ АНАЛИЗА ВИДЕОИЗОБРАЖЕНИЙ
A.A. Гержик И.А. Разницына
gerjikl [email protected] [email protected]
Московский областной научно-исследовательский клинический институт им. М.Ф. Владимирского, Москва, Российская Федерация
Аннотация
Выполнена экспериментальная оценка возможности применения видеокамеры для реализации неконтактной фотоплетизмографии. Ввиду широкого распространения цифровых камер в эндоскопических установках фотоплетизмография на основе анализа видеоизображений является недорогим и перспективным методом для решения задач медицинской диагностики. Обоснован ряд требований к параметрам камеры, обеспечивающим заданный уровень зарегистрированных сигналов, кодированных значениями RGB, к внешнему освещению и алгоритмам постобработки видеоизображения. Установлено, что при уровнях сигнала по зеленому каналу не менее 130 и не более 220 усл. ед. (для камеры с 8-битной глубиной кодирования цвета) обеспечивается наиболее высокий уровень полезного пульсового сигнала. Показано, что для получения качественного сигнала неконтактной фотоплетизмографии в качестве источника света можно использовать любой источник эквивалентной цветовой температуры в диапазоне 3500.. .6500 К и зеленые светодиоды. Продемонстрировано, что при размерах области усреднения более 40 х 40 пикселей сигнал имеет большее отношение сигнал/шум, чем при усреднении по меньшей группе пикселей. Полученные результаты могут найти применение при реализации неконтактной фотоплетизмографии для исследования локального кровотока на основе анализа видеоизображений
Ключевые слова
Цифровая камера, неконтактная фотоплетизмография, гемодинамика, in vivo, RGB
Поступила 11.12.2020 Принята 25.06.2021 © Автор(ы), 2021
Работа выполнена при финансовой поддержке Фонда содействия развитию малых форм предприятий в научно-технической сфере (договор № 13938ГУ/2019)
Введение. Методы фотоплетизмографии (ФПГ) широко известны с 1970-х годов [1]. Фотоплетизмография представляет собой группу оптических методов, позволяющих неинвазивно оценить изменения объемного кровенаполнения в сосудистых руслах. Применяют ФПГ для регистрации пульсовых волн периферического кровообращения, исследования микрогемодинамики при различных патологиях и взятии функциональных проб [2]. Неконтактно ФПГ можно реализовать посредством анализа видео с цифровых камер. Этот метод безопасен, неинвазивен, может быть реализован в режиме реального времени, в том числе для интраоперационных исследований, а также сравнительно недорог благодаря широкому распространению цифровой фото- и видеотехники. Одним из главных преимуществ бесконтактных методов является отсутствие необходимости закрепления датчиков на поверхности биоткани и тщательного контроля за стерильностью [3]. Большинство установок для малоинвазивной хирургии и эндоскопии оснащены камерами с RGB-сенсорами, например современные системы эндоскопической визуализации EVIS EXERA (Olympus, Япония).
Технологии определения параметров гемодинамики по видеоряду могут быть особенно полезны, когда врач вынужден ориентироваться в операционном поле по изображению с экрана, как, например, в малоинвазивной и робот-ассистированной хирургии. При таких операциях навигация в оперируемой области осложняется возможными аномалиями развитой органов, что нередко приводит к врачебным ошибкам, влекущим за собой ятрогенные повреждения (неумышленные или неизбежные повреждения функции или структуры организма, вызванные медицинскими действиями [4]). Сопроводительная информация о параметрах гемодинамики с эндоскопической камеры могла бы помочь верифицировать структуры при малоинвазивных операциях.
В основе методов количественного анализа цифровых изображений в медицине лежит разность оптических свойств различных биологических структур [5]. Свет, освещающий поверхность объекта, частично отражается от его границ и проникает вглубь, где преломляется, поглощается и рассеивается. Та часть излучения, которая возвращается от объекта на матрицу камеры, детектируется диодами матрицы и преобразуется в рабочее напряжение. Кровь — основной хромофор биоткани, активно поглощающий свет видимого диапазона. Изменения ее концентрации влияют на поглощающие свойства среды и, следовательно, могут быть отслежены с помощью цифровых камер. В настоящее время известны алгоритмы обработки RGB-изображений, позволяющие вычислять концентрации окси- и дезоксигемоглобина, насыщение крови кислородом (сату-
рацию), концентрацию общего гемоглобина, а также осуществлять неконтактную ФПГ [6-8]. Их применение к видеоряду с цифровой камеры позволяет отслеживать сердечный ритм и оценивать функциональное состояние ткани. Однако в литературе нет обоснованного набора технических требований к камерам, применяемым для оценки состояния локального кровотока по изображению.
Камеры различаются по светочувствительности, динамическому диапазону, максимально допустимой частоте кадров, фокусному расстоянию, настраиваемому диапазону времени выдержки, линейности отклика и т. д. Разные медицинские задачи оценки кровенаполнения и гемодинамики диктуют свои требования к техническим средствам, программному и методическому обеспечению. В некоторых случаях вариабельность параметров камеры может быть преимуществом: в работе [8] авторы используют две камеры с разными сенсорами для того, чтобы увеличить точность метода восстановления мультиспектральных данных.
Цель работы — оценить возможность использования камеры Basler acA1300-200uc для решения задач неконтактной ФПГ, проанализировать полученные сигналы, а также сформулировать ряд требований к цифровым камерам для реализации ФПГ. Для этого выполнена оценка линейности с использованием фантомов и проведен расчет отношения сигнал/шум (SNR) при разных источниках освещения, уровнях яркости по RGB-каналам и размерах области усреднения.
Материалы и методы. Приведенные в настоящей работе изображения и видео получены с помощью цифровой камеры Basler acA1300-200uc с КМОП-сенсором Python 1300, максимально возможной частотой 200 кадров в секунду и разрешением 1028 х 1024 (размер пикселя 4,8 х 4,8 мкм). Сохранение зарегистрированных изображений проводилось в raw-формате с глубиной кодирования 8 бит, формат видеозаписи тр4. При сохранении отключены процедуры обработки зарегистрированного изображения, такие как гамма-коррекция и автоматическая настройка баланса белого.
Источником освещения в экспериментах служила перестраиваемая кольцевая лампа Aura Helle FC-480 SE Multicolor (RGB) Max с внешним диаметром 45 см, 480 светодиодами и установленным диффузионным фильтром. Максимальный световой поток данной лампы составляет 9600 лм. Затраты мощности на все измерения составляли 20 % максимального значения. В режиме белого освещения эквивалентная цветовая температура составляла 4500 К (нейтральный белый свет). Для создания сине-зеленого освещения в лампе включены синие и зеленые светодиоды равной мощности. При зеленом освещении включались только зеленые светодиоды.
Перед регистрацией серии изображений и видеозаписью настраивался баланс белого с помощью белой референсной пластины фторопласта так, чтобы уровень яркости пикселей в области изображения с фторопластом был близок к уровню насыщения (253...255 усл. ед.). Данный материал равномерно рассеивает падающее на него излучение в диапазоне длин волн, регистрируемых сенсором цифровой камеры. Расстояние от переднего края объектива камеры до объектов съемки составляло 20 см. Для извлечения ЯСВ-значений из га\\г-данных применялась программная среда МАТЬАВ. Оборудование для экспериментальных исследований приведено на рис. 1.
Измерения проведены при следующих условиях.
1. Для оценки линейности камеры объектом съемки служил фторопласт. Всего было зарегистрировано 45 изображений: по 5 снимков фторопласта для каждого времени экспозиции (0,06; 0,4; 1,4; 2,4; 3,4; 4,4; 4,8; 4,85; 4,9 мс) при фиксированной степени раскрытия диафрагмы //1,4 и источнике белого света с эквивалентной цветовой температурой 4500 К. В результате увеличения времени экспозиции возрастал уровень яркости по 1ЮВ-каналам.
Усреднение проводилось в области 10 х 10 пикселей в центре изображения. За регистрируемый сигнал в оценке линейности принималось среднее серое значение ЯСВ-яркости, определяемое как
Рис. 1. Установка для работы с цифровой камерой
1п =
l™Rn,k+Gn,k+Bn,k к=1 3 100
(1)
где .КИ)ь СИ)ь — значения по 1ЮВ-каналам на кадре п в пикселе под номером к.
Численно нелинейность цифровой камеры оценивалась по формуле [9]:
_ (| §тах | + | 5тт |)
NL =
100 %,
(2)
[тах
где 8тах и 8тт — максимальное и минимальное отклонения значений I от линейной аппроксимирующей кривой.
2. Оценка зависимости БЫК неконтактной ФПГ от среднего уровня яркости по зеленому каналу проводилась по видеоизображению ладони при источнике белого света с эквивалентной цветовой температурой 4500 К. При разных выдержках проводилась видеозапись длительностью 30 с с частотой 20 кадров в секунду. Диафрагма была фиксирована (// 2,8), время экспозиции варьировалось от 10 до 28 мс с шагом 2 мс, что привело к росту среднего за запись уровня яркости по зеленому каналу от 78 до 254 усл. ед. За сигнал неконтактной ФПГ принято значение яркости по зеленому каналу, усредненное в области изображения 100 х 100 (соответствует физическим размерам 10 х 10 мм) в районе подушечки указательного пальца. Сигнал предварительно отфильтрован с помощью полосового фильтра Баттерворта третьего порядка с частотами среза на 0,5 и 4 Гц. Выбор данного диапазона обусловлен условиями измерений, при которых доброволец находился в спокойном состоянии и его частота сердечных сокращений (ЧСС) не превышала 2 Гц. Значение БЫЯ рассчитано по фурье-спектрам трех неперекрывающихся 10-секундных периодов сигнала по формуле [10]:
где — спектр сигнала неконтактной ФПГ; /с1 — частота дискретизации сигнала (20 Гц); [/(/) — бинарная маска, в которой единица соответствует компонентам полезного сигнала.
3. Для проверки влияния освещения на БЫЛ при видеосъемке ладони (20 кадров в секунду, 50 с) варьировалась эквивалентная цветовая температура источника от 3500 до 6500 К с шагом 500 К, рассматривались зеленое и сине-зеленое освещения. Время экспозиции 25 мс, степень раскрытия диафрагмы //2,8. Перед записью видео проводилась нормировка на белый фторопласт.
4. Исследовано влияние размеров области усреднения значений по зеленому каналу на БЫЯ. Для этого на видео, зарегистрированном для пункта 3 при эквивалентной цветовой температуре 4500 К, выделены области изображения подушечки указательного пальца размерами 10 х 10 и от 20 х 20 до 140 х 140 с шагом 20 х 20 пикселей. Значение БЫЯ рассчитано для среднего в области значения яркости по зеленому каналу за 10-секунд-ные интервалы.
( ßn
I (c/(/)s(/))2
SNR = 10 logio -
I ((1 -U(f))s(f)j
2
(3)
Линейность RGB-камеры. Под линейностью камеры понимается способность фоточувствительных элементов ее матрицы генерировать заряд, пропорциональный числу падающих фотонов. Однако данное преобразование не происходит с идеальной линейностью. Это может усложнять интерпретацию данных и вносить дополнительные погрешности в вычисления. Например, если при изменении интенсивности оптического сигнала изменения значений яркости по RGB-каналам происходят непропорционально, при количественной оценке значений объемного кровенаполнения по сигналу с камеры необходимо учитывать характер данной зависимости. Поэтому при выборе камеры для научных целей параметру линейности следует уделять повышенное внимание.
К основным источникам нелинейности относят нелинейность преобразования заряда в рабочее напряжение (диффузионная нелинейность), а также нелинейность усиления сигналов разного уровня (нелинейность MOSFET). Кроме того, нелинейность измерений может быть обусловлена алгоритмами постобработки, такими как интерполяция и гамма-коррек-ция [11]. В научных камерах коэффициент нелинейности в рабочем диапазоне не более 2 %. Нелинейность камеры экспериментально оценивается путем построения яркости RGB-значений от экспозиции. Экспозиция отражает количество света, попадающего на датчик. Варьировать экспозицию можно разными способами: регулируя интенсивность внешнего источника излучения, изменяя степень раскрытия диафрагмы, коэффициент усиления или время экспозиции (выдержки). Для управления экспозицией с помощью внешнего освещения требуется калиброванный источник, позволяющий точно задавать значения интенсивности выходного излучения. Изменение степени раскрытия диафрагмы при малых значениях может приводить к возникновению аберраций, а с ростом коэффициента усиления возрастает влияние шумов. Поэтому на практике экспозицией камеры управляют, изменяя выдержку. Чтобы оценить линейность отклика цифровой камеры Basler acA1300-200uc, записана и обработана серия из 45 снимков белого фторопласта (по 5 кадров для 9 разных уровней экспозиции). Для комплексной оценки линейности по всем трем RGB-каналам использован показатель среднего уровня значения яркости I (t), соответствующий среднему значению по RGB-каналам, вычисляемый по формуле (1).
График I(t) с указанием средних значений, среднеквадратических отклонений (СКО) и аппроксимирующей прямой приведен на рис. 2. Всего для расчета средней величины и СКО для каждого времени экспозиции использовано по 500 значений I(t) (100 пикселей в центральной области изображения 5 разных кадров).
О 1 2 3 4 5
Время экспозиции, мс Рис. 2. Линейность цифровой камеры Basler acA1300-200uc
Максимально возможный уровень яркости данной камеры составляет 255 в силу 8-битной глубины кодирования цвета. Нелинейность, рассчитанная по формуле (2), в диапазоне от 1 до 100 % максимального уровня яркости составляет 1,6 %. От 9 до 97 % показатель нелинейности составляет 1,2 %. В диапазоне от 20 до 90 % данный показатель равен 0,4 %. Нелинейные эффекты сильнее проявляются в районе низких уровней яркости, а также в области, близкой уровню насыщения, где вероятность захвата фотона детектором снижена [9]. Показано, что использованная для экспериментальной оценки камера обеспечивает преобразование падающего на матрицу излучения в рабочее напряжение с высокой линейностью во всем рабочем диапазоне, однако, следует избегать пограничных значений яркости для снижения риска потери полезного сигнала.
Зависимость SNR от среднего уровня яркости по зеленому каналу. Для оценки применимости сенсора к решению практических задач медицинской диагностики важно иметь сведения не только о линейности камеры, но и о том, как уровень шума соотносится с полезным сигналом. Влияние некоторых шумов можно снизить, например, статистический темновой шум, который аддитивен и устраняется путем простого вычитания темно-вого кадра из полученного изображения [12]. Неравномерный динамический структурный шум проявляется из-за неоднородности отклика фотодиодов матрицы и сильно возрастает с повышением уровня сигнала. Итоговый шум изображения является результатом наложения всех типов шумов, его характеристики приведены в документации [13]. На матрице стандартной RGB-камеры расположено в 2 раза больше зеленых пикселей, чем всех остальных, что обусловливает его лучшие шумовые характеристи-
ки по сравнению с красным и синим каналами [14, 15]. По этой причине, а также с учетом того, что кровь поглощает в основном зеленый и синий свет, пульсовые колебания принято оценивать именно по сигналу с зеленого канала. Общепринятым показателем, отражающим вклад шумов в результирующий сигнал, является БЫЛ. Данный показатель зависит от уровня 1ЮВ-яркости, поскольку вклад шумов неодинаков для разных уровней яркости и существует риск потери информации при засветке (избыточная экспозиция) или низком уровне (низкая экспозиция) сигнала. В контексте медицинских задач, в частности для ФПГ, БЫЯ сигнала можно оценить по его фурье-спектру по формуле (3), выделяя гармоники, которые относятся к полезному пульсовому сигналу, охватывающему характерный для ЧСС человека частотный спектр [10].
Зависимость БЫЯ от среднего уровня яркости по зеленому каналу в области изображения указательного пальца на видеозаписи ладони добровольца приведена на рис. 3.
100 123 138 154 175 187 217 248 Средний уровень яркости по зеленому каналу, усл. ед.
Рис. 3. Зависимость значения БЫЯ сигнала неконтактной ФПГ от среднего уровня яркости по зеленому каналу
Количество света, попадающего на матрицу, можно регулировать путем изменения степени раскрытия диафрагмы. Однако для данной камеры предусмотрено механическое регулирование диафрагмы, что снижает точность настройки. При слишком большом перекрытии диафрагмы могут возникать аберрации, вызванные дифракционными свойствами света, а при широком раскрытии снижается глубина резкости изображения. Поэтому при проведении измерений для данного исследования диафрагма была фиксирована (// 2,8), а количество света регулировалось изменением времени экспозиции.
Заметно, что значение БЫЯ возрастает с повышением уровня яркости. Однако работа с уровнем яркости, близким к уровню насыщения,
может привести к потере части полезного сигнала и проявлению нелинейных эффектов. Слишком низкий уровень сигнала также нежелателен из-за высоких шумов. В связи с этим для регистрации пульсового кровенаполнения с помощью данной камеры рекомендовано проводить измерения на уровнях яркости от 130 до 220 усл. ед., где значение БЫЯ максимально и достигает 10 дБ.
Тип освещения для неконтактной ФПГ. Характеристики источника освещения оказывают непосредственное влияние на формирование изображения. Для задач неконтактной ФПГ сегодня используются источники света с разными спектральными характеристиками, при этом выбор того или иного источника не всегда обоснован. В разных работах встречаются как источники освещения с зелеными светодиодами, так и белые лампы и даже естественное освещение [16, 17]. Чтобы количественно сравнить сигналы, получаемые при разных типах освещения, в том числе с различной эквивалентной цветовой температурой, проведена серия видеозаписей. Уровень яркости по зеленому каналу лежал в определенном ранее рекомендованном диапазоне от 130 до 220 усл. ед. Результаты приведены в таблице.
$N11 неконтактной ФПГ для разных типов освещения
Цветовая температура, К SNR СКО
3500 10,61 2,05
4000 10,95 0,87
4500 10,25 2,32
5000 9,94 1,82
5500 10,76 2,18
6000 9,47 1,73
6500 10,84 0,86
Зеленый диод 10,09 2,28
Сине-зеленый диод 8,40 1,27
Изменение эквивалентной цветовой температуры не оказывает значительного влияния на БЫЯ, как и смена типа освещения с белого на зеленые светодиоды. При этом переход к сине-зеленому диапазону освещения приводит к снижению на 20 %, что указывает на нежелательность применения источника синего диапазона. Это может быть связано с ухудшением поглощающих свойств крови в синей области спектра по сравнению с зеленой областью. Таким образом, при выборе источника освещения для реализации неконтактной ФПГ с использованием цифровой камеры уместно применять любую эквивалентную цветовую температуру белого
света в исследованном диапазоне от 3500 до 6500 К и отдельное освещение зелеными диодами.
Объем усреднения. Для определения объемного кровенаполнения, ЧСС и прочих параметров гемодинамики важно найти, по группе пикселей какого размера следует проводить усреднение значений. Очевидно, что оценивать колебания кровенаполнения по одному пикселю изображения нет смысла, так как в этом случае любые незначительные смещения объекта наблюдения будут приводить к появлению артефактов движения.
С целью выявить зависимость между размерами усреднения и был обработан видеоряд с ладонью при белом освещении с температурой 4500 К и средним уровнем яркости 213 усл. ед. Размеры усреднения варьировались в пределах одной анатомической области (подушечки указательного пальца). На рис. 4 визуализированы полученные результаты.
10x10
80x80 100x100 120x120 140x140
2
20x20 40x40 60x60
Размеры области усреднения, мм'
Рис. 4. Зависимость значения от размера усреднения
Наибольшее значение БЫЯ достигается при усреднении по области 16 мм2 (40 х 40 пикселей) и более. Чем меньше объем усреднения, тем большее пространственное разрешение визуализации распределения получается на выходе. Для определения ЧСС нет необходимости повышать пространственное разрешение. Данный параметр важен для задач картирования, например для визуализации оценки пространственного распределения кровенаполнения, сатурации крови, визуализации областей гипоксии и т. д. Поэтому фокусное расстояние объектива и его апертур-ный угол рекомендуется подбирать так, чтобы при усреднении по области 40 х 40 пикселей изображения достигалось желаемое пространственное разрешение.
Применение разработанных рекомендаций. Сигналы неконтактной ФПГ, снятые и обработанные с учетом и без учета предлагаемых рекомен-
Сигнал, усл. ед.
Сигнал, усл. ед.
Амплитуда гармоники, отн. ед.
Сигнал, усл. ед.
Амплитуда гармоники, отн. ед.
Сигнал, усл. ед.
I I I I ■Р .Р -Р
OJ "Ю "¡-1 О
О
даций при одинаковом источнике освещения с эквивалентной цветовой температурой 4500 К приведены на рис. 5. Уровень яркости по зеленому каналу первого сигнала находится в пределах от 86 до 89 усл. ед., размер области усреднения 20 х 20 пикселей (4 мм2). Второй сигнал снят при рекомендованных уровнях яркости по зеленому каналу от 130 до 136 усл. ед. и размерах области усреднения 100 х 100 пикселей (100 мм2). Видно, что для произвольно записанного сигнала даже после фильтрации сигнал значительно более зашумлен (SNR = 3,6 и 10,1 дБ).
Обсуждение полученных результатов. Цифровые камеры являются перспективным, недорогим и простым в реализации средством для решения задач неинвазивной оптической медицинской диагностики. Для задачи неконтактной ФПГ важно определить необходимые медико-технические параметры камеры, источников освещения и методов постобработки. Регистрируемые уровни биологических сигналов и их колебания наносят определенные ограничения на вышеуказанные характеристики. Наиболее существенными параметрами для реализации неконтактной ФПГ являются линейность отклика и SNR. Для цифровой камеры Basler acA1300-200uc показано, что нелинейность отклика ее сенсора не превышает 1,6 % в диапазоне от 1...100 % максимальной яркости. Определены рекомендуемые диапазоны яркости по зеленому каналу (130...220 усл. ед.) и размеров усреднения в пределах одной анатомической области (от 40 х 40 пикселей и более), при которых значение SNR достигает 10 дБ. При выборе камеры следует обращать внимание на разрядность встроенного аналого-цифро-вого преобразователя (АЦП), который определяет глубину кодирования цвета. Из рис. 5, д следует, что амплитуда колебаний пульсового сигнала немного больше 1 усл. ед., значит, на изменения сигнала приходится только одна дискретная ступень АЦП. Плавным сигнал получается только за счет усреднения по группе пикселей. Чем выше разрядность, тем более детальным получается сигнал. При этом повышение разрядности неизбежно ведет к увеличению объема обрабатываемой информации, что может вызвать трудности реализации алгоритма в режиме реального времени.
Заключение. Экспериментальная апробация цифровой камеры Basler acA1300-200uc показала, что сигнал неконтактной ФПГ с зеленого канала цифровой камеры наиболее выражен при средних уровнях яркости по зеленому каналу от 130 до 220 усл. ед., что подтверждается расчетами SNR. В этом же диапазоне наблюдается минимальное проявление нелинейных эффектов, которые могли бы приводить к искажению сигнала. Установлено, что наилучшее качество сигнала неконтактной ФПГ достигается при размерах усреднения в одной анатомической области от 40 х 40 пик-
селей и более. При экспериментальном исследовании влияния освещения на сигнал неконтактной ФПГ показано, что одинаково уместно использовать как источник белого света с эквивалентной цветовой температурой в диапазоне 3500.. .6500 К, так и применять зеленые светодиоды.
Значение SNR неконтактной ФПГ, реализованной в настоящей работе посредством цифровой камеры, не превышает 10 дБ, что на 4,5 дБ меньше сигнала, получаемого с контактного фотоплетизмографа [18]. Тем не менее цифровые камеры вполне могут быть применены для анализа показателей локального кровотока. Можно ожидать, что в обозримом будущем развитие технологий производства сенсоров цифровых камер позволит снизить структурные шумы и число дефектов производства, что улучшит качество сигнала.
Благодарности
Авторы выражают благодарность Рогаткину Дмитрию Алексеевичу за консультацию, обсуждение и замечания по первоначальной версии статьи.
ЛИТЕРАТУРА
[1] Challoner A.V.J. Photoelectric plethysmography for estimating cutaneous blood flow. In: Rolfe P. (ed.). Non-invasive Physiological Measurements. Vol. 1. Academic, 1979, pp. 125-151.
[2] Рогаткин Д.А. Физические основы современных оптических методов исследования микрогемодинамики in vivo. Лекция. Медицинская физика, 2017, № 4, с. 75-93.
[3] Семчук И.П., Муравская Н.П., Самородов А.В. Экспериментальное исследование оптических методов бесконтактной фотоплетизмографии. Физика и радиоэлектроника в медицине и экологии. М., Графика, 2018, с. 86-89.
[4] Зильбер А.П., ред. Этюды медицинского права и этики. М., МЕДпресс-информ, 2008.
[5] Тучин В.В., ред. Оптическая медицинская диагностика. Т. 1. М., ФИЗМАТЛИТ, 2007.
[6] Wang D., Yang X., Liu X., et al. Detail-preserving pulse wave extraction from facial videos using consume-level camera. Biomed. Opt. Express, 2020, vol. 11, no. 4, pp. 18761891. DOI: https://doi.org/10.1364/boe.380646
[7] Nishidate I., Maeda Т., Niizeki K., et al. Estimation of melanin and hemoglobin using spectral reflectance images reconstructed from a digital RGB image by the Wiener estimation method. Sensors, 2013, vol. 13, no. 6, pp. 7902-7915.
DOI: https://doi.org/10.3390/sl30607902
[8] Jones G., Clancy N.T., Arridge S., et al. Inference of tissue haemoglobin concentration from stereo RGB. Proc. MIAR, 2016, pp. 50-58.
DOI: https://doi.org/10.1007/978-3-319-43775-0_5
[9] Wang F. Linearity research of a CMOS image sensor. Delft, TU Electronic Instrumentation, 2018. DOI: https://doi.Org/10.4233/uuid:9d79cf6d-19a5-4f0f-a01e-6573f8elb2ce
[10] De Haan G., Jeanne V. Robust pulse rate from chrominance-based rPPG. IEEE Trans. Biomed. Eng., 2013, vol. 60, no. 10, pp. 2878-2886.
DOI: https://doi.Org/10.l 109/TBME.2013.2266196
[11] Janesick J.R. Scientific charge-coupled devices. Bellingham, SPIE Press, 2001.
[12] Hytti H.T. Characterization of digital image noise properties based on RAW data. Proc. SPIE, 2006, vol. 6059, art. 60590A. DOI: https://doi.org/10.1117/12.640500
[13] NOIP1SN1300A. PYTHON 1.3/0.5/0.3 MegaPixels global shutter CMOS image sensors. Denver, Phoenix, Literature Distribution Center for ON Semiconductor, 2016.
[14] Chen D.Y., Wang J.J., Lin K.Y., et al. Image sensor-based heart rate evaluation from face reflectance using Hilbert — Huang transform. IEEE Sensors J., 2014, vol. 15, no. 1, pp. 618-627. DOI: https://doi.org/10.1109/JSEN.2014.2347397
[15] Wang C., Pun Т., Chanel G. A comparative survey of methods for remote heart rate detection from frontal face videos. Front. Bioeng. BiotechnoL, 2018, vol. 6, art. 33. DOI: https://doi.org/10.3389/fbioe.2018.00033
[16] Kamshilin A.A., Teplov V., Nippolainen E., et al. Variability of microcirculation detected by blood pulsation imaging. PloS One, 2013, vol. 8, no. 2, art. e57117. DOI: https://doi.org/10.1371/journal.pone.0057117
[17] Verkruysse W., Svaasand L.O., Nelson J.S. Remote plethysmographic imaging using ambient light. Opt. Express, 2008, vol. 16, no. 26, pp. 21434-21445.
DOI: https://doi.org/10.1364/OE.16.021434
[18] Лапитан Д.Г., Разницын O.A. Метод и прототип устройства для неинвазив-ного измерения перфузии ткани кровью. Приборы и техника эксперимента, 2018, № 5, с. 123-128. DOI: https://doi.org/10.1134/S0032816218050117
Гержик Анастасия Алексеевна — техник 1-й категории лаборатории медико-физических исследований Московского областного научно-исследовательского клинического института им. М.Ф. Владимирского (Российская Федерация, 129110, Москва, ул. Щепкина, д. 61/2).
Разницына Ирина Андреевна — младший научный сотрудник лаборатории медико-физических исследований Московского областного научно-исследовательского клинического института им. М.Ф. Владимирского (Российская Федерация, 129110, Москва, ул. Щепкина, д. 61/2).
Просьба ссылаться на эту статью следующим образом:
Гержик А.А., Разницына И.А. Экспериментальное обоснование ряда требований к аппаратным и методическим средствам неконтактной фотоплетизмографии на основе анализа видеоизображений. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2021, № 4 (137), с. 122-138. DOI: https://doi.org/10.18698/0236-3933-2021-4-122-138
EXPERIMENTAL SUBSTANTIATION OF A NUMBER OF REQUIREMENTS FOR HARDWARE AND METHODOLOGY OF NON-CONTACT PHOTOPLETHYSMOGRAPHY BASED ON VIDEO IMAGE ANALYSIS
A. A. Gerzhik [email protected]
I.A. Raznitsyna [email protected]
Moscow Regional Scientific Research Clinical Institute named after M.F. Vladimirsky, Moscow, Russian Federation
Abstract
Experimental assessment of the possibility of using a scientific video camera for realization of non-contact photoplethysmography is carried out. In view of the wide spread of digital cameras in endoscopic units photoplethysmography based on video-image analysis is an inexpensive and promising method for solving problems of medical diagnostics. A number of requirements to the camera parameters ensuring the specified level of the registered signals coded by RGB values, to the external illumination and video image postprocessing algorithms was substantiated. It was found that at signal levels on the green channel of not less than 130 and not more than 220 a. u. (for a camera with 8-bit color coding depth), the highest level of useful pulse signal is provided. It was shown that any source of light of equivalent color temperature in the range of3500-6500 K as well as green LEDs can be used as a light source to obtain a high-quality signal of non-contact photoplethysmography. It is demonstrated that the signal has higher signal/noise ratio when the averaging area is larger than 40 x 40 pixels than when averaging over a smaller group of pixels. The obtained results can be used for the implementation of non-contact photoplethysmography to study local blood flow based on video image analysis
Keywords
Digital camera, non-contact photoplethysmography, hemodynamics, in vivo, RGB
Received 11.12.2020 Accepted 25.06.2021 © Author(s), 2021
This work was supported by the Foundation for Assistance to Small Innovative Enterprises in Science and Technology (contract no. 13938GU/2019)
REFERENCES
[1] Challoner A.V.J. Photoelectric plethysmography for estimating cutaneous blood flow. In: Rolfe P. (ed.). Non-invasive Physiological Measurements. Vol. 1. Academic, 1979, pp. 125-151.
[2] Rogatkin D.A. Physical foundations of contemporary optical methods for the study of microhemodynamics in vivo. Lecture. Meditsinskaya fizika [Medical Physics], 2017, no. 4, pp. 75-93 (in Russ.).
[3] Semchuk I.P., Muravskaya N.P., Samorodov A.V. [Experimental study on optical methods of contactless photoplethysmography]. Fizika i radioelektronika v meditsine i ekologii [Physics and Radioelectronics in Medicine and Ecology]. Moscow, Graflka Publ., 2018, pp. 86-89 (in Russ.).
[4] Zil'ber A.P., ed. Etyudy meditsinskogo prava i etiki [Studies on medical law and ethics]. Moscow, MEDpress-inform Publ., 2008.
[5] Tuchin V.V., ed. Opticheskaya meditsinskaya diagnostika. T. 1 [Optical medical diagnostics. Vol. 1]. Moscow, FIZMATLIT Publ., 2007.
[6] Wang D., Yang X., Liu X., et al. Detail-preserving pulse wave extraction from facial videos using consume-level camera. Biomed. Opt. Express, 2020, vol. 11, no. 4, pp. 18761891. DOI: https://doi.org/10.1364/boe.380646
[7] Nishidate I., Maeda T., Niizeki K., et al. Estimation of melanin and hemoglobin using spectral reflectance images reconstructed from a digital RGB image by the Wiener estimation method. Sensors, 2013, vol. 13, no. 6, pp. 7902-7915.
DOI: https://doi.org/10.3390/sl30607902
[8] Jones G., Clancy N.T., Arridge S., et al. Inference of tissue haemoglobin concentration from stereo RGB. Proc. MIAR, 2016, pp. 50-58.
DOI: https://doi.org/10.1007/978-3-319-43775-0_5
[9] Wang F. Linearity research of a CMOS image sensor. Delft, TU Electronic Instrumentation, 2018. DOI: https://doi.Org/10.4233/uuid:9d79cf6d-19a5-4f0f-a01e-6573f8elb2ce
[10] De Haan G., Jeanne V. Robust pulse rate from chrominance-based rPPG. IEEE Trans. Biomed. Eng., 2013, vol. 60, no. 10, pp. 2878-2886.
DOI: https://doi.Org/10.l 109/TBME.2013.2266196
[11] Janesick J.R. Scientific charge-coupled devices. Bellingham, SPIE press, 2001.
[12] Hytti H.T. Characterization of digital image noise properties based on RAW data. Proc. SPIE, 2006, vol. 6059, art. 60590A. DOI: https://doi.org/10.1117/12.640500
[13] NOIP1SN1300A. PYTHON 1.3/0.5/0.3 MegaPixels global shutter CMOS image sensors. Denver, Phoenix, Literature Distribution Center for ON Semiconductor, 2016.
[14] Chen D.Y., Wang J.J., Lin K.Y., et al. Image sensor-based heart rate evaluation from face reflectance using Hilbert — Huang transform. IEEE Sensors /., 2014, vol. 15, no. 1, pp. 618-627. DOI: https://doi.org/10.1109/JSEN.2014.2347397
[15] Wang C., Pun T., Chanel G. A comparative survey of methods for remote heart rate detection from frontal face videos. Front. Bioeng. Biotechnol., 2018, vol. 6, art. 33. DOI: https://doi.org/10.3389/fbioe.2018.00033
[16] Kamshilin A.A., Teplov V., Nippolainen E., et al. Variability of microcirculation detected by blood pulsation imaging. PloS One, 2013, vol. 8, no. 2, art. e57117. DOI: https://doi.org/10.1371/journal.pone.0057117
[17] Verkruysse W., Svaasand L.O., Nelson J.S. Remote plethysmographic imaging using ambient light. Opt. Express, 2008, vol. 16, no. 26, pp. 21434-21445.
DOI: https://doi.org/10.1364/OE.16.021434
[18] Lapitan D.G., Raznitsyn O.A. A method and a device prototype for noninvasive measurements of blood perfusion in a tissue. Instrum. Exp. Tech., 2018, vol. 61, no. 5, pp. 745-750. DOI: https://doi.org/10.1134/S0020441218050093
Gerzhik A.A. — 1st Category Technician, Laboratory for Medical and Physics Research, Moscow Regional Scientific Research Clinical Institute named after M.F. Vladimirsky (Shepkina ul. 61/2, Moscow, 129110 Russian Federation).
Raznitsyna I.A. — Research Fellow, Laboratory for Medical and Physics Research, Moscow Regional Scientific Research Clinical Institute named after M.F. Vladimirsky (Shepkina ul. 61/2, Moscow, 129110 Russian Federation).
Please cite this article in English as:
Gerzhik A.A., Raznitsyna I.A. Experimental substantiation of a number of requirements for hardware and methodology of non-contact photoplethysmography based on video image analysis. Herald of the Bauman Moscow State Technical University, Series Instrument Engineering, 2021, no. 4 (137), pp. 122-138 (in Russ.). DOI: https://doi.org/10.18698/0236-3933-2021-4-122-138
