CC BY
68
Усиление незначительных колебаний объектов на видеокадрах
Земсков А.В., Гареев А.М., Новиков Д.П.
УСИЛЕНИЕ НЕЗНАЧИТЕЛЬНЫХ КОЛЕБАНИЙ ОБЪЕКТОВ НА ВИДЕОКАДРАХ
А.В. Земсков1, А.М. Гареев2, Д.П. Новиков1 1 Мордовский государственный университет имени Н.П. Огарёва (национальный исследовательский университет), Саранск, Россия,
2Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет) (СГАУ) Самара, Россия
Аннотация
В работе предлагается вариант реализации фильтра усиления амплитуды незначительных колебаний объектов в видеопотоке и порядок поэтапного создания такого фильтра. Для этого приводится математический анализ природы колебаний и более сложных движений объектов в кадрах. Тестируется работа фильтра усиления движений на практике как возможность бесконтактного определения частоты дыхания человека.
Ключевые слова: цифровая фильтрация изображений, пространственная и временная фильтрация, усиление невидимых колебаний в кадре, фильтр Габора, детектирование полезных сигналов малой интенсивности в видеопотоке.
Цитирование: Земсков, А.В. Усиление незначительных колебаний объектов на видеокадрах / А.В. Земсков, А.М. Гареев, Д.П. Новиков // Компьютерная оптика. - 2015. - Т. 39, № 4. - С. 606-613. - DOI: 10.18287/0134-2452-2015-39-4-606-613.
Введение
Оптические системы, создаваемые человеком, зачастую регистрируют множество полезных сигналов за границами чувствительности человеческого глаза. Инфракрасные камеры позволяют различать температуру объектов, а микроскопы - видеть мельчайшие детали. Однако даже обычные любительские камеры часто фиксируют множество полезной информации, выходящей за границы чувствительности зрительной системы человека. Эта информация может быть обработана с использованием современных систем компьютерного зрения и методов цифровой обработки изображений.
Многие явления природы сопровождаются колебаниями или перемещениями малой амплитуды, такой, что срабатывают далеко не все специализированные системы распознавания движений. Детали городских зданий, качающиеся от слабого ветра, колебания работающего двигателя, движения грудной клетки человека при дыхании - это малая часть тех явлений, которые обычно незаметны, но могли бы легко обнаружиться и использоваться для получения ценной информации.
Незначительные колебания поверхности тела человека и колебания цвета кожи могут быть сняты видеокамерой и дать после специальной обработки полезную информацию, например, частоту пульса и дыхания. Работы в направлении бесконтактного определения биологических показателей человека ведутся уже несколько лет. Часть таких работ описывает применение разнообразных методов бесконтактного снятия показаний, использование естественного освещения или лазерной подсветки точек на теле человека [1, 2]. В таких работах приводят общую теорию используемого метода и результаты исследований. Другое направление связано со съёмкой тела человека с помощью тепловизоров, когда полезная информация становится доступной за счёт применения сложных устройств [3]. Наиболее интересны методы, использующие только недорогое оборудование, имеющееся под рукой, на-
пример, обычную веб-камеру. Так, в [4, 5] используются алгоритмы с разложением точек видеоизображения кожи человека на цветовые компоненты и построения из значений компонент сигнала. Полученный сигнал фильтруется и анализируется с целью получения информации о пульсе человека.
Представляют ценность для изучения работы [6, 7], описывающие методики создания фильтров, позволяющих усиливать различные колебания на видеокадрах с тела человека. Из значений амплитуд усиленных колебаний создаётся сигнал, который служит источником информации о частоте пульса и дыхания. Усиление колебаний позволяет увеличить полезный сигнал по отношению к различным фоновым воздействиям, таким как изменяющееся освещение.
Данная работа описывает метод, согласно которому могут быть усилены незначительные изменения на картинке с видеокамеры.
Для получения фильтра, усиливающего незначительные колебания и движения объектов в видеокадрах, введём абстрактную математическую модель одномерного движения точки определённой яркости по прямой полосе (горизонтальной или вертикальной) изображения от кадра к кадру. Применим коэффициент усиления к такому движению, затем перейдём к формулировке частного выражения, более подходящего для практической реализации.
Во втором пункте оценим условия применимости и точность математической модели перед реализацией фильтра на практике. Определим ошибку аппроксимации идеального выражения описания движения точки по кадрам выражением, подходящим для практического применения.
В третьем пункте перейдём к практической реализации фильтра усиления движений и введём пространственную и временную фильтрации потока видеокадров с целью обнаружения контуров объектов и усиления их движений. Рассмотрим фильтр Габора как вариант пространственной фильтрации изображения для нахождения контуров объектов.
606
Компьютерная оптика, 2015, том 39, №4
Усиление незначительных колебаний объектов на видеокадрах
Земсков А.В., Гареев А.М., Новиков Д.П.
В четвёртом пункте приведём схему реализации фильтра усиления незначительных колебаний с применением библиотеки OpenCV [8, 9]. Оценим результаты работы тестового приложения для OS Windows.
1. Математическое описание одномерного движения в видеокадре
Пусть функция I(x,t) характеризует некоторый параметр точки с координатой x на полоске изображения в момент времени t, например, яркость. Для построения графиков, выступающих в качестве наглядного примера, положим, что яркость от точки к точке
меняется по закону косинуса:
f (x) = cos( x). (1)
А зависимость приращения координаты точки от времени определяет функция 5(t), записанная, например, следующим образом:
8(t) = -(p 8) t. (2)
Тогда яркость в точке x в момент времени t:
I (x, t) = f (x + 8(t)). (3)
В начальный момент времени
I (x,0) = f (x). (4)
Чтобы усилить перемещение яркости от точки к точке со временем и сделать незначительное движение на изображении видимым, умножим функцию 5(t) на коэффициент усиления k:
Ik (x, t) = f (x + k -5(t)). (5)
Выражение (5) хорошо отражает теоретический процесс усиления движения (рис. 1), однако мало подходит для практического применения. На практике к изображению применяется разложение на цветовые составляющие с помощью фильтрации, затем каждая составляющая обрабатывается. Поэтому необходимо получить функцию, отражающую сумму таких составляющих с применением коэффициентов к каждой составляющей.
Рис. 1. Функция распределения яркости по точкам в момент времени t = 0 I(x, 0), t = 1 I(x, t), и t = 1, усиленная в k = 2 раза
Предположим, что изображение можно аппроксимировать разложением функции яркости в ряд Тейлора первого порядка. Тогда получаем функцию IT(x,t) вида
IT (x, t) = f (x) + 5(t) ^ . (6)
ox
Введём функцию J(x,t), представляющую результат применения некоторого фильтра к каждой точке x изображения. Сигнал перемещения яркости 5(t) находится в полосе пропускания этого фильтра:
J (x, t) = 5(t) . (7)
ox
Чтобы получить исходное изображение с усиленными движениями, увеличим фильтрованный сигнал яркости точки x J(x,t) в k раз и добавим к исходному сигналу IT(x,t):
Iamp (x, t) = It (x, t) + kJ (x,t). (8)
Iamp(x,t) - усиленный аппроксимированный сигнал.
Подставив выражения (6) и (7) в (8), получим:
IamP (x,t) = f (x) + (k + 1)5(t) fxi. (9)
Сравнивая выражения (5) и (9), получаем, что с помощью приближения через ряд Тейлора функция перемещения яркости по точкам, т. е. движения некоторого объекта на теоретическом изображении, может быть представлена как сумма интересующего нас сигнала перемещения яркости, прошедшего через фильтр, и сигнала распределения яркости в предыдущий момент времени для реального изображения. Сигнал перемещения яркости или какой-либо цветовой компоненты, проходя через фильтр, может быть усилен. Это приведёт к увеличению амплитуды движения объекта на картинке.
На рис. 2 показаны графики основных функций. Функция для времени t = 1 отстоит от сигнала t = 0.
Рис. 2. Функция распределения яркости по точкам в момент времени t = 0, t = 1, аппроксимация функции для момента времени t = 1, функция J(x,t), отражающая изменение сигнала от времени t = 0 к t = 1, аппроксимированный и усиленный сигнал перемещения f(x)+kJ(x,t)
Аппроксимированная функция f(x)+6(t)f’(x) практически полностью повторяет идеальную функцию f(x + 5(t)) для времени t = 1. При k = 2 усиленный в 2 раза аппроксимированный сигнал отображает возможность увеличения движения, однако имеет в своём составе и увеличенную ошибку. Ошибка заключается в расширении графика сигнала по горизонтали и
Компьютерная оптика, 2015, том 39, №4
607
Усиление незначительных колебаний объектов на видеокадрах
Земсков А.В., Гареев А.М., Новиков Д.П.
вертикали, в то время как сигнал без ошибки расширяется только горизонтально по оси x (рис. 1).
Вернёмся к выражению (7) и рассмотрим более общий случай, когда спектр сигнала перемещения 5(t) не попадает целиком в полосу пропускания фильтра. Тогда сигнал 5(t) может быть представлен совокупностью составляющих 5,(t), а каждая составляющая при прохождении цифрового фильтра имеет коэффициент усиления X,. В результате сигнал после фильтра:
j (x, t) = X Id (t) f-. (10)
Т аким же образом изменяется и выражение (5) для более общего случая:
(x, t) = f (x + X k 5,- (t)). (11)
i
2. Ошибка аппроксимации и условия применимости метода
Оценим границы практического применения описанного метода и возникающие ошибки - шум при усилении движения.
Для возможности практической реализации алгоритма начальное выражение (5) было аппроксимировано рядом Тейлора первого порядка, следовательно, возникла ошибка аппроксимации - изменяющееся в зависимости от параметров расхождение идеального и реального сигналов. Оценим это расхождение.
Цель аппроксимации - получить наиболее похожие выражения:
I »It. (12)
amp k 'х 2
С целью поиска условий применимости метода используем для замены выражения (5) и (9):
f (x) + (k + 1)S(t)» f (x + k8(t)). (13)
ox
Введём замену f(x) = cos(ax) для пространственной частоты ю и упростим выражение (13), взяв производную от cos(юx):
cos(wx) - (k + 1)w5(t)sin(wr)» cos(wx + kw5(t)) .(14)
Используем тригонометрические тождества и получаем:
cos(wx) - (k + 1)w5(t) sin(wx) »
» cos(wx) cos(kw5(t)) - sin(wx) sin(kw5(t))
Видно, что при приближении аргумента kro5(t) к нулю левая и правая части выражения (15) становятся равны и ошибка также стремится к нулю:
cos(kw5(t)) »1, (16)
sin(kw5(t)) » kw5(t). (17)
На практике возьмём упрощённое выражение для длины волны, верное при рассмотрении пространственных длин волн на изображении:
Х = (2я)/Ю. (18)
Примем, что условия выражений (16) и (17) будут выполняться только при [6]
kw5(t) <p4. (19)
Тогда
k 5(t) < X/ 8. (20)
Для выражения идеального сигнала Ik и аппроксимированного Iamp: f(x) = cos(ax), где ю определяется выражениями (18) - (20). Построим графики идеального и реального усиленных сигналов для X = 2п (рис. 3).
Рис. 3. Идеальный (а) и аппроксимированный (б) усиленные сигналы движения для пространственной длины волны X = 2п и разных коэффициентов усиления
Пусть применённый к изображению фильтр нашёл сигнал с пространственной частотой X = п. Построим графики и проверим, насколько будет высока ошибка для неизменных значений коэффициента усиления (рис. 4).
Из рис. 3 и 4 видно, что идеальный сигнал нечувствителен к величине коэффициента усиления. Однако аппроксимированный, реальный сигнал, изначально имеющий ошибку, с увеличением коэффициента усиления получает увеличенную ошибку и искажается сильнее.
Пусть ошибка - разница между реальным и аппроксимированным сигналами:
E (V) = | cos(wx) - (k +1) w5(t) sin(wx) -- cos(wx + kw5(t)) |
Построим несколько графиков для выражения (21) и сравним их (рис. 5).
По графикам на рис. 5 несложно проследить, что для соотношения
k 5(t) = X/ 8 (22)
608
Компьютерная оптика, 2015, том 39, №4
Усиление незначительных колебаний объектов на видеокадрах
Земсков А.В., Гареев А.М., Новиков Д.П.
значения ошибки относительно малы. С увеличением длины волны увеличивается максимально возможный коэффициент усиления при сохранении значения ошибки на прежнем уровне. Однако при уменьшении длины волны, начиная с некоторого порога, ошибка резко возрастает. Введённое в выражении 20 ограничение на величину коэффициента к в зависимости от X отображает этот порог. Данное выражение было подобрано в ходе аппроксимации и тестирования [7, 10]. Оно справедливо для большинства практических случаев и не вносит существенной ошибки. Тем не менее, это нестрогое ограничение и может быть изменено для отдельных условий.
f— к=1,2 к=1,5-----к=2,0---к=3,0-----к=4,0 \
Рис. 4. Идеальный (а) и аппроксимированный (б) усиленные сигналы движения для пространственной длины волны X = п и разных коэффициентов усиления
Таким образом, мы получили оценку возможности усиления движения и определили условия применимости такого усиления для практических целей.
3. Фильтрация видеопотока для реализации метода усиления движения
В реальных видеокадрах присутствует множество одновременных движений с разной скоростью. Дальнейшая обработка связана с разложением движений в кадре по частотным характеристикам, как пространственным, так и временным.
На первом этапе происходит разложение изображения по пространственным частотам и фильтрация с целью нахождения контуров интересующих объектов. Окончательное изображение будет сильно искажено, если обрабатывать все найденные контуры, а усиливаемые движения будут накладываться друг на друга, создавая трудности при считывании информации с картинки. Таким образом, имеет смысл усили-
вать колебания только необходимых объектов. Поэтому применим фильтр Габора, позволяющий обнаружить контуры объектов с интересующими направлением и частотой на изображении.
0,030
0,015
0
а)
0,030
0,015
0
б)
Рис. 5. Зависимость величины ошибки от скорости движения в кадре S(t) при к = 2 (а) и от коэффициента усиления к при S(t) = 2 (б)
Фильтр Габора принадлежит к семейству полосовых фильтров [11]. Такие фильтры способны выявить диапазон частот сигнала в определённом промежутке и направлении [12], их широко используют для определения отдельных контуров объектов на изображениях. Импульсная переходная характеристика фильтра Габора определяется как комплексная синусоида, помноженная на гауссиан:
•\\ ■ \ \ • \\ \\ \ . \ V cons 'к = 2 5(0=2 5(0=5 Щ=4 5(0=5 ■ ■ ■ ■ 5(0=5 5(0=7 ■■ - 5(0-5
\ \ '• \\ \\^! К I 1
20 30 40 50 X
g (x,y,X,0,y,c,y) =
x 12 + Y2 y 12 x ’
= exp(-----, ) cos(2^—+ w)
2g2 X
(23)
где x ’ = x cos 0 + y sin 0, y ’ = -x sin 0 + y cos 0 , X - длина волны множителя-косинуса, 0 - ориентация нормали полос функции Г абора в градусах, у - сдвиг фаз в градусах, у - коэффициент сжатия, характеризующий эллиптичность функции Г абора.
Для практической реализации используем формулу расчёта значений ядра фильтра Габора в двумерном пространстве:
g(x, y) = exp(-
хф _ Уф
2d 2о2.
■)cos(2n0xf),
(24)
Компьютерная оптика, 2015, том 39, №4
609
Усиление незначительных колебаний объектов на видеокадрах
Земсков А.В., Гареев А.М., Новиков Д.П.
где Xf = x cos ф + y sin ф, yf = -x sin ф + y cos ф , ax, ay -
отклонения гауссова ядра по осям x и y соответственно, определяющие растянутость фильтра по осям, 9 - частота фильтра, ф - ориентация нормали полос функции Г абора в градусах, определяющая направление фильтра.
Дополнительной задачей практической реализации фильтра Габора является нормирование среднего значения фильтра на интервале свёртки к нулю.
Свёртка изображения с фильтром, содержащим ненулевую среднюю составляющую, не даёт нужного результата, так как требуется обнаружение только контуров объектов (рис. 6) [13].
Рис. 6. Входное изображение и результат фильтрации с фильтром Габора, усреднённое значение которого отличается от нуля
Используем матрицу ядра фильтра Габора размера N2, значения которой получим с помощью формулы (24). Для нормировки вычислим среднее значение элементов матрицы:
1 N N
R = N2 ZZ g(i,j)
N i=1 j=1
(25)
Затем выполним обход по элементам матрицы и вычтем среднее значение R из каждого элемента [14, 15].
Данного алгоритма нормировки достаточно для получения приемлемых результатов и реализации фильтра усиления незначительных колебаний. Параметры ох, oy, 9, ф при программной реализации фильтров принимались за константы и подстраивались исходя из условий видеосъёмки и положения в кадре объектов, колебания которых требуется усилить. Значения параметров при получении результатов, предложенных в статье: о = oX = oy = 1,6; 9 = 1,5; ф = п (рис. 7).
Рис. 7. Входное изображение и результат фильтрации с нормированным к нулю фильтром Габора
Таким образом найдены границы и контуры объектов. Осуществлена пространственная фильтрация
фильтром Габора, и получено значение функции J(x,y, t) в каждой точке. Остаётся реализовать временную фильтрацию - функцию, дающую отклик на вектор движения и коэффициент усиления движения k. В самом простом случае выполним умножение на синус той частоты, которую необходимо усилить.
Получим готовое выражение для реализации усиления движения:
hmp (^ У, t) = 1 (^ У, t) +
' , (26)
+kZ [(I (x, y, t -t) * * g(x, y)) sin(t -t)]
t=to
где ** - двумерная свёртка.
Полученное выражение является упрощённым вариантом фильтрации и усиления движений в кадре для обработки видеопотока в режиме реального времени.
4. Пример работы метода усиления движений
Используем выражение (26) и создадим тестовую программу согласно схеме рис. 8 с целью оценки возможностей метода усиления незначительных колебаний.
Рис. 8. Схема программного конвейера обработки кадров
Согласно приведённой схеме, используется захват видеопотока с веб-камеры, подключенной к компьютеру. Каждый новый кадр проходит фильтрацию и усиление движений с выбранными коэффициентами. Буфер содержит некоторое количество кадров, необходимое для достижения заданного качества обработки изображения. Параллельно создаётся два потока: первый содержит кадры без изменений, второй -обработанные данные. На выходе потоки суммируются, что позволяет видеть незначительные колебания на изображении невооружённым глазом.
Тестовые испытания полученного приложения для веб-камеры показали хорошую работоспособность алгоритма и возможность применения его для различных задач. При начальных подобранных параметрах фильтра Г абора ox = oy = 1,6; 9 = 1,5; ф = п и размере ядра фильтра 11x11 были получены результаты, показанные на рис. 9.
Изменение угла наклона фильтра ф позволяет максимально усиливать движения в нужном направлении. Основными параметрами фильтра усиления колебаний являются частота фильтра Габора 9, частота функции временной фильтрации (в нашем случае функции sin(t — t)) и коэффициент усиления. С увеличением частоты фильтра Габора уменьшается размер обнаруживаемых деталей, становится возмож-
610
Компьютерная оптика, 2015, том 39, №4
Усиление незначительных колебаний объектов на видеокадрах
Земсков А.В., Гареев А.М., Новиков Д.П.
ным усиление мелкой моторики человека, однако возникает шум на изображении. Частота функции временной фильтрации определяет частоту тех колебаний, которые требуется усилить. Увеличение коэффициента усиления увеличивает амплитуду всех колебаний, в том числе и связанных с шумом на изображении.
в) г)
Рис. 9. Изменение контуров грудной клетки человека при дыхании для обычного видеопотока (а), для видеопотока, к которому применили усиление движений с коэффициентом усиления k = 2 (б), k = 6 (в), реакция на слабые покачивания всего тела человека при k = 16 (г)
Отдельная работа заключается в создании алгоритма получения из видеоизображения человека биологических колебаний для нахождения частоты пульса и дыхания. Видимое усиление колебаний грудной клетки при дыхании позволяет, например, вычислять частоту дыхания. Увеличивая частоты фильтра, можно усиливать более мелкие колебания тела человека, например, соответствующие пульсу. Незаметные в обычном состоянии колебания шеи и головы в такт сердечным сокращениям после усиления в режиме реального времени могут быть использованы для подсчёта пульса. В идеальном случае все параметры фильтра могут подбираться автоматически исходя из амплитуды полезного сигнала и амплитуды шума.
Заключение
В данной статье изложены общие принципы, лежащие в основе усиления незначительных колебаний и движений в потоке видеокадров. Было показано, что переход от простейшей абстрагированной формулы усиления движения к формуле, реализуемой на практике, сопровождается возникновением ошибки. Визуально ошибка представляет собой паразитные движения и волны на изображении. Важным этапом реализации метода является подбор оптимального фильтра и его коэффициентов. Цель пространственной фильтрации - найти на изображении перемещающиеся контуры и объекты. В приведённом примере временная фильтрация позволяет усиливать ам-
плитуду колебаний найденных контуров за счёт суммирования дополнительного приращения. Однако возможны другие варианты реализации фильтров. Например, при вычитании приращения получится стабилизация изображения.
Метод усиления движений может быть использован в комплексе с другими методами и алгоритмами для создания новейших систем слежения и наблюдения, регистрации сигналов. Авторами статьи был приведён пример программы визуального усиления дыхания человека.
Литература
1. Tarassenko, L. Non-contact video-based vital sign monitoring using ambient light and auto-regressive models /
L. Tarassenko, M. Villarroel, A. Guazzi, J. Jorge, D. Clifton, C. Pugh // Physiological Measurement. - 2014. -Vol. 35. - P. 807-831.
2. Chen, Y. A Non-Contact Pulse Automatic Positioning Measurement System for Traditional Chinese Medicine / Y. Chen, R. Chang, K. Jwo, C. Hsu, C. Tsao // Sensors. - 2015. -Vol. 15. - P. 9899-9914.
3. Lewandowska, M. Measuring Pulse Rate with a Webcam -a Non-contact Method for Evaluating Cardiac Activity /
M. Lewandowska, J. Ruminski, T. Kocejko // Proceedings of the Federated Conference on Computer Science and Information Systems. - Szczecin, Poland: 2014. - P. 405-410.
4. Sun, Y. Noncontact imaging photoplethysmography to effectively access pulse rate variability / Y. Sun, S. Hu, V. Azorin-Peris, R. Kalawsky, S. Greenwald // Journal of Biomedical Optics. - 2013. - Vol. 18, Issue 6.
5. Poh, M. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation /
M. Poh, D. McDuff, R. Picard // Optics Express. - 2010. -Vol. 18, Issue 10. - P. 10762-10774.
6. Wu, H. Eulerian Video Magnification for Revealing Subtle Changes in the World / H. Wu, M. Rubinstein, E. Shih,
J. Guttag, F. Durand, W. Freeman // ACM Transactions on Graphics (TOG) - SIGGRAPH 2012 Conference Proceedings. - N.Y.: 2012. - Vol. 31, Issue 65.
7. Wadhwa, N. Phase-based video motion processing /
N. Wadhwa, M. Rubinstein, F. Durand, W.T. Freeman // ACM Transactions on Graphics (TOG) - SIGGRAPH 2013 Conference Proceedings. - N.Y.: 2013. - Vol. 32, Issue 80.
8. Bradski, G. Learning OpenCV: Computer Vision with the OpenCV Library / G. Bradski, A. Kaehler. - Sebastopol: O'Reilly Media, 2008. - 556 p.
9. Приоров, А.Л. Цифровая обработка изображений / А.Л. Приоров, И.В. Апальков, В.В. Хрящёв. - Ярославль: ЯрГУ, 2007. - 235 с.
10. Dayan, P. Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems / P. Dayan, L.F. Abbot. - Cambridge: MIT Press, 2001. - 576 p.
11. Florczyk, S. Robot Vision: Video-based Indoor Exploration with Autonomous and Mobile Robots / S. Florczyk. -Weinheim: Willey-VCH, 2005. - 216 p.
12. Kong, A. An evaluation of Gabor orientation as a feature for face recognition / A. Kong // Pattern Recognition. -Tampa, USA, 2008.
13. Спицын, В.Г. Нахождение параметров и удаление постоянной составляющей фильтра Г абора для обработки изображений / В.Г. Спицын, А. Кермани Коланкех, Ф. Хамкер // Известия Томского политехнического университета. - Томск, 2011. - Т. 318, № 5. - С. 57-59.
Компьютерная оптика, 2015, том 39, №4
611
Усиление незначительных колебаний объектов на видеокадрах
Земсков А.В., Гареев А.М., Новиков Д.П.
14. Гонсалес, Р. Цифровая обработка изображений в среде MATLAB / Р. Гонсалес, Р. Вудс, С. Эддинс; пер. с англ. - М.: Техносфера, 2009. - 616 с. (R.C. Gonzalez, R.E. Woods, S.L. Eddins. Digital Image Processing Using MATLAB. - Gatesmark Publishing, 2009.)
15. Прэтт, У. Цифровая обработка изображений / У. Прэтт; пер. с англ. - М.: Мир, 1982. - 781 с. (W.K. Pratt. Digital Image Processing. - Los Altos, California: PixelSoft, 1982.)
References
[1] Tarassenko L, Villarroel M, Guazzi A, Jorge J, Clifton D, Pugh C. Non-contact video-based vital sign monitoring using ambient light and auto-regressive models. Physiological Measurement 2014; 35: 807-31.
[2] Chen Y, Chang R, Jwo K, Hsu C, Tsao C. A NonContact Pulse Automatic Positioning Measurement System for Traditional Chinese Medicine. Sensors 2015; 15: 9899-914.
[3] Lewandowska M, Ruminski J, Kocejko T. Measuring Pulse Rate with a Webcam - a Non-contact Method for Evaluating Cardiac Activity. Proceedings of the Federated Conference on Computer Science and Information Systems 2014; 405-10.
[4] Sun Y, Hu S, Azorin-Peris V, Kalawsky R, Greenwald S. Noncontact imaging photoplethysmography to effectively access pulse rate variability. Journal of Biomedical Optics 2013; 18(6).
[5] Poh M, McDuff D, Picard R. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation. Optics Express 2010; 18(10): 10762-74.
[6] Hao-Yu Wu, Rubinstein M, Shih E, Guttag J, Durand F, Freeman W. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics (TOG) - SIGGRAPH 2012 Conference Proceedings. New York 2012; 31(65).
[7] Wadhwa N, Rubinstein M, Durand F, Freeman WT. Phase-based video motion processing. ACM Transactions on Graphics (TOG) - SIGGRAPH 2013 Conference Proceedings. New York 2013; 32(80).
[8] Bradski G, Kaehler A. Learning OpenCV: Computer Vision with the OpenCV Library. Sebastopol: OReilly Media; 2008.
[9] Priorov AL, Apalkov IV, Hrjashhev VV. Digital image processing [In Russian]. Jaroslavl; 2007.
[10] Dayan P, Abbot LF. Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems. Cambridge: MIT Press; 2001.
[11] Florczyk S. Robot Vision: Video-based Indoor Exploration with Autonomous and Mobile Robots. Weinheim: Willey-VCH; 2005.
[12] Kong A. An evaluation of Gabor orientation as a feature for face recognition. Pattern Recognition 2008.
[13] Spicyn VG, Kermani Kolankeh A, Hamker F. Finding settings and delete the constant component of the Gabor filter for image processing [In Russian]. The Tomsk Polytechnic University 2011; 318(5): 57-9.
[14] Gonzalez RC, Woods RE, Eddins SL. Digital Image Processing Using MATLAB. Gatesmark Publishing; 2009.
[15] Pratt WK. Digital Image Processing. Los Altos, California: PixelSoft; 1982.
AMPLIFICATION OF LOW-AMPLITUDE OBJECT VIBRATIONS IN VIDEOFRAMES
A. V. Zemskov1, A.M. Gareev2, D.P. Novikov1 1Mordovia Ogarev State University,
2 Samara State Aerospace University
Abstract
The paper proposes a variant of implementation of a filter for the amplification of the low-amplitude object vibrations in the video stream, describing the stages of the filter design. For this purpose, we conduct a mathematical analysis of the nature of vibrations and more complex movements of objects in the frames. The performance of the filter for movement amplification is tested, showing the feasibility of the non-contact determination of human respiration rate.
Keywords: digital image filtering, spatial and temporal filtering, amplification of invisible vibrations in the frame, the Gabor filter, detection of low intensity useful signals in the video stream.
Citation: Zemskov AV, Gareev AM, Novikov DP. Amplification of low-amplitude object vibrations in videoframes. Computer Optics 2015; 39(4): 606-13. DOI: 10.18287/0134-2452-2015-39-4-606-613.
Сведения об авторах
Земсков Антон Владимирович, 1988 года рождения, в 2011 году окончил Мордовский государственный университет им. Н.П. Огарёва по специальности 210302 «Радиотехника», кандидат технических наук, работает доцентом кафедры радиотехники Мордовского государственного университета им. Н.П. Огарёва. Область научных интересов: силовая электроника, микроэлектроника, системы компьютерного зрения.
E-mail: zemskov.sar@gmail.com .
Anton Vladimirovich Zemskov (b. 1988) graduated from Mordovia Ogarev State University in 2011, majoring in Radio Technology, Ph. D. Associate Professor of Radio Engineering department Mordovia State University. Research interests are power electronics, microelectronics, computer vision systems.
Г ареев Альберт Минеасхатович, 1982 года рождения, в 2005 году окончил Самарский государственный аэрокосмический университет им. С.П. Королёва по специальности 250201 «Техническая эксплуатация летательных аппаратов и двигателей», кандидат технических наук, работает доцентом кафедры эксплуатации авиационной техники Самарского государственного аэрокосмического университета имени академика С.П. Королёва. Область научных интересов: производство и ремонт летательных аппаратов и авиационных двигателей.
612
Компьютерная оптика, 2015, том 39, №4
Усиление незначительных колебаний объектов на видеокадрах
Земсков А.В., Гареев А.М., Новиков Д.П.
E-mail: garevev@ssau.ru .
Albert Mineaskhatovich Gareev (b. 1982) graduated from Samara State Aerospace University in 2005, majoring in Aircraft Operation department Samara State Aerospace University, Ph. D. Associate Professor of Aircraft Operation department Samara State Aerospace University. Research interests are manufacture and repair of aircraft engines.
Новиков Дмитрий Павлович, 1992 года рождения, в 2014 году окончил Мордовский государственный университет им. Н.П. Огарёва по специальности 210302 «Радиотехника», аспирант. Область научных интересов: системы компьютерного зрения, силовая электроника, микроэлектроника, компьютерное моделирование и автоматизация эксперимента.
E-mail: ainewd@gmail. com.
Dmitry Pavlovich Novikov (b. 1992) graduated from Mordovia Ogarev State University in 2014, majoring in Radio Technology. He is a postgraduate student now. Research interests are computer vision systems, power electronics, microelectronics, computer modeling and automation of the experiment.
Поступила в редакцию 16 июня 2015 г. Окончательный вариант - 4 августа 2015 г.
Компьютерная оптика, 2015, том 39, №4
613
