CC BY
45
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ май-июнь 2015 Том 15 № 3 ISSN 2226-1494 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS
May-June 2015
Vol. 15 No 3 ISSN 2226-1494
http://ntv.ifmo.ru/en
УДК 004.932
АНАЛИЗ ПРИМЕНИМОСТИ АЛГОРИТМА ФАЗОВОЙ КОРРЕЛЯЦИИ ПРИ СТАБИЛИЗАЦИИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ ВИДЕОКАДРОВ КАПИЛЛЯРНОГО КРОВОТ ОКА
К. А. Каримов3, М.В. Волков3
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация Адрес для переписки: [email protected] Информация о статье
Поступила в редакцию 26.12.14, принята к печати 05.03.15 doi: 10.17586/2226-1494-2015-15-3-365-372 Язык статьи - русский
Ссылка для цитирования: Каримов К.А., Волков М.В. Анализ применимости алгоритма фазовой корреляции при стабилизации последовательностей видеокадров капиллярного кровотока // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 3. С. 365-372.
Аннотация
Одной из задач видеокапилляроскопии является восстановление параметров капиллярного кровотока по зарегистрированной последовательности видеокадров. Из-за особенностей регистрации капиллярного кровотока положение капилляров может изменяться в пределах зарегистрированной последовательности видеокадров. В работе предложен и исследован алгоритм обработки видеокадров капиллярного кровотока на основе фазовой корреляции, позволяющий скомпенсировать смещения капилляров. Произведено сравнение предложенного алгоритма с известными алгоритмами стабилизации видеокадров на основе полнокадрового совмещения и на основе детектирования ключевых точек. Выполнено сравнение программных реализаций данных алгоритмов при обработке экспериментально зарегистрированных последовательностей видеокадров капиллярного кровотока и при обработке смоделированных последовательностей видеокадров с заданным смещением. Алгоритм полнокадрового совмещения обеспечивает высокое качество стабилизации, но программа на основе данного алгоритма характеризуется низким быстродействием. Программная реализация алгоритма, основанного на обнаружении ключевых точек, характеризуется хорошим быстродействием, но обеспечивает низкое качество стабилизации для последовательностей видеокадров капиллярного кровотока. Показано, что алгоритм фазовой корреляции является наиболее эффективным для стабилизации рассмотренных входных видеопоследовательностей, обеспечивает высокое качество стабилизации, и программа на его основе характеризуется наилучшим быстродействием. Полученные результаты могут быть использованы в программном обеспечении для биомедицинской диагностики. Ключевые слова
видеокапилляроскопия, алгоритмы стабилизации, фазовая корреляция, капиллярный кровоток, ключевые точки. Благодарности
Авторы выражают благодарность работникам лаборатории исследования периферического кровообращения и тканевого обмена (Москва, Сретенский бульвар 1\4) и лично руководителю лаборатории, кандидату медицинских наук Сухову Константину Васильевичу за выложенные в свободный доступ (сеть Интернет) материалы по капилляроскопии, использованные в настоящей работе в качестве исходных данных. Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации (субсидия 074-U01).
APPLICABILITY ANALYSIS OF THE PHASE CORRELATION ALGORITHM FOR STABILIZATION OF VIDEO FRAMES SEQUENCES FOR CAPILLARY
BLOOD FLOW K.A. Karimov3, M.V. Volkov3
3 ITMO University, Saint Petersburg, 197101, Russian Federation Corresponding author: [email protected] Article info:
Received 26.12.14, accepted 05.03.15 doi: 10.17586/2226-1494-2015-15-3-365-372 Article in Russian
For cit3tion: Karimov K.A., Volkov M.V. Applicability analysis of the phase correlation algorithm for stabilization of video frames sequences for capillary blood flow. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, vol.15, no. 3, pp. 365-372.
Abstract
Videocapillaroscopy is a convenient and non-invasive method of blood flow parameters recovery in the capillaries. Capillaries position can vary at recorded video sequences due to the registration features of capillary blood flow. Stabilization algorithm of video capillary blood flow based on phase correlation is proposed and researched. This algorithm is compared to the known algorithms of video frames stabilization with full-frame superposition and with key points. Programs, based on discussed algorithms, are compared under processing the experimentally recorded video sequences of human capillaries and under processing of computer-simulated sequences of video frames with the specified offset. The full-frame superposition algorithm provides high quality of stabilization; however, the program based on this algorithm requires significant computational resources. Software implementation of the algorithm based on the detection of the key points is characterized by good performance, but provides low quality of stabilization for video sequences capillary blood flow. Algorithm based on phase correlation method provides high quality of stabilization and program realization of this algorithm requires minimal computational resources. It is shown that the phase correlation algorithm is the most useful for stabilization of video sequences for capillaries blood flow. Obtained findings can be used in the software for biomedical diagnostics. Keywords
videocapillaroscopy, stabilization algorithms, phase correlation, capillary blood flow, key points. Acknowledgements
The authors are grateful to employees of the laboratory of peripheral blood circulation and tissue metabolism research (1\4, Sretensky Boulevard, Moscow) and personally to Konstantin V Sukhov, the laboratory director, PhD for capillaroscopy materials posted for free access (Internet) and used in this work as the initial data. This work was carried out under the government financial support of the leading universities of the Russian Federation, Grant 074-U01.
Введение
В настоящее время актуально исследование живых систем с помощью регистрации видеокамерой процессов, протекающих на их поверхностях, с последующей обработкой результатов. Одним из перспективных направлений в данной области является метод видеокапилляроскопии, основанный на анализе последовательностей кадров, отражающих динамику тока крови в капиллярах [1-3].
Положение капилляров в кадрах, регистрируемых в данных системах, подвержено искажениям, связанным с тремором живых объектов. По этой причине требуется дополнительная компьютерная обработка результатов с целью стабилизации положения капилляров.
Известные алгоритмы и пакеты программного обеспечения для обработки видеокадров при выполнении стабилизации позволяют скомпенсировать случайные смещения соседних кадров, но не обеспечивают сохранение положения капилляра в пределах всей последовательности видеокадров [4-6]. Решение задачи стабилизации капилляра относительно зарегистрированной последовательности видеокадров могут обеспечить специализированные алгоритмы, такие как алгоритмы полнокадрового сопоставления и алгоритмы на основе отслеживания ключевых точек (Speeded Up Robust Features, SURF). Алгоритм полнокадрового сопоставления основан на определении смещений всех точек для каждого кадра. Данный алгоритм обеспечивает хорошее качество стабилизации, однако программы на его основе характеризуются низким быстродействием. Алгоритм с использованием SURF основан на определении смещений для некоторых ключевых точек, выбранных автоматически, с последующим усреднением найденных значений смещений [7-12]. Программа на основе алгоритма SURF характеризуется меньшим временем обработки данных по сравнению с алгоритмом полнокадрового сопоставления, но качество стабилизации не позволяет применять этот алгоритм к видеокадрам капиллярного кровотока.
В работе предложен алгоритм стабилизации видеокадров капиллярного кровотока на основе известного метода фазовой корреляции [6]. Алгоритм восстановления смещения текущего кадра заключается в вычислении смещений методом фазовой корреляции для текущего кадра и всех остальных кадров последовательности с последующим усреднением полученных результатов. Поскольку метод фазовой корреляции относится к быстродействующим частотным методам обработки, программная реализация алгоритма стабилизации на основе этого метода характеризуется наилучшим быстродействием. При этом данная реализация обеспечивает качество стабилизации, сопоставимое с качеством стабилизации при использовании алгоритма полнокадрового совмещения.
Метод стабилизации последовательности кадров на основе корреляционного сопоставления
с использованием фазовой информации
Исходная последовательность видеокадров представляет собой результат регистрации кровотока со смещающимися по капилляру эритроцитами (рис. 1). Последовательность состоит из 248 кадров размером 300^230 мкм, полученных с увеличением 400х. При этом диаметр капилляра изменяется в пределах от 8 до 17 мкм. Алгоритмы восстановления параметров кровотока предполагают стационарность местоположения капилляра в кадре на всей последовательности. Однако в исходных данных это не соблюдается. Например, разница в положении капилляра в кадрах 139 и 140 составляет 3 пикселя по оси Y и 5 пикселей по оси X , а разница в кадрах 1 и 140 - уже 33 пикселя по оси Y и 40 пикселей по оси X .
На предварительном этапе работы метода фазовой корреляции входная последовательность кадров переводится в градации серого, и выполняется медианная фильтрация для уменьшения влияния шума на последующую обработку (рис. 2).
tf'sjty
t£
50 мкм
50 мкм
50 мкм
б
Рис. 1. Исходные последовательности кадров (248 кадров, увеличение 400х 4-й (а), 14-й (б) и 43-й (в) кадры последовательности соответственно
а
в
2г с^у
50 мкм 50 мкм 50 мкм
а б в
Рис. 2. Последовательности, обработанные медианной фильтрацией (увеличение 400х): 4-й (а), 14-й (б) и 43-й (в) кадры последовательности соответственно
Пусть есть два изображения f и f2 размером X • Y одного и того же объекта, смещенные друг относительно друга на ( Ax, Ay ). Тогда меру сходства этих изображений как функцию взаимного смещения можно рассчитать как квадрат среднего квадратичного отклонения интенсивности соответствующих пикселей:
X f f (Ax, Ay) = X— f ^ ( fl( x, y) - f2( x -Ax, y-Ay))2,
" 2 X • Y x=0 y =0
где f1( x, y) и f2( x -Ax, y -Ay) - интенсивности соответствующих пикселей; X • Y - размер области корреляции.
Таким образом, можно определить взаимные смещения двух изображений, если отсутствуют другие геометрические преобразования [13, 14].
Обычно ширина изображений X незначительно отличается от их высоты Y . В целях упрощения нижеследующих выражений они предполагаются равными N. В результате при вычислении кросскорре-ляционного поля двух изображений выполняется порядка N4 операций [13]. Учитывая длительность обработки таким способом и необходимость обрабатывать большое количество изображений, можно осуществлять построение кросскорреляционного поля за меньшее количество операций.
В большинстве случаев минимизация среднего квадратичного отклонения эквивалентна максимизации функции корреляции:
1 X-1 Y-1
ca, л^ Ay) = xT ff f1( x У) ^x-Ax У-Ay).
X • Y x=0 y = 0
Обратное преобразование Фурье от произведения спектров изображений есть кросскорреляцион-ное поле этих изображений [13]. Существуют алгоритмы быстрого преобразования Фурье [14], позволяющие произвести расчет тех же N4 операций для двух изображений за пропорциональное N2 log2 N время. Таким образом, используя быстрое преобразование Фурье можно рассчитать кросскорреляцион-ное поле:
1 X-1 Y-1 _ _ i /
Cf1,f2(Ax,Ay) = XTff v)f2*(u,v)exp 2nI
X • 1 u=0 v =0 V V
1 X-1 Y-1
-vff fi( ^ y) f2*( x-Ax y -Ay),
uAx vAy
X Y
X • Y x=0 y =0
где и и V - пространственные частоты; /¡(и,у) - спектр первого изображения, /2*(и,у) - комплексное сопряжение от спектра второго изображения.
50 мкм
б
Рис. 3. Опорный кадр, обрабатываемой последовательности (увеличение 400х) (а);
амплитудный спектр (б)
На рис. 3, б, приведен пример спектра, полученного в результате применения преобразования Фурье к опорному кадру исследуемой последовательности. Так как в алгоритмах дискретного преобразования Фурье изображение представляет собой периодический сигнал, состоящий из копий изображений, приставленных друг к другу, то в результате резкого перепада интенсивностей на границе в центре спектра изображения появляется «крест». Данное явление ухудшает корреляционный отклик (рис. 5, а) и требует корректировки интенсивностей на краях входных изображений (рис. 4).
50 мкм
б
Рис. 4. Опорный кадр со скорректированными интенсивностями на краях (увеличение 400х) (а); амплитудный спектр с уменьшенным влиянием «креста» (б)
Наличие на входных последовательностях смещающихся по капилляру объектов приводит к появлению ярких полос в амплитудно-фазовом спектре, что не позволяет использовать его для точной локализации максимума. Однако, исключив амплитудную информацию, можно получить кросскорреляционное поле с минимизацией данного эффекта (рис. 5, б). Использование только фазовой информации позволяет снизить зависимость результатов от интенсивностей конкретных пикселей. Границы на изображении соответствуют фазовой информации. Они практически не изменяются от кадра к кадру и менее подвержены влиянию шума. В результате, удаление амплитудной информации дает возможность лучшего определения координат максимума:
А(Ьх, Ду) =
1
X-1 У-1
¿¿АМт-тС^• ехр| 2»
Х -У и=о V=0
¡/¿и, V)\ / (и, V)
иДх vДy
X У
где С/? /2 (Дх, Ду) - расчет кросскорреляционного поля с учетом только фазовой информации.
а б
Рис. 5. Кросскорреляционное поле 1-го и 43-го изображений для исходного случая (а) и для сглаженного к краям изображения (б)
Для каждого кадра осуществляется локализация максимума кросскорреляционного поля. Смещение найденного максимума относительно центра изображения соответствует смещению одного изобра-
а
а
жения относительно другого. Найденные для всех изображений сдвиги могут быть скомпенсированы относительно одного или нескольких опорных кадров. Данный метод позволяет компенсировать смещения по координатам в плоскости кадра. В случае наличия искажений последовательности кадров, связанных с поворотами видеокадров, рекомендуется использовать преобразования Фурье-Меллина [15].
Алгоритм стабилизации последовательности видеокадров на основе метода фазовой корреляции
Описанный метод фазовой корреляции позволяет компенсировать сдвиги между двумя кадрами. Возможно применение данного метода для корректировки смещений всех кадров относительно выбранных опорных кадров. Однако шумы, присутствующие на исходной последовательности кадров, могут вносить различные ошибки при выборе разных опорных кадров.
В настоящей работе предлагается алгоритм стабилизации последовательности видеокадров на основе метода фазовой корреляции. Для каждого кадра последовательности проводится оценка его смещения относительно всех остальных кадров последовательности методом фазовой корреляции, после чего выполняется поиск среднего по всем найденным смещениямЛ
1 N-1 1 N -1
ДХ = — УДх , ДУ = — УДу ,
п дг т ' п д, -Ут >
™ т=0 ^ т=0
где N - количество кадров последовательности; ДХп, ДУп - найденные средние смещения для п -го кадра; Дхт, Дут - смещения т -го кадра относительно п -го кадра, найденные методом фазовой корреляции.
На рис. 6 представлены результаты обнаружения средних смещений для каждого кадра исходной последовательности.
а б в
Рис. 6. Найденные смещения для 4-го (а), 14-го (б) и 43-го (в) кадров (увеличение 400х)
Восстановленные смещения позволяют скомпенсировать смещения изображений капилляров в исходной последовательности кадров и получить совмещенную последовательность кадров (рис. 7).
«Г-
»V
50 мкм
50 мкм
50 мкм
а б в
Рис. 7. Результат стабилизации последовательности кадров, приведены: 4-й (а),14-й (б) и 43-й (в) кадры
(увеличение 400х)
На рис. 8 приведены восстановленные графики смещений по координатам х, у (в пикселях) и длины вектора смещения (в пикселях), позволяющие оценить искажения положения капилляров в исходной последовательности кадров.
-40 -I-1-1-1-1-1-1-1-1-1-1-1-1—►
0 20 40 60 80 100 120 140 160 180 200 220 240
Номер кадра 1 - dx, 2 - dy, 3 - смещение
Рис. 8. Восстановленные смещения исходной последовательности кадров Сравнительный анализ эффективности алгоритмов
Как критерии качества работы алгоритмов использовались время, необходимое на обработку исходных данных для программных реализаций рассмотренных алгоритмов, а также погрешность работы исследуемых алгоритмов. Экспериментальная оценка времени работы программной реализации каждого алгоритма проводилась на персональном компьютере. Его номинальные характеристики: процессор (Intel Core i5-2500 -3,3 ГГц), оперативная память (8 ГБ), архитектура (х64). Исходная последовательность кадров, содержащая результат регистрации кровотока с увеличением 400х, состояла из 248 кадров разрешением 266x200 пикселей.
Результаты расчета времени, необходимого на обработку исходных данных в зависимости от применяемого метода стабилизации, приведены в табл. 1.
Метод стабилизации Стабилизация методом фазовой корреляции, t Стабилизация с использованием ключевых точек, t Стабилизация методом полнокадрового совмещения, t
По 1-му опорному кадру 36 с 1 мин 47 с 4 мин 36 с
По всем кадрам 1 ч 32 мин 20 с 2 ч 45 мин 18 с 3 ч 33 мин 43 с
Таблица 1. Экспериментальные результаты оценки времени работы программных реализаций
исследуемых алгоритмов
Для оценки погрешности работы программных реализаций исследуемых алгоритмов выполнялся расчет среднего значения интенсивности каждого пикселя вдоль всей последовательности кадров и расчет средней квадратичной ошибки как суммы отклонений значений интенсивности каждого пикселя от полученных средних значений:
1 N-1 1 Y-1 X-1
Imean(xУ) =—X(XУ), SD = -TvXX
X (In (x, У) - Imean( x, y))2
X • N
где 1теап(х, у) - средняя интенсивность соответствующего пикселя вдоль всей последовательности кадров; 1п (х, у) - интенсивность соответствующего пикселя п -го кадра; Ж - результат расчета средней квадратичной ошибки.
Расчет ошибки стабилизации выполнялся в относительных единицах интенсивности пикселей. За единицу принято значение величины отклонения исходной нестабилизированной последовательности кадров. Результаты расчета средней квадратичной ошибки исследуемых алгоритмов приведены в табл. 2.
Выполнена оценка погрешности работы программных реализаций исследуемых алгоритмов при обработке смоделированных последовательностей видеокадров с заданным смещением.
n=0
Тип исследуемых данных Величина ошибки, отн. ед.
Исходная последовательность 1
Результат стабилизации с использованием ключевых точек 0,62
Результат стабилизации методом фазовой корреляции 0,39
Результат стабилизации методом полнокадрового совмещения 0,32
Таблица 2. Экспериментальные результаты оценки погрешности работы исследуемых алгоритмов
Из первого кадра последовательности была сформирована модельная последовательность кадров с известным набором смещений. В качестве величины ошибки стабилизации использовалось среднее значение разницы между заданной величиной смещения и скомпенсированной величиной, полученной в результате стабилизации последовательности видеокадров с помощью программных реализаций на основе рассмотренных алгоритмов:
S , SD = ^
^ (Soutn - Sinn)2
N
где N - количество кадров; Sn - величина смещения текущего кадра; Sin - исходно заданные смещения; Sout - смещения, восстановленные алгоритмами стабилизации.
Расчет ошибки стабилизации выполнялся в единицах смещения пикселей. Результаты расчета средней квадратичной ошибки исследуемых алгоритмов приведены в табл. 3.
n=0
Наименование алгоритма стабилизации Величина ошибки, ед. пикселей
Стабилизация с использованием ключевых точек 1,39
Стабилизация методом фазовой корреляции 0,84
Стабилизация методом полнокадрового совмещения 0,75
Таблица 3. Экспериментальные результаты оценки погрешности работы исследуемых алгоритмов
Заключение
По результатам компьютерного моделирования, показанным в табл. 1-3, можно сделать вывод, что алгоритм полнокадрового совмещения обеспечивает высокое качество стабилизации, но программа на основе данного алгоритма характеризуется низким быстродействием.
Программная реализация алгоритма, основанного на обнаружении ключевых точек, характеризуется хорошим быстродействием, но обеспечивает низкое качество стабилизации для последовательностей видеокадров капиллярного кровотока.
Показано, что алгоритм фазовой корреляции обеспечивает высокое качество стабилизации, и программа на его основе характеризуется наилучшим быстродействием.
Полученные результаты обработки различных последовательностей видеокадров позволяют сделать вывод об эффективности предложенного алгоритма фазовой корреляции в задачах видеокапилляроскопии при компенсации смещений.
Литература
1. Gurfinkel Y.I., Ishunina A.M. Computerized capillaroscopy as a method of Tanakan therapy efficiency assessment in diabetes patients // Proceedings of SPIE - The International Society for Optical Engineering. 2000. V. 3923. P. 18-23.
2. Cutolo M., Grassi W., Cerinic M.M. Raynaud's phenomenon and the role of capillaroscopy // Arthritis and Rheumatism. 2003. V. 48. N 11. P. 3023-3030. doi: 10.1002/art.11310
3. Сухов К.В., Баранов В.В. Компьютерная капилляроскопия: возможности функциональной диагностики состояния периферического кровообращения // Функциональная диагностика. 2011. № 1. С. 38-39.
4. Kwon O., Shin J., Paik J. Video stabilization using Kalman filter and phase correlation matching // Lecture Notes in Computer Science. 2005. V. 3656 LNCS. P. 141-148.
5. Chang H.-C., Lai S.-H., Lu K.-R. A robust real-time video stabilization algorithm // Journal of Visual Communication and Image Representation. 2006. V. 17. N 3. P. 659-673. doi: 10.1016/j.jvcir.2005.10.004
6. Zhu J., Guo B. Video stabilization with sub-image phase correlation // Chinese Optics Letters. 2006. V. 4. N 9. P. 553-555.
7. Kim S.-K., Kang S.-J., Wang T.-S., Ko S.-J. Feature point classification based global motion estimation for video stabilization // IEEE Transactions on Consumer Electronics. 2013. V. 59. N 1. P. 267-272. doi: 10.1109/TCE.2013.6490269
8. Pinto B., Anurenjan P.R. Video stabilization using speeded up robust features // Proc. Int. Conf. on Communications and Signal Processing (ICCSP 2011). Kerala, India, 2011. P. 527-531.
9. Bay H., Tuytelaars T., Van Gool L. SURF: Speeded up robust features // Lecture Notes in Computer Science. 2006. V. 3951 LNCS. P. 404-417. doi: 10.1007/11744023_32
10. Hu R., Shi R., Shen I.-F., Chen W. Video stabilization using scale-invariant features // Proc. 11th Int. Conf. Information Visualization. Zurich, Switzerland, 2007. P. 871-876. doi: 10.1109/IV.2007.119
11. Qiao G., Zong G., Wang J., Sun M. Automatic toxic granulation detection and grading based on speeded up robust features // Cytometry Part A. 2011. V. 79. N 11. P. 887-890. doi: 10.1002/cyto.a.21113
12. Zhang N. Computing parallel speeded-up robust features (P-SURF) via POSIX threads // Lecture Notes in Computer Science. 2009. V. 5754 LNCS. P. 287-296.
13. Прэт У. Цифровая обработка изображений. Т. 2. М.: Мир, 1982. 479 с.
14. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
15. Martinez-de Dios J.R., Ollero A. A real-time image stabilization system based on Fourier-Mellin transform // Lecture Notes in Computer Science. 2004. V. 3211. P. 376-383.
Каримов Константин Асхатович
Волков Михаил Владимирович
студент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, [email protected]
кандидат технических наук, доцент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, [email protected]
Konstantin A. Karimov Mikhail V. Volkov
student, ITMO University, Saint Petersburg, 197101, Russian Federation, [email protected]
PhD, Associate professor, ITMO University, Saint Petersburg, 197101, Russian Federation, [email protected]
