Алгоритм оценивания взаимного сдвига и поворота изображений на основе метода неподвижной точки с использованием проекций Текст научной статьи по специальности «Прочие технологии»

УДК 621.391

АЛГОРИТМ ОЦЕНИВАНИЯ ВЗАИМНОГО СДВИГА И ПОВОРОТА ИЗОБРАЖЕНИЙ НА ОСНОВЕ МЕТОДА НЕПОДВИЖНОЙ ТОЧКИ С ИСПОЛЬЗОВАНИЕМ ПРОЕКЦИЙ

© 2014 В.Р. Крашенинников, А.Д. Кадеев

Ульяновский государственный технический университет

Поступила в редакцию 19.10.2014

Предложен алгоритм оценивания межкадрового сдвига и поворота двух изображений, основанный на методе неподвижной точки. Неподвижная точка ищется как центр симметрии разности двух изображений, одно из которых - первое данное изображение, другое - повёрнутое второе данное изображение. При этом использование проекций для определения центра симметрии значительно сокращает объём вычислений. Для повышения точности использовано несколько проекций.

Ключевые слова: межкадровый сдвиг и поворот изображений, неподвижная точка, центр симметрии, проекция

В связи с широким внедрением современных мобильных систем обработки видеоизображений (навигация, робототехника, видеорегистраторы на транспорте, системы глобального спутникового мониторинга, медицинская диагностика и т.д.) весьма актуальной стала проблема обеспечения точного оценивания и компенсации межкадровых геометрических искажений последовательности изображений, связанных с пространственной нестабильностью мобильных видеокамер, например, находящихся на летательных аппаратах. Обычно межкадровые геометрические искажения описываются некоторой математической моделью с неизвестными параметрами, например, сдвиг, поворот и изменение масштаба. Таким образом, пусть требуется оценить вектор параметров геометрической трансформации (ГТ) текущего кадра относительно предыдущего. Для решения этой задачи разработано большое количество алгоритмов. Однако большой диапазон значений параметров резко снижает их вычислительную эффективность. Поэтому большой интерес представляет разработка новых подходов и алгоритмов, имеющих достаточно большую рабочую зону и не требующих при этом значительных вычислительных затрат. Одним из таких перспективных подходов является использование метода неподвижной точки (НТ) геометрического преобразования изображений [1-8].

Метод неподвижной точки. Будем для

Крашенинников Виктор Ростиславович, доктор технических наук, профессор, заведующий кафедрой «Прикладная математика и информатика». E-mail: kvr @ulstu.ru.

Кадеев Артём Дамирович, аспирант

определённости рассматривать двумерные изображения. Обобщение этого метода также возможно и на изображения большей размерности. Пусть х(и, V) и у(г, у) - два изображения с известным видом ГТ (/, g), связывающим координаты точек этих изображений:

и = v = ф

где а - параметры, подлежащие оцениванию. Выполнив вспомогательное преобразование (р, д) изображения у(г, у), получим изображение ¿(¡, у), связанное с х(и, ^ преобразованием

и = / (р(г, у), д(г, у); а) = ¥ (г, у; а), V = g (р(г, у), я(1, у); а ) = 0(г, у; а). (2/

Предположим, что это преобразование имеет единственную НТ (и, V):

и = ¥ (и, v;а), V = 0(и, v;а) , .

. V3/

Если эту НТ удастся найти, то (3) превращается в систему уравнений относительно параметров а . Если ГТ имеет только два параметра (например, при параллельном сдвиге или при изменении масштаба и повороте относительно известной точки), то из системы (3) эти параметры определяются. Если же ГТ имеет более двух параметров, то выполняется К вспомогательных преобразований, находятся их НТ, составляется система уравнений

щ = ¥к (ик, vk ;«Х ^ = = ст (ик, vk ;«Х к = К,

из которой находятся оценки всех параметров а .

Основная трудность применения этого метода состоит в нахождении НТ. Необходимым условием неподвижности точки (и, V), является

у(', 7) в координаты х(и, V) имеет вид:

(и, V) изображения

(и, у; а ), 0(и, у; а )) = г(и, у)

и = а + (/ соб р — 7 Бт р), V = = Ь + (' ътр + 7 собр).

(6)

. (5)

Но это условие не является достаточным, так как на изображении х(и, V) могут быть и другие

точки со значением 7), а неподвижная -только одна из них. Поэтому для каждого конкретного вида ГТ нужно подобрать свои вспомогательные преобразования и найти признаки неподвижности точки. Несколько таких признаков предложено в [4-8].

Оценивание смещения при небольших углах поворота. Рассмотрим следующий, часто встречающийся вид ГТ: поворот на угол ф вокруг центра изображения и параллельный сдвиг на вектор (а, Ь). Оба изображения х(и, V) и

y(i, 7) заданы на целочисленной сетке. Для упрощения выкладок расположим начало координат (0,0) в центре сетки. Таким образом, преобразование координат (', 7 ) изображения

При этом координаты (и, V) могут оказаться дробными, поэтому для вычисления значений х(и, V) может потребоваться интерполяция сеточного изображения х(и, V). По заданным изображениям х(и, V) и у(', 7) требуется оценить параметры ГТ (6). Возьмем в качестве вспомогательного преобразования (р, поворот изображения у(', 7) относительно его центра на угол ж, тогда получится изображение z(i,7) = У(—7). В преобразовании (6) этот поворот эквивалентен увеличению р на ж , поэтому система (3) принимает вид:

и = а — (и соб( — V Бтр), V = = Ь — (и Бтр + V собр).

Она имеет единственное решение

(7)

и = [а(1 + соб р) + Ь Бт р] /[(1 + соб р)2 + (бш р)2 ], V = [Ь(1 + собр) — а бш р] /[(1 + собр)2 + (Бтр)2].

(8)

При значениях параметра р~ 0 из (8) получаем и « а/2,V « Ь/2, то есть

а

2и, Ь « 2v

(9)

Таким образом, оценив положение (и, V) НТ преобразования изображения х(и, V) в изображение z(i, 7), мы из (9) оценим параметры сдвига (а, Ь).

Перейдем теперь к нахождению НТ. Для этого рассмотрим изображение

Л(', 7) =| z(i, 7) — х(', 7) |. Значения изображений х(и, V) и z(u, V) в НТ (и, V) совпадают, поэтому Л(u, ^ = 0 . Но могут быть и другие

но относительно изображения (а) на 10 пикселей влево и на 8 пикселей вниз. Изображение (в) есть изображение (б), повёрнутое на угол ж вокруг центра. Изображение (г) есть разность Л(i, 7) изображений (а) и (в), на нём перекрестье белых линий находится точка центральной симметрии.

В силу центральной симметрии разности е(и, V; т, п) =| Л(и + т, V + п) — Л(и — да, V — п) |= 0 при любых т и п. Однако снова могут быть и другие точки, в которых £(и, V; т, п) = 0 при некоторых значениях т и п. Но маловероятно, что £(и, V; т, п) = 0 сразу для многих значений т и п, если (', 7) не является НТ. Поэтому значения статистики

точки, в которых

Л(и,V)= 0

просто из-за слу-

чайного совпадения значений х(', 7) и z(i, 7) . Пусть сначала в (6) р = 0, тогда очевидно, что изображение Л(', 7) переходит само в себя при повороте на угол ж вокруг НТ. То есть это изображение имеет центральную симметрию относительно НТ (и, V), что продемонстрировано на рис. 1. На этом рисунке изображение (б) смеще-

^7) = Ё лLs(i,7;тп)

т=0 п=—г

(10)

с большей вероятностью малы, когда точка (', 7) находится вблизи НТ. Таким образом, за оценку координат НТ (и, V) можно принять координаты точки минимума (', 7) статистики (10).

в) г)

Рис. 1. Точка центральной симметрии разности изображений

Если условие (р~ 0 не выполняется, то изображение Л(г, 7) не будет иметь центральной симметрии. В [9] был предложен способ поиска НТ с помощью нескольких пробных поворотов изображения У (г, 7) на углы фк = к8 с

шагом $, дающих изображения У к (г,7). При одном из этих поворотов пара изображений х(и, V) и укбудет иметь небольшой угол взаимного поворота, поэтому применение статистики (10) даёт уверенное определение НТ. При этом довольно большие значения $ достаточны для получения грубой оценки, что экономит время по причине меньшего количества проб. Далее полученная оценка может уточняться дополнительными пробными поворотами с меньшим шагом.

Быстрый метод нахождения центра симметрии по проекциям. Нахождение НТ с помощью вычисление статистики (10) по множеству точек требует больших временных затрат. Для сокращения этих затрат в [10] был предложен следующий способ нахождения НТ

по проекциям изображения Строятся

две проекции изображения Л(г, 7), например, горизонтальная и вертикальная (рис. 2), как сумма яркостей в каждом столбце или строке соответственно. Очевидно, что при наличии

центральной симметрии на двумерном изображении, симметрия также будет и на двух его проекциях. Поэтому координаты НТ (по горизонтали и вертикали) оцениваются каждая на своей проекции раздельно, что значительно ускоряет поиск в силу меньшей размерности.

Построение проекций изображения происходит за время, пропорциональное количеству пикселей изображения. Примерно такое же время требуется на нахождение центра симметрии по критерию максимума корреляции, которые дают две координаты искомой НТ. Таким образом, при отсутствии поворота в ГТ, время работы алгоритма пропорционально площади изображения wh.

На верхнем графике рис. 3 показана зависимость среднего модуля ошибки оценки смещения изображений в пикселях от отношения шум/сигнал (в СКО), когда координаты НТ оцениваются описанным способом по двум проекциям. При этом угол поворота экспериментальных изображений выбирался случайно с равномерным распределением на (—ж12;ж12), а смещения по обеим координатам - равномерно на интервале (—30;30). Для повышения точности оценивания параметров ГТ можно использовать большее количество проекций на оси различных направлений. Однако при этом возникает необходимость интерполяции изображений, так как

изображения заданы только на целочисленной сетке. Для проекций, изображённых на рис. 2, интерполяции не требуется, так как вертикальные и горизонтальные линии проектирования проходят точно по узлам сетки. Таким же удобством обладают также две диагональные проекции под углами ± ж / 4 (рис. 4 и 5).

Рис. 2. Нахождение точки центральной симметрии по двум проекциям

Естественно, что при наличии центральной симметрии на двумерном изображении, симметрия также будет и на диагональных проекциях. Поэтому координаты НТ изображений оцениваются на своей диагональной проекции раздельно, как и раньше, но в другой системе координат, повёрнутой относительно главной на угол ж/4. Далее полученные координаты НТ пересчитываются в основные координаты и усредняются с ранее полученными координатами НТ, что и является окончательной оценкой координат НТ.

Рис. 3. Зависимость среднего модуля ошибки оценивания смещения изображений от уровня шума: 1

- по двум проекциям, 2 - по четырём

б

Рис. 4. Нахождение неподвижной точки по четырём проекциям

Рис. 5. Схема диагональных проекций

На нижнем графике рис. 3 показана зависимость среднего модуля ошибки оценки смещения изображений в пикселях от отношения шум/сигнал (в СКО), когда координаты НТ оцениваются описанным способом по четырём проекциям. Сравнение с верхним графиком этого рисунка показывает, что добавлением двух проекций было достигнуто увеличение точности измерения сдвига приблизительно на 40%. Отметим интересную особенность диагональных проекций. Ряды (столбцы) пикселей этих проекций находятся на расстоянии л/1/2 и 0.7 (рис. 5). При пересчёте в старую систему координат достигается дискрет в половину пикселя. Таким образом, на диагональных проекциях может быть достигнута субпиксельная точность нахождения НТ, что, очевидно, также повлияло на существенное повышение точности при увеличении числа проекций.

Выводы: предложенный алгоритм оценивания параметров геометрических трансформаций изображений имеет более высокую точность за счёт большего количества проекций, используемых при нахождении неподвижной точки. Алгоритм обладает большой рабочей зоной и устойчив к шумам. Невысокие затраты по времени выполнения позволяют использовать его в системах реального времени.

Работа выполнена при поддержке гранта

РФФИ № 13-01-00320.

СПИСОК ЛИТЕРАТУРЫ:

1. Крашенинников, В.Р. Оценка параметров геометрической трансформации изображений методом неподвижной точки // Труды РНТО РЭС им. А.С. Попова. Серия: Научная сессия, посвященная Дню радио. Выпуск LXIII. - М., 2008. С. 381-383.

2. Крашенинников, В.Р. Метод неподвижной точки для оценки параметров геометрической трансформации изображений / В.Р. Крашенинников, МА. Потапов // Электронная техника. Сб. научных трудов под ред. В.А. Сергеева. - Ульяновск: УлГТу, 2008. С. 102-107.

3. Крашенинников, В.Р. Нахождение неподвижных точек для оценки параметров геометрической трансформации / В.Р. Крашенинников, МА. Потапов // Труды РНТО РЭС им. А.С. Попова. Серия: Научная сессия, посвященная Дню радио. Выпуск LXIV. - М., 2009. С. 315-317.

4. Krasheninnikov, V.R. Detection of Rectilinear Path of a Fixed Point for the Geometrical Transformation Parameters Estimation of Three-Dimensional Images / V.R. Krasheninnikov, M.A. Potapov // 10th International Conference "Pattern Recognition and Image Analysis: New information Technologies". - December 5-12. 2010. P. 219-222.

5. Krasheninnikov, V.R. Estimating Parameters of Interframe Geometric Transformation of an Image Sequence by the Fixed Point Method / V.R. Krasheninnikov, M.A. Potapov // Pattern Recognition and Image Analysis. 2010. Vol. 20, No. 3. P. 316-323.

6. Крашенинников, В.Р. Исследование точности метода неподвижной точки для оценки параметров геометрической трансформации изображений / В.Р. Крашенинников, МА. Потапов // Труды Российского научно-технического общества радиотехники, электроники и связи им. А.С. Попова. Серия: Научная сессия, посвященная Дню радио. Выпуск LXV. М., 2010. С. 380-383.

7. Krasheninnikov, V.R. A Way to Detect the Straight Line Trajectory of an Immovable Point for Estimating Parameters of Geometrical Transformation of 3D Images / V.R. Krasheninnikov, M.A. Potapov // Pattern Recognition and Image Analysis. 2011. Vol. 21, No.2. P. 280284.

8. Krasheninnikov, V.R. Estimation of Parameters of Geometric Transformation of Images by Fixed Point Method / V.R. Krasheninnikov, M.A. Potapov // Pattern Recognition and Image Analysis. 2012. Vol. 22, No. 2. P. 303-317.

9. Крашенинников, В.Р. Нахождение неподвижных точек преобразований координат при оценивании параметров геометрической трансформации изображений / В.Р. Крашенинников, А.Д. Кадеев // Радиотехника. 2012. Вып. 175, № 9. С. 68-71.

10. Крашенинников, В.Р. Алгоритм оценивания сдвига и поворота изображений на основе метода неподвижной точки / В.Р. Крашенинников, А.Д. Кадеев // Известия Самарского научного центра РАН. 2013. Вып. 4(4). С. 931-935.

ALGORITHM FOR ESTIMATION THE IMAGES SHIFT AND ROTATION BASED ON THE FIXED POINT METHOD USING

PROJECTIONS

© 2014 V.R. Krasheninnikov, A.D. Kadeev Ulyanovsk State Technical University

Algorithm for estimation inter-frame shift and rotation of images based on fixed point method is proposed. The use of projections to determine the center of symmetry significantly reduces the processing time. This algorithm has high time efficiency, sufficient estimation precision and stable to noise. To improve the accuracy of estimation several projections are used. The results of studies of the effectiveness of the algorithm are described.

Key words: interframe geometrical deformations of images, fixed point, center of symmetry, projection

Viktor Krasheninnikov, Doctor of Technical Sciences, Professor, Head of the Department "Applied Mathematics and Computing Science". E-mail: kvr @ulstu.ru. Artyom Kadeev, Post-graduate Student