CC BY
39Journal of Siberian Federal University. Engineering & Technologies, 2018, 11(7), 811-822
УДК 004.932.721
Features of Correlation Analysis of Images and Video Sequences
Andrey V. Bogoslovsky, Andrey V. Ponomarev, Irina V. Zhigulina and Vladimir A. Sukharev*
Military Education and Research Centre of Military-Air Forces
"Military-Air Academy Named After Professor N.E. Zhukovsky and Yu.A. Gagarin" 54а Starykh Bolshevikov Str., Voronezh, 394064, Russia
Received 22.06.2018, received in revised form 17.08.2018, accepted 12.10.2018
The paper deals with 2D-dimensional autocorrelation functions of 2D-dimensional video signals with allowance for the finiteness of the field of view, and it is established that the limits of integration need to be adjusted. It is shown that the autocorrelation function can be used to estimate the location of the object relative to the edges of the image. Possible variants of the object displacement along the image field are considered, the autocorrelation function is determined through the change in the area of the object when it leaves the field of view. Variable substitutions were introduced to find the difference between the autocorrelation functions in the processing of video sequences. Stable areas are identified that change only their location depending on the parameters of the object's movement and its position relative to the center of the frame. The results are consistent for continuous and discrete models. The stability of the proposed method for identifying the motion on the difference in the autocorrelation functions to the change in the shape of the object is shown.
Keywords: image, video sequence, image energy characteristics, signalspatial limit, 2D-autocorrelation function.
Citation: Bogoslovsky A.V., Ponomarev A.V., Zhigulina I.V., Sukharev V.A. Features of correlation analysis of images and video sequences, J. Sib. Fed. Univ. Eng. technol., 2018, 11(7), 811-822. DOI: 10.17516/1999-494X-0096.
© Siberian Federal University. All rights reserved
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License (CC BY-NC 4.0). Corresponding author E-mail address: p-digim@mail.ru
*
Особенности корреляционного анализа изображений и видеопоследовательностей
А.В. Богословский, А.В. Пономарев, И.В. Жигулина, В.А. Сухарев
Военный учебно-научный центр Военно-воздушных сил
«Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина» Россия, 394064, Воронеж, ул. Старых Большевиков, 54а
В работе рассмотрены двумерные автокорреляционные функции двумерных видеосигналов с учетом финитности поля зрения и установлена необходимость корректировки пределов интегрирования. Показано, что по функции автокорреляции можно оценить расположение объекта относительно краев изображения. Рассмотрены возможные варианты смещения объекта по полю изображения, определена функция автокорреляции через изменение площади объекта при выходе его за пределы поля изображения. Введены замены переменных для нахождения разности автокорреляционных функций при обработке видеопоследовательностей. Выделены стабильные области, которые меняют только свое расположение в зависимости от параметров движения объекта и его положения относительно центра кадра. Проведено согласование результатов для непрерывных и дискретных моделей. Показана устойчивость предлагаемого метода идентификации движения по разности автокорреляционных функций к изменению формы объекта.
Ключевые слова: изображение, видеопоследовательность, энергетические характеристики изображения, пространственная ограниченность сигнала, двумерная функция автокорреляции.
Введение
Изображения по своей физической природе ограничены по пространственным координатам. Обычно этот факт не принимается во внимание, и считается, что края изображения находятся достаточно далеко, чтобы их не учитывать, либо их влияние сводится к различным краевым эффектам, приводящим к отрицательным артефактам.
Однако в исследованиях [1, 2] показано, что при обработке видеопоследовательностей ограниченность кадров является дополнительным преимуществом для обнаружения динамических объектов и определения их параметров. Решение такой задачи связано с нахождением разности автокорреляционных функций. Двумерные автокорреляционные функции могут быть использованы и при обработке 2D-изображений [3].
В работе [4] обоснована необходимость учета финитности поля зрения при нахождении автокорреляционных функций одномерных видеосигналов, для чего требуется корректировка пределов интегрирования. Но в двумерном случае появляется новое качество - форма объектов, отсутствующая при одномерном анализе. Кроме того, для дискретного изображения характерно наличие «переходных» пикселей, усложняющих процесс анализа изображения. У непрерывного изображения переходные пиксели отсутствуют, что позволяет находить автокорреляционные функции в общем виде.
Целью статьи является анализ двумерных автокорреляционных функций изображений и видеопоследовательностей, а также согласование результатов для непрерывных и дискретных моделей.
Постановка задачи
На рис. 1 представлено изображение простейшего объекта - произвольного четырехугольника ABCD яркостью в - на равномерном фоне яркостью а. Размер всего изображения (2М + 1) х(2Ж + 1); координаты вершин прямоугольника: А(4,1У), В(их, и) С(гх, г) D(dx, dy).
В одномерном случае функция автокорреляции является четной функцией аргумента k. В двумерном случае она должна обладать, как и энергетический спектр, центральной симметрией, поэтому будем рассматривать автокорреляционную функцию 3(к\, для 0 < ^ < 2М; -2Ы < к1 < 2К
На рис. 2 схематично показано, как устанавливаются пределы интегрирования для двух случаев: ^ > 0 и ^ < 0.
Найдем автокорреляционную функцию для каждого из указанных случаев:
М N
■ (кЪ к2 > 0) = | | {а + (Р-а)-[1 (у - а^х - Ь1)-1 (у - а2х - ¿2 )х[1 (у - с2х - ¡2 )-
-М + к- - N+¿2
-1 (у - с-х - сС-) } • {а + (Р - а) • \1 (у - ¿2 - а-х - Ь- + а-к-) -1 (у - ¿2 - а2х - Ь2 + а2к-) х ( (1)
х[1 (у - к2 - С2х + С2к- - ¡2) -1 (у - к2 - с-х + с-к- - С-) } сСхсСу;
М N+к2
■ (кЪк2 <0)= | | {а + (Р — а) • -а-х ~Ь)~1(у — а2х ~Ь2)\х\}(у-с2х - ¡2 ) -
-М+к -N
-1 (у - с- х - ) } • {а + (Р - а) • \1 (у - к2 - а- х - Ь-+ а-- к-) -1 (у - к2 - а2 х - ¿2 + а2к- )] х ( (2) х\1 (у - к2 - С2х + ск - С2 )-1 (у - к2 - с-х + с-к- - ))} ¡х<3у, если к2 < 0,
N
-M
\ \ \ \ \w .Л' / / / / / / Vv/ /
4c-"" 3 Г' V л-*'
M x
-N
Рис. 1. Изображение объекта на равномерном фоне Fig. 1. Image of the object on a uniform background
- 813 •
, ч Г1 при х > 0, у > 0, где 1(х, у) - дву меумаяфунуцияХевисайда, 1 (х, у) = <
[0 е противном случав.
При нахождении функции автокорреляции возможно несколько вариантов «смещения» объекта ABCD (рис. 1) пополюизображения, ониприведены в табл. 1 для к > 0.
Для всех случаев из табл. 1 характерны дополнительные ограничения на аргументы кь к2. Так, дляслучаев1-3они описываютсясистемаминеравенств:
Г к2 < а2 к+Ы-М а2 - Ь2;
случай 1: } (3)
[к Н-с2к1-М-М02-0/2;
\к2 >Ы + е2кк -с12;
случай2: I (4)
\к2>а {к\ -М) + Ы - Ь
^¡к2<а2к1-Ь2-М;
случайЗ: I (5)
-к2 <с0 (к - АМ)- 0 - N.
Области, соответствующие ограничениям (3)-(5), выделены на рис. 3.
Если значения к и к2 таковы, что объект «выходит» за пределы поля изображения, то величина корреляционного интеграла будетзависеть отизменения площади объекта.
На рис. 4 схематично показано «смещение» объекта, соответствующее случаю 1 из табл. 1.
Таким образом, при нахождении функций автокорреляции в непрерывном случае достаточно установить зависимость площади объекта от значений аргументов к и к2.
Определимизменение площадиобъекта привыходеего запределы поляизображения.
Площадь объекта - произвольного четырехугольника ABCD (рис. 1) - можно описать как функцию только от к (случай 1) либо от к (случаи 2, 3). При изменении к или к в силу особенностей рассматриваемого объекта его можно разбить на три области ^ .Д../,. последовательно «покидающие»полеизображения,чтосхематичнопредставлено на рис. 5.
Площади областей Дь Зд, Т3, находящихся за пределами поля изображения, определяются следующимчбиезом:
k1 > 0, k2 > 0
- N -M
- м+к
Рис. 2. Определениепределовинтегрирования Fig. 2.Determinationofintegration limits
k1 > 0, k2 < 0 limits of integration
N
M + 1
Ni. _
-M
Рис. 3. Области измененийаргументов k1 и k2 Fig. 3. Areas ofargumentchanges k1 and k2
Таблица 1. Варианты смещения объекта по полю изображения Table 1. Variants of object displacement on an image field
№ п/п Направление смещения объекта Условия для аргумента k2
1 объект «перемещается» только через линию x = M D < 0 либо k2 > 0
2 объект «перемещается» только через линию у = N k2 > 0
3 объект «перемещается» только через линию у = ^ k2 < 0
4 перемещение через углы изображения объект «перемещается» через верхний правешугол,т.е.ощновременно через линии х = Миу = N k2 > 0
5 объект «перемещается» через нижний правый угол, т.е. одновременно через линии* = Mny = -N N < 0
J (kt ) = 0,5 [(M-k^-a^M^- btjh- M + rx\, j (6) [ M- rx < kt < M - ux ;
p2 (0l) < ( 5 { [( ))) " M+2 ( - b-)] (( -atf+ux) +\ux (( - )) +ux )j;
M-ux <k1 <M-dx; N3^) =0,5 {[(M -() —-c2) + b2-A2 +Ax-a2-a.) + b2 -b) -M + Ax) +
+ [-- +Ax) — -0( + 2)b2-b0\-- AbMb+ (b2 "¿О] —-ux)\; (8)
kk - Ax<С <M-lx;
, . ( N - à. - kx N - bx- kx \ ч
J (kx) = 0,51-J—I---L-LUkx-N + Uy)
N-uy < kx < N -1 ;
J (2 ) = 0,5
f N - 2d1 - k2 + ly N - d2 -k2
- lx
c2
((- N + ly )-
f ly -d1
- lx
(uy -ly)
(10)
J (2) = 0,5<
N - ly < k2 < N - ry;
N - b-- k2 ^ f N -2d2-k2 + ry
a-
c2
rx - lx +
ly - dl | f ry- d2
c1 ) I c2
(ly -ry )
ly - d1 c1
(- N + ry ) +
(uy -ly)[>
(11)
N - ту < к1 < N - dy.
Выражения для случая 3, когда «перемещение» объекта происходит через линию у = -Ы, находятся аналогично.
Отметим, что при любом направлении «перемещения» объект всегда покидает поле изображения, начиная с края, наиболее удаленного от центра изображения. При этом в выражениях (6)-(11) изменяютсядиапазоныаргументов ^ и
Зависимость (6)-(11) от координат точек А, В, С, D дает возможность оценки расположения объекта относительно краевизображенияпо функцииавтокорреляции.
Движениеобъекта
При обработке видеопоследовательности необходимо не только определить положение объекта на изображении, но и оценить параметры его движения.
Пусть в следующем кадре объект в пределах изображения изменит свое положение на величину Л1 погоризонталииЛ2 повертикали.
\ \ \ \
м *
\ о
Л ^ ^ -С^Л-А—-V-
Рис. 4. Схема«перемещения»объектатолько через линию x=M Fig. 4. Scheme of "moving"anobjectonly through a line x =M
-816 -
values кJ
Рис. 5. Изменение площади объекта при «перемещении» через линии x = M и y = N Fig. 5. Change the area of the object when moving through lines x = M and y = N
В этомсх^чаедлянахождения автокорреляционной функции второго кадра следует в (1)-(2) провести замену: x ^ x - Ai иy ^y - Д2.
Для идентификации движения найдем разность AJ(Bb k2) функций автокорреляции двух кадров, определяя пределы интегрирования вак же, нак и в (1)-(2):
^ЙЛ) = Я(а + (Р- а<[1(y-a1x-bl)-1(y-a2x-b2) М1^-^-^ )-
-1(y- cix-dj)] } x (а + (p - а)[1 (y -k2- a-x-b- + a-k-) -1(y -k. - a2x - b. + сз^к- )] x
x< [1(y -k. -c2x + C2k- -i/2) -1 (y -k2 - c-x + c( -<2)] }d-dy -
-jj(a + (p- a)|[l (y -Аг-Ч^-А^- b-)-1 (y - A2 - <2 (x-A-)) )]x (12)
x[1(^ " а2^2- C2 (x - A-)- d2)-1(у " A2 - ci(x-Ai)-di)]| x(a + (P-a)x
x[1(y" A2Bk2-a1(x-A1)-bi + aiki(-1(y -A2-(i2-a2{ x-Ai)-bj + a2ki) ]x
x[1(y - A2 -k2-C2(x - A-) -+C2ki — <^2а — 1 (у _ A2 -(2 - <-i(x - Aj ) + c2\ -<2)] }dxdy.
При расчете функции автокорреляции через изменение площади объекта для второго кадра можно воспользоваться выражениями (6)-(11) с заменами k1 ^ k1 + A1 и k2 —> k2 + A2 соответствен но.
В дискретномсэрнчае исполь злютсяотсчетыкоэффицееноаовтокорреляцивион энсргети-ческиехарактеристики,полученныев[5]:
M-kj N-k2
k2)= 2= Z fjf-xkhJxk2 ПС0 P(13)
i=-Mj=-N
М-кх и
к2 )= Е Е Л ]+к 2 ПРИ К к2 < 0, (14)
I =-М }-к2
где ^ j -отсчетывидеосигналаизображения.
Сравним результаты для непрерывных и дискретных моделей.
Для моделирования и расчета функции автокорреляции на ЭВМ приняты следующие исходные данные:
■ размер изображения (2М + 1) х (2Ы + 1), N = 75, М = 100;
■ координаты вершин объекта в первом кадре: А {-50; -35}, В {-35; -23}, С {-28; -40}, D {-38; -45}.
■ «смещение» объекта во втором кадре по горизонтали А! = 17, по вертикали Д2 = 29.
На рис. 6 представлены два кадра изображения, сформированные в соответствии с указанными данными.
На рис. 7 показана разность Ас(кь к2) энергетических характеристик двух изображений, приведенныхнарис. 6.
frame 1
Рис. 6. Два изображения с объектом на равномерном фоне Fig. 6. Two images with an object on a uniform background
frame 2
---t2
Рис. 7. Разностьдвумерныхэнергетическиххарактеристик(дискретныйслучай) Fig. 7. Thedifference betweentwo-dimensionalenergy characteristics (discretecase)
- 818-
Разность функций автокорреляции, найденных для каждого из двух кадров по
выражениям (12), демонстрируется на рис. 8.
Результат сравнения дискретной и непрерывной модели представлен на рис. 9 в виде разности k2) -
Анализ рис. 9 позволяет сделать вывод о совпадении результатов, полученных путем аналитического расчета корреляционных функций через изменение площади объекта, и дискретного случая, расчетные значения для которого выполнены по реальному изображению с помощью ЭВМ. Наличие отклонений большой величины на рис. 9 поясняется тем, что из расчетов были исключены значения корреляционных интегралов для случая «перемещения» объекта изображения через углы изображения. Небольшие отклонения объясняются наличием «переходных» пикселей в реальном изображении. Таким образом, для определения местоположения
Рис. 8. Разность функций автокорреляции двух кадров (непрерывный случай) Fig. 8. The difference between autocorrelation functions of two frames (continuous case)
Рис. 9. СопоставлвниересульоатовдлядискреунойинепуерывноймовелеВ[ Fig. 9. Comparison of results for discrete and continuous models
- ИВ не
- boundaries of characteristic regions in which the function decreases to zero 1^1 - boundaries of characteristic regions in which the function increases to zero 00 - areas corresponding to the plateau on the surface
200 180
J150 = M - lx
Рис. 10. Линии уровня разностиэнергетическиххарактеристикдвух кадровна плосности(&ьР2) Fig. 10. Lines of the level of the difference in the energy characteristics of two frames in the plane (kb k2)
объекта и параметров его движения можно воспользоваться расчетами, полученными в соответствии с (13)-(14).
Линии уровня функции Да(кь к2) образуют характерные области, определяемые параметрами движения объекта и его расположением относительно краев изображения (рис. 10), которые меняют свое положение при различных Дь Д2. Это позволяет идентифицировать движущиеся объекты по разности их автокорреляционных функций.
Реальные объекты могут не иметь четко выраженных углов, а иметь плавные контуры. Протестируем предлагаемый метод идентификации движущихся объектов при помощи разности автокорреляционных функций на устойчивость к форме объекта. Рассмотрим объект в виде круга постоянной яркости, вписанного в контур четырехугольника ЛВСБ (рис. 11).
При наличии тех же условий межкадрового смещения объекта по горизонтали Дь по вертикали Д2, найдем разность энергетических характеристик Да^(кь к2) двух изображений, приведенных на рис. 11. На рис. 12 представлены линии уровня разности энергетических характеристик Да^(кь к2).
При сопоставлении рис. 10 и 12 видно, что характерные области остались прежними, однако имеет место незначительное смещение границ на величины Гх, тх, и'х, вследствие изменения удаленности крайних точек объекта относительно центра поля изображения (рис. 11). Это позволяет говорить об устойчивости рассмотренного метода к изменению формы объекта.
Таким образом, можно сделать следующие выводы:
1. Сопоставление двумерных функций автокорреляции, найденных для непрерывного случая через изменение площади объекта, и энергетических характеристик реального изображения говорит о совпадении результатов для непрерывных и дискретных моделей.
Рис. 11. Круг, вписанный в четырехугольник, и тестовые изображения, содержанще объекттакой формы, смещающийся мсжту кадрами
Fig. 11. A circle inscribedin aquadrangle, andtestimages containing an objectofthis form, shifting between frames
Рис. 12. Результат сравнения разности энергетических характеристик для объектов различной формы Fig. 12.Cberesultefcomparing the difference in energ у characteristics for objects of different shapes
2. Прерхчженньш метод позволяет определить положение объекта на изображении, а также найтипвраметры деиженпяобъекта па анализу видеопоследоеаеалоности. Рассмотренный метод обпадает устойчивостью к изменению формы объекта.
Список литература
[1] Bogoslovsky A.V., Zhigulina I.V., Maslov I.S., Mordovina T.V. Frequency Characteristics for Video Sequences Processing Smart Innovation, Systems and Technologies. Intelligent Interactive Multimedia Systems and Services. Springer, 2015, 40, 149 - 160.
[2] Богословский А.В., Жигулина И.В., Маслов И.С. Методы обработки видеопоследовательностей на основе анализа энергетических параметров видеосигнала изображения. Радиотехника, 2015, 4, 112 - 119. [Bogoslovsky A.V., Zhigulina I.V., Maslov I.S. Methods of processing
- 821 -
sequences on the basis of the analysis of the energy parameters of the video image. Radiotehnika, 2015, 4, 112 - 119 (in Russian)].
[3] Bogoslovsky A.V., Zhigulina I.V. A Way of Energy Analysis for Image and Video Sequence Processing. Intelligent Systems Reference Library. Computer Vision in Control Systems-1. Mathematical Theory. Springer, 2015, 73, 183 - 210.
[4] Богословский А.В., Сухарев В.А., Жигулина И.В., Пономарев А.В. Корреляционный анализ финитных по пространству одномерных сигналов. Радиотехника, 2017, 12, 4 - 7. [Bogoslovsky A.V., Sukharev V. A., Zhigulina I.V., Ponomarev A.V. Models of the energy characteristics of the video image. Radiotehnika, 2017, 12, 4 - 7 (in Russian)].
[5] Богословский А.В., Жигулина И.В. Методология построения моделей межкадровых разностей частотных характеристик. Радиотехника, 2013, 9, 76 - 82. [Bogoslovsky A.V., Zhigulina I.V. Methodology of construction of models of the frame difference of frequency characteristics. Radiotehnika, 2013, 9, 76 - 82 (in Russian)].
