CC BY
7
УДК 621.397.13 DOI: https://doi.org/10.34680/2076-8052.2021.4(125).97-102
ОЦЕНКА ЭФФЕКТИВНОСТИ КОРРЕЛЯЦИОННОГО И КОМПЕНСАЦИОННОГО МЕТОДА СЕЛЕКЦИИ ИЗОБРАЖЕНИЙ ОБЪЕКТОВ НА НЕОДНОРОДНОМ ФОНЕ ПУТЕМ КОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ
Н.П.Корнышев, Д.А.Серебряков
EVALUATION OF THE EFFECTIVENESS OF THE CORRELATION AND COMPENSATION METHOD FOR SELECTING IMAGES OF OBJECTS ON A NON-UNIFORM BACKGROUND
BY ^MPUTER SIMULATION
N.P.Kornyshev, D.A.Serebryakov
Новгородский государственный университет имени Ярослава Мудрого, Nikolai.Kornishev@novsu.ru
Рассматриваются вопросы компьютерного моделирования методов селекции изображений объектов на неоднородном фоне. Анализируется возможность использования вариантов видеопоследовательностей, содержащих реальный видеосюжет, видеосюжет с реальным фоном и синтезированным объектом и видеосюжет с синтезированным фоном и объектом. Подробно рассматривается тестовая видеопоследовательность с заданными параметрами фона и объекта. Обсуждаются вопросы компьютерного моделирования процесса формирования такой видеопоследовательности. Приводятся примеры тестовых изображений объекта и фона. Рассматриваются результаты сравнения точности корреляционно-экстремального и компенсационного метода селекции малоразмерного объекта на неоднородном фоне, полученные путем компьютерного моделирования при использовании тестовой видеопоследовательности. Обсуждаются вопросы комбинированного применения указанных выше методов селекции для условий увеличения размера изображения объекта в процессе видеонаблюдения на неоднородном малоподвижном фоне. Ключевые слова: цифровая обработка изображений, компьютерное моделирование
Для цитирования: Корнышев Н.П., Серебряков Д.А. Оценка эффективности корреляционного и компенсационного метода селекции изображений объектов на неоднородном фоне путем компьютерного моделирования // Вестник НовГУ. Сер.: Технические науки. 2021. №4(125). С.97-102. DOI: https://doi.org/10.34680/2076-8052.2021.4(125).97-102
The article deals with the issues of computer modeling of methods for selecting images of objects on a non-uniform background. A test video sequence with the specified background and object parameters is considered. The issues of computer simulation of the process of forming such a video sequence are discussed. Examples of test images of the object and background are given. The results of comparing the accuracy of the correlation-extreme and compensation methods of selection of a small-sized object on a non-uniform background, obtained by computer simulation using a test video sequence, are considered. The issues of combined application of the above selection methods for conditions of increasing the image size of an object in the process of video surveillance on a non-uniform sedentary background are discussed.
Keywords: digital image processing, computer simulation
For citation: Kornyshev N.P., Serebryakov D.A. Evaluation of the effectiveness of the correlation and compensation method for selecting images of objects on a non-uniform background by ^mputer simulation // Vestnik NovSU. Issue: Engineering Sciences. 2021. №4(125). P.97-102. DOI: https://doi.org/10.34680/2076-8052.2021.4(125).97-102
Введение
Компьютерное моделирование алгоритмов обработки изображений широко применяется при проектировании телевизионных и оптико-электронных систем. Особый интерес представляет моделирование процесса обработки изменяющихся во времени видеопоследовательностей. Так, в частности, при моделировании методов селекции изображений объектов на неоднородном фоне и оценке их эффективности возможно использование следующих вариантов видеопоследовательностей [1-5]: реальный видеосюжет (рис.1а) видеосюжет с реальным фоном и синтезированным объектом (рис.1б) и видеосюжет с синтезированным фоном и объектом (рис.1в).
Достоинство первого варианта состоит в реальности тестовой видеопоследовательности. Недостаток заключается в невозможности варьирования входных параметров, в частности таких, как отноше-
ние сигнал-шум, контрастность изображения по отношению к фону, размеры фона, неравномерность фона, скорость перемещения объекта относительно фона, изменение размеров объекта и т. п.
Достоинство второго варианта состоит в реальности фона и возможности варьирования входных параметров изображения объекта. Недостаток заключается в невозможности варьирования входных параметров изображения фона.
Третий вариант, в отличие от первых двух, обеспечивает возможность варьирования входных параметров фона и объекта.
Целью статьи является ознакомление с результатами оценки эффективности корреляционного [6] и компенсационного метода селекции малоразмерного объекта на неоднородном фоне [1], адаптированного к условиям сближения объекта с точкой видеонаблюдения [7,8], при использовании в процессе компьютерного моделирования тестовой видео-
а)
в)
Рис.1. Кадры из тестовых видеопоследовательностей: а) реальный видеосюжет, б) видеосюжет с реальным фоном и синтезированным объектом, в) видеосюжет с синтезированным фоном и объектом
последовательности с заданными входными параметрами синтезируемого фона и объекта.
Теоретическая часть
Корреляционный метод предполагает определение максимума взаимно корреляционной функции (ВКФ) путем пространственной или частотной фильтрации. Максимум ВКФ соответствует центру объекта и может быть использован для определения его координат, а также для обновления зоны эталона заданных размеров.
Пространственная фильтрация в данном случае заключается в определении максимального значения ВКФ, получаемого при двухмерной дискретной свертке исходной матрицы изображения со скользящим окном — матрицей изображения эталона. Частотная фильтрация в данном случае заключается в перемножении результатов быстрого преобразования Фурье (БПФ) для матриц исходного и эталонного изображений [6], выполнении обратного БПФ для полученного произведения и определении максимума яркости в результирующем изображении, т. е. максимума ВКФ.
Компенсационный метод предполагает выделение изображения фона путем сглаживания исходного изображения, вычитание выделенного изображения фона из исходного и бинаризацию сигнала
объекта на скомпенсированном фоне [1]. Необходимым условием при этом является существенное различие в размерах изображений фрагментов фона и изображения объекта.
Адаптация метода [1] к рассматриваемым условиям видеонаблюдения, в частности при приближении точки видеонаблюдения к объекту, наблюдаемому на неоднородном фоне, предполагает оценку размеров объекта и соответствующее увеличение размеров считывающей апертуры или маски дополнительного сглаживающего фильтра для входного сигнала. Увеличение размеров апертуры (или маски) производится до тех пор, пока ее размеры не превысят величины размеров маски сглаживающего фильтра, обеспечивающего выделение изображения фона [7, 8].
Методика эксперимента
Структурная схема процесса формирования тестовой последовательности на рис.2 содержит следующие функциональные модули, реализуемые стандартными функциями пакета МАТЛАБ [3].
В модуле задания начальных условий задается размер ^, у) матрицы изображения, количество кадров в видеопоследовательности, координаты X0, Y0 точки появления объекта в кадре и номер кадра, скорость сближения, скорость вращения изображения, величина локального контраста K, отношения сигнал
б
Рис.2.Структурная схема процесса формирования тестовой последовательности
шум скорость перемещения фона, размерность его фрагментов и величина неравномерности.
Исходно изображение F объекта с единичным уровнем сигнала на нулевом фоне генерируется в модуле формирования точечного изображения объекта.
В модуле масштабирования для моделирования процесса сближения объекта с точкой видеонаблюдения осуществляется дилатация логического сигнала F = imdilate(F,c) с периодическим (через заданное число кадров) увеличением размера маски с.
В модуле вращения производится операция поворота изображения F на заданный угол с «заливкой» образующихся в изображении углов черным (нулевым) фоном (рис.За).
Генерация изображения Т0 фона с заданной неравномерностью и с заданной размерностью фрагментов осуществляется путем формирования синусоидального сигнала Т = и^^т^ + ф) в каждой строке кадра изображения. Перемещение фона имитируется изменением фазового сдвига ф в каждом кадре видеопоследовательности (рис.Зб).
Модуль генерации шума обеспечивает формирование кадра изображения гауссова шума и реализуется функцией N0 = randn(x,y).
В модуле формирования тестового изображения с заданным локальным контрастом и отношением сигнал-шум вычисляется значение величины ис сигнала объекта по формуле ис = (2итахК)/(1 - К). Тестовое изображение (рис.Зв) в каждом кадре видеопоследовательности формируется в виде суммы
Ftest = и^ + То + аЛ0, где с=иа/ Тл/2.
Тестовая последовательность с заданными параметрами обрабатывалась корреляционным и компенсационным методом при одинаковых размерах формируемой зоны сопровождения 20*20 элементов. В процессе экспериментов значения К изменялись в пределах от 1 до 10% с шагом 1% при фиксированном отношении сигнал-шум ¥ = 6 и параметре фона V = 0,05. Размер изображения объекта изменялся в пределах от 1*1 до 10*10 элементов. Для оценки эффективности метода определялась вероятность попадания исходного бинарного изображения объекта в зону сопровождения (зону эталона), формируемую в процессе обработки видеопоследовательности.
При реализации корреляционного метода каждый кадр видеопоследовательности подвергал-
ся пространственной высокочастотной фильтрации при использовании оператора Лапласа с маской mask = [1 1 1; 1 -8 1; 1 1 1] в стандартной функции Matlab Fout=imfilter(Fin, mask, 'replicate1). Затем из контурного препарата Fout формировалось изображение Z, ограниченное зоной эталона, изначально формируемой с центром, соответствующим начальной координате точечного тестового изображения объекта, и изображение Za, ограниченное зоной анализа, расширенной по отношению к зоне эталона по периметру.
Для получаемых контурных препаратов зоны анализа и зоны эталона выполнялось БПФ с использованием стандартной функции Matlab, соответственно, Ff = fftl(Za) и w = conj(fftl(Z,m,n)) с дополнением выходной матрицы нулями до размера mxn матрицы Za. Вычисление ВКФ и обратное БПФ реа-лизовывалось с использованием стандартной функции Matlab Gdft = real(ifftl(w.*Ff)). Полученное изображение ВКФ дополнительно сглаживалось в маске 5*5 элементов стандартными операциями для цифрового фильтра H = fspecial('average',[5 5]), G = imfilter(Gdft,H,'mnv','replicate','same') и определялся максимум Max G = max(max(G)).
Координаты максимума использовались для обновления зоны эталона и зоны анализа в следующем обрабатываемом кадре видеопоследовательности. Для оценки эффективности метода в каждом кадре проверялся и фиксировался факт пересечения исходного бинарного изображения объекта с обновленной зоной эталона. По окончании цикла обработки видеопоследовательности определялась вероятность попадания исходного бинарного изображения объекта в обновленную зону эталона, как отношение количества указанных выше выявленных фактов их пересечения к общему числу обработанных кадров.
При реализации компенсационного метода каждый кадр видеопоследовательности подвергался сглаживанию при использовании указанных выше стандартных операций в маске 7*7 элементов. Дополнительное сглаживание исходного сигнала производилось по результатам оценки площади S бинарного изображения селектируемого объекта, формируемого при сравнении с порогом на уровне 0,75 от максимума разностного сигнала.
Увеличение маски дополнительного сглаживающего фильтра maskS в процессе обработки видео-
последовательности производилось от единичного значения до значения 4*4 элемента при соответствующем увеличении значения текущей оценки площади, а именно: maskS = round(sqrt(S)). Таким образом, в качестве эффективной площади рассеивания (ЭПР) объекта принимался квадрат, имеющий площадь S, определенную в количестве элементов разложения, а значение маски maskS вычислялось, как сторона этого квадрата при округлении до целого значения.
Разностный сигнал в каждом кадре формировался путем вычитания выходных сигналов сглаживающих фильтров. По его максимуму в каждом кадре видеопоследовательности определялись координаты центра изображения селектируемого объекта и центра зоны сопровождения, размеры которой соответствовали размерам зоны эталона, формируемой при корреляционном методе.
Для оценки эффективности метода в каждом кадре проверялся и фиксировался факт пересечения исходного бинарного изображения объекта с обновленной зоной сопровождения. По окончании цикла обработки видеопоследовательности определялась вероятность попадания исходного бинарного изображения объекта в обновленную зону сопровожде-
ния как отношение количества указанных выше выявленных фактов их пересечения к общему числу обработанных кадров. Таким образом, обеспечивалась сопоставимость оценок эффективности обработки видеопоследовательности рассматриваемыми методами.
Результаты экспериментов
Примеры полученных результатов сравнительных исследований корреляционного и компенсационного метода селекции приведены в табл. 1,2.
На рис.4 показаны графики, соответствующие данным таблиц 1 и 2.
На рис.5. показаны примеры изображений, получаемых при моделировании в случае правильной селекции объекта (5а и 5в) и случае срыва селекции (5б и 5г), для рассматриваемых методов обработки. Кроме этого, на рис.5а и 5б отображены рамки, ограничивающие зону эталона и зону анализа, задаваемую при корреляционной обработке. На рис. 5в и 5г отображена рамка, ограничивающая зону сопровождения при компенсационной обработке, а также крестообразный маркер, соответствующий центру селектируемого объекта. На рис.5а и 5б дополнительно показана также проекция ВКФ, не центрированная по зоне анализа.
Таблица 1
Вероятностир(Г) = /(К) при фиксированном отношении сигнал-шум ¥ = 6 и параметре фона V = 0,05, полученные при моделировании корреляционного метода
К 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 0,1
р1^) 0,13 0,59 0,28 0,08 0,98 1,00 1,00 1,00 1,00 1,00
р2(/) 0,13 0,23 1,00 1,00 1,00 0,95 1,00 1,00 1,00 1,00
р3^) 0,13 0,12 0,08 1,00 1,00 1,00 1,00 1,00 1,00 0,99
p4(t) 0,13 0,13 0,03 1,00 1,00 1,00 1,00 1,00 1,00 0,96
Таблица 2
Вероятностир(Г) = /(К) при фиксированном отношении сигнал-шум ¥=6 и параметре фона ^=0,05, полученные при моделировании адаптированного компенсационного метода
К 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 0,1
рЩ 0,31 0,84 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00
р2(0 0,03 0,62 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00
рзо) 0,04 0,65 0,90 1,00 1,00 1,00 1,00 1,00 1,00 1,00
p4(t) 0,08 0,70 0,89 1,00 1,00 1,00 1,00 1,00 1,00 1,00
р(Ч
-р1(Ц
-рад
рЗД
-им
к,%
-р1М
-Р2Ш
рзц)
-Р4Ц)
а)
б)
Рис.4. Графики вероятности р(() = ^К) при фиксированном отношении сигнал-шум Ф = 6 и параметре фона м = 0,05, полученные при моделировании корреляционного (а) и адаптированного компенсационного метода (б)
а) б) в) г)
Рис.5. Изображения процесса правильной селекции (а, в) и при срыве селекции (б, г) полученные при моделировании, соответственно, корреляционного и адаптированного компенсационного метода
Как видно из приведенных выше табличных данных, а также соответствующих им графиков, адаптированный компенсационный метод при тестировании показал большую эффективность по сравнению с корреляционным методом при селекции объектов при значениях контраста от 1 до 3%.
Вместе с этим визуальное наблюдение процесса селекции при моделировании выявило неустойчивость селекции малоконтрастных объектов корреляционным методом на начальном этапе, когда размеры изображения объекта близки к точечным.
В противоположность этому, наблюдение процесса селекции в процессе моделирования компенсационного метода выявило неустойчивость селекции при превышении изображением объекта размера маски сглаживающего фильтра, обеспечивающего выделение фона.
В этой связи может быть целесообразным реализация комбинированного алгоритма обработки видеопоследовательности, который будет заключаться в использовании адаптированного компенсационного метода на начальном этапе обнаружения и селекции точечного (и близкого к точечному) изображения объекта с последующим переходом, а при увеличении его размеров до заданных пороговых значений в переходе к корреляционному методу селекции.
Компьютерное моделирование комбинированного алгоритма подтверждает повышение эффективности обработки видеопоследовательности с целью обнаружения на неоднородном фоне изображения точечного объекта и селекции в процессе увеличения размеров его размеров.
р(Ч
123456739 10
Рис.6. Усредненные графики вероятности р(() = ^К) при фиксированном отношении сигнал-шум Ф = 6 и параметре фона w = 0,05, полученные при моделировании корреляционного — р-|(0, адаптированного компенсационного метода — р2(0 и при их комбинировании — р3(0
Как видно из соответствующих графиков, комбинирование адаптированного компенсационного и корреляционного методов повышает их эффективность при малых значениях контраста, как в процессе обнаружения изображения точечного объекта на неоднородном фоне, так и в процессе увеличения размеров изображения селектируемого объекта.
Заключение
1. На начальном этапе обнаружения и селекции точечного объекта адаптированный компенсационный метод имеет большую эффективность по сравнению с корреляционным методом для объектов с малым значением контраста.
2. Корреляционный метод показывает большую устойчивость селекции изображения объекта по сравнению с компенсационным методом при превышении изображением объекта размера маски сглаживающего фильтра, обеспечивающего выделение фона.
3. Целесообразна реализация комбинированного алгоритма обработки видеопоследовательности с использованием адаптированного компенсационного метода на начальном этапе обнаружения и селекции с последующим переходом на корреляционный метод селекции.
1. Андреев АЛ., Коротаев В.В., Пашковский А.М. Селекция изображений малоразмерных объектов на неоднородном фоне в условиях помех // Изв. вузов. Приборостроение. 2013. Т.56. №10. С.88-93.
2. Морозов А.В. Адаптивная бинаризация изображений звездного неба // Вопросы радиоэлектроники. Сер.: Техника телевидения. 2017. Вып.1. С.23-30.
3. Корнышев Н.П., Серебряков Д.А. Компьютерное моделирование фоноцелевой обстановки при оценке эффективности методов селекции объектов на неоднородном фоне // Вестник НовГУ. Сер.: Технические науки. 2020. №2 (118). С.79-83. DOI: https://doi.org/10.34680/2076-8052.2020.2(118).79-83
4. Kornyshev N.P., Serebrjakov D.A. Estimation of the probability of correct determination of the coordinates of an object in computer modeling of methods for selecting their images // Journal of Physics: Con. Series. 2020. V.1658. Article number: 012029 DOI: https://doi.org/10.1088/1742-6596/1658/1/012029
5. Корнышев Н.П., Серебряков Д.А. Исследование метода селекции изображения малоразмерного объекта на неоднородном фоне // Вестник НовГУ. Сер.: Техн. науки. 2020. №5(121). С.49-52. DOI: https://doi.org/10.34680/2076-8052.2020.5(121).49-52
6. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
7. Патент №2734655. МПК H04N 7/18. Способ селекции изображения объекта на неоднородном фоне / Н.П.Корнышев, Д.А.Серебряков. Заявл. 17.03.2020. Опубл. 21.10.2020. Бюл. №30.
8. Корнышев Н.П., Серебряков Д.А. Адаптация метода селекции изображения малоразмерного объекта на неоднородном фоне к условиям видеонаблюдения // Вестник НовГУ. Сер.: Технические науки. 2021. №2(123). С.66-70. DOI: https://doi.org/10.34680/2076-8052.2021.2(123).66-70
References
1. Andreev A.L., Korotaev V.V., Pashkovskiy A.M. Se-lektsiya izobrazheniy malorazmernykh ob"ektov na neod-norodnom fone v usloviyakh pomekh [Selection of the small-size objects images on the heterogeneous background under the interference conditions]. Izv. Vuzov. Priborostro-enie - Journal of Instrument Engineering, 2013, vol. 6, no. 10, pp. 88-93.
2. Morozov A.V. Adaptivnaya binarizatsiya izobrazheniy zvezdnogo neba [Adaptive binarization of images of the starry sky] Voprosy radioelektroniki. Ser.: Tekhnika televideniya - Questions of radio-electronics. The TV equipment series, 2017, no. 1, pp. 23-30.
3. Kornyshev N.P., Serebrjakov D.A. Komp'yuternoye mo-delirovaniye fonotselevoy obstanovki pri otsenke effektiv-nosti metodov selektsii ob"yektov na neod-norodnom fone [Computer simulation of the background-target environment when evaluating the effectiveness of selection methods for objects on a non-uniform background]. Vestnik Nov-gorodskogo gosudarstvennogo universiteta - Vestnik NovSU,
Issue: Engineering Sciences, 2020, no. 2(118), pp. 79-83. doi: https://doi.org/10.34680/2076-8052.2020.2(118).79-83
4. Kornyshev N.P., Serebrjakov D.A. Estimation of the probability of correct determination of the coordinates of an object in computer modeling of methods for selecting their images. Journal of Physics: Con. Series. 2020, v. 1658, article number: 012029. doi: https://doi.org/10.1088/ra2-6596/1658A/012029
5. Kornyshev N.P., Serebrjakov D.A. Issledovaniye metoda se-lektsii izobrazheniya malorazmernogo ob"yekta na neodno-rodnom fone [Research of selection method of the small object image on a non-uniformity background]. Vestnik Nov-gorodskogo gosudarstvennogo universiteta - Vestnik NovSU, Issue: Engineering Sciences, 2020, no. 5(121), pp.49-52. doi: https://doi.org/10.34680/2076-8052.2020.5(121).49-52
6. Gonsalez R., Woods R. Digital Image Processing. Pearson, 2007, 972 p. (Rus. ed.: Gonsalez R., Woods R. Tsifrovaya obrabotka izobrazheniy. Moscow, Tekhnosfera, 2005, 1072 p.).
7. Kornyshev N.P. Serebryakov D.A. Sposob selektsii izobraz-heniya ob"ekta na neodnorodnom fone [Selection method for the image on a non-uniform background]. Patent RF, no. 2734655, 2020.
8. Kornyshev N.P., Serebryakov D.A. Adaptatsiya metoda se-lektsii izobrazheniya malorazmernogo ob"yekta na neodno-rodnom fone k usloviyam videonablyudeniya [Adaptation of the selection method for the image of a small-sized object on a non-uniform background to the conditions of video surveillance]. Vestnik Novgorodskogo gosudarstvennogo univer-siteta - Vestnik NovSU, Issue: Engineering Sciences, 2020, no. 2(123), pp. 66-70. doi: https://doi.org/10.34680/2076-8052.2021.2(123).66-70
