CC BY
2
УДК 621.397.13 DOI: https://doi.org/10.34680/2076-8052.2021.2(123).66-70
АДАПТАЦИЯ МЕТОДА СЕЛЕКЦИИ ИЗОБРАЖЕНИЯ МАЛОРАЗМЕРНОГО ОБЪЕКТА НА НЕОДНОРОДНОМ ФОНЕ К УСЛОВИЯМ ВИДЕОНАБЛЮДЕНИЯ
Н.П.Корнышев, Д.А.Серебряков
ADAPTATION OF THE SELECTION METHOD FOR THE IMAGE OF A SMALL-SIZED OBJECT ON A NON-UNIFORM BACKGROUND TO THE CONDITIONS OF VIDEO SURVEILLANCE
N.P.Kornyshev, D.A.Serebryakov
Новгородский государственный университет имени Ярослава Мудрого, Nikolai.Kornishev@novsu.ru
Рассматриваются вопросы селекции изображений объектов в телевизионных системах прикладного назначения, а именно один из методов селекции объекта, основанных на компенсации неоднородностей фона. Описывается подход к адаптации метода к условиям сближения объекта с точкой видеонаблюдения. Рассматривается дополнительная обработка входного сигнала, обеспечивающая обмен разрешающей способности на отношение сигнал-шум по мере увеличения размера объекта. Приводятся варианты структурных схем устройства селекции. Обсуждаются результаты, полученные при компьютерном моделировании адаптированного метода. Приводятся примеры тестовых изображений и графики количественных зависимостей. Показаны сравнительные диаграммы среднего, максимального и среднеквадратического отклонения координат селектированного объекта от эталонных значений по всем кадрам тестовой видеопоследовательности для адаптированного и исходного метода.
Ключевые слова: цифровая обработка изображений, компьютерное моделирование
Для цитирования: Корнышев Н.П., Серебряков Д.А. Адаптация метода селекции изображения малоразмерного объекта на неоднородном фоне к условиям видеонаблюдения // Вестник НовГУ. Сер.: Технические науки. 2021. №2(123). С.66-70. DOI: https://doi.org/10.34680/2076-8052.2021.2(123).66-70
The article deals with the selection of object images in television systems for applied purposes, namely, one of the methods of object selection based on compensation of non-uniformity background. An approach to adapting the method to the conditions of convergence of an object with a video surveillance point is described. Additional processing of the input signal is considered, which provides an exchange of resolution for the signal-to-noise ratio as the object size increases. Variants of structural schemes of the selection device are given. The results obtained by computer simulation of the adapted method are discussed. Examples of test images and graphs of quantitative dependencies are provided. Comparative diagrams of the average, maximum and root-mean-square deviation of the coordinates of the selected object from the reference values for all frames of the test video sequence for the adapted and original method are shown.
Keywords: digital image processing, computer simulation
For citation: Kornyshev N.P., Serebryakov D.A. Adaptation of the selection method for the image of a small-sized object on a non-uniform background to the conditions of video surveillance // Vestnik NovSU. Issue: Engineering Sciences. 2021. №2(123). P.66-70. DOI: https://doi.org/10.34680/2076-8052.2021.2(123).66-70
Введение
Методам селекции изображения объекта на неравномерном фоне, в том числе, с учетом изменяющихся видимых размеров объекта в ходе сближения посвящено достаточно большое количество работ [15]. Тем не менее, при проектировании телевизионных и оптико-электронных систем, предназначенных для обнаружения и сопровождения целей, весьма критичным параметром является быстродействие системы и простота реализации, в частности, при использовании ПЛИС.
С этой точки зрения практический интерес представляет повышение эффективности применения методов селекции, основанных на вычитании фона, например, метод селекции изображения малоразмерного объекта на неоднородном фоне, описанный в литературе [5]. Данный метод заключается в обработке текущего сигнала изображения сглаживающим или медианным фильтром с размером маски т большим
размеров М0 изображения объекта, но много меньше размеров изображений фрагментов фона Мф, т. е.:
т > М0, но т << Мф. (*)
На практике обычно используется квадратная маска т*т при величине т < 9 элементов. Компенсация производится путем вычитания фильтрованного сигнала из исходного текущего сигнала. Выходной бинарный сигнал объекта формируется путем сравнения разностного сигнала с фиксированным порогом.
В настоящей статье рассматривается адаптация указанного выше метода к условиям сближения объекта с точкой видеонаблюдения с целью повышения его эффективности путем дополнительной обработки входного сигнала, обеспечивающей обмен разрешающей способности на отношение сигнал-шум по мере увеличения размера объекта. Подобного рода взаимообмен находит практическое применение, в частности, при решении задач обнаружения-оценивания-передачи сигнала в космическом телевидении [1].
Теоретическая часть
Увеличение размера изображения объекта приводит к несоблюдению выражений (*), и, соответственно, к прекращению подавления сигнала объекта при фильтрации. В результате сигнал объекта компенсируется вместе с фоном при последующем вычитании.
Если используется сглаживающий фильтр, то при несоблюдении условий (*) вычитание сглаженного сигнала из текущего приводит к формированию контуров объекта по методу «нерезкого маскирования» [6].
Несмотря на то, что наличие контуров объекта является достаточным для определения, в частности, координат его центра, амплитуда контуров объекта, формируемых при «нерезком маскировании», оказывается меньше амплитуды сигнала объекта, формируемого при соблюдении условия (*). Таким образом, появляющееся в данном случае снижение отношения сигнал-шум приводит к уменьшению точности селекции изображения объекта.
Отметим также, что если используется медианный фильтр, то после вычитания при несоблюдении условия (*) также происходит формирование элементов контуров изображения объекта. Однако в зависимости от его конфигурации получаемый контур может иметь множественные разрывы. Так, например, вместо контурного изображения квадрата будут формироваться лишь точки, соответствующие углам изображения. Причем в зависимости от ориентации квадрата число и расположение таких точек может меняться, что может приводить к существенным ошибкам в определении координат центра изображения объекта.
С этой точки зрения, а также с точки зрения простоты аппаратной реализации применение сглаживающего фильтра является предпочтительным. Поэтому в дальнейшем рассматривается адаптация указанного метода с учетом использования в нем сглаживающего фильтра.
Адаптация к условиям видеонаблюдения заключается в оценке в каждом г-м кадре площади ^ изображения селектируемого объекта и укрупнении апертуры считывания видеосигнала до тг*тг элементов в случае соответствующего увеличения S0i.
Исходно размер изображения объекта, обнаруживаемого объекта в поле видеонаблюдения, составляет один пиксель, т. е. М0 = 1. Текущий размер Мог объекта определяется исходя из представлений об эквивалентной площади рассеяния (ЭПР), а именно:
М о г .
По мере увеличения размеров Мог изображения объекта в г-м кадре размер т1 апертуры считывания видеосигнала принимают равным целой части числа т1 = Мог в пределах значений 1 < т1 < т. В результате такого укрупнения апертуры считывания отношение сигнал-шум так же повышается в т1 раз при одновременном обеспечении условия (*).
При достижении равенства тг = т размер апертуры считывания фиксируют. Так, например, при достижении размера апертуры mi = 9 дальнейшее формирование сигнала объекта будет производиться уже при отношении сигнал-шум в 9 раз выше исходного.
Происходящее при этом уменьшение разрешающей способности не оказывает влияния на результат селекции изображения объекта в силу соответствующего увеличения его размера при сближении объекта с точкой видеонаблюдения. Происходящее при этом сглаживание фронтов сигнала объекта также не оказывает влияния на результат определения координат, поскольку центр объекта будет соответствовать максимуму сигнала его изображения. Таким образом, техническим результатом адаптации является повышение точности селекции изображения объекта [7].
Рассмотрим структурную схему устройства селекции с адаптацией к вышеуказанным условиям видеонаблюдения (рис.1).
Рис.1. Структурная схема устройства селекции: 1 — ТВ-камера, 2 — АЦП, 3 — сглаживающий фильтр, 4 — блок вычитания, 5 — блок квантования на два уровня, 6 — блок измерения
Устройство работает следующим образом. Текущий сигнал изображения с выхода камеры 1 преобразуется в цифровой код в АЦП 2, сглаживается в цифровом фильтре 3, размер сглаживающей маски которого фиксирован и равен т, например, т = 9. Сглаженный сигнал, сформированный фильтром 3, вычитается из текущего сигнала в блоке 4 вычитания. В блоке 5 квантования разностный сигнал сравнивается с фиксированным порогом и формируется выходной бинарный сигнал объекта, который также используется блоком 6 измерения для оценки ЭПР и управления размером апертуры считывания в ТВ-камере 1. Изменение размера апертуры считывания в ТВ-камере на базе КМОП-фотоприемника может быть реализовано при помощи, так называемой 2-развертки.
Укрупнение апертуры может быть заменено эквивалентной процедурой сглаживания входного сигнала. Рассмотрим структурную схему устройства селекции с адаптацией к вышеуказанным условиям видеонаблюдения путем использования дополнительного сглаживающего фильтра (рис.2). Структурная схема содержит ТВ-камеру 1 с АЦП, первый 2 и второй 3 сглаживающий фильтр, блок 4 вычитания, блок 5 квантования на два уровня и блок 6 измерения.
Устройство работает следующим образом. Текущий сигнал изображения с выхода камеры 1 в цифровой форме поступает на первый цифровой фильтр 2, размер тг сглаживающей маски которого первоначально устанавливается равным тг = 1.
Рис.2. Структурная схема устройства селекции: 1 — ТВ-камера с АЦП, 2 — первый сглаживающий фильтр, 3 — второй сглаживающий фильтр, 4 — блок вычитания, 5 — блок квантования на два уровня, 6 — блок измерения
Выход фильтра 2 подключен к входу второго цифрового фильтра 3, размер сглаживающей маски которого фиксирован и равен т, например, т = 9. Сглаженный сигнал, сформированный фильтром 3, вычитается из текущего сигнала в блоке 4 вычитания. Блок 5 квантования разностный сигнал сравнивается с фиксированным порогом и формируется выходной бинарный сигнал объекта, который также используется блоком 6 измерения для оценки ЭПР и управления размером сглаживающей маски т1 в фильтре 2.
Данный вариант структурной схемы, исходя из простоты и быстродействия программной реализации, был использован для экспериментальной проверки методом компьютерного моделирования эффективности адаптации.
Методика эксперимента
Компьютерное моделирование работы рассмотренного выше устройства селекции производилось в среде МАТЛАБ с использованием стандартных функций [8] по методике, изложенной в [9-11]. При этом использовалась тестовая видеопоследовательность [9] с варьируемым значением контраста объекта К по отношению к максимальному значению фона от 1% до 10% с шагом 1% при отношении сигнал-шум SN = 6 и размере маски т = 7. Пример имитации объекта и неоднородного фона в тестовой видеопоследовательности показан на рис.3.
Увеличение размера изображения объекта осуществлялось путем дилатации логического сигнала F = imdilate(F,c) с периодическим (через заданное число кадров) увеличением размера маски
c = ones(z0,z0) с шагом 1, начиная с единичного значения.
Имитация изменения положения объекта в кадре производилось путем периодического выполнения стандартной операции поворота изображения F на заданный угол R0 с «заливкой» образующихся в изображении углов черным (нулевым) фоном: F = imrotate(F, R0, 'crop').
Генерация изображения фона с заданной неравномерностью и с заданной размерностью фрагментов с плавными границами осуществлялась путем формирования синусоидального сигнала T = Umaxsin(wt + ф) в каждой строке кадра изображения. Полученная матрица изображения Т транспонировалась и суммировалась с исходной матрицей. Таким образом, величина неоднородности определялась амплитудой синусоидального сигнала — 2Umax, а размерность фрагментов фона — частотой w. Перемещение фона имитировалось автоинкрементом фазового сдвига ф в каждом кадре видеопоследовательности.
Выходным параметром при моделировании являлась вероятность p(t) совпадения в каждом кадре отметки координат селектированного объекта с полем допуска. В свою очередь поле допуска задавалось в каждом кадре, как окрестность центра эталонного объекта в пределах размера маски фильтра m.
Выходной параметр p(t) определялся как отношение числа кадров видеопоследовательности, в которых произошло совпадение отметки координат селектированного объекта с полем допуска, к общему числу кадров видеопоследовательности.
По результатам моделирования находились зависимости p(t) = f(K) при SN = const. Кроме этого, оценивалось среднее, максимальное и среднеквадра-тическое отклонение координат селектированного объекта от эталонных значений по всем кадрам тестовой видеопоследовательности.
Результаты и обсуждение
На рис.4 показаны графики зависимостей p(t) = f(K), полученные в процессе компьютерного моделирования метода селекции с адаптацией [7] к изменению размера изображения объекта (график 2) и без адаптации [5] (график 1).
а) б) в) г)
Рис.3. Имитация объекта и неоднородного фона в тестовой видеопоследовательности: а) и б) кадры бинарного изображения приближающегося объекта; в) кадр малоподвижного неоднородного фона (параметр w = 0,05), г) выходной кадр с изображением фона и объекта с заданным контрастом К и отношением сигнал-шум
Рис.4. Графики зависимостей р(0 = ЦК) с адаптацией метода (ряд 2) и без адаптации (ряд 1) при = 6, т = 7
По рис.4 видно, что адаптация к условиям увеличения размера изображения объекта повышает вероятность совпадения в каждом кадре отметки координат селектированного объекта с полем допуска, а следовательно, и точность селекции объекта при снижении контраста по отношению к фону.
Рис.5. Сравнительные диаграммы среднего (mean dX, mean dY), максимального (max dX, max dY), и среднеквадратиче-ского (СКО dX, СКО dY) отклонения координат селектированного объекта от эталонных значений для адаптированного (ряд 2) и исходного (ряд 1) метода
На рис.5 показаны сравнительные диаграммы среднего, максимального и среднеквадратического отклонения координат селектированного объекта от эталонных значений по всем кадрам тестовой видеопоследовательности для адаптированного и исходного метода.
По диаграммам видно, что адаптация существенно уменьшает величину отклонений указанных выше параметров, что свидетельствует о повышении точности селекции изображения объекта.
Выводы
1. При увеличении изображения объекта в процессе его сближения с точкой видеонаблюдения адаптация к условиям видеонаблюдения обеспечивает повышение точности селекции изображений объектов.
2. Возможное увеличение размера апертуры считывания видеосигнала и соответствующее повышение отношения сигнал-шум определяется размером маски пространственного фильтра, используемого в процедуре компенсации фона, и при оптималь-
ной маске 9*9 элементов достигает 9-кратного значения по отношению к исходному.
3. Обмен разрешающей способности на отношение сигнал-шум по мере увеличения размера объекта может быть произведен как путем соответствующего укрупнения апертуры считывания, так и путем эквивалентной цифровой обработки с использованием сглаживающего фильтра.
10.
11.
Цыцулин А.К., Павлов В.А., Бобровский А.И., Морозов А.В. Информационные оценки в задачах обнаружения-оценивания-передачи сигнала в космическом телевидении // Вопросы радиоэлектроники. Сер.: Техника телевидения. 2019. Вып.3. С.61-74.
Цыцулин А. К., Бобровский А. И., Морозов А. В. и др. Применение свёрточных нейронных сетей для автоматической селекции малоразмерных искусственных космических объектов на оптических изображениях звёздного неба // Оптический журнал. 2019. Т.86. №10. С.30-38. Левко Г.В., Бобровский А.И., Морозов А.В., Цыцулин А.К. Обнаружение объектов на звёздном фоне // Вопросы радиоэлектроники. Сер.: Техника телевидения. 2016. Вып.2. С.29-38.
Цыцулин А.К., Павлов В.А., Бобровский А.И. и др. Адаптивное кодирование изображений, разделимых на доминантный объект и фон // Вопросы радиоэлектроники. Сер.: Техника телевидения. 2019. Вып.3. С.75-86. Андреев АЛ., Коротаев В.В., Пашковский А.М. Селекция изображений малоразмерных объектов на неоднородном фоне в условиях помех // Изв. вузов. Приборостроение. 2013. Т.56. №10. С.88-93.
Прэтт У. Цифровая обработка изображений / Пер. с англ. М.: Мир, 1982. Кн.2. С.575.
Патент №2734655. МПК H04N 7/18. Способ селекции изображения объекта на неоднородном фоне / Н.П.Корнышев, Д.А.Серебряков. Заявл. 17.03.2020. Опубл. 21.10.2020. Бюл. №30.
Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
Корнышев Н.П., Серебряков Д.А. Компьютерное моделирование фоноцелевой обстановки при оценке эффективности методов селекции объектов на неоднородном фоне // Вестник НовГУ. Сер.: Технические науки. 2020. №2 (118). С.79-83.
Kornyshev N.P., Serebrjakov D.A. Estimation of the probability of correct determination of the coordinates of an object in computer modeling of methods for selecting their images // Journal of Physics: Conference Series. 2020. V.1658. Article number: 012029 DOI: https://doi.org/10.1088/1742-6596/1658/1/012029
Корнышев Н.П., Серебряков Д.А. Исследование метода селекции изображения малоразмерного объекта на неоднородном фоне // Вестник НовГУ. Сер.: Технические науки. 2020. №5(121). С.49-52.
References
Tsytsulin A.K., Pavlov V.A., Bobrovskiy A.I. et al. Informatsionnye otsenki v zadachakh obnaruzheniya-otsenivaniya-peredachi signala v kosmicheskom televidenii [Information evaluations of signal detection-estimation-transfer task in space television systems]. Voprosy radioelektroniki. Ser. Tekhnika televideniya. 2019, iss. 3, pp. 61-74. Tsytsulin A.K., Bobrovskiy A.I., Morozov A.V. et al. Primenenie svertochnykh neyronnykh setey dlya avtomaticheskoy selektsii malorazmernykh iskusstvennykh kosmicheskikh ob"ektov na opticheskikh izobrazheniyakh zvezdnogo neba [Using convolutional neural networks to automatically select small artificial space objects on optical images of a starry sky]. Opticheskiy zhurnal, 2019, vol.86, no.10, pp.30-38.
Levko G.V., Bobrovskiy A.I., Morozov A.V. et al. Obnaruzhenie ob"ektov na zvezdnom fone [Detection of objects in the starry background]. Voprosy radioelektroniki. Ser. Tekhnika televideniya, 2016, iss. 2, pp. 29-38.
2
3
4.
5
6
7
8
9
2.
3.
4. Tsytsulin A.K., Pavlov V.A., Bobrovskiy A.I., Morozov A.V., Zubakin I. A. Adaptivnoe kodirovanie izobrazheniy, razdelimykh na dominantnyy ob"ekt i fon [Adaptive coding of images divided into dominant object and background]. Voprosy radioelektroniki. Ser. Tekhnika televideniya, 2019, iss. 3, pp. 75-86.
5. Andreev A.L., Korotaev V.V., Pashkovskiy A.M. Selektsiya izobrazheniy malorazmernykh ob"ektov na neodnorodnom fone v usloviyakh pomekh [Selection of the small-size objects images on the heterogeneous background under the interference conditions]. Izv. Vuzov. Priborostroenie, 2013, vol. 6, no. 10, pp. 88-93.
6. Pratt W. Digital Image Processing: PIKS Scientific Inside, 1978. (Rus. ed.: Tsifrovaya obrabotka izobrazheniy. Book.2. P.575.
7. Kornyshev N.P. Serebryakov D.A. Sposob selektsii izobrazheniya ob"ekta na neodnorodnom fone [Selection
method for the image on a non-uniform background]. Patent RF. No.2734655. MnK H04N 7/18. Published 21.10.2020.
8. Gonsalez R., Woods R. Digital Image Processing. Pearson, 2007, 972 p. (Rus. ed.: Tsifrovaya obrabotka izobrazheniy. Moscow, Tekhnosfera, 2005, 1072 p.).
9. Kornyshev N.P., Serebrjakov D.A. Computer simulation of the background-target environment when evaluating the effectiveness of selection methods for objects on a non-uniform background. Vestnik NovSU, 2020, no.2(118).
10. Kornyshev N.P., Serebrjakov D.A. Journal of Physics: Conference Series 1658, 2020, 012029 IOP. Estimation of the probability of correct determination of the coordinates of an object in computer modeling of methods for selecting their images. D0I:10.1088/1742-6596/1658/1/012029
11. Kornyshev N.P., Serebrjakov D.A. Research of selection method of the small object image on a non-uniformity background. Vestnik NovSU, 2020, no.5(121), pp.49-52.
