CC BY
6
УДК 621.39
DOI 10.52575/2687-0932-2022-49-2-432-440
Экспериментальные исследования по распознаванию малоразмерных объектов на видеоизображениях при использовании многомерных пространственно-субполосных векторов
Голощапова В.А., Заливин А.Н., Маматов Е.М., Олейник И.И.
Белгородский государственный национальный исследовательский университет, ул. Победы, д. 85, г. Белгород, 308015, Россия E-mail: [email protected]
Аннотация. Разработано решающее правило для распознавания малоразмерных объектов на видеоизображениях, которое позволяет распознавать различные малоразмерные объекты на видеоизображениях с высокими показателями качества. Входными данными для решающего правила являются выборки пространственно-субполосных векторов, сформированных по изображению объектов. Проводятся экспериментальные исследования решающей функции с использованием изображений с находящимися на них различными малоразмерными объектами. Приводятся полученные численные значения логарифма отношения правдоподобия, используемые для принятия решения о распознавании объекта. Экспериментальные исследования показали, что наибольшие значения логарифма отношения правдоподобия располагаются пропорционально тем пикселям исследуемого изображения, на которых находится объект, по которому было проведено обучение. Экспериментальные исследования с использованием натурных данных подтверждают возможности разработанного решающего правила по распознаванию малоразмерных объектов на видеоизображениях. Показано, что разработанное решающее правило позволяет проводить распознавание малоразмерных объектов на видеоизображениях при проведении априорного обучения.
Ключевые слова: решающая функция, оценка, распознавание, экспериментальные исследования, вектор, ковариационная матрица, субполосный
Для цитирования: Голощапова В.А., Заливин А.Н., Маматов Е.М., Олейник И.И. 2022. Экспериментальные исследования по распознаванию малоразмерных объектов на видеоизображениях при использовании многомерных пространственно-субполосных векторов. Экономика. Информатика, 49(2): 432-440. DOI 10.52575/2687-0932-2022-49-2-432-440
Experimental Studies on the Recognition of Small-Sized Objects in Video Images Using Multidimensional Spatial-Subband Vectors
Vera A. Goloschapova, Alexander N. Zalivin, Evgeniy M. Mamatov, Ivan I. Oleynik
Belgorod National Research University, 85 Pobedy St, Belgorod, 308015, Russia
E-mail: [email protected]
Abstract. A decisive rule has been developed for recognizing small-sized objects in video images, which allows recognizing various small-sized objects in video images with high quality indicators. The input data for the decisive rule are samples of spatially subband vectors formed from the image of objects. Experimental studies of the decisive function are carried out using images with various small-sized objects located on them. The obtained numerical values of the logarithm of the likelihood ratio used to make a decision on object recognition are given. Experimental studies have shown that the largest values of the logarithm of the likelihood ratio are located proportionally to those pixels of the image under study on which
the object on which the training was conducted is located. The developed decisive rule makes it possible to recognize various small-sized objects on video images with high quality indicators. The developed approach to the construction of the decision rule allows us to use optimal solutions and use the Neumann-Pearson criterion to set the threshold level. Experimental studies using in-situ data confirm the capabilities of the developed decisive rule for the recognition of small-sized objects in video images.
Keywords: decision function, evaluation, recognition, experimental studies, vector, covariance matrix, subband
For citation: Goloshapova V.A., Zalivin A.A., Mamatov E.M., Oleynik I.I. 2022. Experimental Studies on the Recognition of Small-Sized Objects in Video Images Using Multidimensional Spatial-Subband Vectors. Economics. Information technologies, 49(2): 432-440 (in Russian). DOI 10.52575/2687-0932-2022-49-2432-440
Введение
Обнаружение и распознавание объектов на видеоизображениях, в том числе малоразмерных, требует решения целого ряда взаимосвязанных задач.
В настоящее время существует множество методов и алгоритмов по обнаружению и распознаванию объектов на видеоизображениях, которые основаны на сравнении изображений и используют различные подходы и математические модели. Для распознавания репер-ных знаков применяют методы — интегральные, контурные и характерных точек и др. [Рштаап, 2004]. Каждый из них имеет свои достоинства и недостатки. Несмотря на простоту в реализации и быстродействие, метод характерных точек не обеспечивает инвариантность к сдвигу и повороту объекта на изображении. При использовании интегральных методов параметры положения вычисляются по информации о всём полутоновом изображении, поэтому неизбежно растут вычислительные затраты.
В контурном методе распознавание проводится с использованием степени сходства найденного контура и эталонов, которая определяется коэффициентом корреляции ^^епко, Lyashenko, Mashtalir, Pшtyatin, 1996]. Для реализация этого метода необходимо произвести выделение и анализ контура с высокой помехоустойчивостью, что приводит к увеличению объема вычислительных затрат [Vasin, Lebedev, 2007].
Хорошо отработаны алгоритмы обнаружения движущихся объектов, часто использующиеся в камерах видеонаблюдения. Однако такие алгоритмы не распознают объекты и не обнаруживают неподвижные объекты. Например, это проявляется при обнаружении малоразмерных беспилотных летательных аппаратов (например, типа коптер), которые длительное время могут оставаться неподвижными.
В общем случае для решения задачи распознавания необходимо осуществить выбор информативных признаков объектов распознавания, выбор способа описания признаков, минимизирующего вычислительные затраты на распознавание, выбор процедуры принятия решений в реальном времени. Спецификой проблемы распознавания объектов является существенная априорная неопределенность относительно количества классов объектов, их признаков и характеристик, что не позволяет использовать традиционные методы распознавания объектов, ориентированные на постобработку данных.
Пространственно-субполосное представление видеоизображений
Применение субполосного представления видеоизображений позволяет сохранять как пространственную, так и частотную структуру изображения объекта [Zhilyakov, Belov, 01е-тк, Babarinov, ТгшЬ^упа, 2020]. Это может дать преимущество перед другими методами, использующими правила распознавания с предварительным определением и использованием параметров информативности признаков распознавания.
Для этого возможно использовать методы субполосного анализа и синтеза сигналов ^Ы1уако^ 2015].
Видеоизображение можно представить в виде пикселей с битовым представлением (например Р = 2с, с - биты) уровней яркости. Число бит определяет количество градаций уровней яркости от черного до белого цвета.
Одну строку изображения (образованную пикселями выделенного фрагмента изображения) можно представить в векторном виде [Zhilyakov, Ве^, 01етк, Рго^огепко, 2019]
§ = ... 5д,), q = 1,...,Q, (1)
где: Q - количество пикселей в строке; q - номер пикселя; з - число уровней градации пикселя (яркость).
В общем виде аналогично можно представить в векторном виде и столбец изображения, образованный пикселями. В дальнейшем будем рассматривать построчные представления.
Изменение яркости пикселей в стоке изображения (сигнальные компоненты) будут соответствовать некоторым «пространственным частотам».
Энергия сигнальных компонент в общем случае сосредоточена в малом числе достаточно узких интервалов частотной области. В этом случае возможно разбиение частотной оси на ряд частотных интервалов [Zhilyakov, 2015]
Аи = 4л/(д -1). (2)
Исходя из соотношения (2) можно получить [Zhilyakov, 2015]
Пк = [-П1к ,-02к) и П, ), к = 0,..., К (3)
Пю = 0; П20 = 2л/(д-1), Л* = 0^; Л2к -Ц* = 4л/(д-1), (4)
где: К - количество частотных интервалов; к - номер частотного интервала.
Часть энергии сигнала, попадающая в заданный частотный интервал, можно найти как [Zhilyakov, 2015]
Рк (з)= Л5(и)2dи/2л. (5)
® е Пк
Представление сигнала непосредственно в области оригиналов можно записать в виде квадратичной формы [Zhilyakov, 2015]
ик ) = 5Т А?, (6)
где: Ак - субполосная матрица с элементами
л
sin[Q 2^ (?-&]-sin[^1k М)]
а*= л^) при
= П 2к -°1к при г = у,е = 1,..., д.
л
Субполосная матрица А к рассчитывается для каждого частотного интервала к. После
преобразования (6) вектор (1) преобразовывается в вектор и размерностью к: [Zhilyakov, Ве^, 01е1тк, РгокЬогепко, 2019]
и = (и(1) и(2) ... и(к) У, (7)
где: и- доля энергии сигнала в частотном интервале; к = 1,..., К - номер частотного интервала; Т - знак транспонирования.
Вектор вида (7) можно назвать пространственно-субполосным вектором (ПСВ). Изображение размерностью N на д пикселей можно представить в виде выборки векторов объема N с размерностью К
U
( N ) =
U.
(i)i
U.
(1)2
U
^(1) N
U(2)1 U(1)2
U
(1)N
VU (k )1
U
U
(k)2 ••• ^ (к)N у
где: N - объем выборки; первый символ (в скобках) при и - обозначает номер частотного интервала; второй символ при и (без скобок) - обозначает номер вектора в выборке 1=1, ...,N.
В данном случае N будет обозначать количество строк изображения, а К - количество частотных интервалов (субполос). В общем случае преобразование возможно проводить и по столбцам (тогда N будет обозначать количество столбцов).
В данном случае вектор является многомерной случайной величиной. Причем его размерность равна количеству частотных интервалов (субполос). По сути, это пространственно-субполосный вектор (ПСВ). Процесс формирования изображения подвержен случайным возмущениям, вероятностный характер которых сказывается на всех этапах. Данное предположение позволяет использовать статистический подход к получению оценок распределения выборки ПСВ. Вероятностное распределение выборки характеризуется первым начальным моментом и вторым центральным моментом [Ротт, Tarlovsky, 1986]. Оценка вектора математического ожидания выборки (8) определяется выражением
1 N -т (к) — — 2 и
N'—1
Размерность вектора т равна К.
Оценка ковариационной матрицы вычисляется в соответствии с выражением
(к)i ■
(9)
M( kxk )
1
N -1 '=1
I (u (k ),■ -m( k) XU (k ),■ -m( k) )T.
(10)
Элементы ковариационной матрицы отражают степень статистической связи элементов исходного вектора фиксируемых параметров между собой. Фактически это субполосная ковариационная матрица (СКМ) с размерностью К х К .
Плотность вероятности /-го вектора выборки при Гауссовом распределении выборки записывается в виде выражения [Burdanova, Zhilyakov, Mamatov, Nemtsev, О^шк, 2019]
(k )■) =
1
(2^)n (det M( kxk))
exp
- ^ (U(k)' - m(k)) M-ktxk) (U (k)i - m(k))
(11)
Такое представление данных при обработке информации позволяет применить статистический подход и описать данные, полученные по видеоизображению объекта, в виде Гауссового распределения с оценкой спектральной ковариационной матрицы объекта.
Решающее правило распознавания
Все виды решающих правил основаны на формировании отношения правдоподобия и его сравнении с определенным порогом, значение которого определяется выбранным критерием качества [Ротт, Tarlovsky, 1986].
При статистическом распознавании в решающем правиле с порогом сравнивается не само отношение правдоподобия, а его оценка, полученная в ходе обучения ^а1шп, О^шк, Р^епко, 2020].
В этом случае задачей параметрического обучения будет оценивание параметров нормальных плотностей вероятностей, используемых в решающем правиле. Поэтому в дальнейшем будем оперировать не моментами распределения, а их оценками.
Исходный вектор имеет размерность к, которая фактически определяет количество частотных интервалов (или субполос).
Построение решающих правил рассмотрим на примере распознавания малоразмерных беспилотных летательных аппаратов (БПЛА). Изображение БПЛА приведено на рис. 1. Сформулируем гипотезы.
Гипотеза Н0 - на изображении нет объекта. Гипотеза Нх- на изображении присутствует объект. При этом в качестве обучающей выборки необходимо использовать выборку, полученную априори по объекту. В качестве контрольной выборки используется выборка, получаемая при текущем оценивании параметров исследуемого изображения. В данном случае распознавание является двухальтернативным. Это дает возможность использовать достаточно известные критерии. Например, порог можно определить в соответствии с критерием Неймана - Пирсона [Goloschapova, Kalashnikov, О^шк, 2020], задав вероятность ошибки первого рода X (ложная тревога). Чем меньше заданная X, тем больше порог. Решающее правило (логарифм отношения правдоподобия) можно записать в виде [Burdanova, Zhilyakov, Mamatov, Nemtsev, О^шк, 2019]
L = П in
M (1) (kxk)
M (0) (kxk)
- 2 ■£ ((U (k )'■ - m (k))T ■ (M (L))-1 -(U (k )'■ - A (k))-i=1
-(и(к, -)Т • (М(0Хк))1 -(и(к)г -) > 1пс, (12)
где: верхние индексы при оценках т и М обозначают гипотезу (1 соответствует гипотезе Нх, 0 гипотезе Н0); нижние индексы определяют размерность.
Поскольку объекты на изображении малоразмерные (т. е. размер объекта существенно меньше самого изображения), то алгоритм должен предусматривать проведение текущего оценивания параметров контрольной выборки. Размер «окна», в котором производится оценивание, выбирается соизмеримым с размером объекта. Таким «окном» необходимо пройти все изображение (например, построчно и по столбцам, со сдвигом на определенное количество пикселей). После каждого текущего оценивания параметров контрольной выборки необходимо рассчитать логарифм отношения правдоподобия (12) и сравнить его с заданным порогом.
Данное решающее правило позволяет распознавать конкретный объект (малоразмерный БПЛА), по которому было проведено обучение.
Экспериментальные исследования
Исследования проводились с использованием изображений беспилотных летательных аппаратов типа коптер. На рис. 1 приведено изображение объекта, по которому была сформирована обучающая выборка (эталонное изображение) и исследуемое изображение. На рис. 2 приведено изображение, на котором приведено значение логарифма отношения правдоподобия (12), пропорционально строкам и столбцам пикселей исследуемого изображения.
На рис. 2 видно, что наибольшие значения логарифма отношения правдоподобия располагаются пропорционально тем пикселям исследуемого изображения, на которых находится объект, по которому было проведено обучение.
Аналогично были проведены экспериментальные исследования изображения, на котором присутствуют два различных объекта (коптера). При этом обучающая выборка была сформирована только по одному объекту. На рис. 3 приведено изображение объекта, по которому была сформирована обучающая выборка (эталонное изображение) и исследуемое изображение. На рис. 4 приведено изображение, на котором приведены значения логарифма отношения правдоподобия (12), пропорционально строкам и столбцам пикселей исследуемого изображения.
На рис. 4 видно, что наибольшие значения логарифма отношения правдоподобия располагаются пропорционально тем пикселям исследуемого изображения, на которых находится объект, по которому было проведено обучение.
2
Рис. 1. Эталонное и исследуемое изображения Fig. 1. Reference and test images
column
strma
Рис. 2. Значения логарифма отношения правдоподобия Fig. 2. Logarithm values of the likelihood ratio
Всего для эксперимента были взяты более ста различных изображений, при этом все экспериментальные исследования показывают, что наибольшие значения логарифма отношения правдоподобия располагаются пропорционально тем пикселям исследуемого изображения, на которых находится объект, по которому было проведено обучение.
Рис. 3. Эталонное и исследуемое изображения Fig. 3. Reference and test images
Рис. 4. Значения логарифма отношения правдоподобия Fig. 4. Logarithm values of the likelihood ratio
Заключение
Разработанное решающее правило использует Байесовский подход при статистической проверке гипотез. Решающее правило заключается в вычислении решающей функции и сравнении ее с порогом. При этом экспериментальные данные представляются в виде выборки векторов и описываются многомерными плотностями вероятностей при Гауссовых распределениях [Goloschapova, Kalashnikov, О^шк, 2020]. В качестве оценок выступают оценки математического ожидания выборок пространственно-субполосных векторов входных данных и их ковариационные матрицы. При проверке гипотезы о наличии на изображении объекта возможно использование критерий Неймана - Пирсона ^а1шп, О^шк, Pirogenko, 2020]. Для демонстрации работоспособности решающего правила проведены экспериментальные исследования с использованием натурных данных (видеоизображений). Экспериментальные исследования показали, что разработанное решающее правило позволяет проводить распознавание малоразмерных объектов на видеоизображениях при проведении априорного обучения.
1. Разработанное решающее правило позволяет распознавать различные малоразмерные объекты на видеоизображениях с высокими показателями качества.
2. Разработанный подход к построению решающего правила позволяет использовать оптимальные решения и использовать критерий Неймана - Пирсона для задания уровня порога.
3. Экспериментальные исследования с использованием натурных данных подтверждают возможности разработанного решающего правила по распознаванию малоразмерных объектов на видеоизображениях.
Васин Ю.Г., Лебедев Л.И. 2007. Распознавание объектов составных изображений на основе структурных и корреляционно-экстремальных методов. Сборник докладов 13-й Всероссийской конференции «Математические методы распознавания образов» (MMRO-13), Зеленогорск, 148: 285-288.
Гиренко А.В., Ляшенко В.В., Машталир В.П., Путятин Е.П. 1996. Методы корреляционного обнаружения объектов. Харьков, АО «Бизнесинформ»: 112.
Фомин Я.А., Тарловский Г.Р. 1986. Статистическая теория распознавания образов. Москва, Радио и связь: 264.
Фурман Я.А. 2004. Введение в контурный анализ и его применение к обработке изображений и сигналов, ФИЗМАТЛИТ: 456.
Burdanova E.V., Zhilyakov E.G., Mamatov A.V., Nemtsev A.N., Oleynik I.I. 2019. Decisive rule experimental studies to detect objects on the background of the earth surface using polarization differences of radar signals. COMPUSOFT. An International Journal of Advanced Computer Technology, 8(6): 3166-3170.
Goloschapova V.A., Kalashnikov P.A., Oleynik I.I. 2020. Parametric decision rules for object recognition in multi-dimensional vector representation of color images. Science, Educatition, Practice: materials of the International University Science Forum (Canada, Toronto), May 27: 238-246.
Zalivin A.N., Oleynik I.I., Pirogenko Y.A. 2020. Decision rule for recognizing small objects based on subband processing of radar signals. Science, Educatition, Practice: materials of the International University Science Forum (Canada, Toronto), April 22: 197-207.
Zhilyakov E.G. 2015. Optimal subband methods for analyzing and synthesizing signals of finite duration. Automation and Telemechanics, 4: 51-66.
Zhilyakov E.G., Belov S.P., Oleinik I.I., Babarinov S.L., Trubitsyna D.I. 2020. Generalized sub band analysis and signal synthesis. Bulletin of Electrical Engineering and Informatics, 1(9): 78-86.
Zhilyakov E.G., Belov S.P., Oleinik I.I., Prokhorenko E.I. 2019. Regularization of Inverse Signal Recovery Problems, HELIX the Scientific Explorer, 9 (2): 4883-4889.
Vasin Yu.G., Lebedev L.I. 2007. Recognition of composite image objects based on structural and
correlation-extreme methods. Collection of reports of the 13th All-Russian Conference "Mathematical Methods of Pattern Recognition" (MMRO-13), Zelenogorsk, 148: 285-288.
Выводы
Список литературы
References
Girenko A.V., Lyashenko V.V., Mashtalir V.P., Putyatin E.P. 1996. Methods of correlation detection of objects. Kharkiv, JSC "Businessinform": 112.
Fomin Ya.A., Tarlovsky G.R. 1986. Statistical theory of pattern recognition. Moscow, Radio and Communication: 264.
Furman Ya.A. 2004. Introduction to contour analysis and its application to image and signal processing, FIZMATLIT: 456.
Burdanova E.V., Zhilyakov E.G., Mamatov A.V., Nemtsev A.N., Oleynik I.I. 2019. Decisive rule experimental studies to detect objects on the background of the earth surface using polarization differences of radar signals. COMPUSOFT. An International Journal of Advanced Computer Technology, 8(6): 3166-3170.
Goloschapova V.A., Kalashnikov P.A., Oleynik I.I. 2020. Parametric decision rules for object recognition in multi-dimensional vector representation of color images. Science, Educatition, Practice: materials of the International University Science Forum (Canada, Toronto), May 27: 238-246.
Zalivin A.N., Oleynik I.I., Pirogenko Y.A. 2020. Decision rule for recognizing small objects based on subband processing of radar signals. Science, Educatition, Practice: materials of the International University Science Forum (Canada, Toronto), April 22: 197-207.
Zhilyakov E.G. 2015. Optimal subband methods for analyzing and synthesizing signals of finite duration. Automation and Telemechanics, 4: 51-66.
Zhilyakov E.G., Belov S.P., Oleinik I.I., Babarinov S.L., Trubitsyna D.I. 2020. Generalized sub band analysis and signal synthesis. Bulletin of Electrical Engineering and Informatics, 1(9): 78-86.
Конфликт интересов: о потенциальном конфликте интересов не сообщалось.
Conflict of interest: no potential conflict of interest related to this article was reported.
ИНФОРМАЦИЯ ОБ АВТОРАХ
Голощапова Вера Анатольевна, старший преподаватель кафедры информационно-телекоммуникационных систем и технологий, Белгородский государственный национальный исследовательский университет, г. Белгород, Россия
Заливин Александр Николаевич, кандидат технических наук, доцент кафедры информационно-телекоммуникационных систем и технологий, Белгородский государственный национальный исследовательский университет, г. Белгород, Россия
Маматов Евгений Михайлович, кандидат технических наук, доцент, доцент кафедры прикладной информатики и информационных технологий, Белгородский государственный национальный исследовательский университет, г. Белгород, Россия
Олейник Иван Иванович, кандидат технических наук, доцент кафедры информационно-телекоммуникационных систем и технологий, Белгородский государственный национальный исследовательский университет, г. Белгород, Россия
INFORMATION ABOUT THE AUTHORS
Vera A. Goloschapova, Senior Lecturer of the Department of Information and Telecommunication Systems and Technologies, Belgorod State National Research University, Belgorod, Russia
Alexander N. Zalivin, Candidate of Technical Sciences, Associate Professor of the Department of Information and Telecommunication Systems and Technologies, Belgorod National Research University, Belgorod, Russia
Evgeniy M. Mamatov, Candidate of Technical Sciences, Associate Professor, Associate Professor of the Department of Applied Informatics and Information Technology, Belgorod State National Research University, Belgorod, Russia
Ivan I. Oleynik, Candidate of Technical Sciences, Associate Professor of the Department of Information and Telecommunication Systems and Technologies, Belgorod National Research University, Belgorod, Russia
