CC BY
50
УДК 004.932.2
DOI 10.21685/2072-3059-2020-4-4
А. А. Черников, А. И. Пуртов, И. В. Прокофьев, В. П. Ющенко
АЛГОРИТМ ОБНАРУЖЕНИЯ И КЛАССИФИКАЦИИ ОБЪЕКТОВ НА НЕОДНОРОДНОМ ФОНЕ
Аннотация.
Актуальность и цели. Объектом исследования является оптико-электронная система обнаружения беспилотных летательных аппаратов и бронетанковой техники. Предметом исследования являются методы выделения и классификации движущегося объекта на сложном неоднородном фоне. Цель -разработка алгоритма обнаружения и классификации беспилотного летательного аппарата и бронетанковой техники оптико-электронной системой на неоднородном фоне в режиме реального времени.
Материалы и методы. Представленные исследования выполнены с использованием методов обработки видеоизображений для выделения объекта и нейронные сети для классификации объекта. Алгоритм разработан на языке программирования Python с использованием библиотеки компьютерного зрения OPENCV.
Результаты. Предложен метод выделения и классификации беспилотного летательного аппарата и бронетанковой техники на сложном динамическом фоне. Алгоритм использует угловой детектор Харриса для обнаружения объектов на фоне изображений. Создана и обучена нейронная сеть для быстрой классификации объекта.
Выводы. Предложенный метод может быть использован при разработке оптико-электронной системы обнаружения движущегося беспилотного летательного аппарата и бронетанковой техники на неоднородном фоне в режиме реального времени в инфракрасном диапазоне. В результате выявлено, что предложенный алгоритм уверенно справляется с обнаружением и классификацией контрастного объекта, находящегося на расстоянии до 2 км от системы обнаружения.
Ключевые слова: оптико-электронная система, беспилотный летательный аппарат, бронетанковая техника, адаптация, нейронные сети.
A. A. Chernikov, A. I. Purtov, I. V. Prokofev, V. P. Yushchenko
ALGORITHM FOR OBJECTS' DETECTING AND CLASSIFICATION ON A HETEROGENEOUS BACKGROUND
Abstract.
Background. The object of the research is an optoelectronic detection system for unmanned aerial vehicles and armored vehicles. The subject of the research is the methods of identifying and classifying a moving object against a complex nonuniform background. The aim of the research is to develop an algorithm for the objects' detecting and classification of an unmanned aerial vehicle and armored vehicles by an optoelectronic system against a non-uniform background in real time.
© Черников А. А., Пуртов А. И., Прокофьев И. В., Ющенко В. П., 2020. Данная статья доступна по условиям всемирной лицензии Creative Commons Attribution 4.0 International License (http://creativecommons.org/ licenses/by/4.0/), которая дает разрешение на неограниченное использование, копирование на любые носители при условии указания авторства, источника и ссылки на лицензию Creative Commons, а также изменений, если таковые имеют место.
Materials and methods. The presented studies were carried out using video image processing methods to select an object and neural networks to classify an object. The algorithm is developed in the Python programming language using the OPENCV computer vision library.
Results. A method for identifying and classifying an unmanned aerial vehicle and armored vehicles against a complex dynamic background is proposed. The algorithm uses a Harris angle detector to detect objects in the background of images. Created and trained a neural network for fast object classification.
Conclusion. The proposed method can be used to develop an optoelectronic system for detecting a moving unmanned aerial vehicle and armored vehicles against a non-uniform background in real time in the infrared range. Because of the work, it was revealed that the proposed algorithm reliably copes with the detection and classification of a contrasting object located at a distance of up to 2 km from the detection system.
Keywords: optoelectronic system, unmanned aerial vehicle, armored vehicles, adaptation, neural networks.
Введение
На сегодня алгоритмы обнаружения и классификации объектов имеют широкий спектр применения в беспилотных летательных аппаратах (БПЛА), робототехнике и системах оптической локации транспорта. Разработано большое количество алгоритмов сопровождения объектов, каждый из которых характеризуется определенными требованиями к типам фоноцелевой обстановки, при которых алгоритм работоспособен [1-5]. Во многих случаях, имея априорные сведения о фоноцелевой обстановке, можно выбрать алгоритм слежения за объектами, обеспечивающий высокие качественные показатели слежения. Однако достаточно часто, особенно при работе автономных комплексов анализа изображений реального времени, априорные сведения о фоноцелевой обстановке отсутствуют, так же как и отсутствует возможность оперативного вмешательства оператора для задания типа фоноцелевой обстановки. В данной ситуации необходимо использовать алгоритмы слежения за объектами, работоспособные в широком диапазоне условий наблюдения.
Можно выделить две характерных черты систем технического зрения: необходимость работы в реальном масштабе времени и автономность режима функционирования этих систем. Важной проблемой является обнаружение и сопровождение объектов, находящихся в поле зрения датчика изображений.
Описанный алгоритм обнаружения и классификации объектов работает с полутоновыми изображениями. Полутоновые изображения также называются монохромными, или изображениями в оттенках серого, а значение, получаемое после преобразования, - интенсивностью или яркостью точки.
Метод обнаружения объектов на неоднородном фоне
Для обнаружения объекта в видеопоследовательности был применен угловой детектор Харриса. Угловой детектор Харриса - это стандартный метод определения точек интереса на изображении. Несмотря на появление множества детекторов за последнее десятилетие, он продолжает оставаться эталонным методом, который обычно используется для калибровки камеры, сопоставления изображений и отслеживания.
Идея метода Харриса состоит в обнаружении точек на основе изменения интенсивности в локальной окрестности: небольшая область вокруг объекта должна показывать большое изменение интенсивности при сравнении с окнами, смещенными в любую сторону.
Эта идея может быть выражена через автокорреляционную функцию. Углы определяются как точки x, которые увеличивают последующие функции на малые сдвиги h, т.е. максимальное отклонение в любом направлении:
E^) = ^w^)(^ + h)-1^))2 .
Функция w (x) позволяет выбрать область поддержки ^иррог^^юп),
которая обычно определяется как прямоугольная или гауссова функция. Разложение в ряд Тейлора можно использовать для линеаризации выражения, при этом правая часть выглядит следующим образом:
^ ) = ^ w ^)( ^ )h )2 dx =2 w ^)(ИГ VI ^ ^ ^ )T h).
Последнее выражение зависит от градиента изображения через матрицу автокорреляции или структурного тензора, который задается как
M = Zw(x)(V7(x)VI(x)T ) =
( Zw(x)i2 Zw(x)IxIyЛ
Zw(x)IxIy Zw(xK
y
Максимумы находятся путем анализа этой матрицы. Наибольшее собственное значение M соответствует направлению наибольшего изменения интенсивности, при этом второе по величине соответствует изменению интенсивности в его ортогональном направлении. Анализируя их значения, получаем три возможных ситуации:
1. Оба собственных значения малы, ^ ~ ~ 0, тогда область, вероятно, будет однородной областью с изменениями интенсивности вследствие шума.
2. Одно из собственных значений много больше другого, » ~ 0, тогда область, скорее всего, принадлежит ребру, причем наибольшее собственное значение соответствует ортогональному направлению края.
3. Оба собственных значения велики, > » 0, тогда область, вероятно, будет содержать большие изменения интенсивности в двух ортогональных направлениях, поэтому соответствует угловой структуре.
Из сказанного следует, что угловой детектор Харриса является математическим способом определения участков, вызывающих наибольшие изменения исследуемых параметров при перемещении в заданном направлении. К каждому участку привязана своя оценочная величина, по которой можно определить, что в исследуемой области являются углом, а что нет.
Результаты обработки алгоритма с применением углового детектора Харриса приведены на рис. 1.
Метод классификации объектов на неоднородном фоне
Искусственные нейронные сети являются одними из основных инструментов, используемых для задач классификации объектов [6]. Нейронные сети
состоят из входного и выходного слоев, а также (в большинстве случаев) скрытого слоя, состоящего из блоков, которые преобразуют входные данные в то, что может использовать выходной слой (рис. 2).
Рис. 1. Результат обработки кадров инфракрасного видео
Скрытый стаж
Рис. 2. Последовательность действий в нейронной сети
В рамках данного исследования для решения задачи классификации используется стандартная трехслойная архитектура нейронной сети прямого распространения. Обучение нейронной сети прямого распространения основывается на вычислении функции ошибки методом обратного распространения ошибки. В качестве методов обучения используются методы, основанные на оптимизации стохастического градиента и подразделяющиеся на методы первого и второго порядков в зависимости от порядка используемых производных функции ошибки.
Важными параметрами при построении нейронной сети после выбора метода обучения являются оптимальное число нейронов на скрытом слое и способ начальной инициализации весов.
Разработанный алгоритм [7] работает следующим образом:
- на первом этапе кадр видеопотока обрабатывает матрица повышающая контраст изображения [8-10];
- на втором этапе вычисляется положение объекта с помощью углового детектора Харриса;
- на третьем этапе обученная нейронная сеть обрабатывает выделенную область предполагаемого объекта для его классификации.
Во многих случаях получаемые бинарные изображения содержат элементы, ложно отнесенные к объектам. Поэтому для улучшения качества обнаружения следует осуществить дополнительную обработку получаемого бинарного изображения. Суть обработки заключается в последовательном применении процедур морфологического закрытия и открытия с квадратным структурирующим элементом заданного размера. В процессе параметризации сегментов вычисляются координаты их центров, габаритные размеры, площадь и другие параметры. Исходя из параметров сегментов и имеющейся априорной информации системой принимается решение об обнаружении объектов в кадре.
Результаты
Для определения работоспособности алгоритма по дальности смоделированы инфракрасные видеоматериалы с беспилотным летательным аппаратом и бронетанковой техникой на разных подстилающих поверхностях. Моделирование происходило в среде Blender 2.8. Результат обработки двух видео показан на рис. 3, полученном при моделировании сцены с движущимся объектом в инфракрасном спектральном диапазоне с частотой 25 кадров/с.
L i
BP LA BPLvJ $4.78 BP LA
f: 60 x: 57 y: 85 f: 65 x: 57 y: 84 f: 71 x: 61 y: 77
f: 61 x: 56 y: 32 f: 66 x: 62 y: 36 f: 71 x: 65 y: 34
Рис. 3. Результаты классификации объектов нейронной сетью
Заключение
Предложенный алгоритм уверенно справляется с обнаружением и классификацией контрастного объекта, находящегося на расстоянии до 2 км от системы обнаружения с разрешением камеры 125*125 пикселей. Наилучший результат достигается для тех изображений, на которых объекты расположе-
ны на однородном фоне. На работу алгоритма практически не влияет затененность, а в некоторых случаях она даже способствует получению лучшего результата. Достоинством разработанного алгоритма является быстродействие системы обнаружения и классификации беспилотных летательных аппаратов и наземной техники.
Библиографический список
1. Li, J. Detection of small moving object sinima gesequences / J. Li, Z. Shen, L. Bao // Automatic targe trecognition IV: Proc. Of SPIE. - 1997. - Vol. 3069. - P. 511-517.
2. Алпатов, Б. А. Алгоритм обработки изображений для систем автоматического сопровождения воздушных объектов / Б. А. Алпатов, А. Н. Блохин, В. С. Муравьев // Цифровая обработка сигналов. - 2010. - № 4. - С. 12-17.
3. Борисова, И. В. Обнаружение объектов на тепловых изображениях / И. В. Борисова, В. Н. Горенок, В. Н. Захарова // Проблемы автоматизации и управления в технических системах : тр. Междунар. науч.-техн. конф. (г. Пенза, 19-22 апреля 2011 г.). - Пенза : Изд-во ПГУ, 2011. - Т. 1. - С. 186-190.
4. Ciresan, D. Multi-column Deep Neural Networks for Image Classification (CVPR) / D. Ciresan, J. Schmidhuber // IEEE Proceedings of Computer Vision and Pattern Recognition. - 2012. - P. 3642-3649.
5. Федотов, Н. Г. Анализ полутоновых изображений и цветных текстур с позиции стохастической геометрии и функционального анализа / Н. Г. Федотов, Д. А. Голдуева, М. А. Мокшанина // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2017. - № 2 (42). - С. 29-41.
6. He, K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // Proc. of the IEEE conf. on computer vision and pattern recognition. - Las Vegas, 2016. -P. 770-778.
7. Седжвик, Р. Программирование на языке Python : учебный курс : пер. с англ. / Р. Седжвик, К. Уэйн, Р. Дондеро. - Санкт-Петербург : ООО «Альфа-книга», 2017. -736 с.
8. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. -Москва : Техносфера, 2005. - 1072 с.
9. Отчет о НИР «Состояние и перспективы развития матричных ФПУ для многоспектральных ГСН», шифр «Нейрон», № гос. рег. У90056, инв. № Е79158. ФГУП «Сибирский научно-исследовательский институт оптических систем», научный рук. Легкий В. Н. - Новосибирск, 2007. - 53 с.
10. Цифровая обработка изображений в информационных системах / И. С. Грузман, В. С. Киричук, В. П. Косых, Г. И. Перетягин, А. А. Спектор. - Новосибирск : Изд-во НГТУ, 2002. - 352 с.
References
1. Li J., Shen Z., Bao L. Automatic targe trecognition IV: Proc. Of SPIE. 1997, vol. 3069, pp. 511-517.
2. Alpatov B. A., Blokhin A. N., Murav'ev V. S. Tsifrovaya obrabotka signalov [Digital signal processing]. 2010, no. 4, pp. 12-17. [In Russian]
3. Borisova I. V., Gorenok V. N., Zakharova V. N. Problemy avtomatizatsii i upravleniya v tekhnicheskikh sistemakh: tr. Mezhdunar. nauch.-tekhn. konf. (g. Penza, 19-22 aprelya 2011 g.) [Automation and control problems in technical systems: proceedings of the International scientific and engineering conference (Penza, April 19-22, 2011)]. Penza: Izd-vo PGU, 2011, vol. 1, pp. 186-190. [In Russian]
4. Ciresan D., Schmidhuber J. IEEE Proceedings of Computer Vision and Pattern Recognition. 2012, pp. 3642-3649.
5. Fedotov N. G., Goldueva D. A., Mokshanina M. A. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki [University proceedings. Volga region. Engineering sciences]. 2017, no. 2 (42), pp. 29-41. [In Russian]
6. He K., Zhang X., Ren S., Sun J. Proc. of the IEEE conf. on computer vision and pattern recognition. LasVegas, 2016, pp. 770-778.
7. Sedzhvik R., Ueyn K., Dondero R. Programmirovanie na yazyke Python: uchebnyy kurs: per. s angl. [Python programming: a training course: translated from English]. Saint-Petersburg: OOO «Al'fa-kniga», 2017, 736 p. [In Russian]
8. Gonsales R., Vuds R. Tsifrovaya obrabotka izobrazheniy [Digital imaging]. Moscow: Tekhnosfera, 2005, 1072 p. [In Russian]
9. Otchet o NIR «Sostoyanie i perspektivy razvitiya matrichnykh FPU dlya mnogos-pektral'nykh GSN», shifr «Neyron», № gos. reg. U90056, inv. № E79158 [Report on the Scientific Research "State and development prospects of matrix FPUs for multispec-tral GOS", cipher "Neuron", state registration No. U90056, inv. No. E79158]. FGUP «Sibirskiy nauchno-issledovatel'skiy institut opticheskikh sistem», nauchnyy ruk. Leg-kiy V. N. Novosibirsk, 2007, 53 p. [In Russian]
10. Gruzman I. S., Kirichuk V. S., Kosykh V. P., Peretyagin G. I., Spektor A. A. Tsifrovaya obrabotka izobrazheniy v informatsionnykh sistemakh [Digital image processing in information systems]. Novosibirsk: Izd-vo NGTU, 2002, 352 p. [In Russian]
Черников Андрей Андреевич аспирант, Новосибирский государственный технический университет (Россия, г. Новосибирск, пр. К. Маркса, 20)
E-mail: ancher1994@gmail.com
Пуртов Антон Игоревич аспирант, Новосибирский государственный технический университет (Россия, г. Новосибирск, пр. К. Маркса, 20)
E-mail: a.p.93@mail.ru
Прокофьев Иван Валерьевич аспирант, Новосибирский государственный технический университет (Россия, г. Новосибирск, пр. К. Маркса, 20)
E-mail: prokofev.ivan.93@mail.ru
Ющенко Валерий Павлович доктор технических наук, профессор, кафедра автономных информационных и управляющих систем, Новосибирский государственный технический университет (Россия, г. Новосибирск, пр. К. Маркса, 20)
E-mail: yushhenko@corp.nstu.ru
Chernikov Andrey Andreevich
Postgraduate student, Novosibirsk
State Technical University
(20 K. Marksa avenue, Novosibirsk, Russia)
Purtov Anton Igorevich
Postgraduate student, Novosibirsk
State Technical University
(20 K. Marksa avenue, Novosibirsk, Russia)
Prokofev Ivan Valer'evich
Postgraduate student, Novosibirsk
State Technical University
(20 K. Marksa avenue, Novosibirsk, Russia)
Yushchenko Valeriy Pavlovich Doctor of engineering sciences, professor, sub-department of autonomous information and control systems, Novosibirsk State Technical University (20 K. Marksa avenue, Novosibirsk, Russia)
Образец цитирования:
Черников, А. А. Алгоритм обнаружения и классификации объектов на неоднородном фоне / А. А. Черников, А. И. Пуртов, И. В. Прокофьев, В. П. Ющенко // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2020. - № 4 (56). - С. 39-46. - DOI 10.21685/2072-30592020-4-4.
