CC BY
23Труды МАИ. 2023. № 129 Trudy MAI, 2023, no. 129
Научная статья УДК 004.932
DOI: 10.34759/trd-2023-129-26
АЛГОРИТМ ОБНАРУЖЕНИЯ И КЛАССИФИКАЦИИ ОБЪЕКТОВ НА НЕОДНОРОДНОМ ФОНЕ ДЛЯ ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМ
Андрей Андреевич Черников
Научно-исследовательский институт электронных приборов,
Новосибирск, Россия
ancher1994@gmail.com
Аннотация. В данной статье рассматривается автоматическое обнаружение и классификация беспилотных летательных аппаратов (БПЛА) и бронетанковой техники (БТ) в оптическом потоке для оптико-электронных систем. Алгоритм автоматического обнаружения и классификации объектов разработан на языке Python с использованием библиотеки OpenCV. В конце работы приводятся результаты экспериментального исследования разработанного алгоритма, на смоделированных и реальных изображениях в инфракрасном диапазоне. Предлагаемый алгоритм может быть использован для обнаружения объектов на неоднородном фоне в режиме реального времени оптико-электронной системой в инфракрасном диапазоне.
Ключевые слова: оптико-электронная система, беспилотный летательный аппарат,
бронетанковая техника, нейронные сети.
Для цитирования: Черников А.А. Алгоритм обнаружения и классификации объектов на неоднородном фоне для оптико-электронных систем // Труды МАИ. 2023. № 129. DOI: 10.34759/trd-2023-129-26
Original article
ALGORITHM FOR DETECTING AND CLASSIFICATION OF OBJECTS ON A UNHOMOGENEOUS BACKGROUND FOR OPTOELECTRONIC SYSTEMS
Andrey A. Chernikov
Scientific Research Institute of Electronic Devices,
Novosibirsk, Russia
ancher1994@gmail.com
Abstract. This article discusses the automatic detection and classification of unmanned aerial vehicles (UAV) and armored vehicles (BT) in the optical flow for optoelectronic systems. The algorithm is able to detect and classify objects in real time against a nonuniform background. Despite the presence of a fairly large number of methods for detecting and localizing objects in images, the solution of this problem to the full extent is still a rather laborious task, which, as a rule, requires manual labor of expert operators, which requires large time costs and may affect the efficiency of detection.
The purpose of the presented work is to increase the efficiency of detecting complex
objects of interest against the background for further classification of objects. When detecting the probable location of the object, the two-dimensional wavelet transform algorithm and the DBSCAN spatial clustering algorithm were used. A convolutional neural network was trained to classify the detected object. When training a convolutional neural network, a training sample was prepared, consisting of real and simulated images of objects. The algorithm for automatic detection and classification of objects was developed in Python using the OpenCV library.
At the end of the work, the results of an experimental study of the developed algorithm are presented, on simulated and real images in the infrared range. The presented studies were performed using video image processing methods for object detection and a convolutional neural network for object classification. The proposed algorithm can be used to detect objects against an inhomogeneous background in real time by optoelectronic system in the infrared range.
Keywords: optoelectronic system, unmanned aerial vehicle, armored vehicles, neural networks
For citation: Chernikov A.A. Algorithm for detecting and classification of objects on a unhomogeneous background for optoelectronic systems. Trudy MAI, 2023, no. 129. DOI: 10.34759/trd-2023-129-26
Введение
В данной статье предлагается алгоритм обнаружения и классификации БПЛА и БТ на неоднородном фоне в режиме реального времени. В начале обнаружения объекта расстояние между целью и детектором слишком велико, цель обычно имеет небольшой размер без очевидной информации о форме в необработанном
инфракрасном изображении [1-5]. Некоторые помехи в инфракрасном диапазоне изображения, такие как фон высокой яркости, сложные края фона и шумы размером с пиксель с высокой яркостью, легко могут быть ложно обнаружены как цели [6-8]. Следовательно, обнаружение малых инфракрасных целей чрезвычайно сложная задача [8,9]. В данном алгоритме для поиска точечных объектов используется локальное усиление контраста. При приближении объекта к оптико-электронной системе используется двумерное вейвлет-преобразование для поиска перепадов яркости объекта и фона что позволяет локализовать область объекта и в дальнейшем классифицировать объект.
В последнее время методы классификации объектов, основанные на глубоком обучении, получили широкое распространение и быстро развивались [10-16]. Глубокое обучение хорошо применяется для обработки изображений. Опираясь на их сильное извлечение признаков и способности к обобщению, сверточные нейронные сети (CNN) для классификации объектов стали широко применяться, поскольку технология глубокого обучения совершила прорыв в области компьютерного зрения [17-20]. В данной работе создана и обучена сверточная нейронная сеть для быстрой классификации объекта.
Обнаружение объектов на неоднородном фоне
При большом расстоянии объект имеет небольшой размер без очевидной информации о форме и полезной информации для классификации в инфракрасном изображении и легко может затеряться на неоднородном фоне. Также существует проблема, что некоторые помехи в инфракрасном диапазоне изображения, такие как
фон высокой яркости, сложные края фона и шумы размером с пиксель и высокой яркостью, легко могут быть ложно обнаружены как цели. В этой статье метод обнаружения инфракрасной малоразмерной цели основан на локальном усилении контраста [20] и предлагается для обеспечения хорошей производительности по скорости обнаружения и частоте ложных срабатываний, результат применения алгоритма представлен на рисунке 1.
Рисунок 1. Локальное усиление контраста инфракрасного изображения Точечный объект обычно ярче окружающего фона на инфракрасном изображении. Следовательно, мы можем использовать локальное усиление контраста для усиления видимости объекта и подавления фона, что важно для обнаружения объектов на больших расстояниях.
В алгоритме после приближения объекта на достаточное расстояние, обнаружение зон вероятного расположения объектов происходит с применением двумерного вейвлет-преобразования. Результаты применения двумерного вейвлет-преобразования приведены на рисунке 2.
Рисунок 2. Результат вейвлет-преобразования кадров Для определения координат объекта и создания ограничивающей рамки для последующей классификации в видеопоследовательности был применен алгоритм кластеризации данных ОББСЛК, рисунок 3 [11]. Это алгоритм кластеризации данных или соответствующий алгоритм, который обычно используется в анализе данных и машинном обучении. Входные данные представляют собой набор всех случайных и различных точек из источника данных. Алгоритм ОББСЛК группирует точки расположенные близко друг к другу в определенную группу на основе расстояния между этими точками и предварительно выбранного минимального количества точек в одной области. Все точки, которые не удовлетворяют двум приведенным выше значениям, помечаются как выбросы или шум, которые являются точками в областях с низкой плотностью.
Рисунок 3. Алгоритм кластеризации данных DBSCAN
Классификация объектов на неоднородном фоне
В последние годы возник большой интерес к глубокому обучению, особенно к сверточной нейронной сети (CNN). Этот класс искусственных нейронных сетей обеспечивает отличные результаты в различных областях [12]. Они могут автоматически и адаптивно изучать пространственные иерархии объектов, посредством обратного распространения, используя несколько блоков (слои свертки, слои объединения, полносвязные слои и т. д.). Сверточные нейронные сети превзошли предыдущие методы машинного обучения в задачах классификации изображений.
Рисунок 4 описывает общую структуру сверточной сети с семью слоями свертки, тремя максимальными операциями объединения и глобальной средней операцией объединения, предшествующей слою Softmax. После каждого максимального слоя объединения количество фильтров удваивается. Все блоки в этих слоях используют нелинейность Leaky ReLU вместо стандартной ReLU. Добавляя небольшой наклон для отрицательных входных данных, Leaky ReLU является одним из возможных решений для предотвращения проблем с исчезающим
градиентом во время обратного распространения. Известно, что это помогает против умирающих нейронов сети во время обучения [13,19-21].
Рисунок 4. Структура сверточной нейронной сети, используемой для
классификации объекта Для обучения по имеющимся в открытом доступе изображениям была сформирована база данных для 3 классов объектов (фон, БТ, БПЛА). Набор содержит 21000 изображений по 7000 изображений на каждый класс. Имеющиеся изображения были разбиты на тренировочные и проверочные наборы. Каждое изображение представлено в градациях серого.
Результаты
Работоспособности алгоритма определялась по смоделированным инфракрасным видеоматериалам на разных подстилающих поверхностях [22-26]. Видео получено при моделировании сцены с движущимися объектами в инфракрасном спектральном диапазоне с частотой 25 кадров/сек. Результат работы
алгоритма показан на рисунках 5 и 6.
Рисунок 5. Результаты обнаружения и классификации БПЛА на смоделированных изображениях
Рисунок 6. Результаты обнаружения и классификации бронетанковой техники
на смоделированных и реальных изображениях В данной статье предложен метод автоматического обнаружения и
классификации БПЛА и БТ для оптико-электронных систем беспилотных летательных аппаратов. Предлагаемый в данной работе алгоритм выполняет локализацию объектов с применением двумерного вейвлет-преобразования и алгоритма кластеризации данных DBSCAN. В локализованном окне выполняется классификация объекта, обученной сверточной нейронной сетью. Предлагаемый метод был применен к тестовым видеопоследовательностям с различными световыми и шумовыми условиями. Предложенный алгоритм уверенно справляется с обнаружением и классификацией нескольких объектов на цифровых изображениях. Достоинством разработанного алгоритма для беспилотных летательных аппаратов с оптико-электронной системой, является быстродействие алгоритма при обнаружении, классификации и определении координат объектов.
Список источников
1. Алпатов Б.А., Блохин А.Н. Муравьев В.С. Алгоритм обработки изображений для систем автоматического сопровождения воздушных объектов // Цифровая обработка сигналов. 2010. № 4. С. 12-17.
2. Krizhevsky A., Sutskever I. Hinton G.E. ImageNet Classification with Deep Convolutional Neural Networks // Advances in Neural Information Processing Systems, 2012, vol. 25 (2). DOI:10.1145/3065386
3. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A Simple Way to Prevent Neural Networks from Overfitting // Journal of Machine Learning Research, 2014, vol. 15 (1), pp. 1929-1958.
4. Гузенко О.Б., Катулев А.Н., Храмичев А.А., Ягольников СВ. Автоматическое обнаружение и сопровождение динамических объектов на изображениях, формируемых оптико-электронными приборами в условиях априорной неопределенности. Методы и алгоритмы / Под ред. А.А. Храмичева. - Монография. - М: Радиотехника, 2015. - 280 с.
5. Аполлонов Д.В., Бибикова К.И., Шибаев В.М., Ефимова И.Е. Формирование алгоритмов системы автоматического управления преобразуемого беспилотного летательного аппарата // Труды МАИ. 2022. № 122. URL: https://trudymai.ru/published.php?ID=164299. DOI: 10.34759/trd-2022-122-23
6. Трусфус М.В., Абдуллин И.Н. Алгоритм обнаружения маркерных изображений для вертикальной посадки беспилотного летательного аппарата // Труды МАИ. 2021. № 116. URL: https://trudymai.ru/published.php?ID=121099. DOI: 10.34759/trd-2021-116-13
7. Гайнанов Д.Н., Чернавин Н.П., Чернавин П.Ф., Чернавин Ф.П., Рассказова В.А. Выпуклые оболочки и выпукло отделимые множества в задаче многоклассового распознавания образов // Труды МАИ. 2019. № 109. URL: https://trudymai.ru/published.php?ID=111419. DOI: 10.34759/trd-2019-109-20
8. Wang K. et al. Detection of infrared small targets using feature fusion convolutional network // IEEE Access, 2019, pp. 146081-146092. DOI:10.1109/ACCESS.2019.2944661
9. Shuang-Chen Wu, Zheng-Rong Zuo. Small target detection in infrared images using deep convolutional neural networks // Journal Infrared Millimeter Waves, 2019, vol. 38, issue 3. URL: https://www.researching.cn/articles/OJ89ba8c9b029a4965
10. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature, 2015, vol. 521, pp. 436-
444. DQL10.1038/nature14539
11. Nguyen A., Yosinski J., Clune J. Deep neural networks are easily fooled: High confidence predictions for unrecognizable images // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 7-12 June 2015, pp. 427-436. DOI:10.1109/CVPR.2015.7298640
12. K. He, X. Zhang, S. Ren, J. Sun. Deep residual learning for image recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, LasVegas, 2016, pp. 770-778. DOI:10.1109/CVPR.2016.90
13. Zhou B., Khosla A., Lapedriza A., Oliva A., Torralba A. Learning Deep Features for Discriminative Localization // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 26 June-1 July 2016; pp. 29212929. DOI:10.1109/CVPR.2016.319
14. Бойков В.А., Колючкин В.Я. Алгоритм автоматического сопровождения изображений объектов // Вестник МГТУ им. Н.Э. Баумана. Серия: Приборостроение. 2017. № 5. C. 4-13. DOI: 10.18698/0236-3933-2017-5-4-13
15. Zhao B. et al. Object detection based on multi-channel deep CNN // 14th International Conference on Computational Intelligence and Security (CIS) // IEEE Computer Society, 2018, pp. 164-168. DOI:10.1109/CIS2018.2018.00043
16. Druki A.A., Spitsyn V.G., Boltova Yu.A., Bashlykov A.A. Sematic segmentation of earth remote sensing data using neural network algorithms // Bulletin of the Tomsk Polytechnic University. Series: Engineering of Georesources, 2018, vol. 329(1), pp. 59-68.
17. Voulodimos A., Doulamis N., Doulamis A., Protopapadakis A. Deep Learning for Computer Vision: A Brief Review // Computational Intelligence and Neuroscience, 2018,
pp. 1-13. DQL10.1155/2018/7068349
18. Valdenegro-Toro M. Learning Objectness from Sonar Images for Class-Independent Object Detection // 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 4-6 September 2019, pp. 1-6. DOI:10.1109/ECMR.2019.8870959
19. Рашид Т. Создаем нейронную сеть / Пер. с англ. - СПб.: Альфа-книга, 2017. -274 с.
20. Huu Thu Nguyen. et al. Multiple Object Detection Based on Clustering and Deep Learning Methods // Sensors, 2020, vol. 20 (16). DOI:10.3390/s20164424
21. Antoine d'Acremont et al. CNN-Based Target Recognition and Identification for Infrared Imaging in Defense Systems // Sensors, 2019, vol. 19 (9), pp. 2040. DOI:10.3390/s19092040
22. Хисматов И.Ф. Методика воспроизведения метеоусловий при имитационном моделировании авиационных оптико-электронных систем // Труды МАИ. 2019. № 108. URL: https://trudymai.ru/published.php?ID=109572. DOI: 10.34759/trd-2019-108-18
23. Черников А.А. Пуртов А.И., Прокофьев И.В., Ющенко В.П. Алгоритм обнаружения и классификации объектов на неоднородном фоне // Известия высших учебных заведений. Поволжский регион. Технические науки. 2020. № 4 (56). С. 3845. DOI: 10.21685/2072-3059-2020-4-4
24. Черников А.А., Легкий В.Н. Разработка алгоритма обнаружения беспилотного летательного аппарата // Гагаринские чтения - 2020. (Москва, 27 декабря 2019 - 17 апреля 2020): тезисы докладов. - М.: Изд-во МАИ, 2020. С. 848.
25. Черников А.А., Легкий В.Н. Алгоритм обнаружения и классификации объектов для оптико-электронных систем // XIX Всероссийская научно-техническая
конференция студентов, магистрантов, аспирантов и молодых ученых «Техника XXI века глазами молодых ученых и специалистов»: сборник статей. - Тула: Изд-во ТулГУ, 2021. - 335 с.
26. Черников А.А. Алгоритм обнаружения и классификации объектов на неоднородном фоне для оптико-электронных систем // XIV Всероссийский межотраслевой молодёжный конкурс научно-технических работ и проектов «Молодёжь и будущее авиации и космонавтики»: сборник трудов. - М.: Изд-во Перо, 2022. С. 151.
References
1. Alpatov B.A., Blokhin A.N. Murav'ev V.S. Tsifrovaya obrabotka signalov, 2010, no. 4, pp. 12-17.
2. Krizhevsky A., Sutskever I. Hinton G.E. ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing Systems, 2012, vol. 25 (2). DOI:10.1145/3065386
3. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: A Simple Way to Prevent Neural Networks from Overfitting // Journal of Machine Learning Research, 2014, vol. 15 (1), pp. 1929-1958.
4. Guzenko O.B., Katulev A.N., Khramichev A.A., Yagol'nikov SV. Avtomaticheskoe obnaruzhenie i soprovozhdenie dinamicheskikh obektov na izobrazheniyakh, formiruemykh optiko-elektronnymi priborami v usloviyakh apriornoi neopredelennosti. Metody i algoritmy (Automatic detection and tracking of dynamic objects in images
generated by optoelectronic devices under conditions of a priori uncertainty. Methods and algorithms): monografiya. Moscow, Radiotekhnika, 2015, 280 p.
5. Apollonov D.V., Bibikova K.I., Shibaev V.M., Efimova I.E. Trudy MAI, 2022, no. 122. URL: https://trudymai.ru/eng/published.php?ID=164299. DOI: 10.34759/trd-2022-122-23
6. Trusfus M.V., Abdullin I.N. Trudy MAI, 2021, no. 116. URL: https://trudymai.ru/eng/published.php?ID= 121099. DOI: 10.34759/trd-2021-116-13
7. Gainanov D.N., Chernavin N.P., Chernavin P.F., Chernavin F.P., Rasskazova V.A. Trudy MAI, 2019, no. 109. URL: https://trudymai.ru/eng/published.php?ID=111419. DOI: 10.34759/trd-2019-109-20
8. Wang K. et al. Detection of infrared small targets using feature fusion convolutional network, IEEE Access, 2019, pp. 146081-146092. D0I:10.1109/ACCESS.2019.2944661
9. Shuang-Chen Wu, Zheng-Rong Zuo. Small target detection in infrared images using deep convolutional neural networks, Journal Infrared Millimeter Waves, 2019, vol. 38, issue 3. URL: https://www.researching.cn/articles/0J89ba8c9b029a4965
10. LeCun Y., Bengio Y., Hinton G. Deep learning, Nature, 2015, vol. 521, pp. 436-444. D0I:10.1038/nature14539
11. Nguyen A., Yosinski J., Clune J. Deep neural networks are easily fooled: High confidence predictions for unrecognizable images, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, USA, 7-12 June 2015, pp. 427-436. D0I:10.1109/CVPR.2015.7298640
12. K. He, X. Zhang, S. Ren, J. Sun. Deep residual learning for image recognition,
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, LasVegas, 2016, pp. 770-778. D0I:10.1109/CVPR.2016.90
13. Zhou B., Khosla A., Lapedriza A., Oliva A., Torralba A. Learning Deep Features for Discriminative Localization, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 26 June-1 July 2016; pp. 2921-2929. DOI:10.1109/CVPR.2016.319
14. Boikov V.A., Kolyuchkin V.Ya. Vestnik MGTU im. N.E. Baumana. Seriya: Priborostroenie, 2017, no. 5, pp. 4-13. DOI: 10.18698/0236-3933-2017-5-4-13
15. Zhao B. et al. Object detection based on multi-channel deep CNN // 14th International Conference on Computational Intelligence and Security (CIS), IEEE Computer Society, 2018, pp. 164-168. DOI:10.1109/CIS2018.2018.00043
16. Druki A.A., Spitsyn V.G., Boltova Yu.A., Bashlykov A.A. Sematic segmentation of earth remote sensing data using neural network algorithms, Bulletin of the Tomsk Polytechnic University. Series: Engineering of Georesources, 2018, vol. 329(1), pp. 5968.
17. Voulodimos A., Doulamis N., Doulamis A., Protopapadakis A. Deep Learning for Computer Vision: A Brief Review, Computational Intelligence and Neuroscience, 2018, pp. 1-13. DOI:10.1155/2018/7068349
18. Valdenegro-Toro M. Learning Objectness from Sonar Images for Class-Independent Object Detection, 2019 European Conference on Mobile Robots (ECMR), Prague, Czech Republic, 4-6 September 2019, pp. 1-6. DOI:10.1109/ECMR.2019.8870959
19. Rashid T. Sozdaem neironnuyu set' (Creating a neural network), Saint Petersburg, Al'fa-kniga, 2017, 274 p.
20. Huu Thu Nguyen. et al. Multiple Object Detection Based on Clustering and Deep Learning Methods, Sensors, 2020, vol. 20 (16). DOI:10.3390/s20164424
21. Antoine d'Acremont et al. CNN-Based Target Recognition and Identification for Infrared Imaging in Defense Systems, Sensors, 2019, vol. 19 (9), pp. 2040. DOI:10.3390/s19092040
22. Khismatov I.F. Trudy MAI, 2019, no. 108. URL: https://tmdymai.m/eng/published.php?ro=109572. DOI: 10.34759/trd-2019-108-18
23. Chernikov A.A. Purtov A.I., Prokofev I.V., Yushchenko V.P. Izvestiya vysshikh uchebnykh zavedenii. Povolzhskii region. Tekhnicheskie nauki, 2020, no. 4 (56), pp. 3845. DOI: 10.21685/2072-3059-2020-4-4
24. Chernikov A.A., Legkii V.N. Gagarinskie chteniya - 2020: tezisy dokladov, Moscow, Izd-vo MAI, 2020, pp. 848.
25. Chernikov A.A., Legkii V.N. XIX Vserossiiskaya nauchno-tekhnicheskaya konferentsiya studentov, magistrantov, aspirantov i molodykh uchenykh «Tekhnika XXI veka glazami molodykh uchenykh i spetsialistov»: sbornik statei, Tula, Izd-vo TulGU, 2021, 335 p.
26. Chernikov A.A. XIV Vserossiiskii mezhotraslevoi molodezhnyi konkurs nauchno-tekhnicheskikh rabot iproektov «Molodezh' i budushchee aviatsii i kosmonavtiki»: sbornik trudov, Moscow, Izd-vo Pero, 2022, pp. 151.
Статья поступила в редакцию 03.02.2023 Одобрена после рецензирования 20.02.2023 Принята к публикации 27.04.2023
The article was submitted on 03.02.2023; approved after reviewing on 20.02.2023; accepted for publication on 27.04.2023
