CC BY
23Radio Engineering and Communications Радиотехника и связь
DOI: 10.17516/1999-494X-0396 УДК 519.213
Probabilistic Assessment of Objects Belonging to a Given Class Based on the Combination of Multispectral Images of Different Times
Vitalii S. Svishchoa, Andrey I. Uvarov*a and Oleg V. Kryukovb
aMilitary Training and Research Center of the Air Force «Air Force Academy ft. Professor N. E. Zhukovsky and Y. A. Gagarin»
Voronezh, Russian Federation bVoronezh State Agrarian University named after Peter I
Voronezh, Russian Federation
Received 29.12.2021, received in revised form 18.03.2022, accepted 24.03.2022
Abstract. Object detection is the task of classifying and localization of objects in an image. This article discusses methods of image aggregation. Probabilistic indicators of the quality of optoelectronic means when detecting images of observed objects are determined. The technique of image aggregation in a multispectral optoelectronic system based on the probabilistic belonging of an object to a given class is presented. Probabilistic data on the object belonging to a given class using the machine learning method were obtained. The results of image aggregation with different parameters of the classification criterion are presented.
Keywords: object detection and recognition, combining, deep learning, probability estimation
Citation: Svishcho, V.S., Uvarov, A.I., Kryukov, O. V. Probabilistic assessment of objects belonging to a given class based on the combination of multispectral images of different times. J. Sib. Fed. Univ. Eng. & Technol., 2022, 15(3), 370-380. DOI: 10.17516/1999-494X-0396
© Siberian Federal University. All rights reserved
This work is licensed under a Creative Commons Attribution-Non Commercial 4.0 International License (CC BY-NC 4.0). Corresponding author E-mail address: uvarov-tambov2010@mail.ru
Вероятностная оценка принадлежности объектов к заданному классу на основе комплексирования разновременных многоспектральных изображений
В. С. Свищоа, А. И. Уваров3, О. В. Крюков6
аВоенный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н. Е. Жуковского и Ю. А. Гагарина» Российская Федерация, Воронеж бВоронежский государственный аграрный университет имени Петра I
Российская Федерация, Воронеж
Аннотация. Обнаружение объектов - это задача классификации и локализации объектов на изображении. В этой статье рассматриваются методы комплексирования изображений. Определены вероятностные показатели качества оптико-электронных средств при обнаружении образов наблюдаемых объектов. Представлена методика комплексирования изображений в многоспектральной оптико-электронной системе на основе вероятностной принадлежности объекта к заданному классу. Получены вероятностные данные о принадлежности объекта к заданному классу с использованием метода машинного обучения. Приведены результаты комплексирования изображений при различных параметрах критерия классификации.
Ключевые слова: обнаружение и распознавание объектов, совмещение, глубокое обучение, оценка вероятности.
Цитирование: Свищо, В. С. Вероятностная оценка принадлежности объектов к заданному классу на основе комплексирования разновременных многоспектральных изображений / В. С. Свищо, А. И. Уваров, О. В. Крюков // Журн. Сиб. федер. ун-та. Техника и технологии, 2022, 15(3). С. 370-380. DOI: 10.17516/1999-494Х-0396.
Введение
Оптико-электронные системы (ОЭС) находят все более широкое применение в самых различных областях науки и техники. Современный этап их развития характеризуется быстрым совершенствованием элементной базы, в частности, развитием оптико-электронных технологий, матричных многоэлементных приемников излучения. Данные технологии позволяют перейти к решению важнейших и актуальных задач по выделению полезных оптических сигналов и образов на фоне второстепенных, мешающих излучающих и отражающих полей путем приема изображений в двух и более диапазонах оптического спектра, т.е. к созданию многодиапазонных ОЭС [1].
Одним из составляющих элементов, участвующих в обработке получаемых многоспектральных данных, является их комплексирование. Под комплексированием будем понимать совместную обработку изображений одного участка сцены, полученных фотоприемниками разного спектрального диапазона. На результирующем изображении должна повыситься замет-ность элементов сцены и его деталей. Это реализуется благодаря извлечению дополнительных признаков об объекте интереса на основе взаимосвязи яркостных характеристик. Основной задачей комплексирования является определение интересующих нас компонентов информации на изображениях, полученных от фотоприемников разного спектрального диапазона, и даль- 371 -
нейший вывод ее на результирующее изображение. При этом необходимо обеспечить высокую скорость обработки в режиме времени, близкого к реальному.
Структурная схема и принцип работы МОЭС
Примерная структурная схема многоспектральных ОЭС приведена на рис. 1. Назначение и функционирование оптической системы МОЭС имеет такие же функции, как у такой системы во всех ОЭС [2], и выполняет функцию сбора необходимой информации, под которой мы понимаем получение изображений элементов сцены. Матричные фотоприемники собирают необходимые потоки излучения и формируют изображение элементов сцены. Далее происходит разделение спектрального диапазона на п отдельных каналов (Д^, Д^2, ■■■ А^и_1, ДХп). Далее поток данных попадает на приемник излучения (ПИЬ ПИ, ■.. ПИп_ь ПИп), который преобразует оптический сигнал в электрический. Дальнейшая обработка сигналов идет в электронном блоке обработки сигналов. Система объединения (совмещения) изображений объединяет изображения разных спектральных диапазонов в совмещенное. На устройстве вывода осуществляется вывод результирующего изображения на дисплей или другие устройства.
Элементы сцены, которые характеризуются множеством информативных признаков (пространственное положение, спектр, форма объектов и т.д.), формируются в отдельных каналах, сигналы которых представляют собой функцию распределения освещенности на приемнике излучения. Цифровые изображения ^ 1, R 2, ■.. RI), сформированные на выходе электронного блока, впоследствии будут представлять объединенное множество
Рис. 1. Структурная схема многоспектральных ОЭС Fig. 1. Block diagram of multispectral OES
В итоге задача комплексирования сводится к нахождению функций пространственного преобразования и преобразования яркости. Устранение геометрических искажений можно отнести к пространственным преобразованиям, а необходимость учета преобразования яркости возникает из-за изменения освещения, сезонных и суточных изменений. Конечным продуктом комплексирования может быть как единое полутоновое, так и псевдоцветное изображение, на котором с заявленной точностью отображаются спектральные признаки элементов сцены.
Методы комплексирования изображений
Существует множество методов и алгоритмов комплексирования [3]. Но большая часть из низ эффективна лишь для двухспектральных изображений, либо данные алгоритмы являются вычислительно затратными для многоспектральных изображений. Также в данных алгоритмах не принимаются к обработке изображения одной сцены, полученные в разные интервалы времени, что значительно поспособствует получению более полной информативности элементов сцены. Далее будут рассматриваться методы, в которых под комплексированием понимается такое совмещение нескольких изображений, которое приводит к повышению информативности по сравнению с анализируемыми отдельными исходными изображениями.
Метод максимума основан на принципе замещения значений изображения H\(i, j) значениями изображения H2(i, j) при условии, что значения второго изображения больше. В итоге получаем новое изображение, в котором будут присутствовать признаки изображения H\(i, j) и наиболее информативные признаки изображения H2(i, j). Реализация данного метода основывается на логической операции сравнения. Существенным недостатком данного метода является его полная зависимость от уровня яркости изображений.
Метод маски аналогичен методу максимума за исключением того, что одно из изображений служит маской для другого. Представим первое изображений Hj(i, j), а второе - H2(i, j). Операция комплексирования выполняется путем пороговой фильтрации, в результате которой получается маска изображения H2(i, j). Далее результирующее изображение будет представлено множеством H\(i, j) и H2(i, j). Сложность применения метода маски обуславливается заданием порогового уровня фильтрации, который может привести к потере информации в результирующем изображении.
Метод усреднения заключается в нахождении среднего арифметического от исходных изображений. Данный способ основан на нахождении среднего значения, в результате получается изображение со сглаженными деталями объектов, контраст которых существенно уменьшается.
Ж. Лю и Р. Лаганьер [4] предложили метод степенного преобразования, который заключается в возведении исходного изображения Hj(i, j) в показатель степени, равный нормированному значению негатива второго изображения H2(i, j). Реализация данного метода позволяет выполнять комплексирование изображений в режиме реального времени. В итоге на результирующем изображении минимальные значения яркости изображения H2(i, j) останутся прежними, а максимальные значения примут существенное изменение.
Метод чересстрочного комплексирования построен на основе построчного чередования одного изображения относительно другого. Необходимой составляющей для применения этого метода является условие, что все изображения имеют одно пространственное разрешение.
Метод весовой функции заключается в линейной комбинации изображений Щ(1, /) и Н2(г, ]) с учетом коэффициента в, который характеризует величину значимости каждого из каналов и находится в интервале от 0 до 1. Величину коэффициента в выбирают в зависимости от эффективности каждого из каналов, тем самым более значимым становится изображение, средний уровень яркости которого выше. При комплексировании изображений данным методом требуется больше вычислительных затрат и основная сложность состоит в определении весового коэффициента. При неверном его определении в результирующем изображение возможна потеря информационных составляющих.
На основе приведенных методов были реализованы алгоритмы комплексирования [3], результаты которых представлены на рис. 2.
Анализ полученных изображений показывает, что для методов 3, 5 присутствует много лишних деталей, для методов 1, 2 произошла существенная потеря информационных признаков. Лучшие результаты показали методы 4, 6. Поэтому в дальнейшем необходимо строить алгоритм комплексирования изображений на основе метода весовой функции, где в качестве весов выступит вероятностная принадлежность объектов к заданному классу.
Исходными данными для классификации объектов к заданному классу будут использоваться разновременные изображения в видимом и инфракрасном (ИК) диапазоне длин волн, полученные при помощи оптической системы (ОС), установленной на беспилотном летательном аппарате (БпЛА). В ходе натурного суточного эксперимента было выполнено шесть полетов в разные интервалы времени (05.00, 09.00, 12.00, 15.00, 19.00, 23.30). Полет БпЛА выполнял-
Рис. 2. Комплексированные изображения в зависимости от метода: 1 - метод максимума; 2 - метод маски; 3 - метод усреднения; 4 - метод степенного преобразования; 5 - метод чересстрочного комплексирования; 6 - метод весовой функции
Fig. 2. Complexed images depending on the method: 1 - maximum method; 2 - mask method; 3 - averaging method; 4 - power transformation method; 5 - interlaced aggregation method; 6 - weight function method
15.00 19.00 23.30
Рис. 3. Ортофотопланы изображений ИК-диапазона в определенное время Fig. 3. Orthophotoplanes of IR range images at a certain time
ся по одинаковому маршруту. В результате обработки полученных изображений с помощью программного продукта «Agisoft» были сформированы ортофотопланы участка местности в соответствии с маршрутом и временем полета БпЛА (рис. 3).
Для корректной обработки объемного потока сведений следует автоматизировать ряд операций, включающих поиск и распознавание объекта [5]. Для решения данной задачи использовалась нейронная сеть [6] «Перцептрон», в алгоритм которой внесен дополнительный идентификационный признак, позволяющий классифицировать обнаруженные объекты по те-плофизическим параметрам (ТФП) материалов, проявляющихся в виде изменения градаций яркости на изображениях [7]. Для обучения нейронной сети использовали шесть разновременных изображений одного участка местности, на которых присутствует дорога (рис. 4).
Рис. 4. Формирование кубоида из разновременных изображений Fig. 4. Formation of a cuboid from images of different times
- 375 -
Сформировав кубоид изображений [8], выделяем на нем области (в данном случае это участки дороги), которые в последующем будут входными данными для обучения нейронной сети. Результат ее работы представлен на рис. 5.
Анализ полученных результатов показал, что нейронная сеть способна устойчиво и стабильно определять заданные объекты. Дорогу выделим белым цветом [9]. Пространственное распределение вероятности при классификации объекта дорога с введенным правилом принятия решения (рис. 6) представлено в виде
К (в) > СЛеп класс "дорога" ^
где 0 - параметр критерия классификации; Ру - вероятность определения класса «дорога».
Рис. 5. Ортофотоплан в видимом диапазоне (а). Результат определения дорог на ортофотоплане ИК-диапазона (б)
Fig. 5. Orthophotoplane in the visible range (a). The result of determining roads on the orthophotoplane of the IR range (b)
а) б) в)
г) Д) e)
Рис. 6. Пространственные распределения вероятности при параметрах критерия классификации: а - 0 = 0,1; б - 0= 0,2; в - 0 = 0,3; г - 0 = 0,5; д - 0 = 0,7; е - 0 =0,9
Fig. 6. Spatial probability distributions for classification criteria parameters: a - 0 = 0.1; b - 0 = 0.2; V - 0 = 0.3; g - 0 = 0.5; d - 0 = 0.7; e - 0 = 0,9
Одним из результатов работы нейронной сети является вероятность принадлежности пикселя к классу «дорога» (рис. 7).
Произведение яркостей видимого изображения на вероятность принадлежности пикселей к классу «дорога» будет способствовать повышению контрастности дороги на результирующем изображении (рис. 8). Поскольку информативность изображения - величина переменная, а дешифровщик работает в условиях дефицита времени, то комплексированное изображение в значительной мере содержит наиболее полное и подробное описание выделенного объекта.
Актуальным становится вопрос оценки эффективности применения комплексированно-го изображения для выполнения задач воздушной разведки БпЛА в конкретных условиях. Общим показателем эффективности при этом могут выступать значения вероятностей обнаружения (Робн) объекта на изображении, полученном оптической системой. Вероятности об-
Рис. 7. Результат определения на ортофотоплане ИК-диапазона попиксельной вероятностной принадлежности к классу «дорога» (белый цвет - дорожное покрытие с вероятностью 0,9, черный цвет -дорожное покрытие с вероятностью 0,1)
Fig. 7. The result of determining the pixel-by-pixel probabilistic belonging to the "road" class on the orthophoto-plane of the IR range (white color is the road surface with a probability of 0.9 and black color is the road surface with a probability of 0.1)
а) б) в)
Рис. 8. Видимое (а), полученное нейронной сетью (б), комплексированное (в) изображения Fig. 8. a) visible image b) obtained by a neural network v) complexed
- 377 -
наружения и распознавания зависят от разрешения видеокамеры, максимального линейного размера, формы и контраста объекта. Вероятность операторного обнаружения оценивается выражением
где I — (—в 1 ) } - показатель ослабления разрешения объекта на изображении, полученном
I ^пикс'а/К/ )
от фотоприемника, представленный следующими составляющими: В - коэффициент распознавания формы объекта; L - ЛРМ (линейное разрешение на местности) ОЭС; /пикс - максимальный линейный размер объекта в пикселях; К - видимый контраст объекта относительно фона [9].
Для наглядного определения видимого контраста дороги относительно фона рассмотрим отдельные участки дороги (рис. 9). Контраст дороги на комплексированном изображении в связи со зрительным восприятием оператора-дешифровщика, будет больше, чем на видимом (рис. 9в, г).
а) б)
Рис. 9. Ортофотоплан видимого изображения (а), ортофотоплан комплексированного изображения (б), участок дороги видимого изображения (в), участок дороги комплексированного изображения (г)
Fig. 9. Orthophotoplan of the visible image (a), orthophotoplan of the complexed image (b), the road section of the visible image (v), the road section of the integrated image (g)
Согласно выражению
определим численное значение видимого контраста относительно фона на изображениях (рис. 9в, г), где Lo и Lф - яркости объекта и фона соответственно. Для рис. 9в получим К=0,48, а для рис. 9г К=0,65. Способностью глаза воспринимать объект является видимость, значение которой зависит от освещенности, размера объекта распознавания, его яркости, контраста между объектом и фоном и рассчитывается выражением
где K - контраст между объектом и фоном; Кпор - пороговый контраст, то есть наименьший контраст, который различается глазом при данных условиях.
Таким образом, рассмотренная в статье методика комплексирования изображений с учетом метода весовой функции, а также использования нейронной сети позволяет повысить контраст и, соответственно, информативность полученного изображения. Учет значений вероятностной оценки классификации объектов при их отношении к определенному классу будет способствовать повышению достоверности распознавания. В свою очередь, повышение контраста объекта интереса позволяет оператору-дешифровщику за меньшее время установить визуальный контроль над объектом.
Список литературы / References
[1] Тарасов В. В., Якушенков Ю. Г. Двух- и многодиапазонные оптико-электронные системы с матричными приемниками излучения. М.: Университетская книга; Логос. 2007. 192 с. [Tarasov V. V., Yakushenkov Yu. G. Two- and multi-band optoelectronic systems with matrix radiation receivers. M., University Book; Logos. 2007. 192 p. (in Russian)]
[2] Якушенков Ю. Г. Теория и расчет оптико-электронных приборов. Монография. 4-е изд., переработанное и дополненное. М.: Логос, 1999. 500 с. [Yakushenkov Yu. G. Theory and calculation of optoelectronic devices. Monograph. 4th ed., revised and supplemented. Moscow, Logos, 1999. 500 p. (in Russian)]
[3] Васильев А. С. Методы комплексирования изображений многоспектральных оптико-
электронных систем. Сборник трудов международной конференции «Прикладная оптика - 2014». СПб, 2014. Т. 2, с. 191-194. [Vasiliev A. S. Methods of image aggregation of multispectral optoelectronic systems. Proceedings of the International Conference "Applied Optics - 2014". St. Petersburg, 2014, Vol. 2, pp.191-194 (in Russian)]
[4] Liu Z. and Laganiere R., "Context Enhancement through Infrared Vision: A Modified Fusion Scheme". Signal, Image and Video Processing, vol. 1, no. 4, pp. 293-301, Oct. 2007.
[5] Студитский А. С. Исследование и разработка многофункционального оптико-электронного средства наблюдения и разведки. М.: НИИ и МНПО «Спектр», 2013. 112 с. [Studitskiy A. S. Research and development of multifunctional optoelectronic surveillance and reconnaissance equipment. M.: Research Institute and MNPO "Spectrum", 2013. 112 p. (in Russian)]
[6] Галимянов Ф. А., Гафаров Ф. М., Хуснутдинов Н. Р. Модель роста нейронной сети, Математическое моделирование, 2011, 23:3, 101-108. [Galimyanov F. A., Gafarov F. M., Khusnutdinov N. R. Neural network growth model, Mathematical Modeling, 2011, 23:3, 101-108 (in Russian)]
[7] Ищук И. Н., Долгов А. А., Лихачев М. А., Тельных Б. К. Модель расчета теплофизических параметров материалов по данным многоспектральной разновременной фотографической съемки земной поверхности. Журн. Сиб. федер. ун-та. Техника и технологии, 2020, 13(7), 894-906. [Ischuk I. N., Dolgov A. A., Likhachev M. A., Telnykh B. K. Model for Calculating the Thermophysical Characteristics of Materials According to Multispectral Multi-Temporal Photographic Survey of the Earth's Surface. Zh. Sib. Feder. un-ta. Engineering and Technology, 2020, 13(7), 894-904 (in Russian)]
[8] Ищук И. Н., Степанов Е. А., Бeбенин А. А., Дмитриев Д. Д., Филимонов А. М. Способ классификации объектов оптико-электронными системами разведки на основе обработки многоспектрального кубоида изображений. Журн. Сиб. федер. ун-та. Техника и технологии, 2017, 10(2), 183-190. [Ischuk I. N., Stepanov E. A., Bebenin A. A., Dmitriev D. D., Filimonov A. M. Method for Classification of Objects Optoelectronic Exploration Systems Based Multispectral Cuboid Images. Zh. Sib. Feder. un-ta. Engineering and Technology, 2017, 10(2), 183-190 (in Russian)]
[9] Свидетельство о государственной регистрации программы для ЭВМ № 2021667847 Российская Федерация / А. И. Уваров от 03.11.2021 г. Программная реализация алгоритма фотограмметрической обработки разновременных спектральных изображений с учетом тепловой инерции нейронной сетью глубокого обучения. [Certificate of state registration of a computer program No. 2021667847 Russian Federation / A. I. Uvarov dated 03.11.2021 Software implementation of an algorithm for photogrammetric processing of multi-temporal spectral images taking into account thermal inertia by a deep learning neural network (in Russian)]
