CC BY
48Journal of Siberian Federal University. Engineering & Technologies, 2017, 10(2), 183-190
УДК 518.6, 536.6
Method for Classification
of Objects Optoelectronic Exploration Systems
Based Multispectral Cuboid Images
Igor N. Ischukab, Evgeniy A. Stepanova, Andrey A. Bebenina, Dmitry D. Dmitrievb and Andrey M. Filimonova
aMilitary Education and Research Centre of Military-Air Forces
«Military-Air Academy Named After Professor N.E. Zhukovsky and Yu.A. Gagarin» 54а Starykh Bolshevikov Str., Voronezh, 394064, Russia
bSiberian Federal University 79 Svobodny, Krasnoyarsk, 660041, Russia
Received 04.12.2016, received in revised form 10.01.2017, accepted 28.02.2017
The article deals with the classification of objects opto-electronic intelligence systems on the basis of processing of multispectral images cuboid, technology generation and processing cuboid multispectral images of man-made objects in the course of daily observations. A general statement of the problem according to the classification of dynamic images in the infrared and visible wavelength ranges. The results of the implementation of the method of classification in the field experiment.
Keywords: multispectral imaging, thermal tomography, thermal radiation, thermal contrast, dynamic IR signature, thermal conductivity material, cuboid IR image, hidden objects.
Citation: Ischuk I.N., Stepanov E.A., Bebenin A.A., Dmitriev D.D. Filimonov A.M. Method for classification of objects optoelectronic exploration systems based multispectral cuboid images, J. Sib. Fed. Univ. Eng. technol., 2017, 10(2), 183-190. DOI: 10.17516/1999-494X-2017-10-2-183-190.
© Siberian Federal University. All rights reserved
Corresponding author E-mail address: boerby@rambler.ru, Nikk_444@mail.ru
*
Способ классификации объектов оптико-электронными системами разведки на основе обработки
многоспектрального кубоида изображений
И.Н. Ищука б, Е.А. Степанов3, А.А. Бебенинб, Д.Д. Дмитриев8, А.М. Филимонова
аВоенный учебно-научный центр Военно-воздушных сил
«Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина» Россия, 394064, Воронеж, ул. Старых Большевиков, 54а бСибирский федеральный университет Россия, 660041, Красноярск, пр. Свободный, 79
В статье рассматривается классификация объектов оптико-электронными системами разведки на основе обработки многоспектрального кубоида изображений, технология формирования и обработки кубоида многоспектральных изображений техногенных объектов в ходе суточных наблюдений. Представлена общая постановка задачи классификации по данным динамических изображений в инфракрасном и видимом диапазонах длин волн. Приведены результаты реализации предложенного способа классификации в ходе натурного эксперимента.
Ключевые слова: многоспектральные изображения, тепловая томограмма, тепловое излучение, тепловой контраст, динамические ИК-сигнатуры, теплопроводность материалов, кубоид ИК-изображения, скрытые объекты.
Введение
Современные оптико-электронные системы (ОЭС) разведки наземных техногенных объектов, установленные на беспилотных летательных аппаратах (БЛА) и работающие в различных диапазонах электромагнитного спектра, осуществляют поиск объектов путем анализа возникающих яркостных контрастов. На эти системы воздействуют различные факторы, такие как параметры съемки (высота, скорость и эволюции полета БЛА, освещенность сцены), погодные, антропогенные и другие воздействия. ОЭС инфракрасного (ИК) диапазона длин волн характеризуются способностью обнаружения по тепловым контрастам малозаметных объектов, менее подвержены погодным воздействиям и не зависят от присутствия внешних источников излучения [1]. При этом современные ОЭС как в видимом, так и в ИК-диапазонах характеризуются возможностью получения видеоизображения качества FullHD (разрешением 1920x1080 пиксель) и выше [2].
Применение различных методов обзора поверхности Земли при однократной съемке не всегда позволяет обнаружить малозаметный техногенный объект. Известны различные способы решения задач обнаружения и распознавания малозаметных объектов в ИК-диапазоне длин волн в ходе дистанционного мониторинга Земли с применением БЛА, однако они не используют свойства информационной избыточности динамических изображений.
Современные БЛА большой продолжительности полета позволяют вести поиск малозаметных техногенных объектов в течение длительного времени с переходом от светлого времени суток к темному, фиксируя изображения местности с определенным интервалом. В результате получается набор динамических изображений, обладающий информационной избыточностью.
Использование операторного метода дешифрирования динамических изображений больших участков местности характеризуется большими психофизическими нагрузками и низкой эффективностью обнаружения малозаметных объектов. Для решения задачи снижения нагрузки на дешифровщика при обнаружении малозаметных объектов следует использовать алгоритмы автоматизации процесса обработки набора динамических многоспектральных изображений (кубоида многоспектральных изображений), содержащего избыточную информацию об изменении поля яркости наблюдаемой местности. В процессе обработки динамических ИК-изображений можно получить тепловую томограмму местности [3], отражающую распределение теплофизических параметров объектов. В видимом диапазоне длин волн достаточно отобрать наиболее контрастное изображение, поскольку малозаметные техногенные объекты в данной области электромагнитного спектра не меняют свои отражательные свойства при условии постоянства погоды.
Постановка задачи
При периодическом дистанционном измерении тепловых полей тепловизионным приемником получают детерминированные значения радиационных температур Т^1, Тг2,..., Тгк, там радиационная температура каждой области поверхности на изображении - пикселе - представляется фиксированным значе нием ТДда,и:р], где т, чг - пространственные отсчеты, т е 0,М; п е 0, N; к е 1, К - отсчеты по времени.
Математическая задача классификации формуляруется с помощью дискриминантной
фу нкции. Пусть т1, т 2,..., тс обозначают £ классов (образов), подлежащих распознаванию и о бра?
зующих пвлную группу событий Ц} саких, что \С-Р( ю«. > 0, V/ и г , <= п от * 0, ^ТЮ = О [4].
¿=1
Допустим, что лубоад ИК-азображений описыееесся вектором Т = [[4. .., ТВ]
. Так
кок Т являкася сеотастической фз^нкциал аремзно и зависит от боллшхгл аисла внскх-
иии Можеассог, днржзоиг не опргдееунхести о по л^чнии оц-гг^^и пртнадлежюсти о(5]:>^зс к
ртассу яер ато—ет Пырь доеиипнут«ч ыутст редеидщш кубоида ИК-иеоТраженид и полсчннтя
сиоИдажднил пуостдзнздаднуосо раькиеделпния тепаопаонядзостп к[да,и]: к = АС-1 (Т), где
Л-, а- —брнондш оидрадо—д речниемтсщес теншазде КОЗЛИ СОпс^ддэатто^ Л 1 можтю реализтоттд
туе ем чсынтннрге пегпетии опеимиуачиоадо м задул- епапетщ I Т-ТГ, аде Т и киДсит терзаю II II
модинамических температур, -эассчит анных в со ответствии с; частентьш аепаением ПЗТ мттодом ратносхноха схем: 03И = Л-Т4, где А - мат рица-определитель ра зностной схемы. Представим фанкцию ррпвдоподоТия Ь(к | ч): !□ —ч II, гдт ¡С е Я. Тогда точечная оценка принадлежности пикселя на изображении тепловой томограммы к классу будет определяться оценкой максимального правдоподобия параметра ю на основе редукции кубоида ИК-изображений[4].
Повышение вероятностиобнаружениямалозаметныхтехногенныхобъектов достигается использованием на БЛА многехпеыстраяснык о птико-Ритктр<енныхоистым(МОбС)рОТе спечие вающих совместную аоработку оотоИяр1^б^аосй]тро^.риан^^а рт^епа^оехбс^!^т^1авоян. Оценка принадлежности пиюасыъ изобр аю^е^и^т я вМОЭС и ИК- и ввд итъм дктинвоысх т^нинаолнк]со^с^-су m¡ реализуется путем минимизации соответствующей целевой функции U, основанной на вычислении эвклидотеТмeтрикт. На о сно o а енотеореоичоских и анепориментальныеис следований, представлен иыхтработе[4], рассматриааемаяеадачо к лaррифияътли о б ыектовъ будет иметь вид
i 0-5 Q = argminH(£(£(b/ -b)2) );
t=\ j=1
bb = argmaxZ(Á,Á2,...,ÁC \b); (1)
beQ ^
A = argminl T - Til;
AeR II II
Tk-1 = A • Tk
где U - оператор разбиения множества объектов Q на изображениях, полученных в видимом и ИК-диапазонах длин волн в результате обработки кубоида изображений; l - количество плоскостей (поле яркости изображения тепловой томограммы, поле яркости изображения в видимом диапазоне длин волн); q е\,д.
Алгоритм классификации
Этапы реализации способа классификации объектов МОЭС на основе обработки многоспектрального кубоида изображений в соответствии с (1) представляются в виде набора конеч-ныхопераций,выполняемыхвтакойпоследовательности:
Шаг 1. С установленной на борту БЛА МОЭС с определенной периодичностью в течение сутокпроизводитсясъемкаисследуемого участкаместности.
Шаг 2. По данным полученных динамических ИК-сигнатур строится кубоид ИК-изображений и производится перерасчет значений радиационных температур в значения избыточных температур [5].
Шаг 3. По данным кубоида ИК-изображений с использованием эталонных материалов решается прямая задача теплопроводности (ПЗТ) на основе анизатропного представления приповерхностного слоя Земли.
Шаг 4. С использованием методов многопараметрической оптимизации решается коэффициентная обратная задача теплопроводности (КОЗТ) с составлением и минимизацией функционала невязки по рассчитанным и экспериментально измеренным значениям температур для каждого эталонного материала и получаются оцененные значения параметров, аппроксимирующих функциюисточникатеплаикоэффициентов зависимости ТФПот температуры [5, 6].
Шаг 5. С использованием матрицы приближенности областей изображения к эталонным материалам решается КОЗТ путем минимизации квадратичного функционала невязки по рассчитанным и экспериментально измеренным значениям избыточных температур попиксельно для всего растра изображений, по результатам решения КОЗТ строят пространственное распределение ТФП - тепловую томограмму [5].
Шаг 6. Издинамического набора изображений видимого диапазона длин волн выделяется наиболее контрастное изображение.
Шаг 7. Производится кластеризация тепловой томограммы и изображения, полученного в видимом диапазоне длин волн [7].
Шаг 8. По данным кластеризованных изображений выделяются зоны подповерхностных неоднородностей, обусловленных несоответствием модели ПЗТ (шаг 3) данным дистанцион-ныхизме ре ний.
Шаг 9. В выделенных зонах подповерхностных неоднородностей производится перерасчёт зцинз нхынхназензйхолз яриостхй(шагЗ -шаи5)с уаехом изотроаногхп^дохавления слзя Земли.
Элспенимендалзная зпробацияааосаба клааеификации
Для экспериментальной апробации способа классификации МОЭС разведки объектов с учетом фона и эталонных материалов в естественных условиях была рассчитана томограмма на основенаЛзра многоспектральных изображений ооногт -частка месзнхсти, по лученных в ходе периодической съемки МОЭС разведки с БЛА квадрокоптерного типа (рис. 1). В качестве эталонных материалов были использованы дерево (сосна) (Х= 0.18 Вт/м-К, Сб23С0Джакг-Д - теобопросодность, удельнаятеылоемзасты), хттна еЗы -8 ВыЗм-К, c= 482 Дж/кг^К), пенопласт (Х= 0.04 Вт/м^К, c= 1400 Дж/кг-К), пенобетон (Х= 0.18 Вт/м-К, c=840 Дж/кг^К) и гранит (Х= 3.5 Вт/м^К, c= 880 Дж/кг-К), плита из красного полнотелого керпачаЗ^=а.)З Hз/м•K,д=а6бЫЗжCхг•K).Cъeмкавезоcо оптическамсмасаоам-олу
Рис. 1. Модельная обстановка проведения натурного эксперимента: 1 - БЛА на позиции; 2 - минное зале;3- oOмыктзI;окбылыeюсбKPпзоoа-oИзeтлю; 4 -хенобетсзаадзеиззо (сосна);6- гразит;7- сталь; Яр ызнои лаыа;5 зкрасдыЫы—шсбeлыИхиpыич
ш
16:00 30.09.2016
02:00 01.10.2016
21:00 30.09.2016
Рис.2.РядИК-изображений,полученных в течениесуток
4
4
5
5
6
о
а б
Рис. 3. Кластеризованные изображения: а - тепловой томограммы, полученной по данным динамических ИК-изображений для классов материалов: 1 - пенобетон; 2 - дерево; 3 - гранит; 4 - железо; 5 - пенопласт; 6 - красный полнотелый кирпич; 7 - грунт; б - видимого изображения с распределением классов по значениюяркостиравномерновпяти диапазонахот 0до255
i
г
1
EXMOR 1/2.3" и тепловизионным приемником Flir Таи2 с высоты 20 м в течение суток с интервалом 1 ч. В результате съемки всего было получено 24 ИК-изображения. Ряд из них представлен на рис. 2.
Результатом обработки полученного кубоида ИК-изображений является тепловая томограмма, кластеризованный вид которой представлен на рис. 3а. Кластеризованное изображение наблюдаемой модельной сцены в видимом диапазоне длин волн дано на рис. 3б. В результате анализа полученных кластеризованных изображений выделе- 188-
Рис. 4.3oны изотропных(ортотропных)обнектов:1 -оонамоогосзойнойструктуры«эталонтыеобъекты на орунхе»; 2 у зонт анизотропных «подповорхноыыных объектов»; 3 - зона много слойных ортотропнок объектов БйУХ
Рис.5. Совмещенное изображение видимого диапазона длин волн и выделенных зон ортотропных объектов
ны зоиы изо тройных (ортотропных)объектов[8] (рис. 4). Совмещенное изображение видимого диаивлона длин волн и оыделенных зон ортытропных о бкзктоо приведено на рис. 3.
Вою ор
Икхолнткееииенредложвндегр выпсх&клаоыифилаци и а.ъекоов МОЭж роеоед кпы не свдо-кв ыКроботкд мхлглспекзрсльнндо ърНоидо изображееиД позволило и иоде нетхвнвгы одсперид мвнта ридтделирз вонож неывытаетсвыоя нртемаорчтслаомоделл ПЗТланным днсканцыхиных измерений МОЭС на БЛА. Таким образом, для б олее эффективного решения задачи классификации объектов по данным динамических изображений с построением тепловых томограмм [4] н°о решении КО°Т иео.ыодимо п.хменятт ы^ноароднрю модель подповерхностных объектов, находящихся в грунте, с учетом априорных данных о геометрических параметрах объектов, расположенныхнаповерхности, получаемых путем анализа изображений в видимомдиапазо -не длин волн.
Работа выполнена при финанеоройлодНеопхкеРФФИ (грант № 15-08-02611 А).
Список литературы
[1] Jiayi Ma , Chen Chen, Chang L, Jun Huang. Infrared and visible image fusion via gradient transfer and total variation minimization. Information Fusion, 2016, 31, 100-109.
[2] Dhaval Shingala, Rashmi Agrawal. Super-Resolution of Multispectral Images. International Journal for Scientific Research & Development, 2013, 1(3), 770-774.
[3] Ищук И.Н., Обухов В.В., Парфирьев А.В., Филимонов А.М. Методика дистанционного контроля изотропных материалов путем редукции кубоида ИК-изображений. Измерительная техника, 2014, 9, 41-45 [Ischuk I.N., Obukhov V.V., Parfir'ev A.V., Filimonov A.M. Method of remote control of isotropic materials by reduction cuboid infrared images. Measurement technology, 2015, 9, 41-45 (in Russian)]
[4] Ищук И.Н., Филимонов А.М., Степанов Е.А., Постнов К.В. Способ классификации стационарных и квазистационарных объектов по данным динамических инфракрасных изображений, получаемых комплексами с беспилотными летательными аппаратами. Радиотехника, 2016, 10, 145-153 [Ischuk I.N., Filimonov A.M., Stepanov E.A., Postnov K.V. Method of classification of stationary and non-stationary objects according to the dynamic infrared images obtained complexes with unmanned aerial vehicles. Radioengineering, 2016, 10, 145-152 (in Russian)]
[5] Ищук И.Н., Парфирьев А.В. Реконструкция кубоида ИК изображений для обнаружения скрытых объектов Ч. 1. Решение на основе коэффициентной обратной задачи теплопроводности. Измерительная техника, 2013, 10, 47-50 [Ischuk I.N., Parfir'ev A.V. Reconstruction of the cuboid infrared imaging to detect concealed objects Part 1. The decision on the basis of the inverse heat conduction problem. Measurement technology, 2013, 10, 47-50 (in Russian)]
[6] Chulkov A.O., Vavilov V.P. Hardware and software for thermal nondestructive testing of metallic and composite materials. Journal of Physics: Conference Series, 2016, 671, 1-8.
[7] Demidova L.A., Sokolova Yu.S., Nikulchev E.V. Use of Fuzzy Clustering Algorithms Ensemble for SVM Classifier Development. International Review on Modelling and Simulations, 2015, 8(4), 446-457.
[8] Glenn Healey, David Slater. Models and Methods for Automated Material Identification in Hyperspectral Imagery Acquired Under Unknown Illumination and Atmospheric Conditions.
Transactions On Geoscience And Remote Sensing, 1999, 37(6), 2706-2717.
