CC BY
16Труды МАИ. Выпуск № 110 УДК 004.932.4
http://trudymai. ru/ DOI: 10.34759/trd-2020-110-12
Помехоустойчивое комплексирование мульти- и гиперспектральных изображений в оптико-электронных комплексах информационного обеспечения современных и перспективных вертолетов
Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени
Аннотация
В работе рассмотрен алгоритм комплексирования многоспектральных изображений в условиях аддитивного гауссовского шума, основанный на методе межканальной градиентной реконструкции. Предложенный алгоритм позволяет устранять высокодисперсные значения амплитуды шумов в спектрозональных компонентах многоспектральных изображений при их комплексировании, а также повысить локальный контраст результирующего изображения, содержащего элементы исходных изображений одной и той же сцены, полученных в разных спектральных диапазонах, при этом максимально сохранив контурные признаки объектов от всех спектральных компонент многоспектрального изображения и яркостный портрет приоритетной спектрозональной компоненты. Представлены примеры комплексированных изображений и результаты численных исследований, подтверждающие эффективность предложенного метода.
Шипко В.В.
профессора Н.Е. Жуковского и Ю.А. Гагарина», ул. Старых Большевиков, 54а, Воронеж, 394064, Россия e-mail: shipko.v@hk.ru
Статья поступила 14.01.2020
Труды МАИ. Выпуск № 110 http://trudymai. щ/
Ключевые слова: мультиспектральные изображения, гиперспектральные
изображения, комплексирование, аддитивный шум, оптико-электронные системы.
Введение
В настоящее время интенсивно развиваются комплексы дистанционного зондирования Земли в направлении расширения спектрального диапазона съемки и увеличения спектрального разрешения [1-3]. Создаются многоканальные комплексы мониторинга Земной поверхности воздушного и космического базирования. Не исключением остаются и комплексы информационного обеспечения вертолетов (обзорно-пилотажные, обзорно-поисковые, обзорно-прицельные), в состав которых входят многоспектральные, а в перспективе гиперспектральные датчики оптического излучения, которые будут интегрированы в единую информационную систему [5, 6]. Применение гиперспектральной съемки позволяет повысить эффективность обнаружения и распознавания объектов сцены. В свою очередь, при гиперспектральной съемке детектируемое излучение разделяется на сотни составляющих формируемого гиперспектрального изображения, что приводит к существенному снижению уровня полезного сигнала по отношению к шуму. Гиперспектральные изображения подвержены аддитивному некоррелированному шуму, уровень которого может достигать больших значений. При этом выдвигаются достаточно жесткие требования и на высокое пространственное разрешение таких комплексов.
Существует множество методов и технологий обработки изображений [7-12],
при этом одним из самых важных направлений обработки мульти- и
гиперспектральных изображений является их комплексирование [13-17]. Как правило
Труды МАИ. Выпуск № 110 http://trudymai. щ/
комплексирование заключается в совместной обработке нескольких изображений
одного и того же участка местности, полученных в различных спектральных
диапазонах, в результате чего можно дополнительно значительно повысить заметность
объекта или его деталей на едином изображении. Это происходит благодаря
возможности извлечения посредством такой обработки дополнительной информации
об объектах местности, заключенной в характере взаимосвязи зональных яркостей
между спектральными диапазонами. Конечным продуктом комплексирования может
быть как единое полутоновое, так и псевдоцветное изображение на котором с
требуемой точностью отображаются спектральные признаки объектов интереса.
Достоинствами синтеза единого (комплексированного) изображения является:
- возможность аккумулирования в единое изображение особенностей спектрозональных изображений объектов местности;
- возможность сделать доступной информацию многоспектральных изображений, связанную с корреляцией яркостей между каналами съемки, а точнее с различиями в корреляциях яркостей объектов и фонов.
Как показал анализ [14-18], очень часто при комплексировании мультиспектральных и гиперспектральных изображений выбирают приоритетную спектрозональную компоненту с целью максимизировать ее влияние на результирующее единое изображение. Поскольку при наличии большого набора спектрозональных компонент с различными фоно-объектовыми портретами, а часто это инверсные области, возникают трудности их качественного объединения, в частности при усреднении таких областей они сольются в один тон. Поэтому
выбирается приоритетная спектрозональная компонента, к которой по
Труды МАИ. Выпуск № 110
Ьйр://1хиёуша1. ги/
определенному правилу добавляются отличительные признаки других компонент. Как известно, наиболее информативными отличительными признаками являются контура объектов, поэтому этот факт будет использоваться при постановке задачи и синтезе единого комплексированного изображения и оценке его эффективности. Также необходимо учесть возможность устранения шумовой составляющей в компонентах изображения. Рассмотрим разработанный алгоритм комплексирования мульти и гиперспектральных изображений на основе переноса градиентов.
Постановка задачи
Используемая модель исходного оцифрованного по строкам I и столбцам у Ь-компонентного изображения Л в общем случае имеет вид:
где г = 1,...,т,] = 1,...,п; т,п - число строк и столбцов изображения соответственно;
Л/ . - элементы компоненты I; I - индекс компоненты, I = 1,...,Ь,N - степень
квантования яркости компонент изображения Л;
Модель Ь-компонентного изображения, искаженного воздействием аддитивного гауссовского шума, описывается выражением:
А = [Л!, Ку - Л^Л^О,..^-!],
(1)
где ц1 - случайная спектрально-независимая аддитивная шумовая составляющая сигналов ^-компонентного изображения с нулевым математическим ожиданием и некоторым значением среднеквадратического отклонения (СКО) .
Формально запись процедуры синтеза единого комплексированного изображения с учетом выбора приоритетной спектрозональной компоненты можно представить следующим образом:
где г - индекс приоритетной компоненты, г е[1,...,Ь]; ЛЛ - комплексированное изображение с приоритетом г компоненты.
Таким образом, необходимо синтезировать единое изображение по
совокупности спектрозональных изображений Л Л^,..., ЛЬ, которое будет максимально приближено к зональной яркости приоритетного изображения Лгг] и
содержать контурные признаки остальных спектрозональных изображений, т.е. удовлетворять равенству [18]:
4 = Р [х],
(3)
где - бинарное изображение пространственного положения контуров единого
комплексированного изображения; - бинарное изображение пространственного
положения эталонных контуров, например, определяемое по усредненному изображению всех спектрозональных компонент.
Алгоритм помехоустойчивого комплексирования мульти- и гиперспектральных
Шаг 1. Определяют приоритетное изображение хг путем субъективной
оценки изображений оператором, либо используя какой-нибудь автоматический критерий.
Шаг 2. Формируют единое (эталонное) изображение для оценки общих контурных признаков:
где У - оператор формирования единого изображения для оценки общих контуров.
В качестве У может использоваться любой способ преобразования зональных яркостей, к примеру, усреднение, максимум, линейная комбинация компонент X с весовыми коэффициентами и т.д.
Шаг 3. Вычисляют разности значений яркости (градиенты) каждого пиксела изображения у с окружающими его пикселами в скользящем окне:
изображений
(5)
(4± р^ = ( у и - У+ )к,
(6)
где р = 0,...,Р - параметр определяющий координаты пиксела окрестности по г; q = 0,...,Q - параметр определяющий координаты пиксела окрестности по у; d = 1,...,Б -1 - индекс разности значений яркости г,у -го пиксела с пикселами окрестности; В - количество пикселов в скользящем окне, Б = (2Р + 1)(2Q +1); к -коэффициент усиления градиентов.
Шаг 4. Формируют набор оценок у-того пиксела комплексированного изображения путем суммирования значений яркости г + р, j±q пикселей окрестности /,/-того пиксела в скользящем окне приоритетного изображения с полученными соответствующими значениями градиентов яркости у-того пиксела эталонного изображения [19]:
Шаг 5. Результирующее единое комплексированное изображение может быть представлено, например, в виде среднего значения оценок (7):
(7)
Труды МАИ. Выпуск № 110 Ьйр://1хиёуша1. ги/
Таким образом, при комплексировании многоспектральных изображений по
данному алгоритму происходит перенос градиентов всех спектрозональных
составляющих наиболее приоритетному в яркостном смысле изображению с
параллельным сглаживанием шума.
Результаты численных исследований
При численных исследованиях эффективности разработанного алгоритма, в качестве критерия различия яркостей приоритетного изображения Лгч и
комплексированного изображения , выбрана среднеквадратическая ошибка (СКО):
а
V
1 т п 2
—сс с (л-Л ). (9)
Для исследования качественных характеристик предлагаемого метода в сохранении контурных признаков всех спектрозональных компонент в комплексированном изображении, вычислялись ошибки типа пропуск контура (£пк) и ложное определение контура (¿лк) в соответствии с выражениями:
1 т п
¿ЛК=—с сс
тп ,=1 ,=1
1 (& - &) = 1
^ПК =
т п
Т Т
тп „, у=1
1 (С- С)=1
0 ( Ну)* 1
(11)
<
где - бинарное изображение пространственного положения контуров на
комплексированном изображении; ^/ - бинарное изображение пространственного
положения эталонных контуров.
При этом общая (суммарная) ошибка определения контуров
(12)
На рис. 1 представлены шесть исходных спектрозональных изображений.
а)
б)
в)
г)
д)
е)
Труды МАИ. Выпуск № 110 http://trudymai. ru/
Рис. 1. Спектрозональные изображения: Л]. (480 нм) - а, Д.2. (550 нм) - б, Д.3. (670
нм) - в, ] (820 нм) - г, Д.5, (1650 нм) - д, Д6, (2200 нм) - е
', j
' ,j
В качестве приоритетного изображения при комплексировании и оценке яркости выбрано первое спектрозональное изображение ЛУ, в качестве эталонов для
переноса градиентов и последующей оценки контуров использовалось среднее
изображение У™2311 = — ^Л^ и максимум y™ax = max ] ].
' L i ' ' 1
На рис. 2 представлены зависимости а и 8 от СКО аддитивного гауссовского шума аш при разных значениях P, Q. На рис. 2 кривые 1, 3 - при (P, Q) = 1, 2, 4 -при (P, Q) = 5. Кривые 1-2 получены при наличии шума в каждой спектрозональной компоненте. Кривые 3 и 4 получены в случае наличия шума в одной (приоритетной) компоненте.
а
27
24 21 18 15 12 9 6 3 0
с _ t
j: у
1* г „с i-3'
у 2jl з 4 * ]
1 5 10 15 20 25 30 35 49 45
8
0.306 0.263 0.219 0.175 0.131 0.088 0.044 0
1
i3
у /
/ ?1i Г'-1 >-:i и * i-i _. - * J..4
г - л . - -с ;. -с э / "С э4 i
1 —
1 5 10 15 25 25 30 35 49 45 а
а) б)
Рис. 2. Зависимость а (а) и 8 (б) от СКО шума стп
ш
Труды МАИ. Выпуск № 110 http://trudymai. щ/
На рис. 3,4 представлены некоторые варианты комплексированных
изображений, полученные по разработанному алгоритму без наличия помех.
в) г)
Рис. 3. Комплексированные изображения без помех с приоритетом яркости изображения ЛУ и переносом градиентов изображения у™еап: (Р, Q) = 5, к = 1 - б,
(Р, Q ) = 5, к = 4 - г
а) б)
Рис. 4. Комплексированные изображения с приоритетом яркости изображения Л1 и
переносом градиентов изображения у™ах: (Р, Q) = 5, к = 1 - а, (Р, Q) = 5, к = 4 - б
Труды МАИ. Выпуск № 110 Ьир://1гиёута1. ги/
На рис. 5 представлены некоторые варианты комплексированных изображений,
полученные по разработанному алгоритму с наличием помех в спектрозональных
компонентах.
= 9.45, 5 = 0.115 | \о = 6.11, 5 = 0.106
а) б)
Рис. 5. Комплексированные изображения с приоритетом яркости изображения Л]. и
переносом градиентов изображения у11/™ и (Р, Q) = 5, к = 1: при шуме с аш = 20 в каждой спектрозональной компоненте - а; при шуме с <гш= 20 только в
приоритетной компоненте ЛУ - б
Рассмотрим еще один пример. На рис. 6 представлены спектрозональные компоненты гиперспектрального изображения с различного рода искажениями и помехами.
На рис. 7 показаны изображения и их контура полученные усреднением и максимумом исходных спектрозональных изображений. В качестве эталона для получения контуров в комплексированном изображении по разработанному алгоритму предпочтительней выбрать усредненное изображение у™еап (рис. 7а), т.к.
на изображении у™ах (рис. 7б) присутствуют помехи имеющие максимумы в
Труды МАИ. Выпуск № 110 Ьир://1гиёута1. ги/
исходных спектрозональных изображениях, и которые отрицательно повлияют на
результирующее изображение.
На рис. 8 представлены комплексированные изображения, полученные по разработанному алгоритму усреднением оценок с приоритетом спектрозональной компоненты Л4 и эталоном для переноса контуров у11/™. Полученные комплексированные изображения имеют выраженные контурные признаки эталонного изображения у™еап, при этом яркостный портрет исходного
(приоритетного) изображения сохранился. Искажения и помехи присутствующие в исходных спектрозональных изображениях, на результирующем изображении практически отсутствуют.
а) б) в) г)
д) е) ж) з)
Рис. 6. Спектрозональные изображения: Л1 (401 нм) - а, Лг2. (537.8 нм) - б, Д3. (869.8
нм) - в, Л (903.4 нм) - г, Л1 (918.6 нм) - д, Д67 (1065.5 нм) - е, ЛУ (1364.7 нм) - ж,
Л (1733.8 нм) - з
а) б)
Рис. 8. Комплексированные изображения с приоритетом яркости изображения Д4 и
переносом градиентов изображения угш/ап: (Р, О) = 5, к = 1 - а, (Р, О) = 5, к = 4 - б
На рис. 9 представлены зависимости а и 8 от числа ближайших спектрозональных компонент Я участвующих в формировании оценок (8) для различных исходных данных, где кривая 1 - получена при (Р, О) = 1, а'ш = 1; 2 -(Р, О) = 5, аШ = 1; 3 - (Р, О) = 1, аШ = 20; 4 - (Р, О) = 5, аШ = 20; 5 - (Р, О) = 1, а1ш = 50; 6 - (Р, О) = 5, а!ш = 50. Кривые 7-9 получены алгоритмом усреднением Я компонент: кривая 7 - при а!ш = 1; 8 - а!ш = 20; 9 - а!ш = 50.
7
22.5 20 17.5 15 12.5 10 7.5 5 2.5 0
к- - -А
6-, \ ч _ -V, & ___
«г . . __ - — к --
3— 8 Э" ' ■ -— -- 3 р ■ ■ "2 1 - - - - ----*
э- ■ 3 -■
, 7 ' ! ....
1
»--- -
10 15 20 25 30 35 40 45
Я
0.28
0.
0.14
-5_
-А
■- -3—1 ■-- -■
к---- ^ 9 6- -
_ — ь — - --Д
8- — 4 --- -- э-- ~ 7-1-1
э- 7- — э—^ --е -- --О
■1 — »---- ____
? - -
•----
10 15 20 25 30 35 40 45
Я
а б
Рис. 9. Зависимость 7 (а) и 8 (б) от числа спектрозональных компонент Я
участвующих в оценке
Из рис.9 видно, что значения ошибок 7 и 8 для разработанного алгоритма (кривые 1-6) имеют тенденцию к снижению с увеличением Р, Q, Я и выраженную сходимость. Алгоритмы усреднения по компонентам (кривые 7-9) также имеют сходимость, но более высокие ошибки восстановления, за исключением ошибок 8 для случая 71ш = 50 (кривая 9), что обусловлено высокой дисперсией шума. Для снижения ошибок 8 при высокой степени зашумления рекомендуется увеличивать параметры размера апертуры (Р, Q).
Анализ проведенных исследований показал, что результирующие комплексированные изображения обладают высоким локальным контрастом, яркостью близкой к приоритетному изображению и с контурными признаками всех спектрозональных составляющих. Выявлено, что с увеличением коэффициента усиления к можно повысить локальный контраст, что является положительным
Труды МАИ. Выпуск № 110 http://trudymai. ги/
визуальным эффектом, но при этом увеличивается СКО а с приоритетным
изображением, а также могут возникать ложные контурные признаки, обусловленные
шумовой составляющей, что приводит к увеличению 8 . С увеличением размеров
скользящего окна, также улучшается визуальное качество изображения и критерий
контурных признаков 8 , при этом возможно небольшое возрастание СКО а и
вычислительных затрат алгоритма.
Заключение
Результаты численных и экспериментальных исследований подтверждают эффективность разработанного алгоритма комплексирования мульти- и гиперспектральных изображений с достаточно высоким уровнем шума, при этом результирующее изображение является высокоинформативным и с более низким уровнем шума. Разработанный алгоритм реализован в программном комплексе обработки многоспектральных изображений [20, 21] и может быть использован в существующих и перспективных оптико-электронных комплексах информационного обеспечения вертолетов армейской авиации, с целью повышения вероятности обнаружения и распознавания наземных целей.
Библиографический список
1. Тарасов В.В., Якушенков Ю.Г. Двух- и многодиапазонные оптико-электронные системы с матричными приемниками излучения. - М.: Университетская книга, Логос. 2007. - 192 с.
Труды МАИ. Выпуск № 110 http://trudymai. ru/
2. Автоматизированные системы наземных комплексов сбора и обработки данных
воздушной разведки. Учебное пособие / Под ред. И.Н. Белоглазова. - М.: ВВИА им. проф. Н.Е. Жуковского, 2003. - 296 с.
3. Современные технологии обработки данных дистанционного зондирования Земли / Под ред. В.В. Еремеева. - М.: Физматлит, 2015. - 460 с.
4. Бельский А.Б. Системы технического зрения военных и специальных вертолетов. Задачи и направления развития // III Всероссийская научно-практическая конференция «Проблемы эксплуатации авиационной техники в современных условиях»: сборник статей (Люберцы, 16 ноября 2017). - Люберцы: НИЦ ЦНИИ ВВС МО РФ, 2017. С. 101 - 106.
5. Бельский А.Б., Чобан В.М. Математическое моделирование и алгоритмы распознавания целей на изображениях, формируемых прицельными системами летательного аппарата // Труды МАИ. 2013. № 66. URL: http: //trudymai .ru/published.php?ID=40856
6. Бельский А.Б. Применение гиперспектрометров для решения задач по обнаружению, распознаванию объектов в составе вертолетов // VI Международная научно-практическая конференция «Актуальные вопросы исследований в авионике: теория, обслуживание, разработки»: сборник статей (Воронеж, 14-15 февраля 2019). - Воронеж: ВУНЦ ВВС «ВВА», 2019. С. 91 - 97.
7. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005. -1072 с.
Труды МАИ. Выпуск № 110 http://trudymai. ru/
8. Барабин Г.В., Гусев В.Ю. Фотограмметрический метод построения единого
изображения при спутниковой съемке секционированным датчиком изображений // Труды МАИ. 2013. № 71. URL: http://trudymai.ru/published.php?ID=46740
9. Казбеков Б.В. Совмещение инфракрасных изображений с изображениями видимого диапазона в задачах идентификации подвижных наземных целей с борта беспилотного летательного аппарата // Труды МАИ. 2013. № 65. URL: http: //trudymai .ru/published.php?ID=35912
10. Гусев В.Ю., Крапивенко А.В. Методика фильтрации периодических помех цифровых изображений // Труды МАИ. 2012. № 50. URL: http://trudymai.ru/published.php?ID=28805
11. Шипко В.В. Метод и алгоритмы межканальной градиентной реконструкции многоспектральных изображений в оптико-электронных комплексах воздушной и космической разведки // Труды МАИ. 2019. № 104. URL: http: //trudymai .ru/published.php?ID= 102211
12. Кудинов И.А., Холопов И.С., Храмов М.Ю. Технология формирования панорамных разноспектральных видеоизображений для обзорных авиационных оптико-электронных систем // Труды МАИ. 2019. № 104. URL: http: //trudymai .ru/published.php?ID= 102241
13. Сагдуллаев Ю.С., Ковин С.Д. Восприятие и анализ разноспектральных изображений: Монография. - М.: Издательство «Спутник+», 2016. - 251 с.
14. Васильев А.С. Методы комплексирования изображений многоспектральных оптико-электронных систем // Международная конференция «Прикладная оптика -
Труды МАИ. Выпуск № 110 http://trudymai. ru/
2014»: сборник трудов (Санкт-Петербург, 21 - 24 октября 2014). - СПб.: Оптическое
общество им. Д.С. Рождественского, 2014. Т. 2. С. 191 - 194.
15. Шипко В.В. Алгоритм комплексирования двух разноспектральных изображений на основе цветового синтеза // Цифровая обработка сигналов. 2017. № 3. С. 32 - 38.
16. Богданов А.П., Костяшкин Л.Н., Морозов А.В., Павлов О.В., Романов Ю.Н., Рязанов А.В. Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений. Патент RU 2451338 С1, МПК G06T 5/00, 20.05.2012. 16. Богданов А.П., Костяшкин Л.Н., Морозов А.В., Павлов О.В., Романов Ю.Н., Рязанов А.В. Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений. Патент RU 2451338 С1, МПК G06T 5/00, 20.05.2012.
18. Шипко В.В. Метод комплексирования многоспектральных изображений на основе переноса градиентов // Цифровая обработка сигналов. 2019. № 3. С. 3 - 9.
19. Самойлин Е.А., Шипко В.В. Межканальная градиентная реконструкция сигналов цветных цифровых изображений искаженных импульсными помехами // Автометрия. 2014. Т. 50. № 2. С. 22 - 30.
20. Шипко В.В., Ханов А.С., Шаронов И.Е., Конов В.С. Программный модуль комплексирования двухспектральных изображений. Свидетельство о государственной регистрации программы для ЭВМ № 2019618914, 08.07.2019.
21. Шипко В.В., Ханов А.С., Шаронов И.Е., Конов В.С. Программный модуль комплексирования многоспектральных изображений. Свидетельство о государственной регистрации программы для ЭВМ № 2019662064, 16.09.2019.
