CC BY
26
Ovchinnikov Aleksandr Victorovich, candidate of technical sciences, docent, admin telexamail. ru, Russia, Tula, Tula State University,
Gublin Aleksandr Sergeevich, candidate of technical sciences, docent, admin telex a mail. ru, Russia, Tula, Tula State University,
Ponyatskiy Valeriy Mariafovich, head of department, pwmru'a yandex. ru, Russia, Tula, JSC «KBP»,
Shilin Arkadiy Alexandrovich, head of sector, arkadiy. shilinamail. ru, Russia, Tula, JSC «KBP»
УДК 004.932; 53.08
ИССЛЕДОВАНИЕ АЛГОРИТМОВ ВЫДЕЛЕНИЯ ФРАГМЕНТОВ ИЗОБРАЖЕНИЯ НА СЛОЖНОМ ФОНЕ МЕТОДАМИ ГИПЕРСПЕКТРАЛЬНОЙ ОБРАБОТКИ
С.Л. Погорельский, Е.А. Макарецкий, В.М. Понятский, А.А. Шилин
Приведены результаты исследования методов выделения фрагментов изображений на сложном фоне при использовании многоспектрального изображения. Рассмотрены задачи выбора числа информационных каналов и оптимизации отношения сигнал-фон и контраста изображения при весовой обработке информации каналов.
Ключевые слова: гиперспектральная обработка, обработка изображений, повышение контраста.
Одним из основных показателями качества оптико-электронных приборов наблюдения является условная вероятность обнаружения образов наблюдаемых полезных фрагментов человеком-оператором [1]. На обнаружение интересующих фрагментов изображения в конечном счёте влияет контраст наблюдаемого изображения, который может быть существенно различен в различных областях спектра.
Существуют многочисленные методы оценки свойств спектральных каналов и их комплексирования [2-4], но они отличаются большой вычислительной сложностью. При использовании гиперспектрального (многоспектрального) метода наблюдения часто возникает задача поиска простых алгоритмов, позволяющих в режиме реального времени производить сравнение качества каналов и выделение фрагментов изображений на сложном фоне по контрасту. В этом случае эффективной может быть весовая обработка сигналов.
Общая постановка задачи. Есть непрерывный спектр сигнала выбранных фрагментов изображения с распределение мощности по спектру S(1) и спектр фона с распределением мощности по спектру F(1), где S(1) и F(1) - детерминированные функции. Он измеряется в виде набора спектральных полос сигнала S(1) = [Si,S2,........Sn] и фона F(1) = Fl,F2,........Fn], где Si,Fi - соответственно выходные полезный и фоновый сигналы i - го спектрального канала, описывающие математическое ожидание спектральной плотности. В пределах каждого спектрального интервала AÄj сигналы формируются интегрально по спектру, ширина спектральных интервалов может быть различна.
Выходной сигнал многополосной системы формируется в виде взвешенной суммы спектральных сигналов:
n
s(1) = I Si a (i)
/=1 91
и фона
n
F (l) = S Fa, (2)
i=1
где ai - весовые коэффициенты.
Задача состоит в определении весовых коэффициентов ai, обеспечивающих максимум отношения сигнал - фон SF :
SF = S (l )/ F (l ) (3)
или контраста К:
S (l) - F (l )
K =
■ (4)
5 (1) + Г (1)
Требования к весовым коэффициентам в зависимости от задачи могут формулироваться в следующей форме:
- задача выбора оптимального числа невзвешенных спектральных каналов, при этом коэффициенты а^ могут принимать только два значения: ноль и единица;
- задача оптимизации весовых коэффициентов при а 1 = [0,1], т.е. для положительных значений 0 < а 1 < 1 (в данном случае возможна простая аппаратная реализация алгоритма оптимизации);
- задача оптимизации весовых коэффициентов при а^ = [-1,1], т.е. для положительных и отрицательных значений — 1 < аг- < 1; расширение диапазона изменений значений весовых коэффициентов принципиально позволяет повысить эффективность весовой обработки, но усложняет алгоритмы её реализации.
В отличие от обычно рассматриваемых задач фильтрации сигналов на фоне аддитивного шума, в данном случае полезный сигнал и сигнал фона являются независимыми и пространственно расположены в различных областях изображения.
Рассматриваемые ниже алгоритмы на первом этапе используют приближение детерминированных сигналов, т.е. не учитывается шум в приёмных каналах.
1. Оптимизация числа спектральных каналов. Осуществляется спектральный многополосный приём изображения (число полос К); известны уровень сигнала по каждой спектральной полосе и уровень фона (это могут быть априорные данные по местности и характеру цели). Цель: определить количество и номера полос, обеспечивающих максимальный уровень сигнал-фон на выходе.
Алгоритм оптимизации включает выполнение следующих операций:
- по результатам анализа уровней сигналов во всех полосах, из 12 полос выбираются 5 полос с максимальным отношением сигнал-фон SFj = 81 (1) / Г) (1) ;
- методом простого перебора вычисляются результирующие выходные сигналы (1), (2) для каждой комбинации весовых коэффициентов; коэффициенты могут принимать значения 0 и 1; рассматриваются все возможные варианты сочетания полос (31 вариант) и рассчитывается отношение сигнал-фон на выходе;
- анализируется массив отношений сигнал-фон и определяется комбинация, обеспечивающая максимальный выигрыш относительно интегрального отношения сигнал-фон во всём спектральном диапазоне.
Одновременно вычисляется контраст и отношение сигнал-фон и анализируется оптимум по критерию контраста.
Оптимизация производилась для спектров яркости реальных фрагментов и фонов изображений, измеренных экспериментально в диапазоне длин волн 460...950 нм для 12 спектральных полос шириной 40.50 нм для двух характерных случаев: панель зелёно-защитного цвета на фоне берёзы; панель серо-жёлтого цвета на фоне песка.
На рис. 1 приведены зависимости спектральной яркости г панели зелёно-защитного цвета и фона «берёза» от номера полосы N.
г
0.4
0.3 0.2
0.1
О
123456789 10 11 N
Рис. 1. Зависимости спектральной яркости г панели зелёно-защитного цвета (1)
и фона «берёза» (2) от номера полосы N
При использовании описанного алгоритма для панели зелёно-защитного цвета и фона «берёза» выигрыш по отношению сигнал-фон составляет У8Е = 3,605, а по контрасту УК = 0,738. Это объясняется тем, что при расчёте контраста по соотношению (4) для полос 7.12 имеет место большой «обратный» контраст, который не учитывается при первоначальном выборе полос (оптимальной является использование одной полосы № 1).
Поскольку для большей части каналов фон превышает сигнал (рис. 1), целесообразно использовать инверсию яркости изображений (соответственно выбираются другие спектральные полосы, для которых отношение сигнал-фон инвертированного изображения максимально). В этом случае оптимальным является использование одной полосы № 11. При этом выигрыш по контрасту составляет УК = 3,327, а по отношению сигнал-фон У8Е = 1,372, что существенно лучше, чем без инверсии.
На рис. 2 приведены зависимости спектральной яркости г панели серо-жёлтого цвета и фона «песок» от номера полосы N. При оптимизации выигрыш по контрасту по сравнению с измерениями во всей спектральной полосе составляет УК = 1,07; по отношению сигнал-фон У8Е = 1,02 (оптимально использование одного канала № 11).
г
0.5Е
0.46 0.34
0.22
0.1
1 2 34 5678 9 10 11 ДГ
Рис. 2. Зависимости спектральной яркости г панели серо-жёлтого цвета (1) и фона «песок» (2) от номера полосы N
После инверсии спектральной яркости изображения оптимальным является использование одного канала № 12, для которого выигрыш по контрасту составляет УК = 2,113; выигрыш по отношению сигнал-фон равен У8Е = 1,335. Аналогичные результаты получены и для других вариантов окрасок и фонов.
Проведённые исследования позволяют сделать следующие выводы: - всегда оптимальным является использование только одной спектральной полосы с максимальным отношением сигнал-фон;
- максимальному значению контраста всегда соответствует максимальное отношение сигнал-фон;
- за счёт выбора одного оптимального канала возможно повышение контраста в 1,7.. .5 раз в зависимости от вида спектров полезного фрагмента и фона;
- при превышении уровня яркости фона над полезным фрагментом целесообразно использовать инверсию яркости изображения и оптимизацию инвертированного изображения;
- при равномерном характере спектров сигнала и фона выбор канала (или нескольких каналов) не даёт заметного результата;
- алгоритм повышения вероятности обнаружения цели в случае оптимизации выбора спектральных каналов заключается в измерении отношений сигнал-фон во всех спектральных полосах и выборе одного канала, для которого отношение сигнал-фон максимально.
2. Оптимизация весовой обработки. Алгоритм оптимизации заключается в следующем. При взвешивании общая мощность сигнала ISV рассчитывается:
isv = i sa, (5)
i=1
где ai - весовые коэффициенты; общая мощность фона IFV рассчитывается:
ifv = i Fa ; (6)
i=1
по результатам вычисляется отношение сигнал-фон SFV :
SFV = ISV / IFV ; (7)
и контраст KSFV
= |ISV - IFV| \ISV + IFV\ '
Задача: максимизировать отношение сигнал-фон SFV или контраст KSFV при варьировании коэффициентов веса ai.
2.1. Случай положительных весовых коэффициентов 0 < a i < 1 Оптимизация проводилась поиском глобального экстремума функции 12 аргументов методом сопряжённых градиентов. Расчёты показали, что для всех рассмотренных случаев оптимальным является использование одного канала. Результаты приведены (табл. 1) для тех же сочетаний окраски панелей и фонов, что и при выборе каналов.
KSFV
(8)
Результаты оптимизации весовых коэффициентов
Таблица 1
Параметр Инвертирование яркости изображения Тип окраски и фона
Фон берёза, эмаль зелёно-защитная Фон песок, эмаль серо-жёлтая
Оптимальный канал без инверсии 1 10
с инверсией 12 12
Выигрыш по контрасту без инверсии 0,737 1,07
с инверсией 3,327 2,113
Выигрыш по отношению сигнал-фон без инверсии 3,605 1,02
с инверсией 1,371 1,335
Таким образом, использование оптимизации с произвольными положительными весовыми коэффициентами приводит к выбору одного канала с максимальным контрастом. Оптимальное значение веса для критерия максимума отношения сигнал-фон и контраста совпадают. Весовое суммирование нескольких каналов не оптимально.
94
2.2 Случай произвольного знака весовых коэффициентов -1 < а { < 1. Для
сравнения примеры используют те же исходные данные, что и для предыдущего случая. При оптимизации использовался метод сопряжённых градиентов. Результаты расчётов приведены в табл. 2.
Таблица2
Результаты оптимизации весовых коэффициентов_
Тип окраски и фона
Параметр Фон берёза, Фон песок,
эмаль зелёно-защитная эмаль серо-жёлтая
Выигрыш по контрасту 9.568 1013 5,023-1013
Выигрыш по отношению сигнал-фон 2,105 1,596
-0.254 0.161
-1 0.374
-0.298 -4.532-10-4
-1 0.21
-0.281 0.591
Весовые коэффициенты -1 0.628
-0.056 -0.44
-0.081 -0.609
0.052 -1
-0.061 -1
0.105 0.343
0.999 1
По результатам анализа алгоритмов выделения полезных фрагментов на фоне в многоспектральных системах можно сделать следующие выводы:
1. Алгоритм выбора количества спектральных каналов заключается в выборе только одного спектрального канала, для которого отношение сигнал-фон максимально.
2. При весовой обработке с положительными весовыми коэффициентами оптимальным является алгоритм выбора только одного канала с весовым коэффициентом, равным единице, для которого отношение сигнал-фон максимально, т.е. задача сводится к предыдущему случаю. Оптимальные параметры канала для оптимизации по максимуму отношения сигнал-фон и максимуму контраста совпадают.
3. При превышении яркости фона над яркостью интересующего фрагмента целесообразно производить инверсию яркости и затем - выбор оптимальной спектральной полосы.
4. При весовой обработке с положительными и отрицательными весовыми коэффициентами матрица весовых коэффициентов для случаев оптимизации по максимуму отношения сигнал-фон и максимуму контраста не совпадают. Теоретически возможно получение очень высоких значений отношения сигнал-фон и контраста. Однако эти результаты получены для математических ожиданий яркости сигнала и фона в спектральных каналах. При учёте случайного изменения яркости сигнала и фона будут наблюдаться резкие локальные выбросы и провалы контраста, поскольку при оптимизации весовые коэффициенты соответствуют только определённым уровням яркости в спектральных каналах.
5. Общий алгоритм повышения вероятности обнаружения целей с использованием многоспектральных измерений может заключаться в измерении отношений сигнал-фон во всех спектральных полосах на этапе наблюдения и поиска цели (или по априорным данным) и выборе одного канала, для которого отношение сигнал-фон максимально.
Список литературы
1. Травникова Н.П. Эффективность визуального поиска. М.: Машиностроение, 1985. 128 с.
2. Сельвесюк Н.И., Веселов Ю.Г., Гайденков А.В., Островский А.С. Оценка характеристик обнаружения и распознавания объектов на изображении от специальных оптико-электронных систем наблюдения летного поля // Труды МАИ. 2018. Выпуск № 103. [Электронный ресурс] URL: http://trudymai.ru (дата обращения: 10.03.2020).
3. Артюшенко В.М., Воловач В.И. Кинематические и вероятностные характеристики процесса поиска и обнаружения движущегося объекта // Журнал радиоэлектроники, 2017. N3. [Электронный ресурс] URL: http://jre.cplire.ru (дата обращения: 15.06.2020).
4. Гулина Ю.С., Колючкин В .Я. Методика расчета вероятности распознавания изображений человеком-оператором // Вестник МГТУ им. Н.Э. Баумана. Сер. «Приборостроение». 2012. №1. С. 101-107.
Погорельский Семён Львович, канд. техн. наук, заместитель директора, khkedratula.net, Россия, Тула, АО «КБП»,
Макарецкий Евгений Александрович, д-р техн. наук, профессор, makaretskyamiail.ru, Россия, Тула, Тульский государственный университет,
Понятский Валерий Мариафович, канд. техн. наук, доцент, начальник отдела, pwmruayandex.ru, Россия, Тула, АО «КБП»,
Шилин Аркадий Александрович, канд. техн. наук, начальник сектора, arkadiy.shilinamail.ru, Россия, Тула, АО «КБП»
INVESTIGATION OF OBJECT DETECTION ALGORITHMS ON A DIFFICULT BACKGROUND BYHYPERSPECTRAL PROCESSING METHODS
S.L. Pogorelsky, E.A. Makaretsky, V.M. Ponyatsky, A.A. Shilin
The results of a study of methods for selecting images of objects on a complex hack-ground using a multispectral image are presented. The problems of selecting the number of information channels and optimizing the signal-to-hackground ratio and image contrast for weight processing of channel information are considered.
Key words: hyperspectralprocessing, image processing, contrast enhancement.
Pogorelsky Semyen Lvovich, candidate of technical sciences, deputy director, khkedratula. net, Russia, Tula, JSC «KBP»,
Makaretskiy Eugene Alexandrovich, doctor of technical sciences, professor, makaretsky@,mail. ru, Russia, Tula, Tula State University,
Ponyatskiy Valeriy Mariafovich, head of department, pwmruayandex. ru, Russia, Tula, JSC «KBP»,
Shilin Arkadiy Alexandrovich, head of sector, arkadiy. shilinamail. ru, Russia, Tula, JSC «KBP»
