CC BY
30
УДК 004.932; 53.08
ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ ВЫДЕЛЕНИЯ ФРАГМЕНТОВ ИЗОБРАЖЕНИЯ НА СЛОЖНОМ ФОНЕ ПРИ ОБРАБОТКЕ RGB-СИГНАЛОВ
С.Л. Погорельский, Е.А. Макарецкий, В.М. Понятский, Д.Б. Егоров
Приведены результаты исследования методов выделения фрагментов изображения на сложном фоне при использовании разделения монохромного изображения на RGB каналы и оценки контраста в каналах, а также результаты экспериментального исследования, показывающие возможность повышения контраста в 1,5 - 3 раза.
Ключевые слова: обработка изображений, повышение контраста, обнаружение фрагментов на изображении.
Процесс обнаружения фрагментов изображения на сложном фоне с помощью оптико-электронных средств обычно производится на монохромных изображениях и требует обеспечения максимального контраста фрагмента и фона, что в практических применениях затруднено. Для повышения контраста изображения широко используются многоспектральные системы [1, 2], отличающиеся достаточной аппаратной сложностью и трудоёмкостью алгоритмов обработки [3].
В то же время спектральная (цветовая) информация об изображении содержится в выходных сигналах цифровых фотоприёмных матриц, в которых для формирования цветного изображения используется фильтр Байера [4], образованный четырьмя приёмными пикселями с цветовыми фильтрами: красный R пиксель, синий B пиксель и два зелёных G пикселя.
Известные спектральные характеристики чувствительности RGB пикселей фотоприёмной матрицы (рис. 1) принципиально позволяют осуществлять спектральную (цветовую) селекцию фрагментов на изображении.
Рис. 1. Спектральные характеристики фильтра Байера, матрицы и фильтра подавления паразитных полос пропускания
При этом можно рассмотреть две задачи.
1. Измерение длины волны поступающего излучения на пиксель по интенсивности цветовых составляющих в RGB каналах пикселя цветного изображения. Это может позволить получить спектральную гистограмму цветного изображения.
2. Спектральная (цветовая) селекция фрагментов на цветном изображении. Решение данной задачи принципиально может позволить повысить контраст изображения и, соответственно, вероятность обнаружения интересующих фрагментов.
97
Измерение длины волны поступающего излучения по интенсивности цветовых составляющих в RGB каналах пикселя цветного изображения производится путём решения системы уравнений для RGB сигналов, пришедших на i - й пиксель изображения:
R = Tr (l);
Gi = TG (l); (1)
Bi = TB (l),
где Ri, Gi, Bi - нормированные значения сигналов от соответствующих пикселей цветного кластера; Tr (l), Tg (l) , Tb (l) - спектральные характеристики оптического пропускания соответствующих каналов фильтра Байера с учётом фильтра для подавления ИК излучения и спектральной зависимости чувствительности фотоприёмника (рис. 1).
Система уравнений (1) является нелинейной и требует использования достаточно сложных (часто итерационных) методов решения, описанных, например, в [4]. Результатом решения является длина волны Xj, соответствующая заданным уровням цветовых сигналов Ri, Gi, Bi.
Для оценки возможностей предложенного метода было проведено моделирование алгоритма измерения длины волны входного излучения пикселя. Поскольку для решения системы нелинейных уравнений требуется предварительная локализация корней, использовалась двухэтапная процедура: на первом этапе приближённо оценивалось значение длины волны по возможным корням отдельных уравнений, затем по ним производилась предварительная локализация корня; на втором этапе система нелинейных уравнений решалась методом Левенберга-Марквардта. Результаты вычислений приведены на рис. 2.
к го I I
<и о.
<и §
m
700,00
л
■Е 500,00
О со
Г кг
го 300,00 х
S 400,00 440,00 480,00 520,00 560,00 600,00 640,00 680,00 ^ Длина волны, нм
Рис. 2. Результаты решения системы нелинейных уравнений (сплошная линия — точное значение)
Анализ полученных результатов показывает, что на значительной части диапазона погрешность решения невелика (не превышает 1 нм), но в области больших длин волн ошибка резко возрастает, что может быть объяснено неточностью процедуры предварительной локализации корней. При усложнении алгоритма решения погрешность измерения длины волны излучения может быть достаточно низкой.
Дополнительные погрешности вызывает неточность измерения уровней цветовых сигналов Ri, Gi, Bi или неточности формирования характеристик конкретных фильтров RGB каналов матрицы.
Анализ показал достаточно сильное влияние погрешностей измерения уровней цветовых сигналов на погрешность определения длины волны излучения. В зависимости от положения уровня на спектральной характеристике пропускания (крутизны ската характеристики) погрешность может составлять от 0,2 до 2 нм/%. Кроме того, повышается вероятность ошибочных решений.
При решении второй задачи (цветовой фильтрации фрагментов) использовался метод весовой обработки. При этом возможны два варианта селекции:
а) использование весовых коэффициентов, увеличивающих уровень спектральных составляющих полезного фрагмента;
б) использование весовых коэффициентов, снижающих уровень спектральных составляющих фона.
Если исходно известны цветовые характеристики полезного фрагмента, то можно выставлять приоритет (весовой коэффициент) на определённый цветовой канал, т.е. вести весовую обработку в общем виде:
I(1) = KRR(1) + KGG(1) + KBB(1) , (2)
где R(X), G(X), B(X) - соответствующие сигналы цветовых каналов RGB; Kr , Kb , Kg -нормированные весовые коэффициенты; I (l) - выходной сигнал фотоприёмной матрицы.
При решении первой задачи (использование весовых коэффициентов, увеличивающих уровень спектральных составляющих полезного фрагмента) определение весовых коэффициентов для полезного фрагмента производится с учётом энергетического вклада каждого цветового канала спектра отражений:
1 max
J R(1)SS (1)d1
V — 1 min . /->\
kr -; (3)
max
J [R(1) + G(1)+B(1)]SS (1)d1
^miti
1
max
J G(1)SS (1)d1
min_
J [R(1) + G(1)+B(1)]SS (1)d1
max
J B(1)SS (1)d1
min_
J[R(1)+g(1)+B(1)]Ss (i)di
Kg-t--; (4)
max 1
KB -^-, (5)
^тт
где 55 (1) - спектр отражения полезного фрагмента; Хтах, Хтт - соответственно максимальная и минимальная длины волн излучения.
В результате вычисления коэффициентов обеспечивается выполнение условия нормировки Кя + Кс + Кв = 1.
Расчёт выходных сигналов производится по выражениям:
- для фона 1р :
,Р="г [ад+с(1)+в(1)]у(1) А; (6)
1 3
где (1) - спектр отражения фона;
- для сигнала полезного фрагмента при отсутствии дополнительной обработки (без взвешивания предполагается что весовой коэффициент по каждому каналу равен 1/3)
V [Я(1) + с(1) + в(1)]55 (1) ; 'Б0 = ] ---«Л ; (7)
1 3
для выходного сигнала полезного фрагмента при весовой обработке:
X
max
Isv = Jfe*(l) + KgG(1 ) + KbB(1)Ss (1)d1. (8)
1 min
Выигрыш Q от взвешивания сигнала (это конечный параметр эффективности)
I СП
вычисляется как отношение сигнал/фон при отсутствии весовой обработки SNq =■ S 0
к отношению сигнал/фон с использованием весовой обработки SNy =
isv
ifv
где
I
f 0
vmax
lF 0
J[R(1) + G (l) + B(1)]SF (l)dl;
(9)
vmax
ifv
J[R(1)KR + G(l)KG + B(1)KB ]SF (l)dl;
(10)
б =
SN0
SN
(11)
V
вию:
Оптимальные значения весовых коэффициентов должны соответствовать усло-[Кя, Кс, Кв ]ор1 ® тах 0(Кк, Кс, Кв).
(12)
Результаты проведенного моделирования и оптимизации весовых коэффициентов показали, что оптимальным по эффективности фильтрации всегда является использование только одного спектрального канала. В тех случаях, когда спектры полезного фрагмента и фона однотипны, эффект минимален. Если форма спектров существенно различна, то выигрыш может быть значительным.
Для подтверждения полученных результатов было проведено экспериментальное исследование эффективности фильтрации изображений по RGB сигналам фотоприёмной матрицы. В процессе эксперимента фотографировалось исходное изображение образца (окрашенной панели) на природном фоне. Затем в процессе обработки изображение разделялось на RGB составляющие и измерялся контраст полезного фрагмента и фона в монохромном и RGB каналах. Контраст К
В об - в.
рассчитывался по соотношению:
K
ф
B,
об
где Воб - яркость полезного фрагмента; Вф - яркость фона. Результаты эксперимента приведены на рис. 3.
(13)
2 3
Тип фона
•О
о. ^
и
•О
со
а3 .
х 2
о * 1
23
Тип фона
а б
Рис. 3. Выигрыш по контрасту по сравнению с монохроматическим изображением для эмалей: а — серо-жёлтой; б — зелёно-защитной. Типы фона: 1 — ель; 2 — трава; 3 — небо; 4 — грунтовая дорога
X
I
0
1
4
Полученные результаты показывают, что используя простой алгоритм выбора R, G или B канала можно получить контрастность выше, чем для монохромного (в градациях серого) изображения. Это приведёт к повышению вероятности обнаружения полезного фрагмента.
Вместе с тем, при оценке эффективности использования RGB каналов необходимо дополнительно учитывать следующие факторы:
- чувствительность пикселей видеоматрицы в режиме RGB ниже, чем в монохромном режиме при том же размере пикселя; это объясняется потерями принимаемого оптического сигнала в процессе фильтрации фильтром Байера; так, расчёт показывает, что в диапазоне длин волн 400.. .700 нм для канала R чувствительность снижается в 2,4 раза, для канала G - в 3 раза, для В - в 3,5 раза;
- сравнение по общей чувствительности на кластер из четырёх пикселей даёт снижение общей чувствительности в 3 раза (в литературе приводятся значения снижения в 3.5 раз);
- при одинаковом размере пикселя монохромной и цветной матриц пространственное разрешение цветной матрицы всегда хуже, чем монохромной, поскольку для неё пространственный шаг расположения пикселей одного цвета в два раза больше, чем у монохромной матрицы; это особенно существенно для малопиксельных полезных фрагментов на изображении.
Поэтому принятие решения об использовании метода обработки изображения по RGB каналам требует учёта конкретных требований к разрабатываемой системе.
Список литературы
1. Ермаков Д.М., Смирнов М.Т. Комплексное использование разнотипных данных в задачах дистанционного зондирования океана // Современные проблемы дистанционного зондирования Земли из космоса: Сборник научных статей. М.: Полиграф сервис, 2005. С. 93-97.
2. Молчанов А. С. Состояние, развитие и применение гиперспектральных технологий в аэрокомплексах и системах воздушной разведки // Сборник тезисов докладов научно-технической конференции «Гиперспектральные приборы и технологии». Красногорск, 2013. С. 21-23.
3. Шовенгердт Р. А. Дистанционное зондирование. Модели и методы обработки изображений. М.: Техносфера, 2010. 560 с.
4. Infrared photography on digital cameras. [Электронный ресурс] URL: https://www.hatiandskoll.com/2012/12/20/infrared-photography-on-digital-cameras (дата обращения: 01.10.2019).
Погорельский Семён Львович, канд. техн. наук, заместитель директора, kbkedr@,tula.net, Россия, Тула, АО «КБП»,
Макарецкий Евгений Александрович, д-р техн. наук, профессор, makaretsky@,mailru, Россия, Тула, Тульский государственный университет,
Понятский Валерий Мариафович, канд. техн. наук, доцент, начальник отдела, pwmntayandex.ru, Россия, Тула, АО «КБП»,
Егоров Дмитрий Борисович, инженер, kbkedr@,tula. net, Россия, Тула, АО »КБП»
RESEARCH OF THE EFFICIENCY OF OBJECT SELECTION ON A DIFFICULT BACKGROUND WHEN PROCESSING RGB SIGNALS
S.L. Pogorelsky, E.A. Makaretsky, V.M. Ponyatsky, D.B. Egorov
The results of the study of methods for extracting fragment of images against a complex background using the division of a monochrome image into RGB channels and assessing the contrast of objects in the channels are presented. The results of an experimental study are presented, showing the possibility of increasing the contrast by 1.5 - 3 times.
Key words: image processing, contrast enhancement, object detection in the image.
Pogorelsky Semyen Lvovich, candidate of technical sciences, deputy director, khkedr a tula. net, Russia, Tula, JSC «KBP»,
Makaretskiy Eugene Alexandrovich, doctor of technical sciences, professor, makaretskya mail. ru, Russia, Tula, Tula State University,
Ponyatskiy Valeriy Mariafovich, head of department, pwmruayandex. ru, Russia, Tula, JSC «KBP»,
Egorov Dmitriy Borisovich, engineer, gosha fightenamail. ru, Russia, Tula, JSC
«KBP» УДК 681.783
РАЗРАБОТКА МНОГОСПЕКТРАЛЬНОГО ПРОГРАММНО-ТЕХНИЧЕСКОГО КОМПЛЕКСА ДЛЯ ИССЛЕДОВАНИЯ ОБЪЕКТОВ И ФОНОВ
С.Л. Погорельский, Е.А. Макарецкий, А.В. Овчинников, А.С. Гублин, В.М. Понятский, А.А. Шилин
Представлен вариант реализации многоспектрального программно-технического комплекса на основе цифровой видеокамеры и набора интерференционных фильтров, обеспечивающий формирование последовательного потока спектральных изображений и их последующую обработку.
Ключевые слова: спектральная селекция, гиперспектральная съёмка, телевизионные системы, мальтийский механизм.
Введение. Многоспектральные и гиперспектральные методы и устройства позволяют с высокой точностью определять характеристики поглощения и отражения объектами электромагнитных волн в заданном диапазоне. При этом представленные на рынке аппаратные и программные решения, достаточно дороги и изготовлены не на территории РФ, что накладывает ограничение на их использование в ряде приложений. Поэтому перед авторами стояла задача разработки многоспектрального программно-технического комплекса (ПТК) для исследования фонов и объектов различной природы.
В зависимости от предполагаемой задачи многоспектральные оптические системы могут иметь различную конструкцию. В работе [1] выделено четыре типа их построения:
- системы с автономными (независимыми) каналами, каждый из которых оснащён собственным матричным приёмником;
- системы с единым объективом и сменными спектральными фильтрами, либо сменными приёмниками излучения;
- системы, использующие двух- или многодиапазонные приёмники излучения;
- системы с единым входным компонентом и спектроделителями.
Использование нескольких независимых каналов или спектроделителей позволяет получать многоспектральное изображение «в реальном времени», и широко применяется в системах, расположенных на борту летательных аппаратов и наземного транспорта.
