CC BY
60Программные средства и информационные технологии
УДК 004.932
МЕТОД УЛУЧШЕНИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ MULTI-SCALE RETINEX И ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ*
А. Г. Зотин
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: [email protected]
Представлен метод улучшения изображения путем выравнивания освещения на основе Multi-Scale Retinex и вейвлет-преобразования. Показан способ расчета высокочастотных компонентов, позволяющих снизить количество артефактов, связанных с высокой локальной контрастностью оригинальных изображений.
Ключевые слова: Retinex, MSR, вейвлет-преобразование, фотоловушки.
IMAGE ENHANCEMENT METHOD BASED ON MULTI-SCALE RETINEX AND WAVELET TRANSFORM
A. G. Zotin
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660037, Russian Federation E-mail: [email protected]
The paper presents a method of image enhancement by lighting adjustment based on Multi-Scale Retinex and wavelet transform. The method of wavelet high-frequency components calculation, which allows to reduce the number of artifacts associated with high local contrast of the original images, is described.
Keywords: Retinex, MSR, wavelet transform, camera traps.
Анализ цифровых изображений применяется во RM[SR (x, y, ст) =
многих сферах, включая медицину, промышленность, „ (1)
безопасность. В последнее десятилетия анализ изо- = (log [I (x, y)]-log [I (x, y)* G (x, y, ст k)])},
бражений и видео стал активно использоваться для k=
изучения и защиты естественных экосистем, в том где I(x y) - значения интенсивности пиксела по к°°р-
числе отдельных видов животных, находящихся под динатам x и y; а = (оь °2, ..., о„) - вектор коэффици-
угрозой вымирания. Для этих целей используются ентов размытия; G(x ^ а) - гауссиан; wk - весовой
данные, полученные при помощи аэрокосмических коэффициенг k-ra уровня причем wi + w2 + ...+ w„ = 1;
средств наблюдения и фотоловушек [1]. При срабаты- знак * обозначает свертку.
вании датчика фотоловушка делает серию снимков. В предлагаемом методе улучшения изображения
Полученные снимки в зависимости от времени дня и решено использовать модификацию Multi-Scale
погодных условий могут иметь неравномерное рас- Retinex в цветовом пространстве HSV, где для уско-
пределение яркости и низкую контрастность, что по- рения в^1числения применено вейвлет-преобразование
вышает сложность анализа, как человеком, так и ком- [3]. Вейвлет-преобразование разделяет каждый сигнал
пьютерной системой. Для устранения локальной не- на два компонента равного размера - аппроксимацию
однородности освещенности объектов наблюдаемой (aPPr°ximati°n) и детадгоад^ (^teH) или различие
сцены применяются методы на основе технологии (difference). В случае обработки одномерного дис-
Retinex [2; 3]. кретного сигнала S = (s/}jeZ упрощенное вычисление
Широкое распространение получили методы компонент approximation (L) и detail (H) и восстанов-
Multi-Scale Retinex (MSR). Классическая MSR- ление сигнала (обратное вейвлет-преобразование)
функция представляет собой взвешенную сумму од- будет происходить по формулам:
номерных SSR-функций (Single-Scale Retinex), най- = s2j + s2j+1 h = s2j - s2j+1
денных при разных масштабах. В обобщенном виде j 2 ' j 2 '
расчет отклика MSR-функции для n уровней можно 2 • L + 2 • H 2 • L - 2 • H
представить следующим образом: s2 j =-J—~--, s2 j+1 =-J—~--. (2)
Исследование выполнено при финансовой поддержке Российского фонда фундаментальных исследований, Правительства Красноярского края, Красноярского краевого фонда науки в рамках научного проекта: «Разработка методов и алгоритмов мониторинга диких животных и птиц на особо охраняемых природных территориях по визуальным данным».
Решетневские чтения. 2018
В результате применения вейвлет-преобразования к изображению формируются четыре области LL HL LH HH путем поочередного одномерного вейвлет-преобразования строк и столбцов. Предлагается использовать область LL для расчета значений корректировки яркости MSR и затем выполнять обратное преобразование. В ходе обратного преобразовании высокочастотные компоненты (detail) дополнительно увеличивают уровень локального контраста. Однако могут возникнуть ситуации, когда из-за больших значений в высокочастотных компонентах могут появляться артефакты, визуально выглядящие как ореол или лестницы. Такие артефакты возникают в основном у фрагментов с высокой локальной контрастностью на исходном изображении. С целью уменьшения количества артефактов можно осуществить сглаживание высокочастотных областей или же применить коэффициенты, позволяющие изменить интенсивность значений высокочастотной области.
Было решено использовать два коэффициента для коррекции интенсивности высокочастотных компонент. Первый (kdiv) отвечает за равномерное коррекцию значений, а второй (kh) позволяет осуществить линейное коррекцию в случае превышения порога локального контраста (TH). Для сокращения вычислительной сложности при программной реализации вейвлет-разложения было решено использовать таблицу преобразований LUT (Look-Up Table). В таком случае компонента detail (H) будет формироваться в зависимости от разности соседних пикселов (S2J-S2J+1) по формуле (3). При этом обратное вейвлет-преобразование остается неизменным.
Hj = sgn(S2j -S2J+l) • Hlut (|S2j -S2J+lI),
где
HLUT (i) =
i
kdiv
(i - TH ) • kh + TH
k
если i < TH
если i > TH
(3)
div
зона с учетом адаптивнои подстройки степени расширения на основе граничных порогов, принимая во внимание желаемый размер диапазона (Рг) и смещения центра распределения (выравнивание относительно нуля).
IMSR ( X ^ СТ) =
(4)
= Cl
rmsr
( x, y, ст) - ;ivg (rmsr (ст) )
( (rmsr (ст) )- min (rmsr (ст) )) •Pr
••TR +kof
Оклик М8Я-функции может давать как отрицательные, так и положительные значения, при этом границы диапазона будут произвольными. В связи с этим встает необходимость преобразования полученных значений в область отображения [0, 255]. Типичным подходом является растяжения диапазона с учетом минимальных и максимальных значений или на основе коэффициентов усиления сигнала и его смещения. В зависимости от исходного изображения в распределении выходных значений М8Я-функции среднее значение может быть смещено относительно нуля. В связи с этим для формирования выходного изображения решено использовать растяжение диапа-
где IMSR - значение яркости выходного изображения; Rmsr - выходные значения MSR-функции; ITR - желаемый выходной диапазон (типичное значение 255); koffset - коэффициент смещения яркости (по умолчанию kaffset = 127); Cl() - функция отсечения значений выходящих за желаемый диапазон.
Для экспериментального исследования предложенного метода были использованы наборы снимков, полученных с помощью фотоловушек, расположенных в природном парке «Ергаки». Набор для каждой фотоловушки содержит снимки, полученные в разное время дня и период года с различным характером освещения. При этом разрешение изображений составляет 2592x1944 пикселов.
Проведенное исследование показало, что предложенный способ вычисления высокочастотных компонентов вейвлет-преобразования позволяет снизить количество артефактов, связанных с высокой локальной контрастностью оригинальных изображений, а также при необходимости выполнить её увеличение. В свою очередь способ формирования результирующего изображения позволяет сгенерировать желаемое распределение относительно целевого уровня яркости.
References
1. O'Connell A. F., Nichols J. D., Karanth K. U. (Eds.). Camera Traps in Animal Ecology. Tokyo, Springer Japan, 2011. 271 p. Doi: 10.1007/978-4-431-99495-4_6.
2. Gao H., Wei P., Ke J. Color enhancement and image defogging in HSI based on Retinex model. Proceeding of the SPIE 9622, International Conference on Optical Instruments and Technology: Optoelectronic Imaging and Processing Technology, 962203 (5 August 2015). 8 p. Doi: 10.1117/12.2193264.
3. Zotin A. Fast Algorithm of Image Enhancement based on Multi-Scale Retinex. Procedia Computer Science. 2018. Vol. 131. P. 6-14. Doi: 10.1016/j.procs. 2018.04.179.
© Зотин А. Г., 2018
