CC BY
18
УДК 004.932
DOI: 10.14529/mmph210102
ОБ ОБРАБОТКЕ ЗАШУМЛЕННЫХ КОНТРАСТНЫХ ИЗОБРАЖЕНИЙ
В.А. Сурин
Южно-Уральский государственный университет, г. Челябинск, Российская Федерация E-mail: [email protected]
Рассматривается проблема подавления шума на резком перепаде яркости в цифровых зашумленных контрастных изображениях. Цифровые изображения, получаемые при оцифровке аналогового сигнала цифровой фотоматрицей, помимо полезного сигнала имеют шумовую составляющую. Причем для получения привычного нам цифрового изображения в стандартной цветовой модели RGB к изображению полученному с цифровой фотоматрицы необходимо применить интерполяционный алгоритм, называемый демозаикой. Вследствие таких преобразований гауссовость распределения шума в цифровом зашумленном изображении нарушается.
Использование стандартной модели представления изображения в цифровом виде для подавления шума является не целесообразным. Для более эффективного подавления шума цифровое изображение переводится из цветовой модели RGB в цветовую модель HSV или LAB, в которых можно отдельно фильтровать яркостную и цветовую составляющую цифрового шума. Подавление цветового шума происходит в цветовых каналах изображения с применением фильтра Гаусса.
Подавление шума в яркостном канале цифрового изображения является более сложной задачей, в особенности на границе резкого перепада яркостей. Для подавления яркостного шума в контрастных изображениях предлагается использовать нелинейный фильтр на основе обобщенного метода наименьших модулей (ОМНМ). Описан процесс сглаживания контрастного зашумленного перепада ОМНМ-фильтром и показана его эффективность в сравнении с медианной фильтрацией.
Ключевые слова: зашумленное контрастное изображение; негауссовость распределения шума; подавление шума; фильтрация изображений; контрастный перепад; обобщенный метод наименьших модулей.
Введение
Любое растровое компьютерное изображение состоит из пикселей, расположенных по строкам и столбцам. Основным элементом, из которых строятся все компьютерные изображения, является пиксель. Пиксель - «наименьший пространственный элемент дисплея, к которому возможна адресация, способный воспроизводить полный цветовой диапазон» [1].
Цифровые изображения формируются из аналогового сигнала, путем оцифровки его аналого-цифровым преобразователем (АЦП) [2]. Они состоят из большого количества маленьких светочувствительных сенсоров, которые захватывают и накапливают фотоны света, попадающие на них, и преобразуют их в электрический ток. Получая информацию с каждого сенсора светочувствительной матрицы, аппаратура формирует изображение [2]. Ввиду различных физических ограничений устройства формирования цифровых изображений не могут быть идеальны. Как и многие другие измерительные устройства, при оцифровке аналогового изображения имеются погрешности измерений. В результате сформированное изображение содержит полезный сигнал и цифровой шум [3].
В идеальном случае, когда телекамера не вносит каких-либо искажений в формируемый сигнал, её чувствительность зависит только от фотонного шума. Фотонный шум - случайное отклонение числа фотонов относительно среднего значения. Вследствие независимости фотонов в потоке света количество фотонов на отдельном выбранном участке (пикселе) в конкретном кадре подчинено статистике Пуассона [4]. Исходя из этого, часто полагают, что распределение цифрового шума подчиняется гауссовскому закону распределения, и не проводят отдельных исследований поведения шума в цифровых контрастных изображениях [5, 6].
В [7] было показано, что распределение шума в цифровых изображениях может существенно отличаться от гауссовского. В этом случае необходимо понять вследствие чего нарушается изна-
чально гауссовское распределение шума в цифровых изображениях и какие методы подавления шума следует использовать для обработки зашумленных контрастных изображений.
1. Модель изображения
В светочувствительных матрицах используются сенсоры, которые не могут различать цвет, а только яркость. Информацию о цвете получают путем постановки перед сенсорами цветных фильтров синего, красного или зеленого цвета. Расположение таких фильтров на матрице может быть разным, но наиболее популярное называется фильтр Байера или шаблон Байера [8]. Это самый первый и наиболее используемый в настоящее время массив цветных фильтров.
В классическом фильтре Байера используются светофильтры трёх цветов, которые распознает человеческий глаз. Расположены они таким образом, что красный и синий соседствуют с зелеными по вертикали и диагонали, в следующем порядке (см. рис. 1).
Финальное изображение, полученное с матрицы, не является привычным нам цифровым изображением, которое мы видим на компьютере. В нем каждый пиксель содержит только одну цвето-
G R
G
Рис. 1. Порядок расположения цветовых фильтров
вую составляющую проекции объективом реального изображения на фотоматрицу (рис. 2).
Рис. 2. Итоговое изображение, полученное с матрицы, без какой-либо цифровой обработки
Рис. 3. Итоговое изображение после цифровой обработки
Для того чтобы привести изображение к полноцветному виду и сохранить истинное разрешение фотоматрицы недостающие цветовые составляющие каждого пикселя рассчитываются математически, на основе информации о цвете соседних пикселов. Результат математической интерполяции представляется в виде 24-битного изображения (рис. 3) где на кодирование пикселя используется 8 бит для каждого из трех цветов или, как их по-другому называют, каналов в цветовой модели RGB [9].
Рис. 4. Участки с различным уровнем яркости Числовые характеристики для различных участков яркости
Таблица 1
Теоретическое м.о. 0 32 64 96 128 160 192 224 255
М.о. 2,58 25,40 60,69 91,52 127,76 161,91 193,55 225,72 254,64
Дисперсия 13,08 64,47 63,80 46,66 43,77 26,96 15,34 3,56 0,23
Коэффициент асимметрии 2,353 0,034 -0,148 -0,031 -0,124 -0,148 -0,206 -0,189 -0,604
Коэффициент эксцесса 8,790 0,559 0,545 0,438 0,450 0,379 0,431 0,369 -1,620
Такой процесс называется демозаикой [10]. Существует несколько вариантов демозаики полученного с фотоматрицы изображения, например, AMaZE - универсальный алгоритм для многих ситуаций. На этом этапе изначально гауссовское распределение шума в цифровом изображении может быть нарушено. Пример такого поведения шума на монотонных участках различной яркости в цифровом изображении был рассмотрен ранее (рис. 4) [7].
Было рассмотрено 9 областей изображения различной яркости, каждая из которых состоит из 10 000 значений. Для каждой области были рассчитаны математическое ожидание (м.о.), диспер-
сия, значения коэффициентов асимметрии и эксцесса, значения которых приведены в табл. 1. Полученные величины коэффициентов асимметрии и эксцесса для различных монотонных участков изображения характеризуют смещение распределения относительно гауссовского распределения.
Рассмотрим зашумленное изображение, в котором яркость резко переходит из меньшего значения в большее. На рис. 5 изображены два участка различной яркости.
Рис. 5. Полноцветное зашумленное изображение с резким переходом яркости от темного к серому
При рассмотрении границы двух участков различной яркости мы можем получить следующее распределение яркостей для каждого из каналов цвета (рис. 6):
Красный канал Синий канал Зеленый канал
1) I
£ ] X t
í Til Li ft г Ь, 150 ft 1 1" 1 I
§ íoo Al I ? 100 1 J i 1 Г
' A.....i Ir 5 1Ш i п F I100 J J И F
0 50 100 150 200 Якрость 0 50 100 150 200 Якрость 0 50 100 150 200 Якрость
Рис. 6. Распределение значений яркости пикселей в трех каналах цвета
Но использование стандартной цветовой модели для подавления шума представляется не целесообразным, так как в этом случае будет удалена только яркостная составляющая шума, а цветовой шум может даже усилиться. Для избежания подобной ситуации целесообразно использовать другие цветовые модели изображения, такие как LAB (CIE L*a*b*) и HSV (Hue, Saturation, Value - тон, насыщенность, значение) [11]. Их преимущество состоит в том, что информация о цвете и яркости хранится отдельно, причем все детали изображения хранятся в яркостном канале. Тот факт, что цветовое пространство LAB и HSV может содержать больше информации о цветности в сравнении со стандартной моделью, позволяет без потери информации конвертировать изображение из модели RGB в любую из приведённых выше моделей.
2. Подавление шума на контрастном перепаде
Для устранения цветового шума в модели HSV достаточно провести размытие цветового канала. Цветовые пятна на изображении будут устранены, а информация о «деталях» изображения из яркостного канала не будет затронута (рис. 7, а).
Подобное размытие в яркостном канале приведет к потере мелких деталей в изображении и сильному снижению контраста (рис. 7, б) поэтому для яркостного канала требуется другие методы сглаживания.
В случае применения цветовой модели HSV к рассматриваемому изображению, распределение яркости пикселей в канале V будет следующим ( см. рис. 8).
Рис. 7. Полноцветное зашумленное изображение с резким переходом яркости от темного к серому после удаления фильтром Гаусса: а) цветового шума; б) яркостного шума
Канал яркости
ф
о ют
Яркость
Рис. 8. Распределение значений яркости пикселей в яркостном канале модели HSV
При этом характеристики распределения для каждого из пиков будут отличаться, несмотря на то, что принадлежат одному и тому же кадру. Характеристики приведены в табл. 2.
Характеристики распределения яркостей на исследуемом изображении
Таблица 2
Яркость 50 Яркость 150
Математическое ожидание 48,07 149,1
дисперсия 85,65 61,32
С.К.О. 9,25 7,83
Коэффициент асимметрии 0,470 0,091
Достаточно высокий коэффициент асимметрии указывает на скошенность распределения яркостей.
Рассмотрим вариант зашумленного контрастного перепада с представленными характеристиками шума и яркости. Модель перепада с шумом ук= /к + цк , где ук - яркость пикселей зашумленного изображения; /к - исходное не зашумленное изображение, равное 50 по одну сторону от перепада и 150 - по другую; Пк - шум с различной дисперсией, соответствующей яркости. Перепад яркости в таком случае будет к = 100.
Одним из методов сглаживания экспериментальных данных является скользящее сглаживание ¿-типа [12]. Положим апертуру фильтров I = 5. В качестве сглаживающего фильтра будем использовать медианный фильтр [14], так как он устойчив к резким выбросам, и фильтр на основе обобщенного метода наименьших модулей (ОМНМ) [15], разработанный для подавления шума в контрастных изображениях.
Пусть перепад происходит в пикселе с номером 6. На рис. 9 показана последовательность значений математического ожидания скользящей медианы в близи перепада яркости равного 100
и апертуре сглаживания равной 5:
Рис. 9. Математическое ожидание скользящих медианы и ОМНМ для модели «перепад + шум».
В представленном на рис. 9 случае, при скользящем сглаживании ¿-типа с апертурой фильтров I = 5, когда искомый пиксель находится в позиции 3, в апертуру попадают значения пикселей с номерами с 1-го по 5-й и для всех матожидание яркости будет равно 50, поэтому оба фильтра сработают схожим образом. Но в случае, когда искомый пиксель находится в позиции 4, то в апертуру попадут пиксели с номерами со 2-го по 6-й. Соответственно 4 пикселя, попадающих в апертуру, будут иметь матожидание равное 50, а 1 пиксель - 150. Значение яркости этого пикселя будет являться засорением, имеющим отличное от остальных значений матожидание и дисперсию, в итоге имеет место несимметричное засорение. В таком случае медиана выберет не среднее значение яркости из четырех значений имеющие одинаковые характеристики, а смещенное в сторону резкого выброса. ОМНМ-фильтр более устойчив к несимметричному засорению, что было продемонстрировано в [15] применительно к фильтрации сигналов, следовательно смещение будет менее выражено. Еще более выраженное смещение имеет место в случае, когда искомый пиксель находится в позиции 5. Здесь в апертуру попадут пиксели с номерами с 3-его по 7-ой, соответственно 3 пикселя будут иметь матожидание равное 50, а 2 пикселя - 150. Несимметричным засорением в этом случае будут являться уже два из пяти значений, попадающих в апертуру. Медиана выберет наибольшее из трех значений, которые не являются несимметричным засорением для конкретного случая.
Когда фильтр будет двигаться дальше, несимметричным засорением будут считаться яркости пикселей, матожидание которых равно 50, но ситуация повторится и смещение также будет иметь место.
Медиана в данном случае заметно искажает полезный сигнал, что приводит к растеканию контрастной границы на контрастном перепаде. ОМНМ-фильтр в данном случае меньше искажает полезный сигнал на перепаде и растекание контрастной границы хоть и имеет место, но в значительно меньшей степени (рис. 11).
250 1
Исходное зашумленное
ОМНМ фильтрация
250 1
Медианная фильтрация
123456789 10 123456789 10 123456789 10
№ ппкселя № пикселя № пикселя
Рис. 10. Фильтрация зашумленного перепада 50-150 Причем с увеличением величины перепада к выигрыш ОМНМ фильтра будет увеличиваться (рис. 11).
В случае же уменьшения И или увеличения с.к.о. шума эффективность применения будет снижаться, рис. 12, и, когда распределение шума на нижней границе перепада в значительной мере будет накладываться на распределение яркостей на верхней границе перепада, то выигрыш ОМНМ фильтрации по сравнению с медианной фильтрацией может сойти на нет.
123456789 10 123456789 10 123456789 10
№ пикселя № пикселя № пикселя
Рис. 11. Фильтрация зашумленного перепада 50-210
Исходное за шумя е иное
ОМНМ фильтрация
Медианная фильтрация
е линии сетки \
Zшг
0 0
123456789 10 123456789 10 123456789 10
№ пикселя № пикселя № пикселя
Рис. 12. Фильтрация зашумленного перепада 80-120
Эффективность сглаживания перепадов можно оценивать как среднее линейное отклонение яркостей пикселей, обработанных фильтрами перепадов с исходными не зашумленными перепадами. Характеристики среднего линейного отклонения для рассмотренных перепадов приведены в табл. 3.
Таблица 3
Величина среднего линейного отклонения для рассмотренных случаев
Перепад h Медианный фильтр ОМНМ-фильтр
50-210 160 3,2 0,4
50-150 100 4,1 2,1
80-120 40 3,7 2,8
Чем меньше величина перепада, тем выше значение среднего линейного отклонения для ОМНМ-фильтра. Данный фильтр эффективно использовать в случае, если величина перепада И больше или равна среднему квадратичному отклонению.
Заключение
Распределение шума в цифровых контрастных изображениях, вследствие дискретности яркостей и некоторых нелинейных преобразований, таких как процедура демозаики, может иметь не гауссовский ассиметричный характер.
Применяя альтернативные RGB цветовые модели, такие как LAB или HSV можно эффективно устранить цветовой шум, применяя фильтр гаусса к цветовым каналам, и останется подавить только яркостной шум.
При подавлении шума в зашумленных контрастных изображениях эффективности медианного фильтра недостаточно и необходимо использовать более устойчивые к несимметричному за-шумлению фильтры, например фильтр на основе обобщенного метода наименьших модулей.
Работа выполнена при финансовой поддержке РФФИ (грант 20-41-660008 р_а).
Литература
1. Гонсалес, Р.С. Цифровая обработка изображений / Р.С. Гонсалес, Р.Е. Вудс. - М.: Техносфера, 2012. - 1104 с.
2. Прэтт, У. Цифровая обработка изображений: в 2-х кн. / У. Прэтт, Д.С. Лебедев. - М.: Мир, 1982. - Кн. 1. - 310 с.; кн. 2. - 790 с.
3. Ярославский, Л.П. Введение в цифровую обработку изображений / Л.П. Ярославский. -М.: Советское радио, 1979. - 312 с.
4. Никитин, В.В. Телевидение в системах физической защиты / В.В. Никитин, А.К. Цыцулин. - СПб.: СПбГЭТУ «ЛЭТИ», 2001. - 132 с.
5. Применение переключающихся медианных фильтров для восстановления зашумленных изображений / С.С. Бухтояров, А.Л. Приоров, И.В. Апальков, В.В. Хрящев // Вопросы радиоэлектроники: Серия общетехническая. - 2006. - Т. 4, № 2. - С. 137-147.
6. Мамаев, Н.В. HeNLM-LA: Локально-адаптивный алгоритм нелокального среднего на основе разложения по функциям Эрмита / Н.В. Мамаев, А.С. Лукин, Д.В. Юрин // Программирование. - 2014. - Т. 40, № 4. - С. 46-54.
7. Surin, V.A. Research of properties of digital noise in contrast images / V.A. Surin, A.N. Tyrsin // CEUR Workshop Proceeding. - 2016. - Vol. 1710. - P. 340-348. http://ceur-ws.org/Vol-1710/paper34.pdf
8. Television noise reduction IC / G. de Haan, T.G. Kwaaitaal-Spassova, M.M. Larragy et al. // IEEE Transactions on Consumer Electronics. - 1998. - Vol. 44, no. 1. - pp. 143-154.
9. Синтез цвета. Фотокинотехника: Энциклопедия / гл. ред. Е.А. Иофис. - М.: Советская энциклопедия, 1981. - 447 с.
10. Devies, A. Digital Imaging for Photographers / A. Davies, P. Fennessy // Focal Press. - 2001. -Paperback. - 214 p.
11. CIE Recommendations on Uniform Color Spaces, Color Difference Equations, Psychometric Color Terms, Supplement 2 to CIE publication 15 (E1.3.1) 1971/(TC1.3). Central Bureau of the Commission Internationale de l'Eclairage (Vienna, Austria). - 1978.
12. Быстрые алгоритмы в цифровой обработке изображений. Преобразования и медианные фильтры / Т.С. Хуанг, Дж.-О. Эклунд, Г.Дж. Нуссбаумер и др. - М.: Радио и связь, 1984. - 221 с.
13. Tukey, J.W. Discussion, Emphasizing the Connection Between Analysis of Variance and Spectrum Analysis / J.W. Tukey // Technometrics. - Vol. 3, no. 2. - P. 191-219.
14. Сурин, В.А. Модель нелинейного фильтра для цифровой обработки контрастных изображений / В.А. Сурин, А Н. Тырсин // Автометрия. - 2018. - Т. 54, № 2. - С. 54-62.
15. Тырсин, А.Н. Робастное построение регрессионных зависимостей на основе обобщенного метода наименьших модулей / А.Н. Тырсин // Записки научных семинаров ПОМИ РАН. - 2005. -Т. 328. - С. 236-250.
Поступила в редакцию 26 января 2021 г.
Bulletin of the South Ural State University Series "Mathematics. Mechanics. Physics" _2021, vol. 13, no. 1, pp. 14-21
DOI: 10.14529/mmph210102
ON PROCESSING NOISY CONTRAST IMAGES V.A. Surin
South Ural State University, Chelyabinsk, Russian Federation E-mail: [email protected]
The problem of noise reduction at sharp transitions of brightness in digital noisy contrast images is considered. In addition to the useful signal, digital images obtained by digitizing an analogue signal with a digital photo matrix have a noise component. Moreover, to obtain a digital image in the standard RGB color model, a demosaicing interpolation algorithm must be applied to the image obtained from a digital
photo matrix. Due to such transformations, the Gaussian distribution of noise in a digital noisy image is violated.
Using a standard image digitization model for noise reduction is not effective. For more effective noise reduction, the digital image is transferred from the RGB color model to the HSV or LAB color model, where the brightness and color components of the digital noise can be filtered separately. Color noise is suppressed in the color channels of the image using a Gaussian filter.
Noise reduction in the brightness channel of a digital image is more difficult task, especially at the edge of sharp transitions of brightness. To suppress the brightness noise in contrast images, it is proposed to use a nonlinear filter based on the generalized method of least absolute values (GMLAV). The process of smoothing the contrast noisy transition by the GMLAV-filter is described, and its efficiency is shown in comparison with the median filtration.
Keywords: noisy contrast image; non-Gaussian noise distribution; noise reduction; image filtering; color model; contrast transition; generalized method of least absolute values.
References
1. Gonzalez R.C., Woods R.E. Digital Image Processing. 4th edition. Pearson Education, Inc., New York, 2018, 1092 p.
2. Pratt W.K. Digital Image Processing. John Wiley & Sons Inc., Hoboken, New Jersey, 2007, 807 p. DOI: 10.1002/0470097434
3. Yaroslavsky L.P. Vvedenie v cifrovuyu obrabotku izobrazhenij (Introduction to Digital Image Processing). Moscow, Sovetskoe radio, 1979, 312 p. (in Russ.).
4. Nikitin V.V., Tsytsulin A.K. Televidenie v sistemakh fizicheskoy zashchity (Television in Systems of Physical Protection). SPb.: SPbGETU "LETI" Publ., 2001, 132 p. (in Russ.).
5. Bukhtoyarov S.S., Priorov A.L., Apal'kov I.V., Khryashchev V.V. Primenenie pereklyucha-yushchikhsya mediannykh fil'trov dlya vosstanovleniya zashumlennykh izobrazheniy (Application of Switching Median Filters for Restoring Noisy Images). Voprosy radioelektroniki: Seriya ob-shchetekhnicheskaya, 2006, Vol. 4, no. 2, pp. 137-147. (in Russ.).
6. Mamaev N.V., Lukin A.S., Yurin D.V. HeNLM-LA: A Locally Adaptive Non-Local Means Algorithm Based on Hermite Functions Expansion. Programming and Computer Software, 2014, Vol. 40, no. 4, pp. 199-207. DOI: 10.1134/S0361768814040070
7. Surin V.A., Tyrsin A.N. Research of Properties of Digital Noise in Contrast Images. CEUR Workshop Proceeding, 2016, Vol. 1710, pp. 340-348. http://ceur-ws.org/Vol-1710/paper34.pdf
8. de Haan G., Kwaaitaal-Spassova T.G., Larragy M.M., Ojo O.A., Schutten R.J. Television Noise Reduction IC. IEEE Transactions on Consumer Electronics, 1998, Vol. 44, no. 1, pp. 143-154. DOI: 10.1109/30.663741
9. Iofis E.A. (ed.) Sintez tsveta. Fotokinotekhnika: Entsiklopediya (The Synthesis of Color. Photo and Film Equipment: Encyclopedia). Moscow, Sovetskaya entsiklopediya Publ., 1981, 447 p. (in Russ.).
10. Devies A., Fennessy P. Digital Imaging for Photographers. Oxford, Focal Press, 2001, 214 p.
11. CIE Recommendations on uniform color spaces, color difference equations, psychometric color terms, Supplement 2 to CIE publication 15 (E1.3.1) 1971/(TC1.3). Central Bureau of the Commission Internationale de l'Éclairage (Vienna, Austria), 1978.
12. Huang T.S., Ekiundh J.-O., Justusson B.I., Nussbaumer H.J., Tyan S.G., Zohar S., Yustus-son B.I. Two-dimensional digital signal processing II: transforms and median filters. Berlin, Heidelberg, New York, Sprinder-Verlag Publ., 1981, 224 p. DOI: 10.1007/BFb0057592
13. Tukey J.W. Discussion, Emphasizing the Connection Between Analysis of Variance and Spectrum Analysis. Technometrics, 1961, Vol. 3, no. 2, p. 191-219. DOI: 10.1080/00401706.1961.10489940
14. Surin V.A., Tyrsin A.N. Nonlinear Filter Model for Digital Imaging of Contrast Images. Optoelectronics, Instrumentation and Data Processing, 2018, Vol. 54, no. 2. pp. 155-161. DOI: 10.3103/S8756699018020061
15. Tyrsin A.N. Robust Regression Models Definition on Base of Generalised Method of Least Modules. Journal of Mathematical Sciences, 2006, Vol. 139, Iss. 3, pp. 6634-6642. DOI: 10.1007/s10958-006-0380-7
Received January 26, 2021
