CC BY
168
13. BC7 Format Mode Reference [Электронный ресурс]. Режим доступа: http://msdn.microsoft.com/en-us/library/windows/desktop/hh308954.aspx, свободный. Яз. англ. (дата обращения 23.11.2013).
14. OpenGL A.R.B., ARB texture compression bptc. 2010 [Электронный ресурс]. Режим доступа: http://www.opengl.org/registry/specs/ARB/texture_compression_bptc.txt, свободный. Яз. англ. (дата обращения 23.11.2013).
15. Free high-quality BC7 GPU texture compressor [Электронный ресурс]. Режим доступа: http://gpuscience.com/software/free-high-quality-bc7-gpu-texture-compressor/, свободный. Яз. англ. (дата обращения 23.11.2013).
16. DirectXTex texture processing library [Электронный ресурс]. Режим доступа: http://directxtex.codeplex.com/, свободный. Яз. англ. (дата обращения 23.11.2013).
17. Krajcevski P., Lake A., Manocha D. FasTC: Accelerated Fixed-Rate Texture Encoding // Proc. of the ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games (I3D'13). NY: ACM, 2013. P. 137-144.
18. CUDA Parallel Computing Platform [Электронный ресурс]. Режим доступа: http://www.nvidia.com/object/cuda_home_new.html, свободный. Яз. англ. (дата обращения 03.12.2013).
19. OpenCL - The open standart for parallel programming of heterogeneous systems [Электронный ресурс]. Режим доступа: http://www.khronos.org/opencl/, свободный. Яз. англ. (дата обращения 03.12.2013).
Перминов Илья Валентинович - аспирант, Санкт-Петербургский национальный исследовательский
университет информационных технологий, механики и оптики, Санкт-Петербург, Россия, i.am.perminov@gmail.com
Палташев Тимур Турсунович - доктор технических наук, профессор, зав. кафедрой; Санкт-
Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург, Россия; профессор, Северо-Западный политехнический университет, Фримонт, Калифорния, США; начальник отдела моделирования и исследования графических архитектур, Advanced Micro Devices (AMD), timpal@mail.npu.edu
postgraduate, Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg, Russia, i.am .perminov@gmail.com
D.Sc., Professor, Department head, Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg, Russia; Professor, Northwestern Polytechnic University, Fremont, California, USA; Senior Manager, Graphics Architecture Research and Modeling, Advanced Micro Devices (AMD), timpal@mail.npu.edu
Ilya Perminov Timour Paltashev
УДК 621.397.3
ПРЕДШЕСТВУЮЩАЯ И ПОСЛЕДУЮЩАЯ ФИЛЬТРАЦИЯ ШУМОВ В АЛГОРИТМАХ ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ1
В. С. Сизикова' ь, Р. А. Экземпляровь
а Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Россия, Санкт-Петербург, sizikov2000@mail.ru
ь Санкт-Петербургский государственный политехнический университет, Санкт-Петербург, Россия, rexe@yandex.ru Рассмотрено зашумление смазанных или (и) дефокусированных изображений. Определяется последовательность фильтрации шумов на таких изображениях - до устранения смазывания/дефокусирования или после него. Введены понятия предшествующей и последующей фильтрации шумов. Устранение смазывания/дефокусирования ряда изображений выполнено методами параметрической фильтрации Винера и регуляризации Тихонова, а фильтрация шумов - методами медианной фильтрации Тьюки и адаптивной фильтрации Винера. На репрезентативных выборках проведена экспериментальная проверка, получены количественные оценки погрешностей восстановления изображений при различных типах шумов и очередностей их фильтрации. Показано, что методы параметрической фильтрации Винера и регуляризации Тихонова достаточно эффективно устраняют смазывание/дефокусирование, но недостаточно фильтруют шумы. Эффективность фильтрации шумов повышается при добавлении таких методов, как медианный фильтр Тьюки, адаптивный фильтр Винера. При этом для импульсного шума важен порядок (очередность) его фильтрации (до или после устранения смазывания/дефокусирования в зависимости от помехо-сигнальной ситуации), а для гауссова шума порядок несущественен. Показано, что импульсный шум лучше фильтруется медианной, ранговой, адаптивной медианной фильтрацией, а гауссовый шум - адаптивной винеровской фильтрацией, среднеарифметическим фильтром. Дается объяснение этим эффектам.
Ключевые слова: зашумленное смазанное или дефокусированное изображение, предшествующая и последующая фильтрация шума, устранение смазывания и дефокусирования.
1 Работа выполнена при поддержке РФФИ (грант N° 13-08-00442).
112 Научно-технический вестник информационных технологий, механики и оптики
12 Scientific and Technical Journal of Information Technologies, Mechanics and Optics
2014, №1 (89)
PRELIMINARY AND SUBSEQUENT FILTERING OF NOISE IN IMAGE RESTORATION ALGORITHMS1
V. Sizikovc' d, R. Ekzemplyarovd
c Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg, Russia, sizikov2000@mail.ru
d Saint Petersburg State Polytechnic University, Saint Petersburg, Russia, rexe@yandex.ru
The paper deals with noising of smeared or/and defocused images. The sequence of the noise filtering on such images is stated before elimination of the smearing/defocusing or after it. The concepts of preliminary and subsequent filtering of noise are brought in. The smearing/defocusing of a series of images is eliminated by the methods of parametric Wiener filtering and Tikhonov regularization, while the noise is filtered out by the methods of median Tuckey filtering and adaptive Wiener filtering. These questions are considered by carrying out experimental testing with obtaining numerical estimates of image restoration errors for different noise types and sequence of their filtering on representative samples. The methods of parametric Wiener filtering and Tikhonov regularization are shown to eliminate the smearing/defocusing effectively enough but noise filtering is not effective. Effectiveness of noise filtering is raised by adding such methods as the median Tuckey filter, the adaptive Wiener filter. Furthermore, an order (sequence) of filtering is important for impulse noise (before or after elimination of the smearing/defocusing depending on noise-signal situation), and for Gaussian noise the order is unessential. It is shown that an impulse noise is filtered better by the median, order, adaptive median filtering, and the Gaussian noise - by adaptive Wiener filtering, average filtering. An explanation for these effects is given.
Keywords: noisy smeared or defocused image, preliminary and subsequent filtering of noise, elimination of smearing and defocusing.
Введение
В работе рассматриваются вопросы, связанные с зашумлением смазанных и (или) дефокусирован-ных изображений. Такие вопросы уже анализировались в работах [1-9] и др. В настоящей работе акцент ставится на главном вопросе: каков наиболее эффективный порядок (очередность) фильтрации шума (до или после устранения смазывания/дефокусирования) [10, 11]. Рассматриваются также сопутствующие вопросы:
- в какой мере метод регуляризации Тихонова (МРТ), метод фильтрации Винера (МФВ), метод параметрической фильтрации Винера (МПФВ) и др. [2, 3, 5-9] не только устраняют смазывание или дефо-кусирование, но и фильтруют шумы;
- насколько улучшают фильтрацию шумов медианный фильтр Тьюки (МФТ), адаптивный фильтр Винера (АФВ) и др. [1, 3-9];
- какова эффективность перечисленных методов в зависимости от типа шума (импульсный, гауссовый и др.) [1, 3-5, 7, 11].
Введем понятия пре- и пост-фильтрации - предшествующей и последующей фильтрации шума, выполняемой до устранения смазывания/дефокусирования и после него соответственно (будем использовать также сокращения pre и post). Использование пре- и пост-фильтрации (при условии правильного выбора параметров фильтрации) должно уменьшить уровень случайной погрешности восстановления, что позволит уменьшить значение параметра регуляризации в МРТ и МПФВ, а это, в свою очередь, уменьшит систематическую (детерминированную) погрешность восстановления и в целом уменьшит среднеквадратическое отклонение (СКО) восстановленного изображения от точного.
Эти вопросы рассматриваются путем проведения экспериментальной проверки с получением количественных оценок погрешности восстановления изображений при различных типах шумов и очеред-ностей их фильтрации на репрезентативных выборках.
Качественный анализ
Сначала обсудим вопрос о фильтрации шумов на качественном уровне. Если изображение смазалось за счет (равномерного и прямолинейного) движения объекта (самолета, автомобиля [9, 12] и т.д.), а в среде между объектом и неподвижной камерой был шум (туман, пыль, капли, снежинки и т.п.), то на изображении объект будет смазанным, а шум - неподвижным (см. дальше рис. 1, б). В этом случае представляется «естественным и очевидным» выполнить сначала предшествующую фильтрацию шума (посредством МФТ, АФВ и др.), а затем устранить смазывание (с помощью МПФВ, МРТ и др.).
Если изображение объекта дефокусировано вместе с шумом (например, наблюдение в микроскоп зашумленных бактерий, см. рис. 3, б), то кажется «естественным» сначала устранить дефокусирование, а затем выполнить последующую фильтрацию шума.
Если смазывание изображения объекта произошло из-за сдвига камеры (например, рассогласования вращения телескопа и небесной сферы), а между объектом и камерой имелся импульсный шум (пыль, капли влаги и т.п.), то будут смазанными и объект, и шум. В этом случае представляется «естест-
1 The work was done with supporting from the Russian Foundation for Basic Research (grant № 13-08-00442)
венным» сначала устранить смазывание объекта и шума, а затем выполнить последующую фильтрацию шума.
Если изображение объекта смазалось за счет сдвига камеры (или дефокусировалось), а импульсный (аппаратурный) шум возник в результате сбоя в работе сенсоров ПЗС-матрицы, то изображение объекта будет смазанным (или дефокусированным), а импульсный шум представлен в виде так называемых «битых пикселов» [9, С. 130, 173]. В этом случае «естественно» сначала выполнить предшествующую фильтрацию шума, а затем устранить смазывание (или дефокусирование) изображения объекта.
Могут иметь место и иные ситуации с зашумлением, смазыванием или (и) дефокусированием [5, 9], причем шум может быть различных типов (импульсный, гауссовый, равномерный и др.), изображение (а также шум) - полутоновым (серым) или цветным, а искажение - более сложным, чем смазывание или дефокусирование [5, 13, 14].
Заметим, что порядок (очередность) фильтрации шума в вышеописанных ситуациях может казаться «естественным и очевидным», однако нижеприведенные результаты говорят о том, что отмеченный порядок не всегда является оптимальным (ср. [11]).
Основные математические соотношения
Прямая задача моделирования искажений изображений и обратная задача восстановления изображений описываются соотношениями [3, 5-7, 9-14]:
да
J h(x -I) wy (|) d| = gy (x), (1)
—да
да да
J J h(x — |,y — q)w(|, q) d| dq = g(x, y), (2)
—да —да
где h - функция рассеяния точки (ФРТ, PSF, аппаратная функция - АФ), обычно (но не всегда) пространственно-инвариантная (разностная), w и g - распределение интенсивности по неискаженному и искаженному изображениям соответственно. В (1) оси x и | направлены вдоль смаза, а y - перпендикулярно ему (y играет роль параметра).
Полагаем, что вместо точных g и h известны g и h такие, что || g — g || < 8, \ \h — h || < С , где 8 и С - оценки погрешностей (шумов) g и h.
Если рассматривается обратная задача, то соотношения (1) и (2) являются интегральными уравнениями (ИУ) Фредгольма I рода. Их решение есть некорректная задача [15-17], поэтому мы будем использовать для их решения устойчивые методы - МРТ и МПФВ [5-7, 9, 12, 15-17], а решения другими методами (Люси-Ричардсона, «слепой» деконволюции, итераций и т.д.), полученные в работах [1, 5, 13] и др., также учтем.
Решение ИУ типа свертки (1) методом одномерного преобразования Фурье (ПФ) с регуляризацией Тихонова имеет вид (при каждом y) [6, 7, 9, 12, 16, 17]
(I) = -U wa (Ю) d ю ,
2л —
(3)
где
Wa (ю) = H УG(w) , H(ю) = J h(x) e'^dx, G(ra) = J g(x) e'^dx (4)
\H (ю)| +a Q(ro)
- спектры (преобразования Фурье), a > 0 - параметр регуляризации, Q(ra) = ю2p , p > 0 - порядок регуляризации.
В работах [2, 6, 7, 18] предложен и развит другой метод решения ИУ (1), объединяющий МРТ и МФВ, который мы запишем в виде
*aG) = 2-J W»^ ¿ю , W>) = --, H (Ю) 0(Ю) 2-, (5)
2--» H(ю)| +a[1 + 9 \Wa (ю) |2] • Q(a)
где 9 = ^2 /52 . Такая модификация учитывает характеристики шумов 8 и ^ уже на этапе построения
регуляризованного решения (а не только при выборе a). Спектр W (ю) можно найти, решая нелинейное
уравнение в (5) итеративно.
В данной работе использован также МПФВ, в котором [5, 9, 11]
w, © = 2-J WK (ю) e^ dю , WK (ю) = H (")G(ю) , (6)
2-i |H (ю)|2 + K
где K > 0 - параметр, дающий оценку NSR - отношению шум/сигнал по мощности.
wc
ИУ (1) может быть решено также методом квадратур с регуляризацией Тихонова (МКРТ) [15-17, 19], согласно которому ИУ (1) при каждом значении y приводится к системе линейных алгебраических уравнений (СЛАУ): Awy = gy, где A - матрица, wy и gy - вектора, а решение СЛАУ с помощью МКРТ имеет вид (при каждом y)
way = (aI + ATA)-1 ATgy, (7)
где I - единичная матрица (или LLT, где L - дискретный лапласиан [16, 17]).
Что касается задачи восстановления дефокусированных изображений, то она описывается двумерным ИУ (2) и ее решение wa методом 2-мерного ПФ с регуляризацией Тихонова есть обобщение формул (3)-(5) на 2-мерный случай [5-7, 9, 16, 17], а решение wK (£, с помощью МПФВ есть обобщение формулы (6) [5, 9].
В данной работе рассмотрены два типа шумов - биполярный импульсный (типа 'salt & pepper', согласно обозначениям MatLab [4]) и гауссовый, а также специальные фильтры для фильтрации шумов -медианный фильтр Тьюки (МФТ) и адаптивный фильтр Винера (АФВ) [1, 3-7]. Что касается других типов шумов (равномерный, мультипликативный) и методов их фильтрации (адаптивный медианный фильтр Гонсалеса, ранговый фильтр и др.), то результаты их использования в различных публикациях [4, 5] также учтены в работе.
Остановимся на вопросе оценки обработки изображений. Качественно оценивать искаженные и восстановленные изображения будем визуально (такой способ при всей его субъективности часто бывает весьма эффективен). А количественно степень искажения и результат восстановления изображения будем оценивать с помощью относительного СКО изображения w от точного изображения w [9, 11, 12]:
— - —
III,
V
£ £( — - -ß j=i >=i
»2
£ £—
\j=i >=i
(8)
Под ММ будем подразумевать искаженное (смазанное, дефокусированное, зашумленное) изображение g, а также восстановленные изображения мК , wa и др.
Вместо (8) можно использовать выражения [1, 9, 11]: стге1 = \\М-МЦ^!\\м\^, а=\\тМ-ст=| \ММ - М\^ , PSNR = 101g {Мшх • т • п^\ММ - М \ , а также коэффициент эффективности [6, 18] Еа = \ \ ма ( - М \ \I \ \ wa— М \ \ и др. Однако в данной работе мы будем пользоваться удобным выражением
(8) - типа отношения шум/сигнал.
Заметим, что приведенные выражения для аге1, а и Еа можно использовать лишь тогда, когда изображение М известно, т.е. при обработке модельных изображений. При обработке же реальных изображений (когда истинное изображение М неизвестно) следует использовать способы выбора параметра регуляризации а : обобщенный принцип невязки [15, 17, 19], критерий L-кривой [16, 20], метод перекрестной значимости [15], алгоритм, основанный на критерии оптимальности [6], и др. Однако в этих способах делается выбор а, но не всегда делается оценка погрешности решения при конечных 8 и С (в некоторых способах делается асимптотическая оценка погрешности решения). В способе вычислительных экспериментов (другие названия - способ эталонных, или модельных, примеров, способ псевдообратного оператора) [17, С. 239, 246; 21] выполняется выбор а и оценка погрешности решения (без знания М ), однако требуется составление и обработка модельного изображения, «близкого» к искомому.
В данной работе мы намеренно не используем какой-либо способ выбора а , стремясь показать потенциальные возможности фильтрации шумов на смазанных/дефокусированных изображениях. В последующих публикациях будут использованы некоторые способы выбора а (а также К).
Результаты численных экспериментов
Ниже приведены результаты обработки изображений некоторых объектов.
Смазанное изображение и несмазанный шум. На рис. 1, а, приведено истинное (неискаженное) полутоновое изображение подвижного объекта (самолета) p1ane.bmp 510*640. На рис. 1, б, - изображение этого объекта, смазанное (величина смаза А = 20 пкс, угол смаза 0 = 0) и зашумленное несмазанным импульсным шумом (доля зашумленных пикселов d = 0,02), при этом добавлено размытие краев (для уменьшения эффекта Гиббса [9]). Смазывание устранялось с помощью МПФВ при различных К (без размытия краев) согласно (6) и МКРТ (с размытием) при различных а согласно (7). Фильтрация шума
а , =
выполнялась посредством МФТ и АФВ с различными масками, причем фильтрация шума выполнялась как предшествующая (pre), так и последующая (post).
х, Г
/
9
Рис. 1. Неискаженное (истинное) изображение самолета (а); изображение, смазанное с размытием краев и зашумленное несмазанным импульсным шумом (б); изображение после предшествующей МФТ с маской 3*3 (а = 0,1045 без размытия краев и а = 0,0573 с размытием) (в); изображение после
устранения смазывания с помощью МКРТ (а = 10 2,5, а = 0,0352) и МПФВ (К = 10 25, а = 0,0353) (г) Следуя методике [6] (а также [18]), определялись характеристики случайной величины а ге1 соглас-
но (8) путем формирования выборочной совокупности из значений а^чK) и а^ча), где s = 1,2,...,S -номер реализации, а S - объем выборки (S = 30). Значения а^(K) и а^Ча) вычислялись по результатам восстановления изображения при K = Kopt и а = аopt. Изображение смазывалось при А = 20 . Затем на смазанное изображение накладывался несмазанный импульсный шум с долей зашумления d е [0,1]. Выполнялось S реализаций шума, причем все реализации имели одинаковые статистические характеристики - нулевое среднее и долю зашумления d (играющую роль СКО). Что касается зашумленности АФ h, то при решении прямой задачи искажения изображения величина смаза полагалась равной А, а при решении обратной задачи восстановления изображения смаз полагался равным А, т.е. в АФ вносилась детерминированная (неслучайная) погрешность ^ = | А - А |.
Вычислялись min аrel, med аrel и max аrel по выборочным совокупностям {а^(K)} и {а^(а)}
при разных d и А. Результаты с маской 3 х 3 представлены в табл. 1.
Выполнялись также вычисления с масками 1 х 1, 5 х 5, 7 х 7 и 9 х 9 (табл. 2, 3). Табл. 1 показывает:
1. при увеличении d (доли зашумленности изображения) погрешность а растет;
2. при увеличении А (а значит, погрешности оператора ^) погрешность а монотонно растет при использовании МФТ, а при использовании АФВ погрешность а ведет себя несистематически;
3. погрешность а при использовании МФТ существенно меньше (в 2-3 раза), чем при АФВ.
На рис. 2 представлены полученные зависимости относительных погрешностей восстановления изображения аrel(K) = med аrel(K) (под w в (8) подразумевается wK согласно (6)) и аrel(a) = med аrel(a) (под w подразумевается wa согласно (7)) для случая, когда фильтрация импульсного шума выполнялась МФТ (с помощью m-функции medfilt2.m [4]). По минимумам кривых аrel(K) и аrel(a) определялись Kopt и аopt, а также а^Kopt) и а^аopt) - значения, при которых изображение восстанавливается с
б
в
г
наименьшей погрешностью согласно количественному критерию (хотя по визуальному критерию «наилучшему» восстановлению могут соответствовать несколько другие значения К . и а 4).
Смазанное изображение p1ane.bmp, несмазанный импульсный шум МПФВ МКРТ
A = A = 20 A = 22 A = A = 20 A = 22
Медианный фильтр Тьюки Предшествующая фильтрация шума d = 0,02 min a med a max a 0,0344 0,0352 0,0360 0,0421 0,0425 0,0430 0,0352 0,0359 0,0367 0,0502 0,0504 0,0506
d = 0,1 min a med a max a 0,0473 0,0490 0,0506 0,0506 0,0522 0,0538 0,0478 0,0506 0,0557 0,0573 0,0580 0,0593
Последующая фильтрация шума d = 0,02 min a med a max a 0,0726 0,0750 0,0769 0,0755 0,0768 0,0782 0,0793 0,0807 0,0819 0,0828 0,0834 0,0842
d = 0,1 min a med a max a 0,1430 0,1455 0,1480 0,1447 0,1456 0,1468 0,1478 0,1500 0,1540 0,1490 0,1504 0,1525
Адаптивный фильтр Винера Предшествующая фильтрация шума d = 0,02 min a med a max a 0,1131 0,1145 0,1165 0,1220 0,1233 0,1246 0,1200 0,1221 0,1230 0,1250 0,1257 0,1266
d = 0,1 min a med a max a 0,1646 0,1668 0,1680 0,1627 0,1640 0,1659 0,1686 0,1701 0,1732 0,1677 0,1686 0,1699
Последующая фильтрация шума d = 0,02 min a med a max a 0,0997 0,1016 0,1027 0,0990 0,1002 0,1015 0,1083 0,1103 0,1122 0,1058 0,1067 0,1076
d = 0,1 min a med a max a 0,1556 0,1570 0,1586 0,1542 0,1560 0,1573 0,1572 0,1590 0,1625 0,1570 0,1580 0,1594
Таблица 1. Значения min ст = min are
med ст = med are1 и max a = max aœ1
Как отмечено в [7], при уменьшении а (левые ветви графиков на рис. 2, а также на рис. 4, см. дальше) увеличивается случайная ошибка регуляризованного изображения , но уменьшается систематическая ошибка (а также невязка 11 - £ ||), и, наоборот, при увеличении а (правые ветви графиков на рис. 2) уменьшается случайная ошибка (повышается гладкость решения ), но увеличивается систематическая ошибка (и невязка). Необходим такой алгоритм восстановления и такое (умеренное) а, чтобы как систематическая, так и случайная погрешности в восстановленном изображении были близки к минимальным. В работе [7] изложен такой алгоритм (см. (5)) и способ выбора а, основанный на критерии оптимальности, а также комбинированный фильтр шума (который может содержать импульсный и низкоамплитудный шумы). Это - последовательное соединение медианного фильтра (удаление импульсного шума) и модификации интервального фильтра скользящего среднего (удаление низкоамплитудного шума с сохранением контрастных деталей изображения).
Однако в настоящей работе выбран другой путь, а именно, при восстановлении изображения для выбора а (а также К) использован критерий минимума погрешности (8), а при фильтрации шумов использованы МФТ и АФВ, причем выполнены пре- и пост-фильтрации. В последующих публикациях будут использованы некоторые способы выбора а и комбинированный фильтр.
Рис. 2 показывает следующее: - величина погрешности стге1(Кор4) и стге1(аор4) заметно зависит от очередности выполнения фильтрации шума (пре- или пост-фильтрация), а также от размера маски медианного фильтра;
- в данном примере пре-фильтрация импульсного шума при умеренной маске 3*3 ведет к погрешности а , примерно в 2,1-2,3 раза меньшей, чем пост-фильтрация, что согласуется с вышеприведенным качественным анализом;
- МКРТ дает примерно такую же погрешность аге1, как и МПФВ.
0,3
0,2
о
£
0,1
ЗргеТ Зрге \V
-6 -5 -4 -3 -2 -1 0
lg K, lg а
Рис. 2. Погрешность восстановления изображения самолета: arel(K) - с помощью МПФВ (W) и arel(a) - с помощью МКРТ (T) с использованием предшествующей (pre) и последующей (post) фильтрации импульсного шума посредством МФТ с масками 1^1, 3*3 и 9*9
При маске 1*1 медианная фильтрация, по существу, не выполняется, поэтому кривая 1W на рис. 2 аналогична кривым lpreW и lWpost, а 1T аналогична lpreT и lTpost.
На рис. 1, в, приведен результат пре-фильтрации шума посредством МФТ, а на рис. 1, г, - результат устранения смазывания с помощью МКРТ (МПФВ дает близкий результат). Рис. 1, г, показывает, что удалось не просто отфильтровать шум и устранить смазывание, но и восстановить опознавательные знаки на самолете. Данный пример был промоделирован также с использованием АФВ (с помощью m-функции wiener2.m [4]) применительно к фильтрации как импульсного, так и гауссова шума. В табл. 2 приведены результаты для импульсного шума, а в табл. 3 - для гауссова шума.
Смазанное изображение plane.bmp (А = 20, 0 = 0), несмазанный импульсный шум (d = 0,02) Маска 1x1 Маска 3x3 Маска 9x9
МПФВ МКРТ МПФВ МКРТ МПФВ МКРТ
Медианный фильтр Тьюки Пре-фильтрация шума K = 101 а = 0,1221 а = 101 а = 0,1324 K = 102'5 а = 0,0353 а = 10-25 а = 0,0352 K = 102'2 а = 0,0534 а = 10-22 а = 0,0529
Пост-фильтрация шума K = 101 а = 0,1273 а = 101 а = 0,1322 K = 10-1,5 а = 0,0752 а = 1015 а = 0,0814 K = 102 а = 0,0590 а = 10-2 а = 0,0604
Адаптивный фильтр Винера Пре-фильтрация шума K = 101 а = 0,1273 а = 101 а = 0,1322 K = 10-11 а = 0,1166 а = 1011 а = 0,1221 K = 10-1,5 а = 0,0843 а = 1015 а = 0,0932
Пост-фильтрация шума K = 101 а = 0,1273 а = 101 а = 0,1322 K = 10-1,3 а = 0,1014 а = 101 а = 0,1204 K = 10-1,5 а = 0,0783 а = 10-1'4 а = 0,0841
Таблица 2. Значения К = Kopt, a = ard(Kopt), a = aopt и a = ard(aopt) Табл. 2 показывает, что МКРТ сам не только устраняет смазывание изображения, но и подавляет шум ( a = 101, arel = 0,1322 при маске 1х1), однако делает это лишь частично (МПФВ дает близкий результат). Лучше результат получается, когда сначала выполняется предшествующий МФТ, причем с большим размером маски, а затем устраняется смазывание ( a = К = 102'5, a rel = 0,0352 при маске 3х3). Табл. 2 показывает также, что если шум импульсный, то МФТ фильтрует его заметно лучше, чем АФВ (а
также среднеарифметический фильтр): погрешность а примерно в 3,4 раза меньше в случае пре-фильтрации и маски 3*3 и в 1,5-1,7 раза меньше для маски 9*9.
В табл. 3 приведены аналогичные результаты для случая гауссова 1%-го шума. Табл. 3 показывает, что погрешность а фильтрации гауссова шума посредством АФВ чуть меньше (примерно в 1,05-1,4 раза в данном примере), чем МФТ.
Смазанное изображение plane.bmp (A = 20, 9 = 0), несмазанный 1%-ый гауссовый шум Маска 1x1 Маска 3x3 Маска 9x9
МПФВ МКРТ МПФВ МКРТ МПФВ МКРТ
Медианный фильтр Тьюки Пре-фильтрация шума K = 10-2 ст = 0,0445 а = 10"1'9 ст = 0,0464 K = 10-2,2 ст = 0,0405 а = 10-21 ст = 0,0410 K = 10-2,3 ст = 0,0542 а = 10-2'3 ст = 0,0530
Пост-фильтрация шума K = 10-2 ст = 0,0445 а = 10"1'9 ст = 0,0464 K = 10-2,3 ст = 0,0382 а = 10-2,2 ст = 0,0387 K = 10-2'6 ст = 0,0509 а = 10-2,5 ст = 0,0516
Адаптивный фильтр Винера Пре-фильтрация шума K = 10-2 ст = 0,0445 а = 10"1'9 ст = 0,0464 K = 10-2'4 ст = 0,0387 а = 10-2,3 ст = 0,0380 K = 10-2'4 ст = 0,0462 а = 10-2,2 ст = 0,0473
Пост-фильтрация шума K = 10-2 ст = 0,0445 а = 10-1'9 ст = 0,0464 K = 10-2,3 ст = 0,0355 а = 10-2,3 ст = 0,0356 K = 10-2,5 ст = 0,0358 а = 10-2,5 ст = 0,0369
Таблица 3. Значения К = Кор4, а = ап1(К0!Л), а = аор4 и а = аГе1(аор4)
Однако табл. 2, 3 демонстрируют и непредсказуемый результат: если шум - несмазанный импульсный и используется АФВ (см. табл. 2), то пост-фильтрация шума дает практически такую же погрешность а (лишь в 1,1 раза меньшую для маски 3*3 в данном примере), как и пре-фильтрация. Такой же эффект имеет место и в случае несмазанного гауссова шума и использования как МФТ, так и АФВ (погрешность пост-фильтрации лишь в 1,05-1,1 раза меньше, чем погрешность пре-фильтрации в случае маски 3*3, см. табл. 3). Это можно объяснить различием свойств импульсного и гауссова шумов, а также тем, что АФВ - линейный фильтр (для него порядок фильтрации неважен), а МФТ - нелинейный.
Дефокусированное изображение и дефокусированный шум. На рис. 3, а, представлено неискаженное изображение бактерий, наблюдаемых в микроскоп.
На рис. 3, б, показано дефокусированное изображение (ФРТ - в виде однородного диска радиуса г = 5 пкс), зашумленное импульсным шумом при d = 0,02 (шум также дефокусирован и поэтому на рис. 3, б, невидим). Было добавлено размытие краев (темная рамка). Далее устранено дефокусирование с помощью метода двумерного ПФ с регуляризацией Тихонова (обобщение формул (3), (4)), а также МПФВ (обобщение формулы (6)) для ряда значений параметров а и К и затем при каждом а и К выполнена пост-фильтрация шума посредством МФТ с масками 1*1, 3*3, 9*9.
На рис. 4 представлены полученные зависимости аге1( К) и аге1(а) - относительные погрешности восстановления изображения бактерий.
По минимумам этих зависимостей определены оптимальные значения К = Кор4, а = аге1(Кор4),
а = аор4 и а = аге1(аор4): при маске 1*1 имеем К = 102, а = 0,0567, а = 104'3, а = 0,0771; при маске 3*3 имеем К = 10~3'8, а = 0,0458, а = 10~8, а= 0,0117; при маске 9*9 имеем К = 10~3'6, а = 0,0763, а = 10~8, а = 0,0696.
На рис. 3, в, дано изображение, восстановленное методом двумерного ПФ с регуляризацией Тихонова при а = 10"8, а = 0,1479 , а на рис. 3, г, - изображение, полученное пост-фильтрацией импульсного шума посредством МФТ с маской 3*3 (а = 0,0117). Восстановление изображения с помощью МПФВ хуже: погрешность а = 0,0458, т.е. в 3,9 раза больше, чем методом Тихонова.
Смазанное изображение и смазанный шум. Было обработано также изображение астрономического объекта - галактики М83 (файл m83.jpg 378*400*3, цветное изображение, переведенное в полутоновое 378*400). Особенностью данного изображения является наличие мелких деталей - звезд, что предъявляет повышенные требования к обработке изображения. Изображение было смазано и зашумлено смазанным импульсным шумом (смаз А = 10 пкс, угол смаза 9 = 31° , доля зашумления d = 0,02). Такое смазывание может возникнуть в случае рассогласования вращения телескопа и небесной сферы при длительной экспозиции, а зашумление может возникнуть из-за наличия пыли и капель в атмосфере Земли. Звезды и импульсный шум превратились в штрихи, и по ним представилась возможность оценить параметры смазывания А и 9, а значит, ФРТ h.
X, с
Рис. 3. Неискаженное изображение бактерий (а); изображение, зашумленное импульсным шумом и дефокусированное вместе с шумом (б); изображение (б), рефокусированное методом 2-мерного ПФ с регуляризацией Тихонова (в); изображение (в) после последующей МФТ с маской 3*3 (а = 0,0117 ) (г)
0
-8 - 7
-6
-5
-4
-3
-2
-1
0
lg К, lg а
Рис. 4. Погрешность восстановления искаженного изображения бактерий: arel(K) - методом ПФВ (W)
и arei(a) - методом КРТ (T) с использованием последующей (post) фильтрации импульсного шума посредством МФТ с масками 1*1, 3*3 и 9*9
Для устранения смазывания изображения был использован МПФВ, а также МКРТ, и при каждом значении параметров K и а выполнена пост-фильтрация посредством МФТ с маской 1*1, 3*3, 9*9 и др. По минимумам кривых arei(K) и a^(а) получены значения K0pt, arel(K0pt), аopt и аге1(а0pt). При K0pt и а восстановились галактика, звезды и импульсы: с маской 3*3 are1( K) = 0,106, are1(a ) = 0,108.
в
г
Для репрезентативности исследования были обработаны также другие изображения: полутоновые girl.jpg, cameraman.tif, pout.tif (портретные изображения), moon.tif (астрономический объект), coins.png, eight.tif (монеты), mrt-1-02.bmp (томограмма), textp.bmp, textn.bmp (тексты), а также цветные flower.bmp, pears.png, peppers.png, onion.png, gantrycrane.png, football.jpg, calculator.png (предметы), saturn.png (астрономический объект), kids.tif (портрет), auto.jpg (подвижный объект), board.tif (микросхема) - модельные изображения (фантомы), а также pair.jpg, rehoitus.jpg - реальные (натурные) изображения [9-12, 22].
Выводы
На основе полученных результатов, а также результатов различных публикаций ([1, 314, 18, 20, 22] и др.) можно сделать следующие выводы в отношении задачи фильтрации шумов на искаженных (смазанных или дефокусированных) изображениях.
1. Если устранять смазывание/дефокусирование, а также фильтровать шум на изображении лишь каким-то одним методом (параметрической фильтрации Винера, регуляризации Тихонова, максимального правдоподобия Люси-Ричардсона, «слепой» деконволюции и т.п. [1, 5, 6-9]), то этого может оказаться недостаточно для получения наилучшего результата (см. рис. 3, в, а также рис. 2 и 4 и табл. 2 и 3 с маской 1x1). Более точная обработка может получиться, если указанные методы использовать в основном для устранения смазывания/дефокусирования, а для фильтрации шума дополнительно использовать такие специальные методы, как медианный фильтр Тьюки, адаптивный фильтр Винера, адаптивный медианный фильтр Гонсалеса, комбинированный фильтр Воскобойникова, среднеарифметический фильтр, ранговая фильтрация и т.п. [1, 3-5, 7, 8] (см. рис. 1, г, и рис. 3, г).
2. Погрешность обработки ст зависит от очередности фильтрации шума на смазанном/дефокусирован-ном изображении - до устранения смазывания/дефокусирования (пре-фильтрация) или после него (пост-фильтрация). Например, если на смазанное изображение наложен несмазанный импульсный шум (рис. 1, б), то нужно сначала выполнить пре-фильтрацию шума медианным фильтром (рис. 1, в), а потом устранить смазывание (рис. 1, г). Если же эти операции поменять местами (смазывание -пост-фильтрация), то это может привести к заметному увеличению погрешности ст (см. табл. 2, медианный фильтр, маска 3x3, увеличение в 2,1-2,3 раза).
3. Если импульсный несмазанный шум фильтровать адаптивным фильтром Винера, то пост-фильтрация шума дает чуть меньшую погрешность ст , чем пре-фильтрация (табл. 2). Такой же результат получается для гауссова несмазанного шума (для любого фильтра, см. табл. 3). Это - несколько неожиданный результат, не согласующийся с вышеприведенным качественным анализом. Он связан, во-первых, с различием свойств импульсного и гауссова шумов: биполярный импульсный шум типа 'salt & pepper' имеет интенсивности лишь 0 и 255 (импульсы), присутствует лишь в d-ой доле (de[0, 1]) точек изображения и замещает интенсивности на изображении, а гауссовый шум имеет различные интенсивности, присутствует в каждой точке изображения и добавляется к изображению. Во-вторых, медианная и винеровская адаптивная фильтрации имеют также различия: в медианной фильтрации практически исключаются импульсы, а в винеровской адаптивной фильтрации импульсы с большими значениями сильно влияют на результат фильтрации. В-третьих, медианная фильтрация - это нелинейная фильтрация, и для нее важен порядок операций, а винеровская адаптивная фильтрация - линейная фильтрация, и порядок несущественен.
4. Импульсный шум лучше фильтруется медианным фильтром Тьюки, чем адаптивным фильтром Винера или среднеарифметическим фильтром, а гауссовый шум, наоборот, лучше фильтруется адаптивным фильтром Винера, чем медианным фильтром (табл. 1-3).
Эти выводы подтвердились обработкой иных изображений: girl.jpg, cameraman.tif, pout.tif, moon.tif, coins.png, eight.tif, mrt-1-02.bmp, textp.bmp, textn.bmp, flower.bmp, pears.png, peppers.png, onion.png, gantrycrane.png, football.jpg, calculator.png, saturn.png, kids.tif, auto.jpg, board.tif, pair.jpg, rehoitus.jpg и др.
Заключение
В работе рассмотрена фильтрация шумов на смазанных/дефокусированных изображениях. Показано следующее. Методы параметрической фильтрации Винера и регуляризации Тихонова достаточно эффективно устраняют смазывание/дефокусирование, но недостаточно фильтруют шумы. Эффективность фильтрации шумов повышается, если добавить такие методы, как медианная фильтрация, адаптивная фильтрация Винера и т.п. При этом для импульсного шума важен порядок (очередность) его фильтрации (до или после устранения смазывания/дефокусирования в зависимости от помехо-сигнальной ситуации), а для гауссова шума порядок несущественен. Кроме того, показано, что импульсный шум лучше фильтруется медианной, ранговой, адаптивной медианной фильтрацией и т.п, а гауссовый шум - адаптивной винеровской фильтрацией, среднеарифметическим фильтром и т.п. Дается объяснение этим эффектам.
Авторы благодарят Ю.Е. Воскобойникова за полезные обсуждения.
Литература
1. Lim J.S. Two-Dimensional Signal and Image Processing. Englewood Cliffs, NJ: Prentice Hall PTR, 1990. 694 p.
2. Mesarovic V.Z., Galatsanos N.P., Katsaggelos A.K. Regularized constrained total least squares image restoration // IEEE Trans. Image Processing. 1995. V. 4. N 8. P. 1096-1108.
3. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах. Новосибирск: Изд-во НГТУ, 2002. 352 с.
4. Дьяконов В., Абраменкова И. MATLAB. Обработка сигналов и изображений: Специальный справочник. СПб: Питер, 2002. 608 с.
5. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2006. 1072 с.
6. Воскобойников Ю.Е., Литасов В.А. Устойчивый алгоритм восстановления изображения при неточно заданной аппаратной функции // Автометрия. 2006. Т. 42. № 6. С. 3-15.
7. Воскобойников Ю.Е. Комбинированный нелинейный алгоритм восстановления контрастных изображений при неточно заданной аппаратной функции // Автометрия. 2007. Т. 43. № 6. С. 3-16.
8. Яне Б. Цифровая обработка изображений. М.: Техносфера, 2007. 584 с.
9. Сизиков В.С. Обратные прикладные задачи и MatLab. СПб: Лань, 2011. 256 с.
10. Экземпляров Р.А., Сизиков В.С. Устранение смазывания и дефокусирования изображений с предварительной фильтрацией шумов в рамках системы MatLab // Материалы XXXIX Международной конференции «Неделя науки СПбГПУ». СПб: Изд-во Политехн. ун-та, 2010. Ч. XIII. С. 223-225.
11. Сизиков В.С., Экземпляров Р.А. Последовательность операций при фильтрации шумов на искаженных изображениях // Оптический журнал. 2013. Т. 80. № 1. С. 39-48.
12. Petrov Yu.P., Sizikov V.S. Well-Posed, Ill-Posed, and Intermediate Problems with Applications. LeidenBoston: VSP, 2005. 234 p.
13. Горшков А.В. Улучшение разрешения изображений при обработке данных физического эксперимента и нахождение неизвестной аппаратной функции по программам пакета REIMAGE // Приборы и техника эксперимента. 1995. № 2. С. 68-78.
14. Donatelli M., Estatico C., Martinelli A., Serra-Capizzano S. Improved image deblurring with anti-reflective boundary conditions and re-blurring // Inverse Problems. 2006. V. 22. N 6. P. 2035-2053.
15. Воскобойников Ю.Е., Преображенский Н.Г., Седельников А.И. Математическая обработка эксперимента в молекулярной газодинамике. Новосибирск: Наука, 1984. 240 с.
16. Engl H.W., Hanke M., Neubauer A. Regularization of Inverse Problems. Dordrecht: Kluwer, 1996. 328 p.
17. Верлань А.Ф., Сизиков В.С. Интегральные уравнения: методы, алгоритмы, программы. Киев: Наук. думка, 1986. 544 с.
18. Воскобойников Ю.Е., Литасов В.А. Регуляризирующий алгоритм непараметрической идентификации при неточных исходных данных // Научный вестник Новосибирского государственного технического университета. 2005. № 2 (20). С. 33-45.
19. Тихонов А.Н., Гончарский А.В., Степанов В.В., Ягола А.Г. Численные методы решения некорректных задач. М.: Наука, 1990. 232 с.
20. Hansen P.C. Discrete Inverse Problems: Insight and Algorithms. Philadelphia: SIAM, 2010. 213 p.
21. Верлань А.Ф., Сизиков В.С., Мосенцова Л.В. Метод вычислительных экспериментов для решения интегральных уравнений в обратной задаче спектроскопии // Элегаронное модел^ование. 2011. Т. 33. № 2. С. 3-12.
22. Захаров Д.Д., Сизиков В.С., Шемплинер В.В., Щекотин Д.С. Новые способы устранения артефактов на томографических и иных изображениях // Научно-технический вестник СПбГУ ИТМО. 2006. № 9 (32). С. 138-143.
Сизиков Валерий Сергеевич
Экземпляров Роман Алексеевич Valéry Sizikov
Roman Ekzemplyarov
- доктор технических наук, профессор, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург, Россия; профессор, Санкт-Петербургский государственный политехнический университет, Санкт-Петербург, Россия, sizikov2000@mail.ru
- аспирант, Санкт-Петербургский государственный политехнический университет, Санкт-Петербург, Россия, rexe@yandex.ru
- D.Sc., Professor, Saint Petersburg National Research University of Information Technologies, Mechanics and Optics, Saint Petersburg, Russia; Professor, Saint Petersburg State Polytechnic University Institute of International Educational Programs (SPb SPU IIEP), Saint Petersburg, Russia, sizikov2000@mail
- postgraduate, Saint Petersburg, Russia, Saint Petersburg State Polytechnic University, Saint Petersburg, Russia, rexe@yandex.ru
