CC BY
19
Новый метод обнаружения и устранения случайнозначного импульсного шума на изображениях
П.А. Ляхов 12, А.Р. Оразаев 2 1 Северо-Кавказский федеральный университет, 355017, Россия, г. Ставрополь, ул. Пушкина, д. 1;
2 Северо-Кавказский центр математических исследований, 355017, Россия, г. Ставрополь, ул. Пушкина, д. 1
Аннотация
В работе предложен метод детектирования и последующего устранения импульсного шума на изображениях, в котором вводится понятие сходства между пикселями как функции расстояния и разницы в значениях яркости в локальном окне детектора. Рассматривается модель импульсного шума, в которой искаженные пиксели принимают случайные значения, а также случайным образом возникают на изображении. Пиксели, которые были отмечены как искаженные импульсным шумом, восстанавливаются адаптивным медианным фильтром. Импульсные искажения детектируются в окне детектора, размер которого рассчитан по евклидовой метрике и увеличивается с ростом интенсивности шума на изображении. В экспериментальной части представлено сравнение между известными и предлагаемым методами на трёх изображениях для трех различных интенсивностей импульсного шума. В приближении на фрагментах изображений видно, что предлагаемый метод наилучшим образом справляется с задачей, что было также подтверждено численными оценками качества фильтрации импульсного шума на изображении на основе пикового отношения сигнала к шуму и индекса структурного сходства. Предлагаемый метод может найти применение в задачах очистки изображений в условиях искажающего импульсного воздействия и для устранения искажений от неблагоприятных погодных эффектов, таких как капли дождя и снег.
Ключевые слова: обработка изображений, импульсный шум, медианный фильтр, адаптивный фильтр.
Цитирование: Ляхов, П.А. Новый метод обнаружения и устранения случайнозначного импульсного шума на изображениях / П.А. Ляхов, А.Р. Оразаев // Компьютерная оптика. -2023. - Т. 47, № 2. - С. 262-271. - DOI: 10.18287/2412-6179-CO-1145.
Citation: Lyakhov PA, Orazaev AR. New method for detecting and removing random-valued impulse noise from images. Computer Optics 2023; 47(2): 262-271. DOI: 10.18287/2412-6179-CO-1145.
Введение
Изображения могут подвергаться воздействию различных шумов [1]. При регистрации или передаче изображений возможно искажение импульсным шумом из-за нежелательных физических эффектов, включающих скачки напряжения, наводки, отказы сенсоров регистратора и т. д. Зашумленные изображения могут оказаться непригодными для дальнейшего распознавания образов, сегментации или других задач цифровой обработки изображений [2].
Теорема Шеннона предполагает, что кодирование источника и кодирование канала можно проектировать и оптимизировать отдельно. В последние десятилетия сторонники исходного кодирования приложили усилия для устранения избыточности исходного изображения посредством прогнозирования, преобразования, квантования и энтропийного кодирования, чтобы представить данные с минимальным количеством бит. В результате, каждый бит в закодированном потоке данных имеет решающее значение для успешного декодирования. Следовательно, во время передачи изображений и видео необходимо введение канального кодирования для защиты каждого отдель-
ного бита и исправления любых возможных ошибок. В настоящее время такой подход широко применяется в цифровой видеосвязи. Однако с преобладанием беспроводных сетей и появлением различных мобильных устройств возникает проблема, присущая традиционной структуре видеосвязи, разработанной в соответствии с теоремой разделения Шеннона, а именно, отсутствие гибкости при обработке неоднородности каналов и пользователей [3]. Одним из современных решений данной проблемы стала схема передачи без кодирования SoftCast, которая продемонстрировала большой потенциал для беспроводной передачи видео [4]. В отличие от обычных подходов, SoftCast обрабатывает входные изображения только с помощью серии преобразований, при этом передача не кодируется и может искажаться в зависимости от состояния канала [5]. В работе [6] предложены схемы передачи видео без кодирования, идея которых заключается в том, чтобы пропустить квантование, энтропийное кодирование и канальное кодирование, и просто использовать трехмерное дискретное косинусное преобразование для декорреляции источника видео. В работе [7] предлагается еще один метод передачи некодированного видео MUcast, который сна-
чала получает среднеквадратичную ошибку (MSE) между переданными и принятыми видеоданными как функцию назначения канала и распределения мощности. Затем формирует назначение многопользовательских каналов и распределение мощности как задачу оптимизации. Искажение передаваемых изображений и видео в перечисленных работах соответствует характеристикам случайнозначного импульсного шума, который рассматривается в данной работе.
На изображении, искаженном импульсным шумом, пиксели изменяют свои значения, в зависимости от модели шумового воздействия. В модели импульсного шума «соль и перец» искаженные пиксели могут принимать два значения, черный пиксель - «перец», белый пиксель - «соль» [8]. В данной работе рассматривается более сложная модель импульсного шума, в которой искаженные пиксели случайным образом распределены по изображению, а также принимают случайные значения.
Задача очистки изображений от импульсного шума состоит из двух задач: задачи детектирования импульсной помехи и задачи восстановления сигнала. Из-за природы импульсного шума наиболее подходящим методом для удаления импульсов являются нелинейные фильтры [9]. Медианные фильтры могут справляются с этой задачей, но при малой интенсивности импульсного шума [10]. В данной работе предлагается новый метод детектирования импульсных помех и последующая очистка адаптивным медианным фильтром. При адаптивной медианной фильтрации исправления вносятся только для тех пикселей, которые идентифицированы как искаженные помехой [11].
На сегодняшний день известен ряд методов по очистке и детектированию импульсного шума. В работе [12] для очистки изображения от импульсного и Гауссова шума был разработан метод, который является модификацией билатерального фильтра для определения искаженных импульсов [13]. В работе [14] описан метод, который предлагает улучшение метода [12] и использует для этого логарифмическую функцию и пороговые преобразования. В работе [15] также описано сравнение методов [14] и [12] и предложен метод, который является еще одной модификацией метода [12]. В методе вводится новая статистика индекса локального консенсуса (LCI), которая рассчитывается путем суммирования всех значений сходства пикселей в его окрестности и нахождения значения центрального элемента.
В данной работе мы предлагаем метод детектирования и исправления случайнозначного импульсного шума, который основан на параметрах сходства между двумя пикселями и учитывает геометрическую удаленность и разность яркостей пикселей в окне детектора.
Основное содержание статьи организовано следующим образом. Предварительные сведения о восстановлении изображений от случайнозначного импульсного шума приведены в параграфе 1. В пара-
графе 2 мы представляем предлагаемый метод. В параграфе 3 продемонстрированы экспериментальные результаты работы предложенного метода и выполнено сравнение с известными аналогами.
1. Предварительные сведения
В данной работе будем обозначать пиксели изображения как х,], где (/,_/') изменяются по некоторому подмножеству 22, где 2 - множество целых чисел. Существует несколько моделей импульсного шума [16]. В зависимости от значений интенсивности импульсных помех шум может быть фиксированным (шум «соль и перец») и случайнозначным [17]. В данной работе рассматривается модель импульсного шума, при которой искажения принимают случайные значения и случайно расположены на изображении, причем каждая из этих случайных величин распределена равномерно как по яркости, так и по пространственному расположению.
Модель импульсного шума можно описать как
Г я,- у с вероятностью 1 - р, х=\ ' (1)
IV,-,у с вероятностью р,
где я,у - исходное не зашумлённое изображение, р -вероятность искажения пикселей. Переменные v^j представляют собой случайные значения импульсного шума, не зависящие от я,у и подчиняющиеся закону равномерного распределения от 0 до 255 (для 8-битного изображения). Геометрическое распределение искаженных пикселей также предполагается равномерным по всему изображению. Изображение, подвергнутое такому шуму, характеризуется случайной заменой некоторых значений пикселей исходного изображения случайными значениями, при этом остальные пиксели остаются неизменными [18]. На рис. 1 представлено распределение яркостей пикселей и расположение импульсных помех на изображении «Лена», искаженном данной моделью импульсного шума. На рис. продемонстрировано равномерное с геометрической точки зрения распределение импульсных помех на изображении, а на рис. 1е можно видеть равномерное распределение яркости искаженных пикселей.
Нелинейные фильтры широко используются для решения задачи восстановления от импульсного шума [19]. Стандартный медианный фильтр заменяет значения каждого пикселя изображения на медиану яркостей множества соседних пикселей в некотором локальном окне [20]. Существует большое количество методов, основанных на медианной фильтрации изображений, но для очистки от импульсного шума важнейшей модификацией являются адаптивные медианные фильтры, где сначала устанавливается, является ли пиксель импульсом, а после происходит процесс фильтрации [21].
Задача детектирования и очистки случайнозначного и случайно распределенного на изображении импульсного шума является более сложной задачей, чем восстановление изображения от импульсного шума «соль и
перец». Значение импульсов может быть близким к исходным значениям яркости, а случайность расположе-
ния импульсов может приводить к появлению искаженных пикселей, расположенных рядом [22].
Рис. 1. Пример искажения случайнозначным импульсным шумом изображения «Лена»: а) исходное неискаженное изображение; б) распределение яркостей пикселей на неискаженном изображении; в) изображение, искаженное импульсным шумом р = 10; г) распределение яркостей пикселей на искаженном изображении; д) расположение импульсных помех на изображении; е) распределение яркостей импульсных помех на изображении
Одним из известных решений для детектирования помех является билатеральный фильтр [13], который вычисляет средневзвешенное значение по некоторой окрестности и зависит от евклидова расстояния и разницы яркостей между пикселями. Сходство между любыми двумя пикселями можно задать следующим образом:
Л(х,,1, Ха,ь) = ехр| -
К2 (Х,,] , Ха,Ь ) (х, ,1— -
2
2^л
Х, 1, ха ,ь) = ехр
\
0( х) = Л( Х,
) Х-, 1, ХаЬ ),
(2)
(3)
(4)
где Л (х,, Ха, ь) - коэффициент влияния геометрического расстояния К (х,, ха, Ь) между пикселями х^ и ха, Ь; ^ (Ху, Ха, ь) - коэффициент влияния разницы яркостей между пикселями; (,',/) и (а, Ь) обозначают координаты пикселей в локальной области О; параметры ул и у описывают среднеквадратичные отклонения коэффициентов Л (х, 1, ха, ь) и ^ Х, ха, Ь) соответственно.
Далее вычисляется сумма значений 0
С Х„1= X 0( Х-
(5)
Из Схг 1 формируется новый массив gi, у, определяемый выбранным порогом Т, который может быть рассмотрен как карта зашумленных пикселей:
g^, 1 =
если С х, 1 < Т; если Сх,,у ^ Т.
(6)
В известных подходах порог Т обычно подбирается экспериментально, на основе эмпирического анализа результатов работы детектора. В предложенном
далее методе мы применим аналогичный подход для этой цели.
При большой интенсивности шума билатеральный фильтр не справляется с удалением данного типа импульсного шума [23]. Далее мы представим предлагаемый детектор импульсного шума, который обнаруживает импульсные помехи на изображении более эффективно.
2. Предлагаемый метод очистки изображений от случайнозначного импульсного шума
В предлагаемом методе сходство между пикселями определяется расстоянием и разницей в значениях яркости в локальном окне, что позволяет справляться с задачей восстановления от данного типа импульсного шума.
На первом этапе предлагаемого метода на зашум-ленном изображении сначала необходимо определить, искажен ли пиксель импульсной помехой. Оценку разности в расстоянии между пикселями в локальном окне можно вычислить при помощи формулы (2). На рис. 2 представлены квадраты расстояний по евклидовой метрике (Ь2) между центральным пикселем и пикселями, которые находятся в окне обработки [24]. В этой схеме множество пикселей, координаты которых удалены от центрального пикселя на расстояние не больше некоторого наперед заданного значения К, представляют локальное окно О детектора.
Расстояние К (х,,^ ха, ь) между пикселями х, 1 и ха, Ь в метрике ¿2 определяется по формуле
К(х,, 1,хаь) = — а)2 + (( — Ь)2.
(7)
Например, на рис. 2 для локального окна О радиуса К = 4 расстояние между центральным пикселем х и выделенным пикселем равно >/13 .
В работе [25] было показано преимущество использования масок фильтра, рассчитанных по метрике Ь2 для
Ха ьеО
очистки изображений от импульсного шума адаптивной медианной фильтрацией. В работе [26] предложена маска для очистки видеоданных от импульсного шума, которая использует значения пикселей из предыдущего и последующего кадров. Метод из работы [26] также показал лучшие результаты очистки по сравнению с масками, определенными другими метриками.
25
2017 16 17 20
18 1310 9 1013 18
20 13 8 5 4 5 8 13 20
17 10 5 2 1 2 5 10 17
I16 9 4 1 X 1 4 9 1б|
17 10 5 2 1 2 5 10 17
20 13 8 5 4 5 8 13 20
18 1310 9 1013 18
2017 16 17 20
25
Рис. 2. Квадраты расстояний между центральным пикселем х и соседями. Линиями выделены локальные окна Ос различными размерами Я
Для оценки разности между пикселями по значению яркости пикселей мы предлагаем использовать логарифмическую функцию абсолютной разницы между обрабатываемым пикселем и другими пикселями в локальном окне О:
и (х1, у, ха,ь ) —
х„ъ б Ох
если х,- у — ха
1
1—1о^2 хиу - ха£ , если х,-,у ф ха ь, (8) I Ч
где ч - разрядность пикселей изображения. Формула (8) указывает на разницу между пикселями х,,у и ха, ь следующим образом: если пиксели равны между собой, то величина и равна 1; чем больше разница яркостей, тем меньше величина и. Деление на разрядность ч введено для сохранения величины и неотрицательной. Использование логарифмической функции, по сути, указывает на старший значащий бит разницы между пикселями. Использование такого подхода вместо линейной функции объясняется цифровой природой обрабатываемых данных и согласуется со зрительным восприятием человека [3].
Далее необходимо отсортировать по возрастанию массив и и суммировать первые т / 2 элементов отсортированного массива, где т - количество элементов в локальном окне О:
Зашумленное изображение
Обнаружение импульсных помех на изображении:
Вычисление V по формуле(9) в локальной области
Построение бинарной карты искаженных пикселей
Определение Определение
окна Я порога Т
^т ( х,, у , ха ,Ь ) ^^ и к ( х,, у , ха ,Ь ) .
(9)
Параметр т / 2 выбран по аналогии с методом из работы [14], в котором отбиралась половина значений массива обрабатываемых данных. На основе параметров сходства между двумя пикселями, основанными на геометрической удаленности (2) и разности яркостей пикселей в окне детектора (9), вычисляется оценка сходства между пикселями Ж в предлагаемом методе
Ж (х, ) — М х, ) -V (х ). (10)
Для значений полученного массива Ж необходимо задать порог, определяющий, искажен ли пиксель помехой:
[0, если Жх, ] > Т; 11, если Жх < Т.
О,, у — <
(11)
Массив значений О может быть рассмотрен как карта зашумленных пикселей. Следовательно, если элемент в массиве О равен 1, то это означает, что соответствующий ему пиксель на изображении зашумлен. В противном случае пиксель в восстановлении не нуждается.
Выбор размера локального окна О зависит от уровня шума р на изображении. Экспериментальным путем было выявлено, что чем выше интенсивность импульсного шума на изображении, тем больший размер маски О необходим для получения лучшего результата очистки.
На рис. 3 изображена схема предлагаемого метода. На вход схемы поступает зашумленное изображение. В этом изображении необходимо определить, является ли пиксель импульсом. Для этого необходимо рассчитать массив Ж по формуле (10) и определить искажения в соответствии с порогом Т (11). На основе построенной карты помех О появляется возможность провести очистку адаптивным медианным фильтром. Для сохранения деталей мы используем маску фильтра 3*3. Если в процессе обработки адаптивным медианным фильтром возникает ситуация, когда в локальном окне 3*3 все пиксели отмечены как искаженные, то исправить центральный пиксель не представляется возможным за одну итерацию. В этом случае адаптивный медианный фильтр может применяться итеративно до тех пор, пока все искаженные пиксели не будут исправлены. После обработки всех пикселей искаженного изображения х,, у мы получаем восстановленное изображение.
Восстановление изображения адаптивным медианным фильтром:
Формирование массива неискаженных пикселей внутри маски фильтра 3x3 для пикселей, которые являются
импульсными помехами ♦
Зычисление медианы и присваивание полученного значения искаженному пикселю
Восстановленное изображение
к—1
Рис. 3. Схема предлагаемого метода
При адаптивной медианной фильтрации обработка выполняется только для пикселей, определенных детектором как искаженные. На рис. 4 приведен пример фрагмента изображения и соответствующей ему карты искаженных пикселей. Значения «1» в карте искаженных пикселей, полученной детектором, соответствуют пикселям, определенным как искаженные.
192 155 156 149 148
157 227 156 44 153
158 157 23 157 118
158 192 158 201 157
157 157 156 156 156
1 0 0 0 0
0 1 0 1 0
0 0 1 0 1
0 1 0 1 0
0 0 0 0 0
а) б)
Рис. 4. Пример фрагмента изображения: а) значения пикселей во фрагменте изображения; б) карта
искаженных пикселей, полученная детектором шума
Рассмотрим адаптивную медианную фильтрацию для исправления искаженного пикселя, который находится в центре фрагмента изображения и принимает значение «23». В локальном окне формируется и упорядочивается по возрастанию массив из пикселей, которым соответствуют значения «0» из карты искаженных пикселей, полученной детектором шума (т.е. неискаженных):
{156, 157, 157, 158} ^ {156, 157, 157, 158}.
В случае нечетного количества элементов медианой упорядоченного массива считается центральный элемент. В случае четного количества элементов медианой упорядоченного массива считается среднее арифметическое двух элементов. В рассмотренном примере медианой является значение «157», которое присваивается искаженному пикселю в результате обработки. Для пикселей, которые находятся на границах изображения, выполняется правило, при котором размер изображения увеличивается повторением величин на его боковых границах, для избегания выхода маски фильтра за границы изображения.
В табл. 1 и 2 для трех изображений (рис. 4) приведен анализ значений характеристик пикового
отношения сигнала к шуму (Р8МЯ) и индекса структурного сходства (881М) для различных размеров окна О для предлагаемого метода. Р8МЯ вычисляется следующим образом:
PSNR = 10 • lg
2552
MSE
(12)
где
. J - s<, J )2
MSE = -i j
D • d2
(13)
среднеквадратическая ошибка восстановленного изображения у,-,j по сравнению с исходным изображением j, D1 и D2 - ширина и высота изображения соответственно.
Индекс 881М рассчитывается по формуле:
SSIM (y, s) =
(2ц y|a s + C )(2ст ys + C2)
(|4 + |2 + QXctJ +ст2 + C2)'
(14)
где Цу - среднее у, ц - среднее s, ст2 - дисперсия у, ст2 - дисперсия сту* - ковариация у и С = (к1Ь)2, С2 = (к2 Ь)2 - две переменные, Ь - динамический диапазон пикселей, равный 255 в рассматриваемых случаях, к1 = 0,01 и к2 = 0,03 - константы. Величина 881М находится в пределах между 0 и 1 и равна 1 для тождественно равных изображений [27].
По полученным результатам (табл. 1 и 2) мы рекомендуем для интенсивности шума 0<р < 0,25 использовать локальное окно размера Я = 2, для интенсивности шума 0,25 <р использовать локальное окно размера Я = 3. Также экспериментально было установлено, что для шума с интенсивностью р = 0,1 наилучший результат достигается при выборе порога Т = 22, для шума р = 0,25 наилучший результат достигается при выборе порога Т = 19, в случае р = 0,5 наилучший результат достигается при выборе порога Т = 100. Значительное увеличение параметра Т в последнем случае объясняется увеличенным размером локального окна детектора, что приводит к существенному росту получаемых значений по формуле (10).
Табл. 1. Значения для различных размеров окна О в предложенном методе
Изображение «Лена» «Собака» «Тонкие линии»
P 0,1 0,25 0,5 0,1 0,25 0,5 0,1 0,25 0,5
Q = 1 33,211 28,564 21,007 29,470 26,015 19,465 20,774 16,751 12,484
Q = 2 34,116 30,657 24,841 29,712 26,816 22,250 18,702 17,400 17,810
Q = 3 33,071 30,059 26,449 29,322 26,311 23,399 16,985 15,768 13,773
Q = 4 32,075 29,341 26,135 28,177 25,853 23,287 14,873 14,115 13,135
Табл. 2. Значения ББИМ для различных размеров окна О в предложенном методе
Изображение «Лена» «Собака» «Тонкие линии»
P 0,1 0,25 0,5 0,1 0,25 0,5 0,1 0,25 0,5
Q = 1 0,911 0,778 0,442 0,922 0,809 0,477 0,679 0,661 0,237
Q = 2 0,944 0,884 0,691 0,933 0,857 0,656 0,867 0,796 0,840
Q = 3 0,929 0,876 0,735 0,923 0,843 0,694 0,782 0,707 0,434
Q = 4 0,931 0,853 0,713 0,913 0,827 0,679 0,719 0,664 0,504
Экспериментально определенную интенсивность шума р, до р = 0,5 включительно, предлагается оценивать следующим образом:
р« 1,3 •(/ /г),
(15)
где t - количество пикселей, определенных как искаженные, г - количество пикселей в изображении. Коэффициент 1,3 был определен экспериментально. При получении величины р > 0,5 можно считать, что возник импульсный шум высокой интенсивности. В коэффициент, равный 1,3, заложено ожидание ложноположитель-ных срабатываний детектора. Данная величина была определена экспериментально, на основе моделирования шумов различной интенсивности до 50 % включительно, возникающих на разных изображениях.
Далее, в экспериментальной части мы покажем сравнение предложенного метода с известными методами на трех изображениях с различными интенсивно-стями шумар на основе характеристик Р8МЯ и 88ГМ.
3. Экспериментальная часть
Для моделирования были использованы 8-битные изображения (д = 8) в оттенках серого: «Лена», «Тонкие линии» и «Собака» (рис. 5), которые были искажены импульсным шумом в соответствии с моделью (1). Для каждого изображения был сгенерирован импульсный шум с интенсивностями р = 0,1; 0,25; 0,5. Зашумленное изображение было одинаковым для обработки всеми методами, рассматриваемыми при моделировании. Для корректного сравнения методов удаления импульсного шума использовалась только одна итерация восстанов-
ления адаптивным медианным фильтром. Размер локального окна Я для интенсивности шума 0<р < 0,25 был выбран равным 2, для интенсивности шума 0,25 < р был выбран равным 3. Для каждого р были выбраны одинаковые варьируемые параметры у каждого метода (пороги, среднеквадратичные отклонения Гауссовых распределений).
Для изображений на рис. 5, для р = 0; 0,1; 0,25; 0,5 были рассчитаны значения р, которые представлены в табл. 3.
Табл. 3. Значения рдля различных изображений, зашумленных случайнозначным импульсным шумом с различными интенсивностями р
Изображение Интенсивность р
0 0,1 0,25 0,50
«Лена» 0,007 0,106 0,250 0,482
«Собака» 0,018 0,113 0,255 0,492
«Тонкие линии» 0,050 0,145 0,288 0,530
Если детектор определил уровень шума менее 5 %, то можно считать такое значение соответствующим не-зашумленному изображению, для которого фильтрацию выполнять не нужно. Выбор порога менее 5 % связан с ожиданием ложноположительных срабатываний детектора, которые неизбежны при решении рассматриваемой задачи. При этом была выполнена фильтрация неискаженных изображений предлагаемым методом. На рис. 6 приведены результаты обработки, а в табл. 4 приведены значения Р8№Я и 88ГМ. Анализ данных из рис. 6 и табл. 4 показывает, что применение предложенного метода к незашумленному изображению не вносит видимых для человеческого глаза искажений.
а) II \ Л б) в) '
Рис. 5. Изображения, использованные при моделировании: а) «Лена»; б) «Тонкие линии»; в) «Собака». На изображениях а) и в) рамкой выделены фрагменты, которые в дальнейшем рассматриваются в увеличении
б) ' ■! е)
Рис. 6. а) Фрагмент неискаженного изображения «Тонкие линии»; б) фрагмент неискаженного изображения «Тонкие линии», обработанного предлагаемым методом; в) фрагмент неискаженного изображения «Лена»; г) фрагмент неискаженного изображения «Лена», обработанного предлагаемым методом; д) фрагмент неискаженного изображения «Собака»; е) фрагмент неискаженного изображения «Собака», обработанного предлагаемым методом
Табл. 4. Значения PSNR и SSIM для неискаженных изображений, обработанных предлагаемым методом для очистки случайнозначного импульсного шума
Изображение Р8Ш 881М
«Лена» 39,748 0,996
«Собака» 32,495 0,981
«Тонкие линии» 33,890 0,987
Сравнение предложенного метода выполнялось с несколькими предшественниками. В работе 2021 года [15] был предложен метод исправления изображений, искаженных случайнозначным импульсным шумом на основе индекса локального консенсуса. Авторами указанной статьи демонстрируется превосходство предложенной разработки над всеми известными аналогами. Далее мы сравниваем предложенный под-
ход с указанной разработкой, а также с некоторыми другими предшественниками, включающими стандартный медианный фильтр, описанный в [1], и некоторыми модификациями адаптивного медианного фильтра из работ [12] и [14]. На рис. 7 — 9 приведены фрагменты изображений из рис. 5 соответственно. На рис. 7б представлено изображение рис. 5б, зашумленное импульсным шумом p = 0,1. На рис. 7в - е приведены результаты обработки рассматриваемыми известными методами, на рис. 7ж - предлагаемым методом. На рис. 7ж видно, что в процессе обработки изображение потеряло детали оригинального изображения 7 а, но при этом было сохранено больше деталей, чем в других методах рис. 7в - е, где заметно более существенное искажение линий в результате восстановления от шума рассматриваемыми известными методами.
Рис. 7. Фрагменты изображения «Тонкие линии»: а) исходного изображения в оттенках серого; б) изображения, искаженного импульсным шумом с интенсивностью p = 0,1; в) результат восстановления стандартным медианным фильтром [1]; г) результат восстановления методом [15]; д) результат восстановления методом [12]; е) результат восстановления методом [14]; ж) результат восстановления предложенным методом
На рис. 8б представлен фрагмент изображения 5в, зашумленный импульсным шумом p = 0,25. На рис. 8ж видно преимущество данного метода: в отличие от рассматриваемых известных методов 8в -е, на изображении практически не осталось искаженных пикселей.
На рис. 9б представлен фрагмент изображения 5а, зашумленный импульсным шумом p = 0,5. Приведенные фрагменты для высокой интенсивности шума еще более явно показывают преимущества предлагаемого метода. На рис. 9в - е из-за скопления помех и высокой интенсивности шума пиксели не были идентифицированы как искаженные помехой. На рис. 9ж искаженных областей практических не осталось.
В табл. 5 - 6 приведены значения Р8МЯ и 881М для различных рассматриваемых известных и предлагаемого методов. Для интенсивности шума p = 0,1 в трех тестовых изображениях у предложенного метода были получены наилучшие результаты на основе характеристики Р8МЯ.
Для изображений «Лена» и «Тонкие линии» предложенный метод показал лучший результат в большинстве рассмотренных случаев.
Численная оценка качества предлагаемого метода представлена в табл. 5 - 6 и подтверждает более качественную работу по сравнению с аналогами.
Результаты моделирования показали, что предложенный метод наилучшим образом справился с данным типом шумового воздействия. Для случаев p = 0,1 и p = 0,25 предложенный метод показал наилучшие результаты Р8МЯ и 881М на двух из трех тестовых изображений. Предложенный детектор может найти применение для определения капель дождя и снега и дальнейшей очистки от них на изображениях и кадрах видео при соответствующей адаптации математической модели.
Заключение
В работе предложен метод обнаружения и очистки изображений от случайнозначного импульсного шума. Результаты моделирования продемонстрировали
преимущество предлагаемого метода на основе ха- тов тестовых изображений позволяет сделать вывод о
рактеристик Р8МЯ и 881М. Преимущество особенно том, что предложенный метод не только хорошо
ярко выражено для высокой интенсивности шума. справляется с задачей, но и обнаруживает большее
Также визуальный анализ представленных фрагмен- количество искаженных пикселей.
Рис. 8. Фрагменты изображения «Собака»: а) исходного изображения в оттенках серого; б) изображения, искаженного импульсным шумом с интенсивностью р = 0,25; в) результат восстановления стандартным медианным фильтром [1]; г) результат восстановления методом [15]; д) результат восстановления методом [12]; е) результат восстановления методом [14]; ж) результат восстановления предложенным методом
Рис. 9. Фрагменты изображения «Лена»: а) исходного изображения в оттенках серого; б) изображения, искаженного импульсным шумом с интенсивностью р = 0,5; в) результат восстановления стандартным медианным фильтром [1]; г) результат восстановления методом [15]; д) результат восстановления методом [12]; е) результат восстановления методом [14]; ж) результат восстановления предложенным методом
Табл. 5. Значения различных методов очистки случайнозначного импульсного шума на изображениях
Изображение Интенсивность шума р Известные методы Предложенный метод
[1] [12] [14] [15]
«Лена» 10 31,684 32,936 33,304 31,767 34,116
25 28,604 30,228 30,551 29,082 30,657
50 21,182 24,789 24,854 22,166 26,450
«Собака» 10 27,427 28,322 28,537 27,615 29,712
25 25,337 26,404 26,584 25,179 26,816
50 19,424 22,150 22,140 19,582 23,399
«Тонкие линии» 10 16,733 16,4879 17,6104 16,4968 18,7020
25 15,519 15,1728 16,4337 16,9346 17,3997
50 11,511 13,1636 13,6206 15,1481 13,7730
Табл. 6. Значения SSIMразличных методов очистки случайнозначного импульсного шума на изображениях
Изображение Интенсивность шума p Известные методы Предложенный метод
[11 [121 [141 [151
«Лена» 10 0,884 0,950 0,956 0,938 0,944
25 0,817 0,883 0,895 0,897 0,884
50 0,473 0,663 0,703 0,655 0,735
«Собака» 10 0,814 0,920 0,923 0,876 0,933
25 0,738 0,851 0,856 0,808 0,857
50 0,457 0,642 0,655 0,537 0,694
«Тонкие линии» 10 0,759 0,7797 0,8251 0,7808 0,8670
25 0,557 0,7273 0,7887 0,8218 0,7961
50 0,176 0,4222 0,4848 0,6067 0,4342
Дальнейшим направлением исследований может быть применение предложенного метода для удаления негативного влияния погодных эффектов, таких как дождь и снег, с изображений или видео, а также при проектировании каналов передачи изображений и видео без кодирования.
Благодарности
Авторы выражают благодарность СКФУ за поддержку в рамках проекта поддержки малых научных групп и отдельных ученых. Исследование в параграфах 1 и 2 проведено при поддержке Российского научного фонда (проект № 21-71-00017). Исследование в параграфе 3 проведено в Северо-Кавказском центре математических исследований в рамках соглашения с Министерством науки и высшего образования Российской Федерации (соглашение № 075-02-2022-892).
References
[1] Gonzales RC, Woods RE. Digital image processing. 4th ed. Pearson; 2018.
[2] Zhang C, Wang K. A switching median-mean filter for removal of high-density impulse noise from digital images. Optik 2015; 126: 956-961.
[3] Cui H, et al. Denoising and resource allocation in uncoded video transmission. IEEE J Sel Top Signal Process 2014; 9(1): 102-112.
[4] Jakubczak S, Rahul H, Katabi D. SoftCast: One video to serve all wireless receivers. Massachusetts Inst Technol, Cambridge, MA, USA: Tech Rep MIT-CSAIL-TR-2009-005; 2009.
[5] Xiong R, et al. Analysis of decorrelation transform gain for uncoded wireless image and video communication. IEEE Trans Image Process 2016; 25(4): 1820-1833.
[6] Jakubczak S, Katabi D. A cross-layer design for scalable mobile video. Proc 17th annual int conf on Mobile computing and networking (MobiCom '11) 2011: 289-300.
[7] He C, et al. MUcast: Linear uncoded multiuser video streaming with channel assignment and power allocation optimization. IEEE Trans Circuits Syst Video Technol 2019; 30(4): 1136-1146.
[8] Bovik AC. The essential guide to image processing. Academic Press; 2009.
[9] Abdalla AM, Osman MS, AlShawabkah H, Rumman O, Mherat M. A review of nonlinear image-denoising techniques. 2018 Second World Conf on Smart Trends in Systems, Security and Sustainability (WorldS4) 2018: 96-100.
[10] Punhani P, Garg NK. Noise removal in MR images using non linear filters. 2015 6th Int Conf on Computing, Communication and Networking Technologies (ICCCNT) 2015: 1-6.
[11] Zhang S, Li X, Zhang C. Modified adaptive median filtering. 2018 Int Conf on Intelligent Transportation, Big Data & Smart City (ICITBS) 2018: 262-265.
[12] Garnett R, Timothy H, Charles C, Wenjie H. A universal noise removal algorithm with an impulse detector. IEEE Trans Image Proces 2005; 14: 1747-1754.
[13] Tomasi C, Manduchi R. Bilateral filtering for gray and color images. Sixth Int Conf on Computer Vision 1998: 839-846.
[14] Dong Y, Chan RH, Xu S. A detection statistic for random-valued impulse noise. IEEE Trans Image Process 2007; 16(4): 1112-1120.
[15] Xiao X, Xiong NN, Lai J, Wang CD, Sun Z, Yan J. A local consensus index scheme for random-valued impulse noise detection systems. IEEE Trans Syst Man Cybern Syst 2021; 51(6): 3412-3428. DOI: 10.1109/TSMC.2019.2925886.
[16] Singh N, Oorkavalan U. Triple Threshold Statistical Detection filter for removing high density random-valued impulse noise in images. EURASIP J Image Video Process 2018; 2018(1): 22.
[17] Nadeem M, Hussain A, Munir A, Habib M, Naseem, MT. Removal of random valued impulse noise from grayscale images using quadrant based spatially adaptive fuzzy filter. Signal Process 2020; 169: 107403.
[18] Ginu G, et al. A survey on various median filtering techniques for removal of impulse noise from digital image. 2018 Conf on Emerging Devices and Smart Systems (ICEDSS) 2018: 235-238.
[19] Mujica-Vargas D, Rubio JJ, Kinani JMV, Gallegos-Funes FJ. An efficient nonlinear approach for removing fixed-value impulse noise from grayscale images. J Real Time Image Process 2018; 14(3): 617-633.
[20] Lone MR, Khan E. A good neighbor is a great blessing: Nearest neighbor filtering method to remove impulse nois. Journal of King Saud University - Computer and Information Sciences 2022; 34(10:B): 9942-9952.
[21] Singh A, Sethi G, Kalra GS. Spatially adaptive image denoising via enhanced noise detection method for grayscale and color images. IEEE Access 2020; 8: 112985113002. DOI: 10.1109/ACCESS.2020.3003874.
[22] Lan X, Zuo Z. Random-valued impulse noise removal by the adaptive switching median detectors and detail-preserving regularization. Optik 2014; 125(3): 1101-1105.
[23] Chen BH, Tseng YS, Yin JL. Gaussian-adaptive bilateral filter. IEEE Signal Process Lett 2020; 2: 1670-1674.
[24] Jahne B. Digital image processing. Berlin, Heidelberg, New York: Springer; 2005.
[25] Chervyakov NI, Lyakhov PA, Orazaev AR. Two methods of adaptive median filtering of impulse noise in images. Computer Optics 2018; 42(4): 667-678. DOI: 10.18287/24126179-2018-42-4-667-678.
[26] Chervyakov NI, Lyakhov PA, Orazaev AR. 3D-generalization of impulse noise removal method for video data processing. Computer Optics 2019; 44(1): 92-100. DOI: 10.18287/2412-6179-CO-577.
[27] Wang Z. Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process 2004; 13(4): 600-612.
Сведения об авторах
Ляхов Павел Алексеевич, 1988 года рождения, в 2009 году окончил Ставропольский государственный университет по специальности «Математика», кандидат физико-математических наук, заведующий кафедрой математического моделирования, факультет математики и компьютерных наук имени профессора Н.И. Червя-кова ФГАОУ ВО «Северо-Кавказский федеральный университет»; заведующий отделом модулярных вычислений и искусственного интеллекта, региональный научно-образовательный математический центр «СевероКавказский центр математических исследований». Область научных интересов: цифровая обработка сигналов и изображений, искусственный интеллект, нейронные сети, модулярная арифметика, параллельные вычисления, высокопроизводительные вычисления, цифровые устройства, аппаратные ускорители. E-mail: Hahov@mail.ru.
Оразаев Анзор Русланович, 1995 года рождения, в 2019 году окончил магистратуру по специальности «Прикладная математика и информатика» в Северо-Кавказском федеральном университете. Младший научный сотрудник отдела модулярных вычислений и искусственного интеллекта, региональный научно-образовательный математический центр «Северо-Кавказский центр математических исследований». Область научных интересов: цифровая обработка изображений, искусственный интеллект, адаптивная фильтрация сигналов. E-mail: aorazaev@ncfu.ru.
ГРНТИ: 28.23.15
Поступила в редакцию 7 апреля 2022 г. Окончательный вариант - 17 ноября 2022 г.
New method for detecting and removing random-valued impulse noise from images
P.A. Lyakhov A.R. Orazaev 2 1 North-Caucasus Federal University, 355017, Stavropol, Russia, Pushkin street, 1; 2 North-Caucasus Center for Mathematical Research, 355017, Stavropol, Russia, Pushkin street, 1
Abstract
The paper proposes a method for detecting and removing impulse noise in images, which determines the similarity between pixels by distance and the difference in brightness values in the local detector window. An impulse noise model is considered, where distorted pixels take random values and also randomly appear in the image. Pixels identified as pulses are recovered with an adaptive median filter. The impulses are determined in the detector window, whose size is calculated in the Euclidean metric and increases with increasing noise intensity in the image. In the experimental part, we discuss visual differences between familiar methods and the one proposed herein on three images for three different impulse noise intensities. In the approximation of image fragments, it is seen that the proposed method copes with the task in the best way, which is also confirmed by numerical estimates of the quality of image reconstruction from impulse noise based on the peak signal-to-noise ratio and the structural similarity index. The proposed method can be used when solving problems of cleaning images under conditions of distorting impulses and for eliminating distortions caused by adverse weather effects, such as raindrops and snow.
Keywords: image processing, impulse noise, median filter, adaptive filter.
Citation: Lyakhov PA, Orazaev AR. New method for detecting and removing random-valued impulse noise from images. Computer Optics 2023; 47(2): 262-271. DOI: 10.18287/2412-6179-CO-1145.
Acknowledgements: The authors thank the North-Caucasus Federal University for the award of funding in the contest of competitive projects of scientific groups and individual scientists of North-Caucasus Federal University. The research in section 1 and section 2 was supported by the Russian Science Foundation (Project No. 21-71-00017). The research in section 3 was supported by the North-Caucasus Center for Mathematical Research under agreement with the Ministry of Science and Higher Education of the Russian Federation (Agreement No. 075-02-2022-892).
Authors' information
Pavel Alekseyevich Lyakhov (b. 1988) graduated from Stavropol State University, specialty "Mathematics" in 2009. PhD of Physical and Mathematical Sciences. Head of Mathematical Modeling department, North-Caucasus Federal University, Head of Modular Computing and Artificial Intelligence department, regional scientific and educational mathematical center «North-Caucasus Center for Mathematical Research». Research interests are digital signal and image processing, artificial intelligence, neural networks, modular arithmetic, parallel computing, high-performance computing, digital circuits and hardware accelerators. E-mail: ljahov@mail.ru .
Anzor Ruslanovich Orazaev (b. 1995) PhD student, North-Caucasus Federal University, junior researcher, Modular Computing and Artificial Intelligence department, regional scientific and educational mathematical center «North-Caucasus Center for Mathematical Research». Research interests are digital image processing, artificial intelligence and adaptive filtering of signals. E-mail: aorazaev@ncfu.ru .
Received April 7, 2022. The final version - November 17, 2022.
