CC BY
22
ЭБ-обобщение метода очистки от импульсного шума для обработки видеоданных
Н.И. Червяков1, П.А. Ляхов1, А.Р. Оразаев1 1 Северо-Кавказский федеральный университет, 355009, Россия, Ставропольский край, г. Ставрополь, ул. Пушкина, д. 1
Аннотация
В статье предложен обобщенный метод адаптивной медианной фильтрации импульсного шума для обработки видеоданных. Метод основан на совместном применении итеративной обработки и преобразования результата медианной фильтрации на основе распределения Лоренца. Предложены четыре различные комбинации алгоритмических блоков метода. В экспериментальной части статьи приведены результаты сравнения качества работы предложенного метода с известными аналогами. Для моделирования было использовано видео, искаженное импульсным шумом с вероятностями искажения пикселей от 1 % до 99 % включительно. Численная оценка качества очистки видеоданных от шума на основе среднеквадратичной ошибки и индекса структурного сходства показала, что предложенный метод показывает лучший результат обработки во всех рассмотренных случаях по сравнению с известными подходами. Полученные в статье результаты могут найти широкое применение в практических приложениях цифровой обработки видео, например, для обработки визуальных данных в системах видеонаблюдения, идентификации и контроля промышленных процессов.
Ключевые слова: цифровая обработка видео, адаптивная фильтрация, медианный фильтр.
Цитирование: Червяков, Н.И. 3Б-обобщение метода очистки от импульсного шума для обработки видеоданных / Н.И. Червяков, П. А. Ляхов, А.Р. Оразаев // Компьютерная оптика. -2020. - Т. 44, № 1. - С. 92-100. - DOI: 10.18287/2412-6179-CO-577.
Citation: Chervyakov NI, Lyakhov PA, Orazaev AR. 3D-generalization of impulse noise removal method for video data processing. Computer Optics 2020; 44(1): 92-100. DOI: 10.18287/2412-6179-CO-577.
Введение
При получении или передаче на цифровых изображениях и видеоданных могут возникать шумы различной природы, которые искажают их визуальное качество и приводят к потере важной информации. По этой причине восстановление искажённых участков сигнала является важной задачей цифровой обработки визуальных данных. На данный момент существует большое количество методов очистки от шума, зависящих от типа шумового воздействия. В этой статье мы рассмотрим методы удаления импульсного шума, который также известен как шум «соль и перец».
На изображении, искажённом импульсным шумом, наблюдаются белые и чёрные точки, хаотически разбросанные по кадру. Одним из наиболее эффективных методов удаления импульсного шума является медианная фильтрация [1]. Медианная фильтрация визуальной информации обладает рядом достоинств, выгодно отличающих фильтры порядковой статистики от, например, линейных стационарных фильтров. Медианные фильтры обычно значительно меньше искажают изображения, чем усредняющие фильтры [2]. Также медианные фильтры малочувствительны к изменению параметров шумового воздействия [3]. Ещё одним достоинством фильтров, использующих вычисление медиан по некоторому множеству пиксе-
лей, является низкая вычислительная сложность по сравнению с фильтрами, использующими дискретную свёртку, что может быть весьма полезно при обработке больших объёмов данных или в обработке визуальной информации в режиме реального времени. Недостатком стандартных медианных фильтров является размытие обрабатываемого изображения, что особенно заметно при использовании масок большого размера. Для уменьшения этого негативного эффекта были предложены медианные фильтры с весовыми коэффициентами [4] и адаптивная медианная фильтрация [5]. При адаптивной медианной фильтрации сначала устанавливается факт наличия импульсного искажения пикселя, после чего осуществляется его исправление.
Ранее нами был предложен итеративный метод адаптивной медианной фильтрации изображений, использующий маски на основе Евклидовой метрики L2 и постобработку данных с использованием функции Лоренца [6]. В данной работе мы представим обобщение этого метода на трёхмерный случай и покажем его эффективность для обработки импульсного шума на видеоданных.
В отличие от очистки изображений от воздействия шумов, очистка видео исследована значительно меньше [7]. Многие методы обработки видеоданных по сути применяют алгоритмы обработки для каждо-
го кадра в отдельности, рассматривая их как отдельные изображения и не учитывая динамической связи между кадрами [8, 9]. Такая связь обычно устанавливается при помощи детекторов движения с использованием, например, видеокодека Н.265 [10]. Однако добавление таких алгоритмически сложных блоков существенно снижает производительность алгоритмов очистки от шума, что неприемлемо для приложений обработки видеоданных в реальном времени [11].
Появление импульсного шума на видео может быть вызвано различными факторами, наиболее распространёнными из которых являются: повреждение сенсоров видеокамеры, аппаратные отказы памяти цифровых устройств и кратковременные шумовые воздействия в среде передачи видеоданных [12]. В настоящее время известен ряд методов очистки видео от импульсного шума. В методе [1Э] предлагается заменять пиксель на значение из предыдущего кадра в случае детектирования искажения. В работе [7] предлагается вычислять медиану от значения исходного пикселя и максимума и минимума девяти различных комбинаций масок в окрестности 3*3 в трёх последовательных кадрах видео. Большим недостатком этого метода является отсутствие итераций и адаптивности, что не позволяет эффективно обрабатывать шумы высокой интенсивности и приводит к размытию видеоданных.
В данной работе мы предлагаем несколько итеративных методов очистки видео от импульсного шума, основанных на адаптивной медианной фильтрации. Варьируемым параметром в разработанном подходе является вид маски фильтра, а также наличие или отсутствие постобработки на основе функции Лоренца. Мы покажем результаты применения как известных методов, так и группы предложенных методов на полутоновых видео, искажённых импульсным шумом с интенсивностью от 1 % до 99 % включительно.
Основное содержание статьи организовано следующим образом. Существующие методы адаптивной медианной фильтрации приведены в параграфе 1. В параграфе 2 мы излагаем предложенный подход. В параграфе 3 приведено сравнение результатов работы предложенных методов с известными подходами с обсуждением полученных данных.
1. Адаптивная медианная фильтрация видеоданных
Будем считать, что цифровые видео представляются набором пикселей со значениями интенсивности у которых координаты (/,/) изменяются по некоторому подмножеству 22, где 2 - множество целых чисел, а к - номер кадра в видео. Для простоты описания будем рассматривать полутоновые видео, у которых значения интенсивности закодированы 8-битными числами и изменяются от 0 (чёрный цвет) до 255 (белый цвет). Для обобщения изложенных далее моделей и методов на случай цветного видео необходимо
просто рассмотреть каждый цветовой канал в отдельности и применить к нему соответствующий подход.
В настоящее время существует несколько моделей импульсного шума, которые изложены, например, в работе [14]. Различие между этими моделями имеет значение лишь при установлении факта наличия искажения в пикселе изображения. В данной статье мы не будем подробно касаться методов обнаружения импульсных искажений в общем случае, так как для этих целей разработаны эффективные алгоритмы, изложенные в [14, 15]. Вместо этого мы ограничимся рассмотрением наиболее простой модели, при которой под импульсным шумом понимается искажение сигнала импульсами, т. е. выбросами с очень большими положительными или отрицательными значениями и малой длительностью. При воздействии такого шума на 8-битное видео в оттенках серого каждый пиксель (независимо от остальных) с вероятностью р превращается в одно из двух фиксированных значений: 0 или 255. Если через х^^ обозначить значения интенсивности пикселей искажённого видео, то функция плотности распределения вероятностей импульсного шума/(х) задаётся выражением
/ (х) =
Ро при х,- ], к = 0;
1 - Ро - Р255 при 0 < хик < 255; Р255 при х,-, ¡к к = 255,
(1)
где Р0 - вероятность искажения пикселя значением 0, а Р255 - вероятность искажения пикселя значением 255, причём р0 + р255 = р. Рассмотрение более сложных моделей импульсного шума, при которых искажённые пиксели могут принимать значения, отличные от 0 или 255, окажет влияние лишь на процесс детектирования факта наличия искажённого пикселя, но не на процесс его восстановления. В настоящее время разработаны весьма эффективные детекторы для таких более сложных случаев [14], которые могут быть предварительно применены перед процедурой восстановления видео.
Одним из наиболее простых методов удаления шума (1) является [13], выполняющий преобразование по формуле
х,' 1, к
Ч1, к,
Ч1, к-Ь
еслих, /,к неискажён,
если х,-, 1,к искажён,
(2)
где х,^ - пиксели зашумленного видео, х'- пиксели после фильтрации. Данный метод демонстрирует неплохие результаты на статичных видео с шумами небольшой интенсивности. Однако с увеличением плотности шума и интенсивности движения качество этого метода резко снижается.
Шумовое воздействие, описанное в формуле (1), не зависит от яркости пикселя, его соседей и местоположения на кадре. Поэтому для удаления такого шума целесообразно использовать нелинейные филь-
тры, или фильтры порядковой статистики. Это связано с тем, что линейные фильтры распространяют свойства отсчёта сигнала на соседние участки в соответствии со своей передаточной функцией, что является крайне нежелательным при обработке шума (1). Для удаления импульсного шума обычно используются медианные фильтры, приблизительно сохраняющие среднюю яркость изображения. Например, стандартный медианный фильтр (СМФ) [16], обрабатывающий три последовательных кадра видео маской 3^3, описывается следующей формулой:
Ъ,],к = шеШап{х+¡+W2!к+wз : -1 < Wl < 1, -1 < w2 < 1, -1 < w3 < 1},
(3)
где Хукк - пиксели зашумленного видео, х'цк - пиксели после фильтрации, wl,w2,wз - параметры, определяющие положение окна для медианной фильтрации. Для уменьшения искажений на краях движущихся объектов СМФ может применяться с компенсацией движения [7]. Известна модификация метода СМФ, основанная на многоступенчатой медианной фильтрации (ММР), при которой медиана вычисляется от массива значений, полученных при нелинейной фильтрации видео масками различной пространственной ориентации [17].
Особенностью СМФ и его модификаций является преобразование всех пикселей видео, что приводит к искажению картинки, особенно заметному при использовании масок большого размера. Для устранения этого недостатка были предложены методы адаптивной медианной фильтрации, общая структура которых представлена на рис. 1.
Рис. 1. Схема работы адаптивного медианного фильтра для обработки видеоданных
Отличительной особенностью методов адаптивной медианной фильтрации является наличие механизма, определяющего необходимость преобразования пикселя. Другими словами, если установлен факт, что пиксель Ху,к не искажён, то он не изменяется при воздействии адаптивного фильтра, то есть х'у,к=Ху,к. Если же факт искажения пикселя установлен, то применяется процедура его исправления, основанная на СМФ или его модификациях. Применение такого интеллектуального подхода позволяет значительно улучшить качество очистки видеоданных от шума ценой увеличения времени обработки. Далее мы опишем предлагаемый нами подход к адап-
тивной медианной фильтрации видео, сочетающий в себе особенности учёта нескольких кадров видео и отличающийся сравнительно простой процедурой обработки.
2. Метод итеративной адаптивной медианной фильтрации видеоданных
Предложенный метод основан на итерационном выполнении адаптивной фильтрации с варьируемой маской фильтра и наличием или отсутствием постобработки полученных данных на основе функции Лоренца. Пусть {{у®к}, {у® к},-, {у^к )>,-> - последовательность видеомассивов в оттенках серого, а {{¿.м },{£®,к >,...,{£5^ >,...} - последовательность карт искаженных пикселей, в которых значения ¿(Ц определяются в зависимости от наличия искажения в пикселе у(")к следующим образом:
еслиу^к неискажён, если у0)к искажён.
(4)
В последовательности видеомассивов в оттенках серого, {} мы используем для обозначения пикселей в исходном зашумлённом видеомассиве и используем {у^ь} для обозначения значения пикселя в позиции i после п-й итерации. В последовательности карт искажённых пикселей {¿(¡^ > значение ¿(¡д = 0 означает, что пиксель с координатами (/',¡, к) не искажен, а ¿"]к = 1 означает, что пиксель с координатами (},], к) искажён и его требуется подвергнуть фильтрации. При использовании модели импульсного шума (1) начальные значения ¿(¡к устанавливаются равными 1, если у(р]к = 0 или у/°]к = 255 , и устанавливаются равными 0, если 0 < у(0)к < 255 .
На п-й итерации (п = 1,2,...) для каждого ¿П1 = 0, соответствующего неискажённому пиксе-нужно выполнить присваивание
лю
(п-1)
у, ¡к
уТ],к = . Для каждого £(П-1 = 1, соответствующего искажённому пикселю у{"/к, формируется массив значений пикселей М, зависящий от выбора маски фильтра. Мы предлагаем использовать две разновидности масок для удаления импульсного шума из видео.
Первый вид маски схематично показан на рис. 2а
и соответствует множеству пикселей
А = {у(п-1) у(п-1) у(п-1) у(п-1) у(п-1) у(п-1) } (5)
— 1 У1, ], к-1> У г-1, ¡, к'Уг, ]-1, к'Уг, ]+1, к^Уг+1, ], к > У/, ¡, к+1 ( •
Использование маски (5) в адаптивном медианном фильтре далее по тексту будем обозначать символом « + ». Второй вид маски схематично показан на рис. 2б и соответствует множеству пикселей
А _( У(п-1) У(п-1) У(п-1) ->-1) У(п-1) ^п _ (>1-1,1 -1,к-Ь >1-1,1,к-Ь Х-1,1+1,к-Ь .У/, 1 -1,к-Ь .У/, 1,к-1;
(и-1) (и-1) (и-1) (и-1) (и-1)
У,, 1+1,к-1, У,+1,1 -1,к-1, .У,'+1,1,к-1, у,+1,1+1,к-1, .У,'+1,1,к, У(и-1) У("-1) У("-1) У("-1) У("-1) У("-1) (6)
/,■+1,1+1, к > -У,-, 1+1, к > -У,'+1,1 -1, к > -У,-1,1 -1, к > >1-1,1, к > >1-1,1 -1, к+1 > ^
Л"-1) У("-1) У("-1) У("-1) У("-1)
Х-1,1, к+1 > >1-1,1+1, к+1; У,-1,1+1, к > Л,1 -1, к > >1,1 -1, к+1;
Л"-1) У("-1) Л"-1) У("-1) Л"-1) \
•У,,, 1,к+1; У,, 1+1,к+1; Л+1,1 -1,к+1; >1+1,1,к+1; -Хг+1,1+1,к+1 ) •
Использование маски (6) в адаптивном фильтре далее по тексту будем обозначать символом «□».
Кадры Кадры
Рис. 2. Виды масок адаптивного медианного фильтра, использующиеся в предложенном методе
Если какие-то из элементов множества A принимают недопустимые значения (выходят за границы видеоданных), то для соответствующих координат в массив M не добавляется ничего. Для оставшихся элементов множества A проверяется значение g(n-1) с соответствующей координатой в карте искаженных пикселей. Если оно равно 1, то в массив M не добавляется ничего, если оно равно 0, то в массив M добавляется элемент mt, равный значению пикселя с соответствующей координатой из видео y(n1). Если в результате просмотра всех элементов множества A оказалось, что массив M остался пустым, то необходимо присвоить g((jk = 1 (означающее, что пиксель с координатами (i,j, k) остался искажённым). Если в массиве M есть хотя бы один элемент, то необходимо присвоить gj = 0, а также найти его медиану median M. Если массив M состоит из нечётного числа элементов, то медиана median M равна элементу с номером (ц + 1)/2 для упорядоченного по возрастанию (убыванию) массива M. Если массив M состоит из чётного числа элементов, то медиана median M равна среднему арифметическому элементов с номерами д/2 и (д/2) + 1 для упорядоченного по возрастанию (убыванию) массива M.
Для восстановления искажённого пикселя видео yj мы предлагаем использовать один из двух способов. Первый способ восстановления заключается в непосредственном присваивании этому пикселю значения медианы:
yf>k = median M .
(7)
Использование формулы (7) для восстановления искажённого пикселя видеомассива далее по тексту будем обозначать «АМ». Второй способ восстановления основан на оценке искажённого пикселя с ис-
пользованием распределения Лоренца. В этом случае для каждого пикселя mt нужно рассчитать величину
d, = m, - median M .
(8)
Для каждого ёг находится значение функции Лоренца из [18] по формуле
4>(d,) =
2d,
2ст2 + d22
(9)
где ст - уровень отклонения, зависящий от дисперсии изображения. Идея применения функции Лоренца для восстановления визуальной информации была предложена в [19]. Указанная работа рассматривает математические свойства целого класса функций, определяющих веса пикселей, удалённых от опорного значения, и делает вывод о том, что практическое применение именно функции Лоренца позволяет наиболее точно передавать границы и другие локальные особенности изображений. Исправленному значению пикселя у(("Цк присваивается значение
X
m, y(d,)
d,
X
m(d,) d
(10)
Использование формул (8)-(10) для восстановления искаженного пикселя видеомассива далее по тексту будем обозначать «AML».
Процедура восстановления видео останавливается после N-й итерации, на которой не осталось искажённых пикселей, то есть
XXX ij=0.
(11)
Видеомассив у(-Ы) считается восстановленным выходным видео.
Возможны четыре различные комбинации алгоритмических блоков предложенного метода.
1. Использование маски фильтра, изображённой на рис. 2а, в сочетании с восстановлением пикселя по формуле (7). Далее будем обозначать такой вариант предложенного метода как АМ+.
2. Использование маски фильтра, изображённой на рис. 2а, в сочетании с восстановлением пикселя по формулам (8)-(10). Далее будем обозначать такой вариант предложенного метода как АМЬ+.
3. Использование маски фильтра, изображённой на рис. 26, в сочетании с восстановлением пикселя по формуле (7). Далее будем обозначать такой вариант предложенного метода как АМ.
4. Использование маски фильтра, изображённой на рис. 2б, в сочетании с восстановлением пикселя по формулам (8)-(10). Далее будем обо-
k
значать такой вариант предложенного метода как AML □.
Предложенный метод отличается алгоритмической простотой и универсальностью в использовании. Он не требует вычислительно затратных процедур детектирования движения, как в методах, использующих компенсацию движения. Использование маски фильтра, изображённой на рис. 2а, позволяет одновременно учесть данные из трёх последовательных кадров видео и в то же время снизить до минимума основную вычислительную нагрузку системы, которая тратится на сортировку массивов. Например, при использовании СМФ, описываемого формулой (2), необходимо сортировать массивы из 27 элементов, а при использовании вариантов AM+ и AML+ предложенного метода необходимо сортировать не более 6 элементов, то есть в 4,5 раза меньше. Используемая в предложенном методе итеративность направлена на
подавление шумов с высокой интенсивностью. В большинстве практических случаев обработки шумов с низкой интенсивностью 0< р < 0,25 достаточно одной итерации N = 1, что позволяет использовать предложенный метод в системах реального времени, критически зависящих от скорости обработки сигнала.
В следующем параграфе мы продемонстрируем результаты применения и выполним сравнительный анализ для вариаций предложенного метода при очистке от импульсного шума реальных видеоданных.
3. Экспериментальное моделирование методов очистки видео от импульсного шума
Для моделирования было использовано полутоновое видео [20], серия кадров которого приведена на рис. 3. Видео содержит 113 кадров, имеет кадровую частоту 24 кадра в секунду, разрешение 320*180 и формат ".ауГ.
I б) ^н чар* в)
Рис. 3. Кадры из видео, использующегося в моделировании: 1-й кадр (а); 66-й кадр (б); 113-й кадр (в)
Видеоданные были искусственно искажены импульсным шумом (1) с вероятностями
p = 0,01; 0,1; 0,25; 0,5; 0,75; 0,9; 0,99
при помощи команды "imnoise" программной среды MATLab. Полученные искажённые видео были обработаны при помощи известных методов из работ [16], [17], [13], [21], [8], а также с использованием предложенных методов AM+, AML+, AM□ и AML □. Для оценки качества обработки методов очистки от импульсного шума мы использовали две метрики: среднеквадратичное отклонение (MSE) и индекс структурного сходства (SSIM) между оригинальным неза-шумлённым видео и видео, полученным после применения алгоритма очистки.
Величина MSE вычисляется по следующей формуле
MSE (y, x ) =
jk -xi,jk)
i j k
D • А • D3
(12)
где А, В2 и В3 - ширина, высота и количество кадров видео, и показывает среднеквадратическую ошибку восстановленного видеомассива у у к в сравнении с исходным Ху^. Меньшее значение величины МЕЕ означает лучшее качество восстановления данных и, следовательно, лучшее качество работы алгоритма очистки от шума.
Величина 881М вычисляется по формуле
SSIM (y, x) =-
(2ц y д x + c:)(2c yx + c2)
(д y + д x + йХа J + с 2 + c2)
(13)
где ^y - среднее y, ^x - среднее x, c2y - дисперсия y, с2 - дисперсия x, ayx - ковариация y и x, ci = (kiL)2, c2 = (k2L)2 - две переменные, L - динамический диапазон пикселей, равный 255 в рассматриваемых случаях, k1 = 0,01 и k2 = 0,03 - константы. Величина SSIM находится в пределах между 0 и 1 и равна 1 для тождественно равных изображений. Большее значение величины SSIM соответствует лучшему качеству алгоритма очистки от шума [22].
Результаты эксперимента представлены в табл. 1 и 2. На рис. 4-6 для наглядности качества обработки представлен 66-й кадр исходного, искажённых и восстановленных видео.
Из табл. 1 и 2 видно, что во всех рассматриваемых случаях хотя бы один из вариантов предложенного метода показывал лучший результат. В большинстве случаев это был AML+. При этом для импульсного шума с низкой вероятностью p = 0,01 более предпочтительным оказался подход AM+, не использующий постобработку медиан на основе функции Лоренца. Для шума с экстремально высокой эффективностью p = 0,99 более предпочтителен метод AML □, который использует маску большего размера по сравнению с AML+, что позволяет находить ближайший неискажённый пиксель за меньшее число итераций. Наиболее близкий по качеству результат из известных ме-
тодов продемонстрировали методы [21] и [8]. Однако эти методы не используют данные из соседних кад-
ров при восстановлении искажённого пикселя, что в конечном итоге привело к худшему результату.
Табл. 1. Значения МБЕ для различных методов очистки видеоданных от импульсного шума
Уровень шума Известные методы Предлагаемые методы
[16] [17] [13] [21] [8] АМ+ АМ1+ АМ □ АМЬ □
0,01 240,3923 34,2257 9,7823 11,5859 11,6076 8,6995 8,6548 10,7568 10,7744
0,1 288,3087 900,1149 206,2129 43,3130 43,7978 14,2471 14,0543 34,2327 34,5776
0,25 511,8830 3719,8 1231,3 111,0965 113,0224 31,0155 30,7739 77,3724 78,3227
0,5 2524,3 9283,1 4909,7 280,4009 284,2070 103,4747 103,4365 173,1397 166,6520
0,75 8973,9 14564 11024 571,2743 574,0035 277,2168 276,1015 349,7904 309,4226
0,9 15049 17593 15869 1032,5 1034,6 537,2427 514,2421 579,0856 533,0729
0,99 19140 19390 19202 2662,1 2943,1 1344,1 1280,8 1378,6 1278,4
Табл. 2. Значения ББПМ для различных методов очистки видеоданных от импульсного шума
Уровень шума Известные методы Предлагаемые методы
[16] [17] [13] [21] [8] АМ+ АМЬ+ АМ □ АМЬ □
0,01 0,8207 0,9717 0,9912 0,9923 0,9923 0,9938 0.9938 0,9927 0,9927
0,1 0,7975 0,5331 0,7876 0,9750 0,9747 0,9904 0,9905 0,9796 0,9794
0,25 0,6519 0,2331 0,4573 0,9381 0,9373 0,9809 0,9810 0,9546 0,9541
0,5 0,2376 0,0871 0,1879 0,8461 0,8446 0,9416 0,9415 0,8977 0,8988
0,75 0,0617 0,0325 0,0658 0,6978 0,6970 0,8505 0,8506 0,7997 0,8104
0,9 0,0202 0,0133 0,0240 0,5071 0,5069 0,7241 0,7300 0,6886 0,6988
0,99 0,0046 0,0041 0,0050 0,1598 0,1352 0,4353 0,4469 0,4178 0,4301
Рис. 4. а) 66-й кадр оригинального видео; б) 66-й кадр видео, искаженного импульсным шумом с интенсивностью р = 0,25; в) результат восстановления методом [16], МБЕ = 511,8830, ББ1М = 0,6519; г) результат восстановления методом [17], МБЕ = 3719,8, ББ1М = 0,2331; д) результат восстановления методом [13], МБЕ = 1231,3, ББМ = 0,4573; е) результат восстановления методом [21], МБЕ = 111,0965, ББ1М = 0,9381; ж) результат восстановления методом [8] МБЕ = 113,0224, ББ1М= 0,9373;з) результат восстановления методом АМЬ+, МБЕ = 30,7739, ББ1М= 0,9810
Предложенный метод может быть реализован с одним проходом (без итераций) для обработки в реальном времени ценой снижения качества обработки. В табл. 3 показаны результаты одного прохода фильтром ЛМЬ+. Из этой таблицы видно, что результаты после одного прохода не сильно отличаются от итерационной обработки для шумов с вероятностью, не большей 0,25. Это наблюдение позволяет сделать вывод о применимости предложенного метода с одним
Табл. 3. Результаты обработки видео предложеннъ
проходом в системах реального времени, для устранения импульсного шума с низкой интенсивностью.
Обобщая полученные результаты, можно сделать вывод, что предложенный метод очистки видеоданных от импульсного шума демонстрирует лучшие результаты по сравнению с известными. Для большинства практических случаев лучше всего подойдет модификация АМЬ+, однако при выборе варианта предложенного метода необходимо учитывать специфику решаемой практической задачи.
*етодом АМЬ+ и методом АМЬ+ с одним проходом
Уровень шума MSE SSIM
AML+ AML+ с одним проходом AML+ AML+ с одним проходом
0,01 8,6548 8,7218 0,9938 0,9938
0,1 14,0543 14,0683 0,9905 0,9905
0,25 30,7739 31,9841 0,9810 0,9792
0,5 103,4365 257,0268 0,9415 0,7758
0,75 276,1015 2845,4 0,8506 0,2624
0,9 514,2421 9572,3 0,7300 0,0722
0,99 1280,8 18299 0,4469 0,0084
Рис. 5. а) 66-й кадр оригинального видео; б) 66-й кадр видео, искаженного импульсным шумом с интенсивностью p = 0,9; в) результат восстановления методом [16], MSE = 15049, SSIM = 0,0202; г) результат восстановления методом [17], MSE = 17593, SSIM= 0,0133; д) результат восстановления методом [13], MSE = 15869, SSIM= 0,0240; е) результат восстановления методом [21], MSE = 1032,5, SSIM = 0,5071; ж) результат восстановления методом [8] MSE = 1034,6, SSIM = 0,5069;з) результат восстановления методом AML+, MSE = 514,2421, SSIM = 0,7300
Заключение
В работе предложен новый метод очистки видеоданных от импульсного шума, который позволяет улучшить качество обработки по сравнению с известными подходами. Численная оценка результатов моделирования на основе МЖ и 88ГМ позволяет сделать вывод о том, что разработанные методы лучше справляются как с очисткой от шумов с низкой интенсивностью, так и с очисткой от экстремальных шумов с интенсивностью 90... 99%. Визуальное сопоставление результатов обработки позволяет сделать вывод о том, что предложенный метод не только хорошо справляется с восстановлением искажённых пикселей видео, но и позволяет сохранить детали видеоданных. Полученный результат позволяет решать
проблему очистки от импульсного шума с более высокой эффективностью.
Интересным направлением дальнейших исследований является применение предложенных методов в практических приложениях цифровой обработки видео, например, для обработки визуальных данных в системах видеонаблюдения, идентификации и контроля промышленных процессов.
Благодарности
Работа выполнена при финансовой поддержке базовой части государственного задания (№2.6035.2017/БЧ), Российского фонда фундаментальных исследований (проекты №18-07-00109 А, №19-07-00130 А и №18-3720059 мол-а-вед), совета по грантам Президента Российской Федерации (проект СП-2245.2018.5).
Рис. 6. а) 66-й кадр оригинального видео; б) 66-й кадр видео, искаженного импульсным шумом с интенсивностьюр = 0,99; в) результат восстановления методом [16], МБЕ = 19140, ББПМ = 0,0046; г) результат восстановления методом [17], МБЕ = 19390, ББ1М = 0,0041; д) результат восстановления методом [13], МБЕ = 19202, ББПМ = 0,0050; е) результат восстановления методом [21], МБЕ = 2662,1, ББ1М = 0,1598; ж) результат восстановления методом [8] МБЕ = 2943,1, ББМ = 0,1352; з) результат восстановления методом АМЬп, МБЕ = 1278,4, ББ1М = 0,4301
Литература
1. Bovik, A.C. Handbook of image and video processing / A.C. Bovik. - Orlando, FL: Academic Press, 2010. -1Э72 p. - ISBN: 978-0-12-119792-6.
Gonzalez, R.C. Digital image processing / R.C. Gonzalez, R.E. Woods. - 4th ed. - Upper Saddle River: Pearson Prentice Hall, 2018. - 1024 p. - ISBN 978-0-13-335672-4. Bovik, A.C. The essential guide to image processing / A.C. Bovik. - Orlando, FL: Academic Press, 2010.
4. Chervyakov, N.I. Efficiency analysis of the image impulse noise cleaning using median filters with weighted central element / N.I. Chervyakov, P.A. Lyakhov, A.R. Orazaev, M.V. Valueva // 2017 IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON). - 2017. - P. 141-146.
5. Hwang, H. Adaptive median filters: new algorithms and results / H. Hwang, R.A. Haddad // IEEE Transactions on Image Processing. - 1995. - Vol. 4, Issue 4. - P. 499-502. -DOI: 10.1109/83.370679.
6. Червяков, Н.И. Два метода адаптивной медианной фильтрации импульсного шума на изображениях / Н.И. Червяков, П.А. Ляхов, А.Р. Оразаев // Компьютерная оптика. - 2018. - Т. 42, № 4. - С. 667-678.
7. Bovik, A.C. The essential guide to video processing / A.C. Bovik. - San Diego, CA: Academic Press, 2009. - 755 p.
8. Aiswarya, K. A new and efficient algorithm for the removal of high density salt and pepper noise in images and videos / K. Aiswarya, V. Jayaraj, D. Ebenezer // 2010 Second International Conference on Computer Modeling and Simulation. - 2010. - Vol. 4. - P. 409-413.
9. Balasubramanian, S. An efficient non-linear cascade filtering algorithm for removal of high density salt and pepper noise in image and video sequence / S. Balasubramanian, D. Ebenezer // 2009 IEEE International Conference on Control, Automation, Communication and Energy Conservation. - 2009. - P. 1-6.
10. Tang, M. Hadamard transform-based optimized HEVC video coding / M. Tang, X. Chen, J. Wen, Y. Han // IEEE Transactions on Circuits and Systems for Video Technology. - 2019. - Vol. 29, Issue 3. - P. 827-839.
11. Vayalil, N. A residue number system hardware design of fast-search variable-motion-estimation accelerator for HEVC/H.265 / N.C. Vayalil, M. Paul, Y. Kong // IEEE Transactions on Circuits and Systems for Video Technology. - 2017. - Vol. 29, Issue 2. - P. 572-581.
12. Chen, Y. Structure-adaptive fuzzy estimation for random-valued impulse noise suppression / Y. Chen, Y. Zhang, H. Shu, J. Yang, L. Luo // IEEE Transactions on Circuits and Systems for Video Technology. - 2018. - Vol. 28, Issue 2. - P. 414-427 - DOI: 10.1109/TCSVT.2016.2615444.
13. Пат. 2382406 C1 Российская Федерация G 06 K 9/00 /
Способ улучшения карты диспарантности и устройство для реализации способа / Буча В.В., Игнатов А.К.; патентообладатель^): Корпорация "Самсунг Электроникс Ко., Лтд." (KR); 2008140111/28, заявл. 10.10.2008; опубл. 20.02.2010, Бюл. № 5. - 22 с,: ил.
14. Fabijanska, A. Noise adaptive switching median-based filter for impulse noise removal from extremely corrupted images / A. Fabijanska, D. Sankowski // IET Image Processing. - 2011. -Vol. 5, Issue 5. - P. 472-480. - DOI: 10.1049/iet-ipr.2009.0178.
15. Lu, C.-T. Removal of salt-and-pepper noise in corrupted image using three-values-weighted approach with variable-size-window / C.-T. Lu, Y.-Y. Chen, L.-L. Wang, C.-F. Chang // Pattern Recognition Letters. - 2016. - Vol. 80. - P. 188199. - DOI: 10.1016/j.patrec.2016.06.026.
16. Tukey, J.W. Exploratory data analysis / J.W. Tukey. -Reading, MA: Pearson, 1977. - ISBN: 978-0-201-07616-5.
17. Arce, G.R. Multistage order statistic filters for image sequence processing // IEEE Transactions on Signal Processing. - 1991. - Vol. Э9, Issue 5. - P. 1146-116Э.
18. Vijaykumar, V.R. High density impulse noise removal using robust estimation based filter / V.R. Vijaykumar, P.T. Vanathi, P. Kanagasabapathy, D. Ebenezer // IAENG International Journal of Computer Science. - 2008. - Vol. Э5, Issue Э. - P. 259-266.
19. Black, M.J. On the unification of line processes, outlier rejection, and robust statistics with applications in early vision / M.J. Black, A. Rangarajan // International Journal of Computer Vision. - 1996. - Vol. 19, Issue 1. - P. 57-91. -DOI: 10.1007/BF00131148.
20. Bitbucket [Electronical Resource]. - URL: https://bitbucket.org/anzor_orazaev/testvideo/src/master/ (request date Э0.05.2019).
21. Wang, Z. Progressive switching median filter for the removal of impulse noise from highly corrupted images / Z. Wang, D. Zhang // IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing. - 1999. -Vol. 46, Issue 1. - P. 78-80. - DOI: 10.1109/82.749102.
22. Wang, Z. Image quality assessment: From error visibility to structural similarity / Z. Wang, A.C. Bovik, H.R. Sheikh, E.P. Simoncelli // IEEE Transactions on image processing. - 2004. - Vol. 1Э, Issue 4. - P. 600-612. - DOI: 10.1109/TIP.2003.819861.
Сведения об авторах
Червяков Николай Иванович, 19Э5 года рождения, в 1965 году окончил Харьковское высшее командно-инженерное училище. В 1972 г. защитил кандидатскую диссертацию, защитил докторскую диссертацию в 1987 г. Получил звание доцента в 1974 г., звание профессора - в 1989 г. Заведующий кафедрой прикладной математики и математического моделирования ИМЕН ФГАОУ ВПО «Северо-Кавказский федеральный университет». Область научных интересов: цифровая обработка изображений, искусственный интеллект, компьютерная арифметика, цифровые устройства. E-mail: [email protected].
Ляхов Павел Алексеевич, 1988 года рождения, в 2009 году окончил Ставропольский государственный университет по специальности «Математика», доцент кафедры прикладной математики и математического моделирования ИМЕН ФГАОУ ВПО «Северо-Кавказский федеральный университет», кандидат физико-математических наук. Область научных интересов: цифровая обработка изображений, искусственный интеллект, компьютерная арифметика, цифровые устройства. E-mail: [email protected] .
Оразаев Анзор Русланович, 1995 года рождения. Аспирант, ИМЕН ФГАОУ ВПО «Северо-Кавказский федеральный университет». Область научных интересов: цифровая обработка изображений, искусственный интеллект, адаптивная фильтрация сигналов. E-mail: [email protected].
ГРНТИ: 28.23.15
Поступила в редакцию 3 июня 2019 г. Окончательный вариант - 7 октября 2019 г.
3D-generalization of impulse noise removal method for video data processing
N.I. Chervyakov1, P.A. Lyakhov1, A.R. Orazaev1 1 North-Caucasus Federal University, 355009, Russia, Stavropol, Pushkin street 1
Abstract
The paper proposes a generalized method of adaptive median impulse noise filtering for video data processing. The method is based on the combined use of iterative processing and transformation of the result of median filtering based on the Lorentz distribution. Four different combinations of algorithmic blocks of the method are proposed. The experimental part of the paper presents the results of comparing the quality of the proposed method with known analogues. Video distorted by impulse noise with pixel distortion probabilities from 1% to 99% inclusive was used for the simulation. Numerical assessment of the quality of cleaning video data from noise based on the mean square error (MSE) and structural similarity (SSIM) showed that the proposed method shows the best result of processing in all the considered cases, compared with the known approaches. The results obtained in the paper can be used in practical applications of digital video processing, for example, in systems of video surveillance, identification systems and control of industrial processes.
Keywords: digital video processing, adaptive filtering, median filter.
Acknowledgments: This work was supported by the Government of the Russian Federation (state order no. 2.6035.2017/BCh), the Russian Foundation for Basic Research (project no. 18-0700109 A, №19-07-00130 A and №18-37-20059 mol-a-ved), and by the Presidential Grant of the Russian Federation (project no. SP-2245.2018.5).
Citation: Chervyakov NI, Lyakhov PA, Orazaev AR. 3D-generalization of impulse noise removal method for video data processing. Computer Optics 2019; 44(1): 92-101. DOI: 10.18287/2412-6179-C0-577.
References
[1] Bovik AC. Handbook of image and video processing. Orlando, FL: Academic Press; 2010. ISBN: 978-0-12119792-6.
[2] Gonzalez RC, Woods RE. Digital image processing. Upper Saddle River: Pearson Prentice Hall; 2018. ISBN: 978-0-1Э-ЭЭ5672-4.
[3] Bovik AC. The essential guide to image processing. Orlando, FL: Academic Press, 2010.
[4] Chervyakov NI, Lyakhov PA, Orazaev AR, Valueva MV. Efficiency analysis of the image impulse noise cleaning using median filters with weighted central element. IEEE International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON) 2017: 141-146.
[5] Hwang H, Haddad RA. Adaptive median filters: new algorithms and results. IEEE Transactions on Image Processing 1995; 4(4): 499-502. DOI: 10.1109/8Э.Э70679.
[6] Chervyakov NI, Lyakhov PA, Orazaev AR. Two methods of adaptive median impulse noise filtering on images. Computer Optics 2018; 42(4): 667-678.
[7] Bovik AC. The essential guide to video processing. Sun Diego, CA: Academic Press; 2009.
[8] Aiswarya K, Jayaraj V, Ebenezer D. A new and efficient algorithm for the removal of high density salt and pepper noise in images and videos. IEEE Second International Conference on Computer Modeling and Simulation 2010; 4: 409-413.
[9] Balasubramanian S, Ebenezer D. An efficient non-linear cascade filtering algorithm for removal of high density salt and pepper noise in image and video sequence. IEEE International Conference on Control, Automation, Communication and Energy Conservation 2009: 1-6.
[10] Tang M, Chen X, Wen J, Han Y. Hadamard transform-based optimized HEVC video coding. IEEE Transactions on Circuits and Systems for Video Technology 2019; 29(3): 827-839.
[11] Vayalil NC, Paul M, Kong Y. A residue number system hardware design of fast-search variable-motion-estimation accelerator for HEVC/H.265. IEEE Transactions on Circuits and Systems for Video Technology 2017, 29(2): 572-581.
[12] Chen Y, Zhang Y, Shu H, Yang J, Luo L. Structure-adaptive fuzzy estimation for random-valued impulse noise suppression. IEEE Transactions on Circuits and Systems for Video Technology 2018; 28(2): 414-427. DOI: 10.1109/TCSVT.2016.2615444.
[13] Bucha VV, Ignatov AK. Method for improving disparity map and device for implementing method [In Russian]. Pat RF of Invent N RU2382406C1 of February 20, 2010; Russian Bull of Inventions N5.
[14] Fabijanska A, Sankowski D. Noise adaptive switching median-based filter for impulse noise removal from extremely corrupted images. IET Image Processing 2011; 5(5): 472480. DOI: 10.1049/iet-ipr.2009.0178.
[15] Lu C-T, Chen Y-Y, Wang L-L, Chang C-F. Removal of salt-and-pepper noise in corrupted image using three-values-weighted approach with variable-size-window. Patt Recogn Let 2016; 80: 188-199. DOI: 10.1016/j.patrec.2016.06.026.
[16] Tukey JW. Exploratory data analysis. Reading, MA: Pearson; 1977. ISBN: 978-0-201-07616-5.
[17] Arce GR. Multistage order statistic filters for image sequence processing. IEEE Transactions on Signal Processing 1991; 39(5): 1146-1163.
[18] Vijaykumar VR, Vanathi PT, Kanagasabapathy P, Ebenezer D. High density impulse noise removal using robust estimation based filter. IAENG International Journal of Computer Science 2008; 35(3): 259-266.
[19] Black MJ, Rangarajan A. On the unification of line processes, outlier rejection, and robust statistics with applications in early vision. Int J Comput Vision 1996; 19(1): 5791. DOI: 10.1007/BF00131148.
[20] Bitbucket. Source: (https://bitbucket.org/anzor_orazaev/ testvideo/src/master/).
[21] Wang Z, Zhang D. Progressive switching median filter for the removal of impulse noise from highly corrupted images. IEEE Transactions on Circuits and Systems II: Analog
and Digital Signal Processing 1999; 46(1): 78-80. DOI: 10.1109/82.749102.
[22] Wang Z, Bovik AC, Sheikh HR, Simoncelli EP. Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing 2004, 13(4): 600-612. DOI: 10.1109/TIP.2003.819861.
Authors' information
Nikolay Ivanovich Chervyakov (b. 1935) graduated from Kharkov Higher Command and Engineering School in 1965. Since 1972 is the Candidates of Technical Sciences, 1987 - the Doctor of Technical Sciences. Received the title of associate professor in 1974, the title of professor - in 1989. Head of Applied Mathematics and Mathematical Modeling Department, North-Caucasus Federal University, Doctor of Technical Sciences. Research interests are digital signal and image processing, artificial intelligence, residue number system, digital circuits, high-performance computing, cryptography. E-mail: [email protected] .
Pavel Alekseyevich Lyakhov (b. 1988) graduated from Stavropol State University, specialty "Mathematics" in 2009. Assistant Professor, of Applied Mathematics and Mathematical Modeling department, North-Caucasus Federal University. Research interests are digital signal and image processing, artificial intelligence, residue number system, digital circuits, high-performance computing. E-mail: [email protected] .
Anzor Ruslanovich Orazaev (b. 1995) PhD student, North-Caucasus Federal University. Research interests are digital image processing, artificial intelligence and adaptive filtering of signals. E-mail: [email protected].
Received June 3, 2019. The final version - October 7, 2019.
