CC BY
134
НАУКА и ОБРАЗОВАНИЕ
Эя №ФС 77 - 3056-9. Государствен над регистрация №0421100025.155Н 1994-0405_
Анализ эффективности алгоритмов билатеральной фильтрации 77-30569/340957
# 02, февраль 2012 Крапчатова Т. В., Филиппов М. В.
УДК 621.395
МГТУ им. Н.Э. Баумана [email protected]
Изображения в процессе формирования их системами (фотографическими, голографическими, телевизионными) обычно подвергаются воздействию различных случайных помех или шумов. Фундаментальной проблемой в области обработки изображений является эффективное удаление шума при сохранении важных для последующего распознавания деталей изображения. Сложность решения данной задачи существенно зависит от характера шумов.
Наиболее распространенным видом помех является случайный аддитивный шум, статистически независимый от сигнала. Модель аддитивного шума используется тогда, когда сигнал на выходе системы или на каком-либо этапе преобразования может рассматриваться как сумма полезного сигнала и некоторого случайного сигнала. Модель аддитивного шума хорошо описывает действие зернистости фотопленки, шум в радиотехнических системах, шум квантования в аналого-цифровых преобразователях и т.п.
В последние два десятилетия в цифровой обработке изображений активно развиваются нелинейные алгоритмы на основе ранговой статистики для восстановления изображений, поврежденных различными моделями шумов [1]. Подобные алгоритмы позволяют избежать дополнительного искажения изображения при удалении шума, а также значительно улучшить результаты работы фильтров на изображениях с высокой степенью зашумленности. Частным случаем рангового фильтра является медианный фильтр.
Медианные фильтры и их модификации достаточно часто применяются на практике как средство предварительной обработки цифровых данных из-за простоты программной и аппаратной реализации. Специфической особенностью фильтров является избирательность обработки пикселей: наибольшее влияние оказывается на немонотонные составляющие, монотонные фильтр оставляет без изменений. Особенно эффективным медианный фильтр оказывается при очистке
сигналов от импульсных шумов при обработке изображений, акустических сигналов, передаче кодовых сигналов и т.п. Также применяют медианную фильтрацию с адаптивным изменением размера окна фильтра в зависимости от динамики сигнала и характера шумов (адаптивная медианная фильтрация), что позволяет изменять только интенсивности только искаженных пикселей. Однако, подавление аддитивного шума данным фильтром намного менее эффективно, т.к. степень размытия границ изображения может превысить допустимые значения.
Сгладить изображение с сохранением четких границ позволяет использование билатерального фильтра [2]. На рис. 1 представлены результаты сглаживания зашумленного изображения с использованием медианного и билатерального фильтра. Нетрудно заметить, что медианный фильтр существенно размывает границы предметов. В тоже время билатеральный фильтр, подавляя шум и малоразмерные детали, сохраняет резкость границ.
а) б) в)
Рис. 1. Сравнение шумоподавления билатеральным и медианным фильтрами (а- зашумленное изображение, б - шумоподавление медианным фильтром, в - шумоподавление билатеральным
фильтром).
В настоящее время вопросам билатеральной фильтрации посвящено большое количество работ. Билатеральный фильтр был адаптирован для таких задач, как: удаление текстуры [3], динамическое ранговое сжатие [4] и обработка фотографий [5, 6]. Также успешно используется в других областях: выделение контуров [7, 8], объемное
шумоподавление [9] и коррекция видео. Такой широкий спектр применения фильтр получил из-за нескольких особенностей. С одной стороны, простота формализации и
выполнения: пиксель просто заменяется взвешенным средним его соседей. Кроме того билатеральный фильтр не итерационен, т.е. удовлетворительный результат достигается уже после одного прохождения, что позволяет интуитивно понимать параметры фильтра, т.к. их действие не зависит от кумулятивного эффекта нескольких итераций. С другой стороны, билатеральный фильтр нелинеен и не имеет практического применения без различных улучшений, т.к. требует больших вычислительных ресурсов.
На рис. 2 представлена структурная схема билатерального фильтра. Результатом работы билатерального фильтра является вычисление интенсивности каждого пикселя, как взвешенного среднего интенсивностей соседних пикселей [2]. Вес, связанный с каждым соседним пикселем, изменяется в соответствии со значениями расстояний на плоскости изображения (пространственный вес) и на оси интенсивности (ранговый вес), что позволяет сохранять четкие границы элементов изображения. Используя функцию Гаусса ^о-в виде зависимости и считая входное изображение / черно-белым, определим результат билатерального фильтра Ь для каждого пикселя р:
I = т 2 о., (11Р - 411) о. к - и)К
т =2 С., (||Р - 4||) С. (| I р - /,|),
где: £ - множество возможных позиций пикселей изображения;
Я - количество используемых цветов;
р = (р*,ру)е - позиция центрального пикселя;
q - позиция соседнего пикселя;
е л: - интенсивности пикселейр и qв диапазоне [0,1];
функции Гаусса с параметрами^ и аг \
Жр - сумма весов для нормализации значений.
Параметр задает количество соседних пикселей, значение которых учитывается при обработке одного пикселя области Л’, °г отражает потерю в весе соседними пикселями при разности интенсивностей. На рис. 2 показано вычисление веса отдельного пикселя на простом примере (изображение представлено в виде двумерного сигнала).
Исходное
изображение
Рис. 2. Сглаживание билатеральным фильтром исходного сигнала с сохранением границ.
Билатеральный фильтр также может быть определен с использованием быстрого преобразования Фурье [4], но Гауссов билатеральный фильтр получил большее практическое применение.
Точная обработка билатеральным фильтром с использованием определения требует больших затрат вычислительных ресурсов, что неприменимо, например, для предварительной обработки цифровых данных. Существует четыре приближенных метода билатеральной фильтрации [1]. В настоящей работе выполнен сравнительный анализ этих методов с точки зрения критериев качества фильтрации и быстродействия.. Выработаны рекомендации к их применению в конкретных случаях.
При реализации билатеральной фильтрации прямым методом вычисление интенсивности пикселя происходит по ограниченной области^ по следующей формуле:
" £С.(||р-Ч||) С.(|/,, -/,|) /„
Эта область содержит в себе пиксели, удаленные от центрального не более чем на удвоенное стандартное отклонение 2% т.к. вклад остальных пикселей незначителен.
Сложность алгоритма по данному методу - 3 Такое приближение эффективно
только для небольших ядер (малых значениях параметра аз) из-за квадратичной зависимости от С помощью данного алгоритма можно получить результат близкий к
пространственный вес ранговый вес
произведение рангового и пространственного весов
точному за счет больших временных затрат, например, обработка изображения размером 8 Мп длится более 10 минут.
По методу разделяемого ядра двумерный фильтр заменяется двумя одномерными, применяемыми последовательно. Сначала изображение фильтруется по столбцам, затем по строкам. Каждый раз используется прямой метод билатеральной фильтрации, преобразованный для одномерного массива исходных данных. Такой прием значительно сокращает время вычислений, т.к. количество обрабатываемых пикселей
пропорционально радиусу ядра. Сложность данного алгоритма становится равной^ т.к. множество рассматриваемых пикселей одномерно. Время вычислений по данному алгоритму существенно меньше по сравнению с прямым алгоритмом и линейно возрастает при увеличении размеров ядра.
Данный метод фильтрации эффективен при небольших ядрах и применим для обработки видео, при условии применения нескольких итераций фильтра с небольшим ядром. Но фильтр неприменим для больших ядер (о* > 5 пикселей) из-за появления видимых артефактов, т.к. при увеличении размеров ядра область, обрабатываемая для вычисления веса каждого пикселя, содержит все больше разнообразных деталей изображения, например, несколько краев объекта и его внутренних границ. Но эти особенности не могут повлиять на результат фильтрации из-за раздельной обработки строк и столбцов. Также существует расширение описанной идеи, где разделяемые оси ориентированы по градиенту изображения, что усложняет фильтрацию из-за предварительного анализа исходного изображения, но позволяет улучшить качество результата.
Метод локальных гистограмм не учитывает расстояние между пикселями. Результат вычисляется по пикселям, захватываемым квадратным ядром (локальной гистограмме^г<%) по следующей формуле:
где ЯвьИ ={цЛр ~Ч1< 0-5}.
За счет исключения пространственного веса происходит ускорение вычислений, т.к. для двух соседних пикселей локальные гистограммы почти полностью совпадают.Сложность
выполнения составляет порядка нескольких секунд даже для больших ядер (радиусом 100 пикселей для более чем 8 Мп изображения).
алгоритма вычисляется как логарифм от радиуса ядра - 1о§сг3) Таким образом, время
Недостатком применения данного метода является появление ореолов возле резких границ, т.н. полос Маха. Избежать этого эффекта можно применив фильтр в три итерации, оставляя ранговые веса постоянными, что сглаживает границы артефактов. Но подобное улучшение приводит к тому, что схема алгоритма становится трудной для адаптации, в особенности для цветных изображений и других задач фильтрации изображений с большим объемом обрабатываемой информации.
Основная идея метода билатеральной решетки заключается в том, чтобы результат зависел только от расстояния между пикселями. Изображение представляется в трехмерном пространстве, где к стандартным координатам плоскости изображения добавляется координата интенсивности пикселя, т.е. вычисляем однородный вектор по формуле:
Полученное пространство сжимается с заданной частотой дискретизации, при этом информация по каждому пикселю сохраняется в соответствующей ему грубой накопительной ячейке. Объемная структура, состоящая из таких ячеек, называется билатеральной решеткой. Далее производится обработка билатеральным фильтром с учетом только расстояния между пикселями, а именно свертка с трехмерной функцией
Гаусса с параметрами , после чего результат восстанавливается по исходным
позициям пикселей: трилинейная интерполяция и нормализация результата Данный алгоритм позволяет производить обработку с ядрами любого размера за короткий промежуток времени (примерно 1 сек).
пикселях, |Д| - диапазон шкалы интенсивностей.
Основным преимуществом метода быстрой билатеральной фильтрации является простота его адаптации для других задач и расширений, например, для цветных изображений или при одновременной обработке двух изображений.
В результате сравнения билатеральной фильтрации со стандартными методами шумоподавления и анализа различных методов билатеральной фильтрации (визуальное сравнение и численные характеристики приведены на рис.3) можно сделать следующие выводы:
Сложность представленного алгоритма
°г‘, где 151 - размер изображения в
Исходное Метод Метод локальных Метод билатеральной
изображение Прямой метод разделяемого ядра гистограмм решетки
б мин.,35 сек.\54дБ 25 сек.\32дБ 11 сек.\27дБ 4сек.\49дБ
Рис. 3. Визуальное сравнение методов билатеральной фильтрации с ядром радиусом в 16 пикселей на фрагменте исходного изображения по сравнению с точным результатом по
критериям: разница интенсивности, время вычислений (внизу) и пиковое отношение
сигнал/шум (ПОСШ) в дБ.
1) Билатеральный фильтр сохраняет границы изображения, что облегчает дальнейшую обработку изображения, в отличие от медианного фильтра, наиболее широко используемого в настоящее время.
2) Билатеральная фильтрация по методу билатеральной решетки является наиболее эффективной для практического применения по соотношению критериев быстродействия и качества.
3) Прямой метод билатеральной фильтрации целесообразно использовать в том случае, если требуется максимально точный результат без временных ограничений.
4) Билатеральную фильтрацию по методам разделяемого ядра и локальных гистограмм целесообразно использовать при небольших ядрах, что позволит провести быструю обработку, а ошибки в вычислениях не будут заметны для визуального восприятия.
Литература:
1. SoonminBae, Sylvain Paris, and Fr.edo Durand: Two-scale tone management for photographic look. ACM Transactions on Graphics, 25(3):637 - 645, 2006. Proceedings of the SIGGRAPH conference.
2. Tomasi, C., Manduchi, R.: Bilateral filtering for gray and color images. In: Proc.of International Conference on Computer Vision, IEEE (1998) 839-846
3. Oh, B.M., Chen, M., Dorsey, J., Durand, F.: Image-based modeling and photo editing. In: Proc. of SIGGRAPH conference, ACM (2001)
4. Durand, F., Dorsey, J.: Fast bilateral filtering for the display of high-dynamic-range images. ACM Trans. on Graphics 21 (2002) Proc. of SIGGRAPH conference.
5. Eisemann, E., Durand, F.: Flash photography enhancement via intrinsic relighting. ACM Trans. on Graphics 23 (2004) Proc. of SIGGRAPH conference.
6. Petschnigg, G., Agrawala, M., Hoppe, H., Szeliski, R., Cohen, M., Toyama, K.: Digital photography with flash and no-flash image pairs. ACM Trans. on Graphics23 (2004) Proc. of SIGGRAPH conference.
7. Jones, T.R., Durand, F., Desbrun, M.: Non-iterative, feature-preserving mesh smoothing. ACM Trans. on Graphics 22 (2003) Proc. of SIGGRAPH conference.
8. Fleishman, S., Drori, I., Cohen-Or, D.: Bilateral mesh denoising. ACM Trans. OnGraphics 22 (2003) Proc. of SIGGRAPH conference.
9. Wong, W.C.K., Chung, A.C.S., Yu, S.C.H.: Trilateral filtering for biomedical images. In: Proc. of International Symposium on Biomedical Imaging, IEEE (2004)
electronic scientific and technical periodical
SCIENCE and EDUCATION
__________El. .Vs KS 77 - 30569. -V«042l 100025. ISSN 1994-0408_
Performance analysis of bilateral filtering algorithms 77-30569/340957
# 02, February 2012 Krapchatova T.V., Filippov M.V.
Bauman Moscow State Technical University
Usage of bilateral filters for image smoothing allows of removing small-scale noises and details, and, at the same time, saving clearness of borders. The authors present the results of the comparative analysis for four well-known algorithms of bilateral filtering and give recommendations for their usage for image digital processing.
Publications with keywords: noise, motion blur, bilateral filter, fast Furje transform Publications with words: noise, motion blur, bilateral filter, fast Furje transform
Reference
1. Soonmin Bae, Sylvain Paris, Fredo Durand, Two-scale tone management for photographic look, ACM Transactions on Graphics 25 (3) (2006) 637-645.
2. Tomasi C., Manduchi R., Bilateral filtering for gray and color images, in: Proc. of International Conference on Computer Vision, IEEE, 1998, pp. 839-846.
3. Oh B.M., Chen M., Dorsey J., Durand F., Image-based modeling and photo editing, in: Proc. of SIGGRAPH Conference, ACM, 2001.
4. Durand F., Dorsey J., Fast bilateral filtering for the display of high-dynamic-range images, ACM Trans. on Graphics (Special Issue SIGGRAPH'02) 21 (3) (2002) 249-256.
5. Eisemann E., Durand F., Flash photography enhancement via intrinsic relighting, ACM Trans. on Graphics (Proc. of SIGGRAPH Conference) 23 (3) (2004) 673-678.
6. Petschnigg G., Agrawala M., Hoppe H., Szeliski R., Cohen M., Toyama K., Digital photography with flash and no-flash image pairs, ACM Trans. on Graphics (Proc. of SIGGRAPH Conference) 23 (3) (2004) 664-672.
7. Jones T.R., Durand F., Desbrun M., Non-iterative, feature-preserving mesh smoothing, ACM Trans. on Graphics (Proc. of SIGGRAPH Conference) 22 (3) (2003) 943-949.
8. Fleishman S., Drori I., Cohen-Or D., Bilateral mesh denoising, ACM Trans. on Graphics (Proc. of SIGGRAPH Conference) 22 (3) (2003) 950-953.
9. Wong W.C.K., Chung A.C.S., Yu S.C.H., Trilateral filtering for biomedical images, in: Proc. of International Symposium on Biomedical Imaging, IEEE, 2004.
