CC BY
5Труды МАИ. Выпуск № 94
http://trudymai.ru/
УДК:004.932.4
Быстрая билатеральная фильтрация аэрофотоснимков на основе параллельной декомпозиции на пространственные фильтры
Беляева О.В.1*, Пащенко О.Б.2** , Филиппов М.В.1***
1 Московский государственный технический университет им. Н.Э. Баумана, ул. 2-я Бауманская, 5, Москва, 105005, Россия Российская самолетостроительная корпорация «МиГ», 1-й Боткинский проезд, 7, Москва, 125284, Россия *e-mail: yacypress94@yandex. ru **e-mail: alexandoleg@post.ru ***e-mail: filippov.mike@mail.ru
Аннотация
В работе рассматривается задача быстрой билатеральной фильтрация аэрофотоснимков, которая позволяет избавиться от малоразмерного шума и помех с сохранением резких границ объектов, что необходимо для первичной обработки кадров. Отсюда, акцент направлен на быстроту билатеральной фильтрации. Для решения задачи рассматривается метод билатеральной фильтрации на основе декомпозиции на пространственные фильтры, позволяющий фильтровать аэрофотоснимки на нескольких процессах одновременно. Для достижения быстродействия билатерального фильтра применяется его параллельная реализация на основе декомпозиции на рекурсивные пространственные фильтры Гаусса, что позволяет получать результаты в реальном времени.
Ключевые слова: аэрофотосъёмка, билатеральная фильтрация, рекурсивный фильтр Гаусса, распараллеливание.
Введение
Введённый Tomasi и Manduchi [1] билатеральный фильтр, сохраняющий края, нашёл широкое применение во многих задачах по обработке изображений, например, фильтрация шума [2, 3, 4], редактирование текстуры [5] и тона [6], оценки оптического потока [7]. Билатеральная фильтрация также часто используется в качестве начального этапа обработки кадров, например, для задачи распознавания объектов [8], где необходимо отфильтровать несущественные детали и шумы при сохранении резких краев основного изображения.
Основным недостатком билатеральных фильтров являются большие вычислительные затраты. Поэтому в последнее время было опубликовано немало работ, посвященных реализации этих фильтров за сравнительно короткое время. Например, в работе [6] предложен метод билатеральной фильтрации, работающий за константное время, но предполагающий использование преобразования Фурье. В работах [9, 10] представлена реализация этого метода путём дискретизации значений интенсивности изображения и применении линейного фильтра для каждого дискретного значения. Далее по результатам пространственной фильтрации каждого значения интенсивности на выходе определяются PBFIC компоненты (Principle Bilateral Filtered Image Component). На следующем этапе применяется линейная интерполяция между двумя множествами PBFIC компонент.
В настоящей работе представлено усовершенствование метода, описанного в работе [10], за счет распараллеливания вычислительного процесса и применения рекурсивной фильтрации Гаусса [11]. Разработанный авторами алгоритм позволил существенно сократить время фильтрации при сохранении качества получаемых изображений.
1. Билатеральный фильтр
Билатеральная фильтрация (двунаправленная фильтрация) - это нелинейный и не итерационный процесс, комбинирующий пространственную (domain) и яркостную (range) фильтрацию. Таким образом, учитывается не только значения интенсивности близлежащих пикселей, но и их расстояние до текущего фильтруемого пикселя. Вклад близлежащих пикселей существенен по отношению к остальным. Двунаправленная фильтрация изображения f(x) в общем виде описывается выражением (1) [10]:
IB (x) = к-1 ^ f (x, y)f (I(x), I(y)) *I(y),
(1)
к = E ^ (x) f (x, y)f (1 (x\1 (y))
где k ~^y.N(x) f(x),1 (y))' (2)
1 d(x-y) 2
2 a
f, (x, y) = e - функция Гаусса по расстоянию между пикселями;
2( I ( x )-I ( y ) 2
f (I (x), I (y)) = e
- функция Гаусса по интенсивности.
(а)
(Ь)
(с)
Рис. 1. Шум Гаусса. (Ь) Комбинация двух функций / и / для
зашумленного изображения (a). (c) Шаг после билатеральной фильтрации.
Существенным недостатком фильтра является его скорость, так как вычисление изображения с окном размером M и пространственной коэффициентом ак необходимо 0(М * а|).
2. Декомпозиция билатерального фильтра на пространственные фильтры
На практике интенсивность пикселя I (х) е {0,..., N —1} изображения -дискретна, где N - общее число значений оттенков серого.
При = k предполагается, что выражение (1) эквивалентно
Для каждого пикселя у и для каждого значения интенсивности к е {0,..., N — 1} определяются выражения (4), (5):
1В ( х)
2 / (х, V) / (к, I(V)) * I(у)
(3)
^ (V) = / (к, I (V))
(4)
Л (У) = (у)1 (у)
(5)
Отсюда билатеральный фильтр, декомпозированный на N множеств линейных фильтров можно представить в виде
где 1В (х) = , Jfix) - компонента билатерального фильтра (РБЕ1С).
На практике используется только N из N компонент РВР1С, где к е ,
и значения фильтрации 1В (х) может быть линейно интерполировано от JB до Jвk+l:
Отметим что, ранговый фильтр /г не ограничен, тогда он может быть представлен любой фильтрующей функцией. Однако существует ограничение в использовании малых значений N для некоторых фильтров по причине их плохой аппроксимации. Рассматриваемый в работе фильтр Гаусса обладает такой характеристикой.
В соответствии с уравнениями (5), (6) в результате дискретизации только ранговая функция У\?к (у) (4) чувствительна к шуму, по этой причине интенсивность пикселей входного изображения может не измениться в результате фильтрации.
Несмотря на ограничения метода, основанного на декомпозиции, он имеет следующие преимущества:
(6)
X у^(х) fs (Х' УЖ (У) '
1В (х) = (4+1 -I (Х)УВ (х)+(I (х) - 4 Л
(7)
1) Основное вычисление метода приходится на вычисление N * 2 пространственных фильтров в соответствии с уравнением (6).
2) Возможность распараллеливания метода по компонентам PBFIC.
3. Параллельная реализация
Существенный вклад для достижения быстродействия билатерального фильтра вносит распараллеливание метода, основанного на декомпозиции на пространственные фильтры. В предыдущем разделе была описана реализация фильтрации путём линейной интерполяции между 2-мя соседними компонентами PBFIC. Трудоёмкость метода заключается в вычислении каждой компоненты, на которой производится две операции пространственной фильтрации. В работе [10] предлагают применять быстрые пространственные фильтры, например рекурсивный фильтр Гаусса, что вносит существенный вклад в быстродействие фильтра. Однако компоненты билатерального фильтра находятся независимо друг от друга, что позволяет распределить их вычисление по нескольким потокам, что позволит нам достигать вычислений в реальном времени.
Для достижения независимости вычисления компонент фильтра, необходимо было использовать дополнительный объём памяти. Для каждой компоненты, необходим буфер размером с входное изображение, для хранения результата пространственной фильтрации буфера /&(у), необходимого для интерполяции. Таким образом, для непараллельной реализации необходимо 3 буфера памяти размером И*М для матриц И^(у), где N и М - размеры входного
изображения, и на каждой итерации производить линейную интерполяцию пикселей
попадающих в диапазон текущей компоненты. Для параллельной реализации необходимо знать сразу все значения }к(у) для каждой компоненты, таким образом, общий размер памяти в данном случае составит: соип1:(компонент РББГС) + 1 буферов размером И*М для матриц /0(у),... ,/р(у),И^(у), где р - количество
компонент РББ1С. Таким образом, существенное преимущество по времени происходит за счёт потребления дополнительной памяти.
4. Пространственный рекурсивный фильтр Гаусса
Согласно выражению (6) билатеральный фильтр с пространственным и ранговым ядрами декомпозируется на 2 множества пространственных фильтров /к Су) и ШуГ Таким образом, вычислительная сложность метода зависит от вычисления пространственных фильтров. Для повышения скорости работы билатерального фильтра, было решено оптимизировать вычисление пространственного фильтра Гаусса с помощью использования рекурсивного метода, изложенного в работе [11], путём аппроксимации преобразования Фурье ядра Гаусса, вычисляющего результаты за константное время работы.
г2
g Ц ,а) = -т= е
2а
2
е (8)
С(";а) = | йге~ ^^ (г;а) = е-"2""12 (9)
Бесконечная импульсная характеристика (БИХ) приближена к фильтрации
Гаусса и не зависит от его ширины выраженной а. БИХ Гаусса может быть
представлена рекурсивной последовательностью:
7
у[п] = Ь0х[п] + \x\_n — 1] + Ь2х[п — 2] — ау[п — 1] — а2У [п — 2] (10)
где Ь0, Ъх, Ъ2, ах, а2 — коэффициенты фильтра.
Разностное уравнение (8) эквивалентно уравнению:
У[п] = У[п —1] +
х[п + М ] — х[п — М — 1] 2 М +1
(11)
Решение рекурсивного разностного уравнения не является точным решением фильтрации Гаусса, так как не достаточно использования только 5-ти параметров для формирования импульсной характеристики системы, повторяющей функцию Гаусса. Кроме того, импульсный отклик системы согласно уравнению (8) -односторонний, следовательно - не симметричен, что противоречит функции Гаусса. По этой причине симметричная фильтрация БИХ достигается путём решения 2-х систем 2-го порядка, описываемые выражениями Н~и Я+, представляющих каузальную (14) и некаузальную (15) системы в z-преобразованиях соответственно.
Приняв г = е 0 = вк 0 ^ = е ™ е 0, частотная характеристика системы выглядит следующим образом:
В работе [10] было предложено использовать для построения рекурсивного фильтра Гаусса сумму каузальной Н~ и некаузальной Н+ систем
(12)
Ни) = Н (2) - Н (2). Таким образом, данные фильтры 4-го порядка D определяются следующим образом:
н+( 7 ) = Ь++ Ь+г-1 + Ь++ г -2 + Ь+г -3
Н (г) = 1-—1-—2-—3-—4 (14)
1 + ахг + а2г + аъг + а4г
Ь1— г1 + Ь2— г2 + Ь3— г3 + Ь4— г4
Н (г) =-\-2-з-Т (15)
1 + цг + а2г + а3г + аАг v у
Коэффициенты а, а, а, а одинаковы для 2-х систем Н + (г) и Н— (г) зависят только от положения фильтра. Коэффициенты Ь*в системе Н+(г) зависят от расположения нулей фильтра. Остальные коэффициенты Ь", Ь—, Ьз—, Ь" выражаются из остальных, так как структура фильтра H(z) - симметрична .
Н (г) = Н + (г) + Н - (г) = Н (г ~1) (16)
Ь = Ь+ + Ь+ ах Ъ2= Ь++ Ь0+ а2
Ьз— = Ьз++ Ь0+ аз
Ь4 = Ь4+ + Ь0+ а4
5. Результаты
В этом разделе представлены экспериментальные результаты работы метода билатерального фильтра, основанного на декомпозиции на пространственные фильтры. Основной акцент делается на быстродействие метода, достигаемое за счёт
распараллеливания метода и применения рекурсивного пространственного фильтра Гаусса для матриц ¡к(у) и Wk(y).
Экспериментальные испытания проводились на платформе со следующими характеристиками:
1. Процессор Intel Core i7 1.9 ГГц;
2. 64-х разрядная ОС Windows 8.1;
3. 4 Гб оперативной памяти.
На рисунке 2 (а), (б) представлены результаты фильтрации простым билатеральным фильтром и билатеральным фильтром на основе декомпозиции на пространственные фильтры с параллельной реализацией. Экспериментальные результаты были получены с использованием 4-х потоков.
(а) Исходное изображение (б) Простой билатеральный фильтр
(в) Быстрый билатеральный фильтр (г) Быстрый билатеральный фильтр
Рисунок 2. (а) Исходное изображение. (б) Результат фильтрации простым
Л
Од = 5, ег5 = 5. Качество кадра 29.3 (в)
Результат фильтрации быстрым билатеральным фильтром на основе декомпозиции на пространственные фильтры с использованием распараллеливания при ак= 0.1, 10, при фильтрации использовалось 10 компонент (РВБ1С). Качество кадра 25 БЫЯ. (г) Результат фильтрации быстрым билатеральным фильтром при ак = 0.2, /73= 1, 5 РВБГС. Качество кадра 21 БЖ.
Основное преимущество рассматриваемого билатерального фильтра на основе декомпозиции является его быстродействие. Результат фильтрации нашим методом с учётом распараллеливания 2(а) размером 618x612, представленный на рисунке 2(б) получен за 0.86 секунд, 2(г) - за 0.41 секунду, в то время как простая билатеральная фильтрация исходного изображения 2(а) выполнилась за 61 секунду.
(в) Быстрый билатеральный фильтр (г) Быстрый билатеральный фильтр
Рисунок 3. (а) Исходное изображение. (б) Результат фильтрации простым билатеральным фильтром при сгй2=5, <%2=5. Качество кадра 32.7 БЫЯ. (в) Результат фильтрации быстрым билатеральным фильтром на основе декомпозиции на пространственные фильтры с использованием распараллеливания при ок= 0.1, а5= 10, при фильтрации использовалось 9 компонент (РЬБЮ). Качество кадра 26.5 БМ^.
(г) (тк= 0.15, аБ= 3, при фильтрации использовалось 6 компонент (РВР1С). Качество кадра 20.3 БЖ.
Результат фильтрации с учётом распараллеливания на изображении 3(а) размером 299x554, представленный на рисунке 3(в) получен за 0.6 секунд, 3(г) за 0.5 секунды, в то время как простая билатеральная фильтрация исходного изображения 3(а) выполнилась за 56.9 секунд.
По результатам видно, что рекурсивный фильтр Гаусса, использованный для повышения быстродействия фильтра, повышает контрастность изображения. В целом, качество восстановления быстрым билатеральным фильтром ниже, но в задачах требующим обработки кадров в реальном времени, этот недостаток опускается по сравнению с его преимуществом - высокой скоростью работы.
Выводы
В работе был представлен быстрый билатеральный фильтр на основе декомпозиции на простые пространственные фильтры с использованием распараллеливания по компонентам (РЬБЮ). Экспериментальные результаты показывают очевидное преимущество метода по быстродействию за счёт дополнительного использования памяти. Несмотря на это, достигнуто время работы билатерального фильтра в реальном времени, что является существенным преимуществом для использования фильтра в качестве предварительной обработки кадров.
Библиографический список
1. Tomasi C., Manduchi R. Bilateral Filtering for Grey and Color Images // Proceedings of the 1998 IEEE International Conference on Computer Vision. Bombay. India. 1998, pp. 839-846.
.2. Buades, A., Coll, B., Morel, J.M. A review of image denoising algorithms, with a new one // Multiscale Modeling and Simulation. 2005. Vol. 4, pp. 490-530.
3. Yang, Q., Yang, R., Davis J., Nist'er D. Spatial-depth super resolution for range images // CVPR, IEEE Computer Society Conference on Computer Vision and Pattern. 2007. no. 15, pp 1-8.
4. Wong, W.C.K., Chung, A.C.S., Yu, S.C.H.: Trilateral filtering for biom dical images // In Proceedings of the IEEE International Symposium on Biomedical Imaging. 2004, pp. 820-823.
5. Oh, B.M., Chen, M., Dorsey, J., Durand, F. Imagebased modeling and photo editing // Proceedings of the 28th annual conference on Computer graphics and interactive techniques Siggraph, 2001, pp. 433-442.
6. Durand, F., Dorsey, J. Fast bilateral filtering for the display of high-dynamic-range images // Proceedings of the ACM SIGGRAPH conference. 2002, pp.253-263.
7. Xiao, J., Cheng, H., Sawhney, H., Rao, C., Isnardi, M. Bilateral filtering-based optical flow estimation with occlusion detection // Computer Vision-ECCV 2006. Computer Vision-ECCV. 2006. Vol. 21, pp. 211-224.
8. Князь В. В., Бусурин В. И. Автоматическое обнаружение препятствий на взлётно-посадочной полосе средствами технического зрения // Труды МАИ. 2015. № 81. URL: http://www.mai.ru/science/trudy/published.php?ID=57839
9. Porikli F. Constant time O(1) bilateral filtering // IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, Alaska. USA. 2008. pp. 1-8.
10. Yang Q., Tan K.-H., Ahuja N. Real-time O(1) bilateral filtering // In Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, (CVPR '09), June 2009, pp. 557-564.
11. Deriche R. Recursively implementing the gaussian and its derivatives // in Proceedings of IEEE International Conference on Image Processing, (ICIP '92), 1992, pp. 263-267.
