CC BY
60
Метод улучшения качества одиночных изображений видеопоследовательности
Я. С. Коровин, М.В. Хисамутдинов, Д.Я. Иванов Южный федеральный университет, Таганрог
Аннотация: В статье предложен метод предварительного улучшения качества изображений видеопоследовательности для дальнейшей обработки с целью поиска и распознавания объектов на сложном фоне. Оригинальность метода заключается в использовании анализа коэффициента вклада одиночных изображений в видеопоследовательности.
Ключевые слова: обработка видеопоследовательностей, улучшение видеоизображений, распознавание объектов на сложном фоне.
Введение. Причины появления цифрового шума
Одной из важных задач машинного зрения является поиск, выделение, распознавание и сопровождение объектов на видеоизображениях. В настоящее время существуют достаточно эффективные методы обнаружения объектов на простом фоне. Актуальной является задача обнаружения объектов на сложном фоне. Эта задача осложнена тем, что изображения, полученные с видосенсоров, как правило, бывают значительно зашумлены. Поэтому необходимо очистить изображения от шума перед тем, как проводить процедуру обнаружения объектов в видеопоследовательности.
Цифровой шум - дефект изображения, вносимый электроникой [1,2]. Цифровой шум представляет собой случайно расположенные элементы растра, имеющие размеры, близкие к размеру пикселя [2]. Элементы растра, представляющие цифровой шум, отличаются от изображения яркостью оттенков серого - такой шум называют яркостный шум. Также существует хроматический шум [3,4] - элементы растра отличаются по цвету от соседних элементов.
На соотношение показателя сигнал/шум влияют аналоговые элементы ТК: усилители, аналогово-цифровой преобразователь (АЦП) и основной источник шума - фотосенсор [2] (ПЗС - матрица, КМОП - матрица, видикон).
Шум в фотосенсоре возникает по следующим причинам:
- дефектные примеси на фотосенсоре - пыль, частицы, расположенные на матрице. Данные дефекты статически расположены в элементах растра и заметны в виде небольших темных пятен на светлом фоне, размером от одного до нескольких пикселей. Приведенный дефект устраняется влажной чисткой матрицы;
- дефектные пиксели - представляют собой черные точки, расположенные на изображении размером в один пиксель. Данный дефект невозможно убрать с матрицы, для подавления используются методы интерполяции; дефектный пиксель заменяется усреднением соседних рабочих пикселей;
- шум стохастической природы взаимодействия фотонов с атомами материала фотодиодов сенсора. Для подавления данного эффекта возможно использовать алгоритмы шумоподавления;
- темновой ток - возникает в сенсоре при подаче потенциала на электрод, является следствием туннельного эффекта и термоэлектронной эмиссии. Проявляется на изображении в виде светлых точек на темном фоне. Его проявление заметно сильнее при длительных экспозициях и повышенной температуре фотосенсора.
Анализ существующих методов улучшения качества изображений
Подавление дефектов, связанных с темновым током и присутствием битых пикселей, производится с помощью калибровочных кадров, снятых с закрытым объективом телекамеры (ТК). Как правило, такая обработка производится внутрикамерно, либо внешней специализированной программой.
Подавление цифрового стохастического шума проводится усреднением для каждого пикселя [5]. При подавлении шума усреднением несколько
ухудшается резкость на конечном цифровом изображении. Увеличение противошумовым фильтром резкости поля и приводит к тому, что изображение приобретает характерные для цифровых фильтров искажения -теряются оттенки на переходах яркости, становится видна структура растра.
Известные алгоритмы фильтрации специализируются на устранении определенного вида шума. Универсального алгоритма, который "борется" со всеми видами шумов, не существует [2,5]. Многие шумы достаточно хорошо аппроксимируются моделью белого гауссовского шума [6], поэтому большинство существующих алгоритмов направлено на устранение именно этого вида шума [7].
Для оценки качества работы алгоритмов шумоподавления на незашумленные изображения накладывают белый гауссовский шум, применяют выбранный алгоритм фильтрации и сравнивают полученное изображение с исходным с помощью оценки PSNR (peak signal-to-noise ratio, пиковое соотношение сигнала к шуму [8-10]). Рассмотрим видеоинформацию в виде серий полутоновых изображений (например, канал тепловизора), далее рассматриваются методы цифровой обработки изображений применительно к полутоновым изображениям. Для полутоновых изображений с интервалом яркости [0, 255] значение PSNR определяется формулой:
где N - количество пикселей на изображении;
1т_пвм? - изображение, полученное после применения алгоритма шумоподавления к искусственно зашумленному изображению; 1т_о^ - исходное незашумленное изображение.
PSNR = 20 • log
255
,2
:
Чем ближе изображение, обработанное алгоритмом шумоподавления к исходному незашумленному, тем больше показатель Р8ЫЯ и, соответственно, лучше качество работы алгоритма шумоподавления.
Рассмотрим наиболее известные алгоритмы фильтрации изображений, к которым относятся: линейное усреднение пикселей, медианная фильтрация, гауссовское размытие [6].
Наиболее простым способом борьбы с цифровым шумом является алгоритм линейного усреднения пикселей. Идея его заключается в усреднении значений пикселей в пространственной окрестности. Простейший вариант, когда в качестве нового значения пикселя берется среднее значение его соседних пикселей.
Другим методом устранения цифрового импульсного шума является медианная фильтрация. Значения яркости пикселей внутри окна фильтра сортируются в порядке возрастания, значение, находящееся в середине списка, поступает на выход фильтра. Окно движется по фильтруемому изображению и вычисления повторяются.
Третьим методом борьбы с шумом является гауссовское размытие [11,12]. Идея метода заключается в использовании функции свертки изображения:
G(х) = М ■ exp
х2 ^
V«2 ,
где М - нормировочный коэффициент; д - степень размытия.
Рассмотренные методы фильтрации одиночных изображений, обладают существенными недостатками, такими как незначительное улучшение показателя РБИЯ и "замыливание" мелких деталей изображения.
Предлагаемый поход
Предлагается работать не с пикселями единичного изображения, а с пикселями серии изображений, что исключит недостатки описанных выше методов и позволит существенно повысить показатели PSNR. Такой метод относится к классу методов сложения множества изображений с целью улучшения качества изображения.
При сложении множества изображений существенно повышается показатель SNR (signal-to-noise ratio безразмерная величина, равная отношению мощности полезного сигнала к мощности шума [13]) суммарного изображения относительно одиночного изображения. Термин "сложение" является устоявшимся, хотя данная процедура подразумевает усреднение множества изображений. Этот метод основан на фундаментальном принципе выделения сигнала из шума - "принципе накопления энергии сигнала". Этот принцип базируется на коренном отличии сигнала от шума. Сигнал всегда однополярный и имеет ограниченную полосу частот. Шум всегда дифференциальный с нулевым математическим ожиданием и со значительно более широкой полосой частот. В результате простое "сложение" порций " сигнал плюс шум" будет приводить к линейному росту уровня сигнала и замедленному (по закону корня квадратного) росту среднего отклонения размаха шума. Таким образом, при "сложении" N изображений, за счет усреднения случайного шума показатель SNR итогового изображения возрастает в ■sjN раз относительно показателя SNR одиночного изображения
серии.
Результаты исследований [6,14] показали, что методы и алгоритмы, направленные на обработку одиночных изображений, незначительно повышают показатель PSNR, в тоже время фильтры, использующие серии изображений, достигают высоких значений данного показателя.
Экспериментальное исследование
Проведено экспериментальное сравнение предлагаемого метода улучшения качества изображения с известными методами улучшения качества изображений. Экспериментальные исследования проводились с использованием полутоновых изображений из базы изображений USC-SIPI [15,16]. Для эксперимента были выбраны изображения 5.1.09 - Moonsurface и 7.1.03 - Tank. Далее сгенерированы две тестовых видеопоследовательности с использованием указанных изображений. На каждое одиночное изображение видеопоследовательностей наложен белый гауссовский шум и произведено улучшение качества изображений полученных видеопоследовательностей различными методами, в частности, методом медианного сложения последовательности изображений, методом, реализованным в RegiStax (данная программа предназначена для выравнивания, сложения и обработки изображений в форматах BMP, JPEG, FITS, TIFF или серии кадров AVI), и предлагаемым методом сложения серии изображений с учетом коэффициента вклада каждого изображения. Результаты улучшения качества представлены в таблицах 1 и 2:
Таблица 1
Сравнение методов улучшения качества изображений, разрешение видеопоследовательностей 256x256 пикселей (исходное изображение 5.1.09 - МоопБшГасе)
Кол-во PSNR PSNR PSNR
изображений (медианное (RegiStax), дБ (предлагаемый
в серии сложение), дБ метод), дБ
2 20.751 20.794 20.796
4 20.949 21.576 21.649
8 21.342 21.8 21.78
16 21.383 21.818 21.824
32 21.665 22.52 22.569
64 22.336 24.708 24.685
128 25.098 26.177 26.211
256 27.611 28.121 28.156
512 30.446 31.03 30.933
1024 33.493 33.901 33.905
2048 36.32 36.684 36.59
4096 39.452 39.703 39.842
Таблица 2
Сравнение методов улучшения качества изображений, разрешение видеопоследовательности 512x512 пикселей
(исходное изображение 7.1.03 - Tank)
Кол-во PSNR
изображений (медианное (RegiStax), (предлагаемый
в серии сложение), дБ дБ метод), дБ
2 26.577 26.595 26.591
4 27.492 27.79 27.881
8 27.541 29.903 29.75
16 28.007 31.243 31.46
32 31.964 33.994 34.199
64 36.003 36.615 36.822
128 38.989 39.384 39.413
256 41.999 42.296 42.189
512 45.068 45.269 45.18
1024 48.212 48.217 48.21
2048 51.239 51.352 51.298
4096 53.993 54.497 54.523
'.иг» 128 4096
i 1 ft
Рис. 1.- Фрагмент 64х64 пикселя изображения, полученного при сложении 2,128 и 4096 зашумленных изображений 5.1.09 - Moonsurface предлагаемым
методом
Рис. 2. - Фрагмент 64х64 пикселя изображения, полученного при сложении 2,128 и 4096 зашумленных изображений 7.1.03 - Tank предлагаемым методом
Выводы
Как видно из представленных таблиц, предлагаемый метод превосходит метод медианного сложения множества изображений, а также сравним с методом сложения серии изображений, реализованным в программе RegiStax, а при определенном количестве изображений в серии превосходит его по показателю PSNR.
Благодарность
Работа выполнена при финансовой поддержке РФФИ по проекту №17-29-03407.
Литература
1. Buades A., Coll B., Morel J.-M. A review of image denoising algorithms, with a new one // Multiscale Model. Simul. SIAM, 2005. Vol. 4, № 2. pp. 490530.
2. Bentler R., Chiou L.-K. Digital noise reduction: An overview // Trends Amplif. SAGE Publications Sage CA: Los Angeles, CA, 2006. Vol. 10, № 2. pp. 67-82.
3. Song X., Johnson G.M., Fairchild M.D. Minimizing the perception of chromatic noise in digital images // Color and Imaging Conference. 2004. Vol. 2004, № 1. pp. 340-346.
4. Monaci G. et al. Chromatic contrast detection in spatial chromatic noise // Vis. Neurosci. Cambridge University Press, 2004. Vol. 21, № 3. pp. 291-294.
5. Vaseghi S. V. Advanced digital signal processing and noise reduction. John Wiley & Sons, 2008, pp. 29-43,
6. Pratt W.K. Digital image processing: PIKS Scientific inside. Wiley-interscience Hoboken, New Jersey, 2007. Vol. 4. P. 807.
7. Yi-de M., Fei S., Lian L. Gaussian noise filter based on PCNN // Neural Networks and Signal Processing, 2003. Proceedings of the 2003 International Conference on. 2003. Vol. 1. pp. 149-151.
8. Chandler D.M., Hemami S.S. VSNR: A wavelet-based visual signal-to-noise ratio for natural images // IEEE Trans. image Process. IEEE, 2007. Vol. 16, № 9. pp. 2284-2298.
9. Hore A., Ziou D. Image quality metrics: PSNR vs. SSIM // Pattern recognition (icpr), 2010 20th international conference on. 2010. pp. 2366-2369.
10. Winkler S., Mohandas P. The evolution of video quality measurement: From PSNR to hybrid metrics // IEEE Trans. Broadcast. IEEE, 2008. Vol. 54, № 3. pp. 660-668.
11. Waltz F.M., Miller J.W. V. Efficient algorithm for gaussian blur using finite-state machines // Machine Vision Systems for Inspection and Metrology VII. 1998. Vol. 3521. pp. 334-342.
12. Hu H., De Haan G. Low cost robust blur estimator // Image Processing, 2006 IEEE International Conference on. 2006. pp. 617-620.
13. Johnson D.H. Signal-to-noise ratio // Scholarpedia. 2006. Vol. 1, № 12. P. 2088.
14. Gonzalez R.C. Digital image processing. Prentice hall, 2016, P. 976.
15. Weber A.G. The USC-SIPI image database version 5 // USC-SIPI Rep. 1997. Vol. 315. pp.1-24.
16. The USC-SIPI Image Database // USC University of Southern California. URL: sipi.usc.edu/database.
