CC BY
83
МЕТОД ПОЛУЧЕНИЯ НЕЗАШУМЛЁННОГО ИЗОБРАЖЕНИЯ НА ОСНОВЕ ОБРАБОТКИ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ
Коровин Я. С., Хисамутдинов М.В.
Научно-исследовательский институт многопроцессорных вычислительных систем имени академика А.В. Каляева Южного федерального университета (НИИМВС ЮФУ)
Аннотация
Предложен метод обработки видеопоследовательности с целью получения одиночного незашумлённого изображения. Разработан алгоритм совмещения изображений на основе подходов поиска точечных соответствий и повышения разрешающей способности. Разработан алгоритм сложения множества изображений с целью получения одиночного незашумлённого изображения. Проведены экспериментальные исследования предложенного метода.
Ключевые слова: обработка изображений, программные средства, белый гауссовский шум, сложение изображений, выравнивание изображений, пиковое отношение сигнала к шуму (РБЖ).
Введение
Задача улучшения качества изображений востребована во многих сферах человеческой деятельности: картография, фотограмметрия, медицина, астрономия и др. Данная задача подразумевает обработку единичного изображения или серии изображений с целью получения одиночного незашумлённого изображения.
Результаты исследований [1, 2] показали, что методы и алгоритмы, направленные на обработку одиночных изображений, незначительно повышают показатель PSNR (для оценки качества работы алгоритмов шумоподавления на незашумлённые изображения накладывают белый гауссовский шум, применяют выбранный алгоритм фильтрации и сравнивают полученное изображение с исходным с помощью оценки PSNR (peak signal-to-noise ratio - пиковое отношение сигнал/шум) [3, 4]). В то же время фильтры, использующие серии изображений, достигают высоких значений данного показателя. Поэтому при разработке метода улучшения качества изображения на основе анализа серии изображений, полученных с одного ракурса фотоприёмника, имеет смысл использовать метод сложения множества изображений. Однако здесь необходимо учесть специфику получения изображений серии - отдельные изображения серии могут быть смещены друг относительного друга. Поэтому предлагаемый метод получения одиночного незашумлённого изображения, основанный на обработке серии изображений, состоит из двух этапов:
- совмещение изображений серии;
- сложение множества изображений с целью получения одиночного незашумлённого изображения.
Далее подробно рассматриваются предлагаемые алгоритмы реализации данных этапов.
1. Алгоритм совмещения изображений серии на основе подходов поиска точечных соответствий и повышения разрешающей способности
В ходе анализа литературы установлено, что подходы, основанные на поиске точечных соответствий, обладают высокой точностью совмещения [5], а программные реализации методов, основанных на повышении разрешающей способности, - высокой скоростью работы [6].
В данной работе предложен комбинированный алгоритм совмещения изображений на основе методов поиска точечных соответствий и повышения разрешающей способности.
Предлагаемый алгоритм достигает попиксельной точности совмещения изображений за счёт использования подхода, основанного на поиске точечных соответствий на изображениях, а также высокой скорости за счёт применения подхода, основанного на итеративном повышении разрешающей способности изображения. На рис. 1 представлена схема комбинированного алгоритма совмещения изображений.
Рассмотрим работу данного алгоритма более подробно. Пусть дано два монохромных изображения lmageRef и ImageCurrent. Каждое изображение представляется матрицей элементов. Необходимо найти такое преобразование матрицы lmageCurrent в lmageRef, при котором разность яркостей изображений будет минимальной.
Суть алгоритма заключается в последовательной обработке изображений серии с целью выравнивания изображений с опорным изображением lmageRef. Опорным выбирается первое изображение. Каждое изображение lmageCurrent проходит итеративную обработку. На каждой итерации обработки разрешение изображения укрупняется и производится поиск точечных соответствий [7, 8]. Далее по найденным точечным соответствиям производится вычисление операторов преобразования матриц.
В качестве операторов преобразования матриц рассматриваются операторы сдвига и поворота. Преобразование поворота, так же как и при рассмотрении плоских геометрических объектов, позволяет поворачивать исходное изображение на заданный угол.
Поворот осуществляется вокруг центра изображения. При этом возможны два варианта поворота:
- области изображения, вышедшие за его границы, при повороте отсекаются, а незаполненные части заполняются пикселями с нулевой яркостью;
- рассчитывается новый размер изображения на основе угла поворота таким образом, чтобы повёрнутое изображение целиком поместилось в новые размеры. Незаполненные части изображения также заполняются пикселями с нулевой яркостью.
Рис. 1. Схема комбинированного алгоритма совмещения изображений
В любом случае для расчёта преобразования поворота [9] может быть использована следующая формула:
CnwV][J] =
= \CM[a][b],a e [0,HM - 1]Lb e [0, WM -1], (1) |C,a*[0,HM -1]Vb * [0, WM -1]
где a =
b =
H
i ■ sin(j) +
W
j ■ cos(j) +
i = 0, HM -1;
] = 0,КИ -1;
С - яркость пикселя, которым заполняются пустые участки изображения; ф - угол поворота по часовой стрелке в радианах.
Приведённая формула округляет преобразованные координаты. Однако можно использовать и билинейную интерполяцию, когда яркость пикселя вычисляется как взвешенная сумма яркостей четырёх соседних пикселей.
После этого производится операция выравнивания изображения ImageCurr c ImageRef попиксельно. Для
попиксельного выравнивания изображение ImageRef сравнивается с 9 вариантами изображения ImageCurr (исходное ImageCurr, сдвинутое вниз/вверх на 1 пиксель, сдвинутое влево/вправо на 1 пиксель, сдвинутое по диагоналям на 1 пиксель), анализируя коэффициент корреляции kor по формуле [1]:
£ £ (ImageRef (c, r) - ImageRefm) •
kor = -
£ £ (ImageRef (c, r) - ImageRefm )2
c r
(ImageCurr (c, r) - ImageCurrm)
£ £ (ImageCurr (c, r) - ImageCurrm )2
(2)
где ImageRefm - среднее значение ImageRef; ImageCurrm - среднее значение ImageCurr.
Выбирается один из 9 вариантов сдвинутого изображения ImageCurr с наибольшим значением коэффициента корреляции kor в качестве попиксельно совмещённого изображения с ImageRef.
2. Алгоритм сложения множества изображений с целью получения одиночного незашумлённого изображения
Основой предлагаемого алгоритма является определение коэффициента вклада каждого изображения в общую сумму. Коэффициент вклада k - это показатель зашумлённости изображения; чем сильнее изображение зашумлено, тем меньше коэффициент, аналогично, чем меньше изображение зашумлено, тем больше коэффициент вклада. Возможные значения коэффициента вклада лежат в диапазоне k e [0,1].
Обозначим серию исходных изображений I, общее количество изображений в серии - п. Будем считать, что изображения серии получаются при одинаковой экспозиции и освещённости видимого объекта; в таком случае уровень сигнала S на каждом изображении Ii одинаков, однако изображения серии It имеют различный уровень шума Ni, вызванный различного рода помехами (например, импульсными помехами электронного оборудования). Для оценки качества одиночного изображения серии воспользуемся показателем SNR (signal-to-noise ratio безразмерная величина, равная отношению мощности полезного сигнала к мощности шума [10]), для i-го изображения серии показатель SNR определяется по формуле:
S
SNR = —^.
i N..
(3)
Так как изображения I, имеют одинаковый уровень сигнала S, но различный уровень шума N соответственно, их соотношения SNRi обратно пропорциональны Л, а коэффициент вклада ^ определяется по формуле:
К =
(N v
N..
(4)
c
r
2
где N - уровень шума наименее зашумлённого изображения серии I, то есть изображение серии с наибольшим показателем БМЯ.
Для поиска наименее зашумлённого изображения ^ можно воспользоваться анализом яркостной гистограммы.
С учётом найденных коэффициентов к для каждого ^ производится вычисление итогового суммарного изображения I\ип1 по формуле:
= Ё Ii • ki ■
(5)
Так как шум каждого изображения считается случайным и независимым, то сложение шума производится квадратично. Зная показатель SNRi для каждого изображения серии I, можно вычислить показатель SNRsum итогового суммарного изображения по формуле:
(6)
SNRum = . Ё (SNR)2 .
Предлагаемый алгоритм улучшения качества изображения состоит из 5 основных этапов.
1. Поиск наименее зашумлённого изображения I1 в серии I на основе анализа яркостной гистограммы.
Для выбора наименее зашумлённого изображения Ii в серии I производится построение усреднённой яркостной гистограммы Histmed на основе усреднения всех гистограмм Histi изображений I. Далее производится поиск гистограммы Histi, наиболее близкой к Histmed, изображение It отмечается как Ii.
2. Выбор на изображении Ii зон, соответствующих зашумлённым областям Narea.
Осуществляется следующим образом. Nareai присваивается вся площадь изображения Ii, далее производится исключение локальных окрестностей особых точек N0ocal, поиск которых осуществляется согласно [11]. Из области Nareai получаем искомую область
Narea = N areal ~ Nlocal , соответствующую зашумлён-
ным областям на изображении Ii.
3. Вычисление на основе найденных областей Narea значения Ni для каждого изображения Ii.
Для каждого изображения Ii рассчитывается значение уровня шума N. Ni = l, т.к. данное изображение является наименее зашумлённым в серии, остальные значения Ni определяются как среднеквадратичное отклонение яркостей пикселей области Narea между изображением Ii и изображением Ii.
4. Вычисление коэффициентов k.
Для каждого изображения Ii производится вычисление коэффициента вклада kt по формуле (4).
5. Медианное сложение изображений I, серии I с учётом рассчитанных коэффициентов вклада ki, с целью получения одноракурсного незашумлённого изображения Isum.
На данном этапе производится медианное сложение серии изображений I с учётом коэффициентов ki. Суть классического медианного метода заключается в
выборе нового значения яркости пикселя - среднего значения отсортированного массива яркостей пикселя. В данной работе предложен подход, учитывающий зашумлённость каждого изображения ^ серии I, в соответствии с коэффициентом вклада к. Схема алгоритма медианного сложения изображений с учётом коэффициента вклада каждого изображения представлена на рис. 2.
Рис. 2. Схема алгоритма медианного сложения серии изображений с учётом коэффициента вклада каждого изображения
С вероятностью, равной значению данного коэффициента kt е [0,1], производится добавление значения яркости пикселя изображения I, в массив яркостей пикселей для медианного метода улучшения качества изображения. Таким образом, наиболее за-шумлённые изображения, коэффициент вклада которых kt ® 0, не будут участвовать в формировании
итогового изображения Isum. В случае, если массив Mas пустой, производится добавление элемента Imax(k) [i] [/'], где max (k) - номер изображения последовательности с наибольшим значением показателя коэффициента вклада. В результате выполнения алгоритма получается итоговое изображение Isum.
3. Экспериментальные исследования
На основе предложенного метода улучшения качества изображения разработано ПО [12], которое было испытано на изображениях, получаемых штатной телевизионной камерой (ТК) водо-водяного энергетического реактора (ВВЭР) в процессе проведения планово-предупредительного ремонта. На одиночных изображениях, получаемых ТК, присутствует им-
i=i
n
1=1
пульсный шум, вызванный работой РЭА. На рис. 3 представлено сравнение одиночного полутонового изображения серии и улучшенного изображения, полученного сложением серии изображений активной зоны реактора ВВЭР предлагаемым методом улучшения качества изображения.
Рис. 3. Результат работы метода улучшения качества изображения
Было проведено экспериментальное сравнение предлагаемого метода улучшения качества изображения с известными методами улучшения качества изображений. Экспериментальные исследования проводились с использованием полутоновых изображений из базы изображений USC-SIPI [13].
Для эксперимента были выбраны изображения 5.1.09 - Moon surface и 7.1.03 - Tank. Далее сгенерированы две тестовых видеопоследовательности с использованием указанных изображений.
На каждое одиночное изображение видеопоследовательностей наложен белый гауссовский шум, и произведено улучшение качества изображений полученных видеопоследовательностей различными методами, в частности, методом медианного сложения последовательности изображений, методом, реализованным в RegiStax (данная программа предназначена для выравнивания, сложения и обработки изображений в форматах BMP, JPEG, FITS, TIFF или серии кадров AVI) [14], и предлагаемым методом сложения серии изображений с учётом коэффициента вклада каждого изображения. Результаты улучшения качества представлены в таблицах 1 и 2.
Как видно из таблиц, предлагаемый метод превосходит метод медианного сложения множества изображений, а также сравним с методом сложения серии изображений, реализованным в программе RegiS-tax, а при определённом количестве изображений в серии превосходит его по показателю PSNR.
Заключение
При проведении исследований и разработок по теме настоящей работы получен новый метод обработки видеопоследовательности с целью получения одиночного незашумлённого изображения, разработан алгоритм совмещения изображений серии на основе подходов поиска точечных соответствий и повышения разрешающей способности, разработан ал-
горитм сложения множества изображений с целью получения одиночного незашумлённого изображения.
Таблица 1. Сравнение методов улучшения качества изображений, разрешение видеопоследовательностей 256*256 пикселей (исходное изображение 5.1.09 - Moon surface)
Кол-во изображений в серии PSNR (медианное сложение) (дБ) PSNR (RegiStax) (дБ) PSNR (предлагаемый метод) (дБ)
2 20,751 20,794 20,796
4 20,949 21,576 21,649
8 21,342 21,8 21,78
16 21,383 21,818 21,824
32 21,665 22,52 22,569
64 22,336 24,708 24,685
128 25,098 26,177 26,211
256 27,611 28,121 28,156
512 30,446 31,03 30,933
1024 33,493 33,901 33,905
2048 36,32 36,684 36,59
4096 39,452 39,703 39,842
Таблица 2. Сравнение методов улучшения качества изображений, разрешение видеопоследовательности 512*512 пикселей (исходное изображение 7.1.03 - Tank)
Кол-во изображений в серии PSNR (медианное сложение) (дБ) PSNR (RegiStax) (дБ) PSNR (предлагаемый метод) (дБ)
2 26,577 26,595 26,591
4 27,492 27,79 27,881
8 27,541 29,903 29,75
16 28,007 31,243 31,46
32 31,964 33,994 34,199
64 36,003 36,615 36,822
128 38,989 39,384 39,413
256 41,999 42,296 42,189
512 45,068 45,269 45,18
1024 48,212 48,217 48,21
2048 51,239 51,352 51,298
4096 53,993 54,497 54,523
128 4096
Vfij HfV'-..
Щ о
¡й \
Рис. 4. Фрагмент 64*64 пикселя изображения, полученного при сложении 2, 128 и 4096 зашумлённых изображений 5.1.09 - Moon surface предлагаемым методом
2 128 4096
^ — j*
У I \ гЖ\
Рис. 5. Фрагмент 64*64 пикселя изображения, полученного при сложении 2, 128 и 4096 зашумлённых изображений 7.1.03 - Tank предлагаемым методом
Предложенный метод улучшения качества изображения отличается от существующих использованием анализа коэффициента вклада каждого изображения серии, что позволяет минимизировать влияние зашумлённых изображений на итоговый результат. Экспериментальные результаты показали, что в сравнении с методом медианного сложения множества изображений предлагаемый метод обеспечивает наибольший показатель PSNR. Показано, что предлагаемый метод сравним с методом сложения серии изображений, реализованным в программе RegiStax, а при определённом количестве изображений в серии превосходит его по показателю PSNR.
Литература
1. Pratt, W.K. Digital image processing / W.K. Pratt. - Wiley Publisher, 2007. - 807 p.
2. Gonzalez, R.S. Digital Image Processing / R.S. Gonzalez, R.E. Woods. - New Jercy Prentice Hall, 2002. -954 p.
3. Шелухин, О.И. Оценка качества передачи потокового видео в телекоммуникационных сетях с помощью программно-аппаратных средств / О.И. Шелухин, Ю.А. Иванов // Электротехнические и информационные комплексы и системы. - 2009. - № 4. - С. 48-56.
4. Тимбай, Е.И. Применение корректирующего фильтра для повышения качества изображений, сжатых методом JPEG / Е.И. Тимбай // Компьютерная оптика. - 2011. -Т. 35, № 4. - С. 513-518.
5. Sagues, C. From lines to epipoles through planes in two views / C. Sagues, A.C. Murillo, F. Escudero and J.J. Guerrero // Pattern Recognition. - 2006. - V. 3. - P. 384-393.
6. Dowman, I.J. Automating image registration and absolute orientation: solutions and problems / I.J. Dowman / Photo-grammetric Record. -1998. - P. 5-18.
7. Bay, Н. Speeded-up robust features (surf) / Н. Bay, A. Ess, T. Tuytelaars, L.V. Gool // Computer Vision and Image Understanding. - 2008. - V. 3. - P. 346-359.
8. Lowe, T. Distinctive image features from scale-invariant keypoints / T. Lowe, G. David // International Journal of Computer Vision. - 2002. - V. 2. - P. 91-110.
9. Компьютерная графика [Электронный ресурс]: Томский политехнический университет 2005. - Режим доступа: http://compgraph.ad.cctpu.edu.ru/Rot.htm - Загл. с экрана.
10. Никитин, О.Р. Разработка критериев оценки качества функционирования систем цифрового телевидения / О.Р. Никитин, Е.А. Архипов, В.Ш. Шаназаров // Методы и устройства передачи и обработки информации. -2007. - № 8. - С. 139-142.
11. Tretiak, O.J. Surface-based matching using elastic transformation / O.J. Tretiak, M. Gabrani // Pattern Recognition. - 1998. - P. 87-97.
12. Коровин, Я.С. Метод определения разновысотности тепловыделяющих сборок в задаче телевизионного контроля тепловыделяющих сборок водо-водяного энергетического реактора / Я.С. Коровин, М.В. Хисамутдинов // Вестник компьютерных и информационных технологий. - 2012. - № 12. - С. 3-7.
13. University of Southern California. Signal and Image Processing Institute [Electronical Resource]: The USCSIPI Image Database. - Электрон. дан. - University of Southern California, Los Angeles, USA, 2011. - Режим доступа: http://sipi.usc.edu/database/ - Загл. с экрана.
14. RegiStax 6: Registax 6 software for alignment/stacking/processing of images [Electronical Resource]. -Электрон. дан. - 2011 Cor Berrevoets (The Netherlands). -Режим доступа: http://www.astronomie.be/Registax/ - Загл. с экрана.
References
1. Pratt, W.K. Digital image processing / W.K. Pratt. - Wiley Publisher, 2007. - 807 p.
2. Gonzalez, R.S. Digital Image Processing / R.S. Gonzalez, R.E. Woods. - New Jercy Prentice Hall, 2002. -954 p.
3. Shelukhin, O.I. Estimation of quality of stream video transmission in telecommunication networks with software and hardware tools application / O.I. Shelukhin, Yu.A. Ivanov // Electric Technical and Informational Complexes and Systems. - 2009. - V. 4. - P. 48-56. -(In Russian).
4. Timbai, E.I. Application of correction filter for images quality improvement, compressed by JPEG method / E.I. Timbai // Computer Optics. - 2011. - V. 35(4). - P. 513-518. -(In Russian).
5. Sagues, C. From lines to epipoles through planes in two views / C. Sagues, A.C. Murillo, F. Escudero and J.J. Guerrero // Pattern Recognition. - 2006. - V. 3. - P. 384-393.
6. Dowman, I.J. Automating image registration and absolute orientation: solutions and problems / I.J. Dowman / Photo-grammetric Record. -1998. - P. 5-18.
7. Bay, Н. Speeded-up robust features (surf) / Н. Bay, A. Ess, T. Tuytelaars, L.V. Gool // Computer Vision and Image Understanding. - 2008. - V. 3. - P. 346-359.
8. Lowe, T. Distinctive image features from scale-invariant keypoints / T. Lowe, G. David // International Journal of Computer Vision. - 2002. - V. 2. - P. 91-110.
9. Computer graphics [web resource]: Polytechnic University of Tomsk, 2005 - http://compgraph.ad.cctpu.edu.ru/Rot.htm
10. Nikitin, O.R. Development of quality estimation criterions of digital television functioning /O.R. Nikitin, E.A. Archi-pov, V.Sh. Shanazarov // Methods and Devices of Information Transmission and Handling. - 2007. - V. 8. - P. 139142. - (In Russian).
11. Tretiak, O.J. Surface-based matching using elastic transformation / O.J. Tretiak, M. Gabrani // Pattern Recognition. - 1998. - P. 87-97.
12. Korovin, I.S. Method of fuel assemblies height detection in the task of fuel assemblies television control in the nuclear reactor // Journal of Computer and Information Technologies. - 2012. - V. 12, - P. 3-7. - (In Russian).
13. University of Southern California. Signal and Image Processing Institute [Electronical Resource]: The USCSIPI Image Database. - University of Southern California, Los Angeles, USA, 2011. - http://sipi.usc.edu/database/
14. RegiStax 6: Registax 6 software for alignment/stacking/ processing of images [Electronical Resource]. - 2011 Cor Berrevoets (The Netherlands). - http://www.astronomie.be/Registax/
METHOD OF OBTAINING UNNOISE IMAGE ON THE BASIS OF VIDEO SEQUENCE HANDLING
I.S. Korovin, M.V. Khisamutdinov Scientific Research Institute of Multiprocessor Computing Systems of Southern Federal University (SRI MCS SFEDU) Abstract
A method of video sequences handling with the purpose of receiving a single unnoisy image is proposed in the paper. Image combination algorithm is developed based on the approach of point correspondences and resolution enhancement. The algorithm for addition of multiple images with the purpose of receiving a single unnoisy image is developed. Experimental studies of the proposed method are held.
Key words: image processing, software, white Gauss noise, image addition, image alignment, peak signal to noise ratio (PSNR).
Сведения об авторах
Коровин Яков Сергеевич, 1979 года рождения. В 2004 году окончил Таганрогский радиотехнический университет (ныне Таганрогский технологический институт Южного федерального университета -ТТИ ЮФУ) по специальности «Информационные системы в экономике». Кандидат технических наук (2009 год), работает заведующим лабораторией нейросетевых систем НИИ многопроцессорных вычислительных систем ЮФУ. Обладатель гранта Президента для молодых кандидатов наук, член учёного совета ЮФУ, лауреат премии «Молодёжь Дона» (2008, 2010). Победитель конкурса по программе «СТАРТ», победитель конкурса «Istok-SOYUZ», директор малого инновационного предприятия. Коровин Я. С. - специалист в области методов Data Mining, нейросетевых технологий, систем поддержки принятия решений, обработки изображений. В списке научных работ Я.С. Коровина 23 статьи, 12 авторских свидетельств и патентов.
E-mail: korovin_ yakov@mail. ru . Iakov Sergeevich Korovin (b. 1979) graduated (2004) from Taganrog State Radioengineering University (presently Taganrog Technological Institute of Southern Federal University (TTI SFEDU)), majoring in Informational Systems in Economics. PhD since 2009. Head of Neural Network Systems laboratory of Scientific Research Institute of Multiprocessor Computer Systems of Southern Federal University. Member of SFEDU, TTI SFEDU Young Scientists' Council. Winner of President's grant for young PhDs, member of SFEDU scientific council. Laureate of "Youth of Don" contest (2008, 2010). "START" Program winner, small innovative enterprise director. His current research interests include: Data Mining methods, neural networks, decision support systems, image processing. He is the author and co-author of 23 scientific articles and 12 inventions and patents.
Хисамутдинов Максим Владимирович, 1986 года рождения, в 2008 году с отличием окончил Таганрогский технологический институт Южного федерального университета по специальности «Системы автоматизированного проектирования». Кандидат технических наук (2012 год), работает научным сотрудником лаборатории нейросетевых систем НИИ многопроцессорных вычислительных систем ЮФУ. Область научных интересов: цифровая обработка сигналов и изображений, методы интеллектуального анализа данных. В списке научных работ М.В. Хисамутдинова 7 статей, 3 авторских свидетельства и патента. E-mail: [email protected] .
Maxim Vladimirovich Khisamutdinov (b. 1986) graduated (2008) from Taganrog Technological Institute of Southern Federal University, majoring in Automated Design Systems. PhD (2012), researcher of Neural Network Systems laboratory of Scientific Research Institute of Multiprocessor Computing Systems. Area of scientific interests: digital processing of signals and images, data mining methods. The list of scientific works include 7 articles, 3 inventions and patents.
Поступила в редакцию 8 октября 2013 г.
