Обоснование критерия оценки качества восстановления искаженных изображений для итерационного алгоритма в системах корреляционного обнаружения Текст научной статьи по специальности «Компьютерные и информационные науки»

Доклады БГУИР

Doklady BGUIR

2019, № 4 (122) 2019, No. 4 (122)

УДК 623.618

ОБОСНОВАНИЕ КРИТЕРИЯ ОЦЕНКИ КАЧЕСТВА ВОССТАНОВЛЕНИЯ ИСКАЖЕННЫХ ИЗОБРАЖЕНИЙ ДЛЯ ИТЕРАЦИОННОГО АЛГОРИТМА В СИСТЕМАХ КОРРЕЛЯЦИОННОГО ОБНАРУЖЕНИЯ

А.Ю. ЛИПЛЯНИН, А.В. ХИЖНЯК, А.В. СЕРГЕЕНКО, Н.В. ЦАРЕНКОВ

Военная академия Республики Беларусь, Республика Беларусь

Поступила в редакцию 11 февраля 2019

Аннотация. В статье проведен анализ критериев качества оценки изображений, подверженных искажениям типа «смаз» и «дефокусировка». Обоснован критерий оценки качества процесса восстановления, определяемый как степень сходства гистограммы градиентов восстановленного изображения с распределением градиентов яркости, полученным априорно.

Ключевые слова: качество изображения, восстановление изображений, оценка качества восстановления, критерий останова алгоритма.

Abstract. The analysis of quality criteria for evaluating images susceptible subjected to distortions such as «blur» and «defocusing» has been carried out. The criterion for assessing the quality of the recovery process, defined as the degree of similarity of the histogram of the gradients of the reconstructed image with the distribution of brightness gradients obtained a priori, was substantiated.

Keywords: image quality, image recovery, recovery quality assessment, estimate quality image, estimate quality recovery, criterion halt algorithm.

Doklady BGUIR. 2019, Vol. 122, ]Чо. 4, pp. 64-71 Substantiation of the criteria for evaluating of the quality

of restoring distorted images for the iterative algorithm in correlation detection systems A.Yu. Liplianin, А/V. Khizhniak, A.V. Sergeenko, N.V. Tsarenkov

Введение

Одними из факторов, значительно влияющих на качество выходного сигнала, являются искажения типа «смаз» и «дефокусировка». Методы борьбы с этими искажениями рассмотрены в [1], где показано, что итерационный алгоритм Люси-Ричардсона наиболее предпочтителен в задаче восстановления изображений с неизвестными параметрами искажающей функции. Для реализации этого алгоритма в автоматическом режиме необходимо сформулировать критерий его останова. Другими словами, алгоритм нужно остановить тогда, когда будет получено изображение требуемого качества. В то же время универсального метода или подхода к оценке качества изображений не существует ввиду очень широкого различия требований, предъявляемых к оптическим системам. Было создано множество различных способов оценки изображений для решения специфических задач, возникающих при создании систем технического зрения. Общая классификация оценок приведена в [2] и отображена на рис. 1.

Субъективные методы реализуются с участием человека. Его зрительная система пока самый надежный инструмент для оценки качества изображения. Однако оценка качества человеком - это затруднительный и медленный процесс, который предъявляет требования и к экспертам, проводящим оценку, поэтому этот подход не является ни объективным, ни универсальным.

Оценки качктиа

Рис. 1. Общая классификация критериев качества изображений

Количественные критерии, в основном, используются в автоматических системах без участия человека и не коррелируют с системой человеческого восприятия. Они представляют собой совокупность математических операций с входными сигналами для получения некоторой количественной оценки.

Настоящие критерии разбиваются на абсолютные и относительные. Абсолютная мера представляет собой число, сопоставляемое любому изображению на основе анализа этого изображения. Сравнительная мера является числовым результатом сравнения двух или более изображений. Для сравнения также можно использовать абсолютные меры, вычисленные для каждого изображения по отдельности [3].

Основная часть

Для оптических систем с корреляционным способом обнаружения качество изображения обусловлено не только отсутствием помех, вносимых сенсором, но и правильной передачей функции распределения яркости изображения объекта, присутствующего на наблюдаемой сцене. Рассмотрим наиболее распространенные критерии оценки изображений.

Наиболее часто используемые оценки качества изображений - это сравнительные меры, такие как среднеквадратическая ошибка (СКО, MSE - в зарубежных источниках) и пиковое отношение сигнал / шум (PSNR - в зарубежных источниках), показатель структурного подобия и др.

Пиковое отношение сигнал / шум представляет собой отношение пикового сигнала к среднеквадратичному уровню шума, определяемое при последовательной оценке разницы между всеми пикселями исходного и обработанного кадра (1):

PSNR = 10^

( I2

\

MSE

(1)

где 122ах - максимальное значение яркости, принимаемое пикселем изображения; MSE -среднеквадратическая ошибка между двумя изображениями (2):

1

2

МЗЕ = - X (1и - 1и) , п 1г1

(2)

где п - общее количество пикселей в изображении, I1i, I2i - яркости пикселей зашумленного

и оригинального изображения соответственно.

Методы, основанные на этих оценках, хороши для изображений, имеющих белый шум. Однако эти меры некорректно отражают структурные искажения изображения.

Еще одной распространенной мерой является мера структурного подобия. Она была предложена Вангом в работе [4] для сравнения полутоновых изображений:

__ V

(

ББШ =

с х

ЧСХ + СУ ,

2 ХУ

(Х )+(У)

2с х аУ

\

сх +су ;

(3)

Чем выше значение меры сходства изображений, тем лучше выполнена обработка изображения. В общем случае мера сходства изображений рассчитывается

_ 1 мы

в непересекающихся областях для каждого изображения отдельно, где X =-^С^Х/ '

Y

1

MN

?? у«

i=1 j=1 1

1

о X

(M -1)(N

X)(yj -

M N

1) 11( xj

1) i=1 j=1

- X);

1

oY

M N 2

1)H(y -Y);

1) i=1 j=1

(M -1)( N

Y); X,Y - сравниваемые изображения; M,N - размеры

M N

0xy= (M -1)(N -1) 1 1(X изображений.

Рассмотренные выше меры качества изображения являются общепринятыми и наиболее распространенными для оценки изображений и результатов обработки. В последнее время для совершенствования количественных сравнительных критериев оценки вводят дополнительные коэффициенты, которые ориентированы на адаптацию предложенных количественных критериев под систему зрения человека ( HVS - human vision system, в зарубежных источниках). Адаптация заключается в введении набора коэффициентов, которые получены эмпирически. Введение таких поправок основано на особенностях восприятия человека, а именно система человеческого восприятия (HVS) менее чувствительна к искажениям на низких частотах, чем к искажениям в высокочастотной области. Этот подход несколько приблизил количественные оценки к субъективным, но процесс адаптации совершенствуется до сих пор. При этом говорить о качественно новых критериях для операций технического зрения не приходится ввиду того, что что учет HVS является актуальным для систем отображения информации, а не ее обработки.

psnr 30

100 а

200 W

100 б

200 n

в

Рис. 2. Зависимость критериев оценки от количества итераций восстановлений:

а - PSNR, б - MSE, в - SSIM

На рис. 2 представлены результаты моделирования процесса восстановления изображения с целью получения зависимости значений показателей качества: МЗЕ, PSNR, SSIM от количества итераций.

Как можно видеть из рис. 2, максимальное значение всех трех критериев (MSE, PSNR, SSIM) достигается в области 23-й итерации, что соответствует экстремумам на графиках.

В то же время это не совсем объективно отражает процесс восстановления, что можно увидеть из рис. 3. На рис. 3, а представлено исходное изображение, б - смазанное линейным смазом (величина смаза равна 10 пикселям), на рис. 3, в, г - результаты восстановления через 100 и 23 итерации соответственно. То есть после 23 итераций искажение не устранено, а именно, можно увидеть, что распределение яркости объектов (вертолетов) не соответствует оригиналу, в отличие от рис. 3, в, где реализовано 100 итераций. Это свидетельствует о несостоятельности использования критериев оценки на основе СКО. Показатели PSNR и SSIM являются производными от СКО (формулы (1), (3)).

Рис. 3. Оригинальное изображение (а), смазанное изображение (б), 100 итераций восстановления (в), 23 итерации восстановления (г)

Рассмотрим следующую группу критериев. В [5] описана одна из разновидностей относительной оценки изображений, но более подходящими для задачи восстановления являются нормы разности между рассматриваемыми величинами, а именно:

В! = 7 - 7

где вр - норма в плоскости изображения, а вр - норма в частотной плоскости. Величины норм определяются по формуле

в = Ц| 7 ( а )-7( а dО( а ),

(4)

(5)

где а - значение яркости пикселя либо для в р , либо для в р, О - область плоскости изображения или частотной плоскости, по которой проводится интегрирование, dа) - элемент площади в этой плоскости7- представлены оба символа 7 и 3 , показатель степени положителен.

б

а

в

Выбор области О важен с практической точки зрения. В приложениях, в которых нет точной априорной информации об изображении, удобно предположить, что область О покрывает всю область плоскости изображения или частотной плоскости, в которой существенно отлично от нуля изображение, требующее восстановления. И обратно, когда истинная форма изображения задана в ограниченной области Ог, наилучшие результаты будут

получены, если положить, что область О совпадает с областью Ог .

Аналогом нормы разности изображений, в некоторой степени, можно считать норму Минковского. Данная мера оценивает разницу между двумя изображениями X и У [6]:

и 1/р

1 ми "

Х11 У -

ь =

р

ми\=_1 -=1

(6)

где Ьр - значение нормы Минковского. Значение Ьр при сравнении идентичных изображений

равно нулю [6]. Следует отметить, что норма Минковского не учитывает структурного подобия изображений. В ходе моделирования было определено, что норма в частотной плоскости не характеризует процесс восстановления изображения, так как характер зависимости (рис. 4, а) не показывает ни сходимости, ни расходимости процесса восстановления, а состоит из случайных флуктуаций. В свою очередь, норма в пространственной плоскости имеет вид зависимости, схожий с рассмотренным выше СКО (рис. 4, б, в), и, соответственно, так же несостоятельна.

Менее распространены абсолютные критерии ввиду того, что довольно сложно сопоставить в современной обработке изображение и некоторое число, его характеризующее, хотя стоит отметить, что такой способ оценки полностью характеризует изображение по выбранной характеристике, например: контрастность, яркость, резкость и др.

Одним из наиболее значимых абсолютных критериев является контраст изображения. Наиболее простой способ расчета - сравнение соседних пикселей в горизонтальном и вертикальном направлении. Он рассчитывается по формуле (7). Поскольку изображение имеет сложный характер, то это порождает необходимость при определении его контрастности выходить из контраста отдельных комбинаций элементов изображения [6]. При этом все элементы считаются равнозначными, и контраст каждой их пары вычисляется по формуле (3). Пиксели для сравнения можно выбирать различными способами. Наиболее простой способ -сравнение соседних пикселей в горизонтальном и вертикальном направлении.

Ь - ь

С =---, (7)

где Ь, Ь- - яркости элементов изображения.

Далее, применяя правило суммирования контрастов, вычисляют набор величин, которые определяют восприятие каждой пары элементов изображения. Проводя усреднение матрицы локальных контрастов, получают суммарный контраст.

На рис. 4, г значение контраста не меняется, т. е. он не чувствителен к структурным преобразованиям в изображении, происходящим в ходе восстановления.

Еще одним параметром, который определяет качество изображений, является резкость, она во многом определяет пригодность изображения к дальнейшей обработке. Резкость изображения - это степень размытости границы между двумя соседними участками изображения с разной оптической плотностью (яркостью) [4]. G I ( а)-1 ( 6)

^ = tga = — = -^, (8)

где 1 - количество краевых пикселей на изображении, м - ширина перепада, G - разница между значениями яркостей пикселей, обозначенных а и Ь. Также существует способ определения резкости изображения с помощью его Фурье-образа [2]:

У2 =% = (9)

ц С

где ц2 - второй центральный момент, ц4 - четвертый центральный момент, с - стандартное отклонение.

100 а

Рис. 4. Зависимость нормы (а - корреляционной поверхности, б - в частотной плоскости) и значений контраста и резкости (в, г соответственно) от количества итераций восстановления

Так как высоких пространственных частот на резком изображении больше, чем на размытом, следовательно, двумерное распределение спектра Фурье для резкого изображения будет шире. Более резкому изображению соответствует большая величина эксцесса и наоборот [2]. По мнению авторов, величина эксцесса, как искомый критерий, заслуживает внимания, так как характеризует важнейший элемент изображения - четкость границ. Однако его использование весьма проблематично ввиду изрезанности зависимости и требует доработки.

Одним из наиболее современных подходов к оценке работы алгоритмов восстановления является подход, основанный на анализе гистограммы градиентов [7]. Этот подход, предложенный американским профессором Фергусом, основан на том, что распределение яркости на градиенте изображения представляется плавно убывающими границами. Такой вид распределения обусловлен тем, что границ на изображении много меньше чем объектов, даже для кадров с высоким содержанием большого числа мелких целей. В ходе искажения изображения границы становятся менее заметными, их значения не так ярко выражены, что и вызывает изменение участка гистограммы, отвечающего за яркие пиксели, соответствующие границам на изображении. Отсюда следует, что по гистограмме градиента можно судить, насколько границы объектов на восстановленном изображении соответствуют оригинальным. На рис. 5 показана зависимость значения кросс-корреляции от количества итераций восстановления. Из графика можно увидеть, что решение по этому критерию устойчиво сводится к решению по мере возрастания количества итераций.

б

в

г

Рис. 5. Зависимость кросс-корреляции от количества итераций восстановления

Заключение

Таким образом, в ходе проведенного анализа и по результатам моделирования можно сделать вывод о том, что наиболее подходящим критерием оценки качества процесса восстановления изображения в автоматической системе можно считать степень сходства гистограммы градиентов восстановленного изображения и полученным априорно распределением яркости градиента. При этом характеризовать степень соответствия можно через значение кросс-корреляции этих двух распределений. Зависимость изменения значения кросс-корреляции позволяет, задаваясь требуемым качеством восстановления, в автоматическом режиме определить необходимое количество итераций алгоритма для достижения искомого результата.

Список литературы

1. Анализ методов восстановления оптико-электронных изображений, смазанных при движении / А.Ю. Липлянин [и др.] // Докл. БГУИР. 2018. № 2 (112). С. 40-46.

2. Монич Ю.И., Старовойт В.В. Оценки качества для анализа цифровых изображений // Искусственный интеллект. 2008. № 4. С. 376-386.

3. Pratt W.K. Digital Image Processing. USA: John Wiley and Sons, Inc. 1978. 807 p.

4. Wang Z., Bovik A.C., Sheikh H.R. Image quality assessment: From error visibility to structural similarity // IEEE transaction on Image Processing. 2004. Vol. 13, № 4. P. 309-312.

5. Бейтс Р., Мак-Донел М. Восстановление и реконструкция изображений. М.: Мир, 1989. 336 с.

6. Журавель И.М. Краткий курс теории обработки изображений. [Электронный ресурс]. URL: http://matlab.exponenta.ru/imageprocess/book2/ (дата обращения: 08.02.2019).

7. Debur_fergus [Электронный ресурс]. URL: https://cs.nyu.edu/~fergus/papers/deblur_fergus.pdf (дата обращения: 08.02.2019).

References

1. Analiz metodov vosstanovlenija optiko-jelektronnyh izobrazhenij, smazannyh pri dvizhenii / A.Ju. Lipljanin [i dr.] // Dokl. BGUIR. 2018. № 2 (112). S. 40-46. (in Russ.)

2. Monich Ju.I., Starovojt V.V. Ocenki kachestva dlja analiza cifrovyh izobrazhenij // Iskusstvennyj intellekt. 2008. № 4. S. 376-386. (in Russ.)

3. Pratt W.K. Digital Image Processing. USA: John Wiley and Sons, Inc. 1978. 807 p.

4. Wang Z., Bovik A.C., Sheikh H.R. Image quality assessment: From error visibility to structural similarity // IEEE transaction on Image Processing. 2004. Vol. 13, № 4. P. 309-312.

5. Bejts R., Mak-Donel M. Vosstanovlenie i rekonstrukcija izobrazhenij. M.: Mir, 1989. 336 s. (in Russ.)

6. Zhuravel' I.M. Kratkij kurs teorii obrabotki izobrazhenij. [Electronic resource]. URL: http://matlab.exponenta.ru/imageprocess/book2/ (date of access: 08.02.2019). (in Russ.)

7. Debur_fergus [Electronic resource]. URL: https://cs.nyu.edu/~fergus/papers/deblur_fergus.pdf (date of access: 08.02.2019).

Сведения об авторах

Хижняк А.В., к.т.н., доцент, начальник кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.

Information about the authors

Khizhniak A.V., PhD, associate of professor, the chief of chair automated control system of troops of Military Academy of the Republic of Belarus.

Липлянин А.Ю., автоматизированных войсками Военной Беларусь.

адъюнкт кафедры Liplianin A.Yu., PG student of the department

систем управления automated control system of troops of Military академии Республики Academy of the Republic of Belarus.

Сергеенко А.В., командир отделения факультета связи и автоматизированных систем управления Военной академии Республики Беларусь.

Sergeenko A.V., squad leader of the department of signal and automated control system of Military Academy of the Republic of Belarus.

Царенков Н.В., заместитель командира взвода факультета связи и автоматизированных систем управления Военной академии Республики Беларусь.

Адрес для корреспонденции

220057, Республика Беларусь, г. Минск, пр. Независимости 220, Военная академия Республики Беларусь тел. +375-29-504-68-59; e-mail: liplianin.anton@yandex.ru Липлянин Антон Юрьевич

Tsarenkov N.V., deputy commander of platoon of the department signal and automated control system of Military Academy of the Republic of Belarus.

Address for correspondence

220057, Republic of Belarus,

Minsk, Nezavisimosti ave. 220,

Military Academy of the Republic of Belarus

tel. +375-29-504-68-59;

e-mail: liplianin.anton@yandex.ru

Liplianin Anton Yurievich