CC BY
13Телевизионные системы, передача и обработка изображений
УДК 621.396
Оценка уровня блочности в изображениях, сжатых с использованием дискретного косинусного преобразования
Герасимов Николай Борисович - аспирант кафедры динамики электронных систем ФГБОУ ВПО «Ярославский государственный университет имени Павла Григорьевича Демидова». E-mail: gerasimov@a-vsn.ru.
Приоров Андрей Леонидович - доктор технических наук, доцент кафедры динамики электронных систем ФГБОУ ВПО «Ярославский государственный университет имени Павла Григорьевича Демидова». E-mail: andcat@yandex.ru.
Хрящев Владимир Вячеславович - кандидат технических наук, доцент кафедры динамики электронных систем ФГБОУ ВПО «Ярославский государственный университет имени Павла Григорьевича Демидова». E-mail: vhr@yandex.ru. Адрес: 150000, г. Ярославль, ул. Советская, 14, оф. 309.
Аннотация: Предлагается новый алгоритм неэталонной оценки качества изображений, способный оценивать качество на основе априорной информации о наличии артефактов блочности. Алгоритм показал результаты корреляции с экспертными оценками, сопоставимые с эталонными алгоритмами. Предложенный алгоритм неэталонной оценки качества изображений является востребованной в задачах контроля качества сжатия при передаче визуальной информации по современным телекоммуникационным сетям.
Ключевые слова: дискретное косинусное преобразование, блочность, сжатие, неэталонная оценка, экспертная оценка.
Среди алгоритмов сжатия с потерями на сегодняшний день наибольшее распространение получили стандарты с использованием блочного дискретного косинусного преобразования (Б-ДКП) [1]. Преимущества этих алгоритмов заключаются в достижении хорошей степени сжатия и относительно низкой вычислительной сложности. Однако грубое квантование высокочастотных коэффициентов ДКП при высокой степени сжатия приводит к артефактам блочности и возникновению периодических помех. Поэтому в связи с широким распространением систем цифровой обработки изображений актуальна задача оценки качества сжатых изображений. В настоящее время существует несколько наиболее популярных критериев оценки качества сжатых изображений (рис. 1).
Наиболее надежным и верным способом оценки качества изображения является субъек-
тивная экспертиза [2]. Расчет средней экспертной оценки (Mean opinion score, MOS) долгое время считался наиболее надежным методом. Однако такой подход требует работы большой группы людей, дорог в практическом применении и, как правило, не подходит для использования в реальных ситуациях.
Исторически сложилось так, что объективные методы для оценки качества изображений основывались на простых математических выражениях, таких как среднеквадратичная ошибка (СКО) и пиковое отношение сигнал/шум (ПОСШ). Относительно недавно были предложены более сложные в вычислительном плане алгоритмы. Из них наибольшее распространение получили коэффициент структурного подобия (КСП) [3] и критерий информационной точности (КИТ) [4], который в ряде приложений показывает хорошую согласованность с субъективными экспертными оценка-
Рис. 1. Классификация критериев оценки качества изображений
ми. Используемые сегодня метрики имеют один существенный недостаток - они требуют наличия изображения-оригинала (эталона), необходимого для проведения оценки. Однако на практике, в подавляющем большинстве случаев, приходится сталкиваться с ситуацией, когда эталонное изображение недоступно. Тогда возникает необходимость в создании неэталонных критериев, способных оценивать качество цифрового изображения «вслепую».
В работе предлагается новый алгоритм неэталонной оценки качества изображений, способный оценивать их качество на основе априорной информации о наличии артефактов блочности. Эффективность работы предложенной метрики качества оценивается как корреляция с экспертными оценками.
Неэталонный алгоритм оценки уровня блочности
Основные потери качества при сжатии изображения возникают на этапе квантования коэффициентов ДКП [5]. Возникающие при этом искажения можно охарактеризовать как звон, блочность и размытие [6]. Между ними часто существует заметная корреляция, поэтому оценка качества компрессированного изображения может производиться по одному из этих видов искажений.
Многими исследованиями субъективного восприятия артефактов систем компрессии на базе ДКП показано, что одним из наиболее заметных артефактов, вносимых этими системами, является блочная структура [7]. Причина в
том, что блок представляет собой простую геометрическую фигуру, которая легко распознается на изображении. Поэтому одним из основных показателей качества изображения в указанных системах может стать объективный параметр, связанный с наличием в изображении прямоугольных структур, соответствующих по параметрам блоку ДКП, и их относительной энергией.
Традиционно для анализа компонент блочных искажений применяется детектирование вертикальных и горизонтальных границ. Однако возможно получение более точных результатов в случае увеличения количества рассматриваемых направлений изменения информации, поэтому предлагается использовать маски Кирша Gk [8], ориентированные по 8 различным направлениям:
G =
G3 =
g5 =
G7 =
- 3 - 3 5
- 3 0 5
- 3 - 3 5
- 3 5
5
5 5
5
-3 0 -3 -3 -3 -3 "5 - 3 - 3" 5 0 - 3 5 - 3 - 3 -3 -3 -3 -3 0 -3 5 5 5
G2 =
G4 =
G =
G8 =
- 3 0 5 -3 -3 -3
5 - 3 0 - 3
- 3 - 3 - 3 -3 -3 - 3" 5 0 - 3 5 5 - 3 -3 -3 -3
-3 0 - 3 5
Величина градиента в каждой точке изображения будет равна максимуму градиента по всем восьми направлениям. Если градиент обозначить как g(х, у), где х, у - координаты пикселя, а текущий кадр - как Р, то процедуру вычисления градиента в одной точке можно представить в виде
g(x, У) = тах \gmdk(x, у)}, k=1,...,8
3 3
gradk(х, у) = Е ЕР(х - 2 + г, У - 2 + у) * Gk]).
г=1 У =1
Известно, что артефакты блочности имеют периодическую структуру, поэтому их оценка возможна с помощью сравнения с бесконечной сеткой grid(i, у), где г и у являются шагом сетки по вертикальному и горизонтальному направлениям. Со вмещая карту границ с бесконечной сеткой, можно рассчитать матрицу соответствия как сумму интенсивности границ, попавших на сетку при данном смещении, а периодичность артефактов блочности приводит к максимуму сумм при одном из смещений сетки.
На рис. 2 представлены значения матриц соответствия, рассчитанные для нескольких значений шага сетки. Начиная с шага сетки 16x16, наблюдается повторение локальных максимумов через каждые 8 отсчетов исходного сигнала. Таким образом, можно говорить о том, что шаг сетки 8x8 является в определенном смысле оптимальным для расчета метрики блочности.
В связи с особенностью каждого изображения, количество естественных границ и их контрастность может быть разная, поэтому абсолютное значение сумм интенсивностей границ не может являться характерным признаком искажений. В этой ситуации стоит рассматривать максимум сумм интенсивностей в контексте текущего изображения. Так как естественное расположение границ на изображении является случайным, то при отсутствии искажений сжатия разница между максимумом и минимумом сумм будет минимальной. В качестве метрики блочности предлагается брать отношение максимального и минимального
значения сумм: МБ = тах(^(х,у))/тт^(x,у)). Итоговая схема алгоритма оценки блочности представлена на рис. 3.
Результаты моделирования
Тестирование работы алгоритма проводилось на базах изображений, сжатых по стандарту JPEG "LIVE Image Quality Assessment Database Release 2" [9] и видеопоследовательностей, сжатых по стандарту MPEG-2 из базы "LIVE Video Quality Database" [10]. Для видеопоследовательностей метрики рассчитывались по-
кадрово, а итоговым значением бралось среднее значение по всем кадрам. Основной целью исследования являлось определение зависимости между экспертными оценками и объективными метриками качества. Для этого на основе полученных в ходе эксперимента эталонных оценок качества ПОСШ, КСП и неэталонной метрики блочности (МБ) рассчитаны значения, эквивалентные значениям средней дифференцированной экспертной оценки DMOS. Графики экспертных оценок и рассчитанных экспертных оценок представлены на рис. 4. На рис. 4а представлен график зависимости DMOS от рассчитанных значений для искажения сжатием JPEG, на котором прослеживается явная нелинейная зависимость между этими значениями. На рис. 4б представлен график зависимости DMOS от рассчитанных значений для искажения сжатием MPEG-2. Здесь зави-
70 -Б0 -
а
>s
Ъ 50 -х
S- 40-
С
О
m 30 -20 ■
/1;
Î * " -VV
♦ * *
расчитанный DMOS
а)
со о s
Q 55 .
il X
♦ ♦
♦ ♦ ♦
♦ ♦
♦ ♦
30 35 40 45 50 55 Б0 Б5 70
расчитанный DMOS
б)
Рис. 4. Зависимость рассчитанных значений DMOS от значений средней дифференцированной экспертной оценки: а) для изображений, сжатых JPEG; б) для видеопоследовательностей, сжатых MPEG-2
-N, Расчет Нахождение
— градиентов градиентов
Метрика блочности Расчет контраста Совмещение с сеткой
Рис. 3. Схема алгоритма неэталонной метрики блочности
симость является менее явной, что объясняется меньшим количеством тестовых видеопоследовательностей .
По результатам, представленным в таблице 1, можно сделать выводы о том, что при оценке качества сжатия JPEG корреляция предложенной неэталонной метрики уступила эталонным ПОСШ и КСП на 9% и 19% соответственно, но при этом показала достаточно высокий уровень достоверности оценки в 75%, который можно увеличить с помощью нелинейной нормировки. При оценке качества сжатия MPEG-2 предложенная метрика показала результат корреляции с экспертными оценками на 3% меньше чем КСП, но на 16% больше чем ПОСШ. Также к положительным свойствам предложенного алгоритма относится относительная простота реализации.
Таблица 1. Корреляция объективных метрик с экспертными оценками
Заключение
Таким образом, неэталонная оценка качества изображений является востребованной в задачах контроля качества сжатия при передаче визуальной информации по сетям связи. Предложенный алгоритм показал результаты корреляции с экспертными оценками, сопоставимые с эталонными алгоритмами.
Литература
1. Цифровая обработка телевизионных и компьютерных изображений / Под ред. Ю.Б. Зубарева и
Поступила 12 октября 2013 г.
В.П. Дворковича - М.: 1997.
2. Recommendation ITU-R BT.500-11. Methodology for the Subjective Assessment of the Quality of Television Pictures, 2002.
3. Wang Z., Bovik A.C., Sheikh H.R., Simoncelli E.P. Image Quality Assessment: From Error Visibility to Structural Similarity // IEEE Transactions on Image Processing. 2004. V. 13, no. 4. P. 600-612.
4. Апальков И.В. Усовершенствование алгоритмов удаления шума из изображений на основе модифицированных критериев оценки качества: диссертация кандидата технических наук: специальность 05.12.04. М., 2008.
5. Приоров А.Л., Саутов Е.Ю., Хрящев В.В. Неэталонная оценка качества JPEG-изображений // Цифровая обработка сигналов. 2007. № 3. С. 15 19.
6. Саутов Е.Ю., Хрящев В.В. Разработка и анализ алгоритма неэталонной оценки качества сжатых изображений // Проектирование и технология электронных средств. 2007. № 2. С. 26-29.
7. Радченко Ю.С., Радченко Т.А., Булыгин А.В. Сравнительный анализ алгоритмов сжатия изображений на основе дискретного косинусного (DCT) и чебышевского (GDCT) преобразований // Цифровая обработка сигналов. 2006. № 4. С. 15-19.
8. Hasan M.M., Ahn K., Chae O. Measuring Blockiness of Videos Using Edge Enhancement Filtering // International Conference on Signal Processing, Image Processing and Pattern Recognition, CCIS. 2011. V. 260. P. 10-19.
9. Sheikh H.R., Wang Z., Cormack Z., Bovik A.C. LIVE Image Quality Assessment Database Release 2 // http://live.ece.utexas.edu/research/quality.
10. Seshadrinathan K., Soundararajan R., Bovik A.C., CormackL. K. Study of Subjective and Objective Quality Assessment of Video // IEEE Transactions on Image Processing. 2010. V. 19, no. 6. P. 1427-1441.
Стандарт сжатия МБ ПОСШ КСП
MPEG-2 49% 33% 52%
JPEG 75% 84% 94%
English
Assessment of blockiness level in the images compressed with the usage of discrete cosine transform
Gerasimov Nikolay Borisovich - post-graduate student Department of Electronic Systems Dynamics "Yaroslavl State University named after Pavel Grigoryevich Demidov" .
Priorov Andrey Leonidovich - Doctor of Engineering, Associate Professor Department of Electronic Systems Dynamics "Yaroslavl State University named after Pavel Grigoryevich Demidov" .
Hryashchev Vladimir Vyacheslavovich - Candidate of Engineering, Associate Professor, Department of Electronic Systems Dynamics "Yaroslavl State University named after Pavel Grigo-ryevich Demidov" .
Address: 150000, g. Iaroslavl', ul. Sovetskaia, 14, of. 309.
Abstract: Nonstandard quality evaluation of images is important in the tasks of quality control of compression in visual information transmission via communication networks. At present among algorithms of lossy compression are standards with the usage of block discrete cosine transform. Coarse quantization of high-frequency coefficients of discrete cosine transform at high-scale of compression leads to artifacts of blocki-ness and occurrence of periodic interferences. A new algorithm of nonstandard quality evaluation of images, capable to value the quality on the basis of a priori information on the availability of artifacts of blockiness is suggested. The overall performance of the suggested metrics of quality is assessed as the correlation to expert evaluations. The main objective of the research was to determine the expert evaluations - objective metrics of quality dependence. For this purpose the values equivalent to the values of an average differentiated expert evaluation of DMOS were calculated on the basis of the received standard quality assessments (signal/noise peak relations, coefficient of structural similarity and nonstandard blockiness metrics). The proposed algorithm has demonstrated the results of correlation of expert evaluations, comparable to standard algorithms. Key words: discrete cosine transform, modularity, blockiness, compression, nonstandard estimation, expert evaluation.
References
1. Digital Processing of TV and Computer Images. Ed. by Zubarev Ju.B., Dvorkovich V.P. M.: 1997.
2. Recommendation ITU-R BT.500-11. Methodology for the Subjective Assessment of the Quality of Television Pictures, 2002.
3. Wang Z, BovikA.C., Sheikh H.R., Simoncelli E.P. Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Transactions on Image Processing. 2004. V. 13, no. 4. P. 600-612.
4. Apalkov I. V. Improvement of Algorithms of Image Noise Elimination on the basis of Modifying Criteria of Quality Assessment: thesis of Candidate of Engineering 05.12.04. M., 2008.
5. Priorov A.L., Sautov E.Ju., Hrjashhev V.V. Non-standard Quality Assessment of JPEG Images. Cifrovaja obrabotka signalov. 2007. № 3. P. 15- 19.
6. Sautov E.Ju, Hrjashhev V. V. Development and Analysis of Non-standard Quality Assessment of Shrink Images. Proektirovanie i tehnologija jelektronnyh sredstv. 2007. № 2. P. 26-29.
7. Radchenko Ju.S, Radchenko T.A, Bulygin A. V. Comparative Analysis of Algorithms of shrinking Images on the basis of Discrete Cosine (DCT) and Chebyshev Transformation (GDCT). Cifrovaja obrabotka signalov. 2006. № 4. P. 15-19.
8. Hasan M.M., Ahn K., Chae O. Measuring Blockiness of Videos Using Edge Enhancement Filtering. International Conference on Signal Processing, Image Processing and Pattern Recognition, CCIS. 2011. V. 260. P. 10-19.
9. Sheikh H.R., Wang Z, Cormack Z, Bovik A.C. LIVE Image Quality Assessment Database Release 2. http://live.ece.utexas.edu/research/quality.
10. Seshadrinathan K, Soundararajan R., Bovik A.C., Cormack L.K. Study of Subjective and Objective Quality Assessment of Video. IEEE Transactions on Image Processing. 2010. V. 19, no. 6. P. 1427-1441.
