CC BY
50
МЕТРИКА ИСКАЖЕНИЙ МЕЛКИХ СТРУКТУР КОМПРЕССИРОВАННЫХ ИЗОБРАЖЕНИЙ
С.В. Сай1
1 Тихоокеанский государственный университет, Хабаровск, Россия Аннотация
В статье предлагается новая метрика искажений мелких структур компрессированных изображений - MFSD (Metric of Fine Structures Distortion). К особенностям метрики относится то, что она основана на алгоритме идентификации мелких структур изображения с использованием нормированной системы N-CIELAB, что позволяет оценивать искажения с учетом свойств контрастной чувствительности зрения. Приводятся экспериментальные результаты оценки искажений тестовых изображений в зависимости от степени компрессии и параметра качества в кодеках JPEG и JPEG2000 по метрике MFSD и по традиционным метрикам PSNR и SSIM. На основе результатов сравнительного анализа MFSD с субъективными оценками качества компрессированных изображений JPEG и JPEG2000 получен новый объективный критерий высокого качества воспроизведения мелких структур компрессированных изображений. Приводится теоретическое и экспериментальное обоснование объективности нового критерия по результатам обработки и анализа искажений компрессированных тестовых фотореалистичных изображений.
Ключевые слова: анализ изображений, мелкие структуры, метрика искажений.
Цитирование: Сай, С.В. Метрика искажений мелких структур компрессированных изображений / С.В. Сай // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 829-837. - DOI: 10.18287/2412-6179-2018-42-5-829-837.
Введение
До сих пор существует проблема сохранения высокого качества передачи цифровых фото- и видеоизображений по каналам связи с ограниченной полосой пропускания. Четкость относится к основным показателям качества изображения и зависит от разрешающей способности видеосистемы, которая традиционно оценивается количеством различимых глазом штриховых линий тестового изображения (таблицы). При этом используются различные типы таблиц - как статические, так и динамические. Увеличение количества пикселей формата видеокадра до стандартов ИБ приводит к повышению четкости изображения, но при этом для обеспечения необходимой скорости передачи требуется применение более эффективных методов компрессии. В процессе компрессии формат кадра не меняется, но при этом (при высоких коэффициентах сжатия) обычно «размываются» или «теряются» мелкие детали, что сильно ухудшает визуальное качество изображения. Ухудшение четкости, в свою очередь, приводит к снижению резкости границ крупных деталей изображения. Поиском компромиссных решений между качеством и степенью компрессии заняты исследователи многих стран.
Контроль качества компрессированного изображения достаточно сложен и неоднозначен. В настоящее время существуют множество методов и метрик анализа качества изображений. К традиционным метрикам относятся PSNR и MSE, к более сложным -метрики структурного подобия (SSIM) и мульти-масштабная MSSIM [1]. Метод SSIM выполняет сравнение двух изображений и оценивает их изменения по яркости, контрасту и структуре [2]. Сравнение пикселей изображений выполняется с помощью окна, в котором оценивается качество изображения, выраженное величиной средней разности (БМ08). Этот метод более популярен, чем PSNR и MSE, т.к. он бо-
лее информативен и ближе к зрительному восприятию различий между изображениями [3]. Из известных метрик выделим метрику D-IQM (метрика качества изображения по уровню детальности) [4], которая может быть подобна предлагаемой метрике в данной статье. На сайте [5] лаборатории LIVE (Laboratory for Image & Video Engineering) Техасского университета в Остине приводятся современные публикации с описанием и сравнительным анализом наиболее популярных метрик (SSIM, VSNR, IFC, VIF, MSVD, PSNR и др.) по оценке качества изображений с использованием различных баз данных оригинальных и искаженных изображений.
На основе метрик качества изображений ряд ведущих фирм предлагает аппаратуру для объективного анализа сжатых цифровых потоков. Например, фирма Tektronix выпускает прибор PQA600C [6] и программный пакет PQASW, фирма Rohde & Schwarz -аппарат DVQ, фирма Pixelmetrix - прибор DVStation, фирма Snell & Wilcox - программное обеспечение Mosalina. Все это оборудование позволяет анализировать и объективно оценивать сжатые цифровые потоки (MPEG-2, MPEG-4, H.264/AVC, H.261, H.263, H.263+ и 3GPP) с точностью, в разной степени совпадающей с субъективными оценками.
Принципы оценки качества изображений после сжатия у этих приборов различны. Например, анализатор фирмы Tektronix представляет последовательность изображений как тест-последовательность с ре-перными метками и оценивает ее как тест-объект, определяя условную величину PQR (Picture Quality Rating), хорошо совпадающую с субъективными оценками. В анализаторе фирмы Rohde & Schwarz применяется способ оценки различия между соседними блоками пикселей и макроблоками. При этом предполагается, что в несжатом сигнале различия распределены равномерно. В зависимости от величи-
ны сжатия происходит расщепление разностей, и оно возрастает с ростом артефактов. Анализатор фирмы Pixelmetrix оценивает серию изображений, выбранную из сжатого потока, и определяет ошибки четкости, блочную структуру, «замороженные изображения» и также отношения с/ш в сигналах яркости и цветности.
Наиболее современный анализатор PQA600C [6] работает с двумя блоками видеоданных: тестовым опорным видеосигналом и версией этого опорного сигнала после компрессии, технической обработки или иного действия, ухудшающего качество изображения. Сначала PQA600С производит пространственное и временное нормирование этих двух сигналов. Далее с помощью измерений, базирующихся на модели зрительной системы человека, проводится анализ качества изображения. Результаты анализа содержат общие показатели качества, показатели покадровых измерений и карту нарушений качества по каждому кадру, а также измерения общепринятых параметров качества изображения, например, PSNR. Используемые тестовые видеосигналы могут иметь различное разрешение и скорость кадров. Так, можно измерять изменение качества изображения между HD и SD сигналами и т. д. Прибор может работать в двух режимах - режиме измерений и режиме просмотра. Нужный режим выбирается через конфигурационное меню. В процессе измерений резюмирующие данные и карта результатов отображаются на дисплее и могут быть сохранены на системном жестком диске. Режим просмотра используется для контроля ранее сохраненных резюмирующих данных и карт, созданных либо в режиме измерений, либо в процессе исполнения XML-скриптов. В этом режиме пользователь может выбрать форму многократного отображения и сравнивать результаты, расположив их рядом на дисплее. Таким способом легко сравнивать изменение качества изображения после компрессии с помощью различных кодеров и/или кодера с разными параметрами или с разной конфигурацией процесса измерения.
Результаты обзорных исследований показывают, что во всех известных объективных метриках оценки качества компрессированных изображений практически мало учитываются свойства человеческого зрения в области восприятия мелких деталей и структур изображения. До сих пор самыми надежными считаются субъективные экспертные оценки (MOS). Также пока не существует единой методики количественной оценки эффективности алгоритмов анализа качества изображений [7].
В настоящей статье предлагается новая метрика оценки искажений компрессированных изображений на основе алгоритма поиска и распознавания мелких структур в нормированном цветовом пространстве N-CIELAB. Приводятся экспериментальные результаты оценки искажений в зависимости от степени компрессии и параметра качества изображений в кодеках JPEG и JPEG2000.
1. Система М-СШЬЛБ Колометрическая система СШЬАБ в настоящее время является международным стандартом и широко используется для оценки цветовых различий между оригинальными и искаженными изображениями [8]. Отличия вычисляются как
AE = (L* - LГ)2 + (а - а*)2 + (Ь* - Ь* )2
(1)
где (Lab) - цветовые координаты объекта оригинального изображения и (Üa*b*) - цветовые координаты объекта искаженного изображения.
В качестве объектов тестовых изображений обычно используются цветовые полосы или поля с постоянными значениями яркости и цветности для всех пикселей внутри объекта [9]. Значение ДЕ и 2,3 приблизительно соответствует минимальной ощутимой разнице цвета для человеческого глаза.
Цветовые координаты могут быть получены с помощью преобразования основных цветов (RGB) в цветовое пространство (XYZ), а затем с помощью формул [9]:
L* = 116 f(Y/Yn) - 16; a* = 500 [f(X/Xn) - f(Y/Yn)];
b* = 200 [ f(Y/Yn)-f(Z/Zn)],
где
f (t) =
1/3
if t > 0,008856,
7,787t +16/116, if t < 0,008856.
Значения Хп, Yn и Zn являются координатами эталонного белого цвета. Равноконтрастные цветовые пространства СШЬЛВ, СШЬиУ, С1ЕБЕ2000 и другие [9 - 10] традиционно используются для оценки искажения цветопередачи крупных объектов, которые имеют внутри равномерное распределение цвета. Преимуществом таких цветовых пространств является то, что результаты оценки слабо зависят от цвета объекта.
Очевидно, что оценка цветовых различий, используемая в (1), не дает верных результатов с уменьшением размера объекта, поскольку не учитывает снижение контрастной чувствительности зрения по яркости и цветности.
В [11 - 12] предложена нормированная система N СШЬЛВ и метрика для оценки цветового контраста мелких деталей с учетом весовых коэффициентов по яркости и цветности:
KLAB =
Í т* т* Л2 Lo - Lf
L*h (S)
f * * л2 ao - af
a*h (S)
Гь** -b*f ^2 b*h (S)
.(2)
где Ь0 , а* и Ъ0 - цветовые координаты мелкой детали; , а** и Ъ*0 - цветовые координаты окружающего фона; (8), а* (5) и Ъ* (5) - весовые коэффициенты по яркости и цветности, определенные количеством минимальных цветовых порогов МРСБ; 5 - размер мелких деталей, определяемый числом пикселей изображения.
Формула (2), в отличие от формулы (1), не оценивает цветовые различия между двумя изображениями, а определяет нормированный цветовой контраст мелкой детали в пределах одного изображения. Для крупной детали весовые коэффициенты будут равны единице ( (5) = а* (5) = Ь* (8) = 1) и, следовательно, пороговое значение цветового контраста будет соответствовать величине К^Ав = ЛЕ « 2,3 . С уменьшением
размера детали пороговый контраст будет увеличиваться за счет снижения контрастной чувствительности зрения. Весовые коэффициенты в формуле (2) подобраны таким образом, чтобы получить нормированное значение порогового контраста равным единице:
Кьав = 1. При этом должно выполняться условие: если
контраст мелкой детали превышает пороговое значение
= 1 (3)
klab > klab = 1,
то деталь различается глазом относительно окружающего фона.
Для экспериментальной оценки весовых коэффициентов были разработаны тестовые таблицы с мелкими деталями, расположенными на неокрашенном фоне. Контраст мелких деталей задавался раздельно по трем координатам L , а и b . Для визуализации изображения в формате «*.bmp» выполнялось попиксель-ное преобразование цветовых координат Lab в RGB. При проведении экспериментов использовалась следующая методика. Для каждого эксперимента использовались тестовые таблицы с фиксированными размерами мелких деталей - 1 пиксель, 2*2 пикселя и 4*4 пикселя. При этом пространственное положение деталей и их количество задавалось случайным образом. Светлота фона выбрана как среднее значение: L f = 50.
Наблюдатель с помощью программного интерфейса для выбранной таблицы изменял значение контраста по координате L (а или b ) от нуля до некоторого значения, при котором, по его мнению, мелкие детали начинали различаться на окружающем фоне. В конечном итоге, по результатам оценки, наблюдатель фиксировал свои субъективные значения L th (a th или b th). В табл. 1 приведены значения весовых коэффициентов [10], полученные с помощью усреднения результатов оценок от 20 наблюдателей.
Таблица 1. Зависимости весовых коэффициентов от размера детали
S > 4 4 2 1
L th 1 1 3 6
a th 2 10 20 40
b'th 3 15 30 55
Как показали результаты экспериментов, по сравнению с другими равноконтрастными системами [13,
14], значение порогового контраста К^Ав незначительно отклоняется от единицы при изменении цвета мелких деталей и яркости фона. Таким образом, использование системы М-СГБЬЛБ в задачах идентификации мелких структур изображения является более предпочтительным.
2. Алгоритм идентификации мелких структур Алгоритм идентификации мелких структур основан на способе анализа структуры микроблоков изображения с размером 3*3 пикселя. Мелкие структуры в микроблоке можно разделить на следующие типы: точечные объекты, фрагменты тонких линий, фрагменты контуров, фрагменты текстур. На рис. 1 показаны примеры мелких структур для бинарного изображения, где цифрами указаны номера пикселей в микроблоке.
1 2 3
4 5 6
7 8 9
a)
1 2 3
4 5 6
7 8 9
1 2 3
4 5 6
7 8 9
б)
1 2 3
4 5 6
7 8 9
в) г)
Рис. 1. Примеры мелких структур
Из рис. 1 видно, что максимальное количество цветовых переходов (n) между соседними пикселями внутри микроблока в горизонтальном и в вертикальном направлениях будет равно n = 12 (рис. 1г - фрагмент текстуры). Минимальное количество цветовых переходов равно n = 2 (рис. 1а - точечный объект).
Идентификация микроблока выполняется по следующему критерию: если значения цветового контраста между соседними пикселями для количества переходов n > 2 превышают зрительный порог (1), то в микроблоке присутствует мелкая структура, различимая глазом. Если данное условие не выполняется, то мелкая структура не различается глазом.
Рассмотрим алгоритм идентификации мелких структур изображения по шагам.
1. Выполняем попиксельно преобразование изображения из RGB в Lab.
2. Выделяем первый микроблок с помощью маски 3^3 пикселя, присваиваем номер m = 0 и вычисляем двенадцать значений контраста между соседними пикселями:
K
m, j ,i
AL
Y
m, J,i
Lth
(
Aa,
Y
m, J ,i
ath
(
Ab
Y
m, J ,i
bth
(4)
где L h = 6, a h = 40 и b th = 55 - значения весовых коэффициентов из табл. 1 для мелких деталей с размером в один пиксель; значения AL*,ц = L*„, j - L*mi,
Aa*, ji = a*m, j - а*т^ и Ab*, j j = b*, j - b*mj определяют
контраст между соседними пикселями по светлоте и по цветности; (j, i) = (1, 2); (2, 3); (4, 5); (5, 6); (7, 8); (8, 9); (1, 4); (4, 7); (2, 5); (5, 8); (3, 6); (6, 9) - номера координат пикселей внутри микроблока (рис. 1).
3. Устанавливаем счетчик цветовых переходов в ноль (n = 0) и для каждого значения контраста (4) проверяем условие
Km,j,i > 1. (5)
Если условие (5) истинно, принимаем решение о том, что изменение контраста между соседними пикселями заметно глазом и увеличиваем счетчик на единицу n = n + 1. Если условие (5) ложно, принимаем решение о том, что изменение контраста между соседними пикселями незаметно для глаза и сохраняем значение счетчика n = n.
4. После анализа всех 12 переходов оцениваем значение n. Если n > 2, принимаем решение о том, что в микроблоке присутствует мелкая структура, контраст которой различается глазом, и помечаем его с помощью маркера mark (m) = 1. Если n < 2, принимаем решение о том, что в микроблоке отсутствуют различимые глазом мелкие детали и помечаем его маркером mark (m) = 0.
5. Смещаем координаты маски на три пикселя, переходим к следующему микроблоку с номером m = 1 и повторяем пункты 2-4.
После анализа всего изображения получим выделенные участки изображения в виде микроблоков с размерами 3*3 пикселя, помеченных маркером mark(m) = 1. На рис. 2 показан фрагмент (102*114) тестового изображения с выделенными микроблоками.
Рис. 2. Фрагмент тестового изображения с выделенными мелкими структурами
Почему выбрана система N-CIELAB?
Контраст (4) можно вычислять в любой другой системе цветовых координат, например [14]: RGB, YUV, HSI, WUV, Luv и др. В результате многих исследований мы пришли к выводу [11], что применение системы N-CIELAB имеет следующие преимущества: оценка контраста мелких структур по уравнениям (4 -5) соответствует контрастной чувствительности зрения; оценка не зависит от цвета; оценка мало зависит от яркости окружающего фона.
Таким образом, предложенный алгоритм позволяет идентифицировать фрагменты фотореалистичных изображений с мелкими структурами, контраст которых превышает пороговую контрастную чувствительность человеческого зрения [17]. Кроме того, алгоритм позволяет оценить уровень детальности изображения (FDL) [12], как
FDL = (9 • Nmark )/(W • H), (6)
где W и H - ширина и высота изображения в пикселях; Nmark - количество идентифицированных микроблоков. Для нашего примера (рис. 2) уровень детальности всего изображения равен FDL = 0,208.
Значение FDL можно использовать в задачах классификации и сортировки фотореалистичных изображений по уровню детальности. Экспериментальные исследования алгоритма показали [11 - 12], что он дает адекватные результаты при анализе высококачественных цифровых изображений.
Если изображение искажено шумами, то низкое отношение сигнала к шуму (PSNR) приводит к идентификации компонентов шума как мелких структур и уровень детальности будет расти. Артефакты алгоритмов сжатия JPEG2000 или JPEG с высоким уровнем сжатия (низкое качество) приводят к снижению значения FDL благодаря размытию мелких деталей. Экспериментально мы пришли к выводу [11], что значение FDL незначительно изменяется для PSNR > 40 дБ и/или при сжатии JPEG с высокими настройками параметра качества (80-100%).
3. Метрика искажений MFSD
В [1] приведен сравнительный анализ объективных метрик оценки качества SSIM, VSNR, IFC, VIF, MSVD и PSNR с использованием различных баз данных изображений. Рассмотрим наиболее популярные метрики PSNR и SSIM.
Метрика PSNR позволяет оценивать искажения цветного изображения в децибелах по следующей формуле [15]:
PSNR = 20log10 (п25^ I, (7)
ч/МЖ у
где средний квадрат ошибки (МЕЕ) находится как 1 Г 2 2 2 1
МЯЕ =-УУ|ДЯ?И + Дб? + дв? I,
->ТТПГ ¿ш^ к,» к,» к,» Р
»=1 к=1
и значения
ДКп,м> = » - Кк,»), дбп,» = (бп,» - бп,» X
ДВк,» = (Вк,» - Вк,» ) определяются отклонениями цветовых координат оригинального и искаженного изображений для каждого пикселя с пространственными координатами п и
Анализ выражения (7) показывает, что метрика Р8ЫК не учитывает свойства цветового зрения и структуру изображения. Обычно значение Р8ЫК сопоставляется с субъективными оценками и при этом считается, что хорошее качество изображения обеспечивается при РБЫЯ > 40 дБ.
Метрика ББШ сводится к определению степени сходства соответствующих участков (окон) сравниваемых изображений. Разница между двумя окнами х и у с размером определяется как [16]
(2ц хЦ у + С1)(2ст ху + с?)
SSIMx y = - „ „ „
(ц2 + H- y + c\)(a2x +a 2 + C2)
(8)
где х, у - окна оригинального и искаженного изображений; |х, | - средние значения цветовых координат пикселей в окнах х и у; стх, сту - среднеквадратичные отклонения; стху - значение ковариации; cb c2 - постоянные коэффициенты. Для цветных изображений параметры |х, стх, ц,, сту, стху вычисляются раздельно по компонентам основных (R,G,B) цветов оригинального изображения и по компонентам (R, G, B) искаженного изображения. Далее параметры усредняются. Как правило, метрика (8) рассчитана на окно с размером 8^8 пикселей. Для анализа всего изображения окно смещается на заданное число пикселей последовательно по горизонтали и по вертикали. Интегральная оценка определяется как
1 L
SSIM = -£SSIMi, (9)
L i=i
где l - номер окна, L - количество окон.
Значения (8) и (9) равны единице только при полном совпадении параметров. Отметим, что существуют различные модификации метрики SSIM, например, MS-SSIM, CW-SSIM и др.
Анализ выражений (8) и (9) показывает, что метрика SSIM учитывает структурные различия между окнами двух изображений. Однако отклонения параметров |х, стх от |у, сту и параметра стху при наличии искажений определятся только отклонениями сигналов основных цветов (R,G,B) и, следовательно, не учитывают свойства контрастной чувствительности зрения.
Таким образом, метрики PSNR и SSIM, как и подобные метрики, не дают однозначного ответа на следующий вопрос. При каком их значении будут незаметны или малозаметны искажения мелких структур реалистичных изображений?
В настоящей работе предлагается альтернативная метрика MFSD (Metric of Fine Structures Distortion) для оценки искажений мелких структур компрессированных изображений.
На первом этапе выполняется алгоритм идентификации мелких структур оригинального изображения, описанный в параграфе 2. На втором этапе оцениваются искажения в выделенных микроблоках m по следующей формуле:
dEm = max j,i |Km, j,i - Km, j,i| , (10)
где значения KmjJ вычисляются по формуле (4) для
микроблока оригинального изображения и Km, j j для
микроблока искаженного изображения. Выражение (10) оценивает максимальное отклонение контраста цветовых переходов оригинального и искаженного изображений в микроблоке с номером m.
После анализа всех микроблоков получим среднюю оценку искажений, которая соответствует метрике MFSD:
1 Nmark
MFSD = -- £ dEm . (11)
N mark m=i
Разработанные алгоритмы реализованы в программном анализаторе качества (PQA_FS) в среде С++. Анализатор выполняет следующие функции:
1. Открытие тестового изображения в окне (in_Image).
2. Выполнение алгоритма идентификации мелких структур оригинального изображения и вычисление его уровня детальности (FDL).
3. Открытие компрессированного изображения в окне (out_Image) и вычисление искажений по метрике MFSD и также по традиционным метрикам PSNR и SSIM.
Для оценки искажений компрессированных изображений в кодеках JPEG и JPEG2000 было выбрано приложение Adobe Photoshop CS6. В табл. 2 приведены экспериментальные зависимости MFSD от параметра качества Q и соответствующего коэффициента (Ratio) компрессии кодека JPEG для трех тестовых изображений (рис. 3) с различными уровнями детальности (FDL). Тестовые изображения показаны в уменьшенном масштабе от исходного размера 512*512 пикселей. Для сравнения в таблице приведены результаты оценки искажений по метрикам PSNR и SSIM.
В табл. 2 приведены результаты оценки искажений компрессированных изображений кодека JPEG2000.
На следующем этапе необходимо было оценить значение MFSDmin, при котором искажения мелких структур компрессированных изображений будут незаметны или малозаметны глазом.
Из формул (3) и (5) следует, что изменение контраста между соседними пикселями в микроблоке оригинального изображения будет заметно глазом, если Kj > 1. Формула (10) вычисляет максимальную разницу контраста между соседними пикселями оригинального и искаженного изображений.
Следовательно, можно предположить, что если значение dEm < 1, то искажения будут незаметны или малозаметны. Однако в результате исследований получено, что данное предположение справедливо для мелких структур с высоким контрастом AKm > 2, где
AKm = max j j ( Km, и )
определяет контраст микроблока оригинального изображения.
Если контраст микроблока невысокий 1 < AKm < 2, то искажения с величиной dEm » 1, при условии уменьшения контраста и «размытия» микроблока искаженного изображения, могут привести к тому, что мелкие структуры не будут различаться.
Поэтому для сохранения высокого качества передачи мелких структур фотореалистичных изображений предлагается следующий критерий:
MFSD < MFSDmin = 0,5. (12)
Для подтверждения объективности полученного критерия и экспериментальной оценки параметра MFSDmin использовалась субъективная шкала качества кодера JPEG в приложении Adobe Photoshop CS6. Данная шкала качества получена в результате многочисленных экспериментов выполненных разработчиками приложений Adobe Photoshop и содержит следующие градации: Low (1-4), Medium (5-7), High (8-9), Maximum (10-12).
Рис. 3. Примеры тестовых изображений Таблица 2. Оценка искажений JPEG
Q 3 4 5 6 7 8 9 10
Ratio 17,7 16,4 15,4 13,0 12,8 10,5 8,7 6,9
MFSD 0,953 0,884 0,811 0,761 0,692 0,627 0,500 0,358 Image^)
PSNR 34,00 34,79 35,68 38,80 37,05 38,45 40,14 42,26 FDL = 0,208
SSIM 0,929 0,938 0,946 0,963 0,957 0,966 0,975 0,983
Ratio 13,2 13,7 12,2 10,1 10,5 8,5 6,4 5,7
MFSD 0,978 0,882 0,758 0,734 0,587 0,552 0,353 0,021 Image^)
PSNR 33,03 33,96 35,16 38,00 36,98 38,24 41,84 48,13 FDL = 0,358
SSIM 0.946 0,953 0,961 0,971 0,970 0,975 0,987 0,999
Ratio 9,2 8,3 7,4 6,5 6,5 5,0 4,1 3,3
MFSD 1,530 1,388 1,235 0,987 1,123 0,837 0,608 0,405 Image^)
PSNR 26,61 27,25 27,93 28,87 29,48 31,30 33,24 35,83 FDL = 0,602
SSIM 0,887 0,899 0,910 0,923 0,927 0,945 0,958 0,972
Табл. 3. Оценка искажений JPEG2000
Q 30 40 50 60 70 80 90 100
Ratio 21,4 16,4 13,5 10,3 7,61 5,57 4,32 3,20
MRSD 1,019 0,826 0,634 0,461 0,312 0,209 0,135 0,056 Image^)
PSNR 33,00 34,98 37,25 39,77 42,61 45,61 48,13 48,21 FDL = 0,208
SSIM 0,914 0,937 0,957 0,972 0,983 0,990 0,995 0,996
Ratio 16,4 14,5 11,6 8,6 6,8 5,1 3,9 3,0
MFSD 1,026 0,764 0,574 0,417 0,293 0,199 0,133 0,057 Image^)
PSNR 32,18 34,63 37,12 39,70 42,48 45,50 48,13 48,12 FDL = 0,358
SSIM 0,937 0,954 0,967 0,977 0,985 0,991 0,995 0,997
Ratio 8,3 6,1 4,6 3,5 2,8 2,3 1,9 1,6
MFSD 1,398 1,036 0,730 0,490 0,318 0,207 0,134 0,057 Image^)
PSNR 28,05 30,78 33,82 37,09 40,56 44,14 47,75 48,08 FDL = 0,602
SSIM 0,911 0,942 0,965 0,980 0,989 0,994 0,997 0,997
В процессе экспериментов, в которых принимали участие группы студентов, и анализа более 100 компрессированных JPEG фотореалистичных изображений с различной детальностью мы получили численное среднее значение MFSDmm » 0,5, при котором искажения становятся незаметными (малозаметными) для глаза. В табл. 1, 2 значения MSFD < 0,5 выделены белым цветом. При этом качество изображений соответствует градациям High и Maximum субъективной шкалы приложения Adobe Photoshop. Сравнение полученного результата с результатами метрик PSNR и SSIM показывает, что эти метрики имеют разброс в оценках от 0,972 до 0,987 (SSM) и от 35,8 до 41,8 дБ (PSNR). Следовательно, по
этим метрикам нельзя однозначно определить, при каких значениях искажения мелких структур для любых изображений будут незаметны.
У специалистов может возникнуть вопрос: является ли достаточным выполнение критерия (12) для оценки высокого качества не только мелких структур, но и высокого качества всего изображения? В частности, шумы в сигналах изображения могут маскироваться на фоне мелких контрастных деталей, но будут заметны глазом на равномерных участках.
Для ответа на данный вопрос выполнен ряд экспериментов, в которых для оценки искажений всего изображения был использован дополнительный параметр:
i Np
dEP = — £ dEk , (13)
NF k=1
где значение
dEk =1 (L*k,i - Lki )2 + (a*,, - ali )2 + (0*,, - lo**,i )2 9 i=l
оценивает среднее отклонение цветовых координат оригинального и искаженного изображения в системе CIELAB внутри микроблока (k), в котором отсутствуют различимые глазом мелкие структуры; i - номер пикселей в микроблоке (3Х3). Выражение (13) дает среднюю оценку по всем «фоновым» микроблокам NF.
Из параграфа 1 следует, что искажения участков изображения с постоянными значениями цветовых координат (L a 0 ) в пределах сегмента с размерами не менее 4*4 пикселей будут незаметными или малозаметными при выполнении условия
dEF < 2,3. (14)
В результате экспериментов получен вывод о том, что если выполняется критерий (12) высокого качества воспроизведения мелких структур изображения, то всегда будет выполняться условие (14) незаметности (малозаметности) искажений остальных частей изображения. Для примера, в табл. 4 приведены результаты оценок параметра dEF при высоком качестве воспроизведения мелких структур тестовых изображений (рис. 3).
Табл. 4. Оценка искажений с учетом параметра dEF
Image^) Image^) Image^)
Q 9 9 10 JPEG
MFSD 0,500 0,353 0,405
dEF 1,264 0,936 2,205
Q 60 60 60 JPEG2000
MFSD 0,461 0,417 0,490
dEF 1,226 1,205 1,837
Для дополнительного подтверждения объективности и достоверности метрики MFSD был выполнен анализ качества компрессированных изображений из базы данных [18] лаборатории LIVE. Данная база содержит набор изображений с различным качеством по стандартам JPEG (204 шт.) и JPEG2000 (198 шт.), полученных в результате компрессии 29 оригинальных фотореалистичных изображений. В базе данных для каждого изображения приведены результаты субъективных оценок качества от 20 наблюдателей по 100-бальной шкале, которая конвертирована из 5-бальной шкалы с градациями качества: «плохое», «низкое», «среднее», «хорошее» и «отличное».
Для анализа выбирались те изображения, для которых средние субъективные оценки были не менее 80 баллов, т.е. их качество соответствовало оценке «отличное». Результаты экспериментов показали, что для всех выбранных изображений критерий (12) выполняется, что подтвердило объективность метрики MFSD.
Отметим, что все результаты и выводы данного раздела справедливы при обработке и анализе высо-
кокачественных оригинальных изображений, для которых значение PSNR (7) не менее 40 дБ.
Таким образом, в отличие от известных [16, 17] метрик (PSNR, SSIM и др.), новая метрика MFSD оценивает заметность искажений мелких структур компрессированных изображений и позволяет настраивать параметры любого кодера на высокое визуальное качество.
Например, для тестового изображения Image(a) выполнение критерия (12) обеспечивается при выборе параметра качества Q > 8 (High) кодера JPEG и при выборе Q > 55 кодера JPEG2000. При этом кодер JPEG2000 обеспечивает более высокий коэффициент компрессии, что следует из приведенных данных в табл. 2 и 3.
Заключение
На основе предложенной метрики MFSD оценки искажений (10 - 11) получен новый объективный критерий (12) высокого качества воспроизведения мелких структур компрессированных изображений. К особенностям метрики относится то, что она основана на алгоритме идентификации мелких структур изображения с использованием нормированной системы N-CIELAB и позволяет оценивать искажения с учетом свойств контрастной чувствительности зрения. Объективность метрики подтверждена результатами анализа компрессированных изображений в стандартах JPEG и JPEG2000 с помощью субъективной шкалы качества приложения Adobe Photoshop CS6, а также результатами анализа изображений из базы данных лаборатории LIVE.
К перспективным приложениям предложенной метрики относятся:
1. Оптимизация и настройка параметров кодеров JPEG и JPEG2000 на высокое качество воспроизведения мелких структур изображения.
2. Реализация метрики MFSD в системах анализа качества передачи мелких структур видеоизображений в системах сжатия MPEG на основе анализа выборочных кадров из видеофайла.
3. Разработка новых адаптивных алгоритмов компрессии фото- и видеоизображений с высоким визуальным качеством.
4. Классификация и сортировка изображений по их уровню детальности FDL (6) в существующих и новых базах данных тестовых фотореалистичных изображений.
5. Сегментация изображения по заданным интервалам визуального контраста в задачах анализа и распознавания объектов изображения.
По всей видимости можно предположить, что использование новой метрики в системах компрессии цифровых изображений позволит обеспечить компромиссное решение между коэффициентом компрессии и качеством.
Литература
1. Lin, W. Perceptual visual quality metrics: A survey / W. Lin, C.-C.J. Kuo // Journal of Visual Communication and Image Representation. - 2011. - Vol. 22, Issue 4. -P. 297-312. - DOI: 10.1016/j.jvcir.2011.01.005.
2. Mittal, A. No-reference image quality assessment in the spatial domain / A. Mittal, A.K. Moorthy, A. Bovik // IEEE Transactions on Image Processing. - 2012. -Vol. 21, Issue 12. - P. 4695-4708. - DOI: 10.1109/TIP.2012.2214050.
3. Wang, Z. Video quality assessment using a statistical model of human visual speed perception / Z. Wang, Q. Li // Journal of the Optical Society of America A. - 2007. - Vol. 24, Issue 12. - P. 61-69. - DOI: 10.1364/J0SAA.24.000B61.
4. Dosselmann, R. No-reference image quality assessment using level-of-detail / R. Dosselmann, D.Y. Xue. - Technical Report CS 2011-2, May 2011. - ISBN: 978-0-7731-0695-6.
5. Laboratory for image & video engineering [Electronical Resource]. - URL: http://live.ece.utexas.edu/research/Quality/ (Request date 03.09.2018).
6. Tektronix. Анализаторы качества изображений [Электронный ресурс]. - URL: http://ru.tek.com/picture-quality-analyzer/ (дата обращения 03.09.2018).
7. Кольцов, П.П. О количественной оценке эффективности алгоритмов анализа изображений / П.П. Кольцов, А.С. Осипов, А.С. Кунаев, А.А. Кравченко, Н.В. Котович, А.В. Захаров // Компьютерная оптика. - 2015. - Т. 39, № 4. - С. 542556. - DOI: 10.18287/0134-2452-2015-39-4-542-556.
8. Gonzalez, R.C. Digital image processing / R.C. Gonzalez, R.E. Woods. - 3rd ed. - Upper Saddle River, NJ: Prentice Hall, 2008. - 976 p. - ISBN: 978-0-13-168728-8.
9. Fairchild, M.D. Color appearance models / M.D. Fairchild. -In: Color appearance models / ed. by M.D. Fairchild. -Chap. 10. - Chichester: John Wiley & Sons, 2005. - 408 p. -DOI: 10.1002/9781118653128.ch10.
10. Zhang, X. Color image quality metric S-CIELAB and its application on halftone texture visibility // X. Zhang,
D. Silverstein, J. Farrell, B. Wandell // Proceedings IEEE COMPCON 97. Digest of Papers. - 1997. - P. 44-48. -DOI: 10.1109/CMPCON.1997.584669.
11. Sai, S.V. Segmentation of fine details in the CIELAB / S.V. Sai, N.Yu. Sorokin, A.G. Shoberg // WSCG 2016 -24th Conference on Computer Graphics, Visualization and Computer Vision 2016. - 2016. - P. 155-162.
12. Sai, S.V. Fine-detail level of photorealistic images: Application in the multimedia system / S.V. Sai // 2015 International Siberian Conference on Control and Communications (SIBCON). -2015. - DOI: 10.1109/SIBCON.2015.7147204.
13. Wyszecki, G. Uniform color scales: CIE 1964 U*V*W* conversion of OSA committee selection / G. Wyszecki // Journal of the Optical Society of America. - 1975. - Vol. 65, Issue 4. - P. 456-460. - DOI: 10.1364/JOSA.65.000456.
14. Judd, D.B. Color in business, science and industry /
D.V. Judd, G. Wyszecki. - New York: John Wiley & Sons, 1975. - 576 p. - ISBN: 978-0-471-45212-6.
15. Pratt, W.K Digital image processing / W.K. Pratt. - 3rd ed. -New York: John Wiley & Sons, 2001. - ISBN: 0-471-37407-5.
16. Wang, Z. Image quality assessment: From error visibility to structural similarity / Z. Wang, A.C. Bovik, H.R. Sheikh,
E.P. Simoncelli // IEEE Transactions on Image Processing. -2004. - Vol. 13, Issue 4. - P. 600-612. - DOI: 10.1109/TIP.2003.819861.
17. Barten, P.G.J. Contrast sensitivity of the human eye and its effects on image quality / P.G.J. Barten. - Knegsel: HV Press, 1999. - ISBN: 978-0-8194-3496-8.
18. LIVE image quality assessment database [Electronical Resource]. - URL: http://live.ece.utexas.edu/research/Quali-ty/subjective.htm (request date 03.09.2018).
Сведения об авторе
Сай Сергей Владимирович, 1960 года рождения, в 1983 году окончил Томский институт автоматизированных систем управления и радиоэлектроники (ТИАСУР) по специальности «Радиоэлектронные устройства». Доктор технических наук, доцент, заведующий кафедрой вычислительной техники Тихоокеанского государственного университета (ТОГУ). Область научных интересов: анализ изображений и распознавание образов. Е-шаП: [email protected] .
ГРНТИ: 28.23.15.
Поступила в редакцию 19 марта 2018 г. Окончательный вариант - 4 сентября 2018 г.
METRIC OF FINE STRUCTURES DISTORTION OF COMPRESSED IMAGES
S.V. Sai1
1 Pacific National University, Khabarovsk, Russia Abstract
The article proposes a new Metric of Fine Structures Distortion (MFSD) in compressed images. The peculiarity of the metric is that it is based on the algorithm for identifying fine image structures using a normalized N-CIELAB system, which allows us to estimate distortions while taking into account the properties of contrast sensitivity of the eye. Experimental results of the estimation of distortions of test images are presented depending on the degree of compression and the quality parameter in the JPEG and JPEG2000 codecs according to the MFSD metric and the traditional metrics PSNR and SSIM. Based on the results of a comparative analysis of MFSD with subjective assessments of the quality of the compressed JPEG and JPEG2000 images, a new objective criterion for the high quality reproduction of fine structures of compressed images was obtained. The theoretical and experimental justification of the objectivity of the new criterion is presented based on the results of processing and analysis of distortions of the compressed test photorealistic images.
Keywords: image analysis, fine structures, distortion metric.
Citation: Sai SV. Metric of fine structures distortions of compressed images. Computer Optics 2018; 42(5): 829-837. DOI: 10.18287/2412-6179-2018-42-5-829-837.
References
[1] Lin W, Jay Kuo C-C. Perceptual visual quality metrics: A survey. Journal of Visual Communication and Image Representation 2011; 22(4): 297-312. DOI: 10.1016/j.jvcir.2011.01.005.
[2] Mittal A, Moorthy AK, Bovik A. No-reference image quality assessment in the spatial domain. IEEE Transactions on Image Processing. 2012; 21(12): 4695-4708. DOI: 10.1109/TIP.2012.2214050.
[3] Wang Z, Li Q. Video quality assessment using a statistical model of human visual speed perception. J Opt Soc Am A 2007; 24(12): 61-69. DOI: 10.1364/J0SAA.24.000B61.
[4] Dosselmann R, Yang XD. No-reference image quality as-sessmentusing level-of-detail. Technical Report CS 20112; May 2011. ISBN: 978-0-7731-0695-6.
[5] Laboratory for image & video engineering. Source: (http://live.ece.utexas.edu/research/Quality/).
[6] Picture quality analyzers Tektronix. Source: (http://ru.tek.com/picture-quality-analyzer).
[7] Koltsov PP, Osipov AS, Kutsaev AS, Kravchenko AA, Kotovich NV, Zakharov AV. On the quantitative performance evaluation of image analysis algorithms [In Russian]. Computer Optics 2015; 39(4): 542-556. DOI: 10.18287/0134-2452-2015-39-4-542-556.
[8] Gonzalez RC, Woods RE. Digital image processing. 3rd ed. Upper Saddle River, NJ: Prentice Hall; 2008. ISBN: 9780-13-168728-8.
[9] Fairchild MD. Color appearance models. In Book: Fair-child MD, ed. Color appearance models. Chap 10. Chich-ester: John Wiley & Sons; 2005. DOI: 10.1002/9781118653128.ch10.
[10] Zhang X, Silverstein D, Farrell J, Wandell B. Color image quality metric S-CIELA Bandits application on halftone texture visibility. Proc IEEE COMPCON 97: Digest of Pa-pers1997; 44-48. DOI: 10.1109/CMPCON.1997.584669.
[11] Sai SV, Sorokin NYu, Shoberg AG. Segmentation of fine details in the CIELAB. WSCG 2016 - 24th Conference on Computer Graphics, Visualization and Computer Vision 2016: 155-162.
[12] Sai SV. Fine-detail level of photorealistic images: Application in the multimedia system. 2015 International Siberian Conference on Control and Communications (SIBCON) 2015. DOI: 10.1109/SIBCON.2015.7147204.
[13] Wyszecki G. Uniform color scales: CIE 1964 U*V*W* conversion of OSA committee selection. JOSA 1975; 65(4): 456-460. DOI: 10.1364/JOSA.65.000456.
[14] Judd DB, Wyszecki G. Color in business, science and industry. New York: John Wiley & Sons; 1975. ISBN: 9780-471-45212-6.
[15] Pratt WK. Digital image processing. 3rd ed. New York: John Wiley & Sons; 2001. ISBN: 0-471-37407-5.
[16] Wang Z, Bovik AC, Sheikh HR and Simoncelli EP. Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing 2004; 13(4): 600-612. DOI: 10.1109/TIP.2003.819861.
[17] Barten PGJ. Contrast sensitivity of the human eye and its effects on image quality. Knegsel: HV Press; 1999. ISBN: 978-0-8194-3496-8.
[18] LIVE image quality assessment database. Source: (http://live.ece.utexas.edu/research/quality).
Author's information
Sergey Vladimirovich Sai, born in 1960, in 1983 graduated from the Tomsk Institute of Automated Control Systems and Radioelectronics (TIASUR), specializing in Radioelectronic Devices. Doctor of Technical Sciences, Professor, Head of Computing Technology Department, Pacific National University (TOGU). Area of scientific interests: image analysis and pattern recognition. E-mail: [email protected] .
Received March 19, 2018. The final version - September 4, 2018.
