ОЦЕНКА КОНТРАСТА ЦИФРОВОГО ИЗОБРАЖЕНИЯ НА БАЗЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ ВЕЙБУЛЛА

Голуб Ю. И.; Старовойтов Ф. В.

УДК 004; 004.93

Ю. И. ГОЛУБ1, Ф. В. СТАРОВОЙТОВ 2

ОЦЕНКА КОНТРАСТА ЦИФРОВОГО ИЗОБРАЖЕНИЯ НА БАЗЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ ВЕЙБУЛЛА

1 Государственное научное учреждение «Объединенный институт проблем информатики Национальной академии наук Беларуси» 2 Белорусский национальный технический университет

Цель исследований, описанных в статье, найти количественную оценку максимально коррелирующую с субъективной оценкой качества контрастных изображений в отсутствие эталонов. В результате анализа литературы было отобрано 16 функций применяемых для оценок качества контрастных изображений: BEGH, BISH, BREN, CMO, CURV, FUS, HELM, EBCM, KURT, LAPD, LAPL, LAPM, LOCC, LOEN, SHAR, WAVS. Все они используют среднее значение локальных оценок контраста. В качестве альтернативы усреднению локальных оценок (т. к. среднее -один из параметров нормального распределения) предложено использовать один из параметров распределения Вейбулла - масштаб (scale) или форму (shape).

Для экспериментов использованы цифровые изображения с нелинейным искажением контраста из доступной базы CCID2014. В ней содержатся 15 оригинальных изображений размером 768х512 пикселей и 655 версий с измененным контрастом. Эта база содержит усредненные визуальные оценки качества (Mean Opinion Score, кратко MOS) каждого изображения. Для определения соответствия визуальных оценок MOS и исследуемых количественных мер был использован ранговый коэффициент корреляции Спирмена.

В результате исследований представлена новая оценка качества контрастного изображения при отсутствии эталона. Для получения этой оценки вычисляются локальные значения качества мерой BREN, их множество описывается распределением Вейбулла, и параметр масштаба этого распределения служит наилучшей обобщенной оценкой качества контрастных изображений. Этот вывод подтвержден экспериментально, а предложенная оценка лучше других коррелирует с субъективными оценками экспертов.

Ключевые слова: цифровое изображение, контраст изображения, мера качества, зрительная система человека, распределение Вейбулла, контраст изображения, среднее арифметическое, среднее геометрическое, среднее гармоническое.

Введение

С каждым днем растет количество информации, которое становится доступно человеку. В настоящее время критический анализ и фильтрация поступаемых данных - это актуальные задачи для каждого человека, несмотря на то, какая сфера его деятельности - будь это покупка недвижимости или лекарств в аптеке, просмотр новостей или управление космическим аппаратом, проведение хирургической операции или голосование. Так и с цифровыми данными. С одной стороны развитие информационных технологий - это стимул к дальнейшему росту и развитию в сфере обработки и анализа цифровых изображений. Но с другой стороны возникает необходимость решать задачи, связанные с качеством и количеством этих данных. Хранение и обработка данных становится все более дорогостоящим и трудоемким делом. Поэтому автоматическая оценка качества цифровых изображений позволит:

- экономить время, затрачиваемое человеком-экспертом на визуальную оценку;

- экономить место для хранения данных. Нет необходимости хранить цифровые изображения плохого качества. Например, одно изображение, полученное со спутника при дистанционном зондировании Земли, может занимать 500 МБ;

- экономить время на работу программ;

- увеличить точность работы автоматизированных систем (цифровые изображения хорошего качества повышают точность работы различных алгоритмов их обработки и анализа).

Качество цифрового изображения очень многогранное понятие. Производители, продавая все больше устройств, которые регистрируют и воспроизводят изображения, вводят в обиход понятия, которые зачастую отражают очень узкие области качества цифровых изображений. Например, качество изображений

со смартфонов (или аналогичных устройств) определяют количеством мегапикселей. В настоящее время в продаже имеются смартфоны, камера которых регистрирует изображение до 100 мегапикселей. Однако разрешения в 8 мегапикселей достаточно для печати фотографий формата А4. И при малом размере матрицы, которая располагается в смартфонах, излишнее количество пикселей может только ухудшить качество регистрируемого снимка из-за увеличения количества шумов.

Человек оценивая цифровое изображение, зачастую делает это глобально, т.е. достаточно одного взгляда, чтобы он определил -удовлетворительное качество снимка или нет. Экспериментальный анализ показывает, что

не существует единой универсальной автоматической оценки качества цифровых изображений (различной природы и с разного рода искажениями), которая бы соответствовала визуальной оценке человека. Существуют сложности в связи с тем, что изображения, предъявляемые для оценки качества, могут иметь разный размер, формат и содержание. Примеры изображений, предъявляемых для оценки качества, представлены на рис. 1. Искажения на изображениях могут быть глобальные, т. е. искажение присутствует на всей области снимка (например, третье изображение рисунка 1), и локальные, т.е. искажено часть изображения (например, последнее изображение рисунка 1).

Рис. 1. Примеры цифровых изображений предъявляемых для оценки качества: при исследовании изломов металлов и глаз человека; в системах дистанционного зондирования Земли и распознавания лиц

Оценка качества изображений - это важный этап в системах обработки и анализа изображений, как на этапе регистрации (т.е. получения изображения), так и на дальнейших этапах. Например, при регистрации изображения глаза малейшее движение головой приводит к тому, что изображение получается размытым и необходима его перерегистрация, так как дальнейшее распознавание становится бессмысленным.

Поэтому после регистрации изображения глаза важно выполнить оперативную оценку резкости полученного снимка. Далее после выделения и преобразования радужной оболочки глаза (РОГ) в прямоугольный шаблон (рис. 2) необходимо выполнить анализ закрытости РОГ веками, ресницами, бликами и т.п., т.к. согласно стандарту ГОСТ Р 58295-2018 (ИСО/МЭК 19794-6:2011) [1] для повышения точности

распознавания не менее 70 % РОГ на изображении глаза должна быть видима. На рис. 2 представлены преобразованные в прямоугольник

РОГ (полученные из полутоновых изображений глаз) и бинарные коды РОГ, используемые для идентификации личности.

''■п. ''ik™!«)»!" jiiiHtSii'l

9ff a

IF s

m.....'шшшият

i

J.JIjl ijSj nilf

Hill1 If HmI 111 ИЬшп II' 3 i llllUlllllr I......

Рис. 2. Примеры выделенных РОГ из изображений глаз и построенные на их основе коды РОГ: а, б - удовлетворительное качество изображений; в, г - неудовлетворительное качество изображений из-за попавших на снимок лишних век и ресниц

Классификация оценок качества цифровых изображений

Задачи, в которых необходимо оценить качество цифровых изображений, отличаются большим разнообразием. Иногда необходимо сравнивать получаемое изображение с эталоном. В этом случае используются меры, которые сравнивают два изображения (сравнительные или full-reference measure). Но зачастую необходимо оценить одно изображение. В таких ситуациях меры, при помощи которых сравнивают два цифровых изображения, не подходят. Для оценки одного изображения необходимо использовать безэталонные оценки качества (абсолютные или no-reference measure). Также существуют и меры, в которых используется не эталонное изображения для сравнения с ним, а некоторая информация о нем (например, число потерянных пакетов в канале передаче, тип кодека, тип шума).

Кроме количественных (объективных) оценок качества изображений используются оценки, на основе мнения экспертов, так называемые визуальные (субъективные) оценки

качества. Данный вид оценки достаточно дорогостоящий и медленный. Поэтому необходимы оперативные количественные оценки качества цифровых изображений, которые наилучшим образом соответствуют визуальным оценкам экспертов. В данной статье анализируются безэталонные оценки контраста цифрового изображения.

Экспериментальные данные

В предыдущих экспериментах, которые описаны в статьях [2-3] были использованы цифровые изображения разных баз (TID2013[4], CSIQ [5], Pertuz [6], Kodak [7]) для оценки качества. И был сделан вывод, что нет универсальной оценки качества цифрового изображения с различными искажениями, и для каждого искажения необходимо подбирать свою меру или свой подход к оценке качества.

В данной статье описываются эксперименты, проведенные с использованием цифровых изображений с искаженным контрастом базы CCID2014 [8]. В ней содержатся

г

15 исходных изображений размером 768х512 пикселей (рис. 3), к которым применялись нелинейные преобразования контраста. Применяемые функции преобразований подробно описываются в статье [8]. В результате было получено 655 искаженных изображений (примеры снимков одной сцены

представлены на рис. 4). Данная база изображений ценна тем, что содержит визуальные оценки экспертов (Mean Opinion Score -MOS), которые можно использовать для выбора наилучшей количественной меры, которая наилучшим образом соответствует визуальным.

Рис. 3. Исходные изображения базы CCID2014

В качестве количественных оценок качества из литературы было отобрано 1б мер: BEGH, BISH, BREN, CMO, CURV, FUS, HELM, EBCM, KURT, LAPD, LAPL, LAPM, LOCC, LOEN, SHAR, WAVS. Формулы вычисления и описание указанных мер приведены в статьях [2, 3, б, 9-12]. Для определения взаимосвязи визуальных оценок (из базы CCID2014) и отобранных количественных мер был использован ранговый коэффициент корреляции Спирмена (анализируются характеристики разной природы, поэтому линейный коэффициент корреляции Пирсона не подходит). В предыдущих работах [2, 3] было показано, что получаемые количественные локальные оценки (по одному изображению) не соответствуют нормальному распределению данных, а в качестве альтернативы усреднению (среднее - один из параметров нормального распределения, который часто применяют в качестве глобальной оценки) предлагалось использовать два параметра распределения Вейбулла - масштаб (scale) и форма (form).

Целью написания данной статьи было проверить следующую гипотезу: комбинирование параметров Вейбулла в одно число при помощи одной из мер центральной тенденции (среднее

арифметическое (M), среднее геометрическое (G) или среднее гармоническое (H)), даст лучшие результаты, чем использование только одного параметра Вейбулла в качестве глобальной оценки качества изображений с искаженным контрастом. Также ставилась задача отследить взаимосвязь параметров Вейбулла.

В экспериментах параметры Вейбулла после вычисления были нормализованы по формуле: f(x) = x/(x + 1), где х - нормализуемый параметр. Для отображения на графиках визуальные оценки также были нормализованы путем деления всех значений MOS на их максимальное значение.

В результате экспериментов было определено, что значения коэффициента корреляции необходимо вычислять не для всей базы сразу, а для каждого набора искаженных изображений отдельно. Набор включает в себя искаженные изображения одной сцены (например, на рис. 4 представлено 18 искаженных изображений одной сцены; в данном наборе всего - 43 изображения). Результаты значений корреляции, вычисленные по всей базе сразу, представлены в табл. 1, в табл. 2 - для изображений одной сцены (искаженные изображения с 1-го по 45-ое).

Таблица 1. Данные для 655 искаженных изображений из базы CCID2014

Значения коэффициента корреляция Спирмена

Мера между между между между между между между между между

качества scale и form MOS и H MOS и G MOS и M MOS и scale MOS и form M и H M и G H и G

1 2 3 4 5 б 7 8 9 10

BEGH 0,34 0,00 0,04 0,21 - 0,01 0,38 0,70 0,79 0,99

BISH 0,34 0,37 0,37 0,37 0,38 0,03 1,00 1,00 1,00

BREN 0,93 0,54 0,55 0,55 0,5б 0,54 0,98 0,99 1,00

CMO 0,85 0,42 0,48 0,55 0,41 0,57 0,90 0,96 0,98

CURV 0,88 0,08 0,08 0,08 0,24 0,07 1,00 1,00 1,00

FUS 0,77 0,53 0,53 0,53 0,57 0,53 1,00 1,00 1,00

HELM - 0,93 0,23 0,1б 0,13 0,01 0,10 0,97 1,00 0,99

EBCM 0,34 0,22 0,28 0,38 0,20 0,41 0,86 0,92 0,98

KURT 0,1б - 0,18 - 0,20 - 0,21 - 0,52 - 0,13 0,97 0,99 0,99

LAPD 0,7 0,55 0,5б 0,57 0,57 0,55 0,99 1,00 1,00

LAPL 0,72 0,54 0,54 0,54 0,54 0,54 1,00 1,00 1,00

LAPM 0,807 0,58 0,59 0,б0 0,57 0,58 0,99 0,99 1,00

LOCC 0,91 0,52 0,53 0,55 0,52 0,57 0,95 0,97 1,00

LOEN 0,90 0,47 0,48 0,48 0,5б 0,4б 1,00 1,00 1,00

SHAR 0,85 0,57 0,58 0,59 0,58 0,5б 0,97 0,99 1,00

WAVS 0,б7 0,47 0,49 0,49 0,48 0,45 0,97 0,99 0,99

Примечание: если значение коэффициента корреляции по модулю находится ближе к 1, то это означает наличие очень сильной связи, а если ближе к 0 - связь слабая или вообще отсутствует. Жирным шрифтом отмечены значения больше 0,7, что означает сильную связь анализируемых характеристик.

Проводя анализ таблицы 1 можно заметить, что при получении значений коэффициента корреляции сразу для всех изображений, ни одна количественная мера не соответствует визуальным оценкам качества (значения в столбцах 3-7 меньше 0,7). Однако при сравнении изображений каждой сцены в отдельности, можно заметить количественные меры, которые

соответствуют визуальным оценкам экспертов (табл. 2). Для экономии места в статье представлены значения корреляции только для первых 45-ти изображений. Для остальных искаженных изображений наблюдается аналогичная ситуация - появляются количественные меры качества, для которых значения коэффициента корреляции с визуальной оценкой больше 0,7.

Таблица 2. Данные для первых 45-ти искаженных изображений из базы ССГО2014, которые соответствуют одному исходному изображению и составляют один набор

Значения коэффициента корреляция Спирмена

Мера качества между scale и form между MOS и H между MOS и G между MOS и M между MOS и scale между MOS и form между M и H между M и G между H и G

1 2 3 4 5 6 7 8 9 10

BEGH 0,02 0,10 0,12 0,47 0,10 0,70 0,81 0,82 1,00

BISH 0,59 0,58 0,58 0,58 0,58 0,31 1,00 1,00 1,00

BREN 0,86 0,90 0,92 0,95 0,92 0,90 0,96 0,98 0,99

CMO 0,23 0,37 0,58 0,75 0,28 0,77 0,54 0,82 0,87

CURV 0,83 - 0,05 - 0,05 - 0,05 0,26 - 0,05 1,00 1,00 1,00

FUS 0,75 0,81 0,81 0,81 0,91 0,81 1,00 1,00 1,00

HELM - 0,93 0,32 0,23 0,15 0,11 0,03 0,95 0,99 0,99

EBCM 0,14 0,29 0,34 0,43 0,24 0,53 0,92 0,96 0,99

KURT 0,80 - 0,74 - 0,72 - 0,71 - 0,64 - 0,70 0,99 1,00 0,99

LAPD 0,621 0,69 0,72 0,79 0,92 0,67 0,97 0,98 1,00

LAPL 0,55 0,61 0,63 0,65 0,92 0,60 0,99 1,00 1,00

LAPM 0,70 0,77 0,80 0,86 0,92 0,72 0,95 0,98 0,99

LOCC 0,45 0,70 0,81 0,92 0,65 0,90 0,76 0,87 0,97

LOEN 0,84 0,90 0,90 0,90 0,93 0,84 1,00 1,00 1,00

SHAR 0,76 0,86 0,89 0,93 0,92 0,78 0,94 0,96 0,99

WAVS 0,42 0,78 0,87 0,91 0,90 0,47 0,90 0,97 0,97

На рис. 5 представлены графики визуальной и количественных оценок. Мера BREN показала сильную корреляцию с визуальными

оценками, а мера ВКН - слабую, что также можно отметить анализируя таблицу 2.

■ Параметры Вейбулла и MOS, BISH

^^^^ scale

f

0.9 - _ / —L гармоническое

/

0.8 /\ i \ MOS

' 1 1 M

0.7 - \ /1 \ / \ / / V ' \ * » i \ i l-' \

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

0.6 - \ 1 \ I \ 1 / * u V \ i » i i i

0.5 0.4 . \ 1 \ ' \1 . \/ \ i \ i V

O 5 10 15 20 25 30 35 40 45

Корреляция: scale-form = 0.58643, MOS-scale = 0.58142, MOS-form = Û.31Û14

Рис. 5. Графики визуальной оценки экспертов (MOS) и количественных оценок (оба параметра Вейбулла и три варианта их усреднения). Применяются меры BREN и BISH для первых 45ти искаженных изображений. Для меры BISH графики средних (H, G, M) практически сливаются в единую линию

В табл. 3 указано количество наборов изображений из базы ССГО2014, для которых значения коэффициента корреляции составляло больше 0,7.

Таблица 3. Итоговая таблица для всех наборов базы CCID2014

Значения коэффициента корреляция Спирмена

Мера качества между scale и form между MOS и scale между MOS и form

BEGH 0 0 5

BISH i 0 2

BREN 14 15 13

CMO 10 6 13

CURV 15 0 0

FUS 8 15 11

HELM 15 0 0

EBCM 1 0 2

KURT 12 4 7

LAPD 7 15 9

LAPL 5 15 8

LAPM 11 15 12

LOCC 9 8 14

LOEN 14 12 9

SHAR 11 15 11

WAVS 5 15 6

Всего 15 наборов изображений, поэтому максимально возможное значение - 15

В результате проведенных экспериментов и анализируя данные итоговой таблицы 3 можно сделать следующие выводы.

1. Для глобальной оценки качества изображений с измененным контрастом комбинация параметров Вейбулла с использованием среднего арифметического (M), среднего геометрического (G) и среднего гармонического (H) не дает улучшений по сравнению с использованием одного из параметров (т.е. гипотеза не подтвердилась).

2. Значения коэффициента корреляции Спирмена между средними значениями (H, G, M) для большинства мер имеют значения больше 0,7 (табл. 2, три последних столбца). Исключение составили следующие меры: BEGH M, H и M, G), EBCM M, H и M, G), CMO (M, H), KURT M, H). Коэффициент корреляции между средними значениями H и G всегда был больше 0,7.

3. Лучше всего визуальным оценкам качества соответствовала количественная мера BREN. Анализ таблицы 3 показал, что для 13-ти наборов изображений, при использовании меры BREN, оба параметра Вейбулла показали сильную корреляцию с визуальными оценками, для двух наборов сильную корреляцию показал параметр масштаба (scale), а параметр формы (form) показал слабую. Комбинация параметров scale и form не дает улучшения. Пример, представленный на рис. 6, демонстрирует, что т.к. корреляция между MOS и параметром scale - сильная, а между MOS и средними - слабая.

Рис. 6. Графики визуальной оценки экспертов (MOS) и количественных оценок (оба параметра Вейбулла и три варианта их усреднения). Применяется мера BREN для изображений со 136 по 182

4. Для следующих мер корреляция между параметрами scale и form слабая: BEGH, BISH, EBCM, LAPD, LAPL, WAVS. Для указанных мер коэффициент корреляции между параметрами был меньше 0,7 для большей части искаженных изображений.

На рис. 7 представлены графики зависимости параметров Вейбулла для первых 45 изображений. Для меры BISH значение коэффициента корреляции равно 0,59, для меры HELM оно равно - 0,93. На втором графике рис. 7 можно заметить более компактное расположение точек, что соответствует большей корреляции между параметрами.

5. Очень сильная корреляция для всех искаженных изображений между параметрами scale и form у двух мер: CURV и HELM. Но при этом - очень слабая с визуальными оценками.

6. Слабую корреляцию с визуальными оценками качества показали следующие количественные меры: BEGH, BISH, CURV, HELM, EBCM, KURT.

7. Параметр масштаба (scale) чаще показывал хорошую корреляцию с визуальными оценками для всех наборов изображений, чем параметр формы (form). Для следующих мер параметр масштаба показал сильную корреляцию с визуальными оценками: BREN FUS, LAPD, LAPL, LAPM, SHAR, WAVS.

Заключение

Для количественной оценки качества изображений с измененным контрастом предлагается использовать параметр масштаба распределения Вейбулла, который вычисляется

ЛИТЕРАТУРА

1. ГОСТ Р 58295-2018 (ИСО/МЭК 19794-6:2011) Информационные технологии (ИТ). Биометрия. Форматы обмена биометрическими данными. Часть 6. Данные изображения радужной оболочки глаза.

2. Голуб, Ю. И. Исследование локальных оценок контраста цифровых изображений при отсутствии эталона / Ю. И. Голуб, Ф. В. Старовойтов // Системный анализ и прикладная информатика.- 2019.- № 2 (22).- C. 4-11.

3. Голуб, Ю. И. Сравнительный анализ безэталонных оценок резкости цифровых изображений / Ю. И. Голуб, Ф. В. Старовойтов, В. В. Старовойтов // Доклады Белорусского государственного университета информатики и радиоэлектроники.- 2019.- № 7 (125).- С. 113-120.

4. Ponomarenko, N. Image database TID2013: Peculiarities, results and perspectives / N. Ponomarenko, L. Jin, O. Ieremei-ev, V. Lukin, K. Egiazarian, J. Astola, B. Vozel, K. Chehdi, M. Carli, F. Battisti, C.-C. Jay Kuo // Signal Processing: Image Communication.- 2015.- V. 30.- P. 57-77.

5. Larson, E. C. Most Apparent Distortion: Full-Reference Image Quality Assessment and the Role of Strategy / E. C. Larson and D. M. Chandler // Journal of Electronic Imaging.- March 2010.- 19 (1).- P. 21.

6. Pertuz S., Puig D., Garcia M.A. Analysis of focus measure operators for shape-from-focus. Pattern Recognition.-2013.- 46(5).- P. 1415-1432. DOI: 10.1016/j.patcog.2012.11.011.

7. Kodak Lossless True Color Image Suite. [Online]. Available: http://r0k.us/graphics/kodak/.

Мера BISH, параметры распред.Вейбулла

О о

Пл. О О ° О

Рис. 7. Графики параметров Вейбулла (по оси x - параметр масштаб, по оси у - параметр форма): a - мера BISH, б - мера HELM

на основе локальных значений меры BREN. Данное сочетание меры и параметра Вейбулла показало наилучшее соответствие визуальным оценкам экспертов для всех изображений базы CCID2014.

8. Gu, K. Subjective and objective quality assessment for images with contrast change / K. Gu, G. Zhai, X. Yang, W. Zhang, M. Liu // Proc. IEEE Int. Conf. on Image Processing.- Melbourne, VIC, Australia.- Sep. 2013.- P. 383-387.

9. Beghdadi, A. Contrast enhancement technique based on local detection of edges / A. Beghdadi, A. Le Negrate // Computer Vision, Graphics, and Image Processing. 1989.- 46(2).- P. 162-174. DOI: 10.1016/0734-189X(89)90166-7.

10. Gvozden, G. Blind image sharpness assessment based on local contrast map statistics / G. Gvozden, S. Grgic, M. Grgic // Journal of Visual Communication and Image Representation.- 2018.- 50.- P. 145-158. DOI: 10.1016/j.jvcir.2017.11.017.

11. Tian, J. Multi-focus image fusion using a bilateral gradient-base sharpness criterion / J. Tian, L. Chen, L. Ma, W. Yu // Optics communications.- 2011.- 284(1).- P. 80-87. DOI: doi.org/10.1016/j.optcom.2010.08.085.

12. Narvekar N. D., Karam L. J. A no-reference perceptual image sharpness metric based on a cumulative probability of blur detection. 2009 International Workshop on Quality of Multimedia Experience.- 2009.- P. 87-91. DOI: 10.1109/QO-MEX.2009.5246972.

REFERENCES

1. ISO 19794-6:2011 Information technology. Biometrics. Biometric data interchange formats. Part 6. Iris image data.

2. Golub, Y. I. Study of Local Assessments of Contrast for Digital Images / Y. I. Golub, F. V. Starovoitov // System analysis and applied information science.- 2019.- № 2 (22).- P. 4-11.

3. Golub, Y. I. Comparative analysis of no-reference measures for digital image sharpness assessment / Y. I. Golub, F. V. Starovoitov // Doklady BGUIR. - 2019.- № 7 (125).- P. 113-120.