CC BY
56
УДК 004; 004.93
Ю. И. ГОЛУБ1, Ф. В. СТАРОВОЙТОВ2
ИССЛЕДОВАНИЕ ЛОКАЛЬНЫХ ОЦЕНОК КОНТРАСТА ЦИФРОВЫХ ИЗОБРАЖЕНИЙ ПРИ ОТСУТСТВИИ ЭТАЛОНА
1 Объединенный институт проблем информатики Национальной академии наук Беларуси 2Белорусский национальный технический университет
В статье рассматривается понятие контраста цифрового изображения. Исследованы различные количественные оценки контраста цифровых изображений. Выполнены сравнительные экспериментальные исследования разных оценок контраста на двух стандартных базах изображений. Показано, что оценивание контраста посредством вычисления среднего арифметического или среднеквадратического значений множества локальных оценок не всегда совпадает с визуальной оценкой человека. Результаты экспериментов показали, что параметр формы распределения Вейбулла является более точной оценкой множества локальных измерений контраста, вычисленных функциями BEGH, GORD, LOEN и хорошо коррелирует с визуальными оценками контраста.
Ключевые слова: контраст изображения, коэффициент контраста, оценка качества изображения
Введение
Одним из показателей качества изображения является его контраст. Анализ научно-технической литературы показал, что единое определение этого понятия отсутствует [1-2]. Кроме того, есть различные определения коэффициента контраста, определяющего степень и выражаемого безразмерной величиной [3]. Контраст изображения визуальный - это зрительное восприятие разницы между светлыми и темными участками изображения [1].
В 1729 г. французский физик Пьер Бугер, исследуя способность человека различать величины физической яркости (или освещенности предмета), установил, что дифференциальный порог для яркости - т. е. минимальный прирост яркости А/, необходимый для того, чтобы вызвать едва заметное различие в ощущении яркости, - примерно пропорционален уровню фоновой яркости /, в силу чего отношение А/ / / - величина постоянная.
Через 100 лет, в 1831 г. независимо от Бу-гера, психофизик Эрнст Вебер в экспериментах на различение весов, длин линий и высоты звукового тона также обнаружил постоянство отношения дифференциального порога к фоновой величине стимула, т. е. определил мини-
мальный контраст, при котором глаз может различать детали сцен и объектов. Он ограничен порогом контрастной чувствительности глаза. В научной литературе такое определение коэффициента контраста называют законом Вебе-ра, он равен
КВ = (1об - ^фон) / "^фон (1)
где 1об - яркость объекта, 1фон - яркость фона. Однако понятие объекта и фона для произвольного изображения определить затруднительно.
Михельсона уточнил определение коэффициент контраста:
КМ = (1тах — —тт) ^ (1тах + —тт), (2)
где 1тах - максимальное и - минимальное значения яркости. Недостаток такого определения - равный контраст у темных и светлых изображений при = 0.
Модифицированный вариант такого вычисления контраста изображения предложен Гордоном [4]. Он предложил вычислять коэффициент контраста Михельсона локально, а вместо /т;п и 1тах использовать средние значения яркости в квадратных окрестностях пикселов размером 3x3 и 9x9.
Кадничанский С. А. в работе [5] показал, что основные классические формулы вычисле-
ния глобального контраста не совпадают с визуальными оценками. Он же для описания контраста 8-битного полутонового цифрового изображения предложил два варианта формул вычисления локального Клок и глобального контраста кглоб:
(3)
^лок (Imax Imin) ! 255, ^глоб = 2s / 255,
где Imax, Imin - максимальное и минимальное значения яркости в окрестностях пикселов, s - стандартное отклонение.
В качестве альтернативных параметров используют также модули градиентов яркости. Простое рассуждение показывает, что при автоматическом определении контраста глобальные параметры, вычисленные для всего изображения, могут дать значения контраста не совпадающее с визуальной оценкой человека. Например, когда все изображение малоконтрастное, а пара пикселов или маленьких фрагментов имеют максимально противоположные значения, глобальное значение контраста будет максимальным.
Таким образом, следует вычислять локальные оценки контраста в окрестности каждого пиксела или разделив изображение на небольшие фрагменты. В этом случае вычисляется множество локальных оценок и возникает задача вычисления на их базе единой оценки контраста. Чаще всего для этого используют среднее арифметическое или среднеквадратичное значение, однако наши исследования показывают, что это не лучший вариант обобщения множества локальных оценок [6-7]. Поэтому для вычисления единой оценки контраста изображения исследуем параметры других распределений случайных величин. В данной статье были проанализированы параметры распределения Вейбулла, для оценки контраста использовались следующие количественные меры: локальная энтропия, CHAN, CMO, CONT, BEGH [8], EBCM, GCF1, GCF2, GOLE [9], локальный контраст, вычисленный по формуле Гордона GORD [4], GRAD (вычисление контраста через градиент дает нечеткие пики), GRAT, LAPL, LCON, LOCC, LOCM (вычисляет разницу яркости в одном направлении), LOEN, LVAR, MATK [10], NATU, NIQE, NJQA, PB, S3, SFIL, SFRQ, STD, SVD1, SVD2, SVD, SVDM, SVDO, TMQI, часть из них описана в работе [7].
Экспериментальная часть
В экспериментах исследована гипотеза о возможном использовании в качестве новой глобальной оценки контраста параметры распределения Вейбулла, построенного для гистограммы множества локальных оценок. Параметры этого преобразования исследовались при модификации популярной меры сравнения цифрового изображения с эталоном - индекса структурного сходства, называемого в литературе SSIM. Результаты исследований описаны в статье [6], где было обосновано применение параметров распределения Вейбулла для оценки качества изображений. Однако мера SSIM сравнивает изображение с эталоном и показывает степень отличия от эталона. На практике эталонный образец зачастую не известен. Основной результат работы [6] - доказательство того, что множество локальных оценок можно характеризовать не средним значением, а одним из параметров статистического распределения этих оценок, в частности распределения Вейбулла.
Для тестирования различных мер контраста использовались два множества изображений:
1) база данных CCID2014 [11], содержащая 655 разноконтрастных вариантов 15-ти цветных изображений из базы Kodak [12] размером 768x512 пикселов. Кроме того, база CCID2014 содержит усредненные пользовательские оценки MOS для каждого изображения;
2) множество из 21 стандартного изображения, используемого в исследованиях по обработке изображений. К каждому изображению применялось линейное преобразование. Коэффициент контраста k изменялся от 0,25 до 7,0 с шагом 0,25, яркость каждого пиксела (/, j) изменялась согласно формуле newIm(/, j) = k*(Im(/, j) - 127,5) + 127,5, в итоге было сформировано 588 изображений с разным контрастом (рис. 1).
Как было отмечено в наших исследованиях ранее [6, 7], выбор изображения с визуально лучшим контрастом - очень сложная задача, с которой практически не справилась ни одна из описанных в литературе оценок качества изображений.
Оценочные меры Кадичанского были исследованы в локальном и глобальном вариантах. Тестирование этих мер на разных изображениях с изменяющимся коэффициентом кон-
Рис. 1. Примеры изображений с разными значениями коэффициента контраста
Рис. 2. Слева исходное изображение, справа автоматически выбранное изображение с максимальным контрастом
Рис. 3. Параметр формы распределения Вейбулла имеет минимальное значение при максимальном контрасте изображения (слева), а среднее значение локальных контрастов имеет максимальное значение для этого же коэффициента контраста равного 2,75
траста показало, что с их помощью невозможно выбрать наиболее контрастное изображение. Кроме того, эти две меры плохо коррелируют с визуальными оценками контрастности изображений. Поэтому эти меры были отвергнуты как не точные.
Ряд мер контраста, предложенных в литературе, по этим же причинам был забракован. Среди них: меры: GRAD (вычисление контраста через градиент дает нечеткие пики), LOCM (вычисляет разницу яркости в одном направлении), GOLE [9], MATK [10].
Некоторые оценки позволяют относительно корректно определить наиболее контрастные изображения во втором тесте. К ним относятся локальные оценки контраста по фор-
муле Гордона [4] после применения распределения Вейбулла параметр масштаба а, вычисленный для ряда изображений с линейно измененным контрастом, имеет вид неубывающей функции, параметр формы Ь более информативен. Он имеет пики и минимумы внутри диапазона значений коэффициента контраста для большинства тестовых изображений (см. рис. 2-5 и таблицу).
В таблице представлены сводные результаты определения контраста разных изображений двумя функциями: Гордона ^ОЯВ) [4] и Beghdadi (BEGH) [8]. Для обоих вычислялись локальные оценки, затем определялись их среднее значение и параметры их распределения функцией Вейбулла (а и Ь). Знаком «+»
Рис. 4. Слева исходное изображение, справа лучшее изображение с коэффициентом контраста равным 1,5
Рис. 5. Параметр формы распределения Вейбулла локальных оценок контраста Гордона при анализе изображений, представленных на рис. 4, указывает на максимальный контраст изображения при коэффициенте изменения контраста равном 1,5, а среднее локальных оценок дает пик при коэффициенте равном 2,5, что неверно
Оценки корректного определения визуально оптимального контраста тестовых изображений
№ Название изображения Мера Оптим. коэф. контраста через параметр формы b Среднее № Название изображения Мера Оптим. коэф. контраста через параметр формы b Среднее
1 boat GORD BEGH 1,5 + 1,25 + + 12 bridge GORD BEGH 1,75 + 1,5 +
2 moon GORD BEGH - - 13 lena GORD BEGH 1,5 + 1,5 +
3 clock GORD BEGH 2,75 ~ 3,25 ~ - 14 goldhill GORD BEGH - -
4 man GORD BEGH 1,25 + - 15 baboon GORD BEGH 1,5 + -
5 finger GORD BEGH 2,75 + 3,5 + + + 16 flowers GORD BEGH - -
6 houses GORD BEGH 3,25 ~ 3,0 ~ 17 tiffany GORD BEGH - -
7 kiel GORD BEGH 1,25 + 18 truck GORD BEGH 2,25 ~ 1,25 + +
8 trucks GORD BEGH 2,5 + - 19 pepper GORD BEGH 1,25 + -
9 zelda GORD BEGH 1,5 + - 20 orchid GORD BEGH 1,5 + -
10 airfield GORD BEGH 1,75 + - 21 cameraman GORD BEGH - -
11 tank GORD BEGH 1,75 + -
Рис. 6. Оригинальные изображения баз Kodak и CCID2014
Рис. 7. Схема преобразований изменения контраста исходного изображения
отмечены варианты с визуально корректными результатами, а рядом записаны найденные значения коэффициента контраста. Знак «-» означает неверное определение коэффициента контраста, знак «~» - удовлетворительное.
На данном этапе выполнены исследования известных оценок контраста цифровых изображений. Показано, что глобальные количественные оценки часто противоречат визуальным оценкам. При использовании локальных оценок контраста в известных мерах чаще всего определяется их среднее арифметическое в качестве единой оценки контраста. Экспериментально показано, что такое среднее значение редко коррелирует с визуальной оценкой контраста.
Исследован вариант модификации ряда оценок контраста посредством применения к ним распределения Вейбулла и анализ двух его параметров на предмет использования в качестве оценки контраста изображения. Согласно выполненным экспериментам лучшие оценки контраста изображений получены с помощью локальных оценок, вычисляемых по функции Гордона, к которым применено распределение Вей-булла. Минимальное значение параметра формы этого распределения чаще всего указывает на визуально наиболее контрастное изображение.
Вторая группа экспериментов была выполнена на базах изображений - Kodak (25 изображений) [12] и CCID2014 (655 изображений) [11]. Исходные изображения Kodak представлены на рис. 6. На рис. 7 представлена схема преобразований изменения контраста исходных изображений. Было протестировано 26 мер качества, опубликованных в научной литературе и используемых для оценки контраста и качества изображений при отсутствии эталона (no-reference measures). Протестирован ряд количественных мер оценки качества изображений при отсутствии эталона, а именно: CHAN, CMO, CONT, EBCM, GCF1, GCF2, GRAT, LAPL, LCON, LOCC, LOEN, LVAR, NATU, NIQE, NJQA, PB, S3, SFIL, SFRQ, STD, SVD1, SVD2, SVD, SVDM, SVDO, TMQI, часть из них описана в работе [6].
Была выполнена оценка каждого тестируемого изображения - построены графики для всех количественных мер качества и визуальной субъективной оценки (MOS - Mean Opinion Score, Средняя экспертная оценка), полученной вместе с базой изображений CCID2014 [11]. Из всех вышеперечисленных количественных мер, лучшие результаты показали функции BEGH, GORD, LOEN.
На рис. 8 представлены графики изменений средних значений для лучших количественных
0.9 - -V, __I ... 1 ^ V. ... \ т /\ \ -
0.8 0.7 \\ Д \///\ \ х\\ [ \\
0.6 _ *\v/' Ах -7 ' \ \ ¡ V' _
0.5 - Wyi / \\/ / \ м / \ / \V:
\ \ i / \' ! \ ~ /»:\ / • Г
\
0.1 - 1 / 1 / \ 4 Ц ¡ i i \/ i i i - - МOS-оценка \\ ■ ■■■aW \\ i —-"w i i •• -
565 570 575 580 565 590 595 рОО 605 610 615
Рис. 8. Графики изменений визуальной оценки качества (MOS-оценки) и количественных мер качества: а - BEGH;
б - GORD; в - LOEN
мер BEGH, GORD, LOEN, параметров распределения Вейбулла (aW - параметр масштаба, bW - параметр формы) и субъективных оценок (MOS) для 43 изображений вариантов изображения «Попугай» с разным контрастом.
Все оценки (MOS-оценки, BEGH, GORD, LOEN) на графиках нормализованы в диапазоне [0, 1]. Анализ подобных графиков показал, что субъективные оценки экспертов (MOS-оценки) больше всего коррелируют с параметром формы b распределения Вейбулла.
Заключение
В результате анализа литературных источников отобран ряд мер, позволяющих оценить контраст цифровых изображений. Они были запрограммированы и протестированы двумя
ЛИТЕРАТУРА
типами экспериментов на предмет способности определять лучшее значение контраста при его линейном изменении и корреляции с экспертными оценками контрастности изображений, представленных в специализированной базе изображений CCID2014. Отобраны три лучшие меры контраста цифровых изображений: BEGH, GORD, LOEN.
Экспериментально показано, что модификация известных подходов посредством использования параметра формы распределения Вейбулла вместо среднего значения локальных оценок точнее описывает контраст изображения и лучше коррелирует с визуальными оценками качества изображения.
Исследования выполнены в рамках проекта БРФФИ Ф18МС-028.
1. Краткий фотографический словарь. Под общей редакцией А. А. Лапаури и В. И. Шеберстова. - М.: Искусство. -
1956.
б
в
2. Артюшин Л. Ф. Контраст фотографического изображения // Фотокинотехника: Энциклопедия / Гл.ред. Е. А. Иофис. М.: Советская энциклопедия, 1981. - С. 148-150.
3. Каценеленбоген Э. Д. Контрастности коэффициент // Фотокинотехника: Энциклопедия / Гл. ред. Е. А. Иофис. -М.: Советская энциклопедия, 1981. - С. 150.
4. Gordon R., Rangayyan R. M. Feature enhancement of film mammograms using fixed and adaptive neighborhoods // Applied Optics,1984. - 23(4). - P. 560-564.
5. Кадничанский С. А. Оценка контраста цифровых аэрофото- и космических снимков // Геодезия и картография. -2018. - № 3. - С. 46-51.
6. Старовойтов В. В. Уточнение индекса структурного сходства изображений SSIM // Информатика. - 2018. -Т. 15. - № 3. - С. 7-16.
7. Старовойтов, В. В., Старовойтов Ф. В. Сравнительный анализ безэталонных мер оценки качества цифровых изображений // Системный анализ и прикладная информатика. - 2017. - Т. 13. - № 1. - С. 24-31.
8. Beghdadi, A., Le Negrate, A. Contrast enhancement technique based on local detection of edges // Computer Vision, Graphics, and Image Processing, 1989. - Vol. 46. - N. 2. - P. 162-174.
9. Golestaneh, S. A., & Chandler, D. M. No-reference quality assessment of JPEG images via a quality relevance map// IEEE Signal Processing Letters. - 2014. - Vol. 21. - N. 2. - P. 155-158.
10. Matkovic K. et al. Global Contrast Factor - a New Approach to Image Contrast // Computational Aesthetics, 2005. -P. 159-168.
11. Gu K., Zhai G., et.al. Subjective and objective quality assessment for images with contrast change // Proc. IEEE Int. Conf. on Image Processing, Melbourne, VIC, Australia, Sep. 2013. - P. 383-387.
12. Kodak Lossless True Color Image Suite. [Online]. Available: http:// r0k.us/graphics/kodak/.
REFERENCES
1. Kratkij fotograficheskij slovar'. Pod obshhej redakciej A. A. Lapauri i V. I. Sheberstova. - M.: Iskusstvo. - 1956.
2. Artjushin L. F. Kontrast fotograficheskogo izobrazhenija // Fotokinotehnika: Jenciklopedija / Gl. red. E. A. Iofis. - M.: Sovetskaja jenciklopedija, 1981. - S.148-150.
3. Kacenelenbogen Je. D. Kontrastnosti kojefficient // Fotokinotehnika: Jenciklopedija / Gl. red. E. A. Iofis. - M.: Sovetskaja jenciklopedija, 1981. - S. 150.
4. Gordon R., Rangayyan R. M. Feature enhancement of film mammograms using fixed and adaptive neighborhoods // Applied Optics, 1984. - 23(4). - P. 560-564.
5. Kadnichanskij S. A. Ocenka kontrasta cifrovyh ajerofoto- i kosmicheskih snimkov // Geodezija i kartografija. - 2018. -№ 3. - S. 46-51.
6. Starovojtov V. V. Utochnenie indeksa strukturnogo shodstva izobrazhenij SSIM // Informatika. - 2018. - V. 15. -№ 3. - S. 7-16.
7. Starovojtov, V. V., Starovojtov F. V. Sravnitel'nyj analiz bezjetalonnyh mer ocenki kachestva cifrovyh izobrazhenij // Sistemnyj analiz i prikladnaja informatika. - 2017. - V. 13. - № 1. - S. 24-31.
8. Beghdadi, A., Le Negrate, A. Contrast enhancement technique based on local detection of edges // Computer Vision, Graphics, and Image Processing, 1989. - V. 46. - N. 2. - P. 162-174.
9. Kodak Lossless True Color Image Suite. [Online]. Available: http:// r0k.us/graphics/kodak/.
10. Gu K., Zhai G., et.al. Subjective and objective quality assessment for images with contrast change // Proc. IEEE Int. Conf. on Image Processing, Melbourne, VIC, Australia, Sep. 2013. - P. 383-387.
11. Golestaneh, S. A., Chandler, D. M. No-reference quality assessment of JPEG images via a quality relevance map // IEEE Signal Processing Letters. - 2014. - V. 21. - N. 2. - P. 155-158.
12. Matkovic K. et al. Global Contrast Factor - a New Approach to Image Contrast // Computational Aesthetics, 2005. -P. 159-168.
Поступила После доработки Принята к печати
01.06.2019 22.06.2019 01.07.2019
GOLUB Y. I.1, STAROVOITOVF. V.2 STUDY OF LOCAL ASSESSMENTS OF CONTRAST FOR DIGITAL IMAGES
1 United Institute ofInformatics Problems of the National Academy of Sciences of Belarus, 2Belarusian National Technical University
The article study notion of the digital image contrast. Various quantitative estimates of the contrast of digital images are investigated. Comparative experimental studies of different contrast estimates were performed on two standard image databases. It is shown that the evaluation of contrast by calculating the arithmetic average or MSE values of a set of local estimates does not always coincide with the visual contrast assessment. Experimental results showed that the Weibull distribution shape parameter is a more accurate estimate of the set of local contrast estimates calculated by the BEGH, GORD, LOEN functions and correlates well with the visual contrast estimates.
Голуб Юлия Игоревна - кандидат технических наук, доцент, старший научный сотрудник государственного научного учреждение «Объединенный институт проблем информатики Национальной академии наук Беларуси».
email: 6423506@gmail.com.
Yuliya I. Golub - PhD, Associate Professor, Senior Research Fellow at the United Institute of Informatics Problems of the National Academy of Sciences of Belarus.
Email: 6423506@gmail.com.
Старовойтов Федор Валерьевич - аспирант Белорусского национального технического университета.
Fedor V. Starovoitov is a PhD student of the Belarusian National Technical University.
