CC BY
34
УДК 004;004.93
Ф. В. СТАРОВОЙТОВ1, В. В. СТАРОВОЙТОВ2
ПАРАМЕТРЫ КРИВОЙ РАСПРЕДЕЛЕНИЯ ЛОКАЛЬНЫХ ОЦЕНОК КАК МЕРЫ КАЧЕСТВА ИЗОБРАЖЕНИЙ
Международный институт дистанционного образования БНТУ 2Объединенный институт проблем информатики НАН Беларуси
В статье исследуется задача выбора наиболее качественного изображения из серии в отсутствие эталона. Описываются результаты исследований нового подхода к формированию оценки качества цифровых изображений, основанного на построении кривой распределения локальных оценок качества. Один из параметров такой кривой предлагается использовать как меру качества изображений. Отобраны 16 мер качества изображений, описанных в научной литературе. Показано, что параметр масштаба распределения Вейбулла является более точной интегральной мерой качества для множества локальных оценок, чем среднее арифметическое. Выполнен ряд экспериментов, подтверждающих корректность такой оценки и ее корреляцию с визуальными оценками качества изображений. Наличие подобных мер очень актуально для а) оценки качества автоматически формируемых фотографий, б) выбора параметров преобразований, ориентированных на улучшение изображений, таких как яркостные изменения, сжатие динамического диапазона яркости, преобразование в полутоновое представление и других.
Ключевые слова. Оценка качества изображения, NR-мера, гамма-коррекция, линейное изменение яркости, контраст, фокусное расстояние, размытие, распределение Вейбулла.
Введение
Рассматривая два изображения, человек может сделать вывод, что одно лучше другого или они примерно одинаковые. Он может про-ранжировать 3-5 изображений, визуально оценив их качество, например, по пятибалльной шкале: очень низкое, низкое, среднее, выше среднего, высокое. Если требуется визуально оценить качество десятков или сотен изображений, это сделать труднее, а проранжировать их по уровню их качества практически невозможно.
Функции, вычисляющие количественные оценки различий двух сигналов, известны давно. Наиболее популярные из них коэффициент корреляции, среднеквадратичное отклонение и т. п. Цифровое изображение - это двумерный сигнал. Сходство или различие цифровых изображений также можно оценить подобными функциями, но они не учитывают корреляцию между соседними строками и столбцами. Это привело к появлению множества мер сравнения двух изображений. Как правило, одно изображение считается эталонным, а второе преобразованным, например, восстановленным
после сжатия. Мера дает оценку близости второго изображения к первому. Множество подобных мер и методика их построения подробно описаны в монографии [1]. Такие меры относятся к классу мер сравнения с эталоном, а в англоязычной литературе они называются full-reference (FR) measure. На практике эталонное изображение имеется не всегда. Например, изображение только что зафиксировано или преобразовано с целью улучшения его визуального восприятия. В таких случаях (при отсутствии эталона) для оценки качества цифровых изображений применяют так называемую безэталонную меру или no-reference (NR) measure. Будем их называть мерами NR-типа.
Следует отметить, что функции данного типа не являются метриками (как часто пишут в литературе), т. к. не может быть вычислена величина «расстояния» между двумя объектами (в данном случае изображениями) ввиду наличия только одного объекта.
Первая статья, использующая термин no-reference, была опубликована в 2000 году [2], c тех отмечается нелинейный рост публикаций на данную тему (см. обзоры [3-6]). Качество
изображения - это субъективное понятие. Выразить одним числом все возможные аспекты субъективного понятия качества достаточно сложно. Перечислим основные типы искажений, которые влияют на качество цифрового изображения, формируемого оптической системой:
- освещенность снимаемой сцены,
- контрастность снимаемой сцены,
- смаз изображения в результате движения камеры или объекта съемки,
- глубина резкости,
- способ квантования зарегистрированного сигнала,
- метод и степень сжатия изображения при записи в файл.
Следует также отметить, что некорректно сравнивать количественные оценки качества изображений, искаженных разными типами преобразований, например, размытое изображение с малоконтрастным. В таких случаях можно лишь делить изображения на два класса: «хорошие» и «плохие». Границы этих классов должен устанавливать эксперт в определённой прикладной области, например, криминалистике.
Под сценой будем понимать все, что попадает в кадр фотокамеры. Искажения, вносимые алгоритмами квантования и сжатия, в данной работе не рассматриваются. Недостаточная глубина резкости также может влиять на качество изображения из-за размытия деталей второго плана.
В данной работе рассмотрен принципиально новый подход к автоматической оценке качества изображений, анализирующий распределение локальных оценок качества изображения. Рассмотрено исследование предлагаемого подхода на 4 типах искажений изображения, при сравнении изображений с различной глубиной резкости, а также для нахождения лучшего из последовательности изображений одной сцены при различных условиях регистрации.
1. Исследуемые меры качества
В работе исследовались 16 мер качества изображений локального типа, детально исследованных в [7]. Они перечислены ниже. Для экономии места формулы вычисления исследуемых мер не описываются, но приводятся ссыл-
ки на статьи, содержащие их подробное математическое описание.
В результате изучения литературы был сделан вывод, что многие меры, используемые для анализа автофокусировки оптических систем, также могут быть опробованы в качестве NR-мер оценки качества изображений. Хороший обзор таких мер представлен в работе [8]. Кратко опишем, на чем базируется вычисление исследуемых мер. Используемые меры изначально вычисляют локальные оценки в окрестности каждого пиксела, а затем вычисляют их среднее арифметическое в качестве финальной оценки. Однако в данной работе предложен иной, принципиально новый подход к оценке качества изображений, использующий гистограммы локальных оценок, вычисленных с помощью данных мер. Для дальнейшего использования были отобраны те из мер, использованных авторами в статье [7], которые являются мерами локального типа и которые вычисляются за приемлемое время. Кроме того, были добавлены 4 новые меры локального типа: LAPL, LOCC, LOEN, SVD.
Запишем аббревиатуры исследуемых мер и опишем величины, вычисляемые в одной окрестности:
- BREN - квадрат разности яркости левого и правого соседей через один пиксел [8].
- FFT - среднее значение спектра Фурье в децибелах [8].
- GDER - сумма квадратов после свёртки гауссовых производных с окрестностью пиксела [8].
- GLVM - дисперсия поэлементной разности значений яркости изображения и его локально сглаженного варианта [8].
- GRAE - квадрат градиента Робертса [8].
- GRAT - модуль максимальной разности с ближайшим пикселом, превышающий порог [8].
- HELM - отношение Хелмли яркости пиксела к усредненной по окрестности, причём в числителе находится большая из этих величин [8].
- LAPE - квадрат значений после свертки с лапласианом [8].
- LAPL - лапласиан.
- LAPM - сумма модулей вторых производных по двум направлениям [8].
- LOCC - локальный контраст.
- LOEN - локальная энтропия.
- SFIL - максимум после свертки изображения с одномерным поворачивающимся фильтром Гаусса [8].
- SVD - локальные оценки на основе сингулярных чисел матрицы [9].
- TENG - градиент Собела в квадрате [8].
- WAVS - сумма трех вейвлет-коэффици-ентов первого уровня после преобразования изображения [8].
2. Распределение Вейбулла
Связь распределения Вейбулла с естественными изображениями неоднократно исследовалась в научных публикациях. Так, в [10] показано, что распределение модулей градиента в естественных изображениях согласуется с плотностью распределения Вейбулла. В [11] говорится, что распределение Вейбулла хорошо описывает некоторые характеристики изображений естественных сцен. В [12] показано, что реакция мозга человека на естественные изображения коррелирует со статистиками распределения Вейбулла для воспринимаемого изображения. В [13] рассматривалась оценка качества изображения с неполной информацией об эталоне на основе статистик распределения Вейбулла.
Гистограммы многих локальных оценок, используемых в мерах качества локального типа, имеют схожие формы. Исследуем в данной статье гипотезу об аппроксимации распределения локальных оценок качества с помощью кривой плотности распределения Вейбулла /(х) и применении в виде глобальной оценки качества параметра формы и параметра масштаба этой кривой.
Распределение Вейбулла - это семейство абсолютно непрерывных распределений. Оно имеет два параметра: а - масштаб, Ь - форма. Плотность распределения Вейбулла описывается формулой:
где х > 0, а > 0, Ь > 0.
Распределение Вейбулла достаточно гибкое по сравнению со многими используемыми вероятностными распределениями. Так, нормальное распределение тоже характеризуется двумя параметрами (среднее значение и сред-неквадратическое отклонение), однако при фиксированном втором параметре и различных значениях первого форма кривой плотности распределения остаётся без изменений. В то же время изменение каждого из параметров рас-
а б
Рис. 2. Плотность распределения Вейбулла при а) a = 5, b = 1; б) a = 3, b = 1
а б в
Рис. 3. Плотность распределения Вейбулла при а) a = 5, b = 3; б) a = 5, b = 2; в) a = 3, b = 2
пределения Вейбулла заметно меняет кривую плотности. Параметр масштаба а сдвигает кривую влево и вытягивает её вверх. Рассмотрим вид кривой в зависимости от значения параметра формы Ь.
При Ь < 1 функция плотности строго убывает, плотность стремится к бесконечности при х ^ 0+ и к нулю при х ^ да (рис. 1).
При Ь = 1 распределение становится экспоненциальным, плотность стремится к 1/а при х ^ 0+ и далее строго убывает (рис. 2).
При Ь > 1 плотность стремится к 0 при х ^ 0+, возрастает до значения моды, а затем убывает (рис. 3).
Приведём ещё два примера гибкости распределения Вейбулла. Во-первых, при некоторых параметрах плотность распределения Вейбулла очень близка к плотности нормального распределения. Например, график функции плотности распределения Вейбулла с параметром формы Ь = 3,44 очень похож на график функции плотности нормального распределения, за исключением хвостов распределения [14]. Во-вторых при Ь = 1 распределение Вейбулла становится экспоненциальным распределением.
Многие явления в природе хорошо описываются нормальным распределением [15]. Тем
не менее, есть причина использовать вместо него распределение Вейбулла при анализе распределения локальных оценок. Дело в том, что нормальное распределение симметрично, а распределение локальных оценок асимметрично.
Итак, в силу вышеуказанных причин для дальнейшей работы с гистограммами локальных оценок было выбрано распределение Вей-булла.
3. Экспериментальные исследования
Экспериментальные исследования выполнялись на двух группах изображений. Первая -это 17 стандартных тестовых изображений из базы [16]. Вторая включала отобранные в сети интернет 14 цифровых фотографий пяти разных сцен, полученных с разным фокусным расстоянием (для анализа качества изображений одной сцены с разной четкостью ее элементов). На данном этапе исследований оценки вычислялись для полутоновых представлений изображений.
Для вычисления оценок использовались меры локального типа, описанные в разделе 1 данной статьи, для которых можно построить гистограмму локальных оценок. Вместо среднего значения локальных оценок использова-
Рис. 4. Пример тестового изображения «bridge» после гамма-коррекции яркости при параметре g, равном 0,25, 0,75, 1 (совпадает с исходным изображением), 1,25 и 3,3, соответственно
LAPE the best quality image for the measure
200 400 600 the measure histogram
Рис. 5. Выбор лучшего варианта после гамма-коррекции изображения «bridge»: слева график параметра формы при различных значениях параметра у, справа - изображение, соответствующее наибольшему значению параметра
и гистограмма локальных оценок LAPE
лась их гистограмма. Далее гистограмма аппроксимировалась распределением Вейбулла с помощью функции fitdist пакета МА^АВ. Эта функция по исходным данным подбирает распределение из требуемого семейства распределений с помощью метода максимального правдоподобия. Далее анализировалось, что предпочтительнее использовать в качестве глобальной оценки: параметр формы или параметр масштаба распределения Вейбулла. Было выполнено 5 типов экспериментов, описанных ниже.
3.1. Оценка качества после гамма-коррекции изображений
Гамма-коррекция изображения является популярным методом нелинейного изменения яркости [17].
В данной статье была выполнена оценка качества 18 вариантов каждого тестового изображения первой группы, полученных путем
гамма-коррекции с параметром у, изменяющимся от 0,2 до 3,6 с шагом 0,2 по формуле:
newIm(i, j) = 255
Im(i, j) 255
где (/, у) - координаты пиксела, 1т - исходное изображение, newIm - новое изображение.
Это преобразование формирует ряд изображений от светлого до темного с нелинейно изменяющейся яркостью. На рис. 4 приведён пример такого ряда при различных значениях параметра у. Наиболее качественные с визуальной точки зрения изображения находятся в середине ряда, значит, графики значений мер качества для такого ряда должны иметь экстремумы при значении у = 1 (см. рис. 5-6, справа).
Подобные графики строились для каждого тестового изображения и обоих исследованиях параметров распределения Вейбулла. Графики невозможно совместить, т. к. они представлены в разных диапазонах значений.
Рис. 6. Выбор лучшего варианта после гамма-коррекции изображения «bridge»: слева график параметра масштаба при различных значениях параметра g, справа - изображение, соответствующее наибольшему значению параметра
и гистограмма локальных оценок LAPE
Рис. 7. Примеры изменения контраста изображения «lena» (в центре - оригинальное)
3.2. Оценка качества после изменения
контраста изображений
Было сформировано 13 вариантов каждого изображения первой группы с разными коэффициентами контраста k от 0,2 до 2,6 с шагом 0,2. Яркость каждого пиксела (i, j) изменялась согласно формуле:
newIm(i, j) = k(Im(i, j) - 127,5) + 127,5.
Как и в предыдущем случае, предполагалось, что визуально наиболее качественное изображение является исходным, т. е. соответствует коэффициенту контраста k = 1. На рис. 7 приведены изображения с изменённым в различной степени контрастом.
3.3. Оценка качества после линейного приращения яркости изображения
Для каждого изображения первой группы выполнялось преобразование яркости изображений по формуле:
newIm (i, j) = Im(i, j) + c.
Иначе говоря, к значению яркости каждого пиксела (/, у) добавлялась константа с (с учетом ограничений диапазона [0-255]), принимающая значения от -100 до +100 с шагом 25 (см. рис. 10). Снова предполагаем, что визуально лучшим является исходное изображение, т. е. при с = 0.
3.4. Оценка качества после размытия
изображений Для каждого изображения первой группы выполнялось размытие изображений стандартным фильтром Гаусса [17] по формуле:
G« =
1
2pc2
(х2+/)
2s2
где с - среднеквадратическое отклонение.
Значение с при этом изменялось от 0 до 4,0 с шагом 0,75 (см. рис. 13). Полагаем, что субъективно наиболее качественными являются те из полученных изображений, у которых величина с близка к нулю, т. е. которые ближе всего к исходным.
Рис. 8. Выбор лучшего варианта после изменения контраста изображения «lena»: слева график параметра формы при различных значениях параметра к, справа - изображение, соответствующее наибольшему значению параметра
и гистограмма локальных оценок LOCC
Рис. 9. Выбор лучшего варианта после изменения контраста изображения «lena»: слева график параметра масштаба при различных значениях параметра к, справа - изображение, соответствующее наибольшему значению параметра
и гистограмма локальных оценок LOCC
Рис. 10. Примеры изображения «houses» после линейного изменения яркости от -100 до + 100 с шагом 25 (в центре
исходное изображение)
Рис. 11. Выбор лучшего варианта после изменения яркости изображения «houses»: слева график параметра формы при различных значениях параметра с, справа - изображение, соответствующее наибольшему значению параметра
и гистограмма локальных оценок LOEN
Рис. 12. Выбор лучшего варианта после изменения яркости изображения «houses»: слева график параметра масштаба при различных значениях параметра с, справа - изображение, соответствующее наибольшему значению параметра и гистограмма локальных оценок LOEN
Рис. 13. Примеры изображения «bridge», размытого фильтром Гаусса (слева - исходное изображение)
Рис. 14. Выбор лучшего варианта после размытия изображения «bridge»: слева график параметра формы при различных значениях параметра s, справа - изображение, соответствующее наибольшему значению параметра и гистограмма локальных оценок GRAT
GRAT the best quality image for Mean(measure)
Рис. 15. Выбор лучшего варианта после размытия изображения «bridge»: слева график параметра масштаба при различных значениях параметра s, справа - изображение, соответствующее наибольшему значению параметра
и гистограмма локальных оценок GRAT
Для изображения, показанного на рис. 1415, максимальные значения обоих параметров соответствуют не размытому изображению, т. е. наиболее качественному. Однако значение параметра масштаба уменьшается на 47% для с = 1, а значение параметра формы только на 3%. Этот факт говорит о большей строгости параметра масштаба по сравнению с параметром формы.
3.5. Оценка качества изображений с разной глубиной резкости
В данной серии экспериментов исследовались пары изображений второй группы, полученных фотографированием одной сцены с разными фокусными расстояниями (см. рис. 16).
Визуально изображения П1 и £22 очень похожи, но получены с использованием разных фокусных расстояний (£11 и £22). Отличия
слегка заметны в резкости деталей заднего плана.
Для изображений, показанных на рис. 16 максимальные значения обоих параметров соответствуют правому изображению как наиболее качественному. Однако, разница в значениях параметра масштаба равна 37%, а в значениях параметра формы 1,3%. Этот факт говорит о большей строгости параметра масштаба по сравнению с параметром формы.
4. Анализ полученных результатов
В табл. 1 и 2 собраны результаты исследований пяти типов, перечисленных выше, где для глобальной оценки качества берётся соответственно параметр формы и параметр масштаба распределения Вейбулла, полученного про аппроксимации гистограмм локальных оценок. Если количественная оценка меры совпадала с визуальной или была очень близка к ней,
Таблица 1. Сопоставление визуальной оценки качества и параметра формы
№ мера № исследования
1 2 3 4 5
1 BREN ++?+++ 000000 --- --- +++++++
2 FFT --+- --- __+- ++++++ +++++++
3 GDER ?-+++ 000000 -?-??? --- +++++++
4 GLVM +-?++ 000000 --- --+- +++++++
5 GRAE ++?+++ --- --- _-+- +++++++
6 GRAT ++?+++ --- --- _-+- +++++++
7 HELM --- --- --- --- +++++++
8 LAPE +?++++ --- -?-??? ++++++ +++++++
9 LAPL + ?-?++ ?-?-?- --?-+ --- +++++++
10 LAPM + ? + ?++ -?— —?- --- +++++++
11 LOCC --?- +++?++ +???++ ++++++ +++++++
12 LOEN ++++++ ++++++ ++-??+ ++++++ +++++++
13 SFIL ?-+++ 000000 --- +++++++
14 SVD --- --- --- ++++++ +++++++
15 TENG + ? + ?++ 000000 —?- _-+- +++++++
16 WAVS +?-?++ 000000 ++???+ --- +++++++
Таблица 2. Сопоставление визуальной оценки качества и параметра масштаба
№ мера № исследования
1 2 3 4 5
1 2 3 4 5 6 7
1 BREN ???+ - 000000 --- --- +++++++
2 FFT --+- --- —?? ++++++ +++++++
3 GDER ++??++ 000000 ?— --- +++++++
4 GLVM + ? + -+ 000000 --- --- +++++++
5 GRAE ?+++?+ —?- --- +-++++ +++++++
6 GRAT ++++- —?- --- +?++++ +++++++
7 HELM -+-- --- --- --- +++++++
Рис. 16. Пример изображений, полученных фотографированием с фокусными расстояниями f5 и f32 (верхний ряд), f11 и f22 (нижний ряд)
Окончание табл. 2
1 2 3 4 5 6 7
s LAPE ++-++ --- --- -??-+? +++++++
9 LAPL +++-+ ?--- --- --- +++++++
1O LAPM +??-++ --- --- --- +++++++
11 LOCC -+-- ++++++ --- ++++++ +++++++
12 LOEN ++++++ +++-++ ++-??+ ++++++ +++++++
13 SFIL +???+- OOOOOO ?— --- +++++++
14 SVD --- --- --- ++++++ +++++++
15 TENG +?+-+ OOOOOO --- --- +++++++
16 WAVS +?-?- OOOOOO — —+ +++++++
записан знак «+», в противном случае «-». Когда максимальное значение меры соответствовало пологому пику либо было почти правильным, ставился знак «?». Ноль ставился, когда для всех вариантов изображения в исследованиях одного типа значения меры были равными либо практически равными.
Исследования проводились на изображениях размером 512x512 пикселов на персональном компьютере Asus K5O1-UXDM-112. Характеристики компьютера: процессор Intel Core i7 65OOU с тактовой частотой 25OO МГц, объём оперативной памяти б Гб, операционная система Windows 1O. Программы выполнялись в среде Matlab R2O16b.
В результате выполненных сравнительных исследований можно сделать следующие выводы:
1. Исследование № 1 (гамма-коррекция) оказалось довольно простым: только 4 меры (FFT, HELM, LOCC, SVD) дали преимущественно неправильные ответы.
2. Практически все меры на тестовых изображениях показали плохой результат в исследовании № 2 (изменение контраста). Более того, на многих мерах (отмечены как «O» в таблицах) полученные параметры совпадали вплоть до нескольких знаков после запятой даже при самых сильных изменениях контраста. В то же время меры LOCC и LOEN обычно правильно определяли качественное изображение даже в этом случае.
3. Ещё более сложным оказалось исследование № З (линейное изменение яркости). При выборе параметра формы в качестве глобальной оценки лишь меры LOEN, LOCC и WAVS показывают хорошие результаты, а GDER и LAPE -удовлетворительные. Если же использовать как глобальную оценку параметр масштаба, то хорошо работает лишь мера LOEN. Остальные
меры в обоих случаях неправильно определяют наиболее качественное изображение.
4. Гораздо более простым было исследование № 4 (размытие изображения). Меры FFT, LOCC, LOEN, SVD дают корректные результаты при использовании обоих параметров; GRAE, GRAT можно использовать только при выборе параметра масштаба, а не формы; LAPE лучше работает для параметра формы, чем для параметра масштаба. Остальные меры в обоих случаях работают плохо.
5. Наиболее лёгким оказалось исследование № 5 (изображения одной сцены с различной глубиной резкости). Все использованные меры правильно определяют более качественное изображение.
6. Худшие результаты показала мера HELM, а при использовании параметра масштаба -также меры BREN, SFIL, WAVS, плохо сработавшие на всех исследованиях, кроме № 5.
7. Интересная особенность проявилась у мер FFT и SVD. Эти мера показали неверные результаты на исследованиях № 1-3, но всегда выдавали правильный результат в исследовании № 4 (размытие изображений).
8. Корректность оценки сильно зависит не только от меры или типа теста, но и от тестируемого изображения.
9. Лучшую корреляцию с визуальными оценками качества показали меры LOEN и LOCC (выделены жирным в таблице).
5. Выбор наиболее качественного
из последовательности изображений одной сцены
Значительная часть получаемых изображений представляет собой серию. Это относится к камерам наблюдения, системам автоматической регистрации и сериям фотографий. Часто в таких случаях нам не требуется хранить все
Рис. 18. Четыре образца изображений из серии II
полученные изображения: достаточно лишь выбрать одно из нескольких, сделанных за короткое время. Благодаря этому для хранения получаемых изображений требуется меньше памяти.
Логичным выглядит выбор изображения, которое было бы наилучшим по качеству из полученных. Заметим, что в данной ситуации использовать субъективные (человеческие) оценки не представляется возможным: так, в камерах наблюдения используется частота
в 10-30 кадров в секунду. Поэтому закономерно использовать компьютерные алгоритмы оценки качества. Главными требованиями в таком случае будут высокая скорость работы и согласованность с субъективными оценками качества.
В данном разделе описаны эксперименты, использующие описанный выше подход с распределением Вейбулла. Эксперименты проводятся на трёх сериях изображений (I, II, III), по 15 в каждой (см. примеры на рис. 17-19).
Рис. 19. Четыре образца изображений из серии III
Эти изображения не являются кадрами из последовательности видео, однако сделаны с малыми временными интервалами; на них присутствуют одни и те же объекты. В то же время от изображения к изображению в пределах одной серии наблюдаются перепады резкости, освещённости, фокусировки и т. д. и, как следствие, изменения качества изображения. Кроме того, ракурсы, с которых сделаны фотографии, слегка различаются. По этой причине данные последовательности представляют больший интерес, чем, к примеру, кадры видеонаблюдения. Так, в видеокадрах качество и другие характеристики изображений мало отличаются от кадра к кадру.
Оценим визуально качество этих изображений. В первой серии лучшими являются изображения 1, 6, 7, 8, 9, 15. Из них 7 и 15 субъективно хуже по качеству, чем остальные. Во второй серии - это изображения 2, 3, 4, 5, 8, 9, 10, 15. Из них субъективно худшего качества изображения 5, 8, 9, 10, 15. В третьей серии - это изображения 1, 2, 8, 9, 10, 11, 12, 15. Их них субъективно худшие - 8, 9, 11, 12, 15.
В результате проведённых экспериментов было показано преимущество параметра масштаба кривой Вейбулла перед параметром формы (табл. 3). В таблице записаны номера лучших изображений из I, II и III серий согласно максимальным значениям параметров масшта-
ба и формы для мер, описанных в разделе 1. Результаты указаны для параметра масштаба а, затем для параметра формы Ь. В последних столбцах для каждой серии приведён лучший параметр. Знак ~ означает, что качество изображений примерно одинаковое.
Таблица 3. Выбор лучшего из серии изображений
Название меры Лучший снимок согласно параметру a Лучший снимок согласно параметру b Лучший параметр
I II III I II III I II III
LAPE 6 10 2 12 15 4 a a
HELM 7 5 9 12 14 8 a a
GRAE 6 10 10 15 15 15 a a a
GDER 8 2 12 12 10 12 a a =
BREN 9 3 1 12 15 15 a a a
LAPL 6 10 2 12 15 15 a a a
SVD 6 8 1 6 8 1 = = =
LOEN 6 4 10 6 4, 10 4 = =
LOCC 15 15 15 12 14 8 b b b
GRAT 6 10 11 15 15 15 a a a
LAPM 9 9 2 12 15 15 a a a
SFIL 8 4 12 12 10 12 a a =
TENG 9 4 10 12 10 12 a a a
WAVS 6 10 2 12 10 4 a = ~
GLVM 6 3 10 12 10 12 a a a
FFT 6 2 10 6 2 10 = = =
На рис. 20 показаны лучшие изображения из серии III, отобранные мерой LAPL согласно максимуму параметра формы (слева) и параметра масштаба (справа). Субъективно правое
изображение является более качественным, чем левое. Табл. 3 подтверждает превосходство параметра масштаба как оценки качества для большинства сравниваемых изображений. Оказалось, что для всех исследованных мер (кроме LOCC) параметр масштаба лучше, чем параметр формы определяет наиболее качественное изображение. Из рассмотренных мер чаще всего неудовлетворительные результаты давали CURV, GRAT, HELM, LOCC. Меры, на которых изображение плохого качества ни разу не было названо лучшим: BREN, FFT, GLVM, LAPM, LOEN, SFIL, SVD, TENG. Эти меры и предлагается использовать для вычисления локальных оценок качества, гистограммы которых далее аппроксимируются распределением Вейбулла. Лучшим изображением будет то, для которого при аппроксимации гистограммы локальных оценок качества распределением Вейбулла параметр масштаба достигает максимума.
Заключение
Результаты исследований, описанные в разделе 3 данной статьи, продемонстрировали хорошую аппроксимацию кривой Вейбулла гистограммы локальных оценок, вычисленных разными мерами качества. Для глобальной оценки качества изображений применялся параметр формы и параметр масштаба этой кри-
вой, во многих случаях результаты коррелировали с визуальными оценками качества. В то же время существующие функции оценки качества изображений не обеспечивают должного уровня комплексности оценивания или ориентированы на конкретные типы искажений.
Из экспериментов в разделе 5 следует, что при использовании предлагаемого подхода к оценке качества на последовательности изображений, сделанных за короткий промежуток времени, параметр масштаба лучше соотносится с субъективным качеством изображения, чем параметр формы этого распределения.
Итак, ни одна из использованных мер не является универсальной для поставленной цели, т. е. способной в полном соответствии с визуальными оценками идеально для разных типов искажений и на любых изображениях оценить качество последних. Поэтому перспективным направлением исследования представляется комбинация нескольких лучших мер. Такой подход является задачей многопараметрической оптимизации, которую можно решить, например, с использованием искусственных нейронных сетей и других алгоритмов машинного обучения.
Таким образом, все исследованные меры относятся к классу контекстно-независимых и не могут полностью совпадать с визуальной оценкой качества изображений. Следует разра-
батывать меры качества, учитывающие контекст содержания и формирующие оценки, отличные от средней величины множества локальных оценок.
Работа частично выполнена в рамках проекта БРФФИ Ф18МС-028.
ЛИТЕРАТУРА
1. Старовойтов, В. В. Локальные геометрические методы цифровой обработки и анализа изображений.— Минск: Ин-т техн. кибернетики НАН Беларуси, 1997. Starovoitov, V. V. Lokal'nye geometricheskie metody cifrovoj obrabotki i analiza izobrazhenij.— Minsk: In-t tehn. kibernetiki NAN Belarusi, 1997.
2. Caviedes, J. et al. Impairment metrics for digital video and their role in objective quality assessment // Visual Communications and Image Processing, Perth, Australia, 30 May 2000. - P. 791-800.
3. Lin, W., Kuo, C. C. J. Perceptual visual quality metrics: A survey // Journal of Visual Communication and Image Representation, 2011. - V. 22. - №. 4. - P. 297-312.
4. Mittal, A., Moorthy, A. K., Bovik, A. C. No-reference image quality assessment in the spatial domain // IEEE Transactions on Image Processing. - 2012. - V. 21. - №. 12. - P. 4695-4708.
5. Chandler, D. M. Seven challenges in image quality assessment: past, present, and future research // ISRN Signal Processing. - 2013. - V. 2013, 53p.
6. Manap, R. A. Shao L. Non-distortion-specific no-reference image quality assessment: A survey // Information Sciences, 2015. - V. 301. - P. 141-160.
7. Старовойтов В. В., Старовойтов Ф. В. Сравнительный анализ безэталонных мер оценки качества цифровых изображений // Системный анализ и прикладная информатика, 2017. - № 1. - С. 24-32.
8. Pertuz S., Puig D., Garcia M. A. Analysis of focus measure operators for shape-from-focus // Pattern Recognition, 2013. - V. 46. - № 5. - P. 1415-1432.
9. Старовойтов В. В. Сингулярное разложение матриц в анализе цифровых изображений // Информатика. 2017. № 2. C. 77-90.
10. Geusebroek J. M. The stochastic structure of images // Int. Conference on Scale-Space Theories in Computer Vision. -Springer Berlin Heidelberg, 2005. - С. 327-338.
11. Geusebroek J. M., Smeulders A. W. M. A six-stimulus theory for stochastic texture // International Journal of Computer Vision. - 2005. - Т. 62. - №. 1-2. - С. 7-16.
12. Scholte S. H., et al. Brain responses strongly correlate with Weibull image statistics when processing natural images // Journal of Vision, 2009. - V. 9. - № 4. - P. 29-44.
13. Xue W., Mou X. Reduced reference image quality assessment based on Weibull statistics // 2010 Second International Workshop on Quality of Multimedia Experience (QoMEX), Trondheim, 2010, pp. 1-6.
14. Статистические методы. Распределение Вейбулла. Анализ данных: ГОСТ Р 50779.27-2017. - Введ. 10.08.17. -Москва: Госстандарт России: Изд-во стандартов, 2017. - 62 с.
15. Lyon A. Why are Normal Distributions Normal? // The British Journal for the Philosophy of Science, 2014 - Т. 65. -Вып. 3. - С. 621-649.
16. База стандартных тестовых изображений: Signal and Image Processing Institute,
17. University of Southern California, CA. Режим доступа: http:// sipi.usc.edu/database/database.php? volume=misc, 44 images, tiff. Дата доступа: 10.02.2017.
18. Гонсалес Р., Вудс Р. Цифровая обработка изображений. Издание 3-е, исправленное и дополненное. - Москва: Техносфера, 2012. - 1104 с.
Поступила После доработки Принята к печати
11.07.2018 1 6.08.2018 31.08.2018
Starovoitov F. V., Starovoitov V. V.
PARAMETERS OF THE CURVE OF LOCAL ESTIMATE DISTRIBUTION AS IMAGE QUALITY MEASURES
This article focuses on selecting the best quality image from the series without the reference image. The results of studies of a new approach to digital image quality assessment, based on the local quality estimates distribution, are presented. One of the parameters of such a distribution is proposed to be used as a measure of image quality. 16 quality measures of the images described in the scientific literature have been selected. It is shown that the scale parameter of the Weibull distribution is a more accurate global quality measure for the set of local estimates than the mean value. A number of experiments have been carried out to confirm the correctness of such an estimate and its correlation with visual estimates of image quality. Such estimates are very important for a) quality assessment of automatically generated photographs, b) selection of parameters for enhancement-oriented image transformations, such as brightness changes, compression of the dynamic range of brightness, conversion to the grayscale representation, and others.
Keywords. Image quality assessment, no-reference measure, gamma correction, linear change of brightness, contrast, focal length, blur, Weibull distribution.
Старовойтов Фёдор Валерьевич, магистр техники и технологии. В июне 2018 года защитил магистерскую диссертацию по теме «Автоматическая оценка качества цифровых изображений на этапе их регистрации» в МИДО БНТУ.
Старовойтов Валерий Васильевич, доктор технических наук, профессор. Главный научный сотрудник ОИПИ НАН Беларуси. Лауреат премии Ленинского комсомола БССР и Государственной премии Республики Беларусь. С 2000 г. преподает по совместительству в разных университетах курсы, связанные с обработкой и анализом цифровых изображений. Сфера научный интересов: обработка и анализ цифровых изображений, полученных в разных участках электромагнитного спектра. Опубликовал более 150 работ в научных журналах и трудах конференций, 3 монографии. Индекс Хирша по данным scholar.google.com равен 13. Подготовил 6 кандидатов наук.
