CC BY
136
УДК 004.93
С.В. Сай, Н.Ю. Сорокин
Метод оценки четкости фотореалистичных изображений без использования эталона
Предложен метод оценки четкости цифровых фотореалистичных изображений в мультимедийных системах. К особенностям метода относится то, что оценка четкости выполняется без применения тестовых сигналов эталонного изображения и испытательных таблиц. Приводится описание разработанного алгоритма поиска и распознавания мелких деталей изображений с учетом порогов зрительного восприятия их контраста.
Ключевые слова: анализ изображений, четкость, алгоритм поиска.
Четкость является одним из наиболее важных показателей качества изображения и определяется разрешающей способностью каналов яркости и цветности линейной системы. Разрешающая способность системы традиционно измеряется числом различимых линий, вычисляемым по значению максимальной пространственной частоты, при которой обеспечивается пороговый контраст воспроизводимого изображения. Традиционные методы оценки четкости изображения разработаны для стандартных аналоговых систем цветного телевидения. В цифровых системах возникают специфические искажения, обусловленные ограничениями выбранного алгоритма сжатия статических и/или динамических изображений. Такие искажения могут привести к неадекватным результатам по отношению к субъективным оценкам качества изображения при использовании стандартных методов измерения. Контроль качества компрессированного цифрового изображения достаточно сложен и неоднозначен. Обычно качество цифровой широкополосной видеосистемы измеряется косвенным образом посредством определения искажений статических и динамических тестовых сигналов. Качество изображений в этих системах изменяется динамически в зависимости от текущей скорости передачи данных, сложности транслируемого изображения и задействованного алгоритма кодирования. Статическая природа тестовых сигналов не предоставляет реальных характеристик качества цифровых изображений. Вместо этого должны быть использованы естественные тестовые изображения в режиме компрессии, что представляет собой значительно более сложный анализ, чем просто применение тестовых сигналов.
В настоящее время существуют измерительные приборы (PQA200/300, PQA500 и др.), способные объективно оценивать качество цифрового видео. Эти приборы применяются в основном производителями оборудования видеокомпрессии для оценки качества кодеков. Однако при эксплуатации мультимедийных систем, когда оборудование уже выбрано вещателем по тем или иным критериям, применение таких приборов малоцелесообразно. Ввиду отсутствия стандартизованных методов контроля качества передачи цифровых фото- и видеоматериалов многие поставщики мультимедийных услуг предлагают изображения в «компактной упаковке», но низкого качества. В большинстве случаев, при оценке качества изображения получатель не имеет оригинала и поэтому оценивает его «хорошее» или «плохое» качество на основе своего опыта зрительного восприятия таких характеристик изображения, как четкость, резкость, контраст, насыщенность, наличие артефактов. В современных анализаторах методы [1-2] анализа качества изображений основаны на результатах сопоставления числовых мер различий эталонного и искаженного изображений с параметрами выбранной зрительной модели. Следовательно, отсутствие эталонных тестовых изображений не позволяет воспользоваться прибором.
Таким образом, проблема поиска новых методов анализа качества искаженных изображений, позволяющих объективно оценить ухудшение четкости и резкости без наличия эталона, представляется достаточно актуальной. В статье предлагается метод оценки визуальной четкости фотореалистичных изображений по объективному критерию без использования эталона. Рассмотрены особенности разработанного алгоритма поиска и распознавания мелких деталей реальных изображений.
Метод оценки четкости. Четкость цифрового изображения обычно оценивается разрешающей способностью видеосистемы, а именно количеством воспроизводимых пикселей или форматом изображения. Например, формат изображения 1280*960 (1,23 мегапикселей) означает, что фото или
видеосистема способны воспроизводить самые мелкие детали с размерами 1/1280 и 1/960 от ширины и высоты кадра изображения. Следовательно, если изображение не искажается, то в нем будет присутствовать определенное количество (Ля) различимых для глаза мелких деталей.
Очевидно, что значение зависит от реального количества мелких деталей, присутствующих в изображении, и от его формата. Однако для фотореалистичных изображений всегда будет присутствовать какое-то минимальное значение Ля. На этом положении основан разработанный метод оценки четкости.
Предлагаемый метод оценки заключается в следующем. Предположим, что мы имеем набор фотореалистичных изображений, полученных от поставщика мультимедийных услуг через Интернет. Обычно такие изображения передаются в сжатом виде, например по стандарту 1РБО или 1РБО-2000. Каждое изображение (т) может быть представлено в произвольном формате. Например, одно изображение может иметь формат (1280*960), а другое (800*600).
На первом этапе выполним анализ каждого изображения по разработанному алгоритму поиска и распознавания мелких деталей и вычислим среднее значение
1 М
Ля =77 I Ля(т), (1)
мт=1
где М - количество обработанных изображений.
Полученное значение сравним с порогом ЛТН
ЛЯ ^ ЛТН . (2)
Если критерий (2) выполняется, принимаем решение о том, что четкость изображений соответствует тем форматам, в которых они представлены. Величина порога подобрана экспериментально после анализа многочисленных неискаженных фотореалистичных изображений с различным форматом. В результате экспериментов получено, что четкость изображения будет соответствовать его формату, если количество распознанных мелких структур превышает значение порога ЛТН = 0,05%.
Если критерий (2) не выполняется, т. е. количество распознанных мелких деталей не превышает
0,05%, принимаем решение о том, что четкость изображений не соответствует заявленным форматам. Невыполнение критерия (2) будет означать, что в полученных изображениях практически отсутствуют мелкие структуры. Такой результат можно объяснить следующими причинами: изображения были сильно искажены из-за высокой компрессии в кодере; были получены с фотокамеры с более низким разрешением, чем представляемый формат; были масштабированы до более низкого формата.
Очевидно, что основой метода оценки четкости является алгоритм поиска и распознавания мелких деталей. Описание известных алгоритмов поиска и обнаружения мелких деталей изображений достаточно широко представлено в литературе [3]. Обзор алгоритмов показывает, что в большинстве случаев, в критериях обнаружения мелких деталей не учитываются пороги зрительного восприятия их контраста. В авторской работе [4] предложен алгоритм поиска мелких деталей реальных фотоизображений, который мы выбираем за основу. Ниже приводится описание модифицированного алгоритма поиска и распознавания мелких деталей изображений с учетом порогов зрительного восприятия их контраста.
Алгоритм поиска и распознавания
К мелким деталям изображения относятся детали в виде точечных объектов или фрагментов тонких линий. При этом размер точечного объекта или толщина линий составляют всего лишь один пиксель. Алгоритм поиска состоит из следующих этапов. На первом этапе для каждого пикселя изображения выполняется преобразование ЯОБ-сигналов основных цветов в равноконтрастное про* * * странство ]¥ и V [5]:
W* = 25 У173-17, и* = 13W*(ы-м0), V* = 13 W*(у-уо),
* * * где W - светлота (индекс яркости); U и V - координаты цветности (индексы цветности); м и V - координаты цветности диаграммы Мак-Адама; мo и уо - координаты цветности опорного белого мo = 0,201, уо = 0,307.
Равноконтрастные системы координат (Щ и V , Ь а V и др.) традиционно используются для оценки точности цветопередачи крупных деталей. При этом оценка цветовых различий Д вычисляется по следующей формуле:
д=з^дг*))ди^+д^, (3)
где ДЩ = Щ0 - Щ 0; Ди = ио -й0; ДV = У0 - V, ; (Щ,и0^ ) - цветовые координаты крупной де-
~ * ~ *
тали эталонного изображения; (Щ01/01/0 ) - цветовые координаты искаженного изображения. Оценка точности цветопередачи определяется числом минимальных цветовых порогов (МЦП) зрения и при выполнении условия Д < 1 принимается решение о том, что цветовые различия незаметны для глаза.
* * *
В авторской работе [6] предложен метод оценки цветовых различий мелкой детали (Щ0 и0У0 )
* * *
относительно цветовых координат пикселей окружающего фона (Ж^и^Уь ) в нормированной равноконтрастной системе координат на основе следующего критерия:
АК = 3,
* \2
АЩ/
(
и о -Щ
* \2
Аи*
*
Уо -Уь
* \2
АУ*н
(4)
где ДК - контраст мелкой детали относительно фона; Д Щ/ , Ди*, Д V/ - пороговые значения контраста мелкой детали по индексам яркости и цветности. Значения порогов по индексам яркости и цветности зависят от размера мелких деталей, цветовых координат фона, времени предъявления объекта и уровня шума. Для самых мелких деталей, размер которых не превышает один элемент изображения, пороговые значения получены экспериментальным путем. В частности, для мелких
*
деталей тестовой таблицы, расположенных на сером фоне (70 < < 90 ), пороговые значения при-
мерно равны: ДЩ/ « 6 МЦП и Ди* «Ди* « 72 МЦП.
На втором этапе поиска критерий (4) используется для оценки контраста и распознавания мелких деталей. С этой целью выполняется сканирование изображения с помощью скользящего окна с размерами 3*3 пикселя. На каждой итерации в окне выполняется распознавание изображения мелкой детали по следующему алгоритму. На первом шаге вычисляем контраст блока:
АК = 3,
I/ * * \2
Щ -Щ ■ ''шах шіп
/ * * \2 и -и ■
и шах и шш
где (Щшах,Щшіп
), (ишах ,ишіп
АЩ/
) и (Утах,у*
Аи/
ґ * * \2
У -У ■
шах шіп
АУі/
(5)
' шах у шіп) - максимальные и минимальные значения цветовых координат по индексам яркости и цветности.
Если АК < 2 , принимается решение о том, что изменение контраста в блоке незаметно для глаза, далее блок исключается из анализа и окно перемещается на один пиксель.
Если значение контраста АК > 2 , полагаем, что в окне присутствует различимый для глаза элемент изображения, который может быть: а) точечным объектом; б) фрагментом тонкой линии; в) фрагментом текстуры; г) фрагментом контурного перепада.
В процессе анализа нам необходимо распознать объект - является ли он точечным объектом, или фрагментом тонкой линии. Для распознавания воспользуемся бинарными изображениями мелких деталей (рис. 1), по которым определим пространственные координаты пикселей объекта и фона для каждой детали. На рисунке представлены изображения точечного объекта и фрагментов тонких линий с вертикальной, горизонтальной и наклонной ориентацией, а также фрагменты их окончаний.
Распознавание начинаем, например, с первой детали - точечный объект. На первом шаге, зная пространственные координаты объекта и фона в текущем окне (3*3), вычислим средние значения
цветовых координат объекта (ЩиоУо ) и фона (Щ^и^Уь ). Далее проверяем условия:
і N і М
Аь = -£АКь(п)<0,5 и Ао =— £АКо(т)<0,5, Nn=1 Мт=1
(6)
где п - номер пикселя фона, соответствующий пространственным координатам в текущем окне
(3^3); т - номер пикселя объекта; N - количество пикселей фона; М - количество пикселей объекта. Для точечного объекта п = 1-4, 6-9 ^ = 8) и т = 5 (М = 1).
=н= =■= м и
т ■ № =ж ФП
Рис. 1. Бинарные изображения мелких деталей
Цветовой контраст АКь (п) пикселя фона с номером п, относительно среднего значения, вычисляется как
АКЪ (п) = 3,
ґ * —*\2
1 ^П-^ъ ^
ти
Ґ * —* \2 / * —* Л
Цп-иъ
ДЦИ
Уп -Уъ
Щи
(7)
Аналогичным образом вычисляется цветовой контраст ДК0 (т) для каждого пикселя объекта.
Выполнение условий (6) означает, что в среднем цветовые различия между пикселями фона и между пикселями объекта незаметны для глаза, и, следовательно, точечный объект распознан. Далее фиксируем пространственные координаты его центра (/, /) и перемещаем окно на три пикселя с целью анализа следующего блока изображения. Если условия (6) не выполняются, переходим к распознаванию следующей детали - фрагмент вертикальной линии (см. рис. 1) и т.д. Если после анализа всех деталей условия (6) так и не выполнены, считаем, что в текущем окне объект не распознан. Далее выполняем смещение окна на один элемент и вычисляем контраст (5) следующего блока. Таким образом, предлагаемый алгоритм позволяет распознать и выделить в изображении различимые для глаза мелкие детали, к которым относятся точечные объекты и фрагменты тонких линий. Отметим, что в отличие от алгоритма, предложенного в [4], мы не используем бинаризацию изображения и сравнение бинарных блоков с бинарными масками, что позволяет сократить объем вычислений. На рис. 2 показан пример работы алгоритма, где из фотореалистичного изображения (512*512) выделены блоки с мелкими структурами. Для данного изображения количество распознанных мелких деталей составляет N = 0,43%, что удовлетворяет критерию (2).
Рис. 2. Пример работы алгоритма распознавания
Заключение. Предложенный метод основан на оригинальном алгоритме поиска и распознавания мелких деталей изображения с учетом выбранной модели зрения в нормированной цветовой системе координат. К особенностям метода относится то, что для оценки четкости изображения не требуется использование специальных тестовых сигналов и телевизионных таблиц. На практике использование метода позволит объективно оценивать четкость и качество реалистических фотоизображений предоставляемых поставщиками мультимедийных услуг. В заключение отметим, что
данная работа выполнена в рамках реализации ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы.
Литература
1. Tektronix, Inc. Picture Quality Analysis System PQA500 [Электронный ресурс]. - Режим доступа: http://www.tek.com, свободный (дата обращения: 24.09.2012).
2. Weisi Lin. Gauging Image and Video Quality in Industrial Applications // Studies in Computational Intelligence. - 2008. - Vol. 116. Advances of Computational Intelligence in Industrial Systems. -P. 117-137.
3. Гонсалес Р Цифровая обработка изображений / Р Гонсалес, Р Вудс. - М.: Техносфера, 2006. - 1072 с.
4. Sai S.V. Search Algorithm and the Distortion Analysis of Fine Details of Real Images / S.V. Sai, N.Yu. Sorokin // Pattern Recognition and Image Analysis. - 2009. - Vol. 19, № 2. - P. 257-261.
5. Новаковский С.В. Цвет в цветном телевидении. - М.: Радио и связь, 1988. - 288 с.
6. Sai S.V. Methods of the Definition Analysis of Fine Details of Images // Vision Systems: Applications / G. Obinata and A. Dutta, Eds. - Vienna: I-Tech Education and Publishing, 2007. - P. 279-296.
Сай Сергей Владимирович
Д-р техн. наук, зав. каф. вычислительной техники
Тихоокеанского государственного университета (ТОГУ), г. Хабаровск
Тел.: 8 (421-2) 22-43-78
Эл. почта: sai1111@rambler.ru
Сорокин Николай Юрьевич
Канд. техн. наук, доцент каф. вычислительной техники ТОГУ Тел.: 8 (421-2) 22-43-53 Эл. почта: nus@mail.khstu.ru
Sai S.V., Sorokin N.Yu.
The method of visual definition analysis of photo realistic images
The method of visual definition analysis of digital photo realistic images in multimedia systems is proposed. The special feature of method is that the assessment is performed without the use of HD test signal images and test patterns. The algorithm of search and recognition of real images of fine details on specific criteria is shown. Keywords: image analysis, definition, search algorithm.
