CC BY
218
12. Федотов Н.М., Жарый С.В., Оферкин А.И., Шелупанов А.А. Методы построения и визуализации трехмерных моделей по конечному множеству точек для систем внутрисердечной навигации // Вестник Сибирского государственного аэрокосмического университета. Специальный выпуск «Системная интеграция и безопасность». - Красноярск, 2006. - С. 24-28.
13. Андреев С.Ю., Кочегуров В.А. Алгоритмы интраоперационно-го моделирования динамики возбуждения предсердий // Си-
бирский журнал индустриальной математики. - 2005. - Т. 8. -Вып. 2. - С. 3-11.
14. Klemm H.U., Franzen O., Ventura R., Willems S. Catheter Based Simultaneous Mapping of Cardiac Activation and Motion: A Review // Indian Pacing Electrophysiol. J. - 2007. - V. 7. - № 3. -P. 148-159.
Поступила 21.10.2009 г.
УДК 004.932.2
ОЦЕНКА КАЧЕСТВА ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ВЕЙВЛЕТОВ
Д.В. Сидоров, А.Н. Осокин, Н.Г. Марков
Томский политехнический университет E-mail: [email protected]
Исследована эталонная метрика оценки качества изображений CW-SSIM на основе комплексных вейвлетов. Предложены эталонные метрики AWS и fAWS, являющиеся модифицированными версиями CW-SSIM метрики и дающие более адекватную оценку качества изображений.
Ключевые слова:
Комплексное вейвлет-преобразование, эталонная метрика оценки качества изображений.
Key words:
Complex wavelet transform, full-reference Image quality metric.
Введение
Последние несколько десятилетий характеризуются резким ростом использования цифровых видеотехнологий: цифровое телевидение, цифровые охранные системы видеонаблюдения, видеоконференции через Интернет, оцифровка и реставрация старых видеопленок, восстановление поврежденных видеофайлов, выделение и удаление посторонних шумов на изображениях, осветление затемненных изображений и т. д. Хотя в области обработки изображений и видео последовательностей достигнуты большие успехи, существует ряд нерешенных до конца проблем, одной из которых является проблема адекватной оценки качества изображений.
Особенно актуальна проблема оценки качества изображений при разработке различных алгоритмов обработки изображений, т. к. зачастую перед финальным тестированием и сравнением с аналогичными решениями нужно провести ряд исследований и экспериментов по настройке и оптимизации разрабатываемого алгоритма. Например, при разработке алгоритмов сжатия с потерями как статических, так и динамических изображений нужно определить насколько отброшенная информация является существенной при восприятии [1, 2]. Известно, что самым надежным способом получения оценки качества изображений является использование экспертного подхода, но его применение требует большого количества людей и времени,
особенно в случае большого количества оцениваемых изображений [3]. Эффективным решением уменьшения трудоемкости и времени получения оценки качества является применение объективных (математических) метрик, дающих максимально приближенную к экспертному подходу оценку качества изображений. Под метрикой (в обработке изображений) будем понимать функцию, определяющую расстояние от оцениваемого изображения до эталонного или идеального изображения в пространстве изображений [2].
В современной литературе описано достаточно большое количество объективных метрик, которые можно разделить на три класса [2]:
• Эталонные (full-reference, FR) - предполагают наличие исходного изображения, которое рассматривается как опорное или эталонное изображение при сравнении, т. к. оно не зашумлено и имеет идеальное качество.
• Неэталонные (no-reference, NR) - предполагают, что в процессе получения оценки качества изображения опорное или эталонное изображение отсутствует. Такие метрики являются самыми сложными в реализации и зачастую ориентированы на конкретный вид искажения.
• Псевдоэталонные (reduced-reference, RR) -предполагают, что некоторая часть информации об эталонном изображении присутствует вместе с зашумленным изображением, причем количество этой информации значительно ме-
ньше объема информации, требуемого для эталонного изображения.
В данной статье рассмотрен класс эталонных метрик по следующим причинам:
• значения оценок качества метрик данного класса наиболее приближенны к экспертной оценке;
• наиболее распространенная задача, в которой они применяются - сжатие статических и динамических изображений;
• наибольшее количество предложенных и описанных в литературе метрик относится к данному классу.
На сегодняшний день наиболее распространены на практике следующие эталонные метрики: MSE, PSNR, MSAD, VQM, SSIM, MSSIM, VSNR, CW-SSIM [2-4]. Из перечисленных метрик согласно [2, 6] наиболее близкие к экспертному подходу результаты дает метрика CW-SSIM.
Метрика CW-SSIM
Метрика CW-SSIM является расширенной версией метрики SSIM с использованием ориентированного комплексного вейвлет-преобразования
[2]. Такие преобразования широко используют в задачах анализа границ изображений, удаления шумов, синтезирования текстур, обнаружения движения, т. к. они обладают [7]:
• возможностью разложения по различным масштабам (поддиапазонам);
• ориентированностью (направленностью), исключающей корреляцию ориентированных поддиапазонов разложения.
Применение комплексного вейвлет-преобразования при оценке качества изображений позволяет повысить качество оценки как для структурных, так и для геометрических искажений типа сдвига, растяжения, увеличения, уменьшения и вращения, удовлетворяющих в большей степени определению неструктурных, нежели структурных искажений [2, 6].
Рассмотрим комплексное вейвлет-преобразование подробнее [2, 7].
Пусть у симметричного комплексного вейвлет-преобразования материнский вейвлет записывается как a(u)=g(u)é4M, где ас - центральная частота фильтра, g(u) - медленно меняющаяся симметричная функция. Тогда семейство материнских вейвлет-функций, являющееся совокупностью сдвинутых и масштабированных версий материнского вейвлета, может быть записано следующим образом [2, 7]:
а,р (М)=-L Ю( ^)=-Lg ( ^j (u - p )7 s,
у/s S у/s S
где se R+ - уровень масштаба, peR - уровень сдвига.
Тогда для некоторого непрерывного сигнала x(u) непрерывное вейвлет-преобразование выглядит следующим образом:
X(я, р) = — | X(т)4яО(ят — тс)eJ,opdю,
—да
где Х(ю) и G(a) преобразованные в ряд Фурье функции х(и) и g(u).
Дискретное комплексное вейвлет-преобразование приведено в [8].
Алгоритм вычисления метрики CW-SSIM сводится к сравнению участков (окон) изображений (предварительно подвергнутых комплексному вейвлет-преобразованию) по двум компонентам 0 и ^ соответствующих ориентированных поддиапазонов оригинального (исходного) и оцениваемого изображений [2, 6]:
• величина
Q(Cx , СУ ) =-
N
2£| с,
/=1
а с,
i=1
N
а ‘
+к
сдвиг фазы
F (с,, су ) =-
а
+ к
2У \с
^\с,С А+к
i=1
где N - количество вейвлет-коэффициентов в скользящем квадратном окне размером ЬхЬ пикселей, сх! и су1 - г-й комплексные вейвлет-коэффициенты скользящего окна оригинального и оцениваемого изображений (собозначает сопряженное комплексное число коэффициента су>1), К - коэффициент, предотвращающий деление на нуль.
Значение CW-SSIM окна определяется следующим образом [2, 6]:
CW — ББМС, с^) = в(сх, с) Е (сх, с).
Конечное значение метрики CW-SSIM лежит в интервале [0,1] и вычисляется как среднее значение показателей CW-SSIM всех участков (окон), полученных в результате пошагового движения квадратного окна на заданном уровне £ комплексного вейвлет-преобразования оцениваемого и оригинального изображений:
1 г
М ^ — 881М х ] = — £ CW — ББ1М^х, су),
г 1=1
где Z - количество окон, покрывающих изображение.
Согласно [2] при вычислении значения метрики CW-SSIM рекомендуется использовать следующие параметры:
• шаг смещения окна Н=1 пиксель;
• размер скользящего окна 7x7 пикселей;
• уровень вейвлет-разложения (шаг вейвлет-преобразования) £=2;
2
i=1
• количество ориентированных поддиапазонов К=16.
В ходе реализации и тестирования метрики CW-SSIM были отмечены следующие недостатки:
• неадекватность оценки (значение метрики расходится со значением экспертной оценки) в случае наличия в изображении искажений вида: аддитивный белый гауссов шум (АБГШ), гауссово размытие и сильное JPEG-сжатие;
• высокие требования к объему ОЗУ при вычислении оценки.
Причиной указанных недостатков являются неоптимальные значения параметров метрики: шаг смещения окна Н, количество ориентированных поддиапазонов К и количество уровней разложения £.
Компьютерный эксперимент
Цель эксперимента - поиск значений параметров Н, £ и К метрики CW-SSIM, позволяющих повысить адекватность оценки и снизить требования к объему ОЗУ.
Исходные данные для эксперимента:
• набор «А57» из 57 полутоновых изображений 512x512 пикселей (глубина 8 бит на пиксель) с различными видами искажений [7]: АБГШ, гауссово размытие, импульсный шум, сильное JPEG2000-сжатие, сильное JPEG-сжатие;
• экспертные оценки для изображений из набора «А57», полученные авторами по методике DSIS
[3];
• реализованная Д.В. Сидоровым согласно [5] на языке высокого уровня С метрика CW-SSIM;
• количество ориентированных поддиапазонов Ке[4,16], шаг 1;
• шаг движения окна Не [1,7], шаг 1;
• количество уровней разложения (количество шагов вейвлет-преобразования) £е[2,4], шаг 1.
Минимальные и максимальные значения параметров Н, £ и К были определены исходя из следующих соображений. Диапазон значений коэффициента К ограничен снизу минимальным рекомендуемым в [6] количеством ориентированных поддиапазонов, сверху - резким повышением требований к объему ОЗУ и снижением скорости вычисления вейвлет-преобразования (например, для полутонового изображения размером 1024x768 пикселей с глубиной 8 бит на пиксель 16 поддиапазонов первого уровня комплексного вейвлет-преобразования требует свыше 96 Мб ОЗУ). Диапазон значений коэффициента £ ограничен снизу рекомендуемым в [2] значением, сверху - плохой детализацией изображения и резким увеличением отношения сигнал/шум. Диапазон значений коэффициента Н ограничен сверху размером скользящего окна.
Отбор результатов эксперимента производился согласно методу уступок. Метод позволяет задать процент уступок X в качестве параметра отбора, тем самым гарантируя, что выбранный вектор значений оценок качества для набора изображений (значения оценок качества изображений получены с использованием соответствующих этому вектору значений параметров Н, £ и К) отличается от вектора идеальных оценок (полученных по методике DSIS) не более чем на X % [9]. Авторами принята Х=3 %.
Эксперимент показал, что следующие значения параметров метрики CW-SSIM дают наиболее качественную оценку:
• шаг смещения окна Н=1 пиксель;
• уровень вейвлет-разложения £=3;
• количество ориентированных поддиапазонов К=8.
Модификация метрики CW-SSIM с этими параметрами была названа авторами AWS.
Ввиду высокой вычислительной сложности алгоритма метрики AWS авторами была предложена ее быстрая модификация fAWS, дающая результаты со средним отклонением (относительно значений оценок метрики AWS) не более чем на Х=3 %. Значения параметров метрики fAWS имеют следующие значения:
• шаг смещения окна Н=7 пикселей;
• уровень вейвлет-разложения £=3;
• количество ориентированных поддиапазонов К=8.
Метрики AWS и fAWS были протестированы на качество оценки на наборе изображений отличном от набора «А57».
Исходные данные для тестирования:
• набор полутоновых изображений 512x512 пикселей (глубина 8 бит на пиксель) включающий оригинальное изображение 1.bmp и 9 изображений с различными видами искажений [4]: 2.bmp - увеличение контраста; 3.bmp - увеличение яркости; 4.bmp - АБГШ; 5.bmp - импульсный шум (выжженные пиксели); 6.bmp - сильное JPEG-сжатие; 7.bmp - сильное гауссово размытие; 8.bmp - сильное увеличение размера, подобное приближению в фотокамерах; 9.bmp -сильное растяжение вправо; 10.bmp - сильное растяжение влево;
• реализованные Д.В. Сидоровым согласно [2, 3, 5] на языке высокого уровня С наиболее распространенные и хорошо описанные в литературе метрики MSE и SSIM;
• экспертные оценки для изображений из набора, полученные по методике DSIS [3] независимой группой экспертов.
Результаты тестирования метрик CW-SSIM и ее модификаций AWS и fAWS, а также метрик SSIM и
MSE приведены в таблице. Там же приведены нормированные оценки качества изображений, полученные по методике DSIS. Согласно [3] в методике DSIS используют 5 уровней различий.
Значения оценок качества изображений для метрик SSIM, CW-SSIM, AWS и fAwS лежат в интервале [0,1], в котором чем ближе значение метрики к 1, тем выше качество оцениваемого изображения. Значение метрики MSE вычисляется как среднеквадратичное отклонение оцениваемого и эталонного изображений. Соответственно, чем ближе значение метрики к 0, тем ближе оцениваемое изображение к эталону. Значение экспертной оценки в тестировании принято за эталон (идеальная оценка).
Таблица. Результаты тестирования на качество оценки изображений метриками MSE, SSIM, CW-SSIM, AWS и fAWS
1 1 ф Orö=p Значение
MSE SSIM g* AWS fAWS DSIS (нормированное)
1 0 1,000 1,000 1,000 1,000 1
2 502,759 0,940 0,970 0,976 0,976 1
3 23,501 0,994 0,991 0,994 0,994 1
4 686,899 0,376 0,454 0,762 0,769 0,8
5 449,373 0,714 0,525 0,804 0,811 0,8
6 499,627 0,721 0,466 0,683 0,690 0,6
7 588,474 0,692 0,131 0,658 0,667 0,6
8 1870,172 0,436 0,486 0,604 0,598 1
9 2154,799 0,434 0,558 0,657 0,653 1
10 2218,243 0,437 0,517 0,586 0,593 1
Согласно приведенным в таблице результатам значения оценок метрик AWS и fAWS лучше согласуются с экспертной оценкой DSIS, т. к. имеют наименьшее отклонение, нежели результаты метрик MSE, SSIM и CW-SSIM. На рисунке приведены абсолютные отклонения (по модулю) оценок качества метрик SSIM, CW-SSIM, AWS и fAWS относительно нормированной экспертной оценки DSIS. Среднее значение считалось как среднеарифмети-
ческое абсолютных отклонений (по модулю) для наиболее распространенных видов искажений в изображениях 2-7.
Изображение
Рисунок. Абсолютные (по модулю) отклонения оценок качества изображений, полученных с помощью метрик SSIM, CW-SSIM, AWS и fAWS от результатов нормированной экспертной оценки по методу DSIS
Из представленных результатов видно, что модифицированные метрики AWS и fAWS дают более адекватные оценки качества изображений, нежели метрики SSIM и CW-SSIM, как в среднем, так и по отдельным видам искажений. Средняя погрешность метрик AWS и fAWS относительно экспертной DSIS оценки менее 4 %.
Заключение
Исследована метрика оценки качества изображений CW-SSIM, основанная на использовании комплексных вейвлетов. Предложены метрики AWS и fAWS, являющиеся модификациями метрики CW-SSIM и дающие более адекватные оценки качества изображений.
Разработка эталоннъх метрик оценки качества изображений поддерживается по программе «Участник молодежного научно-инновационного конкурса» («У.М.Н.И.К.») Фондом содействия развитию малъх форм предприятий в научно-технической сфере.
СПИСОК ЛИТЕРАТУРЫ
1. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. - М.: ДИАЛОГ-МИФИ, 2002. - 384 с.
2. Wang Z., Bovik A.C. Modern image quality assessment. - N.Y.: Morgan & Claypool, 2006. - 157 p.
3. Ватолин Д. Программный продукт оценки качества восстановленного изображения MSU Quality Measure [Электронный ресурс]. - режим доступа: http://compression.ru/video/quality_me-asure/video_measurement_tool.html. - 20.06.2009.
4. Chandler D.M., Hemami S.S. VSNR: A Wavelet-Based Visual Sig-nal-to-Noise Ratio for Natural Images [Электронный ресурс]. -режим доступа: http://foulard.ece.cornell.edu/dmc27/vsnr/ vsnr.html. - 21.06.2009.
5. Сидоров Д.В. Тестирование метрик [Электронный ресурс]. -
режим доступа: http://www.imq.tomsknet.ru/test.html. -
21.06.2009.
6. Wang Z., Simoncelli E.P. Translation insensitive image similarity in complex wavelet domain // IEEE Inter. Conf. Acoustic, Speech and Signal Processing. - Philadelphia, 2005. - V. 2. - P. 673-676.
7. Freeman W.T., Adelson E.H. The design and use of steerable filters // IEEE Trans. Pattern Analysis and Machine Intelligence. - 1991. - V. 13. - P. 891-906.
8. Room F. Steerable filters and the steerable pyramid [Электронный ресурс]. - режим доступа: http://www.filiprooms.be/research/ste-er/. - 16.05.2009.
9. Штойер P. Многокритериальная оптимизация: теория, вычисления и приложения: пер. с англ. / под ред. А.В. Лотова. - М.: Радио и связь, 1992. - 504 с.
Поступила 22.10.2009 г.
