CC BY
241
УДК 004.932.4
УЛУЧШЕНИЕ КАЧЕСТВА СЖАТЫХ ИЗОБРАЖЕНИЙ ПРЕДВАРИТЕЛЬНЫМ МАСШТАБИРОВАНИЕМ
Н. В. Соловьев,
канд. техн. наук, доцент Г. В. Шифрис,
аспирант
Санкт-Петербургский государственный университет аэрокосмического приборостроения
Рассматривается метод улучшения качества изображений, сжимаемых по алгоритму JPEG, предварительным масштабированием. Обосновывается выбор количественной оценки качества изображения. Анализируются методы масштабирования с точки зрения скорости обработки и качества восстановленного изображения.
Ключевые слова — сжатие изображений, алгоритм JPEG, масштабирование изображений.
Введение
Результаты исследований перспектив развития телекоммуникаций [1] показывают, что к 2013 г. суммарный поток видеоданных составит примерно 90 % пользовательского телекоммуникационного трафика, включая видеоконференции, мобильную телефонию и видеонаблюдение. В связи с данной тенденцией все более актуальной становится проблема эффективного сжатия видеоинформации для передачи по телекоммуникационным сетям с сохранением высокого качества изображения на стороне пользователя. Максимально возможное повышение степени сжатия передаваемых видеоданных без существенного ухудшения качества может обеспечить значительное увеличение доходов магистральных операторов и интернет-провайдеров за счет увеличения объема передаваемой информации, приходящейся на единицу сетевого трафика.
Описание алгоритма сжатия
Все известные в настоящее время методы сжатия видеопотока можно разделить на две большие группы: методы, основанные на анализе соседних кадров в целях компенсации движения, например стандарты Н.264 или MPEG-4 [2], и методы, выполняющие сжатие каждого кадра в отдельности, например стандарты MPEG-2 или JPEG [3]. Если методы сжатия второй группы являются симметричными, т. е. у них время компрессии практически совпадает со временем де-
компрессии, то методы первой группы несимметричны, так как у них время компрессии существенно превышает время декомпрессии, причем с увеличением степени сжатия растет и несимметричность метода.
Учитывая вышесказанное, можно считать, что для передачи изображения в режиме on-line наиболее подходят методы второй группы, многие из которых основаны на поблочном дискретном косинусном преобразовании (ДКП) изображения. Однако при высокой степени сжатия такими методами на декомпрессированном изображении становятся заметны границы блоков, на которые разбивается изображение при сжатии, что значительно снижает визуальное качество.
Один из возможных способов избежать подобных искажений при сохранении степени сжатия заключается в предварительном масштабировании изображения каким-либо алгоритмом сжатия «вниз» перед компрессией, т. е. в уменьшении размера изображения. Отмасштабированное «вниз» изображение сжимают, а после передачи по каналу и декомпрессии восстанавливают до исходного размера, т. е. масштабируют «вверх» с помощью алгоритмов интерполяции изображения.
Цветное исходное изображение (рис. 1, а) размером 800 х 600 пикселей в bmp-формате имеет объем файла 350 КБ. После компрессии изображения алгоритмом JPEG с коэффициентом качества 10 объем сжатого файла составил 35 КБ. Следует отметить, что коэффициент качества у используемого при проведении экспериментов алгоритма JPEG меняется в пределах 1-100 и пред-
a)
■ Рис. 1. Сравнение результатов компрессии / декомпрессии различными методами: а — исходное изображение; б — результат обработки алгоритмом JPEG без масштабирования; в — результат обработки алгоритмом JPEG с масштабированием
ставляет собой некий условный коэффициент сохранения качества при сжатии, т. е. чем выше коэффициент, тем лучше качество и соответственно меньше степень сжатия. Результат декомпрессии с хорошо заметной блочной структурой показан на рис. 1, б. Изображение на рис. 1, в было предварительно масштабировано «вниз» с коэффициентом 1,5, т. е. размер изображения был уменьшен в полтора раза, затем выполнена компрессия алгоритмом JPEG с коэффициентом качества 25, что обеспечило размер сжатого файла 35 КБ для объективности сравнения результатов. После декомпрессии изображение было восстановлено до первоначального размера с использованием интерполирующего алгоритма Lanczos. Блочная структура менее заметна на рис. 1, в, что позволяет говорить о возможности применения предложенной последовательности операций для повышения качества результирующего изображения после декомпрессии.
Показанный на рис. 1, в результат можно объяснить следующим образом. Потеря информации на изображении при JPEG-компрессии происходит 2 раза [3]. Первый раз — на этапе «прореживания», когда после преобразования из цветового пространства RGB в YCbCr изображение делится на блоки из 4 пикселей (2 х 2 пикселя) и вместо 12 значений (4 Y, 4 Cb, 4 Cr) используется 6 (4 Y и по одному усредненному Cb и Cr). Второй раз качество теряется на этапе ДКП. Изображение делится на блоки 8 х 8 пикселей, подвергается ДКП и квантованию. Матрица, используемая для квантования, строится таким образом, что более сильному квантованию подвергается высокочастотная составляющая, что приводит к исчезновению на декомпрессированном изображении малоразмерных и слаборазличимых фрагментов. В блоках, соответствующих таким фрагментам, при большой компрессии после квантования нулевыми становятся все значения, кроме начального, которое соответствует средней яркости изображения. В результате на декомпрессированном изображении проявляется блочная структура, причем она наиболее заметна в областях с практически постоянной яркостью, например на изображениях неба, воды и т. п. (см. рис. 1, б).
Масштабирование исходного изображения «вниз» дает возможность повысить качество изображения, уменьшив коэффициент компрессии JPEG. В результате в блоках после квантования появляется больше ненулевых значений, что делает менее заметной блочную структуру декомпрессированного изображения. Масштабирование исходного изображения «вверх» выполняется интерполяционным методом, что приводит к некоторому размыванию перепадов яркости, но позволяет избежать появления клетчатой структуры.
Для того чтобы рекомендовать данный метод к применению в системах передачи видеопотока в режиме on-line, необходимо:
— выбрать наиболее подходящую методику для количественной оценки качества результирующего изображения по сравнению с исходным;
— подобрать алгоритм интерполяции, наилучший по отношению качество/время обработки;
— найти оптимальное с точки зрения качества результирующего изображения соотношение коэффициентов масштабирования и компрессии;
— оценить симметричность метода;
— проанализировать результаты обработки изображений различного типа (цветных, монохромных, контрастных, размытых, с мелкими деталями и т. д.).
Для обеспечения возможности объективного сравнения результатов при проведении экспериментов коэффициенты масштабирования «вниз» и компрессии следует подбирать так, чтобы размер полученного изображения был равен размеру изображения после компрессии без предварительного масштабирования.
В данной статье рассмотрены вопросы выбора методики оценки качества изображения, восстановленного после сжатия, и алгоритма интерполяции, применяемого при восстановлении изображения.
Обоснование выбора методики сравнения изображений
Для анализа тестовых изображений, полученных в результате экспериментов, необходимо выбрать методику оценки качества восстановленного изображения по сравнению с исходным. Существуют два подхода к оценке качества изображения. Первый — количественная оценка, опирающаяся на вычисление некоторых характеристик изображения, второй — субъективная оценка, основывающаяся на статистической обработке экспертных оценок. Каждый подход можно разделить на две группы — абсолютные и сравнительные меры. Абсолютные меры используют для оценки одного изображения (изображению присваивается коэффициент качества по рейтинговой шкале), сравнительные меры используются для ранжирования набора изображений по качественной шкале от «лучше всего» до «хуже всего» или взаимного сравнения двух изображений [4].
Получение субъективной оценки — долгий и сложный процесс, требующий наличия опыта у экспертной группы, благоприятных условий труда (качественных мониторов, освещения), а также специальных методов статистической обработки для компенсации человеческого фактора. При выборе количественной оценки следует от-
дать предпочтение той, которая учитывает особенности восприятия изображений человеческим глазом [5] (цветовое разрешение человеческого зрения ниже яркостного, человек маловосприимчив к мелким цветным деталям и т. п.).
С учетом сложности получения субъективной оценки и наличия эталонных изображений для сравнения результатов сжатия изображений была выбрана группа количественных сравнительных оценок качества. Рассмотрим кратко наиболее распространенные.
Среднеквадратическое отклонение значений пикселей (root mean square — RMS) [6]
n (x- — y )2 ^i=l, 1=1x l Ul’ l) (j)
mn
где x(i, j), y(i, j) — яркости соответствующих пикселей сравниваемых кадров X и Y одинакового размера; m — ширина кадра; n — высота кадра. Это наиболее часто используемая на практике легко вычисляемая мера. Недостаток меры RMS состоит в том, что по ней изображение будет считаться сильно испорченным при понижении яркости всех пикселей всего на 5 % (человеческий взгляд не всегда улавливает), а изображения с резким изменением цвета отдельных точек («со снегом», слабыми полосами или муаром) будут признаны почти не изменившимися.
Максимальное отклонение [3]
d(x, y)= maxi, ^xit j - yu j . (2)
Эта мера очень чувствительна к отклонению отдельных пикселей, т. е. практически незаметное для человеческого взгляда резкое изменение яркости только одного пикселя приводит к существенному снижению оценки качества всего изображения.
Отношение полезного сигнала к шуму (peak-to-peak signal-to-noise ratio — PSNR) [3]
2
PSNR(X, Y) = 10 *logio-----, (3)
vm’n x ~ y ■)
^ i=0,1=0 Vl, 1 Vi, 1)
где MaxErr — максимум модуля разности цветовой компоненты. Это наиболее часто используемая на практике сравнительная мера, ее можно вычислять по всем компонентам цветовых пространств YUV и RGB и по компоненте L пространства LUV [7]. PSNR легко вычислять, но она имеет очень приближенное отношение к расхождениям, которые обнаруживаются человеческим глазом. Высокое значение PSNR означает определенную схожесть восстановленного и исходного изображений, но оно не дает гарантию того, что зритель будет удовлетворен восстановленным кадром.
RMS(X, Y) = \
Сравнительная мера MSAD — усредненная абсолютная разность значений цветовых компонент в соответствующих пикселях сравниваемых изображений [8]:
MSAD(X, Y) =
Y^m, n
^ i=l, j=l I'
■Уі’ j
(4)
где x(i, j), y(i, j) — значения цветовых компонент соответствующих пикселей сравниваемых кадров X и Y. Этой мере присущи те же недостатки, что и среднеквадратическому отклонению.
Delta — усредненная разность значений цветовых компонент в соответствующих пикселях сравниваемых изображений [8], вычисляется для каждой компоненты по формуле
Delta(X, Y) =
vm’n x — y. )
^ l=l, j=lvl’ і Уі’ и
(5)
где x(i, j), y(i, j) — значения цветовых компонент соответствующих пикселей сравниваемых кадров X и Y. Недостатки меры Delta совпадают с недостатками меры MSAD.
Сравнивая формулы (1)-(5) для определения качества изображения по различным мерам, можно сделать вывод, что все они однокомпонентные, т. е. опираются на вычисление какой-то одной характеристики — разности значений яркости (2), (4), (5) или среднеквадратического отклонения яркости (1), (3). Применение перечисленных мер не всегда дает положительный результат. В литературе [8] можно найти примеры изображений, существенно отличающихся по качеству при визуальной оценке, но имеющих практически одинаковую количественную оценку качества по однокомпонентной мере.
Мера структурного подобия (measure of structural similarity — SSIM), предложенная американским ученым из Нью-Йоркского университета Зоу Вангом для сравнения полутоновых изображений, основывается на вычислении трех компонент сходства (яркости, контраста и структуры) и объединении их значений в итоговый результат [9, 10]:
SSIM =
G XY
G xgy
2XY
X) +Y)
2 g X 2 Gy
2 . 2 G X + gY
(6)
— 1 m, n — 1 v—'m, n
где X =------У ’ ■ ,x,-:, Y =---------------} ’ . U,; —
mn l—1, 1=1 1 mn 1=1, 1=1 1
средняя яркость пикселей сравниваемых кадров
X и Y; a2x = 1
1
(m-l)(n -1)
(m - l)(n -Ty£i=l j=1 (yij - Y]
=1 (- Xf, G
дисперсия яр-
Таблица 1
Метрика Коэффициент качества изображения
кон- трастного черно- белого размытого текста
RMS 26 20 ІЗ 42
PSNR ІЗ І5 ІІ 45
SSIM ІЗ І6 ІІ 46
кости пикселей,
■2
GXY =■
l
Em, n i=l, j=
(m — 1)(n — 1)^ х (xj — X)(y,i — Y) — ковариация кадров.
Первая составляющая выражения является коэффициентом корреляции между изображениями X и Y. Вторая и третья составляющие соответственно характеризуют сходство средних значений яркостей и сходство контрастов двух сравниваемых изображений. Чем выше значение SSIM, тем больше совпадают сравниваемые изображения. В последнее время данная мера широко используется при сравнительной оценке качества изображений в силу того, что она наилучшим образом учитывает особенности восприятия человеческим глазом.
При проведении экспериментов сравнение качества изображений, восстановленных после сжатия, выполнялось по метрикам RMS, PSNR и SSIM. Результаты сравнения по метрикам PSNR и SSIM практически совпали. По ним ошибка у контрастного изображения, полученного с использованием предварительного масштабирования, становится меньше, начиная с коэффициента качества алгоритма JPEG, равного 13. По метрике RMS это значение составляет 26.
Результаты аналогичных измерений по другим тестовым изображениям представлены в табл. 1.
В дальнейшем для оценки качества восстановленного изображения использовалась мера SSIM, как наиболее адекватно отображающая разницу между изображениями за счет анализа сходства изображений по яркости, контрасту и структуре.
Оценка отношения качество / время обработки алгоритмами интерполяции
Важной составляющей эффективного применения предварительного масштабирования является выбор алгоритма интерполяции после декомпрессии. Интерполяцией, или интерполированием, в вычислительной математике называется способ нахождения промежуточных значений величины по имеющемуся дискретному набору известных значений [11]. Алгоритм интерполяции должен обеспечивать максимальное качество картинки при минимальных временных затратах, а время работы алгоритма должно удовлетворять требованию симметричности. Наибо-
гп
гп
лее распространенные алгоритмы увеличения масштаба растрового изображения кратко рассмотрены далее.
Nearest neighbor (копирование ближайшего соседа) — самый простой с точки зрения реализации метод [12]. В нем для получения неизвестных значений пикселей не делается никаких сложных математических вычислений — неизвестная яркость пикселя принимается равной яркости ближайшего к нему пикселя. Этот метод рекомендуется использовать для изображений, в которых нет плавных цветовых переходов, но есть четкие границы.
Bilianer — билинейная интерполяция. В вычислительной математике билинейной интерполяцией называют расширение линейной интерполяции для функций в двух переменных. Для вычисления неизвестного значения яркости искомого пикселя используются 4 соседних с ним пикселя [12]. Сначала в соответствии с координатами искомого пикселя линейно интерполируются значения вспомогательных точек вдоль оси абсцисс, потом проводится линейная интерполяция между этими точками по оси ординат.
Bicubic — бикубическая интерполяция. В вычислительной математике бикубической интерполяцией называется расширение кубической интерполяции на случай функции двух переменных, значения которой заданы на двумерной регулярной сетке [13]. Поверхность, полученная в результате бикубической интерполяции, является гладкой функцией, в отличие от поверхностей, полученных в результате билинейной интерполяции или интерполяции методом ближайшего соседа. Бикубическая интерполяция дает более качественное изображение по сравнению с билинейной интерполяцией, но требует больше времени.
Hermite — один из наиболее распространенных алгоритмов, применяемых для интерполяции графических изображений, основанный на интерполяционном полиноме Эрмита, получившего свое название в честь великого французского математика Шарля Эрмита (Charles Hermite) [14]. Для нахождения значения функции P в точке x необходимо найти полином P2n+1 степени 2N + 1, значения которого и его производной в узлах х;, i = 0, ..., N удовлетворяют заданным соотношениям. Эту задачу как раз и решает интерполяционный полином Эрмита.
Lanczos — еще один фильтр, который занимает одно из лидирующих мест в цифровом увеличении изображения. Этот многомерный метод назван в честь Корнелиуса Ланцоша (Cornelius Lanczos), впервые показавшего, как можно применить полиномы Чебышева и ряды Фурье для решения прикладных задач. Фильтр Ланцоша
построен на основе оконного sinc-фильтра [13]. Импульсная характеристика h(t) оконного sinc-фильтра образуется путем умножения импульсной характеристики идеального фильтра низких частот на оконную функцию. В результате получается фильтр с хорошими спектральными свойствами. Применение данного фильтра к изображению позволяет сохранить относительно высокую четкость (даже при значительном увеличении), но может быть сильно заметен эффект Гиббса.
B-spline — представитель группы так называемых «кусочно-кубических» алгоритмов — кубический сплайн 4-го порядка. Термин B-spline был введен И. Шёнбергом (Isaac Jacob Schoenberg) и является сокращением от словосочетания «базисный сплайн». В вычислительной математике B-spline называют сплайн-функцию, имеющую наименьший носитель для заданной степени, порядка гладкости и разбиения области определения. В системах автоматизированного проектирования и компьютерной графике термин B-spline часто описывает сплайн-кривую, которая задана сплайн-функциями, выраженными линейными комбинациями B-spline [15].
Существует несколько модификаций этого алгоритма. Первая модификация принадлежит американскому ученому Эдвину Катмулу (Edwin Catmull), известному по своим работам в области киноиндустрии, и Рафаэлю Рому (Raphael Rom) из Израильского технологического университета. Алгоритм назван в их честь и известен во всем мире как Catmull-Rom. Вторая принадлежит Дону Митчелу (Don Mitchell) и Аруну Нетравали (Arun N. Netravali) и ее название Mitchell-Netrava-li (или Mitchell) носит их имена, причем это даже не модификация, а сочетание B-spline и CatmullRom [15-17].
Алгоритм масштабирования Bell, или как его еще называют Gaussian, с колоколообразной характеристикой помогает за счет применения преобразований Фурье удалить высокочастотные шумы и «aliasing» (лестничный эффект), которые могут появиться при масштабировании [18]. Изображения при использовании этого алгоритма получаются немного размытыми, даже с небольшим коэффициентом масштабирования, поэтому алгоритм имеет еще название Gaussian blurring [16]. Можно сказать, что размытие — это та дань, которую приходится платить за удаление шумов.
Компания BenVista, известная своей программой для масштабирования изображения с одноименным названием, выпустила и запатентовала свой алгоритм масштабирования S-spline. Как утверждают разработчики, этот алгоритм можно отнести к адаптивным алгоритмам, т. е. он учитывает характеристики изображения и неплохо работает на границах цветов [19].
Cubic filter основывается на кубическом сплайне. Кубический сплайн задается значениями функции в узлах и значениями производных на границе отрезка интерполяции (либо первых, либо вторых производных). Для любой функции и любого разбиения отрезка интерполяции существует естественный, удовлетворяющий заданным условиям, сплайн [20].
Масштабирование изображений всегда связано с потерей их качества. При этом возникают артефакты масштабирования — заметные искажения изображения. Наиболее часто встречаются следующие артефакты [21]:
— ringing — возникновение волны около резкой границы на изображении;
— overshooting — возникновение двух или трех волн;
— aliasing — неравномерности изображения на резких, диагональных границах изображения;
— unsharpening — размывание, недостаточная четкость изображения после масштабирова-
ния. Повышение четкости, как правило, приводит к увеличению остальных артефактов и наоборот — подавление артефактов подавляет также и четкость;
— sub-pixel shift — субпиксельный сдвиг изображения, связанный, как правило, с особенностями реализации алгоритма. Практически не влияет на визуальное качество, однако существенно влияет на количественную оценку.
Для получения полной картины о качестве интерполяции различными алгоритмами были выбраны разные по своей структуре тестовые изображения (рис. 2, а—г). Каждое тестовое изображение масштабировалось «вниз» с коэффициентами 1,5; 2; 2,5; ...; 7,5; 8, после чего масштабировалось до исходного размера тестируемым алгоритмом интерполяции. Далее вычислялась мера SSIM для эталонного и восстановленного изображений. Результаты вычисления SSIM для контрастного изображения с разным коэффициентом масштабирования при раз-
а)
в)
г)
Vladimir Nabokov. Lolita
FOREWORD
"Lolita, or the Confession of a White Widowed Male," such were the two titles under which the writer of the present note received the strange pages it preambulates. "Humbert Humbert/' their author, had died in legal captivity, of coronary thrombosis, on November 16, 1952,. a few days before his trial was scheduled to start. His lawyer, my good friend and relation, Clarence Choate Clark, Esq., now of he District of Columbia bar, in asking me to edit the manuscript, based his request on a clause in his client's will which empowered my eminent cousin to use the discretion in all matters pertaining to the preparation of "Lolita11 for print. Mr. Clark's decision may have been influenced by the fact that the editor of his choice had just been awarded the Poling Prize for a modest work ("Do the Senses make Sense?") wherein certain morbid states and perversions had been discussed.
My task proved simpler than either of us had anticipated. Save for the correction of obvious solecisms and a careful suppression of a few tenacious details that despite "H.H."'s own efforts still subsisted in his text as signposts and tombstones (indicative of places or persons that taste would conceal and compassion spare), this remarkable memoir is presented intact. Its author's bizarre cognomen is his own invention; and, of course, this mask-through which two hypnotic eyes seem to glow-had to remain unlifted in accordance with its wearer's wish. While "Haze" only rhymes with the heroine's real surname, her first name is too closely interwound with the inmost fiber of the book to allow one to alter it; nor (as the reader will perceive for himself) is there any practical necessity to do so. References to "H.H.'"s crime may be looked up by the inquisitive in the daily papers for September-October 1952; its cause and purpose would have continued to come under my reading lamp.
■ Рис. 2. Тестовые изображения для анализа алгоритмов интерполяции: а — контрастное; б — размытое; в — черно-белое; г — текст
личных алгоритмах интерполяции представлены на рис. 3.
Из графиков отчетливо видна зависимость значения SSIM при одинаковом коэффициенте масштабирования от алгоритма интерполяции. С уменьшением коэффициента масштабирования SSIM после восстановления изображения до исходных размеров практически совпадает у всех алгоритмов интерполяции. Из этого можно сделать вывод, что с увеличением коэффициента масштабирования исчезает разница в качестве между ними. Лидирующую позицию занимают алгоритмы Catmull-Rom и Bicubic.
Следующим шагом в оценке качества алгоритмов масштабирования изображений было определение зависимости качества от типа изображения. Как говорилось выше, в качестве тестовых изображений были выбраны разные типы изображений (см. рис. 2). В экспериментах использовался небольшой коэффициент масштабирования (все тестовые изображения масштабировались «вниз» с коэффициентом 1,5). Полученные изображения восстанавливались до исходного тестируемыми алгоритмами интерполяции с вычислением для них меры SSIM. Результат вычислений представлен на рис. 4.
Из гистограммы видно, что за редким исключением для всех типов изображений прослеживается зависимость качества изображения от алгоритма интерполяции. Как и в первом случае, лидирующую позицию занимают алгоритмы Catmull-Rom и Bicubic.
Результаты усреднения экспериментальных данных (табл. 2), полученных для каждого типа изображения, позволяют увидеть наглядную картину оценки качества.
Несмотря на то, что алгоритм Catmull-Rom практически везде показывал наилучшие результаты, в некоторых случаях для какого-то конкретного типа изображения метрика SSIM сильно выбивалась из группы. Это повлияло на результаты усреднения, и лидирующие позиции заняли алгоритмы Bicubic и Bilinear, показавшие наиболее стабильные результаты для всех групп изображений с различными коэффициентами масштабирования.
Для оценки времени работы алгоритмов масштабирования измерялось время работы их программной реализации. В качестве ядра была взята условно бесплатная библиотека FINEGraphics. dll, написанная на языке ассемблера и оптимизированная. Реализованные алгоритмы этой библиотеки вызывались из программы, написанной на языке Delphi. Исходное изображение размером 800 х 600 пикселей было отмасштабирова-но «вниз» с семью различными коэффициентами K, которые приведены в табл. 3.
SSIM
■ Рис. 3. Зависимость меры качества SSIM контрастного изображения от размера сжатого изображения для разных алгоритмов интерполяции: — B-spline; — Mitchell;
— Nearest neighbor; — Bell; — Hermite;
Lanczos; — Bilinear; — S-spline;
- Bicubic; — Catmull-Rom
ІІІІПІННПП
mni
■і і
і
0,9 0,8 0,7 0,6 0,5 0,4
0,3 0,2 0,1
Уууу * *
4VJ
V*
<r
Vу
Рис. 4. Зависимость оценки качества мерой ББ1М от метода интерполяции для разных типов изображений, представленных на рис. 2 ( — а; — б; — в; — г)
Таблица 2
Алгоритм SSIM Алгоритм SSIM
B-spline 0,7509 Hermite 0,7796
S-spline 0,7509 Lanczos 0,7817
Mitchell 0,7629 Catmull-Rom 0,7899
Bell 0,7753 Bilinear 0,7904
Nearest neighbor 0,7754 Bicubic 0,7965
Таблица 3
Размер K Размер K
400 x 300 2 133 x100 6
266 x 200 3 114 x 86 7
200x150 4 100 x 75 8
160x120 5
Таблица 4
Размер Nearest neighbor e it S r e Я Bilinear B-spline Bell S-spline Mitchell Lanczos Bicubic Catmull-Rom
400 x 300 17 21 21 24 24 27 28 28 28 28
266 x 200 16 20 20 24 24 27 28 28 28 28
200 x 150 15 19 19 23 23 25 26 26 26 26
160 x120 15 19 19 22 22 24 25 25 25 25
133 x100 15 19 19 22 22 24 25 25 25 25
114 x 86 14 19 18 22 22 24 25 25 25 25
100 x 75 14 18 18 22 21 23 24 24 24 25
Каждое сжатое изображение восстанавливалось до исходного размера перечисленными выше методами, время восстановления (или масштабирования «вверх») заносилось в таблицу с округлением до десятых миллисекунды. Фрагмент полученных данных приведен в табл. 4. Для наглядности был построен график (рис. 5).
Время, мс 18
16
14
12
10
* ^>+>ч Рис. 5. Зависимость времени работы алгоритма масштабирования от размера изображения: ■ — Nearest neighbor; ■ — Hermite;
— Bilinear; ■ — B-spline; ■ — Bell;
■ — S-spline; ■ — Mitchell; I — Lanczos; — Bicubic; ■ — Catmull-Rom
Из графика видно, что чем меньше размер изображения, тем быстрее оно масштабируется. Как и следовало ожидать, самым быстрым оказался метод ближайшего Nearest neighbor (в нем новые пиксели не вычисляются математическим путем, а копируются), а самыми долгими — методы на основе сплайнов.
По скорости работы можно выделить четыре группы алгоритмов масштабирования:
1) Nearest neighbor;
2) Bilinear, Hermite;
3) B-spline, Bell;
4) S-spline, Mitchel, Lanczos, Bicubic, CatmullRom.
Анализируя данные, полученные при измерении SSIM для тестового изображения, и данные измерения времени работы алгоритмов интерполяции, можно сделать следующие выводы.
С увеличением времени работы алгоритма масштабирования растет качество масштабируемой картинки. Соответственно, чем меньше размер файла сжатого изображения, тем ниже качество восстановленного изображения и больше времени потребуется алгоритму масштабирования на его восстановление до исходного размера. Это справедливо для всех алгоритмов масштабирования.
Наибольший интерес представляет сравнение алгоритмов масштабирования между собой. Самый долгий алгоритм Catmull-Rom вопреки ожиданиям не оказывается самым лучшим по качеству получаемой картинки, а самый быстрый алгоритм Nearest neighbor при небольшом коэффициенте компрессии оказывается лучше B-spline и Mitchel. Наибольшего интереса достоин алгоритм Bilinear. Принимая во внимание количественную оценку качества алгоритмов масштабирования, можно сказать, что алгоритм Bilinear является фаворитом, так как при минимальных временных затратах на выходе получается отмас-штабированное изображение хорошего качества. Выбор алгоритма масштабирования совпадает с выбором производителей ЖК-телевизоров, так как именно этот алгоритм масштабирования, реализованный аппаратно, используется для масштабирования в ЖК-телевизорах [21].
Заключение
Проведенные эксперименты подтверждают целесообразность использования предварительного масштабирования изображения перед компрессией для повышения качества восстановленного изображения. По соотношению качество восстановления / время обработки для этой задачи наиболее подходит алгоритм масштабирования Bilinear.
В дальнейшем планируется проведение экспериментов для нахождения оптимального соотношения коэффициентов масштабирования и компрессии с точки зрения качества результирую-
1. Макаров В. В. Телекоммуникации России: состояние, тенденции и пути развития. — М.: Ириас, 2007. — 296 с.
2. Ричардсон Я. Видеокодирование. Н.264 и MPEG-4 — стандарты нового поколения. — М.: Техносфера, 2005. — 386 с.
3. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. — М.: Диалог-МИФИ, 2002. — 384 с.
4. Монич Ю. И., Старовойтов В. В. Оценки качества для анализа цифровых изображений // Искусственный интеллект. 2008. № 4. C. 376 — 386.
5. Гугель Ю. В. и др. Оценка качества передачи динамических изображений в формате mpeg по реальным каналам связи // Тез. докл. VII Всерос. науч.-метод. конф. «Телематика,2000». СПб., 2000. С. 10-
11. http://ipk.admin.tstu.ru/sputnik/index/str/resurs. files/ict.edu.ru/vconf/index44c4.html (дата обращения: 18.10.2010).
6. Боровиков В. STATISTICA. Искусство анализа данных на компьютере: Для профессионалов. — СПб.: Питер, 2003. — 688 с.
7. Huynh-Thu Q., Ghanbari M. Scope of validity of PSNR in image/video quality assessment // IET Electronics Letters. June 2008. Vol. 44. N 13. Р. 800-801.
8. Ватолин Д. Программный продукт оценки качества восстановленного изображения MSU Quality Measure. http://compression.ru/video/quality_me_ asure/video_measurement_tool.html (дата обращения: 20.06.2009).
9. Wang Z., Bovik A. C. Modern image quality assessment. — N. Y.: Morgan & Claypool, 2006. — 157 p.
10. Wang Z., Simoncelli E. P. Translation insensitive image similarity complex wavelet domain // IEEE Inter. Conf. Acoustic, Speech and Signal Processing. Philadelphia, 2005. Vol. 2. P. 673-676.
щего изображения, а также оценки симметричности рассмотренного метода для его использования в режиме прямой передачи видеопотока.
11. Калиткин Н. Н. Численные методы. — М.: Наука, 1978. — 27 c.
12. Гонсалес Р., Вудс Р. Цифровая обработка изображений. — М.: Техносфера, 2005. — 1072 с.
13. Поляков А. Ю., Брусенцов В. А. Методы и алгоритмы компьютерной графики в примерах на Visual C++. — СПб.: БХВ-Петербург, 2003. — 560 с.
14. Abramowitz M., Stegun I. A. Handbook of Mathematical Function With Formulas, Graphs, and Mathematical Tables. — Washington.: United States Department оf Commerce, 1964. — 890 p.
15. CS465 Notes: Sampling and reconstruction Steve Marschner. Sept. 26, 2004. http://www.cs.duke. edu/courses/cps124/fall09/notes/12_curves/srm_ sampling.pdf (дата обращения: 15.10.2010).
16. ImageMagick v6 Examples — Resize or Scaling. http://www.imagemagick.org/Usage/resize/#mitchell (дата обращения: 15.10.2010)
17. Фильтры сглаживания. http://www.3dcenter.ru/ forum/lofiversion/index.php/t83974.html (дата обращения: 15.10.2010).
18. Передискретизация. http://ru.wikipedia.org/wiki/ %D0% 9F%D0%B5%D1% 80%D0%B5%D0%B4%D0 %B8% D1% 81% D0%BA% D1% 80%D0%B5% D1% 82 %D0%B8%D0% B7%D0% B0%D1% 86%D0%B8%D1 %8F (дата обращения: 15.10.2010).
19. BenVista, Products. http://www.benvista.com/ photozoompro (дата обращения: 15.10.2010).
20. Richard H. B., John C. B., Brian A. B. An Introduction to Splines for Use in Computer Graphics and Geometric Modeling. — Philadelphia: Morgan Kaufmann Publishers, 1987. — 12 p.
21. Ватолин Д., Путилин С. Оценка качества методов масштабирования изображений и результаты сравнений разных методов. http://www.graphicon.ru/ 2003/Proceedings/Technical_ru/paper776.pdf (дата обращения: 20.06.2009).
