CC BY
19
Способ управления качеством передачи мелких структур изображений
в стандарте JPEG2000
С.В. Сай 1, А.Г. Шоберг1 1 Тихоокеанский государственный университет, Хабаровск, Россия
Аннотация
В статье предлагается способ управления качеством передачи мелких структур изображений в стандарте JPEG2000 на основе автоматической регулировки параметров квантования коэффициентов дискретного вейвлет-преобразования. Описывается алгоритм настройки параметров шкалы квантования по субдиапазонам трансформации коэффициентов ДВП в зависимости от заданных (допустимых) искажений. Для объективной оценки качества изображений использованы числовые меры искажений мелких деталей в нормированной колометрической системе N-CIELAB, по которым выполняется анализ их структурных признаков. Приводятся результаты экспериментальных исследований анализа качества изображений и эффективности сжатия в зависимости от параметров квантования в разработанном адаптивном алгоритме сжатия. Также приводятся результаты оценки быстродействия алгоритма, которые могут быть использованы для практического применения в мультимедийных приложениях.
Ключевые слова: анализ изображения, метрика искажений, дискретное вейвлет-преобразование, квантование, JPEG2000.
Цитирование: Сай, С.В. Способ управления качеством передачи мелких структур изображений в стандарте JPEG2000 / С.В. Сай, А.Г. Шоберг // Компьютерная оптика. - 2020. -Т. 44, № 3. - С. 401-408. - DOI: 10.18287/2412-6179-C0-616.
Citation: Sai SV, Shoberg AG. Quality control method of the transmission of image small structures in the JPEG2000. Computer Optics 2020; 44(3): 401-408. DOI: 10.18287/2412-6179-C0-616.
Введение
В современных методах видеокомпрессии наибольшее применение имеют алгоритмы без адаптации к визуальному восприятию качества разных структур изображения. К таким методам относятся алгоритмы сжатия неподвижных изображений, реализованные в стандартах JPEG и JPEG2000. В системах цифрового телевидения H.264 (H.265), реализованных на основе стандартов MPEG, эти алгоритмы используются для компрессии опорных (I) кадров видеоряда.
Исследователи многих стран предлагают свои адаптивные алгоритмы [1-5] компрессии, основная цель которых заключается в повышении визуального качества изображений. Поиск компромиссных решений между качеством фото - и видеоизображений и степенью их компрессии до сих пор считается актуальной задачей.
В настоящее время существует множество методов анализа и метрик качества изображений. К традиционным метрикам относятся PSNR и MSE, к более сложным - метрики структурного подобия (SSIM) и мультимасштабная MSSIM [6]. Метод SSIM выполняет сравнение двух изображений и оценивает их изменения по яркости, контрасту и структуре [7]. Сравнение пикселей изображений выполняется с помощью окна, в котором оценивается качество изображения, выраженное величиной средней разности (DMOS). Этот метод более популярен, чем PSNR
и МЕЕ, т.к. он более информативен и ближе к зрительному восприятию различий между изображениями [7]. В [8] предлагается использовать метрику оценки искажений структур изображения в нормированной системе М-СГЕЬАБ, что, по мнению автора, позволяет приблизить объективные результаты анализа качества к субъективным зрительным оценкам.
В статье предлагается способ управления качеством передачи мелких структур изображений в стандарте JPEG2000 на основе автоматической регулировки параметров квантования коэффициентов дискретного вейвлет-преобразования (ДВП), позволяющий повысить эффективность сжатия с допустимыми (минимальными) визуальными искажениями по разработанным критериям в нормированной системе N С1ЕЬАБ.
1. Особенности алгоритма 1РБС2000
Рассмотрим особенности алгоритма сжатия изображений в стандарте JPEG2000. В кодере выполняются следующие основные процедуры: а) преобразование цифровых Л05-сигналов исходного файла изображения в сигналы УУП; б) выполнение вейвлет-преобразования для каждой из 7Ки-компонент изображения; в) квантование коэффициентов ДВП и обнуление малозначащих коэффициентов; г) кодирование битовых плоскостей и арифметическое сжатие.
Преобразование сигналов основных цветов в цифровые сигналы яркости (У) и цветности (и, V) для
вещественного режима выполняется следующим способом [9]:
Y = 0,299R + 0,587G + 0,1145;
U = -0,16875R - 0,33125G + 0,55;
V = 0,5R - 0,41869G - 0,081315.
(1)
Дискретное вейвлет-преобразование одномерного сигнала & длиной N можно выполнить по следующим формулам [9]:
Sj,k Sj-1,nhn-2k ; Sf,k Sj-1,ngn
(2)
где n - номера отсчётов исходного дискретного сигнала; k - номера коэффициентов ДВП преобразованного сигнала в диапазоне от 0 до (N- 1)/2; j - номер итерации, изменяющийся от 1 до заданного значения J; hn - низкочастотные коэффициенты и gn - высокочастотные коэффициенты импульсной характеристики симметричного биортогонального фильтра. В стандарте JPEG2000 рекомендовано [10] использование симметричного биортогонального фильтра Ко-эна-Добеши-Фово (CDF 9/7).
Из преобразования (2) следует, что коэффициенты ДВП SL представляют собой низкочастотные составляющие, а S H - высокочастотные составляющие исходного дискретного сигнала. При этом за счёт сдвига импульсной характеристики на 2k в результате преобразования получаем две составляющие длиной N/2. Таким образом, в результате первой итерации (j = 1) имеем масштабированную (уменьшенную) в два раза копию (SL) исходного сигнала и его дополнение (SH) в виде высокочастотной составляющей. На следующей итерации (j = 2) процесс повторяется, где исходным сигналом будет низкочастотная составляющая, полученная после первой итерации. После выполнения всех итераций получим масштабированную (уменьшенную) копию исходного сигнала в 2J раза и J дополнительных высокочастотных составляющих.
Обратное преобразование и восстановление исходного сигнала выполняется итерационно по следующей формуле:
( N/2 j )-1 ( N/2 j )-1
Sj-1, n = ^ Sj,khn+2 k + ^ SH,kS k=0 k=0
n+ 2 k ?
(3)
где у изменяется от максимального значения (I) до единицы.
Для двумерного сигнала изображения вейвлет-преобразование выполняется следующим образом. На первой итерации преобразование (2) выполняется последовательно по строкам и столбцам, после чего формируются четыре матрицы (ЬЬ, ЬИ, ИЬ, НН) коэффициентов ДВП с размерами, в два раза меньшими ширины и высоты изображения. Принятые обозначения матриц следующие: ЬЬ - низкочастотная фильтрация по строкам и столбцам; ЬИ - низкочастотная
фильтрация по строкам и высокочастотная по столбцам; ИЬ - высокочастотная фильтрация по строкам и низкочастотная по столбцам; ИИ - высокочастотная фильтрация по строкам и столбцам. На второй итерации выполняется аналогичное преобразование для ЬЬ матрицы и т.д. Обычно достаточно 4-6 итераций. Такой процесс преобразований эквивалентен операции фильтрации сигналов изображения по частотным субдиапазонам для каждой итерации у.
После выполнения преобразования коэффициенты ДВП квантуются и преобразуются в целочисленные значения, где для каждого субдиапазона итерации у выбирается свой постоянный коэффициент Д (шаг квантования), на который делятся все элементы матрицы.
Процесс квантования коэффициентов ДВП для каждой итерации (у) можно описать следующими формулами:
SHH =
SHH
Tf
SLH =
SLH
If
SHL =
SHL
Tf
(4)
где Sj - исходное значение коэффициента; S j - квантованное значение. Операция L...J означает округление вниз до ближайшего целого. Исключение составляет отрезок «мёртвой зоны» около нуля, в которой квантованные вещественные коэффициенты обнуляются с помощью условия:
if |S/д|< 1; S = 0; else S = S.
Отметим, что для самого низкочастотного субдиапазона шаг квантования выбирается равным единице (ДjL = 1). Значения коэффициентов TJH , ДjH и ДjL образуют шкалу квантования. Коэффициенты квантования рекомендованы стандартом и имеют более высокие значения для матриц HH, что обусловлено спадом пространственно-частотной характеристики зрения в области верхних частот.
В стандарте [10] рекомендовано оптимальное соотношение параметров квантования для разных субдиапазонов:
(5)
где уь оценивается среднеквадратичной величиной искажения, которое вносится в изображение при единичном искажении коэффициента из субдиапазона ь. Эта величина может быть определена на основании анализа вейвлет-преобразования «CDF 9/7». Из таблицы значений соотношения шагов квантования (5), представленной в работе [11], следует, что соотношение шагов квантования для соседних субдиапазонов приблизительно равно двум. В табл. 1 в качестве примера приведена шкала квантования для пяти итераций при заданном шаге для высокочастотного диапазона: ДНН = 32.
Табл. 1. Шкала квантования коэффициентов ДВП
J Д HH Д LH Дн&
1 32 16 16
2 16 8 8
3 8 4 4
4 4 2 2
5 2 1 1
Процесс квантования и обнуления коэффициентов ДВП позволяет эффективно сжимать изображения с помощью алгоритма арифметического сжатия или на основе других алгоритмов. В то же время этот процесс вносит основные потери качества в декодированное изображение. Изменение коэффициентов квантования с помощью параметра качества 0> позволяет регулировать качество изображения и, следовательно, скорость цифрового потока сжатых визуальных данных.
На последнем этапе выполняется арифметическое сжатие [9] квантованных коэффициентов ДВП. С этой целью матрица коэффициентов разбивается на одинаковые блоки (тайлы), по умолчанию размером 64 х 64. Далее каждый блок кодируется независимо от других. В процессе кодирования коэффициенты в блоке представляются в виде битовых плоскостей. Одну из таких плоскостей составляют знаки коэффициентов. Остальные плоскости соответствуют различным разрядам величин коэффициентов (положение бита в плоскости соответствует положению коэффициента в блоке). При этом сначала кодируется плоскость, соответствующая старшему разряду коэффициентов, затем следующая по убыванию, и т.д. Кодирование одной битовой плоскости одного блока осуществляется в три этапа: кодирование старших бит; уточняющий проход; очищающий проход. Для каждого прохода используется бинарное адаптивное арифметическое кодирование и контекстное моделирование.
При разработке адаптивного алгоритма квантования исследователи обычно предлагают свою шкалу коэффициентов квантования, которая, по их мнению, должна повысить качество изображения. В некоторых работах предлагается использовать разные материнские вейвлеты в зависимости от номера субдиапазона [1, 4]. Анализ современного состояния исследований в данной области показывает, что авторы обычно оценивают качество изображения для разных параметров квантователя с помощью интегральных метрик, таких как Р8Ж, М8Е, 881М и др. [12]. К недостатку таких оценок относится то, что эти метрики не учитывают изменений зрительного восприятия цветовых различий и, следовательно, искажений отдельных участков изображения в зависимости от их цвета, контраста и детальности.
2. Оценка искажений в системе М-СШЬЛБ
Идея предлагаемого способа настройки параметров квантования заключается в использовании объек-
тивных критериев оценки искажений мелких структур изображения, которые отличаются по признакам их детальности и по степени заметности искажений цветового контраста выделенных объектов. В качестве критериев предложено использовать числовые меры искажений мелких структур декодированного изображения в нормированной колометрической системе М-СГЕЬЛВ [8], по которым выполняется анализ искажений (разрушений) их структурных признаков.
Описание системы Ы-С1ЕЬАБ
Колометрическая система СГЕЬЛБ относится к классу равноконтрастных систем [13] и широко используется для оценки цветовых различий и точности цветопередачи крупных деталей изображения. С уменьшением размеров деталей свойство равнокон-трастности СГЕЬЛБ теряется, т.к. в системе не учитывается спад контрастной чувствительности зрения. Суть нормировки и переход в систему М-С1ЕЬЛБ заключается во введении в формулу оценки цветовых различий (контраста) между двумя деталями изображения (1 и 2) весовых коэффициентов по координатам светлоты Ь* и цветности а*, Ь*:
K =
L1 L2 L5
a, - a2
J ь* - b* I b*
(6)
где (Z'aibi) - цветовые координаты первой детали и (L*2a*2b*2) - цветовые координаты второй детали; L*5, a*5 и Ь5 - весовые коэффициенты по светлоте и цветности, заданные количеством минимальных цветовых порогов MPCD в зависимости от размера (5) детали.
Цветовые координаты L*a*b* для каждого пикселя изображения получены с помощью преобразования основных цветов (RGB) в цветовое пространство (XYZ), а затем с помощью формул [13]:
L* = 116 f (Y / Yo) -16;
a* = 500 [f (X / X0) - f (Y / Yo)];
b* = 200[f (Y/Yo) + f (Z /Z0)];
(7)
где
f (t) =
t1/3, if t > 0,008856,
7,7871 + 0,13793, if t < 0,008856,
и значения Х0, У0 и Х0 являются координатами эталонного белого цвета.
Весовые коэффициенты получены экспериментальным путём раздельно для трёх цветовых координат Ь*, а* и Ь* в зависимости от размера одиночной детали в 1, 2, 3, 4 и более пикселей, расположенных на равномерном фоне. В частности, для самых мелких деталей эти значения равны: Ь* и 6 , а*1 и 40 и Ь* и 55 [14].
Использование весовых коэффициентов позволяет оценивать цветовой контраст деталей в системе
М-С1ЕЬАВ в зависимости от их размера с учётом контрастной чувствительности зрения. Экспериментально доказано, что при пороговом значении цветового контраста К ~ 1 мелкие детали начинают различаться глазом, и этот порог мало зависит от цвета детали и яркости окружающего фона.
Способ оценки искажений можно разделить на два этапа. На первом этапе выполняется алгоритм идентификации мелких структур оригинального изображения, который основан на результатах анализа структуры микроблоков с размером 3*3 пикселя. Для такого микроблока имеем шесть цветовых переходов по горизонтали и шесть цветовых переходов по вертикали, т.е. всего 12 переходов.
Мелкие структуры в микроблоке можно разделить на следующие типы: точечные объекты, фрагменты тонких линий, фрагменты контуров, фрагменты текстур. Максимальное количество цветовых переходов („) между соседними пикселями внутри микроблока будет равно „ = 12 (фрагмент текстуры). Минимальное количество цветовых переходов равно „ = 2.
Идентификация микроблока выполняется по следующему алгоритму. В каждом микроблоке т вычисляются двенадцать значений контраста между соседними пикселями:
K =
TLm,,
l;
Tam, p
(ДС, p
l b
(8)
Tamp> и ДЬ*т,Р определяют кон-
где значения АСт, траст между соседними пикселями по светлоте и по цветности для цветового перехода с номером р. На каждом шаге вычислений (8) проверяем условие
Km,p > 1 ,
(9)
при выполнении которого принимаем решение о том, что изменение контраста между соседними пикселями заметно глазом, и увеличиваем значение счетчика („) обнаруженных цветовых переходов на единицу. После анализа всех цветовых переходов в микроблоке выполняем его идентификацию по следующему критерию.
Если количество переходов с цветовым контрастом (9) превышает значение „ = 1, то в микроблоке присутствует мелкая структура, различимая глазом. Если данное условие не выполняется, то мелкая структура не различается глазом.
После анализа всего изображения получим выделенные участки изображения с различимыми мелкими структурами в виде микроблоков с размерами 3 * 3 пикселя. Количество таких микроблоков обозначим Nm. Остальные участки классифицируем как микроблоки с равномерными изменениями цветовых координат и обозначаем их количество символом NF. По значению Nm можно определить уровень детальности изображения, который показывает процент участков изображения с мелкими структурами
FDL =■
Nm
(Nm + Nf )
-100%.
(10)
На втором этапе оцениваются искажения компрессированного изображения. Для оценки искажений в выделенных участках с мелкими структурами предлагается следующая методика [8]. В каждом идентифицированном микроблоке т вычисляем 12 отклонений контраста между цветовыми переходами оригинально-
го Kmp и искажённого Km,p изображений
dEm,p -Km,p Km,p I
и находим максимальное отклонение
dEm = max(dEm, p).
(11)
Далее проверяем условие dEm > 0,5 .
(12)
Если условие (12) выполняется [8], то принимается решение о том, что отклонения цветового контраста в микроблоке т заметны глазом и такой блок идентифицируется как искажённый т .
После анализа всех микроблоков получим объективную оценку искажений в виде отношения:
N-
е = 100%,
Nm
(13)
где значение N¡1, определяет количество искажённых микроблоков.
После вычислений значения е выполняем анализ качества компрессированного изображения по следующему критерию:
е < 1%. (14)
В результате экспериментальных исследований (см. раздел 4) доказано, что при выполнении этого условия искажения мелких структур практически незаметны для глаза.
Дополнительно можно использовать среднюю оценку искажений по всем микроблокам с мелкими структурами:
1
dEw =-Т dE,
N
(15)
которая соответствует метрике MFSD (Metric of Fine StructuresDistortion) [8].
Таким образом, на основе метрики MFSD мы предлагаем новый критерий (14) оценки качества изображений.
3. Алгоритм адаптивного квантования
В качестве основы шкалы квантования выбрано оптимальное соотношение параметров квантования для субдиапазонов в соответствии с критерием (5) и табл. 1.
Регулировка качества передачи изображения заключается в автоматической настройке параметра квантования AfH на допустимые искажения в соответствии с критерием (14). По умолчанию выбрано начальное значение ДНЯ = 32. В процессе настройки этот параметр изменяется дискретно на заданный шаг регулировки ± а, пока не будет выполнено условие (14).
Таким образом, мы используем классическую систему автоматического регулирования по заданному критерию.
Основная задача исследований - это выбор оптимального значения шага а с целью минимизации вычислительных затрат при условии обеспечения заданного качества изображений.
Для решения этой задачи реализован программный модуль в среде С++, выполняющий следующие функции:
1. Открытие тестового изображения и линейное преобразование цифровых сигналов оригинального изображения из RGB - в YUV- формат.
2. Преобразование цифровых сигналов оригинального изображения из RGB - в L*a*b*- формат.
3. Идентификация микроблоков (3 х 3) оригинального изображения с мелкими структурами.
4. Выполнение прямого ДВП для составляющей яркости (Y) и для составляющих цветности (U и V) с заданным количеством итераций J = 5.
5. Квантование коэффициентов ДВП, где на первом шаге использованы параметры квантования по умолчанию (табл. 1).
6. Выполнение обратного квантования и обратного ДВП с преобразованием цифровых сигналов изображения из YUV - в L*a*b*- формат.
7. Вычисление параметра искажений в.
8. Проверка качества декодированного изображения и настройка оптимального параметра Д™ :
а) При выполнении критерия (14) увеличиваем Дня на шаг а и выполняем п. 5-7 до тех пор, пока в не станет больше 1 %. Фиксируем оптимальное значение ДНН = Д™ - а;
б) При невыполнении (14) уменьшаем Днн на шаг а и выполняем п. 5 -7 до тех пор, пока в не станет меньше 1%. Фиксируем оптимальное значение ДНН = Д™ - а.
9. Сжатие квантованных коэффициентов ДВП на основе модифицированного алгоритма кодирования длин серий нулей [15] с переменной длиной кода. Таким образом, после выполнения алгоритма мы
получим оптимальное значение Днн для анализируемого изображения, при котором будет обеспечиваться его высокое качество. Это значение можно передать в заголовке файла или кадра видеоданных с целью обратного квантования и декодирования.
К особенностям реализации разработанного алгоритма относится следующее: в качестве материнского вейвлета выбран CDF 9/7; ширина «мёртвой» зоны
квантования равна нулю; для каждого квантованного коэффициента ДВП (4) использовано 12 бит, включая один знаковый разряд.
Алгоритм сжатия в отличие от стандартного алгоритма [9] выполнен по упрощённой схеме. Размер тайла соответствует размеру изображения. В процессе сжатия последовательно по субдиапазонам каждый коэффициент ДВП проверяется на выполнение условия Sj = 0 . Если это условие выполняется, вычисляется длина серии нулей. Если не выполняется, то кодируется ненулевой коэффициент. Серии нулей и ненулевые коэффициенты кодируются кодами переменной длины в соответствии с кодовой таблицей. В таблице [15] содержатся 4 префикса длин кода серий и 5 префиксов ненулевых коэффициентов. Каждый префикс соответствует заданной разрядности длины кодов и определяет их динамический диапазон. Отметим, что параметры таблицы выбраны на основе анализа статистики коэффициентов ДВП фотореалистичных изображений.
В результате экспериментов получено, что эффективность сжатия нашего алгоритма практически не уступает стандартному алгоритму сжатия JPEG2000, реализованному в приложении Adobe Photoshop CS6.
4. Результаты экспериментов
Для получения оптимального значения а был выполнен анализ качества оригинальных фотореалистичных изображений из базы данных [16] лаборатории LIVE, а также из других баз данных.
На рис. 1 показаны примеры тестовых изображений: «Женщина в шляпе» (Woman_hat), «Байкеры» (Bikes) и «Попугаи» (Parrots). В табл. 2 приведены результаты их анализа.
Рис. 1. Примеры тестовых изображений из базы данных лаборатории LIVE
Для каждого изображения приведён уровень детальности (FDL), который показывает процент участков изображения с мелкими структурам и. Серым цветом выделен оптимальный параметр Днн , при котором выполняется критерий (14). Для сравнения приведена оценка искажений по метрике SSIM.
Табл. 2. Зависимости искажений тестовых изображений от параметров квантователя
В результате анализа более ста оригинальных изображений из разных баз данных получены следующие результаты.
1. Для большинства тестируемых изображений с уровнем детальности ЕБЬ < 50 % высокое качество обеспечивается при значении параметра А™ < 32. При этом средняя оценка искажений (15) не превышает значения 0,25.
2. Для настройки оптимального значения А™ оптимальным шагом регулировки будет значение ст = + 4. В этом случае достаточно выполнить одну итерацию изменения параметра А™ .
3. Оценка искажений по метрике 88ГМ не дает однозначного решения. В частности, если для обеспечения высокого качества выбрать условие 881М > 0,98, то для изображений с высокой детальностью и контрастностью (пример «Байкеры») значение А™ может превышать начальное значение А™ почти в два раза.
Отметим, что при настройке параметров квантования на оптимальные значения качество остальных участков изображения соответствует высокой
оценке по критерию незаметности цветовых различий:
dEF = N-XdEk <2,3, (16)
NF k =1
где значение
dEk = 9XV^ - L-ki )2 + (a*,/ - a*,; )2 + (b*, - bih )2 9 i=1
оценивает среднее отклонение цветовых координат оригинального и искажённого изображения в системе CIELAB внутри микроблока (k), в котором отсутствуют различимые глазом мелкие структуры; i - номер пикселей в микроблоке (3 х 3). Выражение (16) даёт среднюю оценку по всем «фоновым» микроблокам NF.
5. Оценка быстродействия алгоритма
При реализации адаптивного алгоритма сжатия в мультимедийных приложениях необходимо оценить его быстродействие. Время выполнения алгоритма можно оценить количеством вычислительных операций (КВО), которое требуется для выполнения п. 1 -8. К таким операциям относятся математические операции сложения, вычитания, умножения, деления, возведения в степень, а также логические операции.
Наша задача - это оценка дополнительных вычислительных затрат, которые потребуются для адаптивной настройки квантователя. Поэтому ниже приводятся результаты поэтапных вычислений КВО.
Введём следующие обозначения операций: (+) сложение или вычитание, (х) умножение, (/) деление, (Л) возведение в степень, (!=) проверка условия завершения цикла, (>) проверка логических условий.
На первом этапе оценим приблизительное значение КВО, необходимое для кодирования изображения (п. 1 и п. 4-5) без учёта алгоритмов адаптивной настройки квантователя и сжатия.
Пункт 1: преобразование RGB в YUV. Из формулы (1) следует, что для преобразования одного пикселя изображения потребуется 16 операций:
КВО; = [9(х) + 6(+) + 1(! =)] = 16.
Пункт 4: прямое ДВП. На первой итерации с учётом использования вейвлета CDF 9 / 7 получим, что для одного коэффициента ДВП для каждой составляющей по яркости и по цветности потребуется 68 операций:
2[9(х) + 9(+) +1(!=) + 7(х) + 7(+) + 1(!=)].
Здесь согласно формуле (2) учитывались 9 операций умножения и 9 сложения для НЧ составляющей и 14 операций для ВЧ составляющей при выполнении преобразования по строкам и то же количество при выполнении преобразования по столбцам. Также для каждого вычисления учтена операция проверки условия завершения цикла. Для всего изображения получим 68 -Im операций, где Im - это размер изображения в пикселях. На второй итерации 68 (Im /4), на третьей 68(Im /8) и т.д. В итоге, для пяти итераций для вычисления одного коэффициента ДВП по каждой состав-
Женщина в шляпе (FDL=21 %)
ДНН 8, % dEN how. SSIM
20 0,0 0,147 5,9 0,989
24 0,0 0,172 6,6 0,987
28 0,1 0,197 7,3 0,984
32 0,3 0,222 8,0 0,982
36 1,3 0,248 8,7 0,979
40 3,3 0,272 9,3 0,977
44 6,1 0,296 10,0 0,975
Байкеры (FDL=56 %)
ДНН 8, % dEN Асж SSIM
20 0,0 0,173 4,2 0,995
24 0,0 0,201 4,6 0,994
28 0,2 0,231 5,0 0,993
32 1,2 0,261 5,3 0,992
36 3,8 0,290 5,7 0,990
40 7,9 0,319 6,0 0,989
44 13,8 0,348 6,3 0,988
Попугаи (FDL=9%)
ДНН 8, % dEN Асж SSIM
20 0,0 0,153 8,2 0,987
24 0,0 0,180 9,4 0,985
28 0,0 0,203 10,7 0,983
32 0,3 0,225 12,0 0,981
36 1,2 0,250 13,3 0,979
40 3,2 0,274 14,7 0,977
44 6,8 0,299 16,1 0,976
ляющей имеем КВО = 100. Для всех тех составляющих получим КВО4 = 300.
Пункт 5: квантование коэффициентов ДВП. Из формулы (4) следует, что для одного коэффициента ДВП потребуется всего 3 операции: 2(/) + 1(!=). В этом пункте мы учитываем, что операции деления и округления оцениваются числом 2. Суммарное количество операций будет равно КВО5 = 9.
В итоге получим, что для выполнения кодирования потребуется 325 операций (КВО145) на один пиксель исходного изображения. Так как алгоритм симметричен, то на обратное декодирование и преобразование потребуется то же значение КВО.
При использовании адаптивного квантования для одного шага настройки необходимо выполнить пункты 2-3 и 5-8. Для этого потребуется следующее количество операций.
Пункт 2: преобразование цифровых сигналов оригинального изображения из RGB - в L*a*b*- формат. Для линейного преобразования RGB в XYZ потребуется аналогично (1) 16 операций. На выполнение преобразования (7) получим
5[(/) + (>) +(Л)] + 3[(+) + (х)] + 1(!=)
операций. В итоге имеем КВО2 = 38.
Пункт 3: идентификация микроблоков (3х3) оригинального изображения с мелкими структурами. Для расчётов использованы формулы (8) и (9), на основании которых получено, что вычисление контраста для каждого цветового перехода потребует 10 операций: 3(/) + 2(+) + 4(Л) + 1(>). Для двенадцати переходов, с учётом проверки окончания цикла, получим 121 операцию, что в пересчёте на один пиксель даёт значение КВО3 ~ 13.
Пункт 6: выполнение обратного квантования и обратного ДВП с преобразованием цифровых сигналов изображения из YUV- в L*a*b*- формат. В результате получим КВОб ~ КВО5 + КВО4 + КВО2 = 347.
Пункт 7: вычисление параметра искажений в. Из формул (11) и (12) с учётом (8) следует, что для анализа каждого идентифицированного микроблока (3 х 3) потребуется 158 операций, что в пересчёте на один пиксель даёт значение 18. Так как количество микроблоков определяется уровнем FDL, то общее количество операций можно оценить, как КВО7 ~ 18(FDL/100).
Пункт 8: настройка квантователя. Для выполнения этого пункта потребуется следующее количество операций
КВО8 = La [КВО5 + КВОб + КВО7],
где La - количество шагов настройки. Для численной оценки выберем параметр FDL = 50, что даёт КВО8 = 365 La.
В итоге, общее количество операций на один пиксель изображения, необходимое для выполнения адаптивного алгоритма, равно:
КВО1 - 8 ~ 325 + 407 + 365 La,
где первое слагаемое определяет количество операций без адаптивной настройки квантователя. Для одного шага настройки La = 1 получим КВО1-8 ~ 1097, что примерно в 3 раза превышает КВО неадаптивного алгоритма.
Отметим, что расчёты выполнены без учёта оптимизации алгоритма [17] и кода программы с целью минимизации вычислительных затрат.
Реальное время выполнения алгоритма зависит от многих факторов, в первую очередь, от архитектуры и производительности микропроцессорной системы.
В качестве примера выполним расчёт КВО, необходимое для кодирования изображения в ТВ -формате с количеством пикселей
Im = 720x576 = 414720 и La = 1.
В результате получим: КВО1-8 ~ 455 •106. Используем процессор Intel Core 2 Quad Q6600 [18] с пиковой производительностью 38,4 Гигафлопс. Время выполнения адаптивного алгоритма будет равно t ~ 12 мс.
Таким образом, использование адаптивной настройки увеличивает время выполнения алгоритма кодирования примерно в три раза. При этом быстродействие алгоритма декодирования не изменяется.
Заключение
В заключение отметим отличительные особенности предложенного способа управления качеством передачи мелких структур изображений.
Анализ качества изображений и настройка квантователя выполняются не по интегральным оценкам (SSIM, PSNR и др.), а по критерию (14), определяющему допустимые визуальные искажения выделенных участков с мелкими структурами в системе N-CIELAB. При этом искажения оцениваются относительным количеством микроблоков (3 x 3), в которых максимальное отклонение контраста превышает зрительный порог.
С помощью разработанной программной модели кодера JPEG2000 экспериментально определён начальный параметр квантования Л™ = 32 и оптимальный шаг регулировки s = +4, при которых выполняется адаптивное квантование и настройка изображения на высокое качество передачи мелких структур с минимальными вычислительными затратами алгоритма кодирования.
К перспективным исследованиям относится внедрение и анализ эффективности разработанного алгоритма в мультимедийных системах передачи видеоданных на основе стандартов MPEG-2 и MPEG-4.
Литература
1. Liu, G. A novel direction adaptive wavelet based image
compression / G. Liu, X. Zeng, F. Tian, K. Chaibou,
Z. Zheng // AEU - International Journal of Electronics and
Communications. - 2010. - Vol. 64, Issue 6. - P. 531-539.
2. Al-Azawi, S. Image compression algorithms using intensity based adaptive quantization coding / S. Al-Azawi, S. Boussakta, A. Yakovlev // American Journal of Engineering and Applied Sciences. - 2014. - Vol. 4, Issue 4. - P. 504-512.
3. Chen, P.-Y. An adaptive quantization scheme for 2-D DWT coefficients / P.-Y. Chen, J.-Y. Chang // International Journal of Applied Science and Engineering. - 2013. - Vol. 11, Issue 1. - P. 85-100.
4. Дворкович, В.П. Расчёт банков фильтров дискретного вейвлет-преобразования и анализ их характеристик /
B.П. Дворкович, А.В. Дворкович // Цифровая обработка сигналов. - 2006. - № 2. - С. 2-10.
5. Умняшкин, С. В. Cжатие изображений на основе блочной декомпозиции в области пакетного вейвлет-преобразования / С.В. Умняшкин, Р.Р. Гизятулин // Цифровая обработка сигналов. - 2014. - № 1. - С. 46-51.
6. Lin, W. Perceptual visual quality metrics: A survey / W. Lin, C.-C.J. Kuo // Visual Communication and Image Representation. - 2011. - Vol. 22, Issue 4. - P. 297-312.
7. Bovik, A. No-reference image quality assessment in the spatial domain / A. Bovik, A. Mittal // IEEE Transactions on Image Processing. - 2012. - Vol. 21, Issue 12. - P. 4695-4708.
8. Сай, С.В. Метрика искажений мелких структур компрессированных изображений // Компьютерная оптика. - 2018. - Т. 42, № 5. - С. 829-837. - DOI: 10.18287/24126179-2018-42-5-829-837.
9. Стандарт JPEG2000: базовые алгоритмы, примеры реализации и перспективы применения / С.Н. Дроздов, А. А. Жиглатый, П.П. Кравченко, В.Н. Лутай,
C.Н. Скороход, Н.Ш. Хусаинов. - Ростов-на-Дону: Изд-во ЮФУ, 2014. - 255 с.
10. Taubman, D. JPEG2000 image compression fundamentals, standard and practice / D. Taubman, M.B Marcellin // Kluver Academic Publishers, 2002. - 779 p.
11. Balster, E.J. Post-compression rate-distortion development for embedded block coding with optimal truncation in JPEG2000 imagery / E.J. Balster, B.T. Fortener, W.F. Turri // International Journal of Image and Graphics. - 2011. -Vol. 11, Issue 4. - P. 611-627.
12. Кольцов, П.П. О количественной оценке эффективности алгоритмов анализа изображений / П. П. Кольцов, А.С. Осипов, А.С. Куцаев, А.А. Кравченко, Н.В. Котович, А.В. Захаров // Компьютерная оптика. -2015. - Т. 39, № 4. - С. 542-556. - DOI: 10.18287/01342452-2015-39-4-542-556.
13. Fairchild, M.D. Color appearance models / M.D. Fairchild. - John Wiley and Sons, 2005. - 409 p.
14. Sai, S.V. Segmentation of fine details in the CIELAB / S.V. Sai, N.Yu. Sorokin, A.G. Shoberg // 24th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision (WSCG 2016). Short Papers Proceedings. - 2016. - P. 155-162.
15. Сай, С.В. Выбор коэффициентов порогового отбора для вейвлет-трансформант цветного изображения / С.В. Сай, И.В. Савенков // Информатика и системы управления. - 2001. - № 2. - С. 112-117.
16. Image & video quality assessment at LIVE // [Electronical Resource]. - URL: http://live.ece.utexas.edu/research/quality/ (request date 01.08.2018).
17. Мясников, В.В. Эффективные алгоритмы вычисления локального дискретного вейвлет-преобразования // Компьютерная оптика. - 2007. - Т. 31, № 4. - С. 86-94.
18. Экспорт метрик соответствия требованиям микропроцессоров Intel® // [Электронный ресурс]. - URL: https://www.intel.ru/content/www/ru/ru/support/articles/000 005755/processors.html (дата обращения 01.06.2019).
Сведения об авторах
Сай Сергей Владимирович, 1960 года рождения, в 1983 году окончил Томский институт автоматизированных систем управления и радиоэлектроники (ТИАСУР) по специальности «Радиоэлектронные устройства». Доктор технических наук, доцент, заведующий кафедрой вычислительной техники Тихоокеанского государственного университета (ТОГУ). Область научных интересов: анализ изображений и распознавание образов. E-mail: sai1111 @rambler.ru .
Шоберг Анатолий Германович, 1959 года рождения, в 1981 году окончил Дальневосточный политехнический институт по специальности «Автоматизированные системы управления». Кандидат технических наук, доцент кафедры вычислительной техники Тихоокеанского государственного университета (ТОГУ). Область научных интересов: анализ изображений на основе ортогональных и вейвлет-преобразований, распознавание образов. E-mail: [email protected] .
ГРНТИ: 28.23.15
Поступила в редакцию 9 августа 2019 г. Окончательный вариант - 22 октября 2019 г.
Quality control method of the transmission of fine image details
in the JPEG2000
S.V. Sai1, A.G. Shoberg1 1 Pacific National University, Khabarovsk, Russia
Abstract
The article proposes a method for controlling the transmission quality of fine image details in the JPEG2000 standard based on an automatic adjustment of the quantization parameters of discrete wavelet transform (DWT) coefficients. An algorithm for setting up quantization scale parameters for different transformation sub-ranges of the DWT coefficients depending on given (permissible) distortions is described. For an objective assessment of image quality, numerical measures of fine detail distortion in a normalized N-CIELAB colorimetric system are used, according to which an analysis of their structural features is performed. Results of the experimental studies of the analysis of image quality and compression efficiency depending on the quantization parameters utilized in the developed adaptive compression algorithm are presented. Results of evaluating the algorithm performance that can be used for practical applications in multimedia applications are also presented.
Keywords: image analysis, distortion metric, discrete wavelet transform, quantization, JPEG2000.
Citation: Sai SV, Shoberg AG. Quality control method of the transmission of fine image details in the JPEG2000. Computer Optics 2020; 44(3): 401-408. DOI: 10.18287/2412-6179-C0-616.
References
[1] Liu G, Zeng X, Tian F, Chaibou K, Zheng Z. A novel direction adaptive wavelet based image compression. AEU -Int J Electron Commun 2010; 64(6): 531-539.
[2] Al-Azawi S, Boussakta S, Yakovlev A. Image compression algorithms using intensity based adaptive quantization coding. Am J Engineer Appl Sci 2014; 4(4): 504512.
[3] Chen P-Y, Chang J-Y. An adaptive quantization scheme for 2-D DWT coefficients. Int J Appl Sci Eng 2013; 11(1): 85-100.
[4] Dvorkovich VP, Dvorkovich AV. Calculation of filter banks for discrete wavelet transform and analysis of their characteristics [In Russian]. Digital Signal Processing 2006; 2: 2-10.
[5] Umnyashkin SV, Gizyatulin RR. Compression of images based on block decomposition in the field of packet wavelet transform [In Russian]. Digital Signal Processing 2014; 1: 46-51.
[6] Lin W, Kuo C-CJ. Perceptual visual quality metrics: A survey. Visual Communication and Image Representation 2011; 22(4): 297-312.
[7] Bovik A, Mittal A. No-reference image quality assessment in the spatial domain. IEEE Trans Image Process 2012; 21(12): 4695-4708.
[8] Sai SV. Metric of fine structures distortions of compressed images. Computer Optics. 2018; 42(5): 829-837. DOI: 10.18287/2412-6179-2018-42-5-829-837.
[9] Drozdov SN, Zhiglaty AA, Kravchenko PP, Lutai VN, Skorokhod SN, Khusainov NS. JPEG2000 standard: basic algorithms, implementation examples, and applica-
tion prospects [In Russian]. Rostov-on-Don: Publishing House of SFU, 2014.
[10] Taubman D, Marcellin MD. JPEG2000 image compression fundamentals, standard and practice. Kluver Academic Publishers; 2002.
[11] Balster EJ, Fortener BT, Turri WF. Post-compression rate-distortion development for embedded block coding with optimal truncation in JPEG2000 imagery. International Journal of Image and Graphics 2011; 11(4): 611627.
[12] Koltsov PP, Osipov AS, Kutsaev AS, Kravchenko AA, Kotovich NV, Zakharov AB. On the quantitative performance evaluation of image analysis algorithms. Computer Optics 2015; 39(4): 542-556. DOI: 10.18287/01342452-2015-39-4-542-556.
[13] Fairchild MD. Color appearance models. John Wiley and Sons; 2005.
[14] Sai SV, Sorokin NYu, Shoberg AG. Segmentation of fine details in the CIELAB. 24th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision (WSCG) 2016: 155-162.
[15] Sai SV, Savenkov IV. Selection of threshold selection coefficients for color image wavelet transforms. Informatics and Control Systems 2001; 2: 112-117.
[16] Image & video quality assessment at LIVE. Source: (http://live.ece.utexas.edu/research/quality/).
[17] Myasnikov BB. Efficient algorithms for local discrete wavelet transform. Computer Optics 2007; 31(4): 86-94.
[18] Export compliance metrics for Intel® microprocessors. Source: (https://www.intel.com/content/www/us/en/suppor t/articles/000005755/processors.html).
Authors' information
Sergey Vladimirovich Sai, born in 1960, in 1983 graduated from the Tomsk Institute of Automated Control Systems and Radioelectronics (TIASUR), specializing in Radioelectronic Devices. Doctor of Technical Sciences, Professor, Head of Computing Technology department, Pacific National University (TOGU). Area of scientific interests: image analysis and pattern recognition. E-mail: [email protected] .
Anatoly Germanovich Schoberg, born in 1959, in 1981 he graduated from the Far Eastern Polytechnic Institute with a degree in Automated Control Systems. Candidate of Technical Sciences, Associate Professor, Computer Engineering department, Pacific State University (PNU). Research interests: image analysis based on orthogonal and wavelet transforms, pattern recognition. E-mail: [email protected] .
Received August 9, 2019. The final version - October 22, 2019.
