CC BY
43
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ январь-февраль 2015 Том 15 № 1 ISSN 2226-1494 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS January-February 2015 Vol. 15 No 1 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 004.627
ИССЛЕДОВАНИЕ МЕТОДОВ УСТРАНЕНИЯ БЛОКИНГ-ЭФФЕКТА ПУТЕМ ВНУТРИКАДРОВОЙ ИНТЕРПОЛЯЦИИ СЕГМЕНТОВ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ И.С. Рубина"
а Университет ИТМО, Санкт-Петербург, 197101, Россия Адрес для переписки: rubren@mail.ru Информация о статье
Поступила в редакцию 30.04.14, принята к печати 23.12.14 doi: 10.17586/2226-1494-2015-15-1-86-93 Язык статьи - русский
Ссылка для цитирования: Рубина И.С. Исследование методов устранения блокинг-эффекта путем внутрикадровой интерполяции сегментов видеопоследовательности // Научно-технический вестник информационных технологий, механики и оптики. 2015. Том 15. № 1. С. 86-93
Аннотация. Рассматриваются методы интерполяции изображений и возможность их применения в процессе сжатия видеоданных для устранения ряда артефактов, связанных как с динамическими свойствами объектов видеопоследовательности, так и с алгоритмами, используемыми в последовательности этапов кодирования. Основным недостатком существующих методов является высокая вычислительная сложность алгоритмов, неприемлемая при обработке видео. В ходе исследования предложено использование интерполяции отсчетов сигнала для устранения блокинг-эффекта на выходе блока кодирования преобразованием. Было необходимо разработать методы повышения степени сжатия и качества восстановленных видеоданных путем устранения блокинг-эффекта на границах сегментов путем внутрикадровой интерполяции сегментов видеопоследовательности. Сущностью разработанных методов является использование адаптивного рекурсивного алгоритма с адаптивным размером ядра интерполяции как с учетом градиента яркости на границах блоков и объектов видеопоследовательности, так и без него. В рамках теоретической части исследования использовались методы теории информации (RD-теории и устранения избыточности данных), методы распознавания образов и цифровой обработки сигналов, а также методы теории вероятностей. В рамках экспериментального исследования проведена программная реализация алгоритмов сжатия с последующим сравнением реализованных алгоритмов с уже существующими алгоритмами. Проведено сравнение предлагаемых алгоритмов с алгоритмом простого усреднения и адаптивным алгоритмом интерполяции центрального отсчета. Показано, что разработанный алгоритм интерполяции на основе адаптивного выбора размера ядра повышает степень сжатия на 30%, а модифицированный алгоритм интерполяции на основе адаптивного выбора размера ядра - на 35% по сравнению с существующими алгоритмами интерполяции; качество восстановленной видеопоследовательности улучшается на 3% по сравнению со сжатием без интерполяции. Результаты исследования найдут широкое применение в задачах обработки видеоданных, различных кодеках сжатия видео и системах потокового вещания.
Ключевые слова: интерполяция, адаптивный алгоритм, адаптивный размер ядра интерполяции, устранение бло-кинг-эффекта.
STUDY OF BLOCKING EFFECT ELIMINATION METHODS BY MEANS OF INTRAFRAME VIDEO SEQUENCE INTERPOLATION
I.S. Rubina"
а ITMO University, 197101, Saint Petersburg, Russia Corresponding author: rubren@mail.ru Article info
Received 30.04.14, accepted 23.12.14 doi: 10.17586/2226-1494-2015-15-1-86-93 Article in Russian
Reference for citation: Rubina I.S. Study of blocking effect elimination methods by means of intraframe video sequence interpolation.
Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, vol. 15, no. 1, pp. 86-93 (in Russian)
Abstract. The paper deals with image interpolation methods and their applicability to eliminate some of the artifacts related to both the dynamic properties of objects in video sequences and algorithms used in the order of encoding steps. The main drawback of existing methods is the high computational complexity, unacceptable in video processing. Interpolation of signal samples for blocking - effect elimination at the output of the convertion encoding is proposed as a part of the study. It was necessary to develop methods for improvement of compression ratio and quality of the reconstructed video data by blocking effect elimination on the borders of the segments by intraframe interpolating of video sequence segments. The main point of developed methods is an adaptive recursive algorithm application with adaptive-sized interpolation kernel both with and without
the brightness gradient consideration at the boundaries of objects and video sequence blocks. Within theoretical part of the research, methods of information theory (RD-theory and data redundancy elimination), methods of pattern recognition and digital signal processing, as well as methods of probability theory are used. Within experimental part of the research, software implementation of compression algorithms with subsequent comparison of the implemented algorithms with the existing ones was carried out. Proposed methods were compared with the simple averaging algorithm and the adaptive algorithm of central counting interpolation. The advantage of the algorithm based on the adaptive kernel size selection interpolation is in compression ratio increasing by 30%, and the advantage of the modified algorithm based on the adaptive interpolation kernel size selection is in the compression ratio increasing by 35% in comparison with existing algorithms, interpolation and quality of the reconstructed video sequence improving by 3% compared to the one compressed without interpolation. The findings will be widely used in video processing tasks, various codecs of video compression and streaming systems.
Keywords: interpolation, adaptive algorithm, variable size of interpolation kernel, blocking - effect elimination.
Введение
В процессе сжатия видеоданных чаще всего возникает ряд артефактов, связанных как с динамическими свойствами объектов видеопоследовательности [1], так и с используемыми алгоритмами в последовательности этапов кодирования. Среди них выделяют блокинг-эффект [2] или видимость границ блоков-сегментов, блеринг-эффект [3] или потеря четкости динамичных локальных областей, рингинг-эффект [4] или эффект Гиббса и пр. Предметом настоящего исследования явился блокинг-эффект, возникающий в ходе сжатия блочными алгоритмами кодирования преобразованием [5], такими как дискретное косинусное преобразование (ДКП), преобразование Карунена-Лоэва [6], дискретное преобразование Хартли [7, 8] и т.д. Несмотря на вносимые искажения, блочные алгоритмы обладают рядом достоинств [9], важнейшим из которых является низкое требование к объему памяти.
Интерполяция отсчетов сигнала обычно используется при сжатии изображений и применяется в рамках схемы интерполяция - вычисление разностного сигнала - квантование разностного сигнала.
Основным требованием к интерполятору является как можно более высокая точность при малой вычислительной сложности алгоритма [10]. Исходя из этого, для интерполяции, как правило, используют алгоритмы простого усреднения ближайших восстановленных отсчетов [11]. Необходимо отметить, что интерполяция может также использоваться для сжатия путем устранения пространственной избыточности [12], использующего подобие схожих пикселов видеокадра. Таким образом, целью настоящей работы является разработка метода повышения степени сжатия и качества восстановленных видеоданных путем устранения блокинг-эффекта на границах сегмента за счет внутрикадровой интерполяции сегментов видеопоследовательности.
В основе разработанного адаптивного алгоритма интерполяции отсчетов сигнала лежит подход, представленный в работе [11]. В данном подходе для определения значения центрального отсчета по четырем смежным опорным отсчетам используется одна из трех интерполирующих функций:
^ 12 1) [ f (2m,2n) + f (2m + 2,2n + 2)] f (2m + 1,2n + 1) =---,
1 [ f (2m,2n) + f (2m + 2,2n) + f (2m,2n + 2) + f (2m + 2,2n + 2)] f1 (2m + 1,2n +1) = —--4 --:-- ,
2(2 12 1) [ f (2m + 2,2n) + f (2m,2n + 2)] f (2m + 1,2n + 1) =--2- ,
где f1 - значение интерполированного отсчета с индексом решающего правила, а m и n - индексы отсчета. Графическое представление рассматриваемых интерполирующих функций представлено на рис. 1.
о o
c
o o
o o o
c
o o o
а б в
Рис. 1. Адаптивная интерполяция центрального отсчета, где о - опорные отсчеты, с - центральные
отсчеты, остальные - крайние отсчеты
Выбор функции в каждой точке изображения осуществляется на основе признака д(2да + 1,2n +1) =|f(2m,2n)-f(2m + 2,2n + 2)-|f(2m,2n + 2)-f(2m + 2,2n)| с помощью зависящего от параметров a 1 и а 2 решающего правила, которое в каждой точке изображения определяет номер используемой интерполирующей функции по значению этого признака:
0, д < ai f (2m + 1,2n + 1) = <¡1, ai < Д <a2.
2, д >a2
Слабым местом прямого использования данного подхода является то, что непосредственной обработке данных в нем предшествует трудоемкий процесс обучения (настройки решающего правила), который заключается в отыскании этих параметров. При этом выбор значений параметров решающего правила осуществляется, исходя из минимизации суммарной ошибки интерполяции, и формулируется в виде
У I/(m, n) - f (m, n)| ^ mm, (1)
I I a1,a2
(m,n)eI 1 2
где I - множество индексов опорных отсчетов, а t - индекс решающего правила.
С целью устранения данного недостатка, уменьшения блокинг-эффекта, а также в связи с особенностями обработки видеоданных на предшествующих интерполяции стадиях предварительной обработки и межкадрового/внутрикадрового предсказания на этапе компрессии и на стадии кодирования предсказанием на этапе декомпрессии разработанный адаптивный алгоритм интерполяции реализует следующие технические решения.
- Предложенный алгоритм интерполяции (рис. 2) на основе адаптивного размера ядра при размере блока M х N является рекурсивным алгоритмом и состоит из следующих этапов.
1. Пусть переменная a равна M, а переменная b равна N.
2. Пусть локальный адрес текущего отсчета (0,0).
3. Если текущий отсчет является не граничным и не крайним, то осуществить переход к п. 5.
4. Вычисление значения интерполируемого отсчета с использованием алгоритма «прямой крест» [11] и переход к п. 6.
5. Вычисление значения интерполируемого отсчета с индексом (a/2-1, b/2-1) в рамках адаптивного алгоритма интерполяции центрального отсчета.
6. Завершение алгоритма, если переменные a и b равны 2.
7. Присваивание a значения a/2, а b значения b/2.
8. Если a больше b, то осуществить переход к п. 11.
9. Если a меньше b, то осуществить переход к п. 12.
10. Для отсчетов с адресами (0,0), (0,b/2), (a/2,0), a/2,b/2) выполнить переход к п. 2.
11. Для отсчетов с адресами (0,0), (a/2,0) выполнить переход к п. 2.
12. Для отсчетов с адресами (0,0), (0,b/2) выполнить переход к п. 2.
- Используется адаптивный размер ядра интерполяции. Таким образом, для блоков различного размера, полученных на этапе оценки и компенсации движения [13, 14], применяются соответствующие ядра интерполяции, обеспечивающие совместимость при стыковке блоков различного размера.
- Предлагается передавать номер интерполирующей функции для каждого блока в виде 2-битного кода, определяемого на этапе кодирования путем минимизации суммарной ошибки интерполяции (1).
- Решающее правило интерполяции определяется в целом для блока в соответствии с критерием минимизации суммарной ошибки интерполяции и передается кодовым словом длиной 2 бита на блок.
- Интерполяционный остаток предлагается формировать только для опорных кадров, а для ссылочных кадров предлагается обращать все коэффициенты кроме опорных коэффициентов в нуль.
Принцип действия модифицированного алгоритма интерполяции «косой крест» (рис. 3) заключается в адаптивном средневзвешенном определении значения интерполированного отсчета по четырем смежным опорным отсчетам, в отличие от оригинального алгоритма интерполяции «косого креста» [11], где используется непосредственное усреднение опорных отсчетов. Использование непосредственного усреднения может приводить к получению значения интерполированного отсчета, значительно превосходящего значения интерполированных отсчетов по двум вариантам изменения интенсивности из шести (2 диагональных, горизонтальный, вертикальный, «прямой крест», «косой крест»), что представляет собой одно из проявлений артефактов сглаживания при устранении блокинг-эффекта.
Кроме того, в алгоритме интерполяции «косой крест» предполагается, что распределение значения интенсивности в окрестности интерполируемого отсчета обладает приблизительно одинаковым поведением, что в общем случае может быть верно для отсчетов, относящихся к какому-либо выделенному объекту сцены, но для границ объектов данное приближение будет приводить к взаимному влиянию одного объекта на другой и ухудшению общего восприятия границ объектов.
1
О о
О о
2
О о
С
О о
О о о
с' с
О с о
с' с
О о о
О о о о о
с" с" с" с"
О с о с о
с" с" с" с"
О о с о о
с" с" с" с"
О с о с о
с" с" с" с"
О о о о о
О о о о о о о о о
с" с" с" с" с" с" с" с"
О с" о с" о с" о с" о
с" с" с" с" с" с" с" с"
О о с о о о с о о
с" с" с" с" с" с" с" с"
О с" о с" о с" о с" о
с" с" с" с" с" с" с" с"
О о о о с о о о о
с" с" с" с" с" с" с" с"
О с" о с" о с" о с" о
с" с" с" с" с" с" с" с"
О о с о о о с о о
с" с" с" с" с" с" с" с"
О с" о с" о с" о с" о
с" с" с" с" с" с" с" с"
О о о о о о о о о
Рис. 2. Ядра интерполяции алгоритма с адаптивным размером ядра: 1 - 2*2, 2 - 4*4, 3 - 8x8, 4 - 16*16, 5 - 32*32, о - опорный отсчет, а с, с', с", с'"- рекурсивно вычисляемые значения интерполированных
отсчетов
3
5
4
О О / ■
\с_/
/XV
О С О Б
Рис. 3. Модифицированный алгоритм интерполяции центрального отсчета «косой крест», где о - опорные
отсчеты (А, В, С, й), а с - интерполируемый отсчет (Х)
С целью уменьшения проявлений блокинг-эффекта при вычислении значения интерполируемого отсчета необходимо учитывать величину перепада интенсивностей как на стыке объектов, так и вдоль границы объектов
С + Б „ А + В „ ] е{А,В,С,Б}'+1
3|Е
А + В + С + Б
= X:
X -
X -
>>
X —
(2)
Предлагаемый модифицированный алгоритм «косого креста», пытающийся учесть перепад интенсивностей по всем направлениям, можно записать следующим образом:
^ . А + С В + Б X = к х-+ (1 - к) х-
(3)
где
У2 = 0 ^ к = 1
v2 ф 0^к =-
где
А + В = 0 ^ V = 0
И - В|
А + В ф 0^V =■!
А + В
С + Б = 0 ^ у2 = 0
С - Б
С + Б ф0^V, =■!--
2 С + Б
Покажем, что артефакты сглаживания (2) при подавлении блокинг-эффекта в алгоритме интерполяции «косой крест» устраняются в разработанном модифицированном алгоритме «косого креста» (3). Допустим, опорные отсчеты имеют следующие значения: А=20, В=22, С=2, а Б=8. Тогда для алгоритма «косого креста» получим X=13, которое больше, чем (С+Б)/2=5, на 8 и меньше, чем (А+В)/2=21, тоже на 8. При этом по остальным четырем направлениям изменения интенсивности значения X отличаются не
больше, чем на 2 единицы. Исходя из формулы модифицированного алгоритма «косого креста» (3), мы получим значениеХ=14,68, которое теперь больше, чем (C+D)/2=5, на 9,68 и меньше, чем (A+B)/2=21, на 6,32. Таким образом, вместо приближения по четырем вариантам изменения интенсивности из шести мы получили один из способов приближения по пяти вариантам изменения интенсивности из шести, что позволяет уменьшить видимые артефакты сглаживания при устранении блокинг-эффекта на границах объектов без увеличения суммарной ошибки интерполяции (1).
На рис. 4 представлено увеличенное тестовое изображение «Лена» в случае использования алгоритма интерполяции «косого креста» (рис. 4, а) и разработанного модифицированного алгоритма «косого креста» (рис. 4, б). В ходе исследования выявлено сокращение видимых проявлений артефактов сглаживания при устранении блокинг-эффекта при применении модифицированного алгоритма «косого креста» для ряда тестовых изображений. В связи с этим было предложено использовать данный модифицированный алгоритм в адаптивном алгоритме интерполяции центрального отсчета на пятом этапе предложенного алгоритма интерполяции на основе адаптивного размера ядра (модифицированный алгоритм с адаптивным размером ядра).
б
Рис. 4. Результаты устранения блокинг-эффекта на границах объектов для алгоритмов интерполяции «косой крест» (а) и модифицированный «косой крест» (б)
Экспериментальные результаты
Для анализа описанных ранее алгоритмов интерполяции были выбраны стандартные тестовые последовательности группы MPEG, такие, как «Теннис», «Бригадир» и «Береговая охрана». В ходе экспериментов для алгоритма без интерполяции, адаптивного алгоритма центрального отсчета, алгоритма с адаптивным размером ядра в диапазоне от минимального до максимального (таблица) и модифицированного алгоритма с адаптивным размером ядра были получены следующие зависимости:
- пиковое соотношение сигнал/шум (PSNR, дБ) [15], вычисляемое в соответствии с формулой
PSNR = 10 х lg
(2 n -1) MSE
где п - разрядность цветовой схемы (для цветовой схемы УИУ (яркость Y и две цветоразностных U и V компоненты), равная 8); МЕЕ - среднеквадратичное отклонение исходного изображения от восстановленного после сжатия, определяемое формулой
1 m-1 п 1 и 2
MSE = —2 2 I (I, у) - K (I, У)2,
mn I=о у=о
где т, п - размеры кадра, а 1(1,у) и К(1,у) - интенсивности соответствующих пикселов интерполированного и ссылочного кадров. Необходимо отметить, что в рамках исследования применялось ограничение по допустимому уровню Р8МЯ, равное 30 дБ, отмеченное на рис. 5, в, стрелкой;
- ЯЛ - характеристика, выражающая зависимость искажения (D) сигнала Р8МЯ от степени его сжатия (Я);
- вычислительная сложность алгоритма, измеряемая количеством операций умножения и сложения на пиксел. Определяется средним значением количества таких операций для перечня размеров блока, приведенного в таблице.
Перечисленные зависимости для последовательности «Теннис» графически представлены на рис. 5.
а
3
т Рч
65 60 55 50 45 40 35 30 25 20
3 4 5 6
Номер эксперимента
3000
2500
2000
1500
1000
500
6,5
1 6
¡2 5,5 к
<и
К ^ £ 5
-е
4,5
§
4
ев Рч
" ( 3,5
3 4 5 Номер эксперимента
б
3
20,00 25,00 30,00 35,00 40,00 45,00 50,00 55,00 60,00 65,00
Б ^бййюи), дБ
Рис. 5. Сравнительная оценка алгоритмов интерполяции для алгоритма адаптивной интерполяции
центрального отсчета — алгоритма интерполяции с адаптивным размером ядра — ' — Н,
алгоритма без интерполяции-и модифицированного алгоритма с адаптивным размером ядра----
Щ
ш значений искажений сигнала (а), вычислительной сложности О (б) для ряда экспериментов (таблица)
и ЯО-характеристики (в)
1
2
7
8
а
0
1
2
6
7
8
в
Минимальный Максимальный
№ эксперимента размер ядра, размер ядра,
пиксел пиксел
1 22 24
2 22 26
3 22 28
4 24 26
5 24 28
6 24 210
7 26 210
8 26 212
Таблица. Диапазон значений размеров ядра интерполяции для ряда экспериментов
В ходе анализа результатов для последовательности «Теннис» (рис. 5) было выявлено:
1. использование интерполяции отсчетов сигнала при определенных параметрах является эффективным инструментом для устранения блокинг-эффекта на выходе блока кодирования преобразованием;
2. предложенный алгоритм интерполяции на основе адаптивного выбора размера ядра позволил повысить степень сжатия на 30% при PSNR меньше 60 дБ;
3. модифицированный алгоритм интерполяции на основе адаптивного выбора размера ядра при определенных параметрах позволил повысить степень сжатия на 35% и качество восстановленной видеопоследовательности на 3% по сравнению со сжатием без интерполяции.
Заключение
В данной работе описаны новые методы повышения качества восстановленных видеоданных путем устранения блокинг-эффекта на границах сегмента путем внутрикадровой интерполяции сегментов видеопоследовательности, также позволяющие повысить степень сжатия. Результаты работы нашли применение в НИР «Разработка методов и средств системотехнического проектирования информационных и управляющих вычислительных систем с распределенной архитектурой» и «Исследование и разработка методов искусственного интеллекта применительно к задаче построения обобщенного решения мульти-модальной биометрической идентификации». Программное обеспечение, реализующее предложенные методы и алгоритмы, прошло государственную регистрацию пакетов программ для ЭВМ. Результаты исследования могут эффективно применяться в задачах обработки видеоданных, различных кодеках сжатия видео и системах потокового вещания.
Литература
1. Рубина И.С. Анализ методов построения траектории движущихся объектов на основе сегментации видеоданных // Научно-технический вестник СПбГУ ИТМО. 2011. № 2 (72). С. 127-132.
2. Wang Z., Bovik A.C., Evans B.L. Blind measurement of blocking artifacts in images // IEEE International Conference on Image Processing. 2000. V. 3. P. 981-984.
3. Madhuri K., Madhuri J. Blur and ringing artifact measurement in image compression using wavelet transform // International Journal of Computer, Information Science and Engineering. 2007. V. 1. N 2. P. 57-60.
4. Feng X. Measurement of ringing artifacts in JPEG images // Proceedings of SPIE - The International Society for Optical Engineering. 2006. V 6076. Art. 60760A.
5. Рубина И.С., Тропченко А.Ю. Исследование алгоритмов кодирования преобразованием в задачах сжатия кадров видеопоследовательности // Изв. вузов. Приборостроение. 2012. Т. 55. № 10. С. 26-30.
6. Grim J. Multimodal discrete Karhunen-Loeve expansion // Kybernetika. 1986. V. 22. N 4. P. 329-339.
7. Брейсуэлл Р. Преобразование Хартли. Теория и приложения. М.: Мир, 1990. 225 с.
8. Zeng Y., Bi G., Leyman A.R. New algorithms for multidimensional discrete Hartley transform // Signal Processing. 2002. V. 82. N 8. P. 1086-1095. doi: 10.1016/S0165-1684(02)00241-4
9. Auyeung C., Kosmach J.J., Orchard M.T., Kalafatis T. Overlapped block motion compensation // Proceedings of SPIE - The International Society for Optical Engineering. 1992. V. 1818. N 2. P. 561-572.
10. Puri R., Ramchandran K. PRISM: a video coding architecture based on distributed compression principles // Proc. Allerton Conf. Communications, Control, and Computing. Urbana-Champaign, 2002. P. 1-10.
11. Беденьгов А.Н., Гашников М.В. Исследование эффективности адаптивных алгоритмов интерполяции для иерархической компрессии изображений // Компьютерная оптика. 2003. № 25. С. 141-145.
12. Bastani V., Helfroush M.S., Kasiri K. Image compression based on spatial redundancy removal and image inpainting // Journal of Zhejiang University - Science C. 2010. V. 11. N 2. P. 92-100. doi: 10.1631/jzus.C0910182
13. Ribas-Corbera J., Neuhoff D.L. Optimal block size for block-based, motion compensated video coders // Proceedings of SPIE - The International Society for Optical Engineering. 1997. V. 3024. P. 1132-1143. doi: 10.1117/12.263193
14. Рубина И.С., Тропченко А.Ю. Исследование алгоритмов выделения опорных пикселов в задачах выделения сегментов кадра видеопоследовательности // Изв. вузов. Приборостроение. 2012. Т. 55. № 1. С. 9-14.
15. Al-Najjar Y.A.Y., Soong D.C. Comparison of image quality assessment: PSNR, HVS, SSIM, UIQI // International Journal of Scientific and Engineering Research. 2012. V. 3. N 8. P. 1-5.
Рубина Ирина Семеновна - кандидат технических наук, доцент, Университет ИТМО, Санкт-Петербург,
197101, Российская Федерация, rubren@mail.ru
Irina S. Rubina - PhD, Associate professor, ITMO University, Saint Petersburg, 197101, Russian
Federation, rubren@mail.ru
