CC BY
45
УДК 621.391
В.Г. ИВАНОВ, канд. техн. наук,
М.Г. ЛЮБАРСКИЙ, д-р физ.-мат. наук,
Ю.В. ЛОМОНОСОВ, канд. техн. наук (г. Харьков)
JPEG И ВЕЙВЛЕТ-КОПРЕССИЯ ОБЪЕКТА И ФОНА
ИЗОБРАЖЕНИЯ С РАЗЛИЧНОЙ СТЕПЕНЬЮ КАЧЕСТВА
У даній роботі приводяться практичні результати комп'ютерного моделювання стиску деяких класів зображень. Зображення перед кодуванням попередньо розбивається на дві частини - об'єкт і тло. Поділ зображення здійснюється в площині вейвлет-коефіцієнтів. Кодування кожної складової зображення робиться окремо з різним ступенем точності на основі JPEG-технологій з використанням узагальненого перетворення Фур'є (дискретне косинусне перетворення - DCT), а також із застосуванням багатомасштабної обробки вейвлет-коефіцієнтів.
In the given operation the practical results of computer simulation of contraction of some classes of the maps are resulted. The map, before encoding, is previously broken down into two parts - plant and background. The separation of the map is carried out in a plain of wavelet-coefficients. The encoding by each component the maps is made separately with different degree of accuracy on the basis of JPEG-know-hows with usage of a generalized Fourier transform (discretic cosine transforming - DCT), and also with applying of multiscale treating of wavelet-coefficients.
Введение. В течение многих лет доминирующей тенденцией в исследованиях проблемы сжатия данных и изображений являются методы обработки сигналов и методы теории информации, которые используют декоррелирующие свойства различных линейных преобразований и возможности квантования и энтропийного кодирования коэффициентов этих преобразований [1].
Развитие этих методов привело к созданию известных JPEG-форматов, которые используют субоптимальные косинусные преобразования Фурье и методы вейвлет-преобразований, позволяющие в 20 и более раз сократить объем графических данных, сохранив при этом хорошее визуальное качество [2, 3]. Повысить количественные и качественные характеристики этих форматов можно в результате сокращения содержательной избыточности изображений. Суть такого подхода заключается в том, что в памяти хранится только часть изображения, представляющая интерес в данном конкретном применении.
Постановка задачи и её решение. Основной проблемой при сокращении содержательной избыточности изображений остается выделение значимых (информативных) участков изображений (объектов) и участков менее информативных (фона). И хотя решению этой проблемы посвящено большое количество работ [4 - 6], в которых получены интересные результаты, в целом задача кодирования изображений на основе этих принципов еще далека от своего окончательного решения.
В данной работе разделение элементов изображения на два класса (объект и фон) производится при помощи вейвлет-преобразования изображения, и выделения контуров в пространстве коэффициентов высокочастотных областей многомасштабного анализа. Конечным результатом выделения объектов на изображении является построение битовой плоскости, которая содержит информацию о расположении объекта и фона. Дальнейшая обработка выделенных областей осуществляется при помощи JPEG-технологий на базе дискретного косинусного преобразования, а также с помощью многомасштабного вейвлет-анализа. Эта работа является продолжением исследований авторов, основные результаты которых были опубликованы в [7 - 9].
Выделение объектов на плоскости изображений. Идея кодирования изображения с различной степенью качества реализована в графическом формате DjVu [10]. В этом формате изображение разделяется на передний план, задний план и битовую плоскость соответствия, которая содержит информацию о взаимном размещении переднего и заднего плана на плоскости изображения. Разделение изображения на передний план ( в рассматриваемом случае - аналог объекта) и задний план (фон) основано на нахождении границ резких перепадов яркости между областями с равномерным распределением её значений. Подобный алгоритм выделения значимых областей изображений позволяет сохранить эти области с лучшим качеством, а степень сжатия повысить за счет большей компрессии заднего плана. Кодирование переднего и заднего плана изображения производится на основе вейвлет-преобразования данных с различным разрешением, причем разрешение заднего плана в несколько раз меньше, чем разрешение переднего плана. Таким образом, обрабатываемое изображение в формате DjVu кодируется с различной степью качества, что по сравнению с форматом JPEG-2000 (1Р2), где также используется вейвлет-преобразование для всей плоскости изображения, имеет некоторое преимущество в сжатии для определенных классов изображений.
Ограничением приведенного метода выделения переднего плана есть то, что значимый (информативный) объект должен иметь равномерное распреление яркости, быть замкнутым по форме и иметь четкие границы перепада яркости по сравнению с задним планом изображения (символьные данные). В случае, когда наиболее информативная область реалистичного изображения не имеет замкнутой формы с постоянным значением яркости, приведенный алгоритм не производит разделения изображения и кодирует его с равной стенью качества, т.е. сводится к известному формату JPEG-2000.
Целью данной работы является разработка и анализ эффективного алгоритма кодирования на основе выделения наиболее информативных областей изображения, не имеющих равномерного распределения яркости врутри себя и замкнутых границ, очерчивающих объект. В качестве такого изображения, из библиотеки стандартных изображений
http://www.icsl.ucla.edu, был выбран файл lena.bmp, который представлен на рис. 1. Параметры исходного изображения: размер 256x256, глубина цвета в градации серого 8 бит. Вейвлет коэффициенты исходного изображения, после одного шага преобразования, представлены на рис. 2.
Рис.1. Исходное изображение
Рис. 2. Вейвлет коэффициенты после одного шага преобразования
На практике вейвлет-преобразование проводится с помощью биортогональных вейвлет-базисов по формулам разложения (1) и синтеза (2). Если {а,} - коэффициенты разложения остаточного члена, то {Ь,} и {с,} -
коэффициенты, соответственно нового остаточного члена в следующем масштабе представления
ь, = 2 к*Он+* и с, = 28>аи+, • (!)
Аналогичным образом, если известны коэффициенты {Ь,} и {с,}, то коэффициенты {а,} можно восстановить в соответствии с выражением
(2)
Для разложения и восстановления сигнала используют две разные пары квадратурных зеркальных фильтров: пара { к, ~ } при разложении и пара {к^} при восстановлении. Основное уравнение, в данном случае имеет вид к(ю)к (ю) + к(ю + л)к (ю + л) = 2 .
Для этого равенства существует семейство решений:
~й, т (®) = ^2
кп,т (®) = ^2
1 + ег'
V
л2
Рт |8Ш2 f\e-т«
(3)
где Рт (х) = 2 ст-1+1х5 - многочлен Дебеши.
І=0
Для вейвлет-преобразования исходного изображения, рис. 1, использовалась пара квадратурных зеркальных фильтров к и к с параметрами п = 1 и т = 2 выражения (3), общий вид, которых представлен на рис. 3.
II
к к Рис. 3. Пара квадратурных зеркальных фильтров с параметрами п = 1 и т = 2
При построении разделяющей битовой плоскости, использовались вейвлет коэффициенты Ив и вИ областей (рис. 2), которые были получены в соответствии с выражением (1). После усредненного суммирования выбранных вейвлет-коэффициентов (Ив+ОИ)/2 получим изображение, которое представлено на рис. 4.
і
І
і
І
2
2
Рис. 4. Изображение полученное в результате усредненного суммирования вейвлет коэффициентов Ив и СИ областей
Полученное изображение имеет более равномерное распределение яркости по сравнению с оригиналом (рис. 1), или остаточным членом разложения ИИ (рис. 2). Это качество достигается за счет применения соответствующей пары фильтров к и к при вейвлет преобразовании исследуемого изображения. Исходное изображение раскладывается на “грубую” (ИИ) и ’’тонкую” (вв) структуры (рис. 2). Области Ив и вИ имеют более гладкий рельеф яркости на всей плоскости, но при этом сохраняют наиболее существенные ее перепады. Выбор именно этих составляющих (Ив и вИ) обусловлен тем, что они получены в результате обработки исходного изображения одной парой фильтров к и к, но только в обратной последовательности их применения. При этом область Ив содержит наиболее выраженные перепады яркости в вертикальном направлении, что обусловлено последовательностью операций свертки исходного изображения с соответствующими фильтрами к и к . Область вИ, наоборот, имеет резкие скачки яркости в горизонтальной плоскости.
Усредненное суммирование Ив и вИ плоскостей позволяет сохранить резкие изменения яркости, которые обязательно присутствуют в обоих направлениях. Усредненное суммирование Ив и вИ областей формирует плоскость изображения для пороговой обработки (рис. 4) по формуле
X,, = (НО, у + ОИ, /)/2, (4)
где X,- точка усредненного изображения, ,,] = 1, ..., п; п - количество строк
и столбцов в матрице изображения размерностью п х п.
Применение пороговой обработки к изображению, представленному на рис. 4, позволяет получить совокупность точек, между которыми значения разности яркости превышает пороговое значение (|х, -Х1+11 > КХср), (рис. 5, а).
Формирование плоскости , которая содержит точки превышения
порогового значения, (рис. 5, а) согласно правилу
[ 1, если X , - X, ,+1 > КХ , или \xi . - Х!+1 . > КХСр;
2’-1 = 1 (5)
[0, если |Х, 1 - X,, 1+1 < КХср, или |Х, 1 - X+1,1 < КХср.
где ,, 1 = 1, ..., и - 1, п - количество строк и столбцов в матрице изображения размерностью п х п.
в) г)
Рис. 5 а) совокупность точек, превысивших разностный порог; б) граничные точки разделения объекта и фона; в) битовая плоскость разделения; г) битовая плоскость
после сегментации
Пороговое значение привязывалось к среднему значению яркости X ср на
всей плоскости изображения (рис. 4), и выбиралось таким образом, чтобы исключить наличие случайных точек, т.е. тех точек, которые не имеют в своем ближайшем окружении себе подобных. Таким образом, производится фильтрация одиночних точек преодолевших пороговое значение. На рис. 5, а наглядно видны область с высокой плотностью перепадов яркости и область, которая практически не содержит смежных точек превышения порога. Пороговая обработка изображения, представленного на рис. 4, проводилась по строкам и столбцам матрицы изображения.
Затем, для отделения объекта от фона, производится последовательное сканирование изображения по строкам и столбцам до выявления первой и последней не нулевой точки. После разделения изображения на области
объекта и фона, необходимо создать непрерывную и замкнутую границу между этими областями. На рис. 5,б представлены граничные точки, которые разделяют области объекта и фона. Эта граница раздела имеет разрывы и не является замкнутой линией. Для формирования непрерывного и замкнутого контура требуется соединить точки разрыва границы между связными фрагментами контура (см. рис. 6). Точкой разрыва линии границы считается любая точка, имеющая только одну смежную точку, т. е. одного "соседа". Для соединения точек разрыва линии границы X}- необходимо найти минимальное
растояния между точками разрыва, принадлежащими разным подмножествам {Я,}, т.е. концом связного фрагмента границы и началом другого. После соединения граничных точек между собой получим битовую плоскость, разделяющую объект и фон, рис. 5, в. Построение битовой плоскости является завершающим этапом выделения объекта на плоскости изображения. Точки внутри контура считаются принадлежащими объекту и им присваивается значение 1, точки, лежащие вне контура, считаются фоном и им присваивается значение 0, рис. 5, в.
Рис. 6. Связные фрагменты R и точки разрыва линии границы Xj между областями объекта и фона
В случае, когда компрессия изображений осуществляется при помощи JPEG-технологии на основе дискретного косинусного преобразования, то предварительно осуществляется разбиение плоскости изображения на фрагменты размером 8 х 8 [JPEG]. После одного шага вейвлет-преобразования плоскость изображения, представленная на рис. 4, уменьшается в 4 раза по
сравнению с плоскостью исходного изображения, рис. 1. Следовательно, размер фрагмента, для битовой плоскости, должен быть 4 х 4, что полностью согласуется с разбиением исходного изображения (рис. 1) на фрагменты 8 х 8. Каждый фрагмент может принадлежать трем областям: область объекта, область фона, область границы битовой плоскости. Таким образом, фрагментами области объекта можно считать те фрагменты, которые принадлежат, как области самого объекта, так и области границы битовой плоскости. Все остальные сегменты плоскости изображения принадлежат области фона.
На рис. 5, г представлена битовая плоскость разделения изображения после сегментого разбиения на фрагменты 4 х 4.
В том случае, когда сжатие исходного изображения (рис. 1) производится с использованием многомасштабного вейвлет преобразования, то сементация битовой плоскости (рис. 5, в) не производится.
JPEG- и вейвлет-компрессия объекта и фона изображений с различной степенью точности. Сначала рассмотрим практические результаты кодирования изображений с различной степенью точности при использовании JPEG-технологий.
Исходное изображение (рис. 1) необходимо разбить на сегменты размером 8 х 8 и осуществить кодирование объекта и фона изображения по методу JPEG-технологии [5 - 7].
Согласно метода JPEG-компрессии ядро одномерного косинусного преобразования имеет вид:
1 х-' 12 х“1 (2m + 1)кя
Lx(0) = j=2X(m); lx(R)=у^2X(m)cos—^—. (7)
* m=0
В этом выражении X(m) - значение отчетов в строках соответствующих рабочих матриц, полученных на втором шаге JPEG-технологий, Lx(k) -коэффициенты дискретного косинусного преобразования, а значения m и к изменяются соответственно от 0 до N - 1 и от 1 до N - 1 с шагом один.
Различная степень точности кодирования объекта и фона определяется количеством косинусных коэффициенов, которые используются в рабочих матрицах объекта и фона. Для фона выберем минимальное значение -1 (имеется ввиду первый коэффициент рабочей матрицы 8х8 в каждом сегменте изображения), а для объекта максимальное - 64 коэффициента. Таким образом, сжатие изображения будет осуществляться только за счет сегментов, которые входят в область объекта на битовой плоскости. Область фона будет представлена только одним коэффициентом косинусного преобразования в каждом сегменте области фона. Такой подход позволяет обеспечить максимальное сжатие области фона изображения, а в области объекта обеспечить такую степень комперессии и качества изображения, которая являлась бы приемлемой для решения поставленой задачи.
На рис. 7 представлена зависимость общего коэффициента сжатия всей плоскости изображения (Ксж) от среднеквадратической ошибки (СКО) на плоскости объекта.
На рис. 8, представлено исходное изображение после кодирования методом JPEG компрессии. Рис. 8, а показывает восстановленное изображение после раздельного кодирования объекта и фона с различной степенью качества, а рис. (8, б) после кодирования всей плоскости изображения с одинаковой степенью качества. СКО на плоскости объекта в обоих вариантах составляет 12%, а увеличение коэффициента сжатия с 19 до 24 обусловлено большей степенью компрессии области фона (в данном случае Ксж фона составляет 64 раза, так как только один косинусный коэффициент рабочей матрицы 8x8 представляет каждый сегмент области фона). При JPEG кодировании изображений битовую плоскость разделения необходимо кодировать энтропийными методами и хранить или передавать вместе с самим изображением в сжатом виде, что в незначительной мере влияет на степень компрессии самого изображения.
Зависимость К сжатия от СКО (Lena)
JPEG-объект I
Рис. 7. Зависимость коэффициента сжатия всей плоскости изображения (Ксж) от среднеквадратической ошибки (СКО) на плоскости объекта.
Кодирование изображений на основе вейвлет преобразований с предварительным выделением объекта имеет некоторые отличия от JPEG кодирования области объекта и фона.
Выделение объекта на плоскости изображения производится таким же образом, как и в случае преобразования в JPEG формат. Однако, после формирования битовой плоскости разделения изображения на объект и фон, (рис. 5, г) применить её необходимо только к вейвлет-коэффициентам, представленным в областях HG, GH и GG на каждом шаге разложения.
В результате, все вейвлет-коэффициенты, которые принадлежат области объекта на всех этапах разложения, сохранятся, а коэффициенты, которые принадлежат области фона в соответствующих масштабах, игнорируются. При таком подходе, общий коэффициент сжатия будет более высоким, но на восстановленном изображении текстура фона будет полностью отсутствовать или заменена на абстрактную текстуру, которая не имеет никаго отношения к обрабатываемому изображению.
а) Ксж = 24, СКО объекта = 12% б) Ксж = 19, СКО объекта =12%
Рис. 8. Изображение после раздельного кодирования методом JPEG-технологий
Использование вейвлет преобразования при кодировании изображений с разной степенью точности не требует отдельного кодирования и хранения битовой плоскости вместе с изображением. Битовая плоскость используется только на этапе разложения изображения, при восстановлении вейвлет-коэффициенты будут распределены в обратном порядке Z-сканирования плоскости разложения. Этот факт можно отнести к преимуществу вейвлет кодирования изображений по сравнению с методом JPEG.
На рис. 9 представлена зависимость коэффициента сжатия от СКО при кодировании изображения с использованием вейвлет преобразования.
Для отметки СКО = 12% степень сжатия при использовании вейвлет преобразования соответствует 23 (кривая - Вейвлет). При использовании тех же фильтров разложения и восстановления, но с разделением изображения на объект и фон степень сжатия увеличилась до 26 при том же значении СКО = 12% (кривая - Вейвлет-объект). Следует заметить, что при аналогичном значении ошибки восстановления (СКО = 12%) степень сжатия при JPEG кодировании изображения с выделением объекта равна 24 (рис. 7), что превышает соответствующий показатель при обычном вейвлет анализе (рис. 9, кривая - Вейвлет).
40 35 30 S 25
1 20 15
10
5
0
■ ■Вейвлет'
■ Вейвлет-объект
_ .
( * •
26 , . * "*
^' *** ф 1ч» * 23
^ - *"» ф * . **
0,05 0,06 Отлично 0,07 0,08 0,09 Хорошо 0,1 0,11 Удовл 0,12 етворитель 0,13 о 0,14 Плохо 0,15 СКО (%)
Рис. 9. Зависимость коэффициента сжатия (Ксж) от среднеквадратической ошибки (СКО) при вейвлет анализе изображения
На рис. 10 (а, б) представлены восстановленные изображения,
полученные после вейвлет кодирования всей плоскости изображения, (рис. 10, а), а так же после раздельного кодирования области фона и объекта, (рис. 10, б), при одинаковом значении ошибки восстановления, СКО = 12%.
а) Ксж = 23, СКО = 12% б) Ксж = 26, СКО = 12%,
(без выделения объекта) (с выделением объекта)
Рис. 10. Восстановленные изображения после выделения объекта и вейвлет-
кодирования
Выводы. Предложенный метод разделения изображения на объект и фон, позволяет кодировать их отдельно, как с различной степенью качества, так и с использованием различных методов. Это дает возможность представлять
наиболее информативные области изображения с более высоким качеством, чем остальные его составляющие. Благодаря такому подходу можно сохранить высокое качество информативных областей (объектов), менее информативные области (фон) представить с большей компрессией, но с худшим качеством и таким образом повысить общий коэффициент сжатия для всего изображения.
Предложенный подход позволил выявить резервы классической схемы JPEG-кодирования и получить лучшие количественные характеристики по сравнению с вейвлет-кодированием на основе формата JPEG 2000.
Также следует отметить, что относительное повышение эффективности кодирования предложенного метода выше в классическом JPEG-формате, чем в JPEG 2000. Это объясняется естественной локальной природой вейвлет-преобразований.
Список литературы: 1. Претт У. Цифровая обработка изображений. - М.: Мир, 1982. - Кн. 2. -480 с. 2. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии. Учеб. пособ. - М.: Изд-во "Триумф", 2003. - 336 с. 3. Сэломон Д. Сжатие данных, изображений и звука. - М.: Техносфера, 2004. - 368 с. 4. Оброблення сигналів і зображень та розпізнавання образів // Праці Сьомої Всеукраїнської міжнародної конференції Укр0БРАЗ‘2004. - К.: Видання Міжнародного науково-навчального центру інформаційних технологій та систем, 2004. - 306 с. 5. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005. - 1072 с. 6. Оброблення сигналів і зображень та розпізнавання образів / Праці Восьмої Всеукраїнської міжнародної конференції Укр0БРАЗ‘2006. - К.: Видання Міжнародного науково-навчального центру інформаційних технологій та систем, 2006. - 212 с. 7. Іванов В.Г., Ломоносов Ю.В., Любарский М.Г. Фурьє и вейвлет анализ изображений в плоскости JPEG технологий // Проблемы управления и информатики. - 2004. - №5. - С. 111-124. 8. Иванов В.Г., Любарский М.Г., Ломоносов Ю.В. Сжатие изображений на основе компенсации контуров при вейвлет преобразовании // Проблемы управления и информатики. - 2006. - N° 3. - С. 89-101.
9. Иванов В.Г., Любарский М.Г., Ломоносов Ю.В. Сжатие изображений на основе выделения и
кодирования объектов с различным визуальным качеством / Праці Восьомої Всеукраїнської міжнародної конференції "Оброблення сигналів і зображень та розпізнавання образів" (Укр0БРАЗ‘2006). - К.: Кібернетичний центр НАН України, 2006. - С. 159-163.
10. http://www.dejavu.research.att.com/ djvu/sci/djvuspec.
Поступила в редакцию 02.04.2007
