CC BY
130
МАШИНОСТРОЕНИЕ И ПРИБОРОСТРОЕНИЕ, ВОПРОСЫ МЕТРОЛОГИИ
УДК 004.627
Р. Н. Гайнуллин, М. В. Медведев, М. П. Шлеймович
УСКОРЕНИЕ ПОИСКА БЛОКОВ ИЗОБРАЖЕНИЯ ПРИ ФРАКТАЛЬНОМ СЖАТИИ НА ОСНОВЕ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ
Ключевые слова: сжатие изображений, фрактальное сжатие, вейвлет-преобразование, особые точки.
В данной статье рассматривается вопрос сжатия изображений. Приведена общая схема сжатия изображений, изложены методы сжатия изображений, основанные на ортогональных преобразованиях данных: с использованием алгоритма JPEG и с использованием вейвлет-преобразования. Подробно рассмотрен метод сжатия изображений с использованием фрактального сжатия, основанного на математическом аппарате систем итерируемых кусочно-определенных функций. Предлагается способ ускорения фрактального сжатия путем применения особых точек вейвлет-преобразования для классификации доменных и ранговых блоков при фрактальном сжатии. Приводится алгоритм выделения особых точек, а также представлены результаты классификации блоков на основе точечных особенностей.
Keywords: image compression, fractal compression, wavelet transform, wavelet transform, key points.
In this article the problem of image compression is considered. The general pattern of image compression is given, orthogonal transformation based image compression methods using JPEG algorithm and wavelet transformation are explicated. Fractal image compression based on piecewise-defined function theory is expanded. Different domain and rank block classification characteristics are observed. The approach of fractal compression acceleration using wavelet transform key points for domain and rank blocks classifications is proposed. Key points detection algorithm is described and blocks classification using salient points results are presented.
При решении различных задач, связанных с обработкой графической информации, часто применяются методы сжатия изображений, которые позволяют снизить требования к ресурсам вычислительной системы.
Для сжатия изображений, полученных от видеоаппаратуры и предназначенных для зрительной системы человека, обычно применяются методы с потерями информации. В основе этих методов лежит следующая общая схема:
1. Снижение межэлементной избыточности;
2. Квантование элементов данных;
3. Кодирование данных.
Наиболее полно указанная схема реализована в стандарте ІРБв. В этом случае изображение делится на последовательность фрагментов, имеющих размеры 8 х 8 пикселей. Из фрагментов выделяются матрицы - по одной на каждую цветовую компоненту (для цветных изображений обычно используется компоненты цветового пространства YCbCR). Далее матрицы подвергаются дискретному косинусному преобразованию. Полученные коэффициенты преобразования квантуются согласно заданной таблице квантования, выписываются в порядке «зигзаг-сканирования» и кодируются. Восстановление изображений выполняется с помощью обратных операций в обратном порядке [3].
В результате дискретного косинусного преобразования, как правило, появляется много коэффициентов с относительно малыми значениями, причем, сосредоточенных в основном в правом нижнем углу. Квантование и зигзаг-сканирование дают вектор значений, среди которых доля ненулевых элементов будет небольшой, что позволяет его эффективно закодировать.
Сжатие по стандарту ШБв позволяет сжимать полноцветные и полутоновые естественные изображения без резких переходов цветов (фотографии) с коэффициентом сжатия от 2 до 200. Метод является симметричным, т.е. трудоемкости сжатия и восстановления примерно одинаковы. К недостаткам этого подхода относятся: появление ложных контуров вокруг резких вертикальных и горизонтальных границ, и блочного эффекта [3].
Сжатие по стандарту ШБв является наиболее распространенным в настоящее время, благодаря хорошему соотношению между скоростью и качеством.
Еще один подход к сжатию основан на вейвлет-преобразовании [3]. Наиболее простой и быстрой его разновидностью является двумерное преобразование Хаара, которое определяется следующими формулами (1):
32i,2j + a2i+1,2j + a2i,2j+1 + a2i+1,2j+1
4
32i,2j + a2i+1,2j _ a2i,2j+1 _ a2i+1,2j+1
4
32i,2j _ a2i+1,2j + a2i,2j+1 _ a2i+1,2j+1
4
a2i,2j _ a2i+1,2j _ a2i,2j+1 + a2i+1,2j+1
4
где a2i2j, аъ+1,2/, аъ,2/+и a2^н,2^н - значения интенсивностей пикселей (для одной цветовой компоненты) изображения с координатами (2і, 2/), (2і+1, 2}), (2і, 2/+1) (2і+1, 2/+1) соответственно.
После применения этих формул будут получены матрицы Ь1, Ь2, Ь3 и Ь4, в первой из которых
2S0
будет храниться уменьшенная копия изображения, во второй - усредненные разности пар значений пикселей по горизонтали, в третьей - усредненные разности пар значений пикселей по вертикали, а в четвертой -усредненные разности значений пикселей по диагонали. Изменяя значения элементов матриц Ь2, Ь3 и Ь4 можно достичь значительного эффекта при сжатии изображения, например, часто элементами матрицы Ь4 пренебрегают, полагая их нулевыми в последующих операциях. Схемы сжатия и восстановления здесь аналогичны соответствующим схемам ДРБв. Характеристики сжатия также аналогичны соответствующим характеристикам ШБв-сжатия, но применение вейвлет-преобразования позволяет повышать качество отдельных областей изображения. Кроме того, возможно снижение блочного эффекта.
Рассмотренные методы сжатия относятся к методам, в основе которых лежат ортогональные преобразования данных. Фрактальное сжатие основано на другом математическом аппарате. Сразу же отметим, что оно позволяет получить значительно больший коэффициент сжатия для изображений (до нескольких тысяч) и обладает такой привлекательной особенностью как возможность масштабирования изображений при их восстановлении (в настоящее время фрактальное преобразование используется в графических пакетах именно для масштабирования изображений).
Общая схема фрактального сжатия полутоновых изображений имеет следующий вид [7, 9, 10]:
1. Формирование списка доменных блоков;
2. Формирование списка ранговых блоков;
3. Для каждого рангового блока найти доменный блок, для которого существует сжимающее преобразование в данный ранговый блок;
4. Определить параметры сжимающего преобразования: коэффициенты аффинного преобразования, контрастность, яркость.
При сжатии цветных изображений выделяют три полутоновых изображения - по одному для каждой цветовой компоненты и для каждого из них выполняют указанные шаги (поэтому далее будет рассматриваться фрактальное сжатие полутоновых изображений).
При выполнении фрактального сжатия рассматривают следующее метрическое пространство:
Л/2 — {0,1,2,...,Л/-1},
/2 = (Х,У) , (2)
х,у е[0,1/
где х, у - координаты точек изображения, N - количество уровней интенсивности. Для определения расстояния между изображениями, являющимися точками этого метрического пространства, обычно используют выражение:
с/2&д)= |1Х (х,у)-д (х,у%с1хс1у
(3)
где /(х, у), g(х, у) - изображения. Для цифровых изображений, являющихся матрицами размера п х т, функция расстояния принимает следующий вид:
п т ,----------------------
<*г&9) = 'Е^\Х (ХУ)-д (Х’УУ (4)
/=1 /=1
В основе фрактального сжатия изображений лежит математический аппарат систем итерируемых кусочно-определенных функций. Система итерируемых кусочно-определенных функций - это набор сжимающих отображений на полном метрическом пространстве:
(5)
где X - полное метрическое пространство, Д - подобласть метрического пространства. Система итерируемых кусочно-определенных функций отображает перекрывающиеся подобласти пространства в другие неперекрывающиеся подобласти этого же пространства.
Сжимающие отображения задают аффинные преобразования полутоновых изображений:
с Л
/ * / ' / ’
(6)
(™1Х )+°п
/ = 1,2,..., п,
где Д - перекрывающиеся подобласти изображения (доменные блоки), неперекрывающиеся подобласти изображения (ранговые блоки); si, о- - параметры преобразования, называемые контрастом и яркостью.
Отображение будет сжимающим, если выполняется следующее условие:
щ (х,у)= а Ь X + ~е
с С1_ .У.
d2<sd2tf,g), s е (0,1).
Это
возможно
случае,
(7)
когда
с!е1 а Ь
1 Чз о 1
< 1
В теории фрактального сжатия доказаны две основополагающие теоремы [7]. Первая теорема, теорема о сжимающих отображениях, утверждает о том, что существует неподвижная точка преобразования:
I2 =
/?,. п /?у = 0,
(8)
V (х,у)е /?, :№ @)= wi ,
и/ № 1-..И' (Г)..) )=и/п (О ,
: ^ )—
№ И/п (Т)= ).
П—Ю
Вторая теорема, теорема коллажа, утверждает, что изображение / можно считать с некоторой точностью неподвижной точкой /ш, если это
в
изображение отличается от результата преобразования Ж(/) не больше, чем на малую величину:
б2 (Ш $) )<є^>сі2 )<б =
1-е
(9)
Следствием из теоремы коллажа является следующее утверждение:
wn (дИ
(10)
где g - произвольное изображение.
При реализации фрактального сжатия необходимо предусмотреть разбиение изображения на доменные и ранговые блоки [7]. Доменные блоки обычно представляют собой перекрывающиеся прямоугольные области различных размеров. Для их формирования используют окна различных размеров, перемещающиеся по области изображения.
Ранговые блоки, в отличие от доменных блоков, должны не пересекаясь равномерно покрывать область изображения. Часто для образования ранговых блоков применяют метод квадродерева, когда область изображения делится на четыре части, каждая из которых также делится на четыре части и т.д. Кроме прямоугольных блоков используются треугольные, полученные в результате триангуляции.
Сжатый файл представляет собой набор описаний следующего вида: БЯТ, где Б - доменный блок, Я - ранговый блок, Т - аффинное преобразование. Во фрактальном сжатии, как правило, используются такие аффинные преобразования как смещение, масштабирование, поворот и отражение. При этом смещение и масштабирование задаются указанием соответствующих друг другу доменного и рангового блоков, а поворот и отражение - с помощью соответствующих матриц аффинных преобразований.
Фрактальное сжатие изображений основано на поиске наиболее подходящего доменного блока, который может быть отображен в данный ранговый блок. Для получения приемлемого качества восстановленного изображения обычно требуется большое количество ранговых и доменных блоков (до нескольких десятков и сотен тысяч). Кроме того, доменные блоки подвергаются аффинным преобразованиям. Поэтому основная проблема фрактального сжатия заключается в значительных временных затратах.
Таким образом, при реализации фрактального сжатия необходимо решить задачу сокращения времени поиска доменного блока для выполнения сжимающего отображения в текущий ранговый блок при ограничениях на качество сжатия и качество восстановления. Решение данной задачи основано на применении методов классификации доменных и ранговых блоков изображений.
Для классификации изображений разработано достаточно много методов, основанных на использовании различные характеристик. Часто используются характеристики цветового сходства, текстурного сходства, сходства формы и структурного сходства (характеристики сходства объектов и их отношений на изображении) [8].
При выборе характеристик для классификации доменных и ранговых блоков необходимо учесть, что они должны быть инвариантными к применяемым аффинным преобразованиям. Примерами таких характеристик являются среднеквадратическое отклонение, асимметрия, межпиксельная контрастность, коэффициент бета, максимальный градиент [7]:
- среднеквадратическое отклонение:
О =
(11)
- асимметрия:
п =
_ 1 пт~1 = ст3
- межпиксельная контрастность:
^ пт
(12)
-р
і-к,і I
(п-к)(т-к)і=1+кі=1+к
- коэффициент бета:
-и) -л/м^^й
р =
І=1 І=1
(14)
І=1 ]=1
- максимальный градиент:
пт . .пт . .
ЕЕП-Ог(ри-и) ЕЕО-іЛ-и)
=1 І=1
І=1 І=1
Є = тах
ЕЕМо)2 ЕХО-У і=1 \=-\ і=1 і=1
где среднее значение вычисляется по формуле:
^ п т
м = —Е2Х (16)
пт
і=і і=і
п, т - количество строк и столбцов блока соответственно; к - расстояние между пикселями; і0, ]0 - коВ
ординаты центрального пикселя блока; - среднее
расстояние до пикселей блока от центра, вычисляемое по формуле:
л п т -------------------
:о-„мьу2 <17)
11ГТ1 |=1 р-1
Используя вектор характеристик, можно выполнить классификацию доменных и ранговых блоков и искать соответствие только в одном классе, что значительно сокращает время поиска. На рис. 1 показаны результаты фрактального сжатия и восстановления изображения.
Один из первых практических алгоритмов классификации блоков изображения предложен Фишером [6, 10].
Алгоритм Фишера:
1. Разбиение исходных блоков на 4 части;
2. Вычисление для каждой частей средних значений Ль Л2, Л3, Л4 и дисперсий V1, V2, V3, V4 пикселей;
3. Классификация блоков на три базовых типа:
Тип 1: Ai > Л2 > Л3 > Л4,
Тип 2: Л1 > Л2 > Л4 > Л3,
Тип 3: Л1 > Л4 > Л2 > Л3;
4. Классификация блоков базовых типов по дисперсиям;
5. Поиск доменных блоков близких ранговым блокам в соответствующих классах.
Пример фрактального сжатия и восстановления приведен на рис. 2. Для выполнения классификации блоков могут быть применены различные алгоритмы кластеризации, например, самоорганизующиеся карты Кохонена.
В последнее время в цифровой обработке изображений активно развиваются методы, основанные на ортогональных преобразованиях: преобразования Уолша [2], Адамара, вейвлет-преобразование. Выше отмечалось о появлении алгоритмов вейвлетно-го сжатия изображений. Кроме этого, разрабатываются смешанные фрактально-вейвлетные методы сжатия. Например, можно применять фрактальное кодирование к результату вейвлет-преобразования изображений или выполнять доменно-ранговое сопоставление вейвлет-поддеревьев.
В рамках фрактального сжатия аппарат вейвлетов можно также использовать для классификации блоков на основе точечных особенностей. Точечные особенности изображения - это точки изображения, отличающиеся от других точек в некоторой области этого изображения. Распределение точечных особенностей может служить характеристикой изображения. На практике используются различные операторы для обнаружения точечных особенностей, например детектор углов Харриса, SIFT, SURF [1].
б
Рис. 2 - Пример фрактального сжатия (а) и восстановления (б) изображения
Применение вейвлет-преобразования для выделения точечных особенностей позволяет получить приемлемое для фрактального сжатия соотношение между временем работы и количеством особых точек. Процедура выделения особых точек на основе преобразования Хаара заключается в следующем [4, 5]:
1. Выполнить вейвлет-преобразование изображения до п-ого уровня детализации;
2. Начиная с п-го уровня для каждого вейвлет-коэффициента с большим значением (такие коэффициенты соответствуют областям изображения, в которых содержатся точечные особенности) рекурсивно выполнять шаги:
2.1. Для каждого пикселя исходного изображения, расположенного в к-ой строке и 1-ом столбце п-го уровня детализации вычислить значение веса по формуле:
сп(к,1)^-{ёйП[(к,1)+^^2(к,1)+ёё:[(к,1) (18)
где dhn(k, I), dvn(k, I), ddn(k, I) - горизонтальный, вертикальный и диагональный коэффициенты вейвлет-преобразования пикселя;
2.2. Выполнить рекурсивный переход на (п
- 1)-й уровень детализации;
2.3. Скорректировать вес особой точки в соответствии с формулой:
Жп-1(к,1) = Жп(х,у) + Сп(к,1),
2х < к < 2х + 1,
(19)
2у < I < 2у + 1;
3. Задать пороговое значение;
4. Пометить в качестве точечных особенностей пиксели, веса которых превышают заданный порог.
Рис. 3 - Пример выделения точечных особенностей
Примеры выделения точечных особенностей показан на рис. 3. Они помечены белым цветом. Точечные особенности сохраняют инвариантность к поворотам, кратным 90о.
-.V*. * А чч. . - ■ z •
Рис. 4 - Тестовые изображения
При реализации фрактального сжатия точечные особенности определяются для доменных и ранговых блоков. На основе их распределения блок относится к одному из классов. Один из возможных алгоритмов классификации заключается в следующем:
1. Определить максимальное и минимальное значения веса точек;
2. Задать количество интервалов разбиения весов точек;
3. Определить количество точек для каждого интервала (частоты);
4. Нормировать частоты.
Эксперименты показали, что данный алгоритм позволяет выполнить классификацию блоков изображений. Например, на рис. 4 показан набор тестовых изображений, расстояния между которыми вычислены на основе распределения часто точечных особенностей (табл. 1).
Таблица І - Расстояния между тестовыми изображениями
1 2 3 4 5 б
1 0.000 0.408 0.51З 0.484 0.497 0.6З2
2 0.408 0.000 0.141 0.244 0.122 0.519
3 0.51З 0.141 0.000 0.З42 0.197 0.568
4 0.484 0.244 0.З42 0.000 0.198 0.З82
5 0.497 0.122 0.197 0.198 0.000 0.525
б 0.6З2 0.519 0.568 0.З82 0.525 0.000
Первые алгоритмы фрактального сжатия появились в конце 1980-х годов. Однако несмотря на
свои достоинства этот подход тогда развития не получил ввиду значительной трудоемкости. В настоящее время наблюдается новый всплеск интереса к нему, что связано с появлением новых быстродействующих средств вычислительной техники, в том числе высокопроизводительных параллельных систем.
Литература
1. Аун С., Шарнин Л.М., Кирпичников А.П. Информационно-измерительная система слежения за движущимися объектами //Вестник Казанского технологического университета. - Казань: КНИТУ, 2011. - Т. 14. №16. - С. 224-232.
2. Васильева М.Ю., Коннов Ф.В., Исмагилов И.И. Исследование новых упорядочений дискретных функций Уолша и их применение в автоматизированных системах управления // Вестник Казанского технологического университета. - Казань: КНИТУ, 2012. - Т. 14. №11. - С. 261-268.
3. Ватолин Д. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео /Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин. - М.: ДИАЛОГ-МИФИ, 2002.
4. Дзенчарский Н.Л., Медведев М.В., Шлеймович М.П. Поиск изображений с выделением особых точек на основе вейвлет-преобразования // Вестник Казанского государственного технического университета им. А. Н. Туполева. Казань: Изд-во Казан. гос. техн. ун-та, 2011. № 1. С.131 - 135.
5. Емалетдинова Л.Ю., Ляшева С.А., Шлеймович М.П. Современные методы обработки изображений в бортовых системах беспилотных летательных аппаратов // Вестник КНИТУ им. А.Н. Туполева. Казань: Изд-во КНИТУ-КАИ им. А.Н.Туполева, 2012. № 2. С. 212 -215.
6. Тропченко А.Ю. Методы сжатия изображений, аудиосигналов и видео: Учебное пособие /А.Ю. Тропченко, А.А. Тропченко. - СПб: СПбГУ ИТМО, 2009.
7. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии. Учебное пособ. / С. Уэлстид. - М.: Издательство Триумф, 2003.
8. Шапиро Л. Компьютерное зрение / Л.Шапиро, Дж.Стокман; Пер. с англ. - М.: БИНОМ. Лаборатория знаний, 2006
9. Bamsly M., and L.Hurd. 1993. Fractal Image Compression, Wellesley, MA: A.K.Peters, Ltd.
10. Fisher Y., ed. 1995. Fractal Image Compression, New York: Springer-Verlag.
© Р. Н. Гайнуллин - д. т. н., проф., зав. каф. автоматизированных систем сбора и обработки информации
КНИТУ^аіпи11іп@кз1:и.т; М. В. Медведев - ст. препод. каф. автоматизированных систем обработки информации и управления КНИТУ им. А.Н. Туполева (КАИ), [email protected]; М.П. Шлеймович - к.т.н., доцент той же кафедры.
