Научная статья на тему 'Разработка системы хранения и поиска растровых изображений на основе вейвлет-преобразования, фрактального кодирования и смешанного подхода'

Разработка системы хранения и поиска растровых изображений на основе вейвлет-преобразования, фрактального кодирования и смешанного подхода Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
182
25
i Надоели баннеры? Вы всегда можете отключить рекламу.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Савкина Анастасия Васильевна

Представляемые в статье исследования направлены на разработку системы хранения, реализацию методов анализа и поиска изображений на основании визуальных атрибутов, связанных с проблематикой автоматического понимания визуальной информации с использованием методов вейвлет-преобразования, фрактального кодирования и их смешанной реализации.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Савкина Анастасия Васильевна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Разработка системы хранения и поиска растровых изображений на основе вейвлет-преобразования, фрактального кодирования и смешанного подхода»

РАЗРАБОТКА СИСТЕМЫ ХРАНЕНИЯ И ПОИСКА РАСТРОВЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ, ФРАКТАЛЬНОГО И СМЕШАННОГО ПОДХОДА

А. В. Савкина

Представляемые в статье исследования направлены на разработку системы хранения, реализацию методов анализа и поиска изображений на основании визуальных атрибутов, связанных с проблематикой автоматического понимания визуальной информации с использованием методов вейвлет-преобразования, фрактального кодирования и их смешанной реализации.

На сегодняшний день актуальной проблемой является обеспечение эффективного доступа к информации в электронных коллекциях изображений. Традиционным является поиск визуальной информации, опирающийся на индексирование текстовых описаний, ассоциированных с изображением. Неоднозначность соответствия между визуальным содержанием и текстовым описанием снижает показатели точности и полноты поиска.

В связи с этим возникает проблема организации доступа к современным электронным коллекциям изображений с использованием комплекса средств, включая как текстовые описания, так и характеристики визуального содержания, типа цветовой гаммы и более сложных, связанных с распознаванием образов. Текстовое описание и визуальная поисковая информация, как правило, дополняют друг друга, обеспечивая возможность разностороннего поиска. Запрос в этом случае может формулироваться в виде набора слов, возможно с указанием соответствующего контекста, или в терминах визуальных характеристик, или представлять собой комбинацию поисковых слов и определения визуального содержания.

Поиск может выполняться итеративно: сначала поиск на основе ключевых слов, как более быстрый способ, затем среди отобранного множества материалов - более трудоемкий поиск с использованием визуальных характеристик.

Методы распознавания образов в настоящее время из-за отсутствия эффективных

универсальных алгоритмов применяются только в узких предметных областях. Современная универсальная технология доступа к коллекциям изображений по визуальному содержанию связана с сопоставлением изображению набора визуальных примитивов (характеристик цвета, формы, текстуры, а для видео еще и параметров движения сцены и объектов) и определением количественной оценки близости изображений по значениям примитивов.

В статье представлена реализация обработки запросов изображений из базы данных с помощью обобщенной теории вейвле-тов, по которой вейвлеты конструируются в явном виде на ограниченных областях и непосредственно связаны с кратномасштаб-ным анализом сигналов. Применяя теорию вейвлетов, важно учитывать, что вейвлет-преобразование обладает следующими особенностями:

- вейвлет-разложения с небольшим количеством коэффициентов дают хорошее приближение исходного изображения. Как правило, используются только вейвлет-коэффициеиты, имеющие наибольшие величины. Это свойство позволяет ограничить анализ относительно небольшим объемом данных;

- вейвлет-разложения можно использовать для извлечения и кодирования информации о контурах изображения. Контуры изображения можно отнести к основным характеристикам изображения;

- коэффициенты вейвлет-разложения обеспечивают информацию, не зависящую

© А. В. Савкина, 2010

от разрешения исходного изображения. Следовательно, схема на основе вейвлетов обеспечивает эффективный анализ вне зависимости от качества изображения;

- вейвлет-разложение вычисляется легко и быстро, программа для выполнения разложения компактная и время ее выполнения линейно зависит от размера изображения.

Для поиска изображений применяется нестандартное двумерное вейвлет-преобразование, что позволяет максимально быстро вычислять искомые коэффициенты. Для изображения размером N х N пикселов, таким образом, потребуется 8/3(7У2 — 1) операций, в то время как для стандартного разложения - 4(7У2 - ЛГ) [2].

Нестандартное разложение представляет чередование операций над строками и столбцами. Сначала выполняется один этап горизонтального попарного усреднения и нахождения разности значений пикселей в каждой строке изображения, затем - к каждому получившемуся столбцу. Этот процесс рекурсивно повторяется только на квадрантах, содержащих средние значения в обоих направлениях. В результате исследования применимости различных вейвлет-разложений к задаче поиска изображения по изображению-запросу будет использоваться вейвлет Хаара по следующим причинам:

- простота вейвлета и, соответственно, возможность эффективной реализации алгоритма разложения изображения;

- достаточная точность представления изображения для задачи поиска;

- возможность использования небольшого количества коэффициентов для анализа;

- возможность применения нестандартного разложения.

Для получения вейвлет-коэффициентов используется кратномасштабное разложение изображения с применением базисной функции Хаара:

{1, 0<Ь<~;

-1, (1)

о, к о,г>1.

С помощью масштабирующей функции, которая представляет собой характеристическую функцию полуинтервала [0,1):

Г 1, 0 < Ь < 1;

Ф) = (2)

[о, Ь < 0,* > 1,

строится последовательность приближений для изображения, при котором каждое приближение будет отличаться от соседнего масштабным фактором, равного двум.

Использование масштабирующей функции (2) позволяет получить представление вейвлет-коэффициентов в виде:

/(О = *(4), (3)

к

где ось - коэффициенты разложения, которые являются значениями пикселей изображения; индекс к определяет положение функции ф}на оси £; индекс з - ширину функ-ции lpj,k(t) вдоль оси t [1].

Структура изображения будет определяться как набор коэффициентов /(¿), являющихся результатом кратномасштабного разложения. Используя эти наборы коэффициентов, относящихся к изображению-запросу ¿2 и изображению, хранимому в базе данных «/, выбирается линейная метрика сравнения изображений

= (4)

# #

затем она минимизируется, для того чтобы выполнить поиск наиболее близкого по структуре к запросу изображения.

Таким образом, вейвлеты как математическое средство для иерархического представления функций позволяют описать изображение в терминах грубого усредненного приближения и деталей различного масштаба, поэтому понимание изображений как источника информации будет далеко не полным. Алгоритм формирования поиска изображения методом вейвлет-преобразования можно описать следующим образом: на предварительном этапе выполняется нестандартное двумерное вейвлет-разложение каждого изображения в базе данных и сохраняются общее среднее значение цвета, а также индексы и знаки, принадлежащие коэффициентам с наибольшими значениями. Затем для всех изображений базы данных эти индексы объединяются в одну структуру данных, которая оптимизирует поиск.

Далее выполняется такое же вейвлет-разложение для каждого изображения-запроса и вновь отбрасывается вся информация, за исключением среднего значения цвета и самых больших коэффициентов. На основе этой информации строятся метрика изображения из базы данных -/ и метрика

изображения-запроса С?• Затем путем сравнения метрик (4) находится количественный показатель для каждого целевого изображения.

В результате варьирования количества максимальных коэффициентов, процентного количества точек и значения погрешности метрики производится анализ поиска изображений.

В отличие от методов вейвлет-преобразований фрактальные методы учитывают взаимоотношения между фрагментами изображения и являются новым направлением в исследовании изображений. При фрактальном кодировании изображений находится множество сжимающих преобразований, которые отображают доменные блоки во множество ранговых блоков, покрывающих изображение. Ранговые блоки могут быть, в частности, одинакового размера, но чаще используется адаптивное преобразование с переменным размером блоков. Ранговые блоки являются результатом разбиения методом квадродерева. Разбиение методом квадроде-рева начинается с грубого разбиения. Если для какого-то рангового блока оказывается невозможным подобрать подходящий домен и преобразование, то этот блок разбивается на четыре меньших блока. Процесс разбиения продолжается, пока либо не находится подходящий домен, либо не достигается максимальная глубина квадродерева.

Если изображение-запрос <5 размера N х АГ, принадлежит пространству цифровых изображений в градациях серого и

Ям} - набор ранговых блоков, на которые разбито изображение (2 (например, результат разбиения методом квадродерева). Каждый блок Яг имеет размеры гг х Гг, его левый нижний угол расположен в точке щ,тгц в (5. Пусть - это изображение N х АГ, целиком заполненное нулями, за исключением блока Яг, так что

Яг = (В^ПЪ). Т0ГДа 3 = <2г =

= Изображение <2 мо-

жет быть представлено в виде суммы изображений Если ранговый блок Яг -это результат фрактального кодирования изображения <2, тогда для каждого рангового блока Яг существует доменный блок £>г и аффинное преобразование Т*, так что Яг = Тг(А) = Лг(£>г) + Сг. Обозначим ¿1 ~ размерность домена а /с^, ¿г - координаты левого нижнего угла домена Таким образом, А{ представляет собой оператор, который сжимает (считаем, что ¿¿г > п, пре-

образует (fc,h) —> (m,mi) и применяет коэффициент сжатия s^ тогда как С* - это постоянная матрица размером n х п, представляющая смещение яркости. Домеи Di

можно записать как Di = (Вк%. г.)*(Q). Ис-

пользуя запись оператора извлечения блока к х к из изображения N х N, можно получить следующую приближенную запись [3]:

м

q « =

i — 1

м

= YliBnUi)* {мвцкт+ (5)

г-1

М

i=l

В случае фрактального кодирования изображений предлагается следующий базовый алгоритм:

- изображение разбивается на перекрывающиеся ранговые блоки, используются квадратные блоки. Эти блоки могут быть как равными, так и с переменным размером, что дает возможность плотно заполнять ранговыми блоками маленького размера части изображения, содержащие мелкие детали;

- изображение покрывается последовательностью доменных блоков;

- для каждого рангового блока находятся домен и соответствующее преобразование, которое наилучшим образом покрывает ранговый блок. Обычно это аффинное преобразование: поворот, зеркальное отражение, сжатие, растяжение. Настраиваются параметры преобразования, такие как контрастность и яркость для их наилучшего соответствия. Если достаточно точного соответствия не получилось, то ранговые блоки разбиваются на меньшие. Процесс продолжается до тех пор, пока не получится приемлемого соответствия или пока размер ранговых блоков не достигнет некоторого заранее определенного предела. Процесс завершается, когда все ранговые блоки оказываются покрытыми. Такой алгоритм необходимо применить для каждого канала палитры RGB.

«Код» закодированного фрактальным методом изображения - это список, содержащий сведения о каждом ранговом блоке, а именно расположение рангового блока, домен (определяется при помощи индекса и отображается в этот ранговый блок), параметры, описывающие преобразование доменного блока в ранговый.

Задача поиска изображения сводится к задаче сравнения двух изображений. Так как у всех загруженных в базу данных изображений сформированы коэффициенты, значит для изображения, по которому осуществляется поиск, необходимо найти коэффициенты, т. е. к изображению-образцу применить функцию фрактального кодирования. Полученные таким образом фрактальные коэффициенты сравниваются.

В статье анализируется только само квад-родерево, остальные фрактальные коэффициенты в сравнивании не принимают участия, так как не являются информативными и их анализ требует большого количества времени.

Для сравнения фрактального квадродере-ва необходимо:

- выполнить преобразование образца, чтобы получить квадродерево;

- поочередно загружать квадродерево каждого изображения из базы данных для его сравнения с квадродеревом образца;

- сравнивать массивы индексов квадроде-рева. Если какой-нибудь элемент массива образца не равен элементу массива загруженного изображения, значит, какие-то ветки квад-родерева не совпали, т. е. на одном дереве разбиение по ветке прекратилось, а на другом еще нет. Анализируя массив индексов, под-считывается количество не совпавших разбиений и делится на общее количество веток. Получается процент совпадения этих дере-

ВЬ€В;

- добавлять это изображение в список найденных, если процент совпадения велик.

Метод домеино-рангового сопоставления, который является основой большинства фрактальных методов, далеко не оптимальным образом воплощает теорию фрактального представления изображений. С одной стороны, самоподобие при любом масштабе -определяющее свойство фракталов, с другой - вейвлеты, с их способностью выделять

информацию, зависящую от масштаба, являются естественным инструментом анализа фракталов, поэтому большой интерес представляет комбинирование вейвлет- и фрактальных методов поиска изображения.

Идея, лежащая в основе большинства смешанных фрактально-вейвлетных методов кодирования, состоит в применении к изображению вейвлет-преобразования с последующим применением фрактальных методов к вейвлет-образу изображения.

Известно, что основная часть информации об изображении при вейвлет-кодировании концентрируется в небольшом числе коэффициентов преобразования. Стандартный фрактальный алгоритм не обеспечивает достаточную точность кодирования значимой информации в левом верхнем углу массива вейвлет-преобразования, поэтому для анализа изображений методом фрактального кодирования берется правый нижний угол.

Для реализации смешанного алгоритма применяется кратномасштабное разложение изображения. С использованием базисной и масштабирующей функций Хаара строится последовательность приближений для изображения. К полученным с помощью вейвлет-преобразования уточняющим коэффициентам сначала применяется базовый алгоритм фрактального кодирования изображений, затем алгоритм сравнения фрактального квад-родерева.

Для обеспечения эффективного содержательного доступа к релевантной информации в электронных коллекциях изображений была разработана структура базы данных, показанная на рис. 1.

Для осуществления поиска изображений разработана система, содержащая различные подходы, включая описанные выше методы вейвлет-преобразования, фрактального кодирования и смешанного алгоритма.

Fradai

f IDFractal Color. Indexl. Index2_ Index3_ Index4_ Index5_ Index6_ lndex7_ Domenindex NumModrf. Bright. Contrast. IDlmage.

• ' 'У/. ' '

V ID.

ID.Categories.

Categories.

Name.

Key.words.

Description.

Image.

Count.popular

Red.wlt.

Green_wlt_

Blue.wlt_

IsSelected

Relevantity

Type.

Name. Description

/-

j Mix

I V IDFractal

| Color.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Indexl \ —

| Index2. \ IndexS. [ Index4_ Index5. Index6_ Index7. Domenindex. NumModif Bright

i

Contrast IDImage

Рис. 1. Структура базы данных

На рис. 2 представлены: слева - пример изображения, а соответствующее ему вейвлет-преобразование Хаара - справа. Пре-

образованное изображение формируется путем приравнивания ненулевых коэффициентов в белый цвет.

......

-

• у,

Л

» * / »

! *

f i'V > V- х- ч

/> S 'Л ' «• \>

• • • <? ч ; . .4

^ m«C%wsM>mw дмкч

Р-ис. Пример изображения и его двумерного вейелет-преобразования

В разработанной системе используется описанный выше алгоритм разбиения методом квадродерева путем слежения за ранговыми блоками, получающимися в результате разбиения, при ко-

тором каждому ранговому блоку единственным образом сопоставляется индекс в квадродереве. На рис. 3 представлено разбиение изображения методом квадродерева.

Рис. 3. Разбиение изображения методом кеадродерееа

В результате комбинирования вейвлет-преобразования и фрактального кодирования для представления различных изображений удается уменьшить количество хранящихся коэффициентов в среднем в 2 раза.

На

ние

рис. данные о

4 приводятся сред-количестве коэффициен-

тов при фрактальном кодировании и смешанном подходе в зависимости от категории изображения.

Количество коэффициентов

10000

8000

6000

4000

2000

О

■ при фрзкгальж кодировании

присмешаннол подходе

Рис. 4- График количества коэффициентов при фрактальном кодировании

и смешанном подходе

Как показали исследования, наиболее быстрым является поиск по изображению с помощью вейвлетов, но не всегда он является корректным. В частности, изображение находится корректно, если образец отличается от искомого некоторыми свойствами, такими как размер, яркость, контрастность, небольшая зашумленность, незначительное изменение цветов, размытие, поиск по нега-

тиву, а также поиск по черно-белому изображению. Наилучший результат поиска изображений дает поиск по изображению фракталами, в то время как смешанная реализация дает значительный выигрыш по времени со средними показателями поиска, наименьшее затраченное время на поиск похожих изображений уходит при использовании вейвлет-преобразования (рис. 5).

Смей, энный метод; .22,238

ВеЙБлет-преобрэгсЕэние; 6,152

Фрзктэльное кодирование: 71,6

Рис. 5. Процентное соотношение по времени поиска изображений

различными методами

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М. : Техносфера, 2005. -1072 с.

2. Столниц Э. Вейвлеты в компьютерной графике / Э. Столниц, Т. Де Роуз, Д. Салезин ; пер. с англ. - Ижевск : НИЦ «Регулярная и хаотическая динамика», 2002. - 272 с.

3. Уэлстид С. Фракталы и вейвлеты для сжатия изображения в действии : учеб. пособие / С. Уэл-стид. - М. : Изд-во Триумф, 2003. - 320 с.

Поступила 23.09.10.

i Надоели баннеры? Вы всегда можете отключить рекламу.