Научная статья на тему 'Контекстный поиск изображений'

Контекстный поиск изображений Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
603
140
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КОНТЕКСТНЫЙ ПОИСК ИЗОБРАЖЕНИЙ / CONTENT-BASED IMAGE RETRIEVAL / МЕРЫ СХОДСТВА ИЗОБРАЖЕНИЙ / CONTENT-BASED IMAGE RETRIEVAL SYSTEM / ЦВЕТОВЫЕ ХАРАКТЕРИСТИКИ / COLOR CHARACTERISTICS / ТЕКСТУРНЫЕ ХАРАКТЕРИСТИКИ / ХАРАКТЕРИСТИКИ ФОРМЫ / ХАРАКТЕРИСТИКИ ОБЪЕКТОВ / CHARACTERISTICS OF THE OBJECTS / СИСТЕМЫ КОНТЕКСТНОГО ПОИСКА / IMAGES SIMILARITY MEASURE / TEXTURE CHARACTERISTICS / THE CHARACTERISTICS OF SHAPE

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Кирпичников А. П., Ляшева С. А., Шлеймович М. П.

В работе рассмотрены методы вычисления характеристик изображений, которые применяются для эффективной организации контекстного поиска.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Кирпичников А. П., Ляшева С. А., Шлеймович М. П.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Контекстный поиск изображений»

УДК 004.932

А. П. Кирпичников, С. А. Ляшева, М. П. Шлеймович

КОНТЕКСТНЫЙ ПОИСК ИЗОБРАЖЕНИЙ

Ключевые слова: контекстный поиск изображений, меры сходства изображений, цветовые характеристики, текстурные характеристики, характеристики формы, характеристики объектов, системы контекстного поиска.

В работе рассмотрены методы вычисления характеристик изображений, которые применяются для эффективной организации контекстного поиска.

Keywords: content-based image retrieval, images similarity measure, color characteristics, texture characteristics, the characteristics of shape, characteristics of the objects, content-based image retrieval system.

In this paper discusses methods for calculating the characteristics of the images that are used for the efficient organization of content-based image retrieval.

В настоящее время поиск изображений является актуальной областью теоретических и практических разработок. Он применяется, например, в системах дистанционного зондирования Земли, электронной коммерции, медицинской диагностики, обеспечения безопасности и др.

Наиболее эффективны по соотношению точности и времени системы контекстного поиска изображений, в которых запросом является некоторое изображение или набор его характеристик и требуется найти в заданной базе изображений (коллекции) изображения, максимально похожие на запрос в соответствии с выбранной мерой сходства.

Меры сходства изображений определяются на портретном, композиционном или семантическом уровнях [1]. В первом случае ищутся изображения, максимально близкие к запросу. При использовании меры сходства на композиционном уровне изображение рассматривается как совокупность пикселов, а не множество изображений объектов. Семантический уровень соответствует поиску изображений, содержащих искомые объекты, которые имеются в запросе.

Для определения меры сходства изображений используются их характеристики, которые условно можно разделить на четыре основные группы: характеристики цвета, характеристики текстуры, характеристики формы и характеристики объектов [2].

Среди различных цветовых характеристик наиболее часто используются гистограмма цветов, вектор цветовой связности, коррелограмма цветов, цветовые моменты, дескриптор доминантного цвета [3].

Цветовая гистограмма вычисляется в результате подсчета числа пикселов на изображении или его области, попадающих в определенные квантованные ячейки в некотором цветовом пространстве, например, RGB. Достоинством цветовых гистограмм является простота и высокая скорость их получения, они мало зависят от преобразований переноса, поворота и малых наклонов относительно оптической оси, масштабирования и частичного перекрытия объектов. Однако данные характеристики могут быть чувствительны к направлению наблюдения и масштабу, поскольку относительное малое число пикселов определенного цвета может при этом резко измениться. Следует также отметить, что

в гистограмме цветов не фиксируется местоположение пикселов друг относительно друга, т.е. одна и та же гистограмма может быть получена для различных изображений [1].

Простейший метод построения цветовой гистограммы предполагает объединение двух старших разрядов (бит) от каждой цветовой составляющей цвета RGB (обычно каждая цветовая компонента имеет однобайтовое целое значение). По этим 6-разрядным кодам строится гистограмма, содержащая N = 26 = 64 ячеек (карманов). Другой подход заключается в независимом вычислении гистограмм для каждой цветовой составляющей, с последующим их объединением в одну. На рис. 1 и 2 показаны два изображения и гистограммы их цветовых составляющих в пространстве RGB, по которым видно насколько отличается цветовое содержание изображений.

а)

^HlL ^L

в)

б)

г)

Рис. 1 - Изображение (а) и гистограммы его красной (б), зеленой (в) и синей (г) цветовых составляющих в пространстве RGB

б)

в)

г)

Рис. 2 - Изображение и гистограммы его красной (б), зеленой (в) и синей (г) цветовых составляющих в пространстве RGB

Для определения степени сходства двух изображений по их цветовым гистограммам И1 и И2, имеющих N ячеек, можно использовать различные функции расстояния, например, следующие [4]: - корреляционное расстояние:

£ и i(i)H 2(0

d (И j, и 2) =- i =

i

(1)

£ иi2(i)H22(i) i=i

1 N

где Иj (i) = Иj (i) -^£Hj (l), j = 1, 2;

1=1

■ расстояние Хи-квадрат:

d (Hi, и 2) = £

(Hi(i) - И2 (i))2 . 1 Hi(i) + И2 (i) '

- пересечение:

N

d(Hi,И2) = £min(Hi(i),И2(i));

i=1

- расстояние Бхатачария:

(2)

(3)

d (Hi, И 2) =

N

i-£-

i=1

4Hi (i) И 2 (i)

N

N

(4)

£ н,(/ )£ н 2(/)

ы ы

Отметим, что приведенные меры расстояния могут отличаться от одноименных метрик, которые используются на практике. Например, в программной библиотеке ОрепСУ, широко применяемой для реализации систем машинного зрения расстояние Хи-квадрат вычисляется по формуле:

d (Hi, И 2) = £ ™ - И 2(i))2

(5)

,=1 Н1(0

Также следует отметить, что часто гистограммы нормируются, например значения в их ячейках могут быть приведены к диапазону от 0 до 1.

Среди указанных мер расстояния наиболее популярна функция пересечения гистограмм, определяемая формулой (3). При этом значение пересечения гистограмм можно нормировать, разделив его на количество пикселов изображения, выбранного в качестве эталонного (это может быть изображение-запрос):

£ min(Hi (i), Им (i))

d (Иi, Им) =

i=i

N

£ Им (i)

(6)

i=i

где Н, Нм - гистограммы изображения из базы и модельного изображения соответственно. Полученная величина называется сходством и служит мерой близости цветового содержания изображения в базе и эталонного (модельного) изображения.

В таблице 1 приведены результаты сравнения изображений, показанных на рис. 1 и 2, методами сопоставления гистограмм с применением рассмотренных мер расстояния. В таблице 2 содержатся результаты сравнения двух пар одинаковых изображений с использованием гистограмм с 16 ячейками. В таблице 3 показано, как сильно отличаются тестовые изображения от изображения, содержащего только белый цвет (здесь также используются гистограммы с 16 ячейками). Для вычисления значений расстояния использовались средства библиотеки ОрепСУ. При этом гистограммы нормировались.

Следует обратить внимание на то, что согласно таблицам 2 и 3, на основе нормированной гистограммы и корреляционного расстояния невозможно отличить произвольное изображение от изображения белого цвета.

Также для поиска могут применяться накопительные (кумулятивные) гистограммы [3]:

м (0 = £н (]), (7)

1=1

где М(/) - ¡-я ячейка накопительной гистограммы; / = 1, ..., N Н(1) - 1-я ячейка гистограммы; 1 = 1, ..., ¡.

Таблица 1 - Расстояние между изображениями на основе цветовых гистограмм

Мера расстояния Величина расстояния

Число ячеек

8 i6 32

Корреляционное расстояние 0.7622 0.6i87 0.5151

Расстояние Хи-квадрат i84.43 5620.9 22347

Пересечение 4.2589 8.5531 11.792

Расстояние Бхатачария 0.37i5 0.4731 0.5282

Таблица 2 - Расстояние между одинаковыми тестовыми изображениями на основе цветовых гистограмм

Мера расстояния Величина расстояния

Рис.1 Рис. 2

Корреляционное 1 1

расстояние

Расстояние 0 0

Хи-квадрат

Пересечение 32.3365 8.8544

Расстояние Бха- 0 0

тачария

Таблица 3 - Расстояние между цветными тестовыми изображениями и изображением белого цвета на основе цветовых гистограмм

Мера расстояния Величина расстояния

Рис.1 Рис. 2

Корреляционное расстояние 1 1

Расстояние Хи-квадрат 32.3365 8.8544

Пересечение 0 0

Расстояние Бха-тачария 1 1

Вектор цветовой связности позволяет объединить информацию о цветовом содержании изображения с пространственной информацией [5]. Он имеет следующий вид:

СС¥ = ((«!,Д),(а2,р2),...,(ам,}) , (8)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

где Л - количество связных и несвязных пикселов в 1-м цветовом интервале, / = 1, ..., N. Под связным пикселом понимается пиксел, принадлежащий какой-нибудь однородной по цвету области изображения, а под несвязным - не принадлежащий таким областям. Для получения цветовых интервалов выполняется цветовая сегментация изображений. Простейший и в тоже время достаточно эффективный подход к цветовой сегментации описан в работе [6]. Он заключается в замене цвета пикселя изображения на наиболее близкий ему цвет (согласно выбранной мере расстояния) из заданного числа наиболее часто встречающихся в этом изображении цветов.

Цветовая коррелограмма - это таблица, индексированная по цветовым парам, где к-я запись для пары (/, ]') определяет вероятность нахождения на изображении пиксела с цветом ] на расстоянии к от пиксела с цветом / [5]. Пусть I - набор пикселов изображения, а 1ф) - множество пикселов, которые имеют цвет с(/). Тогда цветовая коррелограмма определяется следующим образом:

г(Ц = ,Рг , lP2

PlGIc(i), P2eI

■I.

c( j)\\ Pl - P2 \=

(9)

где р1, р2 - пикселы; /, ] е {1, 2, ..., N1; N - число пикселов; к е {1, 2, ..., ё}; р1 -р2| - расстояние между пикселами р1, р2.

Размер цветовой коррелограммы может быть очень большим в том случае, если учитывать всевозможные пары цветов. Поэтому часто используют автокоррелограмму, которая фиксирует пространственную корреляцию только между одинаковыми цветами и таким образом имеет значительно меньшие размеры по сравнению с коррелограммой.

Используемые в поисковых системах цветовые моменты определяются следующим образом: - среднее значение:

1 N

= N Z fj

М,

(10)

стандартное отклонение:

К

1 N

N Z(f -м, )

j=1

- третий центральный степень ассиметрии):

(11)

момент (отражает

(

s, =

1 N

NZ(f,j -Mi)3

j=1

(12)

где fj - значение i-й цветовой компоненты j-го пиксела изображения, N - число пикселов изображения.

Обычно цветовые моменты определяются с использованием цветовых моделей L*u*v* и L*a*b*. Момент третьего порядка s, обеспечивает увеличение эффективности поиска. Однако его использование повышает чувствительность к изменениям сцены. Цветовые моменты по сравнению с другими цветовыми характеристиками позволяют получить наиболее компактный набор признаков (9 значений - 3 момента на 3 цветовых компоненты), что может повлиять на результативность поиска. Как правило, цветовые моменты могут быть использованы для получения предварительных результатов, которые будут уточняться более сложными средствами поиска. В качестве примера в таблице 4 приведены значения указанных цветовых моментов для ряда изображений, показанных на рис. 3. Цветовые моменты были вычислены с использованием цветовой модели L*a*b*. Для приведенных примеров видно, что значения цветовых моментов различаются.

В стандарте MPEG-7 определен набор дескрипторов для описания мультимедийных данных [7]. Для представления изображения или его некоторой области могут быть использованы доминантные цвета. Соответствующий дескриптор (дескриптор доминантного цвета) вычисляется следующим образом. Сначала выполняется квантование цветов -цветовое пространство (цветовой куб) делится на равные части по каждой из координат и значения, которые образуются на пересечении разбиений, замещают реальные цвета. Для замещения выбирается квантованное значение, отличающееся от реального цвета на минимальное расстояние. Далее вычисляется процент каждого цвета на изображении или его области. Дескриптор доминантного цвета является наиболее удобным для представления локальных характеристик изображения или его области, где для предоставления цветовой информации достаточно малого числа цветов [3].

3

Рис. 3 - Изображения для вычисления цветовых моментов

Таблица 4 -Значения цветовых моментов

Моменты Изображения на рис. 4

а б в г

Mi 115.6 130.2 136.1 132.3

Oi 61.6 60.4 58.3 52.6

Si -25.4 -41.9 21.2 -44.8

Mi 122.1 130.1 134.4 127.0

O2 9.4 5.5 10.7 4.6

s2 10.9 5.9 11.7 5.4

M3 138.7 126.1 122.7 124.6

O3 22.4 18.9 33.4 18.2

s3 -11.1 -20.9 -18.4 -10.3

Для сопоставления векторов цветовой связности, цветовых коррелограмм, цветовых моментов и дескрипторов доминантного цвета необходимо выбрать некоторую меру расстояния (или сходства). Это могут быть, например, меры, аналогичные тем, которые были описаны при рассмотрении гистограмм, а также известные меры евклидова расстояния, манхеттонское расстояние, расстояние Чебы-шева и др.

Текстурные характеристики описывают пространственное распределение цветов или значений интенсивности на изображении [2]. Текстурная характеристика является мерой таких свойств изображений и/или их областей, как гладкость, шероховатость и регулярность.

Один из простейших подходов, применяемых для описания текстуры, состоит в использовании статистических характеристик, определяемых по гистограмме яркости всего изображения или его области [8]. В качестве таких характеристик часто используют моменты. Для описания текстуры особенно важен второй момент - дисперсия с2. Дисперсия является мерой яркостного контраста, что можно использовать для построения дескрипторов относительной гладкости, например:

Я = 1--1Т. (13)

1 + а2

Величина Я равна 0 для областей с нулевой дисперсией (областей постоянной яркости) и приближается

к 1 для больших значений дисперсии. Часто дисперсию нормируют, т.е. приводят к диапазону значений от 0 до 1. Для этого выполняют деление на квадрат значения максимальной яркости. Также можно определить:

однородность:

Homogeneity = £ И 2 (i)

i =1

и энтропию:

N

Entropy = £ И(i) log;

1

(14)

(15)

¡=1 Н(0 где N - число уровней яркости, Н(/) - значение ¡-й ячейки нормированной гистограммы яркости, Н(/) е [0, 1]. Максимум величины однородности достигается для изображения, все элементы которого имеют одинаковую яркость, т.е. для максимально однородного изображения, и уменьшается по мере роста яркостных различий. Энтропия характеризует изменчивость яркости изображения - она равна 0 для области постоянной яркости и максимальна в случае равновероятных значений.

Описанные текстурные характеристики имеют определенные ограничения - они не несут информации о взаимном расположении элементов изображения. Учесть пространственную информацию можно за счет рассмотрения не только распределения яркостей и цветов, но и местоположение пикселов с их равными или близкими значениями. Один из подходов здесь основан на применении матрицы вхождений. Матрица вхождений - это двумерный массив, индексы строк и столбцов которой соответствуют допустимым значениям яркости или цвета пикселов. Значение матрицы ]) указывает сколько раз значение / встречалось на изображении со значением] в некотором заданном пространственном отношении, определяемом вектором смещения ё [2].

Для полутоновых изображений часто используют нормированную матрицу вхождений:

Оа (¡, 1)

Nd (i, j) =■

(16)

££Cd (и j)

i j

Значения нормированной матрицы вхождений принадлежат диапазону [0, 1] и их можно рассматривать в качестве оценок вероятности совместного пространственного распределения соответствующих значений яркостей пикселов.

Матрицы вхождений используются как исходные данные для вычисления текстурных характеристик. Например, на основе нормированной матрицы вхождений можно вычислить следующие характеристики [2]: - энергия:

Energy = ££ Nd (i, j), (17)

- энтропия: Entropy = ££Nd (i, j) log2

1

Nd (i, j)

контраст:

СопЬШ = XX " 1)2 N. О,1) ,

- однородность:

^ (/, У)

Homogeneity = XX

г 1 корреляция:

1+1 г -11

СоггеШгоп = XX

(г -л)(1 -л) ^ (г, 1)

СТгСТ1

(19)

(20)

(21)

где л, л - средние значения, аг, О/ - среднеквадра-тические отклонения сумм ^(г) и N¿0, вычисленных в направлении строк и столбцов изображения:

Nd (г) = X Nd (г, 1), (22)

^ (1) = ! ^ (г,/).

(23)

Также могут применяться характеристики, описанные в книге [7]:

- максимум вероятности:

тах{^ (г, 1)}, (24)

момент разности к-го порядка:

XX (г -1)(г, 1):

(25)

обратный момент разности к-го порядка:

N. (г, 1)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

XX

(26)

г 1,1 .г (г - 1)к Еще одна применяемая разновидность матрицы вхождений для полутоновых изображений называется симметричной матрицей вхождений. В этой матрице группируются пары симметричных отношений смежности:

sd (г, 1) = с. (г, 1)+С^ (г, 1). (27) Аналогично можно построить матрицы вхождений для цветных изображений. Здесь можно использовать два подхода. Первый заключается в разделении цветного изображения на три полутоновых, каждое из которых соответствует одному из цветовых каналов, и вычислении характеристик этих полутоновых изображений. Второй подход предполагает квантование цвета, т.е. цветовую сегментацию, и построение матрицы вхождений для квантованных цветов.

На рис. 4 показаны четыре изображения с отличающимися текстурами, для которых определены энергия, энтропия, контраст и однородность по формулам (17) - (20). Значения соответствующих характеристик приведены в таблице 5 (строки соответствуют изображениям на рис. 4). Для их расчета была использована нормированная матрица вхождений с вектором смещения (2, 2).

Одной из проблем при построении текстурных характеристик на основе матриц вхождений является выбор вектора смещения. Для ее решения в случае нормированных матриц предлагается использовать статистическую проверку хи-квадрат. Здесь обосновывается, что наиболее выраженной структуре текстурного образа соответствуют значения вектора смещения ё, удовлетворяющие максимуму величины:

X

^) = XX

N. (г, 1)

1 N. (г)N. (1)

— 1.

(28)

в) г)

Рис. 4 - Текстурные изображения

Таблица 5 - Значения текстурных характеристик

№ Характеристики

Энергия Энтропия Контраст Однородность

1 0.000033 10.1178 4222.62 0.0549725

2 0.000075 9.5437 2158.24 0.0831185

3 0.000068 9.4649 2701.75 0.0663726

4 0.000202 8.7534 1018.89 0.1297459

Хорошо известным и простым в применении подходом к обнаружению характерных признаков изображений является выделение краев. Количество краев в заданной области фиксированного размера является некоторой характеристикой заполнения этой области. В процессе выделения краев обычно вычисляются их направления, значения которых также могут применяться для описания образа текстуры.

В настоящее время активно развивается подход к анализу текстур, базирующийся на применении локальных бинарных шаблонов [9, 10]. Локальный бинарный шаблон (ЛБШ) представляет собой описание окрестности точки изображения в двоичной форме. Оператор ЛБШ, который применяется к пикселу изображения, использует N пикселов окрестности, принимая центральный пиксел в качестве порога. Пикселы окрестности, интенсивности которых больше или равны интенсивности центрального пиксела принимают значения 1, а остальные - значения 0. Таким образом, получается N разрядный бинарный код, который описывает окрестность пиксела. Обычно используются восьмиразрядные ЛБШ. Локальный бинарный шаблон называется равномерным, если он содержит не более трех серий 0 и 1 (например, 00000000, 001110000 и 11100001). Равномерные ЛБШ определяют только наиболее важные локальные особенности изображе-

ния и обеспечивают существенное сокращение множества различных кодов. Характеристикой области изображения на основе ЛБШ является гистограмма кодов. Для поиска изображений используются методы сравнения гистограмм, аналогичные тем, что применяются к цветовым характеристикам.

В настоящее время активно развиваются методы обработки изображений, основанные на их пирамидальном представлении. Пирамида изображений - это набор представлений (слоев, уровней) изображения с различными масштабами. Как правило, каждый слой пирамиды в два раза меньше по высоте и по ширине, чем предыдущий. Часто применяются гауссовы и лапласовы пирамиды [1].

В гауссовой пирамиде каждый слой сглаживается симметричным гауссовым фильтром и подвергается повторной дискретизации, чтобы получить следующий слой. Слой гауссовой пирамиды предсказывает вид следующего уровня с более мелким масштабом. Ошибки предсказания можно зафиксировать с помощью лапласовой пирамиды. Ла-пласова пирамида строится следующим образом. Самый нижний уровень лапласовой пирамиды (слой с наиболее грубым масштабом) аналогичен нижнему уровню гауссовой пирамиды, а каждый следующий уровень представляет собой разность между слоем гауссовой пирамиды и предсказанием, полученным оператором повышения дискретизации (перевыборки), который увеличивает предыдущее изображение в два раза по обоим направлениям за счет повторения пикселов. В результате обработки изображений лапласовой пирамиды можно получить различные текстурных характеристики, локальные для каждого уровня. Это дает большой набор признаков, которые позволяют различать даже сложные иерархически организованные текстуры [11].

Для вычисления эффективных текстурных характеристик также могут применяться энергетические карты Лавса, автокорреляционная функция, частотный спектр, признаки Тамуры, фильтры Га-бора, вейвлетные признаки. Данные подходы достаточно подробно описаны, например, в работах [1-3, 5, 8, 12-14].

В литературе описано много различных характеристик формы. Простейшими из них являются геометрические параметры областей такие, как площадь, длина периметра, центр тяжести, округлость, прямоугольность, характеристики описывающего прямоугольника, характеристики выпуклой оболочки. Обычно эти характеристики вычисляются после сегментации изображения, заключающейся в его разделении на фон и объект.

Эффективными характеристиками формы являются начальные моменты, центральные моменты, нормированные центральные моменты и инвариантные моменты [8].

Ряд характеристик формы можно построить по результатам анализа границы области. Например, для описания формы можно применить цепные коды, с помощью которых можно представить границу области в виде последовательности соединенных отрезков с указанием их длин и направлений.

На основе преобразования Фурье можно построить фурье-дескрипторы границы. Пусть имеется

К-точечная дискретная граница на плоскости ху. Начиная с ее произвольной точки (х0, у0), будем обходить границу, например, против часовой стрелки, и обозначим координаты встречающихся точек границы в виде (х0, у0), (хь уО, ..., (хк-1, ук-1).

Эти координаты можно записать в форме x(k) = хк, у(к) = ук. Тогда границу можно представить в виде последовательности координатных пар <х(к), у(к)>, где k = 0, 1, ..., К-1. Далее, каждую пару координат можно рассматривать как комплексное число ^•(к) = х(к) + /у(к), где / - мнимая единица. Комплексные коэффициенты а(и), и = 0, 1, ..., К-1, дискретного преобразования Фурье конечной последовательности s(к), к = 0, 1, ..., К-1, называют фурье-дескрипторами границы. Достоинством фурье-дескрипторов является то, что наиболее существенная информация о границе, содержится, как правило, в небольшом количестве первых коэффициентов, а остальные можно отбросить.

Простейшей характеристикой формы является гистограмма формы [2]. Один из способов ее построения заключается в следующем:

1. Определяется количество разрядов гистограммы, равное минимальному числу строк и столбцов, в которых содержатся пикселы области;

2. Каждому разряду гистограммы ставится в соответствие одна из строк и столбцов области;

3. Каждый разряд гистограммы заполняется количеством пикселов области, содержащихся в соответствующей строке либо столбце.

Для обеспечения инвариантности к масштабу можно зафиксировать количество разрядов, соответствующих строкам и столбцам. Если определить порядок разрядов гистограммы так, чтобы они соответствовали просмотру области в направлении от левого верхнего угла к правому нижнему, то можно обеспечить инвариантность относительно переноса. Обеспечить инвариантность относительно поворота можно следующим образом: вычисляются оси наилучшего аппроксимирующего эллипса и область поворачивается до тех пор, пока большая ось не станет вертикальной.

Еще один возможный способ описания формы заключается в построении гистограммы по значению угла наклона касательной в каждом граничном пикселе области. Эта мера является инвариантной относительно масштаба и переноса. Чтобы добиться инвариантности относительно поворота используют следующие способы:

1) область поворачивают, контролируя положение большой оси аппроксимирующего эллипса;

2) гистограмма циклически сдвигается таким образом, чтобы первым разрядом стал разряд с наибольшим значением.

Для определения формы объекта на изображении применяются также моменты Зернике, которые являются ортогональными моментами, инвариантными к вращению, масштабу и переносу [3, 15].

Наличие или отсутствие объектов и их взаиморасположение могут служить критериями для поиска требуемых изображений, т.е. сопоставить изображения при контекстном поиске можно путем выделения на изображениях в базе данных объектов,

присутствующих на изображении-запросе. Для этого можно воспользоваться различными методами детектирования объектов на изображениях.

Например, для обнаружения объектов на изображениях в настоящее время активно применяется метод Виолы-Джонса, разработанный П.Виолой и М.Джонсом в 2001 г. В основе этого метода лежат: (1) интегральное представление изображения, (2) применение признаков Хаара, (3) классификатор на основе алгоритма адаптивного бустинга и (4) каскадное комбинирование классификаторов [16, 17].

Признак Хаара состоит из смежных прямоугольных областей. Эти области позиционируются на изображении, далее происходит суммирование интенсивности пикселей в областях, затем между суммами вычисляется разность. На этапе обнаружения в методе Виолы-Джонса используется окно, определенного размера, которое перемещается по изображению. Признак Хаара рассчитывается для каждой области изображения, соответствующей текущему положению окно. Наличие или отсутствие предмета в окне определяется разницей между значением признака и обучаемым порогом. Поскольку признаки Хаара мало подходят для обучения или классификации, для описания объекта с достаточной точностью необходимо большее число признаков. Поэтому в методе Виолы-Джонса признаки Хаара организованы в каскадный классификатор. Преимущество использования признаков Хаара является наибольшая, по сравнению с остальными признаками, скорость. При использовании интегрального представления изображения, признаки Хаара могут вычисляться за постоянное время.

После выделения объектов в некоторых случаях необходимо их идентифицировать. Для этой цели служат методы распознавания образов. На практике часто применяются байесовские классификаторы, машины опорных векторов, нейронные сети [18].

В настоящее время разработано большое количество систем контекстного поиска, имеющих различные архитектуры, предложенные, например:

- Лонгом, Жангом и Фенгом,

- Велткампом и Танасе,

- Руи, Хуангом и Чангом,

- Хове,

- Жуангом, Лиу и Паном,

- Нака, Верником, Янгом и Галатсаносом. Независимо от конкретной архитектуры, современные системы поиска изображений по содержанию обязательно включают следующие подсистемы [3]:

1. Базу изображений;

2. Подсистему извлечения низкоуровневых признаков изображений;

3. Базу визуальных признаков;

4. Подсистему индексации изображений;

5. Интерфейс пользователя;

6. Дополнительные подсистемы, реализующие различные методы обработки информации, в том числе: метод автоматической аннотации изображений, метод индексации изображений с использованием тезауруса форм, методы определения сходства изображений, соответствующие че-

ловеческому восприятию сходства изображений, и др.

Эффективная организация поиска изображений позволяет повысить точность управляющих решений и сократить время на их формирование.

Литература

1. Форсайт Д. А., Понс Ж. Компьютерное зрение. Современный подход: Пер. с англ. - М.: Издательский дом «Вильямс», 2004.

2. Шапиро Л. Компьютерное зрение / Л.Шапиро, Дж.Стокман; Пер. с англ. - М.: БИНОМ. Лаборатория знаний, 2006.

3. Левашкина А.О. Разработка методов поиска изображений на основе вычислительных моделей визуального внимания. Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.17. - Екатеринбург, 2009.

4. Gary Bradsky, Adrian Kaehler Learning OpenCV Computer Vision with the OpenCV Library - O'Reilly, 2008.

5. Long F., Zhang H., Feng D. Fundamentals of content-based image retrieval // Multimedia Information Retrieval and Management - Technological Fundamentals and Applications, Springer-Verlag, 2003, pp. 1-26.

6. J.R. Parker, Algorithms for Image Processing and Computer Vision (2nd edition), John Wiley & Sons Ltd., New York, 2010.

7. Стандарт MPEG-7 [Электронный ресурс]: Дескриптор доминантного цвета. - Режим доступа: http://book.itep.ru/1/15/mpeg_7.htm, 11.09.2014.

8. Гонсалес Р., Вудс Р. Цифровая обработка изображений: Пер. с англ. - М.: Техносфера, 2005.

9. Matti Pietikinen, Abdenour Hadid, Guoying Zhao, Timo Ahonen Computer Vision Using Local Binary Patterns. -Springer; 2011.

10. Кирпичников А.П., Ляшева С.А., Шлеймович М.П. Обнаружение и сопровождение объектов в бортовых системах обработки изображений //Вестник Казанского технологического университета. - Казань: КНИТУ, 2014. - Т. 17. № 13. - С. 331-334.

11. Яне Б. Цифровая обработка изображений. - М.: Техносфера, 2007.

12. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учеб. пособие. - СПб: СПбГУ ИТМО, 2008.

13. M.Tuceryan, A.K.Jain, Texture analysis, in: C.Chen, L.F.Pau, P.S.P.Wang (Eds.), The Handbook of Pattern Recognition and Computer Vision (2nd edition), World Scientic Publishing Co., 1998, pp. 207-248.

14. W.Y.Ma, and B.S.Manjunath, "A comparison of wavelet features for texture annotation," Proc. of IEEE Int. Conf. on Image Processing, Vol. II, pp. 256-259, Washington D.C., Oct. 1995.

15. Чернодуб А.Н. Метод выделения признаков на основе совместных векторов моментных фазовых распределений и моментов Зернике / А.Н.Чернодуб // Proc. of XVI-th International Conference "Knowledge-Dialogue-Solution", (September 06 - 10, 2010, Kyiv (Ukraine)). -Kyiv, 2010. - P. 162-169.

16. Введение в естественно-интуитивное взаимодействие с компьютером [Электронный ресурс] // Национальный Открытый Университет «ИНТУИТ» [Офиц. сайт]. URL:

http://www.intuit.ru/studies/courses/10619/1103/info (дата обращения: 30.09.2014).

17. Введение в разработку мультимедийных приложений с использованием библиотек OpenCV и IPP [Электронный ресурс] // Национальный Открытый Универ-

ситет «ИНТУИТ» [Офиц. сайт]. URL: http://www.intuit.ru/studies/courses/10621/1105/info (дата обращения: 30.09.2014).

18. Местецкий Л.М. Математические методы распознавания образов [Электронный ресурс] // Национальный

Открытый Университет «ИНТУИТ» [Офиц. сайт]. URL: http://www.intuit.ru/studies/courses/2265/243/info (дата обращения: 13.09.2014).

© А. П. Кирпичников - д. ф.-м. н., зав. каф. интеллектуальных систем и управления информационными ресурсами КНИТУ, [email protected]; С. А. Ляшева - к.т.н., доцент кафедры прикладной математики и информатики КНИТУ-КАИ; М. П. Шлеймович - к.т.н., доцент кафедры автоматизированных систем обработки информации и управления КНИТУ-КАИ, [email protected].

© A. P. Kirpichnikov - Dr. Sci, Head of the Department of Intelligent Systems & Information Systems Control, KNRTU, [email protected]; S. A. Lyasheva — PhD, Associate Professor of the Department of Applied Mathematics & Informatics, KNRTU-KAI; M. P. Shleymovich - PhD, Associate Professor of the Department of Automated Information Processing Systems & Control, KNRTU-KAI, [email protected].

i Надоели баннеры? Вы всегда можете отключить рекламу.