Контекстный поиск изображений в Web - системах Текст научной статьи по специальности «Прочие технологии»

УДК 004.9312

А. Ю. Горев, М. П. Шлеймович, А. О. Юдинцева

КОНТЕКСТНЫЙ ПОИСК ИЗОБРАЖЕНИЙ В WEB - СИСТЕМАХ

Ключевые слова: изображения, информационный поиск, контекстный поиск изображений, гистограммы изображений, оператор локальных бинарных шаблонов, корреляция, хи-квадрат, пересечение, расстояние Бхаттачария.

Рассмотрены системы контекстного поиска изображений. Описаны алгоритмы поиска изображений на основе оператора локальных бинарных шаблонов, гистограмм характерных признаков изображений и различных метрик сравнения (корреляции, хи-квадрат, пересечение, расстояние Бхаттачария). Проведен анализ работы алгоритмов на основе экспертных оценок.

Keywords: images of clothes, pattern recognition, image histogram, the operator LBP, Correlation, Chi-Square,

Intersection, Bhattacharyya distance.

Article is devoted to the process of image recognition clothing. Described problem of this direction. Described the algorithms of image recognition based on the operator's clothing LBP, image histograms; the analysis of algorithms based on four metrics: correlation, chi-square, crossing, Bhattacharya distance.

В настоящее время активно развиваются системы электронной коммерции, основанные на применении интернет-технологий. Одной из наиболее важных задач в таких системах является организация информационного поиска, эффективность которого характеризуется, прежде всего, временем и точностью. Обеспечить оптимальное соотношение между этими показателями позволяет применение методов искусственного интеллекта. Интеллектуализация информационного поиска особенно актуальна в системах, в которых информация для клиентов представляется в виде изображений из коллекций

больших объемов. В подобных системах применяются методы контекстного поиска изображений (CBIR, content based image retrieval). На рис. 1 приведена классификация систем поиска изображений, применяемых на практике [1].

Формально задача контекстного поиска изображения может быть сформулирована следующим образом:

j = arg min{p(x, i) | x e I},

(1)

Рис. 1 - Классификация систем поиска изображений по содержанию

где I - множество изображений в базе данных, / -изображение-запрос, } - изображение из коллекции, наиболее похожее в смысле заданной метрики на изображение-запрос, р - функция расстояния между изображениями, построенная на основе заданной метрики. Отметим, что в реальных системах часто требуется найти не одно, а множество изображений, похожих на изображение - запрос:

J = {j | p(j, i) < Л}

(2)

где Л - величина, определяющая допустимое отличие результата поиска от заданного изображения.

Очевидно, что эффективность системы поиска изображений зависит от метрики, используемой для сравнения изображений.

В данной работе рассматриваются алгоритмы, в основе которых лежит анализ гистограмм признаков изображений.

Их эффективность оценивалась путем сравнения полученных упорядоченных в соответствии с расстоянием относительно изображения-запроса множеств изображений с множеством, определенным экспертным путём.

В качестве признаков изображений были использованы локальные бинарные шаблоны (ЛБШ) и значения интенсивности цвета.

При решении различных задач, связанных с обработкой графической информации, часто применяются методы сжатия изображений, которые позволяют снизить требования к ресурсам вычислительной системы [2].

Кроме того, были использованы модификации с уменьшением размеров изображений и использованием локальных по области гистограмм. В последнем случае выполнялось разбиение изображений на области пропорционально степеням числа два по горизонтали и вертикали.

Для проведения экспериментов

использовалось разработанное авторами программное средство, позволяющее

автоматизировано проводить описанный анализ.

Его ядро реализовано на языке программирования высокого уровня Python, пользовательский интерфейс представляет собой WEB-сайт, реализованный с использованием языка программирования высокого уровня PHP.

В таблицах 1 и 2 показаны значения, полученные следующим образом.

Было выбраны 3 изображения-запросы и 240 изображений обучающей выборки.

Для каждого изображения-запроса и для каждого из изображений обучающей выборки были вычислены соответствующие характеристики.

Между характеристиками каждого изображения-запроса и характеристиками каждого изображения из обучающей выборки было вычислено расстояние с использованием четырех различных подходов на основе метрик (1) - (4).

Полученные значения определяют три последовательности на множестве изображений обучающей выборки.

Каждая из полученных

последовательностей сравнивается с экспертной оценкой на основе эвклидова расстояния между нормализованными векторами весов, полученных с использованием данного алгоритма, и сформированных экспертом.

Таблица 1 содержит математическое ожидание (М.о.) каждой тройки полученных значений, таблица 2 - их дисперсию, которую можно считать оценкой стабильности работы алгоритма.

Жирным шрифтом выделены ячейки, для которых пара алгоритм-оценка имеют наибольшее значение, курсивом - наименьшее.

Таблица 1 - Результаты экспериментов (М. о.)

Алгоритм 1 2 3 4

Анализ гистограмм без разбиения изображения 0,63 0,62 0,60 0,62

Анализ гистограмм с разбиением изображения 16x16 0,49 0,61 0,63 0,60

Анализ гистограмм с разбиением изображения 2x2 0,61 0,62 0,60 0,62

Анализ гистограмм с разбиением изображения 4x4 0,56 0,66 0,64 0,65

Анализ гистограмм с разбиением изображения 8x8 0,64 0,64 0,64 0,61

Анализ гистограмм оператора ЛБШ без разбиения изображения 0,62 0,62 0,60 0,63

Анализ гистограмм оператора ЛБШ с разбиением изображения 16x16 0,60 0,66 0,66 0,64

Анализ гистограмм оператора ЛБШ с разбиением изображения 2x2 0,61 0,62 0,60 0,62

Анализ гистограмм оператора ЛБШ с разбиением изображения 4x4 0,59 0,64 0,61 0,61

Анализ гистограмм оператора ЛБШ с разбиением изображения 8x8 0,64 0,64 0,64 0,61

Анализ вектора цветов изображения после приведения изображения к размеру 16x 16 0,62 0,63 0,64 0,65

Анализ вектора цветов изображения после приведения изображения к размеру 256x256 0,73 0,73 0,75 0,73

Анализ вектора цветов изображения после приведения изображения к размеру 4x4 0,73 0,56 0,56 0,55

Анализ вектора цветов изображения после приведения изображения к размеру 64x64 0,71 0,73 0,75 0,73

Таблица 2 - Результаты экспериментов (дисперсия)

Алгоритм 1 2 3 4

Анализ гистограмм без разбиения изображения 0,01 0,01 0,01 0,01

Анализ гистограмм с разбиением изображения 16x16 0,12 0,01 0,01 0,01

Анализ гистограмм с разбиением изображения 2x2 0,01 0,01 0,01 0,01

Анализ гистограмм с разбиением изображения 4x4 0,01 0,01 0,01 0,01

Анализ гистограмм с разбиением изображения 8x8 0,0 0,01 0,01 0,01

Анализ гистограмм оператора ЛБШ без разбиения изображения 0,01 0,01 0,02 0,01

Анализ гистограмм оператора ЛБШ с разбиением изображения 16x16 0,01 0,01 0,01 0,01

Окончание табл. 2

Алгоритм 1 2 3 4

Анализ гистограмм оператора ЛБШ с разбиением изображения 2x2 0,01 0,01 0,01 0,01

Анализ гистограмм оператора ЛБШ с разбиением изображения 4x4 0,01 0,01 0,01 0,01

Анализ гистограмм оператора ЛБШ с разбиением изображения 8x8 0,01 0,01 0,01 0,01

Анализ вектора цветов изображения после приведения изображения к размеру 16x16 0,07 0,12 0,10 0,13

Анализ вектора цветов изображения после приведения изображения к размеру 256x256 0,08 0,16 0,11 0,18

Анализ вектора цветов изображения после приведения изображения к размеру 4x4 0,13 0,18 0,16 0,18

Анализ вектора цветов изображения после приведения изображения к размеру 64x64 0,01 0,06 0,03 0,09

Для определения расстояния между двумя изображениями были использованы следующие метрики [2]:

1. Корреляция:

N

Ё щт 2 (о

dcorrel (H1, H2 ) =

Ё н1'2(/■) н 22(/)

1

N

где Н'к (¿) = Нк (¿) - - Ё Нк (/), к е {1, 2}, Л/ -

^ /=1

число элементов гистограммы. Для корреляции большая оценка представляет лучшее совпадение, чем меньшая. Совершенное совпадение это 1, а совершенное несовпадение -1. Значение 0 указывает на отсутствие корреляции (случайные ассоциации).

2. х-квадрат:

сЫ-хдиаге

Н н 2) = Ё

(Я,(/) - Н 2(/))2 1 Н,(/) + Н 2 (¿)

Для данной метрики более низкое значение расстояния означает лучшее совпадение, чем более высокое. Идеальное совпадение равно 0, а совершенное несовпадение не ограничено - зависит от размера гистограммы.

3. Пересечение:

N

^ ег ,0 ,юп Н Н2) = Ё Ш1П(Н1(/) - Н 2 (■)}

Для пересечения, высокое значение расстояния указывает на хорошее совпадение, а

низкое - на плохое. Если обе гистограммы нормированы, то идеальное совпадение будет давать в результате применения метрики 1, а совершенное несовпадение - 0.

4. Расстояние Бхаттачария:

БкаМаскгууа

Н Н 2) =

1 -Ё

¿=1

УН1(рН 2(р

Ё Н2©Ё Н ¡(¿) =1 =1

Для расстояния Бхаттачария низкие показатели свидетельствуют о хорошем совпадении, а высокие - о плохом. Идеальное совпадение дает 0, а совершенное несовпадение - 1.

Рис. 2 - Исходное изображение

1Ш1в1б1

Рис. 3 - Последовательность наиболее похожих изображений (1)

На рис. 2 приведено одно из изображений обучающей выборки. Наибольшее совпадение с мнением эксперта для данного изображения дал алгоритм «Анализ вектора цветов изображения после приведения изображения к размеру 256x256» при использовании метрик 2, 3 и 4. Причем для всех трех метрик первые четыре наиболее похожие с точки зрения алгоритма изображения были выбраны одни и те же изображения (рис. 3). Наихудшее совпадение дал алгоритм «Анализ вектора цветов изображения после приведения изображения к размеру 4x4» при использовании тех же метрик 2, 3 и 4 (рис. 4)

Рис. 4 - Последовательность наименее похожих изображений

Таким образом, рассмотренные подходы к поиску изображений могут быть использованы на практике, например в такой области, как поиск изображений одежды в интернет-магазинах. При этом можно повысить их точность при помощи) увеличения размеров окрестностей, для которых определяются локальные бинарные шаблоны, применения скрытых марковских моделей, анализа

¿=1

¿=1

изображений с использованием текстурных характеристик Лавса и комбинирования с другими методами [4-6]. Каждый объект можно охарактеризовать совокупностью значимых признаков. И по этим признакам можно находить объект в пространстве или описывать процессы по имеющейся информации о признаках. Избавляясь от избыточности данных, можно получать более эффективное решение [7].

Литература

1. Костюкова Н.С. Применение контекстного поиска изображений при поиске графических файлов, похожих по содержанию // 7-я международная конференция «Интеллектуальный анализ информации ИАИ-2007», г.Киев, 15-18 мая 2007 г., сборник трудов. - С. 178-186.

2. Гайнуллин Р.Н., Медведев М.В., Шлеймович М.П. Ускорение поиска блоков изображения при фрактальном сжатии на основе вейвлет-преобразования. Вестник Казанского технологического университета. 2013. Т. 16. № 10. С. 280-284.

3. Bradsky G., Kaehler A. Learning OpenCV Computer Vision with the OpenCV Library - O'Reilly, 2008.

4. Талбонен, А.Н. Аннотирование изображений электронной коллекции исторических фотографий / А.Н. Талбонен, А.А. Рогов // Электронные библиотеки: перспективные методы и технологии, электронные коллекции: Труды XIV Всероссийской научной

конференции КСБЬ'2012, Переславль-Залесский, Россия, 15-18 октября 2012 г. - Переславль-Залесский. -2012. - С. 381-389.

5. Шапиро Л., Стокман Дж. Компьютерное зрение / Л.Шапиро, Дж.Стокман; Пер. с англ. - М.: Бином. Лаборатория знаний, 2006. - 752 с.

6. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход: Пер. с англ. - М.: Издательский дом «Вильямс», 2004. - 928 с.

7. Мокшин В.В., Кирпичников А.П., Шарнин Л.М. Отслеживание объектов в видеопотоке по значимым признакам на основе фильтрации частиц Вестник Казанского технологического университета. 2013. Т. 16. № 18. С. 297-30.

© А. Ю. Горев - сотр. каф. АСОИУ, ИТКиИ, КНИТУ-КАИ им. А.Н. Туполева, kvirund@gmail.com; М. П. Шлеймович -к.т.н., доц. каф. АСОИУ, ИТКиИ, КНИТУ-КАИ им. А.Н. Туполева, shlch@mail.ru; А. О. Юдинцева - асп. каф. АСОИУ, ИТКиИ, КНИТУ-КАИ им. А.Н. Туполева, anastasia.o.yudintseva@gmail.com.

© A. Gorev - the colleague of KNRTU-KAI, kvirund@gmail.com; M. Shleymovich - associate professor, KNRTU-KAI, hlch@mail.ru; A. Yudintseva - associate professor, KNRTU-KAI, anastasia.o.yudintseva@gmail.com.