Методы представления и сравнения семантически разных классов изображений Текст научной статьи по специальности «Компьютерные и информационные науки»

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

МЕТОДЫ ПРЕДСТАВЛЕНИЯ И СРАВНЕНИЯ СЕМАНТИЧЕСКИ РАЗНЫХКЛАССОВ

ИЗОБРАЖЕНИЙ

Г.А. Кухарев,

доктор технических наук, профессор кафедры математического обеспечения ЭВМ Санкт-Петербургского государственного электротехнического университета, профессор факультета информатики Западно-поморского технологического университета, Щецин, Польша (West Pomeranian University of Technology, Szczecin, Poland)

Е.И. Каменская,

кандидат технических наук, инженер программного обеспечения компании Google, Цюрих, Швейцария

Н.Л. Щеголева,

кандидат технических наук, доцент кафедры математического обеспечения ЭВМ Санкт-Петербургского государственного электротехнического университета

E-mail:: kuga41@gmail.ru, ekamenskaya@google.com, stil_hope@mail.ru Адрес: г. Санкт-Петербург, улица Профессора Попова, 5

В статье обсуждаются методы представления и сравнения семантически не связанных изображений c оценкой их меры подобия в исходном пространстве признаков, а также в пространстве канонических переменных (ПКП). Последнее достигается в рамках алгоритма 2D CCA/2D KLTдля реализации проекции этих изображений в ПКП.

Ключевые слова: сравнение семантически не связанных изображений, канонический корреляционный анализ, фазовая корреляция, индекс подобия.

1. Введение

В последнее десятилетие активно развивается область информатики, связанная с биометрическими технологиями распознавания и понимания людей [1 — 3]. В рамках этих технологий решаются как относительно простые задачи, например, поиск людей в больших базах по фотопор-

третам, идентификация и аутентификация людей, так и более сложные задачи — понимание намерений людей в процессе распознавания и интерпретации их эмоционального и психофизического состояния, а также задачи, охватываемые, проблемой человеко-компьютерного взаимодействия (human-computer interaction) или проблемой интерфейса мозг-компьютер (brain-computer interface).

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г.

43

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

Особенность этих задач состоит в наблюдении за человеком с разных, внешне не связанных между собой, сторон и использование информации этих наблюдений для интерпретации или понимания одних наблюдений через другие. Именно поэтому, в последнее время интересы специалистов по компьютерным технологиям и распознаванию образов обратились к математическим методам, позволяющим трансформировать два (не связанных между собой) набора данных из исходного пространства признаков (ИПП) в новое общее подпространство признаков, в котором исходные наборы данных сильно коррелируют. Эти методы строятся на основе проекций на латентные структуры (Partial Least Squares, Projection Latent Structures — PLS) и канонического корреляционного анализа (Canonical Correlation Analysis — CCA).

Метод CCA был представлен Хоттелингом в 30-х годах прошлого столетия и описывал соотношение между двумя одномерными рядами данных [7] с прогнозом его применения к многомерным данным. Однако сложность и объем вычислений в ССА привела к тому, что потребовалось семьдесят лет ожиданий на первое практическое применение ССА к наборам цифровых изображений. При использовании ССА в приложении к обработке цифровых изображений возникли две проблемы. Первая связана с многомерностью исходных данных — изображений, как объектов 2D, с третьим измерением, определяющим яркость и четвертым измерением, определяющим цветовые компоненты. Вторая связана с проблемой малой выборки (Small Sample Size) [20], когда размерность ИПП значительно превосходит число изображений в исходной выборке.

Поэтому публикации, связанные с широким применением методов PLS и ССА в задачах обработки изображений вообще и в задачах биометрии, в частности, появились только в последние 5 — 7 лет, когда сформировались новые подходы к реализации PLS и CCA на основе двумерных методов проекции.

Однако и здесь оказалось все не так просто. Можно с сожалением отметить, например, что работа [10], в которой впервые была представлена революционная идея реализации двумерного анализа главных компонент и двумерного преобразования Карунена-Лоэва в приложении к обработке изображений, осталась незамеченной большинством исследователей. Более того, исказилась история развития этого метода: ошибочно считается, что первый раз этот метод был представлен в работе [13], хотя речь в ней идет о проекции только по

одному направлению (а именно по строкам изображения), что не соответствует названию «IWo-dimen-sional PCA».

Подчеркнем еще раз, что история метода двумерных проекций в приложении к обработке изображений началась с работы [10], продолжена в работах [1, 3, 11, 12], а для задач, решаемых на основе CCA и PLS, развита и показана в работах [14, 15]. Полная история развития методов представления и обработки изображений в подпространствах, определяемых на основе двумерных проекций в собственных базисах, получаемых в рамках PCA, LDA, PLS и CCA, показана в работе [15].

В работах [14, 15] рассмотрено решение нескольких прикладных задач с использованием бенчмар-ковых баз изображений лиц ORL, Face94, FERET, EQUNOX. Здесь были показаны: специфика обработки и взаимного распознавания изображений разных категорий (например, инфракрасных, термо- и видео- изображений), представляющих одно и то же лицо человека; особенности представления и обработки гендерно смешанных лиц (мужского и женского), состоящих в одном классе и методы их взаимного распознавания. При этом были рассмотрены случаи, когда все изображения в составах X и Y относились к одному и тому же глобальному классу — классу «лица людей». Возможно, это повлияло на полученные высокие результаты корреляции в подпространствах.

Цель настоящей статьи — представление методов сравнения семантически не связанных изображений c оценкой меры их подобия в исходном пространстве признаков, а также представление алгоритма 2D CCA/2D KLT для реализации проекции этих изображений в ПКП и оценка меры их подобия в ПКП.

2. Структура вычислений в ССA/KLT

В рамках ССА информация об объекте (форма, модель или иная группа признаков) переводится из ИПП в ПКП, и все дальнейшие операции осуществляются в этом пространстве. Рассмотрим структуру вычислений в ССА.

Пусть нам заданы два набора исходных данных X и Y, состоящие из K векторов размером DIM*1 каждый так, что:

Х= [XmX{2\..XiK)] и Y = [Е(1)Е(2)... Г(АГ)]. (1)

Целью CCA является нахождение двух матриц проекции, трансформирующих исходные

44

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

данные в пространство канонических переменных X(k) —> U(k) и Y(k) —>V(k) так, чтобы выполнялось условие: ||U(k) — V(k)||—» min. Исходные данные X(k) и Y(k) могут быть не связаны между собой корреляцией, в то время как канонические переменные U(k) и V(k), полученные в результате ССА, связываются между собой устойчивой корреляцией, максимум которой достигается при решении двух совместных задач на собственные значения [7]:

Vc-^c-^w^WtK

антропометрические точки на области лица или координаты (параметры) эластичной модели лица). В отличие от исходных признаков, канонические переменные U и V всегда относятся к категории спектральных признаков в собственном базисе, а число признаков d определяется выбором главных компонент на первом этапе (или числом выбранных базовых функций в матрицах W и W на втором этапе). В любом случае, размерность d всегда меньше размерности DIM (то есть d << DIM), что обычно связывают с редукцией размерности пространства признаков.

где: — матрицы ковариации порядка

DIM, причем

С^ХХ1, C^YY^C^XY^C^Cl;Кх,Ху диагональные матрицы собственных значений;

Wx и W — матрицы собственных векторов (матрицы проекций).

Если представить результаты ССА следующим образом:

U=[UmU{2)...U(K)] и 7=[Г(1)Г(2)..Т(1)] , (3)

то условие || U(k) — V(k)|| —>min|| для V k, заменяется условием ||U — V||—>min, которое достигается при максимизации отношения:

w.

Cxywy

^C^x)(y^C„wy)

■■ max ,

(4)

Исходное

пространство

призднаков

Пространство

каконических

призднаков

W.

*0-►V

Рис. 1. Пример системы, основанной на CCA

что связано с поиском векторов wx и wy, входящих в матрицы W и W .

Обозначение CCA/KLT подчеркивает тот факт, что реализация собственно канонического корреляционного анализа (CCA) является отдельным этапом, на котором определяются матрицы проекции Wx и W (или собственный базис). Заметим, что первый этап может выполнять самостоятельную роль — анализ исходных данных.

Второй этап — собственно проекция исходных данных в пространство канонических переменных (KLT подчеркивает реализацию проекции в собственном базисе, определенном матрицами Wx и W ) выполняется следующим образом:

U=W?X, V=WyY . (5)

В приложении к обработке изображений в биометрии входной информацией для CCA могут быть некоторые признаки исходных изображений (например, яркостные или спектральные в базисе Фурье или базисе собственного преобразования),

На рис. 1 показан пример системы распознавания изображений лиц на основе ССА, где входными данными являются параметры ЭМЛ и гистограммы яркости изображений или параметры ЭМЛ и спектр изображения лица. Система реализует идею «multirepresentation» — представление одного и того же лица различными составами признаков, которые в общем случае не коррелируют между собой.

Эта система представляет собой типичный пример ранних идей применения ССА в приложении к обработке изображений (как двумерных данных), в которой отразился этап векторного представления исходных изображений (ИПП). При этом часто перед векторизацией исходных изображений, предварительно уменьшался их размер и только после этого выполнялся ССА или сначала выполнялась векторизация исходных изображений, затем редукция размерности ИПП с использованием PCA/KLT или LDA/KLT и, только потом, ССА. Аналогичный путь прошло и применение PLS, поэтому вместо блока ССА на рис. 1, можно было бы поставить блок PLS.

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г

45

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

Исходные данные

Исходные данные, структуру вычислений в ССА, а также их результаты можно схематически представить так, как показано на рис. 2, где блоки «®» реализуют процедуру проекции исходных данных в новое пространство переменных.

Вычисления в ССА заканчиваются выбором параметра d редукции размерности пространства признаков (причем d < DIM), нахождением коэффициентов корреляции рк = и проверкой

качества взаимного соответствия переменных в новом пространстве признаков. Эти операции реализуются в блоке «Верификация».

Вычислительная сложность в CCA/KLT определятся размерностью DIM, а возможность устойчивого решения задач на собственные значения связана с условием:

DIM < K (6)

Выполнение этого условия особенно важно в приложении к обработке изображений, поскольку размерность DIM связана с размерами M х N изображения (или общим числом его пикселей MN). Размерность исходного признакового пространства в этом случае составляет DIM = MN и обычно DIM >> K, что известно как проблема малой выборки. Именно поэтому, методология ССА в приложении к обработке изображений в биометрии и была основана на двух подходах, связанных, с одной стороны, с обеспечением выполнения условия (6), а с другой стороны, с возможностью использования базового метода [7], изначально ориентированного на обработку одномерных данных, представляющих каждый образ.

Представим метод реализации ССА, не требующий предварительной процедуры «DownSampling», и не требующий формального выполнения условия (6). Этот метод развивает идеи двумерной проекции [10].

3. Алгоритмы 2D CCA/2D KLT

Пусть заданы два набора исходных данных, состоящие из K изображений размером Mх N каждое:

Х = [Х(1)Х(2)...Хт] и Y = [7(1)7(2)... 7(J°], (7)

где Хк и Хк — пары изображений, при этом MN>> К. Определим средние образы:

Х = —^Х(к) и 7 = —^7(i) V k=1, 2, ..., K. (8) К *=1 К *=1

Положим X™ = (Хт -X) и 7W = (Xw -7), тогда вместо (8) получим наборы данных, центрированных относительно средних значений:

X = [X(1)X(2)...Xm];7 = [7(1)7(2)...7(i)], (9)

для которых вычислим по четыре матрицы ковариации:

C£>=(Z)JF; C^=7(7f; C«=l(7f; C£ = (Cf; (10a) C2 = (XfXi C«=(7)r7; C%=0rfY- C%=(C%f. (10b)

В выражении (10) знаки «г» и «с» подчеркивают факт вычисления матриц ковариации относительно строк (row) и столбцов (column) исходных изображений.

Вычислим (с использованием матриц (10)), по две общие (total) матрицы рассеяния:

= [С£ г1 С£> [С£ ] ~1С%, (11a)

<y(*"V)=[CWriCM[CW]-iCW_

Sm =[С«Г1С^[С«]-1С^) (11b)

<j*(total2,c) _ [C(c) j-1 C(c) |-£>(c) j -l£i(c)

В рамках двумерных методов, целью 2D CCA является определение четырех матриц проекции и Wy, Wy трансформирующих исходные

46

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

данные в пространство переменных X(k) —> U(k) и Y(k)—»V(k), что достигается решением четырех задач на собственные значения:

fi(totalt,r)jy(r)_ дМда/М . Ы1о1аП,с)ц/-(с) _ д (с)тр-(с).

Ъ Х1 Х1 ’ “ *2 *2 "*2 ’ (12)

C(lotan,r)uf(r)_ дМи^О). г.(мга/2,с)т2/(с) _ д(0м/(0

где Л , Л , Л , Л — диагональные матрицы собственных значений для данных по строкам (1) и столбцам (2) соответственно; и Щ,Щ — ма-

трицы проекции.

Трансформация исходных данных в новое пространство реализуется как двумерное преобразование Карунена-Лоэва в форме:

U(k)= WjXmWv и V(k>= WjYmW„, V k, (13)

*1 У\ х2 Уг ’ v 7

где U(k), Vk) — матрицы, представляющие исходные изображения в новом пространстве признаков.

Определим главные компоненты. Ими будут те из них, которые имеют наибольшие значения. При этом основная изменчивость матриц ковариации может быть «описана» всего d<<K наибольшими собственными значениями, т.е. если собственные значения упорядочены по убыванию, то при любых dj > 1 и d2 > 1 всегда выполняются следующие условия:

d\ М d2 N

Х(АГ)2 »£(W и Х(А/С))2»Х(Я^)2 (14)

1=1 /=<^+1 /=1 i=d2+l

где Л-г) и Я1с) — собственные значения; di<< M; d2 << N и dj Ф d2 в общем случае.

Нижняя граница параметра d может быть выбрана экспериментально на этапе верификации результата выполненного анализа по критерию (4).

Для редукции размерности процедуру (13) необходимо модифицировать так, чтобы в проекции участвовали только те собственные векторы, которые соответствуют d главным компонентам. Для этого, из матриц Wx, Wy выберем d строк, соответствующих d наибольшим собственным значениям, и на их основе сформируем матрицы редукции Fxl и Fyj. А из матриц Щr выберем d столбцов, соответ-

ствующих d наибольшим собственным значениям, и на их основе сформируем матрицы Fx2 и F 2.

Для каждого исходного изображения выполним «усеченное» двумерное преобразование Карунена-Лоэва, которое может быть представлено в следующей форме:

F.X^F., f(k)= F YmFx V k. (15)

*1 *2 У\ У-1

M

M

M

M

N

N

Ж

N

W

Й

*N

XI

□

d

Руг

□

Канонические

переменные

V(k> Fyl

<*i'>IZZh «

d IliiMdil

1 уг

N d

Рис. 3. Матрицы проекции и их использование

Здесь знак «%• определяет отличие результата от (13).

Размер матриц-результатов в (15) равен dх d или dj х d2. Результирующие матрицы (наборы) переменных определяемые как

U = [UmUi2\.. U(K)] и V = [VmV™... F(jsr)] (16)

будут иметь размеры d х d х K или dl х d2 х K.

Реализация этапа формирования матриц проекции и выполнение проекции (15) отражена на рис. 3: формирование матриц FxV Fx2, Fyl и Fyl (слева) и схема вычисления переменных (справа). И, как видно, именно на этом этапе и реализуется двумерное преобразование Карунена-Лоэва (2D KLT — Two Dimensional Karhunen-Loeva Transform).

4. Характеристика метода 2D CCA/2D KLT

Метод 2D CCA/2D KLT основан на представлении исходных изображений как совокупности строк и столбцов и реализации ССА по этим совокупностям.

Метод не требует предварительного уменьшения размеров исходных изображений, не является итерационным и прямо реализуется по двум направлениям координат — а именно по строкам и столбцам исходного изображения, что определено в (13) и (15).

Максимальный порядок матриц ковариации в методе 2D CCA/2D KLT равен DIM = max{M, N},

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г

47

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

что предопределяет практическую возможность решения задачи на собственные значения и стабильность этого решения даже для изображений очень больших размеров.

Кроме того, проблема SSS в этих методах также обходится стороной, поскольку вместо каждого изображения размером M х N фактически используется N изображений размером M х 1 и M изображений размером N х 1. При таком представлении исходных данных, всегда выполняется условие: DIM= max{M, N}<(KM) или DIM = max{M, N}<(KN), если K> 2.

5. Исходная база изображений для экспериментов

Рассмотрим случай, когда исходные изображения относятся к разным глобальным классам. Примером являются изображения базы «Люди и Собаки» («People and Dogs»), содержащей пары изображений — портреты хозяина и его собаки, подобранные так, чтобы показать, что между портретами существует некоторое подобие (см.рис. 4) [16].

При помощи данной базы изображений можно выяснить два принципиальных вопроса:

1) насколько наша визуальная оценка подобия этих портретов в исходной их форме, сравнима с формальными оценками подобия этих портретов;

2) как изменяется подобие этих портретов в ПКП.

1 2 3

4 5 6

Рис. 4. Примеры пар изображений базы «Люди и собаки» [16]

1 2

Рис. 5. Выбранные

6. Сравнение в исходном пространстве признаков

Пары изображений на рис. 4, имеют некоторое внешнее сходство между хозяином и его собакой, которое определяется следующими факторами: близким по форме выражением лица хозяина и «морды» собаки; одинаковым ракурсом двух портретов; близкой по форме прической хозяина и экстерьером собаки; цветовой гаммой — одинаковый цвет волос хозяина и окраски шерсти собак, соответствующий цвет одежды.

Очевидно, что наиболее просто можно проверить отмеченное сходство по цветовой гамме. Формально его можно оценить, сравнивая соответствующие яркостные гистограммы исходных цветных изображений.

Покажем это для 1, 2 и 5 пар исходных изображений, поскольку они имеют наиболее выразительное сходство (см. рис. 5).

Вычислим для каждого изображения цветовую яркостную гистограмму [19] и фазовую корреляцию для каждой пары изображений [1] (см. рис. 6).

Сравнивая гистограммы изображений каждой пары можно «на глаз увидеть их сходство», которое формально оценено через фазовую корреляцию. Пик этой корреляции превышает значение 0.75, при относительно малых ее боковых значениях, что свидетельствует о высокой степени подобия между изображениями внутри каждой пары. Максимум корреляции (== 0.9) достигается для пары № 1, изображения которой имеют наиболее выразительное сходство.

Тем самым показано, что, по крайней мере, субъективная и формальная оценки фактора цветовой гаммы указывают на существование подобия в двух изображениях, семантически не связанных между собой.

На рис. 7 и 8 представлены изображения базы «Люди и Собаки» и результаты фазовой корреляции самих исходных изображений. Здесь: 1, 2 — портрет человека и собаки; 3 — автокорреляции для портрета человека; 4 — взаимная фазовая корреляция между портретом человека и собаки.

5

пары изображений

48

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

Рис. 6. Яркостные гистограммы исходных цветных изображений

Фазовая автокорреляция представлена ярко выраженным импульсом со значением равным 1. Взаимная корреляция при этом практически равна 0. Таким образом, между парами исходных изображений нет никакой корреляции (!), в то время как наша субъективная оценка и предыдущий эксперимент свидетельствует об обратном — нам кажется, что портреты подобны между собой! И трудно даже представить, какими формальными способами это можно подтвердить и оценить.

На нашу субъективную оценку влияют факторы цвета, форма и текстура изображений, поэтому сравним их по индексу структурного подобия (Structural SIMilarity Index — SSIM (ISSIM) [17,18]), который позволяет оценить степень подобия (искажения) двух изображений как комбинацию трех факторов: яркостных изменений, изменений контраста и потери корреляции [18]:

4ш(Д Y) = [L(X, Y)]'[ C(X, Y)F[R(X, Y)Y, (17)

где: X, Y — пара исходных изображений; я>0, /?>0, у >0 определяют значимость каждого фактора в (17).

Поскольку исходные изображения «в парах» по субъективным оценкам не значительно отличаются друг от друга, положим а= fi = y= 1. Тогда изменения яркости L, контраста C и корреляции R можно выразить следующим образом:

L(X,Y)= (2^Л + C1)/( ОД ОД C1), (18)

ОД, Y)= (2ау + С2)/(ст2х+ «ОД C2), (19)

ОД, Y)= (аху + ОДОД + C3), (20)

где цх и цу — среднее значение каждого изображения в паре; ау и ау — стандартное отклонение; о2у и а1у — дисперсии; ауу — ковариация изображений X и Y.

При обработке изображений может возникнуть ситуация, когда знаменатели в (18) — (20) становятся близки к нулю. Использование констант C1, C2 и C3 позволяет это учесть [18]. Для изображений шкалы GRAY с максимальным уровнем серого цвета имеем Lmay = 255, поэтому, если C1 = (^1L)2,

1 2 3 4

Рис. 7. Исходные изображения (пара 1)

Рис. 8. Исходные изображения (пара 2)

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г

49

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

0.24 0.14 0.21

0.12 0.14 0.28

Рис. 9. Значения SSIM для исходных пар изображений

C2 = K2L)2, C3 = C2/2 [17] и K1 = 0.01 и K2 = 0.03, то значения констант C1, C2 и C3 могут быть легко вычислены.

Результат оценки SSIM для исходных пар изображений показаны на рис. 9.

Если положить C1 = C2 = 0, то (17) сводится к универсальному индексу качества (Universal Quality Index — UQI [17]), который является предшественником индекса SSIM. Тогда (20), при отсутствующем C3, представляет собой амплитудную линейную корреляцию двух изображений [1]. Из оценок на рис. 9 видно, что индекс SSIM также не выявил заметного сходства внутри пар изображений «хозяин-собака».

7. Представление семантически разных классов изображений в ПКП

Теперь сформулируем новую цель — проверка наличия корреляции между изображениями «хозяин-собака» в ПКП на основании двумерных проекций (13) и (15).

На рис. 10 приведены пары исходных данных из набора X (набор портретов хозяина) и Y (набор портретов собаки) для одного и того же класса и разных классов, а также коэффициенты взаимной фазовой

корреляции между ними. И, как видно, в ПКП фазовая корреляция «в своем классе» определена на уровне = 0.6, что существенно выше фазовой корреляции для изображений разных классов (здесь max ~ 0.15) и существенно выше соответствующих значений SSIM.

Рассмотрим рис. 11, где представлены новые резуль-тазы анализа подобия образов в ПКП. Здесь в левом верхнем углу показан график зависимости U = f (V), далее — две пары исходных изображений и, наконец, — канонические переменные Uи V, соответствующие исходным изображениям.

Легко заметить, что три канонические переменные из четырех содержат одинаковые значения (яркостные элементы) и, следовательно, даже внешне похожи друг на друга.

В нижнем ряду рис. 11 слева направо показаны следующие виды фазовой корреляции:

• между всеми переменными U и V;

• между переменными, соответствующими изображениям из одного класса;

• между переменными, соответствующими изображениям из разных классов.

Из представленных результатов видно, что в ПКП между переменными U и V появилась корреляция. При этом корреляция между переменными из одного класса значительно выше значения 0,5. Корреляцию в другом случае можно считать несущественной, а отношение этих корреляций составляет 4 раза.

Графическое представление связи между переменными в новом пространстве признаков для ССА, полученными по (15), показано на рис. 12.

Заметим, что точечные области представления канонических переменных (слева) — как функции U от V связаны практически линейной зависимостью (прямая линия, проходящая через середину точечной области). И, кроме того, с ростом значений V

Рис. 10. Исходные данные, вид и коэффициенты фазовой корреляции

50

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

0.14471

Рис. 11. Исходные данные и результаты их преобразований

растут и значения U, что соответствует критерию (4).

Другой вариант соотношений переменных U и V показан на рис. 12 справа — кривые U(k) и V(k) практически синхронно совпадают (коррелируют между собой) и находятся «в фазе».

Высокая корреляция переменных U и V в ПКП, их линейная зависимость друг от друга, «синхронизм в поведении» создают предпосылки для взаимного распознавания и модельного отображения одних переменных по другим. И эти задачи легко реализуется в ПКП, что было показано, например, в работах [13, 14].

Аналогичные результаты были получены и для других пар исходных образов, хотя мы исходили из того, что соответствующие пары исходных образов (хозяин-собака) принадлежали к разным глобальным (или семантически разным) классам и факти-

Рис. 12. Соотношение переменных в новом пространстве признаков

чески их подобие было доказано только на уровне цветовой гаммы.

Главный итог выполненного анализа состоит в следующем:

1) подтверждается факт установления корреляции между образами собаки и ее хозяина в ПКП, в то время как никакими другими способами это подтвердить не удалось;

2) используя п. 1, можно в рамках методов 2D CCA решать задачи индексирования одних изображений через другие (поиск, распознавание, модельное отображение одних образов в другие, реконструкция образов);

В целом же, показанный пример использования разработанных алгоритмов 2D CCA/2D KLT показал, что они могут быть широко использованы в задах распознавания и классификации образов и сокращения избыточности их представления. Последнее связано с тем, что выбираемое значение параметра d << MN — размерности ИПП.

8. Заключение

В статье обсуждались методы представления и сравнения семантически не связанных изображений c оценкой их меры подобия в исходном пространстве признаков, а также представление алгоритма 2D CCA/2D KLT для реализации проекции

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г

51

АНАЛИЗ ДАННЫХ И ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

этих изображений в ПКП и оценка их меры подобия в ПКП.

Для сравнения изображений в исходном пространстве признаков использованы гистограммы цветных изображений и их фазовая корреляция, двумерная фазовая корреляция исходных изображений, а также индекс структурного подобия. Однако только частично удалось доказать подобие, соответствующее субъективным ощущениям для выбранных примеров.

При этом показано, что «неподобное в исходном пространстве признаков» может быть подобным в ПКП. Проекция в ПКП реализуется в рамках метода 2D CCA/2D KLT, специально предназначенного для обработки двух составов изображений и детально представленного в статье. И этот результат показал, что методы 2D CCA/2D KLT могут быть широко использованы в задах поиска, распознавания и классификации образов, а также сокращения избыточности их представления независимо от их семантической взаимосвязи. ■

Литература

1. Kukharev G. Biometric Systems: Methods and Means of People Identification. —Sankt-Petersburg: Politechnika, 2001.

2. Encyclopedia of Biometrics / Li Stan Z. (editor). — Springer Science+Business Media, 2009.

3. Kukharev G., Kuzminski A. Biometric Technology: Face Recognition Methods. — Szczecin: WI PS, 2003.

4. Bie Tijl De, Nello C., Roman R. Eigenproblems in Pattern Recognition // Handbook of Geometric Computing: Applications in Pattern Recognition, Computer Vision, Neuralcomputing, and Robotics. — Heidelberg: Springer-Verlag, 2005, P. 1-39.

5. Pearson K. On lines and planes of closest fit to systems of points in space // Edinburgh and Dublin Philosophical Magazineand Journal of Sciences. — 1901. — V. 6, № 2. — P. 559-572.

6. Hotelling H. Analysis of complex variables into principal components // Journal of Educational Psychology. — 1933.

— №24. — P. 417-441.

7. Hotelling H. Relations between two sets ofvariates // Biometryka. — 1936. —№28. — P. 321-377.

8. Sirovich L., Kirby M. Low-dimensional Procedure for the Characterization of Human Faces // Journal of the Optical Society of America, A - Optics, Image Science and Vision. —1987. — V. 4, №3. — P. 519-524.

9. Turk M., Pentland A. Eigenfaces for Recognition // Journal of Cognitive Neuroscience. — 1991. — V. 3, №1. — P. 71-86.

10. Tsapatsoulis N., Alexopoulos V., Kollias S. A Vector Based Approximation of KLT and Its Application to Face Recognition. — Proc. IX European Signal Processing Conf. EUSIPCO’98, Greece. —1998. — V. III. — P. 1581-1584.

11. Kukharev G., Forczmaiski P. Data Dimensionality Reduction for Face Recognition // Journal Machine Graphics & Vision. — 2004. — V.13 №1/2. — P. 99-121.

12. Kukharev G., Forczmanski P. Face Recognition by Means of Two-Dimensional Direct Linear Discriminant Analysis // PRIP’05, Minsk, Republic of Belarus. — 2005. — V. 2. — P. 63-67.

13. Yang J., Zhang D., Frangi A.F., Yang J-Y. Two-dimensional PCA: A new approach to appearance-based face representation and recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2004. — №26(1) .

— P. 131-137.

14. Kukharev G., Kamenskaya E. Application of Two_Dimensional Canonical Correlation Analysis for Face Image Processing and Recognition // Pattern Recognition and Image Analysis. — 2010. — V. 20, №2. — P. 210-219.

15. Kukharev G., Tujaka A., Forczmanski P. Face Recognition using Two-dimensional CCA and PLS // International Journal of Biometrics. — 2011. — №3. — P. 300-321.

16. www.popular-pics.com/Funny People And Dog Similarity Pictures 1

17. Wang Z., Bovik A.C. A universal image quality index // IEEE Signal Process. Letters. — 2002. —V. 9, №3. — P. 81-84.

18. Dosselmann R., Yang X.D. A comprehensive assessment ofthe structural similarity index // SIViP. — 2011. —№5. — P. 81-91.

19. Smith John R., Chang Shih-Fu. Tools and Techniques for Color Image Retrieval // In IS&T/SPIE Symposium on Electronic Imaging: Science and Technology (EI’96) - Storage and Retrieval for Image and Video Databases IV. — 1996. — V. 2670, San Jose, CA, February 1996. — P. 426-437.

20. Мокеев В.В., Томилов С.В. О решении проблемы выборки малого размера при использовании линейного дискриминантного анализа в задачах распознавания лиц // Бизнес-информатика. — 2013. — №1(23) . — С. 37-42.

52

БИЗНЕС-ИНФОРМАТИКА №4(26)-2013 г