CC BY
71
Известия Тульского государственного университета Естественные науки. 2013. Вып. 1. С. 165-176 = ИНФОРМАТИКА
УДК 004.93
Выпуклые селективные критерии метода релевантных векторов в пространстве парных отношений объектов
5к
распознавания *
О. С. Середин, В. В. Моттль, А. И. Татарчук, Н. А. Разин
Аннотация. Рассматривается задача беспризнакового распознавания образов в предположении, что каждый объект распознавания может быть представлен только через попарные сравнения с другими базисными объектами при помощи произвольной действительной функции сравнения. Такой подход является гораздо более общим, чем традиционный метод потенциальных функций (кернелов), требующий положительной полуопределенности матрицы сравнения объектов. Последнее требование в большинстве случаев является чрезмерным, особенно, если объекты представлены модальностями со сложными шкалами измерения. В терминах общего пространства представлений объектов, образованного заданными базисными объектами и функциями сравнения, предлагаемая постановка становится математически аналогичной классической задаче отбора признаков. Предложенный выпуклый критерий обучения обобщает метод релевантных векторов Типпинга и позволяет контролировать интенсивность отбора через структурный параметр селектиности обучения.
Ключевые слова: беспризнаковое распознавание образов, линейное решающее правило распознавания, базисная совокупность объектов распознавания, функция парного сравнения, потенциальная функция, отбор признаков, селективность, регуляризация обучения.
Введение
Работа является третьей в серии публикаций [2, 3]. Пусть задана обучающая совокупность объектов двух классов ,] = 1,...,Ж}, представленных векторами действительных чисел х(ш) € К”. Для каждого из этих объектов указано, к какому из двух классов он относится: {(х^,у^),] = 1, ...,М},у^ =
* Работа выполнена при финансовой поддержке РФФИ (проекты №№ 12-07-92000-ННС_а, 13-07-00469).
= ±1. Основное преимущество «машины» (т.е. метода) опорных векторов (Support Vector Machine — SVM) [9] заключается в том, что ни задача обучения, ни полученное решающее правило не зависят от векторов признаков объектов, а определяются только их попарными скалярными произведениями (х(ш;))Тх(ш") : Q х Q ^ R.
Этот факт лежит в основе общего подхода к распознаванию образов, в котором объекты представлены не векторами признаков х(ш) € Rn, а значениями функции попарного сравнения друг с другом K(ш1 ,ш'') : Q х Q ^ R. Такой способ представления объектов особенно удобен в широком классе приложений, где сложно получить численные признаки объекта, но зато легко можно численно выразить некоторое отношение между любыми двумя объектами. Примеры подобных задач приведены в [2]. Для того, чтобы математически корректно построить разделяющую гиперплоскость в линейном пространстве попарных описаний объектов, функция сравнения K(ш',ш'0 : Q х Q ^ R должна быть кернелом, т.е. быть симметричной и образовывать положительно полуопределенную матрицу для любого набора объектов. Кернел K(ш1, ш") погружает множество реальных объектов ш € Q в гипотетическое гильбертово пространство Q 5 Q, в котором K(ш1 ,ш") играет роль скалярного произведения [8, 11].
Однако требование положительной полуопределенности для функции попарного сравнения объектов часто является чрезмерно жестким. В качестве альтернативы признаковому и кернельному подходам Р. Дьюин и его ученики предложили в [7] беспризнаковый подход, в котором объекты представлены произвольной функцией попарного сравнения S(ш',ш"). Аналогичная постановка была представлена и в работе О.С. Середина [1]. Идея заключалась в использовании значения этой функции между конкретными объектами ш0 € Q0, j = 1,...,N0, названными нами базисным, и всеми остальными объектами обучающей совокупности {шj,j = 1,..., N}, как вектор вторичных признаков х(ш) = (xk(ш) = S(ш0,ш),к = 1,...,№), и применении стандартного метода SVM в RN°. Очевидно, что такая постановка приводит к необходимости работать в пространствах вторичных признаков огромной размерности.
Позже К. Бишоп и М. Типпинг предложили метод релевантных векторов (Relevance Vector Machine — RVM) [4], где основной идеей был отбор только небольшого количества наиболее информативных релевантных объектов из обучающей совокупности. Авторы называли их релевантными векторами, поскольку S(ш',ш'0 рассматривалась как кернел, погружающий объекты в линейное пространство. В исходном методе RVM селективность релевантных векторов намеренно была принята очень высокой, чтобы придать им аналогию с опорными векторами в модели SVM. К тому же, RVM основан на байесовском принципе отбора, поэтому приводит к невыпуклой задаче обучения.
В этой работе рассматривается более общая ситуация, типичная для практических приложений. Когда заданы несколько модальностей попарного представления объектов в виде различных функций парного сравнения Б^ш^ш"), г = то количество вторичных признаков каждого объекта
х(ш) = (хгк(ш) = Бг(ши,ш)), к = 1,...,М превышает объем обучающей совокупности N. Обучение в пространствах высокой и сверхвысокой размерности представляет собой актуальную проблему современной теории распознавания образов. Именно поэтому мы рассмотрим класс задач обучения, которые, являясь выпуклыми в отличие от классической машины БУМ, позволяют отбирать не только релевантные объекты, но и релевантные модальности их попарного представления, а также контролировать степень отбора с помощью специального параметра селективности.
Предлагаемый критерий обучения проверен на модельных экспериментах, которые использовали Бишоп и Типпинг в [4] для демонстрации преимущества БУМ перед классическим методом БУМ.
1. Отбор признаков в дважды регуляризованной машине
SVM
В данной статье мы исходим из ставшей уже классической версии SVM, адптированной для отбора признаков, и названной в [12] дважды регуляризованной (double regularized) машиной SVM.
Как и в классической SVM, предложенной В.Н. Вапником, предполагается, что объекты реального мира ш € П описываются n признаками х(ш) = (х\(ш)... хп(ш)), которых значительно больше, чем объектов N в обучающей выборке. Задача поиска оптимальной разделяющей гиперплоскости aTx + b = Y,¡Li aixi + b ^ 0 в Rn для заданной обучающей совокупности
п N
52 [(1 - IJ)a2 + lAai\\ + C T, Sj ^ min(ai,..., an, b, 5i,5n), i=i j=i
Vj (j>2 aiXij + b^ ^ 1 - Sj ,j = 1,...,N, Sj ^ 0,j = 1,..., N,
(1)
отличается от стандартной задачи обучения БУМ более сложной регуляризацией, заключающейся в комбинировании норм Ь\ и ¿2 направляющего вектора с весом 0 ^ ц < 1 вместо единственной нормы ¿2 в классическом критерии. Если ц = 0, критерий превращается в классический БУМ. Если же ц ^ 1, критерий становится предельно селективным, отбрасывая практически все признаки. То есть, меняя параметр ц, можно менять характер обучения от сохранения всех признаков до исключения максимального их количества из формирования решающего правила. В отличие от классической машины БУМ критерий (1) уже не является квадратичным, но остается выпуклым.
2. Машина RVM с произвольными функциями парного
сравнения
Критерий обучения (1) остается полностью применимым в ситуации, когда представление объектов при помощи функции сравнения S (ш1 ,ш'') более удобно, чем при помощи признакового описания х(ш). Значения функции сравнения объекта ш € П на каждом из N объектов обучающей совокупности xi(ш) = S^i^) могут быть использованы как его вторичные признаки [7, 9]. В этом случае мы получаем обобщенную версию RVM, которую следует назвать Relevance Object Machine, потому что нет никакой связи с представлением объектов при помощи векторов исходных признаков.
Возможность представления объектов несколькими функциями парного сравнения Si^1,ш"),г = 1,...,n (называемых обычно модальностями) не влияет принципиально на критерий, кроме того, что количество вторичных признаков расширяется до nN:
(xil = S^i, ш) для всех ш € П, (2)
\xii,j = Si(ш1, Шj) для j-го объекта Шj.
Прямое обобщение критерия (1) дает выпуклый критерий обучения, который отличается только количеством переменных:
/
п N N
.2
ЕЕ1(1 - + у\ац|] + С Е ^ тт(ай, Ь, 5з),
1=11= 1 ] = 1 (3)
/ п N \ (3)
Уз Е Е аахил + Ь ^ 1 - 53, ] = 1,N 53 ^ 0, j = 1,N.
\г=11=1 /
Теорема 1. Оптимальная гиперплоскость (ац, г = 1, ...,п, I = 1,..., N; Ь) определяется равенствами
Ли = {1/ [2(1 - у)]} (вц + у), вй < -у, аа = 0, -у ^ зц ^ у, (4)
ац = {1/ [2(1 - у)}} (вц - у), вц > у,
У! Лз 52 айхй,з +С 52 уз
Л 3:0<\] <С 1,г/\1>0,аа=0 =С
Ь =--------------------------------------------------, (5)
5 хз
3:0<\] <С
где вц =52 УзЛзхи,з, ^ '■ 0 < Лз < С} и ^ : Л3- = С} — подмножества
3:а] >0
ненулевых решений ^ : Л3 > 0} двойственной задачи выпуклого программи-
рования:
N
№(м^.^ ^\у) = Е Уз - 4—) х з=1
п N
х Е Е { тт
г 1=1
N
у + Е3'=1 узХз Хг1 ,з 0
у Е?=1 уз^з Хг1,з
тах,
(6)
Е УзХз =0, 0 ^ Хз ^ С, j = 1,..., N.
з=1
Доказательство основано на анализе седловой точки функции Лагранжа исходной задачи оптимизации (3), в которой числа ( Х1,..., Х N) являются
множителями Лагранжа при неравенствах Уз ^ЕП=1 Е1=1 ацХц,з + Ь^ - 1 + + 5з ^ 0. Формула (5) использует тот факт, что неравенства в (3) превращаются в равенства с 5з = 0 для ] : 0 < Лз ^ С.
Итак, Лагранжиан имеет вид:
п N N N N
¿(аг1 ,Ь,5з, Хз ,Пз ) — + 5з(С - пз- Хз) - Ь^2 Хз Уз + Хз,
г=1 1=1 з=1 з=1 з=1
где
N
¿г1 = (1 - у)аа + у\ай\ - аг1Хз Уз хг1,з.
з=1
Двойственная задача запишется так:
ф(Хз,пз) ^ тах(Хз,пз € У), где ф(Хз,пз) = 1ПЛ Ь(аги Ь, 5з, Хз, пз), У = {{Хз, пз} Ф(Хз,пз) > -ж, Хз > °
аИ з
пз > 0}.
Ясно, что ф(Хз,пз) > -ж только тогда, когда
С = пз + Хз, Чj = 1,...^, (7)
Е N Хз Уз =0, (8)
з=1
Ьг тт(аг1) > -ж, Чг = 1,...,п. (9)
Рассмотрим последнее условие:
Ьг тт(аг1) > -ж, Чг = 1, ...,п.
Обозначим вц = Е^=1 Хз Узхц,з. Тогда
¿Ц = (1 - у)а21 + у\аг1 \ - аг1 вг1.
2
Во-первых, у ^ 1, иначе минимум получится —то. Для каждого значения \ац\ надо выбрать такой знак, который минимизирует Ьц. Очевидно, оно должно быть того же знака, что и вц. Тогда мы ищем ац в виде ац = ац вц, ац ^ 0. Имеем:
Lii = \ац\2(! - ц)в1 + \au\y\sii\ - ай\вц\2 ^ min(au). Решением этой оптимизационной задачи является набор:
0, \su\ ^ у,
Sfe, \sii\ >у
= i0,
ail = Ї \sn\-^
{ 2(1-
Следовательно,
= ¡0,
ad = \ \su\-y
{ 2(1
0, \sii\ ^ у,
-w, \sii\ >у.
Отсюда непосредственно следует утверждение доказываемой теоремы.
Будем пользоваться следующими обозначениями для множества функций парного сравнения, объектов обучающей совокупности и всех вторичных признаков (2):
I = {1,..,n}, J = {1,...,N}, F = {i,j : г = 1,...,n,j = 1,...,N} = I x J.
Критерий обучения (3) остается регуляризованной версией SVM, поскольку на оптимальную разделяющую гиперплоскость ац, i,j € F в (4) влияют только опорные объекты обучающей совокупности {шj : Xj > 0}.
Критерий обучения (3) одновременно отбирает модальности (способы сравнения пары объектов) и релевантные объекты, поэтому мы будем ссылаться на него как на RVM с отбором модальностей. В соответствии с (4) только некоторые ац = 0. В свою очередь, подмножество релевантных вторичных признаков F = {i,j : Xj = 0} € F определяет подмножества релевантных модальностей I = {i : 3 j(Xij = 0)} € I и релевантных объектов J = {j : 3 i(Iij = 0)} € J .Из (4) и (5) следует, что оптимальная разделяющая гиперплоскость учитывает только релевантные модальности и полностью определяется релевантными объектами обучающей совокупности:
й(ш) = Е aiixii + b = Е aiiSi^i, ш) + b ^ 0.
i,i&F i,i&F
Помимо возможности использования в качестве модальностей функций парного сравнения, RVM (3) отличается от классического [4] в двух аспектах. Во-первых, критерий обучения выпуклый, следовательно, гарантированно имеет единственное решение. Во-вторых, он содержит структурный параметр 0 ^ у < 1, при помощи которого можно изменять селективность. Подходящее значение у может быть выбрано, например, при помощи процедуры кросс-валидации (кросс-проверки) [6].
Для решения двойственной задачи (6) мы используем стандартный метод внутренней точки, применимый в любой вогнутой/выпуклой задаче условной оптимизации [5].
3. Связь с кернельной машиной 8УЫ
Рассмотрим в качестве Б^ш', ш'') кернел. Положим п = 1, ц = 0 и выберем в качестве кернела вторичного признака хгз = Б(шг,шз). Тогда критерий (3) запишется так:
г N N
Е«;2 + С 52 5у ^ тт(аа, Ь, 5з),
1=1 з=1 (10)
/ N \ (10)
Уз ( Е аг Б(шг,шз) + Ь) ^ 1 - 5з, 5з ^ 0,] = 1,...,М.
Этот критерий фактически не отличается от классической машины БУМ с кернелами. В предыдущей статье мы подробно останавливались на факте, что регуляризующим слагаемым может быть как 521=1 а2 так и Ег=1 Е/=1 Б(шг,шз)агаз. Последняя квадратичная форма является евклидовой нормой направляющего вектора разделяющей гиперплоскости в гипотетическом гильбертовом пространстве, в которое кернел Б(ш',ш'') погружает набор объектов.
Тем не менее, 521=1 а2 является другой евклидовой нормой того же самого вектора. В [3, 9] показано, что такая замена наделяет критерий (10) свойством отбора направляющих векторов, ориентированных вдоль главной оси обучающей совокупности в гильбертовом пространстве, полученном при помощи этого кернела. Если два класса обучающей совокупности расположены вдоль этой оси, то применение (10) вместо классической машины БУМ приводит к эффекту дополнительной априорной регуляризации обучения, что существенно повышает точность классификации.
4. Результаты экспериментов
Продемонстрируем применение модифицированного критерия RVM (3) на тех же 2-мерных данных, которые использовали Бишоп и Типпинг в [4] для сравнения их машины RVM со стандартной SVM. Этот набор данных состоит из объектов ш € П, представленных парой чисел х(ш) = ^\(ш), z2^)) € € R2 и принадлежащими двум классам у(ш) = ±1. Набор данных содержит |П| = 1250 объектов, которые случайно разделены на N = 250 объектов для обучения и M = 1000 объектов для контроля.
Кернельная машина RVM в сравнении с SVM. Так же, как Бишоп и Типпинг, вначале мы применили к обучающей совокупности классическую SVM с радиальным кернелом
S(ш',ш") = exp {-в [(z[ - z'{)2 + (z2 - z2)2]} . (11)
Кросс-валидация [6] с разбиением обучающей совокупности на 5 фолдов показала, что лучшими являются значения параметров в = 0.5 и С = 10, которые мы использовали в последующих экспериментах. Далее мы обучили предлагаемый в данной статье БУМ (3) для случая п = 1, взяв кернел (11) в качестве функции попарного сравнения. Селективность у принимала три значения: у = 0 (отсутствие селективности), у = 0.55 (выбрано с помощью кросс-валидации), у = 0.999, рассматриваемое как у ^ 1 (максимальная селективность).
Таким образом, мы получили N = 250 вторичных признаков. В каждом эксперименте было вычислено количество опорных объектов (т.е. отобранных релевантных объектов) и доля ошибок на контроле. Результаты приведены в табл. 1. Как можно видеть, для всех значений селективности БУМ показала меньшую ошибку на контроле, чем БУМ.
Такой результат объясняется тем, что объекты разных классов расположены вдоль главных осей обучающей совокупности в гильбертовом пространстве, куда эти объекты погружает кернел [3]. Доля ошибок БУМ уменьшается с ростом у, достигает минимума на выбранном при помощи процедуры кросс-валидации значении параметра у, и далее возрастает, оставаясь меньше, чем ошибка на контроле БУМ.
Соответственно, количество релевантных объектов монотонно убывает и, в случае максимальной селективности, становится равным 4, т.е. тому же числу, которое получили Бишоп и Типпинг в [4].
Наиболее важным результатом этого эксперимента мы считаем то, что точность распознавания БУМ может быть заметно выше при использовании большего количества релевантных объектов, чем минимальное их количество, достигнутое в классической БУМ в [4].
На рис. 1 изображены разделяющие границы для БУМ и БУМ при каждом из трех значений у.
Таблица 1
БУМ и БУМ с одним кернелом
Параметры Опорные объекты Ошибка
БУМ О 1-4 О ю" о 94 9.9%
Селективность (те же в, С) Релевантные объекты Ошибка
БУМ Л = 0 250 9.5%
Л = 0.55 105 9.2%
¡л —— 1 4 9.5%
ЯУМ с отбором модальностей и метриками в качестве функций парного сра,внения. Далее, вместо кернела (11) мы обучили мультимодальную БУМ (3) с п = 2 различными метриками в М2. В качестве функций
Рис. 1. Распознанные объекты контрольной совокупности (показаны только 200 случайных объектов) и разделяющие кривые, полученные при обучении на одних и тех же данных БУЫ и ИУЫ с радиальным кернелом
сравнения взяли:
вг(ш',ш'0 = ^(г[ - г'{)2 + (4 - 4')2,
32{и1,и11) = 14 - х'[\ + \х2 - 4\. (12)
В сумме получилось иЫ = 500 вторичных признаков. Ни одна из этих функций кернелом не является, но это и необязательно в (3), так же как и в оригинальном ИУЫ [3]. Результаты показаны в табл.2 и на рис.2. С ростом селективности 0 ^ у ^ 1 ошибка на контроле, как и в первом эксперименте, падает, достигает своего минимума, и затем возрастает вновь. Ошибка на контроле при оптимальном, полученном при помощи кросс-валидации, значении параметра у = 0.64 равна 8.9%, что существенно ниже по сравнению с 9.2% в случае одного радиального кернела (см. табл.1). Количество релевантных признаков снизилось с 500 до 12. Вначале алгоритм решает, что нужно отбросить метрику ¿2 из (12), а затем уменьшает количество признаков, исключая ненужные объекты.
Из рис.2 видно, что разделяющая граница стала кусочно-линейной, поскольку была отобрана только метрика Ь\.
Заключение
В работе рассмотрен вариант линейной машины БУЫ, основанной на нескольких произвольных действительных функциях парного сравнения объектов, не обязанных быть кернелами. Этот подход, с одной стороны, обоб-
Таблица 2
ИУМ с 2-мя функциями парного сравнения
Параметры, С = 0.5 Вторичные релевантные признаки Ошибка
ИУМ у = 0 (нет селективности) 500, 250 релевантн. объектов 2 релевантн. метрики 9.8%
у = 0.64 (кроссвалидация) 68, 68 релевантн. объектов 1 релевантн. метрика 8.9%
у —— 1 (макс. селективность) 12, 12 релевантн. объектов 1 релевантн. метрика 9.3%
о
Рис. 2. Распознанные объекты контрольной совокупности (показаны только 200 случайных объектов) и разделяющие кривые, полученные при обучении ИУМ с двумя метриками
щает реляционный дискриминантный анализ Дьюина, а с другой стороны, обобщает БУМ Типпинга.
Предлагаемый критерий обучения отличается от обеих постановок Дьюи-на и Типпинга тем, что включает в себя структурный параметр, контролирующий уровень селективности признаков, связанных с объектами обучающей совокупности и с функциями парного сравнения. В отличие от классического критерия обучения КУМ, предлагаемый критерий КУМ с селективностью является выпуклым, что гарантирует единственность решения.
Возможность регулировать селективность в критерии делает предлагаемый инструмент удобным для задач, в которых существуют различные спо-
собы сравнения объектов, прежде всего для задач в области биоинформатики и биометрии.
Список литературы
1. Середин О.С. Методы и алгоритмы беспризнакового распознавания образов: дис. ... канд. физ.-мат. наук. М., 2001.
2. Середин О.С. Линейные методы распознавания образов на множествах объектов произвольной природы, представленных попарными сравнениями. Общий случай // Изв. ТулГУ. Естественные науки. 2012. Вып.1. C.141-152.
3. Середин О.С. Потенциальная функция на множестве объектов распознавания как инструмент их попарного сравнительного // Изв. ТулГУ. Естественные науки. 2013. Вып.1. C.178-190.
4. Bishop C, Tipping M. Variational Relevance Vector Machines // Proceedings of the 16th Conference on Uncertainty in Artificial Intelligence, Morgan Kaufmann. 2000. P.46-53.
5. Boyd S., Vandenberghe L. Convex Optimization. Cambridge: Cambridge University Press, 2004.
6. Devijver A., Kittler J. Pattern Recognition: A Statistical Approach. London: Prentice-Hall, 1982.
7. Duin R., Pekalska E, de Ribber D. Relational discriminant analysis // Pattern Recognition Letters. 1999. V.20. P.1175-1181.
8. Mercer J. Functions of positive and negative type and their connection with the theory of integral equations // Philos. Trans. Roy. Soc. London, 1909.
9. Featureless Pattern Recognition in an Imaginary Hilbert Space and Its Application to Protein Fold Classification / V. Mottl [et al.] // Proceedings of the 2nd International Workshop on Machine Learning and Data Mining in Pattern Recognition, July 25-27. 2001. P.322-336.
10. Application of the Multi-modal Relevance Vector Machine to the problem of protein secondary structure prediction / N. Razin [et al.] // The 7th IAPR International Conference on Pattern Recognition in Bioinformatics, Tokyo, Japan, November 8-10. 2012. P.153-165.
11. Vapnik V. Statistical Learning Theory. N.-Y.: J. Wiley, 1998. 768 p.
12. Wang L., Zhu J., Zou H. The doubly regularized support vector machine // Statistica Sinicia. 2006. V.16. P.589-615.
Середин Олег Сергеевич ([email protected]), к.ф.-м.н., доцент, кафедра автоматики и телемеханики, Тульский государственный университет.
Моттль Вадим Вячеславович ([email protected]), д.т.н., профессор, кафедра автоматики и телемеханики, Тульский государственный университет,
в.н.с., ВЦ РАН.
Татарчук Александр Игоревич ([email protected]), инженер-исследователь, ВЦ РАН.
Разин Николай Алексеевич ([email protected]), аспирант, Московский физико-технический институт.
Convex selective criteria of relevant vectors method in the space of objects pairwise comparisons
O.S. Seredin, V. V. Mottl, A.I. Tatarchuk, N.A. Razin
Abstract. Linear methods of learning in the pattern recognition are considered when objects are represented via pairwise comparison functions. In this paper which is the third in the series discussed the methods of secondary features selection. We use the technique of Relevance Vector Machine (RVM) and double regularized SVM. We suggest the convex criteria of training with secondary features selection. Results are confirmed by series of experiments.
Keywords: featureless pattern recognition, linear decision rule of recognition, basis subset of recognized objects, comparison function, kernel function,secondary features.
Seredin Oleg ([email protected]), candidate of physical and mathematical sciences, associated professor, department of automation and remote control, Tula State University.
Mottl Vadim ([email protected]), doctor of technical sciences, professor, department of automation and remote control, Tula State University, senior researcher, Computing Centre of the Russian Academy of Science.
Tatarchuk Aleksandr ([email protected]), researcher, Computing Centre of the Russian Academy of science.
Razin Nikolay ([email protected]), postgraduate student, Moscow Institute of Physics and Technology.
Поступила 12.11.2012
