CC BY
145
Известия Тульского государственного университета Естественные науки. 2012. Вып. 1. С. 141-152 = ИНФОРМАТИКА
УДК 004.93
Линейные методы распознавания образов на множествах объектов произвольной природы, представленных попарными сравнениями. Общий случай
О. С. Середин
Аннотация. Рассмотрены линейные методы обучения распознаванию образов для случая, когда объекты распознавания представлены посредством измерения только действительнозначных функций парного сравнения. В этой работе, являющейся заглавной в серии публикаций, не налагается ограничений на вид функций. Универсальный механизм порождения вторичных признаков вводится через понятие базисной совокупности объектов распознавания.
Ключевые слова: беспризнаковое распознавание образов,
линейное решающее правило распознавания, базисная совокупность объектов распознавания, функция парного сравнения.
Введение
Очевидно, что ни один физический объект и € П не может быть непосредственно воспринят компьютером. Посредником между теми или иными свойствами объекта реального мира и ЭВМ выступает некоторая формальная переменная х(и) : П ^ X, которая играет роль представимого в компьютере обобщенного признака (математического представления) объекта вполне конкретного типа.
Пространство (шкала) X обобщенного признака может иметь весьма сложную структуру. Например, круг биометрических характеристик человека [1], используемых в системах идентификации, включает в себя, в частности, отпечатки пальцев, изображение лица, подпись в виде изображения либо динамической траектории пера, изображения радужных оболочек глаз, голос, форму ушей, рисунок сетки кровеносных сосудов в тех или иных частях тела, силуэт ладони. В медицинской диагностике типичными видами представления информации о пациенте являются рентгенограммы, ультразвуковые изображения, магнито-резонансные томограммы, электро- и магнитоэнцефалограммы [2]. При проведении
опросов населения изучаемые свойства представителей популяции измеряются в виде ответов на специальным образом сформулированные вопросы анкет, каждый из которых образует специфическое множество возможных вариантов ответов X.
Конкретный способ математического выражения информации об объектах в задачах анализа данных принято называть модальностью представления объектов. В терминах выбранной модальности исходное множество объектов реального мира заменяется множеством их представлений в пространстве значений соответствующего обобщенного признака x(u) Е X. Представления формируются в виде сигналов, изображений, а в сравнительно редких наиболее простых ситуациях - в виде действительных чисел или их векторов.
С самого начала развития теории машинного обучения делалось предположение об индивидуальном представлении объектов. Суть её в следующем: некоторая переменная x(u) Е X : Q — X определяет
наблюдаемое свойство объекта, представимое в компьютере. Например, в простейшем случае: X = Rn — конечномерное линейное пространство; x(u) = x(u) = (xi(u) ... xn(u))T : Q — Rn — вектор из n числовых
признаков xi Е R. Именно такой подход фактически определил развитие методов и алгоритмов восстановления эмпирических зависимостей на десятки лет.
Примерно с конца 1990-х годов возникло устойчивое понимание того, что в целом ряде прикладных задач индивидуальное представление объектов признаками затруднительно и, как следствие, появилось сравнительное числовое представление объектов, так называемый беспризнаковый подход [3-7]. В такой постановке объекты могут быть восприняты компьютером только через их попарное сравнение. Объективности ради отметим, что временной раздел по последнему десятилетию двадцатого века весьма условен. Так, например, один из простейших, давно известных и очевидных методов обучения — метод ближайшего соседа — фактически использует только сравнительную характеристику (обычно метрику) между объектами. Однако, как правило, парная характеристика несходства объектов появлялась как нечто вторичное, вспомогательное. Изначально объекты рассматривались как «точки векторного пространства», т.е. имели вполне измеримые характеристики-признаки (рост, вес, давление, время реакции, цена акции и пр.).
Мощнейшим стимулом к возможности решения задач, в которых объекты характеризуются парными свойствами, стал, безусловно, метод опорных векторов, предложенный В.Н. Вапником [8]. Понятие потенциальной функции (kernel в англоязычной литературе) [9] на паре объектов распознавания позволило, оставаясь в рамках линейных операций, эффективно решать задачу поиска оптимальной разделяющей гиперплоскости в спрямляющем пространстве. Однако практические задачи
показывают, что не всякая функция парного сходства обладает свойствами потенциальной функции.
В этой работе мы предлагаем использовать понятие вторичных признаков объектов распознавания как универсальную методику, позволяющую работать фактически с любыми функциями попарных сравнений между объектами. Суть такого подхода выражается следующей идеей: зафиксируем подмножество объектов генеральной совокупности, доступных наблюдателю (базисную совокупность), и определим набор признаков для произвольного объекта как набор его попарных отношений с объектами базисной совокупности. В этом случае мы фактически сводим любую задачу беспризнакового распознавания к «классической» векторной постановке и можем использовать наработанный десятилетиями алгоритмический аппарат. Такая идея высказывалась и ранее [10,11]. Однако в работе [10] в качестве вторичного пространства предлагалось рассматривать только признаки, порождаемые отношениями между объектами, выражающиеся евклидовыми расстояниями (dissimilarity space), а в работе [11] — только потенциальные функции. В этой статье мы показываем, что идея погружения объектов произвольной природы в линейное пространство их вторичных действительных признаков позволяет работать с функциями парных сравнений объектов более широкого класса. Именно возможность построения методов и алгоритмов работы в линейных пространствах вторичных действительнозначных признаков дает нам право вынести в заглавие работы анонс о развитии концепции линейных методов восстановления эмпирических зависимостей.
Эта статья является заглавной в цикле работ, в которых мы систематически рассматриваем различные функции сравнения между объектами обучающей совокупности. В ней мы представляем общую концепцию обучения в беспризнаковой ситуации и, вообще говоря, не требуем даже симметричности функции попарного сравнения, а также предлагаем стратегии обучения для различных практических ситуаций. Далее мы планируем остановиться на частных случаях общей концепции использования линейных методов восстановления эмпирических зависимостей на множествах объектов произвольной природы, представленных попарными сравнениями. В частности, будут рассмотрены варианты, когда функция является произвольной метрикой, квадратом евклидовой метрики, потенциальной функцией, функцией отношения порядка. В заключительной статье цикла мы уделим особое внимание селективному комбинированию множества разных функций сравнения, заданных на одной и той же совокупности объектов. В действительности оказывается, что такая методика полностью адекватна и, более того, включает в себя как частный случай ситуацию отбора признаков для классической «признаковой» постановки задачи интеллектуального анализа данных.
1. Типовая задача восстановления закономерностей на множествах объектов реального мира
Ставший уже классическим подход к восстановлению эмпирических зависимостей на множествах объектов произвольной природы (в англоязычной литературе используется термин «machine learning», прямой перевод которого — «обучение машин» — сейчас уже почти не употребляется в отечественных источниках) во главу угла ставит принцип обучения по прецедентам. Это подразумевает, что в качестве исходного массива эмпирических данных всегда служит некоторая ограниченная выборка из генеральной совокупности объектов исследуемого вида, представленных, вообще говоря, всеми модальностями с возможными пропусками данных по некоторым из них. Обычно одна из модальностей выделена как целевая, и анализ предъявленного массива данных ориентирован на построение решающего правила, которое позволило бы отличать значение соответствующего целевого свойства в принятой для него шкале измерения от значений других свойств в их специальных шкалах. Главным требованием является возможность применения решающего правила, построенного на основе анализа предъявленного массива данных (обучающей совокупности), к другим объектам, не представленным в нем. Если же целевая переменная заранее не выделена, то задачей анализа массива данных как выборки из генеральной совокупности объектов реального мира является построение модели распределения объектов в гипотетическом пространстве всех их выбранных свойств, которая была бы адекватной для всей генеральной совокупности.
Обозначим множество реально существующих объектов как и Е Q, а множество значений целевой характеристики объектов у Е Y: (и, у) Е Q х Y. Наблюдателю предъявляется обучающая совокупность — подмножество наблюдаемых объектов Q* С Q, для которых измерено значение целевой характеристики (и Е Q*,y): {(uj,yj), j = 1,...,N}. Задача, требующая
решения, заключается в нахождении функции у (и), определенной на всем множестве Q, такой, чтобы можно было в дальнейшем оценивать значение рассматриваемой характеристики для новых объектов и Е Q\Q*. Качество такого инструмента оценивания скрытой характеристики для реальных объектов у(и) : Q — Y вполне может быть формализовано относительно допущенной ошибки у(и) = у (и).
Типовые задачи восстановления эмпирических зависимостей определяются видом целевой переменной у Е Y:
— задача обучения распознаванию образов Y = {у\, ...,ут} — конечное неупорядоченное множество. В частности, в двухклассовой задаче распознавания образов выходную величину часто кодируют следующим образом: Y = {—1, 1}. Забегая вперед, отметим, что именно такие задачи мы и будем рассматривать в этой статье;
— задача восстановления числовой регрессии, т.е. оценивания числовой функции, Y = R - множество действительных чисел;
— задача восстановления ранговой регрессии Y = {у1 < ... < ут} — конечное множество с отношением линейного порядка.
Очевидно, что непосредственно построить оценочную функцию у(и) невозможно, поскольку объект реального мира и Е Q не может быть явно представлен в компьютере. Необходимо обеспечить computer-perceptible representation — погружение объектов реального мира (пациентов, технических устройств, акций на бирже, нефтеносных скважин, отпечатков пальцев и пр.) в вычислительную среду ЭВМ. С самого начала развития теории машинного обучения делалось предположение об индивидуальном представлении объектов. Суть её в следующем: некоторая переменная x(u) Е X : Q — X определяет наблюдаемое свойство объекта, представимое в компьютере. Например, в простейшем случае: X = Rn — конечномерное линейное пространство; x(u) = х(и) = (x1(u) ... xn(u))T : Q — Rn - вектор из n числовых признаков xi Е R и, соответственно, обучающая совокупность представляется как {(xj = x^j), yj = y(uj)), j = 1, ...,N}. Долгое время именно такое понимание представления объектов анализа определяло развитие методов и алгоритмов восстановления эмпирических зависимостей. Примерно с конца 1990-х годов стало понятно, что в ряде прикладных задач индивидуальное представление объектов признаками затруднительно и, как следствие, появилось сравнительное числовое представление объектов, так называемый беспризнаковый подход [3-7]. В такой постановке объекты могут быть восприняты компьютером только через их попарное сравнение S(и', и") : Q х Q — S С R, т.е. числовую функцию, выражающую некоторое сравнительное свойство пар объектов. Обучающая совокупность в этом случае: {S^j,и), yj = y^j), j,l = 1,...,N}.
В последнее время наиболее эффективным методом обучения распознаванию образов в линейном пространстве действительнозначных признаков объектов безусловно является метод опорных векторов (Support Vectors Machine, SVM) [8], реализующий идею оптимальной! разделяющей гиперплоскости Hn-i = {x Е Rn : aTx + b = П=1 aixi + b<0} С Rn.
Дискриминантная функция определяется евклидовым расстоянием от точки до гиперплоскости с учетом знака
t 7 / jj 0 — класс 1, t
d(x) = a x + b = p(Hn_1, xW ’ при условии a a = 1.
< 0 — класс — 1 ,
Наиболее простая, фактически классическая, форма критерия обучения БУМ получения оптимальной разделяющей гиперплоскости для обучающей совокупности объектов П* = {иj,] = } двух классов, т.е.
{^ € Rn,Уj = ±1), ] = 1, ...,М} в признаковом пространстве:
ГЕП=1 а2 + С ^=1 ^ ^ ш1п(а1,..., ап, Ь, 5г,..., 5м), ^
\yj (ЕП=1 агХг + Ь) ^ 1 - 5j, Sj ^ 0, j = 1,..., Ы,
представляет собой задачу выпуклого программирования. Традиционно задача (1) решается в двойственной форме:
[Е = Лг - 1 Е^=1 Ек=1 УjУкхТхк\Лк ^ шах(Л1,..., Лм),
\Е= ЛгУг = 0, 0 < Лj < с/2, j = 1, ..., N.
Результат обучения — дискриминантная функция, применимая к произвольному объекту и € П, представленному вектором признаков х(и):
а(и) = Иу, х>>0 УjЛхТх(и) + Ь>>0
Xj = x(иj) : Лj > 0 — так называемые опорные объекты обучающей совокупности, соответствующие неотрицательным множителям Лагранжа двойственной задачи.
2. Задача обучения для заданной функции попарного сравнения объектов в пространстве вторичных признаков
Итак, мы рассматриваем ситуацию, когда наблюдателю доступна лишь функция попарного сравнения объектов 5(и', и") : П х П ^ Я С И, и
обучающая совокупность П* = {иj^ = 1,...,Ы} С П, заданная квадратной матрицей: {5(иj,и{), yj = y(иj), ,],1 = 1, ...,Ы}. Зафиксируем подмножество объектов генеральной совокупности, доступных наблюдателю, — базисную совокупность П0 = {и0^’ = 1,...,№} С П — и определим набор порожденных фиктивных признаков для произвольного объекта как набор его попарных отношений с объектами базисной совокупности. В этом случае мы фактически сводим любую задачу беспризнакового распознавания к «классической» векторной постановке и можем использовать наработанный десятилетиями алгоритмический аппарат.
Особо отметим два момента. Первый: предполагается, что объекты обучающей совокупности совпадают с элементами базисной. Вполне может сложиться ситуация, что в прикладной задаче можно определить парные отношения между объектами (или измерить числовые характеристики, в ситуации признакового описания), но индексы классов получить затруднительно. Мы категорически не желаем отказываться от использования таких объектов в анализе. Уместно говорить в таком случае о частично классифицированной совокупности объектов обучения. Вполне разумным предположением является, на наш взгляд, то, что объекты обучающей совокупности входят как подмножество в базисную П* С П0 С П. Действительно, нет смысла отказываться от классифицированных объектов при построении вторичных признаков. Хотя, в общем случае, вполне
возможна ситуация, когда в качестве признакообразующих будут взяты подвыборки как из классифицированной, так и неклассифицированной выборок объектов распознавания. Таким образом, в дальнейшем мы будем фокусировать внимание на двух возможных ситуациях: Q* = Q0, Q*, Q0 С Q и Q* = Q0 С Q.
Второе существенное обобщение: мы будем рассматривать случай, когда функция S(ш',ш'') несимметрична S(ш',ш'') = S(ш'',ш'). Как правило, в задачах анализа данных парные отношения между объектами являются симметричными, хотя можно привести примеры и несимметричной структуры отношений на множестве объектов. Например, социоматрицы в социометрии, как правило, несимметричны и выражают отношения между респондентами. Другой пример — это несимметричная функция сходства изображений при их сопоставлении (image matching) на основе эластичных трансформаций. В таком случае мы предполагаем, что каждый объект базисной совокупности шг порождает два вторичных признака для объекта ш: S(шг,ш) и S(u,ui). Вектор вторичных признаков объекта ш Е Q относительно базисной совокупности размера N0 определим как: х(ш) = (хг(ш) = S(ш0,ш), х^+г(ш) = S(u,u0), i = 1,...,N°) Е R2N°. Далее, в окончательных выводах, мы будем специально оговаривать ситуацию частного случая, когда функция S(ш', ш'') симметрична S(u', ш'') = S(u", ш'), что, безусловно, будет приводить к более простым математическим формулировкам.
Таким образом, мы собираемся рассмотреть следующие возможные случаи порождения вторичных признаков:
Таблица 1
Q*, Q0 С Q, Q* = Q0 Q* = Q0 С Q
S(u',u") = S(u",u') Общий случай Частный случай 1
S(u',u") = S(u",u') Частный случай 2 Частный случай 3
Общий случай. Классический критерий обучения метода опорных векторов, опирающийся на вторичные признаки, образованные на несимметричной функции Б(ш',ш'г) = Б(и",иг), в случае несовпадения обучающей совокупности и множества базисных объектов О* С П0 С П будет иметь вид:
Ея=1 a2 + CJ2f=i 5j ^ min(ai,a2N°, b, 5\,5n),
yj (ЕЙ aiS(шЬш) + Е™м°+i aiS(ш,ш0) +b) ^ (2)
^ 1 — 5j, 5j ^ 0, j = 1,..., N.
Двойственная задача по отношению к (2):
V() = £N=1 Ь 1 ^N=1 £N=1 УзЫ (е№ Б(Ш0,Ш1)Б(Ш0,Ш]) + + Е ^0+1 Б (и1,и°)Б (из Ху XI,
,Е?=1 Уз Ху =0, 0 < Ху < (С/2), з = 1,...,К
Решающее правило распознавания для нового объекта и:
/ N0 2М0 \
Л(и)= ^ Уз хз[^ Б (и0,из )Б(и0,и)+ ^ Б(из,и0)Б (и,и0))+ Ь< °-
з: >0 \г=1 1=М0+1 )
Для определения константы Ь достаточно учесть ограничения исходной задачи для части опорных объектов з : 0 < Хз < С/2, т.е. тех, для которых 5з = 0. Тогда, просуммировав такие ограничения
Уз (£]=1 агБ(и0 ,из)+ £2=Лг0+1 агБ(из ,и°г)+ Ь) = 1, 3 : 0 < Хз < С/2, оптимальный сдвиг гиперплоскости определим выражением:
1
Ь=
Хз
]:0<\^ <С/2
(С/2) X/ уз +
з:*з = С/2
/ N0 2М0 \
+ ^ Хз ^ У1 Х (2 Б(и0,и1)Б(и0,изИ ^ Б(и1,и°г)3(из ,ш0))
]:0<\з <С/2 \:\>0 \г=1 i=N 0+1 )
(3)
Если определить вторичные признаки объекта распознавания относительно базисной совокупности как:
х(из) = (хз, г = 1,2№) е R2N0,
Б(и0,из), г = 1,...,М0
= Ю1 и'0 и ■) г = 1 к0
Х”' = 0
%з \Б(из ,и°_ ^ ),г = К0 + 1,..., 2К0,
то выражение (3) можно записать в краткой форме:
Е Хз Е УгХгхТX + (С/2) Е Уз
]:0<\з <С/2 1:Хь >0 г.\, = С/2
Ь =-------------------------^-------------------------• (4)
з:0<\з <С/2
Частный случай 1. Множество базисных объектов совпадает с множеством обучающих, т.е. П* = П0 С П и К0 = N, при несимметричной
функции сравнения на парах объектов Б (и',и") = Б (и'', и'):
(£=1 а2 + С £= 5з ^ ш1п(а1,a2N, Ь, §1,^),
\Уз (Е=1 аБ (иi, из) + +1 ^Б(из , иг) + Ь) ^ 1 — §з, §з ^ 0,3 = 1у К.
(5)
Двойственная задача по отношению к (5):
£=1 Х - 2 £^=1 £к!=1 УзУк £=1 (Б(^,из)Б(и^ик) +
+Б(из, и) Б (и к, и)) Хз Хк ^ шах(Хь ..., XN), (6)
£N=1 XiУi = 0, 0 < Хз < С/2, 3 = 1, ..., N.
Как видим, запись квадратичной формы критерия двойственной задачи оказалась достаточно громоздкой, поэтому ниже по тексту в случаях, где это уместно, мы будем выписывать часть критерия в матричной форме. Такой вариант для критерия (6) будет иметь вид:
1ТХ - 2 £^1 Е11 Хт (ББТ + БтБ) Х ^ шах(Х), утХ = 0, 0 < Х < (С/2)1,
здесь введены обозначения Б = {Б(иi,Uj), г,з = 1,...,К}, Х = (X1...XN)т, у = (у1. .. yN)Т и 1 = (1... 1)т. Решающее правило распознавания для нового объекта и:
/ N 2N \
й(и) = Е Уз Хз Е Б (и,,, из) Б (иi,и) + ^2, Б (из ,и)Б (и,и,,)\ + Ь> 0.
з': Л^ >0 \г=1 i=N+1 / <
Константа Ь в этом случае будет определяться выражением:
1
Ь=
Хз
з:0<\з <С/2
(С/2) X/ Уз +
з:\5 = С/2
/ N 2N \
+ Хз УХ ^ Б (^,иг )Б (и г, из )^ ^ Б (иг ,и )Б (из ,и)
з':0<Л5 <С/2 1:Хь>0 Ч,= 1 i=N+1 /_
Ь)
и если определить вторичные признаки объекта распознавания относительно базисной (обучающей в данном частном случае) совокупности как:
х(из ) = (х,з , г = 1,•••, Ш) е ^, х,з = { 5 {игз,з1М), + 1,..., 2К,
то выражение (6) можно записать в краткой форме, точно совпадающей с
(4).
Частный случай 2. Для симметричной функции Б (и',и'') = Б (и'',и') в случае несовпадения обучающей совокупности и множества базисных
объектов П*, П0 С П, П* = П0 критерий обучения запишется в следующем виде:
|£= а2 + С £=1 ^ ш1п(а1,..., aN0, Ь, §1,..., ^),
[Уз (£= аБ(и0°,из) +Ь) ^ 1 - §з, §з > 0,3 = ^...,
Двойственная задача по отношению к (8) принимает вид:
( £1=1 Х - 1 £=1 ££=1 Уз Ук £= (Б (и°г,из)Б (и0, ик ))Хз Хк ^ шах(ХЪ ..., ^), \£г=1 Xу, = 0, 0 4 Хз 4 С/2, 3 = 1, ..., N.
Результат обучения представлен дискриминантной функцией, применимой к произвольному объекту и Е П:
[ N 0 \ >
й(и) = ^2з: xj >0 Уз Х^^2г=1 Б (и0,из )Б (и0,и)) + Ь< 0 Константа сдвига гиперплоскости Ь определяется как:
Е Хз Е УгХг(£= Б(и°,иг)Б(и°,из))+(С/2) Е Уз
j:0<Лj <С/2 1:Л1>0 К 7 = С/2
Ь=
Хз
j:0<Лj <С/2
(9)
и если определить вторичные признаки объекта распознавания относительно базисной совокупности как:
х(из ) = (хз, г = 1, ...,№) е RN 0, хгз = Б (и0, из), г = 1,...,№,
то выражение (8) можно записать в краткой форме, совпадающей с (4).
Частный случай 3. В случае симметричной функции Б(из,иг) = = Б (иг, из), 3,1 = 1,...,К и совпадения множеств объектов обучающей и базисной выборок П* = П0 С П критерий обучения, опирающийся на N0 = N вторичных признаков и оптимизируемый по коэффициентам а1, •••,aN, будет иметь вид:
Ег=1 а.2 + ^£з=1 §з ^ ш\п(а1, •••,aN, Ь,Sl,•••,SN),
Уз (£2=1 а,Б(и,,и) + Ь) ^ 1 - , §з ^ 0,3 = 1,•••,N•
(10)
Обучение проводится по N объектам обучающей совокупности, представленным N взаимными вторичными признаками. Параметром регуляризации является коэффициент С. Двойственная задача по отношению к (10) принимает вид:
ГЕг=1 Хг - \ £j=1£ к=1 Уз Ук£г=1 (Б(иi, из )Б(иi, ик ))Хз Хк ^ шах(ХЪ ..., ^),
1Ег=1 ХгУг = 0, 0 4 Хз 4 С/2, 3 = 1, . . . , N.
Результат обучения представлен дискриминантной функцией, применимой к произвольному объекту ш Е Q:
й(ш)= yj ЛЛ^ S(^^j)S(^^)) + b> °.
j: Xj>0 \i=l )
Константа сдвига гиперплоскости b определяется как:
E Л E yi^(j2N=i S(^^i)S(ш^ш))+(c/2) E yj
j:0<Xj <C/2 l:Xi>0 7 j:Xj = C/2
b =--------------------------------------------------------------------'
j:0<Xj <C/2
(11)
и если определить вторичные признаки объекта распознавания относительно базисной совокупности как:
xfaj) = (xij, i = 1,..., N) е Rn, xij = S^, Шj), i = 1,..., N, то выражение (11) можно записать в краткой форме, совпадающей с (4).
Заключение
Этой работой мы начинаем цикл публикаций, посвященных линейным методам беспризнакового обучения распознаванию образов. Рассмотрен общий случай, когда на функцию попарного сходства объектов не накладывается ограничений. Пространство вторичных признаков порождается путем вычисления значений заданной функции сравнения объектов относительно элементов базисной совокупности. Рассмотрены частные варианты выбора подмножества базисных объектов и ситуация, когда функция парного сравнения несимметрична. В следующей статье мы детально рассмотрим ситуацию, когда функция отношения обладает свойствами потенциальной функции.
Список литературы
1. Ross A., Jain A.K. Multimodal biometrics: An overview // Proceed. of the 12th European Signal Processing Conference (EUSIPCO). Vienna. Austria, 2004. P.1221-1224.
2. A data fusion environment for multimodal and multi-informational neuronavigation /P. Jannin [et al.] // Comput Aided Surg. 2000. V.5. №1. P.1-10.
3. Duin R.P.W, De Ridder D, Tax D.M.J. Featureless classification // Proceed. of the Workshop on Statistical Pattern Recognition. Prague, 1997. P.37-42.
4. Duin R., Pekalska E, Ridder D. Relational Discriminant Analysis // Pattern Recognition Letters 20. 1999. P.1175-1181.
5. Classification on pairwise proximity data / T. Graepel [et al.] // NIPS. MIT Press. Cambridge, MA. 1999. V.11.
6. Featureless Pattern Recognition in an Imaginary Hilbert Space and Its Application to Protein Fold Classification / V.V. Mottl [et al.] // Proceedings of Second International Workshop on Machine Learning and Data Mining in Pattern Recognition. Leipzig, 200І. P.322-336.
7. Pekalska E, Duin R. Automatic pattern recognition by similarity representations // Electronic Letters. 200І. V. 37(3). P.159-160.
8. Vapnik V. Statistical Learning Theory. NY.: J. Wiley, І998. 768 p.
9. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, І970. 384 с.
10. Pekalska E, Duin R.P.W., Paclik P. Prototype selection for dissimilarity-based classifiers // Pattern Recognition. 2006. V.39. P.189-208.
11. Середин О.С. Методы и алгоритмы беспризнакового распознавания образов: дис. ... канд. физ.-мат. наук. Тула, 200І.
Середин Олег Сергеевич ([email protected]), к.ф.-м.н., доцент, кафедра автоматики и телемеханики, Тульский государственный университет.
Linear methods of pattern recognition for objects of arbitrary nature via their pairwise comparisons. The general case
O. S. Seredin
Abstract. Linear methods of learning in the pattern recognition are considered when objects are represented via pairwise comparison function. In this paper which is the first in the series discussed the general case without any restrictions on function output. The universal mechanism of secondary features production is a concept of basis set of object.
Keywords: featureless pattern recognition, linear decision rule of recognition, basis subset of recognized objects, comparison function.
Seredin Oleg ([email protected]), candidate of physical and mathematical sciences, associated professor, department of automation and remote control, Tula State University.
Поступила 15.12.2011
