Построение сложных классификаторов для объектов в многомерных пространствах Текст научной статьи по специальности «Математика»

Построение сложных классификаторов для объектов в многомерных пространствах

А.М. Крашенинников, Н.И. Гданский, М.Л. Рысин

Принцип линейной нормальной классификации объектов в многомерных пространствах признаков может быть использован для построения классификаторов в случае множеств сложной структуры, неразделимые в общем случае одной гиперплоскостью. В таких случаях предложено использовать совокупность иерархически связанных нормальных разделяющих гиперплоскостей, которая названа иерархическим нормальным классификатором (ИНК).

Для каждого распознаваемого множества Аі ИНК содержит совокупность нормальных гиперплоскостей {л }і, заданных множествами их коэффициентов С = ( С о ,С ±,.. .,Сп ) . Все гиперплоскости { л } і разделены на слои. Число слоев обозначим Ь ^ Число гиперплоскостей в слое с номером б обозначим через N 3. Набор коэффициентов гиперплоскости из совокупности {л } і в слое с номером б, имеющей номер к, будем обозначать как С18к. Для упрощения выражений наряду с вектором координат точек х будем использовать однородные векторы хр = ( 1 , х) , у которых на начальной позиции к х добавлена единица.

Алгоритм проверки включения заданной точки пространства х в множество с использованием ИНК, содержащего слоев, в каждом из которых (с номером б) хранится Ns гиперплоскостей Сік, заключается в том, что производится перебор по всем слоям б ИНК от 1 до ^. Для каждого слоя б последовательно производится подстановка координат однородного вектора хр = (1, х) , во все уравнения плоскостей слоя. При получении первого же неотрицательного значения в скалярном произведении

(Сік,хр)>0 (1)

делается вывод о вхождении точки X в множество АI, выходим из алгоритма с ответом: X 6 А I . Если же во всех скалярных произведениях для гиперплоскостей первого слоя выполняется условие (С^,Хр) < 0 , то проверку необходимо продолжать в следующем слое. После подстановки в условие (1) коэффициентов гиперплоскостей последнего слоя проверку завершаем. Если при этом ни одного неотрицательного значения в скалярных произведениях ( С^,хр) не было получено, то отсюда следует, что: X £ А ^.

Применение ИНК позволяет решать задачу разделения множеств для совокупностей множеств любой структуры, имеющих сложное относительное расположение в пространстве признаков.

ИНК каждого множества предложено определять путем его

разделения с остальными множествами. Поскольку с точки зрения включения точек в все другие множества одинаковы, то после объединения их можно считать одним множеством. Таким образом, для практического решения задачи построения ИНК отдельного множества достаточно разработать алгоритм только для пары множеств.

Для решения задачи построения ИНК отдельного множества в алгоритме для пары множеств предложено использовать две дополнительные операции по разделению множеств - отсечение и бинарную кластеризацию.

Если для пары множеств и не существует единой нормальной разделяющей гиперплоскости, то предлагается выполнить разделение и путем повторного применения принципа нормального разделения не к целым множествам, а к их частям.

Нормальную по отношению к межосевому вектору С1 2 гиперплоскость, которая отделяет все точки из А г и не содержит точек из А 2, назовем отсекающей для множества А ±, а подмножество А ± 0 - отсекаемым.

Аналогично вводится отсекающая плоскость для множества А 2 ,. Практически построение отсекающих плоскостей производится перебором массива расстояний их точек до некоторой пробной нормальной плоскости.

Применение только одного нормального разделения и отсечения подмножеств в общем случае недостаточно для решения задач нормальной классификации множеств сложного вида - как для вложенных множеств, так и в тех случаях, когда отсекаемые множества пусты. Для преодоления

данных затруднений предложено дополнительно применять близкое по назначению к кластеризации разбиение одного из множеств и на две части. Его задача - выделение пары максимально сгруппированных подмножеств. Назовем такой способ разбиения и получаемые подмножества для краткости бинарным. Обозначим бинарные подмножества выделенного множества А через {А 1(А 2}.

Поскольку качество кластеризации повышается с уменьшением радиусов кластеров Я\, Я2 и увеличением межцентрового расстояния р 1 2 между ними, то в качестве критерия сгруппированности подмножеств и предложено использовать ранее введенную степень разделимости подмножеств Я (А 1(А 2), а в качестве меры его оптимальности - максимум. Условие оптимальности получаемого разбиения {А 1, А 2 } принимает вид:

Я (А 1 , А2) = р 1 2 /(I 1 + I2) - тах (А 1 ,А2 ) ,

(2)

В общем случае глобальный экстремум задачи (2) может достигаться не на единственной паре возможных подмножеств . Точное ее

решение можно найти перебором всех возможных вариантов разбиения множества на пары непустых подмножеств и вычислением для них

значения с последующим сравнением полученного значения с

текущим максимумом . Обозначим через число точек в исходном множестве .

Практически точный переборный алгоритм решения задачи (2) реализуется перебором всех кодовых чисел к из отрезка [ 1 ; 2 пе _ 1 — 1 ] , описывающих все различные варианты разбиения на подмножества .

По к формируются и производится вычисление значения критерия

. В качестве оптимального принимается тот вариант разбиения, при котором достигается максимум значений .

Принимая в качестве характерного параметра задачи число точек в разбиваемом множестве А, получим, что сложность точного переборного алгоритма равна пе ■ 2 пе , т.е. является экспоненциальной. Поэтому использование точного алгоритма решения задачи бинарной кластеризации для обычных вычислительных устройств возможно только при относительно небольших разделяемых множествах, примерно для значений .

Практически размер разделяемых множеств может быть достаточно большим. Также в процессе решения общей задачи классификации данный алгоритм может применять десятки раз. Поэтому основной задачей точного алгоритма является решение тестовых задач, а на практике для бинарной классификации необходимо использовать приближенные алгоритмы, сочетающие более низкую сложность с получением решений, достаточно близких значений критерия качества. У данных алгоритмов условие глобальной оптимальности заменяется локальной оптимальностью, при которой получаемое решение может быть лучшим только для ограниченного подмножества общей области поиска.

Изучение оптимальных решений задачи бинарной кластеризации множеств показывает, что в получаемых оптимальных подмножествах всегда присутствуют по одной точке из какой-либо или из нескольких пар максимально удаленных точек.

Поэтому построение бинарных подмножеств предложено начать с размещения в них точек, между которыми достигается максимальное расстояние. Представители выделенной пары максимально удаленных точек, размещаемые вначале для подмножеств А 1 , А 2, обозначим через а 1 ]_, а 2 1 и назовем начальными. Максимальная удаленность точек % 1 и а 2 1 позволяет сделать ряд заключений о местоположении всех других точек А и их возможном включении в подмножества и . Они могут находиться только внутри пересечения сфер радиусов с центрами в а , и а .

Наиболее простой вариант разделения реализуется с использованием нормальной гиперплоскости 7ТП, проходящей через среднюю точку Р вектора (а 1 ]_, а 2]_,) (рис.1). Для точек этой гиперплоскости (х 6 7ТП) выполняется условие р (х, % ) = р (х, а 2 ) . Вводя для краткости прямое и обратное отношения 51 2(х) = р (х, а1 1 ) /р (х, а2 1 ) и 52 1(х) = р (х, а1 1 ) /р (х, а2 1 ) представим условие (х 6 7Тп) в виде:

^1 2 (Х) = ^2 1(х) = 1.

Рис. 1. Возможное местоположение точек множества А К подмножеству А1 относим те точки х множества А, которые лежат по одну сторону с его начальной точкой а 1 1, в этом случае р (х, а 1 1 ) < р (х, а21 ) (или 512(х) < 1.). К подмножеству А2 относим

те точки, которые ближе к а2 1, для них р (х, а1 1 ) > р (х, а 2 1 ) (или 51 2(х) >

1).

Такой алгоритм разделения прост. Однако при его применении возникает неопределенность в отношении точек, лежащих на граничной плоскости 7Тп, у которых р (х, % 1 ) = р (х, а2 1 ) (<5'1 2(х) = 1). Также точки, лежащие достаточно близко границе , могут быть не оптимально

включены в соответствующее подмножество из-за того, что они близки к другому подмножеству.

Для контроля подобных ситуаций предложено ввести предельную величину отклонения , которая позволяет априорно выделить:

а) множество точек, гарантированно входящих в оптимальное подмножество А 1 при выполнении условия: ^ 2(х) < 6Ь ; (либо 62 1(х) > 1 / 6Ь) и

б) множество точек, гарантированно входящих в оптимальное подмножество А 2, для которых выполняется условие: 62 1 (х) < 6Ь ; (либо 6-1_ 2 (х) > 1 /6Ь ).

При введенном априорном пограничном значении возникает

пограничный слой, точки которого удовлетворяют условиям:

6Ь < 61 2 (х) < 1 / 6 Ь; 6Ь < 62 1(х) < 1 / 6 Ь.

Для них невозможно сразу же сделать заключение о принадлежности к оптимальным множествам и . Рассмотрим оценку возможной

величины априорного отклонения . Максимальные значения данного отклонения достигаются в модельной ситуации, когда:

- разделяемые точки множества А лежат в одной гиперплоскости (рис.2 а),

- есть две промежуточных группы с центрами а и а и довольно большими числами точек N >> 1 на границах возможной области, симметрично расположенные слева и справа относительно крайней точки области К, угловые отклонения точек а и а соответственно от точек и обозначим через .

Перейдем для сокращения обозначений к масштабированным координатам, значения которых разделены на величину и введем в

рассмотренной плоскости вспомогательную систему координат с центром в точке а 11 и осью х, проходящей через точку а 2 ^ В ней координаты точек I и Я следующие:

а а .

Рис.2

При угле р , близком к 7Т / 3 , и приближении точек L и R к К оптимальным вариантом разбиения будет присоединение обеих промежуточных групп к одной из начальных точек, например, к а11 (рис.2 б). В этом случае параметры получаемых множеств А 1 , А 2 и величина критерия будут следующие:

С2 * (L + Д) / 2 = ( 0 , 5 ; si п р ) ; С2 * ( 1 ; 0 ) ; р12 * ( 0 , 2 5 + s i n 2 р ) 0 , 5;

R1 * 1 / 2 ; R2 * 0 ; Я( ^ = р1 2/ (^ + R2 ) * 2 (0, 2 5 + s i n 2 р) 05.

При меньшем угле ^ и более удаленном взаимном расположении точек 2 и R оптимальным вариантом разбиения будет присоединение точки L к а 1 ]_, а R к а 2 ъ (рис.2 в). При этом получим следующие параметры множеств , и величину критерия:

С2 * L = ( 1 — с о s р ; s i п р ) ; С2 * R = ( с о s р; s i п р ) ; р 1 2 *

2 с о s р — 1 ;

R± ж R2 « ((1 — cos р) 2 + sin2 р)2/2 = (2(1 — cos р)) 0,5 /2;

А(2) = Pi2/(^i + ^2) ~ (2 cos р - 1)/(2(1 -cos р)) °’5 .

При пороговом положении точек L и L выполняется равенство:

Я ( 1 ) = Я( 2 ). Отсюда следует условие для порогового значения угла р^:

(2 cosifjn — 1)/(2(1 — cosp,,.)) 0,5 = 2(0,25 + sin2 р)0,5.

Перейдем для упрощения вида выражения к новой переменной :

£ = 2(1 —cos ifjn) ; 0 < £ < 4.

Условие принимает вид:

( 1 - £) /£°,5 = ( 1 + £ (4 - £)) 0 , 5.

Умножая обе части на знаменатель левой части и возводя обе части в квадрат, получим:

( 1-2 £ + £2 ) = £ ( 1 + 4 £ - £2 ) .

Перенося все слагаемые в левую части и приводя подобные слагаемые, получим кубическое уравнение относительно £:

£3 - 3 £2 - 3 £ + 1 = 0.

Подстановкой несложно проверить, что одним из корней будет значение ? = -1. Данное значение на входит в допустимый отрезок [0;4]. Разделив уравнение на (? +1), получим квадратное уравнение относительно £:

£2 -4 £+1 = 0.

Его корни: £-,_ , 2 = 2 ± ( 3 ) 0 , 5. Условию 0 < £ < 4 удовлетворяет корень £2 = 2- ( 3 ) ° 5.

Подставляя выражение для t, получим:

2(1—созгрп) = 2 — (З)0,5 ; С05ря = (3)0,5/2; грп = агссо5((3)0,5/

2 ) = 7Т / 6 .

При данном значении угла р (х,а2 ) = 2 5 1 п (ря/ 2 )«0 , 5 2 . Ему соответствует теоретическое значение предельной величины отклонения а . Поскольку данная величина найдена для

предельных, в действительности не реализуемых вариантов подмножеств точек в А, то для практических расчетов принята величина априорного отклонения 6 Ь = 0,6. При этом условия априорного включения точки х из множества А в подмножества А1 и А2 имеют вид, соответственно:

0 < 61 2 (х) < 0 , 6 ; 0 < 62 1 (х) < 0 , 6 ; .

Данное правило также предложено применить для последующего после априорного расширения подмножеств А1 и А2. Только для тех точек, к которым данное правило уже не применимо, применяется переборный принцип разделения.

Рассмотрим приближенный алгоритм решения задачи.

1. Исходные данные:

1) п - размерность пространства и,

2) пе - число точек в множестве А, (п1>2),

3) А[1:пе][1:п] - массив координат точек множества А.

2. Решаемые задачи:

1) определение чисел элементов п1, п2 и массивов координат точек в квазиоптимальной паре бинарных подмножеств А1 и А2, у которых значение критерия ^(А1,А2) близко к глобальному максимуму ^тах;

2) определение центров тяжести С1,С2 найденных квазиоптимальных бинарных подмножеств А1 и А2.

Приближенный алгоритм бинарной кластеризации (ПАБК).

Шаг 1. Предварительный анализ относительного положения точек А. Построение матрицы расстояний.Определение тт и тах расстояний. Формирование списка РЯ[1:Р] всех пар максимально удаленных точек. Введение начального значения критерия текущего оптимального разбиения:

Ш_МШ := 2Ртах.

Шаг 2. Перебор всех Р пар максимально удаленных точек. Цикл по параметру £ (1 < £ < Р) по всем парам максимально удаленных точек.

Шаг 2.1. Начальные присваивания:

а) номера очередных максимально удаленных точек: т1:= РЯ[£][1]; т2:=

РВД[2];

б) засылка точек т1 и т2 в текущие множества А1т и А2т и центры тяжести С1т и С2т;

в) формирование начального списка координат точек невключенных вершин ЛК, а также списков расстояний ЯС1 и ЯС2 точек т1 и т2 до точек из ЛК

Шаг 2.2. Циклическое наращивание текущих множеств А1т и А2т за счет включения в них близких точек. Во нвутреннем цикле просмариваются все невключенные точки. Для них определяется соотношение Б12=КС1[1]/ЯС2[1]. Если Б12<=0.6, то точка из ЛК включается в А1т; если Б12>=1.67, то точка из ЛК включается в А2т. Иначе точка остается в множестве ЛК. Если произошло включение новых точек в множество А1т, то

корректируется его центр тяжести С1т и список расстояний ЯС1. Аналогично, если произошло включение новых точек в множество А2т, то корректируется его центр тяжести С2г и список расстояний ЯС2.

Шаг 2.3. Оценка результатов наращивания текущих множеств А1т и А2т за счет включения в них близких точек.

Если все точки из ЛК включены в А1т и А2т (решение задачт бинарной кластеризации получено), то запись полученных данных и выход из алгоритма.

Если не все точки из ЛК включены в А1т и А2т , то разделение оставшихся выполняется путем перебора вариантов по аналогии с точным решением.

Завершение работы алгоритма.

Моделирование точного и приближенного алгоритмов производилось на широком наборе множеств. Как правило, результат работы приближенного алгоритма совпадает с разбиением, полученным по точному алгоритму. В специальных модельных случаях значения критерия у приближенного метода хуже, чем у точного примерно на 15 %.

В частности, для модельного множества А ={{0;0}; {1;0};{1;1};{0;1};{0;0,8}; {0,2;1}; {0,25;0,25}; {1,00;0,5}} (рис.За) в

двумерном пространстве признаков точное решение (рис.З б) дает значение критерия, равное ^тах=1.097.

Решение: щ =5, А1 = {{1.0,0.0}; {1,00;0,5};{0.0,0.0};{1.0,1.0};

{0.25,0.25}; п2 = 3, А2 = {{0.0,1.0},{0.0,0.8},{0.2,1.0}}, полученное по приближенному методу, дает значение критерия ^тах=0.930, что на 15% хуже, чем глобально оптимальное значение.

Применение дополнительных операций отсечения и бинарной кластеризации позволяет построить общий алгоритм разделения множеств произвольной структуры со сложным относительным пространственным положением путем построения иерархических нормальных классификаторов соответствующих множеств.

Литература:

1. Н.И. Гданский, А.М. Крашенинников. Бинарная кластеризация объектов в многомерных пространствах признаков [Текст] // Труды Социологического конгресса. РГСУ. 2012. - 94-98 с.

2. Н.И. Гданский, М.Л. Рысин, А.М. Крашенинников, Линейная классификация объектов с использованием нормальных гиперплоскостей [Электронный ресурс] // «Инженерный вестник Дона», 2012, №4 - Режим доступа: http://ivdon.ru/magazine/archive/n4p 1y2012/1324 (доступ свободный) -Загл. С экрана. - Яз. рус.

3. Н.И. Гданский, А.В. Карпов, А.А. Бугаенко. Оптимальное

интерполирование типовых динамик в задаче управления с

прогнозированием [Электронный ресурс] // «Инженерный вестник Дона», 2012, №3 - Режим доступа: http://ivdon.ru/magazine/archive/n3y2012/936 (доступ свободный) - Загл. С экрана. - Яз. рус.

4. Л. Г. Комарцова, А. В. Максимов. Нейрокомпьютеры // Изд-во МГТУ им. Н.Э. Баумана, 2002. — С. 320.

5. Н.И. Гданский, А.М. Крашенинников. Сравнение эффективности

методов бинарной кластеризации множество точек-прецендентов [Текст] // Математический методы и приложения: Труды двадцать вторых

математических чтений РГСУ. АПКиППРО. 2013. - 59-67 с.

6. Л.Н. Ясницкий. Введение в искусственный интеллект. — 1-е. // Издательский центр «Академия», 2005. — С. 176.

7. Н.И. Гданский, М.Л. Рысин, А.М. Крашенинников. Применение современных информационных технологий в учебном процессе высшей школы [Текст]: монография // Изд-во РГСУ, 2012, ISBN 978-5-905675-31-7. -С.150.

8. Н.И. Гданский, А.М. Крашенинников, Е. А. Слюсарев. Использование геометрического подхода при построении классификаторов в системах искусственного интеллекта [Текст] // Математическое моделирование в

проблемах рационального природопользования. Сборник научных трудов Всероссийской молодежной конференции. РГСУ. 2012. - с.36-43.

9. Structure of Decision. The Cognitive Maps of Political Elites // Ed. by R. Axelrod. - Princeton: Princeton University Press, 1976. - 405 p.

10. Shapiro M.J., Bonham G.M. Cognitive processes and foreign policy decision-making // International Studies Quarterly. 1973. - P. 147-174.