CC BY
52
УДК 615.47
АЛГОРИТМЫ КОРРЕКЦИИ МНОГОМЕРНОЙ ЛИНЕЙНОЙ РАЗДЕЛЯЮЩЕЙ
ПОВЕРХНОСТИ
Е.Б. Рябкова, Т.Н. Говорухина, Н.А. Кореневский
В работе рассматриваются вопросы коррекции положения линейной разделяющей поверхности в многомерном пространстве признаков с целью улучшения показателей качества классификации в задачах распознавания образов со структурой классов, не удовлетворяющей гипотезе об их нормальном распределении
Ключевые слова: теория распознавания, линейная разделяющая поверхность, настраиваемые параметры, ошибка классификации, многомерное пространство признаков
В классической теории распознавания образов для разделения различных классов состояний в многомерном пространстве признаков достаточно широкой популярностью пользуется линейная разделяющая поверхность (ЛРП) вида:
(2)
(1)
где х1 - вектор информативных признаков, ао, аь..., ап - вектор настраиваемых параметров, определяющих ориентацию гиперплоскости (1) в пространстве информативных признаков.
Существует множество способов выбора вектора настраиваемых параметров, обеспечивающих оптимальное или квазиоптимальное положение гиперплоскости (1), обеспечивающее разделение
альтернативных классов ю , и юг в пространстве
информативных признаков. [1,2,3] Однако, при выборе методов построения линейных разделяющих поверхностей следует иметь ввиду, что большинство из них реализуются для известных законов распределения классов в многомерном пространстве признаков (в основном для нормативных законов распределения). В условиях неполно -го и нечеткого представления данных, получаемые ЛРП чаще всего дают результаты далекие от оптимальных. Это может вызываться, например, неоднородностью распределения объектов обучающей выборки классов, наличием казуистических ситуаций и т.д. В связи с этим нами предлагается способ уточнения положения для ЛРП в пространстве признаков использующий гистограммы кю и кю распределения классов ю, и юг строящихся на шкале, характеризующей расстояние от объектов исследуемых классов до разделяющей гиперплоскости (1) [3].
Числовое значение этой шкалы определяется выражением:
Рябкова Елена Борисовна - ЮЗГУ, аспирант, тел.
(4712) 58-70-98
Говорухина Татьяна Николаевна - ЮЗГУ, студент, тел. (4712) 58-70-98
Кореневский Николай Алексеевич - ЮЗГУ, д-р техн. наук, профессор, тел. (4712) 58-70-98
Предлагаемый способ реализуется с помощью следующего алгоритма вычисления настраиваемых параметров.
Определяется стартовое (начальное) положение линейной разделяющей поверхности (ЛРП) любым из доступных способов, например методами линейного дискриминантного анализа из стандартного пакета прикладных программ. В простейшем случае стартовое положение ЛРП может быть определено путем построения гиперплоскости перпендикулярной линии соединяющей геометрические центры исследуемого класса ю, и альтернативного класса ю0. В качестве альтернативного класса может быть выбран один класс, если решается задача разделения двух классов или объединение множества классов противопоставляемых классу ю,.
Настраиваемые параметры а1 такой гиперплоскости определяются выражением вида:
а< = т ю - т. ю , (3)
I I,ю\ I,ю * ' ’
где т1 ю - I -ая координата «центра тяжести» класса ю1; т. ю - класса ю2.
1. Используя выражение 2 как шкалу интервалов строим на ней гистограммы кю и ког распределения классов ю, и юг (рис.1).
На оси У выберем координату у0 относительно которой предполагается осуществлять принятие классификационных решений по классам ю0 и ю, . С целью упрощения вычислительных процедур рекомендуется координату у0 расположить так,
чтобы гистограмма одного из классов лежала целиком по одну сторону от этой координаты.
В примере рис. 1 у0 выбрана так, что вся гистограмма класса ю, находится слева от этой точки с некоторым «запасом». Это означает, что при У = у0 разделяющая гиперплоскость выделяет объекты класса ю, без ошибок, поскольку весь этот класс в пространстве признаков располагается по одну сторону от ЛРП. По классу ю0 полученная разделяющая поверхность будет «совершать ошиб-
г=1
I=1
ки» для всех объектов сформировавших левую часть гистограммы кю лежащей левее координаты
у>.
кю кЛК)
и
К(К)
У0 'ую(уй) У0 Рис.1. Вариант выбора у0 относительно гистограмм альтернативных классов.
Задачу уточнения положения ЛРП можно рассматривать как процесс изменения стартовых значений параметров а1 (/ = 1, ,п )таким образом,
чтобы число ошибочно классифицируемых объектов было уменьшено.
Для описания реализации этого процесса введем ряд обозначений.
Объекты (точки) многомерного пространства признаков принадлежащие классу ю( обозначим
вектором X= {х‘1,,...,хП1}, объекты принадлежащие классу ю0 -Х,ю = |хц,...х" }. С помощью правила (2) каждому многомерному объекту пространства размерностью п ставится в соответствии точка у)Л (для класса ю() и у,0 (для класса ю0) на
шкале У . Назовем координаты у)Л и у,0 отображениями объектов X. и X. на шкалу У .
В приведенных обозначениях количество ошибок классификации ЛРП будет уменьшаться, если при изменении а1 количество отображений объектов класса ю0 «смещающихся» из левой относительностью у0 области в правую будет превышать количество отображений объектов класса ю «смещающихся» правее у0. Причем качество классификации будет тем больше, чем больше будет это превышение.
Для примера, приведенного на рисунке 1 очевидно, что если к первоначально заданным коэффициентам а1 добавлять положительный шаг Аа1, то все значения перемещаются вправо по оси У. Обозначим через 80 число объектов класса ю0, отображения которых лежащие слева от у0 перемещаются так, что начинают располагаться справа от у0 после выполнения операции присваивания
типа а1 = а1 + Аа1. Через 8, обозначим число объектов класса ю(, отображения которых перемещаются так, что находятся справа от у0. Тогда, если 8 0 > 8, классификационная способность правила
(2) улучшается и эта способность будет тем больше, чем больше будет разность А8 = 80 - 8,.
Аналогичные рассуждения будут справедливы если у' разместить слева от гистограммы класса ю0 и начать процедуру уменьшения первоначально заданных параметров а. в соответствии с выражением а. = а. - Аа. . В этом случае задача заключается в поиске такого шага Аа. , который обеспечивает максимальную разность вида А8' = 8, - 80, где -число отображений объектов из ю перешедших из правой, относительно у' части в левую, а 80 - число отображений объектов из ю0 размещающихся левее «границы» у'.
2. Определяется шаг Аа. изменения настраиваемых параметров а. с учетом знака, обеспечивающий максимальное значение АБ( А') .
В предлагаемой работе процедура выбора шага Аа. производится исходя из следующих соображений.
Рассмотрим вначале вариант расчета Аа. для границы у0 , начиная с положительного шага Аа. .
Пусть объекту Xсоответствует отображение с координатой у,0 (рис. 1). Очевидно, что если изменить а1 на Аа1 так, что отображение уj 0 сместится вправо так, что дойдет до «границы» У0, и
при этом не одно из отображений объектов класса ю не дойдет до этой границы, то ошибка классификации уменьшится на единицу.
Перемещение у, 0 до границы у0 может быть определено исходя из выражения:
у0 - у},0 = а1 х1 + У* - [(а1 + )• х1 + У ] - (4)
п
где У* = X а1 • х1 - неизменная часть выражения (2)
.=2
при изменении а1.
Из выражения 4 следует, что искомый шаг коррекции положения гиперплоскости (2) определяется выражением
Ааи = ^0 - у, 0 У х1>
и У0 ^ ],0У -~1 ’ (5)
где верхний индекс у Аа'0, означает, что расчеты выполняются для класса ю0 , для объекта с номером ].
Выполнив расчеты по 5 по всем объектам класса ю0 получаем массив каждый из элементов, которых при реализации формулы а1 = а1 + Аа'0 уменьшает ошибку классификации правила 2. Если из полученных величин Аа1, выбрать максимальное значение и пересчитать параметр а1 по формуле а1 = а1 + Аа0 , рассматривая знак = как оператор
к
У
присваивания, то все отображения объектов класса ю0 окажутся, либо на границе у0, либо правее нее.
То есть объекты класса ю0 будут классифицироваться относительно границы у0 без ошибок.
При этом при следует иметь ввиду, что при изменении а1 на любой положительный шаг Аа|\ при х1 Ф 0 отображения объектов класса ю1 будут перемещаться к границе у0 и возможно начнут
пересекать ее приводя к увеличению ошибок классификации. Величина шага, приводящая к ошибкам классификации для объектов класса ю может быть рассчитана из 4 по формуле:
Аа‘и =(1 - у и )/ х1 (6)
Для выбора наилучшего, с точки зрения минимума ошибок классификации, шага Аа1 для обоих классов ю0 и ю произведем сортировку шагов Аа‘^ и Аа'0 по возрастанию от меньшего шага к
большему. Если будут встречаться одинаковые значения шагов, то их расположения в новом массиве Аа1 ,ч будем производить произвольно, но при этом
каждый из новых элементов массива должен содержать информацию о том для какого из классов он был рассчитан.
Ошибку классификации R(q) будем рассчитывать исходя из следующего простого алгоритма.
Начальная ошибка классификации определяется количеством отображений объектов класса ю0 «лежащих» слева от у0 (R(q) = п ) .
Далее при просмотре элементов массива Аа1
от меньшего элемента ошибка будет корректироваться следующим образом.
Если встречается элемент из класса ю0, то R(q) = R(q) -1, если из класса ю(, то R(q) = R(q) +1. Полученные величины ошибок для каждого элемента q запоминаются и после просмотра всего массива выбираем тот шаг +Аа1, который обеспечивает минимальную ошибку классификации.
Аналогично создается упорядоченный по возрастанию модулей массив отрицательных шагов Аа1 ,ч относительно левой разделяющей границы
у'. Для этого массива стартовая ошибка определяется количеством отображений класса ю1 «лежащих» справа от у' (R(q) = п ) . Далее при просмотре элементов массива | -Аа1 | от меньшего элемента, ошибка R(q) корректируется следующим образом. Если встречается элемент из класса ю0 R(q) = R(q) +1, если из класса ю(, то R(q) = R(q) -1. После просмотра всего массива выбирается тот шаг - Аа1 ,ч, который обеспечивает минимальную ошибку классификации. Полученная
ошибка сравнивается с величиной ошибки полученной для положительного шага и из пары шагов +Аа1 и -Аа1 выбирается тот который обеспечивает минимальную ошибку.
Аналогичная процедура проводится для всех настраиваемых параметров с расчетом шагов по формулам:
Аа1 = (у0 - уи )/ х (7)
AalJ = (Уо - Уз,о)/ X (8)
-Аа! j =(у зл~ у0>)/ х (9)
-Аа1з = (уз,о -у/)/х (10)
После перебора всех настраиваемых параметров, процедура расчетов может быть повторена с а1 до ап с анализом величины ошибки классификации. Если при повторном переборе ошибка уменьшается, то рекомендуется повторить перебор всех а1 до тех пор пока величина ошибки не перестает уменьшаться .
Описанный способ коррекции положения разделяющей поверхности с базовым уравнением вида (2) реализуется алгоритмом блок, схема которого приведена на рис. 2.
В реальных задачах классы о0 и <п( относительно начала координат могут располагаться, так как показано на рисунке 1, а может быть и наоборот. Для придания свойств общности алгоритму обозначим класс гистограмма которого располагается слева от оси Y через <п(, а справа - через сог. Для описания работы алгоритма введем несколько дополнительных обозначений: t - идентификатор знака у шага Аа ^=1-для положительного шага, t = 0 -для отрицательного шага); Rt(q) - количество ошибок совершаемых решающим правилам при использовании корректирующего шага Аац с номером q с идентификатором знака t; пг - количество ошибок совершаемых решающим правилом (2) по классу ог для зафиксированного значения правой границы у0 до начала этапа коррекции а1; п, -количество ошибок совершаемых решающим правилом (2) по классу о для фиксированного значения левой границы у0 до начала этапа коррекции а1; у™ - координата правой границы гистограммы кщ ; у"" - координата левой границы гистограммы ho ; Z - поправка для разделяющей границы по шкале Y ; Аа{ (q) - массивы поправок к настраиваемым параметрам с номером q и идентификатором знака t; Q1 - число элементов в отсортированном массиве для t = 1; Q2 - число элементов в отсортированном массиве для t = 0 ; f - количество корректирующих действий по изменению положения гиперплоскости (2) в многомерном пространстве признаков с полным перебором всех а1; R(f) -число ошибок после f корректирующих действий.
Н
1 ' г
і = 1; Г = 1
2 ' - /
* V
Построение гистограмм кю , ка
— 3 ----------*----------—
Определение уГ, угт1П,
расчет Уо, у0
----4-----------”----------
Вычисление пг, п 1
______ 5 ________________і_______________
^і(і) = пг; Ло(1) = п
Рис. 2. Схема алгоритма коррекции ЛРП
Предлагаемый алгоритм работает следующим образом. Для корректировки выбирается первый настраиваемый параметр и переменная определяющая количество корректировок всего правила 2 устанавливается в значении 1 (блок 1). В соответствии с рекомендациями п. 1 строятся гистограммы кщ и кю , по ним определяются правая граница
класса юе и левая граница класса юг с вычислением координат у0 = у+ 2 и у' = у™ - 2 (блок 2, .., 4).
Относительно координаты у0 вычисляется ошибка классификации для класса юг- пг, а относительно границы у' - ошибки классификации п, для класса ю1, которые присваиваются соответствующим переменным Rt(q) (блоки 4, 5). Далее для всех объектов классов ю1 и юг по формулам 7, ..., 10 по выбранным объектам обучающих выборок определяется массив шагов по выбранному настраиваемому параметру.
С целью сокращения объема вычислений относительно границы у0 при определении Ла1. из обучающей выборки можно исключить объекты класса сог отображающихся на У правее у0. Аналогично могут быть исключены объекты класса сое, отображающиеся левее у0, поскольку их «перемещения» по оси У при изменении аі будут только
улучшать качество классификации (блок 6).
Вычисленные значения шагов разделяются на два массива (отдельно для ґ = 1 и ґ = 0) и сортируются в них по возрастанию элементов (блок 7).
Элементы массивов просматриваются от меньшего к большему (блоки 9, 16, 17, 12, 20) с вычислением величин ошибок для каждого из этих элементов (блоки 11, 12, 14, 15).
Условия просмотров всех элементов двух анализируемых массивов отделяются блоками 17, 18, 20. После просмотра всех элементов обеих массивов из них выбираются те Ла1. и -Ла1., которые
дают минимальную ошибку классификации. Из этих двух значений выбирается то, которое обеспечивает минимум ошибки (блоки 21, 22 и 23).
После этого осуществляется переход к следующему настраиваемому параметру и обеспечивается повторение работы алгоритма (блоки 24, 25).
Когда все настраиваемые параметры будут скорректированы (блок 25) на основе анализа полученных ошибок и последнего варианта гистограмм кщ и кш , принимается решение либо о прекращении коррекции (блок 26) или о повторной коррекции настраиваемых параметров начиная с первого (блок 26, 27).
Работа была выполнена в рамках реализации федеральной целевой программы «Научные и научно-педагогические кадры инновационной России»
на 2009-2013 годы. Государственный контакт №П424.
Литература
1. Горелик, А. Л. Методы распознавания [Текст] / А. Л. Горелик, Скрипкин. М.: Высшая школа, 1984.258с.
2. Дуда, Р. Распознавание образов и анализ сцен. [Текст] / Р. Дуда, П. Харт // М.: Мир, 1976.-511с.
3. Кореневский Н.А. Проектирование систем принятия решений на нечетких сетевых моделях в задачах медицинской диагностики и прогнозирования [Текст]: Н.А. Кореневский // Вестник новых медицинских технологий, 2006. Т. XIII, №2. С.6-10.
Юго-Западный государственный университет, г. Курск
CORRECTION ALGORITHMS OF MULTIDIMENSIONAL LINEAR SEPARATING
SURFACE
E.B. Ryabkova, T.N. Govorukhina, N.A. Korenevsky
In the article the questions position correction of linear separating surface in many-dimensional space of characteristics with the purpose of improvement of quality classification in pattern recognition problems with the structure classes, not satisfying the hypothesis of normal distribution
Key words: the theory of recognition, the line dividing the surface, customizable settings, error-ka classification, multi-dimensional space of attributes
