CC BY
29
УДК 62-500.222.001.57
С.А.Попов, В.В.Жижин
МЕТОД ПОСТРОЕНИЯ КЛАССИФИЦИРУЮЩЕЙ ФУНКЦИИ ДЛЯ НЕСКОЛЬКИХ КЛАССОВ В УСЛОВИЯХ ИХ ПЕРЕМЕШИВАНИЯ
Новгородский государственный университет им. Ярослава Мудрого
An engineering approach for discriminant function construction in the space of technical parameters that is based on the least square method has been proposed. The procedure of applying this method for separation of several classes with intermixing has been depicted.
Введение
Существует широкий класс инженерных задач, для которых в пространстве технических параметров
изделия X = {xj, X2,K, xm }T необходимо определять
области, принадлежащие к различным классам изделий по некоторому критерию. Обычно таких параметров достаточно много и классы перемешаны, поэтому для выделения классов используются математико-статистические методы [1]. Однако формальное использование таких методов часто не позволяет выделять классы с достаточной для практики точностью, поскольку поверхности раздела между классами обычно являются достаточно сложными. Например, использование параметров распределения вероятностей классов при построении дискриминанта Фишера приводит к большим погрешностям определения классов ввиду недостаточной информации о распределении технических параметров для каждого класса. В этих условиях при построении классифицирующей функции можно использовать метод наименьших квадратов [2,3]. В соответствии с этим методом классифицирующая функция f (A, X ) = 0 строится так, чтобы она обеспечивала минимум суммы квадратов отклонений в виде
£ [f(, X i) - я ] = min {£ [f(B, Xi)-y ]2}, (1)
i=1
¿=1
где В = {ЬХ, Ь2,..., Ъ1} — вектор оценок коэффициен-
тов классифицирующей функции; X = {хх, х2,..., хт}т
— вектор классифицирующих параметров; у — признак принадлежности данному классу; п — объем выборки. Однако при таком подходе вклад в сумму отклонений (1) будут давать изделия с большими значениями /(А, X), что приводит к значительным
ошибкам распознавания классов, особенно при сложном виде классифицирующей функции, что характерно для технических приложений.
Построение классифицирующей функции для двух классов
Сначала будем считать, что необходимо выделить один класс. В дальнейшем покажем, как этот случай можно распространить на любое количество классов.
Будем полагать, что для каждого изделия существует функция принадлежности — вероятность принадлежности определяемому классу q1 и вероятность принадлежности всем остальным классам q2 (д1 + q2 = 1). Факт принадлежности (у = 1) или не принадлежности данному классу (у = -1), что определяется по результатам испытаний изделий, дает оценку величины q = q1 - q2 . Вектор принадлежности
У = {у], у2,., уп}т определяется по результатам испытаний п изделий.
Аппроксимация зависимости величины q от технических параметров записывается в виде
q( X, В) = ¡¡щп^ (X, В )]{1 - ехр[-| g( X, В)]}, (2)
где функция g( X, В) представляется полной квадратичной функцией:
т т т
g(X, В) = ВТ X = Ъо +£Ъгхг +££Ъухгх; = 0 ^ т
г=1 г=1 ;=1
Тогда разделяющая поверхность определяется уравнением
g (X, В ) = 0. (3)
В этом случае расчет оценок коэффициентов функции (3) методом наименьших квадратов (1) выполняется с помощью следующей итерационной процедуры [4]:
B s+j = Bs +
£ P (X i, Bs)T (X i, Bs)
£ P(, Bs ) - q(Xt, B)], (4)
i=1
dq( X, B ) =
где s — номер итерации, P(X, B) =
dB
= 8ЩП^( X, В)]ехр[-| g( X, В)]9^ В), а ^ (X.В) =
дВ дВ
= {1, {, х2 , х3, х: х2 , х:х3, к , х3 }Т .
Ковариационная матрица оценок коэффициентов (4) рассчитывается по формуле
Vb = о 2
L i=l
(5)
где о 2 — дисперсия ошибки распознавания классов.
1 п
о 2 =---r£[q(X i, B )-Уг ]2
П -1
(6)
i=1
где I — число коэффициентов в модели (2).
Диагональные элементы матрицы УВ (5) представляют дисперсии оценок соответствующих коэффициентов, что позволяет рассчитать их /-статистики и, таким образом, проверить значимость оценок коэффициентов. Дисперсия рассчитанной по модели
оценки функции g (X, В) для вектора технических параметров X
о2 = Рт (X,В)ВР(X,В)
где В — оценки коэффициентов, рассчитанные по формуле (5). Доверительный интервал для классифицирующей функции определяется в виде
g(X, В) = ±1Р4о2 + о2 , (7)
где 1Р — квантиль распределения Стьюдента для доверительной вероятности Р (Р = 0,95).
Построение классифицирующей функции для множества классов
Построение классифицирующей функции выполняется последовательно от первого класса до последнего. В качестве сходных данных используется таблица, каждая строка которой описывает одно изделие и включает величины технических параметров
X = {х1, х2,..., хт}т и вектор принадлежности
- г =1
X
У = {У1, У2,., Уп }Т , определяющий принадлежность данного изделия к каждому из заданных классов.
Процедуру построения разделяющей поверхности можно представить следующим образом.
1. Выполняется расчет оценок коэффициентов классифицирующей функции (4), дисперсия ошибки распознавания классов (6) и определяется классифицирующая функция в соответствии с (7), отделяющая изделия первого класса от остальных в виде
gl ^, В1 ) = о 2 + о 2.
2. Изделия, классифицируемые как первый класс, из выборки исключаются, т.е. У = {у1, у2,..., уп-1 }Т .
3. По оставшейся выборке определяется классифицирующая функция, отделяющая изделия второго класса от остальных g2(X,В2) = 1Р^о2 + о2у.
4. Пункты 2 и 3 повторяются для всех классов. Процедура классификации после расчета оценок коэффициентов В1,В2,к,Вт на этапе обучения состоит в следующем.
1. Для исследуемого 1-го изделия измеряются
технические параметры X1 = {,{,•••,х]т} .
2. Если выполняется условие g1 (X1, В1) -
- 1Р-^о2 + о2 > 0 , то данное изделия принадлежит
первому классу.
3. В противном случае проверки по пункту 2 продолжаются до тех пор, пока не определится принадлежность данного изделия.
Для расчета вектора оценок коэффициентов в соответствии с итерационной процедурой (4), ковариационной матрицы этих оценок (5) для каждого класса и реализации процедуры классификации по пунктам 1-3 разработана программа на алгоритмическом языке Visual Basic. Предложенная процедура построения классифицирующей функции была использована для классификации бетона по маркам водонепроницаемости при использовании различных наполнителей и показала высокую эффективность.
Заключение
Описанный метод построения классифицирующей функции, основанный на аппроксимации функции принадлежности, позволяет выполнять классификацию изделий при сложной форме классифицирующей функции для любого числа классов. Практическое использование этого метода показало его высокую эффективность, особенно в случае сильного перемешивания классов.
1. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976. 511 с.
2. Л. Хартман и др. Планирование экспериментов в исследовании технологических процессов. М.: Мир, 1977. 552 с.
3. Попов С.А., Андреев В.А., Хусаинов М.А., Бондарев А.Б. // Вестник НовГУ. 2006. №39. С.28-30.
4. Бард Й. Нелинейное оценивание параметров. М.: Статистика, 1979. 349 с.
