Алгоритм многомерной классификации и его нейросетевая интерпретация Текст научной статьи по специальности «Компьютерные и информационные науки»

В. И. Дубровин, С. А. ИНТЕРПРЕТАЦИЯ

Субботин: АЛГОРИТМ МНОГОМЕРНОЙ КЛАССИФИКАЦИИ И ЕГО НЕЙРОСЕТЕВАЯ

Вероятность qi застать полумарковский процесс в

состоянии г после момента ^ находим из (9) и (10) по формуле

Ч S)

TN( s)

Pi

что и требовалось доказать.

Полученные результаты являются естественным обобщением результатов, полученных в [3,4] для неоднородных марковских процессов на случай полумарковских процессов.

ПЕРЕЧЕНЬ ССЫЛОК

1. Королюк B.C. Стохастичш модел1 систем. -К.: Либ1дь, 1993.135 с.

2. Герасим C.H. Проблемы стабилизации распределений неоднородных марковских систем. Харьков, изд-во ХТУРЭ, 1999. - 212 с.

3. Герасим C.H. Условия сходимости к предельному распределению в неоднородных цепях Маркова за конечное время // Вюник Харювського нацюнального ушверситета, №456, ч.2, 2000.-С.256-259.

4. Герасим C.H., Дикарев B.A., Числим Н.И. Существование предельных вероятностей для конечных процессов Маркова с убывающими к нулю временными промежутками перехода // Доповщ HAH Украши, №7, 1998.-С.15-19.

q

УДК 681.32:007.56

АЛГОРИТМ МНОГОМЕРНОЙ КЛАССИФИКАЦИИ И ЕГО НЕЙРОСЕТЕВАЯ

ИНТЕРПРЕТАЦИЯ

В. И. Дубровин, С. А. Субботин

Предложены модифицированный нерекуррентный метод потенциальных функций и алгоритм многомерной классификации. Дана нейросетевая интерпретация алгоритма многомерной классификации. Приведены рекомендации по практическому применению предложенных методов.

Запропановано модифжований нерекурентний метод по-тенцшних функцш та алгоритм багатомгрног класифгкацп. Дана нейромережева iнтерпретащя алгоритма багатом(рноЧ класификацИ. Приведет рекомендацИ по практичному засто-суванню запропанованих методiв.

Modified unrecurrent method of potential functions and algorithm of a many-dimensional classification are proposed. The neural network interpretation of algorithm of a many-dimensional classification is given. The recommendations for practical application of offered methods are indicated.

1. ВВЕДЕНИЕ

Несмотря на довольно существенные успехи, достигнутые в области распознавания образов за последние годы, следует отметить, что до сих пор универсального метода распознавания не существует, а все известные методы обладают как достоинствами, так и недостатками.

Статистические методы распознавания [1-3] позволяют достаточно быстро осуществлять обучение распознаванию образов, но они далеко не всегда способны решать поставленные задачи и обладают слабыми адаптивными способностями.

Нейросетевые методы [4-7], активно развивающиеся в последнее время, обладают универсальностью, высокими аппроксимационными и адаптивными свойствами. Но, в свою очередь, характеризуются такими недостатками,

как длительность и сложность процесса обучения, сложность подбора параметров нейронной сети (НС) для уверенного решения задачи, логическая непрозрачность механизма принятия решений.

Поэтому возникает необходимость в разработке и внедрении методов, которым присущи достоинства как статистических, так и нейросетевых методов.

Одним из таких методов является метод потенциальных функций [2,8], который, являясь по сути статистическим, имеет еще и нейросетевую (перцеп-тронную) интерпретацию. Метод потенциальных функций основан на том, что экземпляры одного класса в пространстве признаков вероятнее всего будут ближе, чем экземпляры разных классов, и решение задачи классификации этот метод осуществляет на основе вычисления суммарного расстояния между новым экземпляром, класс которого неизвестен, и экземплярами обучающей выборки, относящимися к разным классам. Обладая хорошими адаптивными способностями, этот метод имеет такие недостатки, как высокие требования к ресурсам памяти ЭВМ для хранения всей обучающей выборки и недостаточная для ряда задач аппроксимационная способность.

Другим методом, имеющим статистическую и нейро-сетевую интерпретации, является эвристический алгоритм, основанный на объединении результатов одномерных классификаций по признакам [9]. Этот алгоритм, хотя и предъявляет к ресурсам ЭВМ существенно меньшие требования чем метод потенциальных функций, все же характеризуется значительно худшими аппроксимационными способностями по сравнению с последним.

В качестве развития и интеграции идей эвристического алгоритма и метода потенциальных функций в данной работе предлагается использовать алгоритм многомерной классификации.

2. МОДИФИЦИРОВАННЫЙ НЕРЕКУРРЕНТНЫЙ

МЕТОД ПОТЕНЦИАЛЬНЫХ ФУНКЦИЙ

Пусть задана обучающая выборка, состоящая из £ экземпляров х1, q = 1, 2, ..., £ , характеризующихся N признаками х1, г = 1, 2,.N, и каждому х1 сопоставлен класс А или В.

Исходя из предположения, что экземпляры одного класса вероятнее всего будут расположены ближе в пространстве признаков, определим для каждого класса и каждого признака координаты центров сосредоточения (центров тяжести) экземпляров.

Координата центра сосредоточения экземпляров, принадлежащих к классу А, по г-му признаку СА будет определяться из выражения:

яА

СА = ^ I х1, х1 е А , 1 = 1

где МА - количество экземпляров, принадлежащих к классу А.

Аналогично, координата центра сосредоточения экземпляров, принадлежащих к классу В, по г-му

признаку СВ будет определяться из выражения:

СВ = -Ь I х1, х1 е В ,

1 = 1

где N - количество экземпляров, принадлежащих к классу В.

Зная координаты центров сосредоточения экземпляров обучающей выборки для обоих классов, можно осуществлять классификацию по расстоянию нового экземпляра от этих центров в ^мерной системе координат.

Для этого для каждого нового экземпляра х1 последовательно находятся расстояния этого экземпляра от центров сосредоточения экземпляров для каждого из классов:

N

ЯА = 1( СА - х1 )2,

г = 1

= 1(СВ - х1 )2.

г = 1

После чего можно найти значения суммарных потенциалов, создаваемых всеми экземплярами того или иного класса в новом экземпляре:

фА = ^ У(ЯА),

фв = N5 у(я2),

где У(Я2) - некоторая потенциальная функция, напри-

мер: У( Я 2 ) =

1

■, где V - некоторая константа.

1 + vR2

Новый экземпляр относят к классу А, если Фа > Фд ,

в противном случае - к классу В.

Так как выражения для нахождения потенциальной функция У для потенциалов обоих классов будет одним

и тем же, а ЯА и Я2 будут неотрицательными величинами, то сравнение потенциалов можно заменить сравнением расстояний: новый экземпляр относят к классу А,

если ЯА <Я2 , в противном случае - к классу В.

Такой алгоритм по сравнению с каноническим методом потенциальных функций будет обладать рядом преимуществ. Он не будет требовать наличия обучающей выборки в памяти ЭВМ после обучения, будет существенно быстрее работать и позволит избавиться от достаточно большого количества вычислений, то есть будет более оптимальным с вычислительной точки зрения.

3. АЛГОРИТМ МНОГОМЕРНОЙ

КЛАССИФИКАЦИИ

Модифицированный метод потенциальных функций предполагает сравнение расстояний нового экземпляра от центров сосредоточения экземпляров обучающей выборки по всем координатам (признакам) одновременно. При этом не учитывается информация о значимости признаков. Для устранения этого недостатка представим класс экземпляра К как функцию суммы результатов частной классификации по г-му и у-му признакам Ку с учетом их значимостей ау .

К = у

N

1аК

\и 3

, где у(х) =

1, х>0, 0, х < 0.

Условимся, что класс А будет кодироваться значением 0, а класс В - значением 1.

Для определения результатов частной классификации

N

В. И. Дубровин, С. А. ИНТЕРПРЕТАЦИЯ

Субботин: АЛГОРИТМ МНОГОМЕРНОЙ КЛАССИФИКАЦИИ И ЕГО НЕЙРОСЕТЕВАЯ

по г-му и 3-му признакам Кг3 для экземпляра х1 найдем

г3

расстояния этого экземпляра от центров сосредоточения экземпляров, принадлежащих классам А и В на плоскости, образованной г-ым и 3-ым признаками:

Я2са (х1) = (СА1 -х1 )2 + (СА, -хЧ)2,

я2св х) = (Сд -х1 )2 + (СД -х?)2 .

хг ' 1

Если Я'Са (х1 )<ЯСв (х1) , то будем считать, что на

ху ху

плоскости (г/) х1 е А , иначе х1 е В . То есть, если ЯСА (х1) <ЯСВ (х1) , то Ку = 0 , иначе - К, = 1 .

В этом случае при вычислении результата классификации будут использоваться частные результаты двумерных классисифкаций по г-му и /-му признакам (г Ф1) и результаты одномерной классификации по г-му (/-му) признаку (г = 1).

Очевидно, если положить: г, 1 е [ 1, 2,., N , V </ , то будут учитываться только частные результаты двумерной классификации по г-му и /-му признакам

(г Ф1).

В свою очередь, если положить: г, 1 е [ 1, 2,., N1, V = 1, то будут учитываться только частные результаты одномерной классификации по г-му (/-му) признаку

(г = 1).

Для нахождения значимостей аг1 результатов частной

классификации по г-му и 1-му признакам для всех экземпляров обучающей выборки определим количество ошибочных решений при двумерной классификации по г-му и 1-му признакам:

^шК,= !(И- -К1\) ,

1 = 1

где К1 - значение, сопоставленное классу 1-го экземпляра, К11 - результат двумерной классификации 1-го и

экземпляра по г-му и 1-му признакам.

Затем найдем значимости аг1 результатов частной классификации по г-му и 1-му признакам:

1

а=

У N

1 -

Для упрощения вычислений можно предложить альтернативный вариант установки значений :

% =

_1_ I-

Такой вариант несколько ускорит работу алгоритма, но при этом значимости частных результатов классификации учитываться не будут.

Так как результаты классификации К3 = К,,, то для

Ч /г

оптимизации вычислительного процесса при обучении и распознавании зададим области определения для г и/:

г,/ е [ 1, 2,..., N1, V </.

4. НЕЙРОСЕТЕВАЯ ИНТЕРПРЕТАЦИЯ

АЛГОРИТМА МНОГОМЕРНОЙ

КЛАССИФИКАЦИИ

Вышеописанный алгоритм многомерной классификации может иметь нейросетевую интерпретацию на основе трехслойного перцептрона, являющегося частным случаем многослойной нейронной сети (МНС) [10]. Применение нейронных сетей для решения задачи классификации по признакам целесообразно, поскольку они обладают высокими адаптивными способностями, способны обучаться аппроксимировать многомерные функции, то есть, могут извлекать, правда, в неявном для пользователя виде, знания из исследуемой предметной области [11].

Целью процесса обучения НС является настройка множества весов НС таким образом, чтобы удовлетворить некоторому критерию обучения, например, минимуму среднеквадратической ошибки сети. Для обучения МНС применяют градиентные алгоритмы, наиболее быстрым среди которых на сегодняшний день является алгоритм Левенберга-Марквардта [10].

Процесс обучения МНС является итерационным и, в общем случае, достаточно длительным, поскольку заранее нельзя определить количество итераций, необходимых для обучения НС. Поэтому разработка методов, позволяющих обучать НС в безытерационном режиме путем проекции обучающих данных на множество весов НС, представляется весьма актуальной и важной.

Одним из таких методов настройки весов для частного случая МНС - трехслойного перцептрона может служить алгоритм многомерной классификации.

Для нейросетевой реализации сравнения расстояний и

определения значения К3 можно использовать следу-

У

ющее выражение:

К, = у(я£в х) - яСа х)),

где ^(х) - логистическая функция.

Если функция ^(х) будет дискретной, например,

Г1, х > 0

пороговой: х) = •« о о , то К, будет принимать

значение 0 или 1. Если функция ^(х) будет вещест-

венной, например, сигмоидной: ^(х) =

где

1 , то -, то К,

1 + е—х 4

будет принимать значения на интервале [0,1]: чем ближе значение этой функции будет к 0, тем ближе экземпляр будет к классу, которому сопоставлено значение 0, и, соответственно, наоборот, чем ближе значение этой функции будет к 1, тем ближе экземпляр будет к классу, которому сопоставлено значение 1. Использование сигмоидной функции может быть более предпочтительным на практике, поскольку она позволяет не только определить к какому классу ближе экземпляр, но и на сколько ближе.

Для вычисления разности расстояний Я^д (xq) -— Я^а (xq) подставим соответствующие выражения:

Я2д (хч) — Я2са (хч) = (Сд — xq)2 + (Сд — хч)2 —

— (СА — хЧ )2 —"(СА — хч )2,

раскроем скобки, сгруппируем члены по г и) и приведем подобные. После несложных математических преобразований получим:

= (сВд )2 — (СА)2 + 2 хч (СА1 — сд1),

} = (СВд)2 — (СА)2 + 2хЧ(СА — СВд).

Легко видеть, что выражения для г и ] могут быть вычислены на основе формального нейрона, имеющего один вход, на который подается значение х, или х,, вес

которого равен 2( СА — Сд) или 2( СА — Сд), соот-

хг хг х] х]

ветственно. Порог нейрона (нулевой вес) в этом случае

будет равен ( СВ )2 — ( СА ) 2 или ( СВ )2 — ( СА ) 2,

хг хг х, х,

соответственно.

Нейросетевая интерпретация алгоритма многомерной классификации представлена на рисунке.

Правила вычисления параметров алгоритма многомерной классификации в этом случае останутся неизменными, а параметры и функции активации НС необходимо будет определить на их основе по следующим правилам.

Функция активации к) к-го нейрона | -го слоя:

к)(х) =

1

1 + е—

;, | = 1, 2 ; У к,

31 )(х) =

я с в (хч) — яса (хч) = г +],

р2

0, х < 0,

1, х > 0.

В. И. Дубровин, С. А. Субботин: АЛГОРИТМ МНОГОМЕРНОЙ КЛАССИФИКАЦИИ И ЕГО НЕЙРОСЕТЕВАЯ ИНТЕРПРЕТАЦИЯ

Рисунок - Нейросетевая интерпретация алгоритма многомерной классификации

Весовой коэффициент мр!'к) р-го входа к-го нейрона

У г, г = 1, 2, ..., N; , = г, (г + 1), ..., N.

| -го слоя:

™ (! к) =

р

а,, | = 3, р = ] + (г — 1)(N — 0, 5г),

0, | = 3, к = 1, р = 0,

0, | = 2, Ук, р = 0,

1, | = 2, Ук, р = 1, 2,

2 (СА1 — СВд), | = 1, к = 2 (,- +

+ (г — 1)(N — 0, 5г)) — 1, р = г,

2 (СА7 — Сд), | = 1, к = 2 (,- +

7 + (г ^ 1)(N — 0, 5г)), р = ],

(Сд )2 — (Сх| )2, | = 1, к = 2 (7 + + (г — 1)(N — 0, 5г)) — 1, р = 0,

(СВ )2 — (СА )2, | = 1, к = 2 (7 + + (г — 1)(N — 0, 5г)), р = 0,

0, | = 1, к = 2 (7 +

+ (г — 1)(N — 0, 5г)) — 1, р > 0, р Ф >

0, | = 1, к = 2 (; +

+ (г — 1)(N — 0, 5г)), р > 0, р ф г,

5. ЭКСПЕРИМЕНТЫ И РЕЗУЛЬТАТЫ

Для сравнения предложенных методов классификации с традиционными проводились эксперименты по решению на их основе практических задач классификации: диагностики лопаток газотурбинных авиадвигателей по спектрам свободных затухающих колебаний после ударного возбуждения (классификация лопаток на годные и некондиционные по 100 признакам) [12], классификации сельскохозяйственных растений на культурные и сорные по коэффициентам спектральной яркости (55 признаков) и диагностики изделий электронной техники (ИЭТ) по 16 признакам.

Результаты экспериментов приведены в таблицах 1 и 2.

Как видно из табл. 1, наиболее скоростным методом обучения является модифицированный метод потенциальных функций, наименее скоростным - алгоритм многомерной классификации. Наиболее скоростным является метод нейросетевой классификации на основе НС, обученной с помощью алгоритма Левенберга-Марк-вардта, самым медленно работающим является метод многомерной классификации.

Таблица 1 - Сравнительная характеристика методов классификации по времени обучения и классификации

Метод классификации диагностика лопаток авиадвигателей классификация растений диагностика ИЭТ

время обучения, с. время классификации, с. время обучения, с. время классификации, с. время обучения, с. время классификации, с.

нерекуррентный метод потенциальных функций 18.71 25.1 9.1 9.08 0.64 0.89

модифицированный метод потенциальных функций 0.68 0.82 0.41 0.59 0.18 0.26

алгоритм многомерной классификации 141.21 86.4 41.7 26.47 1.3 0.91

классификация на основе нейронной сети, обученной на основе алгоритма Левенберга-Марквардта 156.01 0.32 5.61 0.23 3.01 0.26

Таблица 2 - Сравнительная характеристика методов классификации по качеству классификации

Метод классификации диагностика лопаток авиадвигателей классификация растений диагностика ИЭТ

Рош обуч. Рош тест. Рош обуч. Рош тест. Рош обуч. Рош тест.

нерекуррентный метод потенциальных функций 0.12 0.15 0 0 0.15 0.18

модифицированный метод потенциальных функций 0.12 0.15 0 0 0.15 0.18

алгоритм многомерной классификации 0.12 0.15 0 0 0.09 0.09

классификация на основе нейронной сети, обученной на основе алгоритма Левенберга-Марквардта 0 0.06 0 0 0 0.09

Как видно из табл. 2, наиболее точным является метод нейросетевой классификации (НС, обученная на основе алгоритма Левенберга-Марквардта), наименее точными являются методы потенциальных функций. Алгоритм многомерной классификации занимает промежуточное положение. Это объясняется тем, что НС обладают более сильными аппроксимационными способностями, чем другие рассмотренные методы, а алгоритм многомерной классификации, в отличие от методов потенциальных функций, учитывает значимость признаков посредством учета частных значимостей двупризнаковых классификаций.

Полученные результаты позволяют предложить следующие рекомендации по выбору метода классификации для использования на практике.

1. Алгоритм многомерной классификации следует использовать для классификации образов, характери-

зующихся не очень большим количеством признаков (от 3 до 20), там, где желательно добиться более высокой (в крайнем случае такой же) точности классификации чем методы потенциальных функций за конечное заранее известное количество итераций в процессе обучения, чего нельзя сделать методом нейросетевой классификации.

2. Классификацию на основе НС, обученнной с помощью алгоритма Левенберга-Марквардта следует применять тогда, когда важно добиться заранее заданного уровня ошибки (например, в задаче диагностики лопаток авиадвигателей).

3. Методы потенциальных функций следует использовать для задач большой размерности (более 30 признаков), там, где необходима высокая скорость обучения и классификации. При этом нерекуррентный метод потенциальных функций, как правило, можно заменить

С. В. Жернаков: КОМБИНИРОВАННАЯ ДИАГНОСТИКА И КОНТРОЛЬ ПАРАМЕТРОВ ГТД НЕЙРОНЕЧЕТКОЙ ГИБРИДНОЙ ЭКСПЕРТНОЙ СИСТЕМОЙ

модифицированным нерекуррентным методом потенциальных функций, который работает значительно быстрее, обеспечивая тот же уровень ошибок, что и метод потенциальных функций.

ПЕРЕЧЕНЬ ССЫЛОК

1. Дубровин В.И. Идентификация и оптимизация сложных технических процессов и объектов.-Запорожье:ЗГТУ,1997.-92 с.

2. Биргер И.А. Техническая диагностика.-М.: Машиностроение, 1978.-240 с.

3. Горелик А.Л., Скрипкин В.А. Методы распознавания.-М.: Высшая школа, 1989.-232 с.

4. Суббот!н С.О. Нейронш мереж1 керують якютю // Пульсар, 1999, № 12, С. 8-10

5. Горбань А.Н. Обучение нейронных сетей.-М.: СП "ПараГраф", 1990.-159 с.

6. Терехов В.А., Ефимов Д.В., Тюкин И.Ю., Антонов В.Н. Нейросетевые системы управления.-СПб.: Издательство С.-Петербургского университета, 1999.-263 с.

7. Нейрокомпьютеры и интеллектуальные роботы / Амосов Н.М., Байдык Т.Н., Гольцев А.Д. и др.; Под ред. Амосова Н.М.-К.:Наукова думка,1991.-272 с.

8. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин.-М.: Наука, 1970.-384 с.

9. Дубровин В.И., Субботин С.А. Эвристический алгоритм классификации и его нейросетевая интерпретация // Радюелектрошка. ¡нформатика. Управлшня, 2000, № 1, C. 72-76.

10. Дубровин В.И., Субботин С.А. Нейросетевое моделирование и оценка параметров нелинейных регрессий // Нейрокомпьютеры и их применение / Сборник докладов 6-ой Всероссийской конференции, Москва 16-18 февраля 2000.-М.:Издательское предприятие журнала "Радиотехника", 2000.- С. 118-120.

11. Dubrovin V., Subbotin S. Choice of neuron transfer functions and research of their influence for learning quality of neural networks // Proceedings of International Conference on Modern Problem of Telecommunications, Computer Science and Engineers Training TCSET'2000, February 14-19, 2000, Lviv-Slavsko, pp. 45-46.

12. Дубровин В.И., Субботин С.А. Нейросетевая диагностика лопаток энергетических установок // Датчики и преобразователи информации систем измерения, контроля и управления / Сборник материалов XII научно-технической конференции с участием зарубежных специалистов. Под ред. проф. В.Н. Азарова. М.: МГИЭМ, 2000.-С. 240-242.

УДК 681.3.069:681.3.015

КОМБИНИРОВАННАЯ ДИАГНОСТИКА И КОНТРОЛЬ ПАРАМЕТРОВ ГТД НЕЙРОНЕЧЕТКОЙ ГИБРИДНОЙ ЭКСПЕРТНОЙ СИСТЕМОЙ

С. В. Жернаков

Рассматриваются основные подходы к построению гибридных нечетких экспертных систем диагностики и контроля параметров авиационного двигателя. Приводится структура экспертной системы, рассматривается пример решения комплексной задачи диагностики и контроля параметров ГТД. Рассматривается пример распознавания отказов датчиков при нормально работающем авиационном двигателе. Разработана методика построения подобных экспертных систем.

The principal approaches to construction of the aviation engine parameters hybrid fuzzy expert system of the diagnosis and control are considered. It is adduced the expert system structure, quoted the example of the solving of the complex task for diagnosis and control of gas turbine engine parameters. The example of recognizing of sensors failures in case of normal engine working is considered. The method of such type of expert systems construction is elaborated.

ВВЕДЕНИЕ

Развитие современных гибридных нейронечетких экспертных систем (ГННЭС) востребовано временем. Сложный объект диагностики, например, авиационный двигатель, требует не менее сложного аппарата диагностики и контроля, к которым относятся ГННЭС. В последнее время в монографиях и статьях этим интеллектуальным системам отводится место среди

динамических экспертных систем (ЭС) или ЭС реального времени (ЭС РВ) [1-3]. Эти программные продукты традиционно дороги: за рубежом стоимость экспертных оболочек-лидеров этого направления ЭС достигает нескольких десятков тысяч долларов, например, ЭС РВ С2 от 45 тыс. долларов. Учитывая эти обстоятельства, большинство разработчиков ЭС успешно развивают собственные программные продукты, способные качественно и продуктивно решать частные задачи, например, в области диагностики и контроля авиационных газотурбинных двигателей (ГТД).

Существующие в настоящее время методы и методики диагностики и контроля ГТД требуют существенных доработок, так как новые поколения авиационных двигателей требуют качественно новых интеллектуальных компьютерных технологий диагностики и контроля, базирующихся на теории экспертных систем (ЭС), нейросетей (НС), нечеткой логике (НЛ) и генетических алгоритмах (ГА), способных учесть накопленный опыт предшествующих работ в этой области и развивающих (обобщающих) новые методы и методики их исследования.

В современных ГТД одной из главных задач является