Решение задачи классификации с использованием нейронных нечётких продукционных сетей на основе модели вывода Мамдани-Заде Текст научной статьи по специальности «Компьютерные и информационные науки»

Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. 2014. № 2 (35). С. 136—148

УДК 004.032.26:004.827

РЕШЕНИЕ ЗАДАЧИ КЛАССИФИКАЦИИ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ НЕЧЁТКИХ ПРОДУКЦИОННЫХ СЕТЕЙ НА ОСНОВЕ МОДЕЛИ ВЫВОДА МАМДАНИ-ЗАДЕ

О. П. Солдатова, И. А. Лёзин

Самарский государственный аэрокосмический университет им. ак. С. П. Королёва (национальный исследовательский университет),

443086, Россия, Самара, Московское ш., 34.

Рассматривается решение задачи распознавания объектов пересекающихся классов с использованием систем нечеткого вывода и нейронных сетей. Новая много-выходовая сеть Ванга-Менделя сравнивается с новой архитектурой нейронной нечеткой продукционной сети, основанной на модели Мамдани-Заде. Результаты исследования данных моделей приведены при интерпретациях логических операций, заданных соответственно алгебрами Гёделя, Гогена и Лукашевича. Новая сеть Ванга-Менделя может использовать минимум или основанную на сумме формулу как операции T-нормы в соответствии с выбранной алгеброй вместо стандартной операции произведения. Сеть Мамдани-Заде спроектирована в виде каскада операций T-нормы, импликации и S-нормы, заданных выбранной алгеброй. Кроме того, в сети Мамдани-Заде отсутствует слой дефаззи-фикации. Обе сети имеют несколько выходов в соответствии с числом классов предметной области, что отличает их от базовых реализаций. На выходах сетей формируются степени принадлежности входного вектора заданным классам. Для сравнения моделей использовались стандартные задачи классификации ирисов Фишера и итальянских вин. В данной статье приводятся результаты, полученные при обучении сетей алгоритмом обратного распространения ошибки. Анализ ошибок классификации показывает, что использование данных алгебр в качестве интерпретации нечётких логических операций, предложенное в статье, позволяет уменьшить погрешность классификации как для многовыхо-довой сети Ванга-Менделя, так и для новой сети Мамдани-Заде. Наилучшие результаты обучения показывает алгебра Гёделя, но алгебра Лукашевича демонстрирует лучшие обобщающие свойства при тестировании, что приводит к наименьшему числу ошибок классификации.

Ключевые слова: задача классификации, нейронная нечёткая продукционная сеть, многовыходовая сеть Ванга-Менделя, модель Мамдани-Заде.

При решении задачи распознавания объектов, принадлежащих пересекающимся классам, успешно применяются нейронные нечёткие продукционные сети, соединяющие возможности систем нечёткого вывода и нейронных сетей. Базовой моделью нечёткого вывода является модель Мамдани—Заде [1,2],

ISSN: 2310-7081 (online), 1991-8615 (print); doi: http://dx.doi.org/10.14498/vsgtu1266 © 2014 Самарский государственный технический университет.

Образец цитирования: О. П. Солдатова, И. А. Лёзин, “Решение задачи классификации с использованием нейронных нечётких продукционных сетей на основе модели вывода Мамдани—Заде” // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки, 2014. № 2 (35). С. 136-148. doi: 10.14498/vsgtu1266.

Сведения об авторах: Ольга Петровна Солдатова (к.т.н., доц.), доцент, каф. информационных систем и технологий. Илья Александрович Лёзин (к.т.н.), доцент, каф. информационных систем и технологий.

E-mail addresses: op-soldatova@yandex.ru (O.P. Soldatova), ilyozin@yandex.ru (I. A. Lyozin, Corresponding author)

136

Решение задачи классификации с использованием нейронных нечётких продукционных сетей ...

однако широкое распространение получила только одна нечёткая продукционная нейронная сеть — сеть Ванга—Менделя [3-5], которая была создана на её основе.

Применение сети Ванга—Менделя для решения задачи классификации вызывает определённые трудности. Во-первых, традиционная архитектура сети предполагает один выходной нейрон, что приводит к увеличению погрешности классификации при увеличении числа распознаваемых классов. Во-вторых, в сети Ванга—Менделя не предусмотрена модификация интерпретаций нечётких логических операций, реализующих нечёткие продукционные правила вывода.

В [6] описана и исследована предложенная авторами многовыходовая модификация сети Ванга—Менделя. В данной статье предлагается новая архитектура нейронной нечёткой продукционной сети, основанной на модели Мамдани—Заде, и исследуется решение задачи классификации для предложенной нечёткой сети и сети Ванга—Менделя с несколькими выходами при интерпретациях нечётких логических операций в соответствии в алгебрами Гёделя, Гогена и Лукашевича.

Типовая структура системы нечёткого вывода включает в себя блок фаз-зификации, базу нечётких правил вывода, модуль вывода решения и блок дефаззификации.

Фаззификатор преобразует чёткое множество входных данных х = (xi,x2,... ,xn)т G X в нечёткое множество A С X, определённое с помощью конкретной функции принадлежности ^Дх); здесь

A = Ai х A2 х ... х An .

Дефаззификатор преобразует несколько нечётких множеств Bk, k = 1, 2,..., M, или единственное нечёткое множество B в конкретное значение выходной переменной y G Y на основании нечётких выводов, вырабатываемых модулем вывода решений, и в соответствии с выбранным методом дефаззифи-кации (символами X и Y обозначаются пространства входных и выходных переменных).

Подобная система также может быть представлена в несколько ином виде, в частности на рис. 1 [5].

Выходной сигнал модуля вывода решений может иметь вид M нечётких множеств, определяющих диапазон изменения выходной переменной. Агрегатор преобразует M нечётких множеств в одно нечёткое множество, а де-фаззификатор преобразует это множество в одно конкретное значение, принимаемое в качестве выходного сигнала всей системы.

В модели вывода Мамдани—Заде присутствуют следующие операции [5]:

- операция логического или арифметического произведения для определения значения функции принадлежности условий правил, в которой учитываются все компоненты вектора условия;

- операция логического или арифметического произведения для определения значения функции принадлежности для всей импликации Ak^Bk;

- операция логической суммы для агрегации равнозначных результатов импликации многих правил;

- оператор дефаззификации, трансформирующий нечёткий результат

137

О. П. Солдатова, И. А. Лёзин

ЦБ' (у) в чёткое значение у.

Считается, что все M правил связаны между собой логической операцией «ИЛИ», а выходы правил у1, у2,..., ум взаимно независимы. Следовательно, можно использовать правила вида:

R1 : IF x\ is A\ AND x£ is A2 AND ... AND xlN is AN, THEN у1 is B1;

Rk : IF xk is Ak AND x| is A| AND ... AND xkN is AN, THEN ук is Bk;

RM : IF xM is AM AND xM is AM AND ... AND xM is AN,

THEN yм is BM.

(1)

Переменные (xk,xk,... ,xkN)т образуют N-мерный входной вектор xk, составляющий аргумент условия, в котором Akk, Ak,..., AN и Bk обозначают нечёткие множества, а X1, X2,...,Xn, Y — чёткие множества, причём Akk С Xi, Ak С X2, ..., AN С Xn, а Bk C Y. Если обозначить декартово

произведение множеств Akk, Ak,..., AN как ^A — A-k x Ak x ... x A_n , то соответствующие значения коэффициентов принадлежности условия и заключения правила вывода — цАк (xk) и Цвк ^k) соответственно. Тогда правило типа (1) можно представить в виде нечёткой импликации:

Rk : Ak ^ Bk, k — 1, 2,..., M.

В то же время правило типа (1) может быть интерпретировано как нечёткое отношение, определённое на множестве X x Y, где X — декартово произведение чётких множеств и X — X1 xX2 x ... xXn, причём (xk, xk,..., xN) G X, xi G X1, x(k G X2, ..., xN G XN, а yk G Y, то есть Rk С X x Y — нечёткое

множество с функцией принадлежности [7]:

Цпк (xk,Уk) — Цлк^Бк(xk,Уk).

Если на выходе модуля вывода решения получается M нечётких множеств

Правило 2 [Rule 2] 1—► Агрегатор

If x2 is Ai2 then —► y2 is B2 ► [Aggregator] ►

Правило М [Rule М\

If хм is Ам

->ум is ВА

Дефаззификатор

[Defuzzificator]

Нечёткое множество [Fuzzy set]

Чёткое множество [Clear set]

138

Рис. 1. Структура системы нечёткого вывода при M правилах вывода [Figure 1. Architecture of fuzzy output by using M rules]

Решение задачи классификации с использованием нейронных нечётких продукционных сетей ...

Bk С Y, то нечёткое множество Bk с функцией принадлежности

Цбь (У ) = sup ^Ak {х ) * VAk^Bk(х ,y )

xex 1

определяется как комбинация нечёткого множества Лк и отношения Rk:

Bk = Ak о Rk, k = 1, 2 ,...,M.

Здесь ^ —обобщённое понятие оператора T-нормы [7]. Таким образом, конкретная форма ц-бь {yk) зависит от применяемой T-нормы, определения нечёткой импликации Rk и от способа определения декартова произведения нечётких множеств [7].

Если на выходе модуля вывода решения получается одно нечёткое множество B С Y (в системе есть агрегатор), то

м

B = Л о у Rk = Л о R,

k= 1

где

м

Л = Л1 х Л2 х ... х An , R = У Rk.

k=1

В этом случае

цб{У) = sup Ца(х)У S (цдь{xk,y)U . xexL viykyM /J

Здесь ^ {■) — обобщённое понятие оператора S-нормы над вектором опе-

lyksCM

рандов в круглых скобках [7]. Таким образом, конкретная форма цб(у) зависит ещё и от применяемой в агрегаторе операции S-нормы.

Так как доказано, что любая непрерывная T-норма изоморфна либо произведению, либо конъюнкции Лукашевича, либо эквивалентна минимуму, или в смысле порядковой суммы является их «смесью», то основными T-нормами являются: минимум, произведение и конъюнкция Лукашевича. Данный результат упрощает выбор интерпретации нечётких логических операций. Двойственными для данных T-норм соответственно являются следующие S-нормы: максимум, вероятностная сумма и дизъюнкция Лукашевича. При этом операциями деления, соответствующим базовым T-нормам, являются импликация Гёделя, импликация Гогена и импликация Лукашевича [8].

Таким образом, в модели нечёткого вывода Мамдани—Заде имеет смысл рассматривать интерпретации логических операций, заданных соответственно алгебрами Гёделя, Гогена и Лукашевича. Если обозначить T-норму как «®», S-норму как «®», а импликацию как «^-», то нижеследующие формулы (2) определяют операции в соответствии с алгеброй Гёделя (Godel’s algebra), (3) — в соответствии с алгеброй Гогена (Goguen’s algebra), а форму-

139

О. П. Солдатова, И. А. Лёзин

лы (4) — в соответствии с алгеброй Лукашевича (Lukasiewicz’s algebra):

'ца(х) ® Цб(У) < Ца^б(x,y) ,Ца(х) ® Цб(у)

min {ца(х),цб(у)} ;

I 1, если ца(х) 4 Цб(у), [цб(у), если ца(х) > Цб(у); max {ца(х),Цб(у)} ;

'ца(х) ®> Цб(у) < ца^б(х, у) ,Ца(х) ® Цб (у)

Ца (х)цб (у);

I 1, если ца(х) 4 цб (у),

\цб (у)/ца(х), если ца (х) > цб (у); Ца (х) + цб (у) - Ца(х)цб (у);

'ца (х) ® цб (у)

max{0, ца (x) + цб (у) - 1};

{ ца^б(х,У)

min{1,1 - ца(х) + цб (у)};

,Ца(х) ® цб (у)

min{1, ца(х) + цб (у)}.

(2)

(3)

(4)

Системы нечёткого вывода можно представить в виде многослойных нейронных сетей с прямым распространением сигнала, которые получили название нейронных нечётких продукционных сетей [9]. Для обучения подобных сетей, как правило, используются градиентные алгоритмы и метод обратного распространения ошибки. Условие дифференцируемости функций активации нейронов обусловило применение в подобных моделях следующих интерпретаций нечётких логических операций:

- в качестве операции T-нормы и импликации используется алгебраическое произведение;

- в качестве декартова произведения используется алгебраическое произведение или минимум;

- аккумулирование заключений правил вывода не проводится или в качестве операции S-нормы используется алгебраическая или взвешенная сумма;

- в качестве функций фаззификации используется функция Гаусса или сигмоидальные функции;

- дефаззификация выполняется по методу центра тяжести или по методу среднего центра.

В частности, в сети Ванга—Менделя — самой известной реализации модели нечёткого вывода Мамдани—Заде используются следующие ограничения [9]:

- входные переменные являются чёткими;

- функции фаззификации — функции Гаусса;

- декартово произведение — в форме минимума;

- нечёткая импликация — произведение;

- T-норма — произведение;

- аккумулирование заключений правил не проводится;

- метод дефаззификации — метод среднего центра.

В нейроимитаторе «Нейрокомбайн», описанном в [6], предложена и реализована другая архитектура сети Ванга—Менделя, в которой предусмотрено

140

Решение задачи классификации с использованием нейронных нечётких продукционных сетей ...

несколько выходных нейронов. Структура сети с двумя входами, тремя правилами вывода и двумя выходами приведена на рис. 2. В отличие от стандартной четырёхслойной конфигурации сети Ванга—Менделя, данная модель состоит из пяти слоёв нейронов.

Первый и второй слои предложенной модели не отличаются от стандартной сети Ванга—Менделя и реализуют фаззификацию по функции Гаусса N-мерного входного вектора х, а также агрегацию условий правил вывода в соответствии с операцией T-нормы в форме произведения. Величины y,\(xj) задают функции принадлежности входных переменных Xj к нечёткому множеству A в соответствии с правилом k. Величины Wk обозначают степень принадлежности условия k-того правила, полученную в результате агрегации.

Третий слой реализует операцию импликации в форме произведения (это параметрический слой). В процессе обучения подбираются параметры Vks, соответствующие степени принадлежности ц,Вк (у(?), где k — номер правила вывода, а s — индекс выходного нейрона, соответствующий номеру класса, к которому принадлежит входной вектор. Величины Vks соответствуют весам связей нейронов третьего и четвёртого слоёв. Величины Zks означают результаты операции нечёткой импликации, которая интерпретируется в данной модели в форме произведения.

Рис. 2. Структура нейронной нечёткой сети Ванга—Менделя с двумя выходами [Figure 2. Architecture of Wang-Mendel’s neural fuzzy network with two outputs]

141

О. П. Солдатова, И. А. Лёзин

Четвёртый слой осуществляет агрегирование M правил вывода (первый и второй нейрон) и генерацию нормализующего сигнала (третий нейрон). Результаты агрегации обозначены для первого и второго нейрона как /ц и /12 соответственно. Нормализующие сигналы обозначены как /21 и /22 соответственно. Число агрегирующих нейронов в данном слое равно числу выходов сети. В отличие от стандартной модели — непараметрический слой.

Пятый слой состоит из двух выходных нейронов и выполняет нормализацию, формируя выходной сигнал ys для каждого класса. Это непараметрический слой.

На рис. 2 знаки х, +, / соответствуют алгебраическим операциям умножения, сложения и деления.

Предложенная структура нейронной сети легко модифицируется на случай с числом выходов, большим, чем два. Таким образом, нейронная сеть реализует функции, которые можно записать в виде

Vs{x) =

ST^M

2^k=i

rj=i ^A(x)

M

г N

k=1

J2Vks ' П VA(xj)

j=1

M

z2k=1 wk

M

k= 1

1

1

Слой дефаззификации в приведённой выше модели нейронной сети позволяет сформировать на выходе сети чёткое значение, что необходимо при решении задачи прогнозирования или задачи аппроксимации функций. Для решения задач классификации, идентификации или распознавания чёткое значение на выходе сети не является обязательным, а при пересекающихся классах объектов вообще не имеет смысла, так как на выходе сети требуется получить степень принадлежности предъявленного входного вектора к конкретному классу. В этой связи авторами предлагается новая модификация модели нейронной нечёткой продукционной сети Мамдани—Заде, исследованная на примере решения задачи классификации.

Структура сети с двумя входами, четырьмя правилами вывода и двумя выходами представлена на рис. 3.

Для данной сети используются следующие ограничения:

- входные переменные являются чёткими;

- функции фаззификации — функции Гаусса;

- декартово произведение — в форме минимума;

- нечёткая импликация — произведение, минимум или импликация Лукашевича;

- T-норма — произведение, минимум или конъюнкция Лукашевича;

- аккумулирование заключений правил проводится в соответствии с операцией S-нормы — вероятностной суммы, максимума или дизъюнкции Лукашевича;

- дефаззификация не проводится.

Первый и второй слои предложенной модели не отличаются по функциональности от модели, представленной на рис. 2, за исключением знака крупного х для обозначения операции T-нормы, которая имеет приведённые

142

Решение задачи классификации с использованием нейронных нечётких продукционных сетей ...

Vi(x)

Рис. 3. Структура нейронной нечёткой продукционной сети Мамдани—Заде двумя выходами [Figure 3. Architecture of Mamdani-Zadeh’s neural fuzzy network with two outputs]

выше интерпретации.

Третий слой реализует операцию нечёткой импликации (знак в соответствии с приведёнными выше интерпретациями (это параметрический слой). В процессе обучения подбираются параметры Vk, соответствующие степени принадлежности ^Bk(ук), где к — номер правила вывода. Величины Zk означают результаты операции нечёткой импликации.

Четвёртый слой осуществляет агрегирование M правил вывода (первый и второй нейрон) для каждого класса входных векторов в соответствии с интерпретациями нечёткой дизъюнкции (знак крупный +) и формирует выходной сигнал ys для каждого класса. Это непараметрический слой.

Исследования проводились на данных репозитория UCI (Machine Learning Repository; http://archive.ics.uci.edu/ml), который представляет собой набор реальных и модельных задач машинного обучения, используемых для эмпирического анализа алгоритмов машинного обучения. Репозиторий содер-

143

О. П. Солдатова, И. А. Лёзин

жит реальные данные по прикладным задачам, которые применяются для оценки точности классификаторов, в том числе и на основе нечётких продукционных баз знаний и нейронных сетей [10,11].

В настоящей работе использовались данные для решения задач классификации ирисов Фишера и итальянских вин. В исследовании сравниваются нейронные сети, структуры которых представлены на рис. 2 и 3.

Ирисы Фишера — набор данных, на примере которого Рональд Фишер в 1936 году продемонстрировал разработанный им метод дискриминантного анализа. Ирисы Фишера состоят из данных о 150 экземплярах ирисов, по 50 экземпляров трёх видов — ирис щетинистый (англ. Iris setosa), ирис виргинский (англ. Iris virginica) и ирис разноцветный (англ. Iris versicolor). Для каждого экземпляра измерялись четыре характеристики. Один из классов (Iris setosa) линейно отделим от двух остальных. Для обучения использовались 90 образцов (« 60 %), а оставшиеся 60 образцов использовались для тестирования качества решения задачи.

Набор данных задачи классификации итальянских вин представляет собой результаты химического анализа вин, принадлежащих трём различным сортам. В ходе анализа было выделено процентное содержание 13 признаков, присутствующих в каждом из трёх сортов вин. Общий объём данных —178 образцов. Из них на 142 (« 80 %) образцах проводилось обучение, а на 36 — тестирование качества решения задачи. Все классы пересекаются.

В ходе экспериментальных исследований при решении задачи классификации ирисов была определена зависимость относительной погрешности обучения от количества правил и используемой алгебры, а также относительная погрешность классификации при следующих параметрах сети: число нейронов во входном слое — 4, число нейронов в выходном слое — 3, число итераций обучения — 2500. Результаты исследования представлены в табл. 1 и 2.

В качестве алгоритма обучения использовался алгоритм обратного распространения ошибки. Ввиду недифференцируемости операций минимума и максимума в интерпретациях нечётких логических операций конъюнкции и дизъюнкции в алгебре Гёделя и нечётких логических операций конъюнкции, дизъюнкции и импликации в алгебре Лукашевича был применён метод корректировки весов сети только для синаптических связей, соответствующих минимуму или максимуму значений, описанный в [7].

Однако указанный подход не может быть применён для операций нечёткой импликации в алгебрах Гёделя и Гогена, вследствие чего обучение сети Мамдани—Заде с алгебрами Гёделя и Гогена реализовать невозможно.

Как видно из таблиц, в среднем лучшие результаты обучения показывает сеть Ванга—Менделя с использованием алгебры Гогена или Лукашевича, но при этом более ровную погрешность классификации на тестовой выборке демонстрирует сеть Мамдани—Заде, что характеризует лучшую сходимость обучения.

В ходе экспериментальных исследований при решении задачи классификации вин была определена зависимость относительной погрешности обучения от количества правил и используемой алгебры, а также относительная погрешность классификации при следующих параметрах сети: число нейронов во входном слое —13, число нейронов в выходном слое — 3, число итера-

144

Таблица 1

Зависимость относительной погрешности обучения от количества правил и используемой алгебры для задачи классификации ирисов [Dependence of the learning relative error on the number of rules and algebra used for classification of the irises]

~~~ Алгебра [Algebra] Правило [Rule] ——■— Многовыходовая сеть Ванга—Менделя [Multi-output Wang-Mendel’s networks] Сеть Мамдани—Заде [Mamdani-Zadeh’s network]

Алгебра Гёделя [Godel’s algebra] Алгебра Гогена [Goguen’s algebra] Алгебра Лукашевича [Lukasiewicz’s algebra] Алгебра Лукашевича [Lukasiewicz’s algebra]

3 0.056 0.044 0.011 0.044

4 0.056 0.033 0.044 0.056

5 0.056 0.022 0.044 0.056

6 0.044 0.044 0.022 0.044

7 0.056 0.022 0.033 0.044

8 0.056 0.011 0.044 0.044

9 0.044 0.044 0.044 0.044

Таблица 2

Зависимость относительной погрешности классификации от количества правил и используемой алгебры для задачи классификации ирисов при проверке на тестовой выборке [Dependence of the classification relative error on the number of rules

and algebra used for classification of the irises on the testing set]

~~———Алгебра [Algebra] Правило [Rule] ——— Многовыходовая сеть Ванга—Менделя [Multi-output Wang-Mendel’s networks] Сеть Мамдани—Заде [Mamdani-Zadeh’s network]

Алгебра Гёделя [Godel’s algebra] Алгебра Гогена [Goguen’s algebra] Алгебра Лукашевича [Lukasiewicz’s algebra] Алгебра Лукашевича [Lukasiewicz’s algebra]

3 0.082 0.061 0.082 0.041

4 0,102 0.061 0.061 0.061

5 0.082 0.041 0,102 0.041

6 0.082 0.041 0.041 0.041

7 0.082 0.082 0.020 0.041

8 0.082 0.041 0.041 0.061

9 0.082 0.041 0.061 0.041

Решение задачи классификации с использованием нейронных нечётких продукционных сетей .

05

Таблица 3

Зависимость относительной погрешности обучения от количества правил и используемой алгебры для задачи классификации вин [Dependence of the learning relative error on the number of rules and algebra used for classification of the wines]

~~~ Алгебра [Algebra] Правило [Rule] ——■— Многовыходовая сеть Ванга—Менделя [Multi-output Wang-Mendel’s networks] Сеть Мамдани—Заде [Mamdani-Zadeh’s network]

Алгебра Гёделя [Godel’s algebra] Алгебра Гогена [Goguen’s algebra] Алгебра Лукашевича [Lukasiewicz’s algebra] Алгебра Лукашевича [Lukasiewicz’s algebra]

3 0.056 0 0.021 0.028

4 0.035 0 0.028 0.014

5 0.049 0 0.007 0.021

6 0.063 0 0.028 0.028

7 0.028 0 0.021 0.007

8 0.049 0 0.028 0.021

9 0.028 0 0.021 0.021

Таблица 4

Зависимость относительной погрешности классификации от количества правил и используемой алгебры для задачи классификации вин при проверке на тестовой выборке [Dependence of the classification relative error on the number of rules and

algebra used for classification of the wines on the testing set]

~~———Алгебра [Algebra] Правило [Rule] ——— Многовыходовая сеть Ванга—Менделя [Multi-output Wang-Mendel’s networks] Сеть Мамдани—Заде [Mamdani-Zadeh’s network]

Алгебра Гёделя [Godel’s algebra] Алгебра Гогена [Goguen’s algebra] Алгебра Лукашевича [Lukasiewicz’s algebra] Алгебра Лукашевича [Lukasiewicz’s algebra]

3 0,111 0.028 0.056 0.083

4 0.028 0.028 0.056 0.056

5 0.056 0.056 0.083 0.083

6 0.056 0.056 0.111 0.056

7 0.056 0.056 0.083 0.083

8 0.056 0.056 0.028 0.056

9 0.056 0.083 0.111 0.028

О. П. Солдатова, И. А. Лезин

Решение задачи классификации с использованием нейронных нечётких продукционных сетей ...

ций обучения — 2500. Результаты исследования представлены в табл. 3 и 4.

Как видно из таблиц, лучшие результаты обучения демонстрирует сеть Ванга—Менделя, использующая алгебру Гогена, но при этом обе сети на тестовых выборках показывают в среднем аналогичные результаты с использованием алгебры Лукашевича, что согласуется с теоретическими исследованиями, представленными в [8]. Алгебра Лукашевича в модифицированной сети Мамдани—Заде, в частности, проявляет большую способность к выделению общих признаков, а не адаптацию к обучающей выборке, что характеризуется более точной работой на тестовых выборках. Более высокая погрешность сети Ванга—Менделя объясняется тем, что в данной сети можно модифицировать только операцию нечёткой конъюнкции, в то время как операции нечёткой импликации и нечёткой дизъюнкции не используются вообще. В свою очередь, модифицированная сеть применяет интерпретации всех трёх операций.

СПИСОК ЛИТЕРАТУРЫ/ REFERENCES

1. L. X. Wang, J. M. Mendel, “Generating fuzzy rules by learning from examples”, IEEE Trans. Syst., Man, Cybern., 1992, vol. 22, no. 6, pp. 1414-1427 doi: 10.1109/isic.1991.187368.

2. Li-Xin Wang, “The WM method completed: a flexible fuzzy system approach to data mining”, IEEE Trans. Fuzzy Systems, 2003, vol. 11, no. 6, pp. 768-782 doi: 10.1109/TFUZZ. 2003.819839.

3. L. A. Zadeh, “Fuzzy logic, neural networks, and soft computing”, Communications of the ACM, 1994, vol. 37, no. 3, pp. 77-84.

4. E. H. Mamdani, “Application of Fuzzy Logic to Approximate Reasoning Using Linguistic Synthesis”, IEEE Trans. Computers, vol. C-26, no. 12, pp. 1182-1191 doi: 10.1109/tc. 1977.1674779.

5. С. Осовский, Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 с. [S. Osovskiy, Neyronnyye seti dlya obrabotki informatsii [Neural networks for information processing], Moscow, Finansy i statistika, 2002, 344 pp. (In Russian)]

6. О. П. Солдатова, “Многофункциональный имитатор нейронных сетей” // Программные продукты и системы, 2012. №3. С. 27-31. [O. P. Soldatova, “Multifunctional simulator of neural networks”, Programmnyye produkty i sistemy, 2012, no. 3, pp. 27-31 (In Russian)].

7. Д. Рутковская, М. Пилиньский, Л. Рутковский, Нейронные сети, генетические алгоритмы и нечёткие системы. М.: Горячая линия-Телеком, 2007. 452 с. [D. Rutkovskaya, M. Pilin’skiy, L. Rutkovskiy, Neyronnyye seti, geneticheskiye algoritmy i nechotkiye sistemy [Neural networks, genetic algorithms and fuzzy systems], M., Goryachaya liniya-Telekom, 2007, 452 pp. (In Russian)]

8. V. Novak, I. Perfilieva, J. Mockor, Mathematical Principles of Fuzzy Logic, The Springer International Series in Engineering and Computer Science, vol. 517, Springer, 1999, xiii+320 pp. doi: 10.1007/978-1-4615-5217-8; В. Новак, И. Перфильева, И. Мочкорж, Математические принципы нечёткой логики. Физматлит: М., 2006. 352 с.

9. В. В. Борисов, В. В. Круглов, А. С. Федулов, Нечеткие модели и сети. М.: Горячая линия-Телеком, 2007. 284 с. [V. V. Borisov, V. V. Kruglov, A. S. Fedulov, Nechetkiye modeli i seti [Fuzzy models and networks], Moscow, Goryachaya liniya-Telekom, 2007, 284 pp.]

10. А. С. Катасёв, “Математическое обеспечение и программный комплекс формирования нечётко-продукционных баз знаний для экспертных диагностических систем” // Фундаментальные исследования, 2013. №10-9. С. 1922-1927. [A. S. Katasev, “Mathematical and software for fuzzy-productions knowledge bases generation of the expert diagnostic systems”, Fundamental'nyye issledovaniya, 2013, no. 10-9, pp. 1922-1927 (In Russian)].

11. В. В. Бухтояров, “Трехступенчатый эволюционный метод формирования коллективов нейронных сетей для решения задач классификации” // Программные продукты и системы, 2012. №4. С. 101-106. [V. V. Bukhtoyarov, “Evolutionary three-stage approach for

147

О. П. Солдатова, И. А. Лёзин

designing of neural networks ensembles for classification problems”, Programmnyye produkty i sistemy, 2012, no. 4, pp. 101-106 (In Russian)].

Поступила в редакцию 03/X/2013; в окончательном варианте — 16/IV/2014; принята в печать — 16/V/2014.

MSC: 93B40, 42C05, 33C45

SOLVING THE CLASSIFICATION PROBLEM BY USING NEURAL FUZZY PRODUCTION BASED NETWORK MODELS OF MAMDANI-ZADEH

O. P. Soldatova, I. A. Lyozin

S.P. Korolyov Samara State Aerospace University (National Research University),

34, Moskovskoe sh., Samara, 443086, Russian Federation.

The article considers solving the problem of object recognition of intersected classes using fuzzy inference systems and neural networks. New multi-output network of Wang-Mendel is compared to a new architecture of neural fuzzy production network based on the model of Mamdani-Zadeh. Learning results of these models are given in the interpretation of logical operations provided, by Godel, Goguen and Lukasiewicz algebras. New Wang-Mendel’s network can use minimum or sum-based formula as T-norm operation in accordance with an appropriate algebra rather than the standard multiplication only. Mamdani-Zadeh’s network is designed as a cascade of T-norm, implication and S-norm operations defined by selected algebra. Moreover defuzzification layer is not presented in Mamdani-Zadeh’s network. Both networks have several outputs in accordance with the number of subject area classes what differs them from the basic realizations. Compliance degrees of an input vector to defined, classes are formed at the network outputs. To compare the models the standard Fisher’s irises and Italian wines classification problems were used. This article presents the results calculated by training the networks by backpropagation algorithm. Classification error analysis shows that the use of these algebras as interpreting fuzzy logic operations proposed in this paper can reduce the classification error for both multi-output network of Wang-Mendel and a new network of Mamdani-Zadeh. The best learning results are shown by Godel algebra, but Lukasiewicz algebra demonstrates better generalizing properties while testing, what leads to a less number of classification errors.

Keywords: classification problem, neural network fuzzy production based network, multi-output network of Wang-Mendel, model of Mamdani-Zadeh.

Received 03/X/2013;

received in revised form 16/IV/2014;

accepted 16/V/2014.

ISSN: 2310-7081 (online), 1991-8615 (print); doi: http://dx.doi.org/10.14498/vsgtu1266 © 2014 Samara State Technical University.

Citation: O. P. Soldatova, I. A. Lyozin, “Solving the Classification Problem by Using Neural Fuzzy Production Based Network Models of Mamdani-Zadeh”, Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. & Math. Sci.], 2014, no. 2(35), pp. 136-148. doi: 10.14498/vsgtu1266. (In Russian)

Authors Details: Ol’ga P. Soldatova (Cand. Techn. Sci.), Associate Professor, Dept. Information Systems and Technology. Il’ya A. Lyozin (Cand. Techn. Sci.), Associate Professor, Dept. Information Systems and Technology.

E-mail addresses: op-soldatova@yandex.ru (O.P. Soldatova), ilyozin@yandex.ru (I. A. Lyozin, Corresponding author)

148