Синтез нейро-нечетких сетей с ранжированием и специфическим кодированием признаков для диагностики и автоматической классификации по прецедентам Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.93

Субботин С. А.

Д-р техн. наук, профессор, профессор кафедры программных средств Запорожского национального технического

университета, Запорожье, Украина

СИНТЕЗ НЕЙРО-НЕЧЕТКИХ СЕТЕЙ С РАНЖИРОВАНИЕМ И СПЕЦИФИЧЕСКИМ КОДИРОВАНИЕМ ПРИЗНАКОВ ДЛЯ ДИАГНОСТИКИ И АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ

ПО ПРЕЦЕДЕНТАМ

Решена задача автоматизации синтеза нейро-нечетких сетей для диагностирования и автоматической классификации по признакам. Предложен метод синтеза нейро-нечетких моделей по прецедентам, который определяет оценки взаимосвязи входных признаков, выделяет взаимосвязанные признаки, оценивает влияние признаков на выходной признак, а также выявляет взаимосвязанные термы, включает в модель наиболее важные признаки и термы, устраняет дубляж термов и признаков, использует различные варианты кодирования сигналов, а также переупорядочивает признаки, обеспечивая группировку признаков, формирует правила для прецедентов ранее не встречавшихся классов или существенно отличающихся от имеющихся правил своего класса, а уже имеющиеся правила корректирует на основе поступающих прецедентов с учетом числа ранее рассмотренных наблюдений. Предложенный метод позволяет существенно ускорить синтез нейро-нечетких моделей, обеспечивая приемлемую точность и более высокий уровень обобщения данных, снизить сложность и избыточность, а также повысить интерпретабельность нейромодели. Проведены эксперименты по решению практических задач диагностирования и автоматической классификации, подтвердившие работоспособность и применимость предложенного метода. Получена зависимость ошибки модели, синтезированной предложенным методом, от заданной разрядности признаков. Использование полученной зависимости позволяет на практике более рационально выбирать значение числа интервалов разбиения диапазонов значений признаков, обеспечивая приемлемую точность нейромодели.

Ключевые слова: выборка, нейро-нечеткая сеть, нечеткий вывод, обучение по прецедентам, диагностирование.

номенклатура

ЭВМ - электронная вычислительная машина;

8 ] - длина интервала, на которые разбивается диапазон значений ]-т признака;

Цд - принадлежность к д-му классу;

цд,к - принадлежность экземпляра к к-му эталону (правилу) д-го класса;

цд,к,г - принадлежность экземпляра к к-му эталону (правилу) д-го класса по г-му признаку;

Цд,к ,г,1 - принадлежность экземпляра к к-му эталону (правилу) д-го класса по 1-му интервалу г-го признака;

Цг I (х^) - функции принадлежности к 1-му терму г-го признака;

юд,к - нормированный вес к-го правила д-го класса;

а, Ь, с, С - параметры функции принадлежности;

С - набор правил-эталонов;

С(д к) - к-й эталон (правило) д-го класса;

Е - ошибка модели;

Е - ошибка сети для задач с дискретным выходом;

Еоб- ошибка модели для обучающей выборки;

Етест. - ошибка модели для тестовой выборки;

/ - критерий качества модели; - структура нейромодели;

Г(д,г.Г) - значимость 1-го интервала г-го признака относительно д-го класса;

г, ] - номера признаков;

1д - коэффициент обобщения нейромодели;

© Субботин С. А., 2016

Б01 10.15588/1607-3274-2016-1-6

I. - информативность j-го признака; Iп - информативность 1-го интервала г-го признака; Iw - число настраиваемых параметров нейромодели; k - номер правила (эталона); K - число классов; I - номер разряда (интервала);

L - размерность кодирующего бинарного вектора -элемента сенсорной матрицы; N - число входных признаков;

N - число входных признаков, после отбора признаков; opt - условное обозначение оптимума; q - номер класса;

Qq - число правил (эталонов) q-го класса в наборе С; R(xs,C(q-k)) - расстояние от экземпляра Xs до k-го эталона q-го класса C(qk);

r - мера взаимосвязи входных признаков x, и xj; r, - мера важности для каждого входного признака относительно выходного признака; S - объем выборки;

5"об - число экземпляров в обучающей выборке; S - число экземпляров в тестовой выборке;

тест. г l

tob - время, затраченное на обучение неро-нечеткой модели;

w - параметры нейромодели; w(qk) - вес k-го правила q-го класса; X - набор входных векторов прецедентов; X - набор прецедентов; X. - j-й входной признак;

Xs - набор входных признаков s-го прецедента; Xs. - значение j-го входного s-го прецедента; y - выходной признак;

min „max

Xj , Xj - минимальное и максимальное значения признака x. ;

я >

Х/ 1 - значение /-го разряда/-го признака 5-го экземпляра в специфическом кодовом представлении;

у5 - значение выходного признака для 5-го прецедента.

введение

Для обеспечения и поддержания высокого уровня качества, надежности и долговечности выпускаемых и эксплуатируемых изделий промышленного производства необходимо своевременно осуществлять их диагностирование [1].

Помимо методов физических измерений [1, 2], специфических для каждой конкретной задачи, ключевым элементом процесса диагностирования является диагностическая модель, построение которой требует либо полного знания физики диагностируемого объекта, либо привлечение человека-эксперта, либо использование методов машинного обучения [3].

Построение физических моделей [2], как правило, возможно только для хорошо изученных объектов диагностирования и специфически зависит от конкретной задачи. Такие методы непригодны для более широко встречающихся случаев, когда физика диагностируемого объекта является не полностью изученной, а сам объект подвергается воздействию внешних факторов [3].

Очевидными недостатками экспертных методов [4] является их чрезвычайная зависимость от субъективных знаний эксперта, его компетентности и ответственности, сложность извлечения и формализации знаний, а также сложность модификации и адаптации полученной модели принятия решений с учетом возможных изменений диагностируемого объекта, внешней среды.

Методы машинного обучения [5, 6], в отличие от методов построения физических моделей, не требуют знания физики диагностируемого объекта, а, в отличие от экспертных методов [4], не требуют привлечения человека-эксперта и способны автоматически извлекать знания из данных в процессе построения модели [3]. Поэтому данные методы целесообразно выбрать в качестве базиса для построения диагностических моделей.

Среди методов машинного обучения [5, 6] широкое распространение на практике в последнее время получили нейро-нечеткие сети [4, 7], которые способны обучаясь по прецедентам извлекать знания из данных, а также могут интегрировать в свою структуру экспертные знания и являются преобразуемыми в понятные для человека продукционные правила вида «если, то» [4].

Однако большинство известных методов построения нейро-нечетких моделей [4, 7] предполагают вовлечение пользователя в процесс создания сети и решение задач многомерной нелинейной оптимизации, характеризующихся неопределенностью выбора начальной точки поиска. Полученные диагностические модели в результате оказываются избыточными [3].

Объектом исследования данной работы является процесс построения диагностических моделей по прецедентам.

Предметом исследования данной работы являлись методы построения нейро-нечетких сетей для решения задач диагностирования.

Целью работы являлось создание метода синтеза диагностических моделей на основе нейро-нечетких сетей, свободного от указанных выше недостатков.

1 постановка задачи

Пусть мы имеем исходную выборку X = <x, y> - набор S прецедентов о зависимости y(x), x = {Xs}, y={y}, s = 1, 2, ..., S, характеризующихся набором N входных признаков {x.}, j = 1, 2, ..., N, и выходным признаком у. Каждый s-й прецедент представим как <xs, ys>, xs={xs.}, ye {1, 2, ..., K}, K>1. 1

Тогда задача синтеза нейромодели зависимости y(x) будет заключаться в определении таких структуры F() и значений параметров w нейромодели, при которых будет удовлетворен критерий качества модели f(F(), w, <x, y>) ^ opt [3]. Обычно критерий качества обучения ней-ромоделей определяют как функцию ошибки модели:

- 1

Е = 2 ^ (У" - F(w,))2 ^ mm.

s=1

Для задач с дискретным выходом ошибку обученной сети можно характеризовать также формулой:

Е =

100%

ys - F (w, xs )

^ min.

2 литературный обзор

В настоящее время известное большое число различных архитектур нейро-нечетких сетей [4, 7] :

- нечеткие нейронные системы (fuzzy neural systems): в нейронных сетях применяются принципы нечеткой логики для ускорения процесса настойки или улучше -ния других параметров; нечеткая логика является лишь инструментом нейронных сетей и такая система не может быть интерпретирована в нечеткие правила, поскольку представляет собой «черный ящик»;

- конкурирующие нейро-нечеткие системы (concurrent neuro-fuzzy systems): нечеткая система и нейронная сеть работают над одной задачей, не влияя на параметры друг друга;

- параллельные нейро-нечеткие системы (cooperative neuro-fuzzy systems): настройка параметров выполняется с помощью нейронных сетей, после чего нечеткая система функционирует самостоятельно;

- интегрированные (гибридные) нейро-нечеткие системы (integrated neuro-fuzzy systems) - системы с тесным взаимодействием нечеткой логики и нейронных сетей. Данный тип нейро-нечетких сетей является наиболее подходящим для решения задач диагностирования.

Наиболее широко используемой на практике архитектурой интегрированных нейро-нечетких сетей являются сети Мамдани [8, 9], представляющие собой ней-ро-нечеткий классификатор. Однако методы их построения предполагают вовлечение пользователя в процесс создания сети (задание числа термов, видов их функций принадлежности, начальных значений параметров функций принадлежности термов, правил принятия решений), либо требуют решения задач кластер-анализа [10] набора прецедентов с последующей настройкой весов на основе градиентных методов оптимизации [11] с расчетом частных производных целевой функции на основе техники обратного распространения ошибки [4, 5].

S

Полученные диагностические модели в результате оказываются неоптимальными по структуре (зачастую избыточными), и, как следствие, оказываются менее точными и более сложными для восприятия и анализа человеком, что несколько осложняет их практическое применение [3].

Поэтому необходимо разработать метод, позволяющий получать диагностические модели, не требующие участия человека в процессе синтеза структуры и настройки параметров нейромодели, а также позволяющий снизить сложность получаемых моделей и повысить их интерпретабельность и обобщающие свойства. 3 материалы и методы

Избыточность нейро-нечетких моделей, как правило, обусловлена тем, что набор используемых признаков является избыточным, а нечеткие термы формируются субъективно пользователем и могут излишне детализировать разбиение пространства признаков. Поэтому для снижения избыточности нейро-нечетких моделей предлагается в процессе синтеза сети определять оценки взаимосвязи входных признаков между собой, что позволит выделить взаимосвязанные признаки, оценивать влияние признаков на выходной признак (класс), а также выявлять взаимосвязанные термы, что позволит включать в модель наиболее важные признаки и термы, устранить дубляж термов и признаков путем оставления лишь части из них.

Для повышения вариативности (потенциала получения возможных решений) синтезируемых моделей предлагается использовать различные варианты кодирования сигналов, а также переупорядочивать признаки, обеспечивая тем самым группировку признаков по подобию с целью получения более легко воспринимаемых человеком диагностических моделей.

Для автоматизации формирования термов и выделения правил на основе заданного набора прецедентов предлагается реализовать процедуру адаптивного четкого кластер-анализа прецедентов, в процессе реализации которой формировать новые эталоны для прецедентов ранее не встречавшихся классов или существенно отличающихся от имеющихся эталонов своего класса, а уже имеющиеся эталоны корректировать на основе поступающих прецедентов с учетом числа ранее рассмотренных наблюдений.

На основе приведенных идей более формально изложим предлагаемый метод.

Этап инициализации. Задать обучающую выборку <x, y>. Определить минимальное и максимальное значения признаков:

xfn = min (x^} xmax = max {x^} 1 s=1,2,...,S ' 1 s=1,2,..., S 1 '

Задать размерность кодирующего бинарного вектора - элемента сенсорной матрицы L. Очевидно, что должно быть L> 1.

Этап кодирования сигналов. Заменить значение каждого признака в выборке бинарным кодом. Для этого возможно использовать интервальное или колоночное кодирование.

Вначале на основе заданного Ь определим длину интервала каждого^го признака:

8 j =

xmax _ xmin

Xj Xj

L

, j = 1, 2,...,N.

При интервальном кодировании диапазон значений каждого признака разбивается на заданное число интервалов равной длины, а значение признака, заменяется на бинарный вектор, элементы которого (разряды) соответствуют интервалам значений признака. В процессе кодирования определяется номер интервала, в который попало значение признака для конкретного экземпляра, после чего соответствующий элемент кодирующего вектора устанавливается равным единице, а остальные элементы - равными нулю:

xJ,/

0.18J < xs _ xm 1П;

1,(/ _ 1)8, < xs, _ xmin < 18.

0,(1 _ 1)8J > xs _ x

J

J

) = 1, 2, ..., NI = 1, 2, ..., Ь.

При колоночном кодировании диапазон значений каждого признака также разбивается на заданное число интервалов равной длины, значение признака, заменяется на бинарный вектор, элементы которого (разряды) соответствуют интервалам значений признака и определяется номер интервала, в который попало значение признака для конкретного экземпляра, однако все элементы кодирующего вектора, соответствующие данному интервалу и предыдущим ему интервалам устанавливается равным единице, а остальные элементы, соответствующие интервалам больших значений признака - равными нулю:

|1, /8 .. < xs _ xm 111 •

xJi =■' J J J

|0, /8 J > xs _ xmin

j = 1, 2, ..., NI = 1, 2, ..., Ь.

Этап выделения правил. Каждый экземпляр выборки X в выбранном кодовом представлении х5 = (х/,/} представить в виде модифицированного продукционного правила (х/ /} ^ у5.

Этап обобщения правил. Выполнить динамическое формирование правил-эталонов кластеров.

Для этого в начале задать пустой набор правил-эталонов С = 0.

Затем просматривая экземпляры выборки (/=1,2,...,5) для текущего /-го экземпляра определить, имеется ли эталон его класса в наборе эталонов.

Если эталон для его класса отсутствует в С , то принять д=у, добавить эталон и занести в него 5-й экземпляр: С = С и С(9Д), № 1)= х5: С= (х/,/}, j=1, 2, ..., N /=1, 2, ..., Ь, н-^М.

В противном случае, если эталон класса для текущего 5-го экземпляра отсутствует в С, то определить расстояние от экземпляра х5 до всех эталонов К(х5,С(д-к)), д=1, 2, ..., 2; к=1, 2, ..., 2«:

R(xs, С (q,k)) =

N L (xh - Сif) J

j=и=1

Если расстояние от экземпляра X до ближайшего к нему эталона чужого класса меньше, чем расстояние от экземпляра до ближайшего эталона своего класса, т.е.

min {R( xj, С 5q,k))} < min {R( xj, С (q,k))}, yj *q, ys=q,

k=1,2,..,Qq k=1,2,..,Qq

тогда сформировать новый эталон и занести в него экземпляр: q =ys, k=Qq+1, С = С и С(q,k), C(q, k)=xj: С(q, k)={xSj,i}, w(q,k)=1; в противном случае - новый эталон получить как среднее между эталоном и экземпляром c(q, k)=(w(q,k)c(q, k)+xs)/(w(q,k)+1):

c(q,k) = cj,l =

w

(q,k )c (q,k) j,l

+ X

j,l

w

(q,k)

+1

/=1, 2, ..., N /=1, 2, ..., Ь,

после чего принять: w(q,k)=w(q,k)+1.

Этап ранжирования кодовых представлений сигналов. При построении и анализе диагностических и распознающих моделей желательно выявить и понимать взаимосвязь признаков, а также зависимость принимаемых решений от описательных признаков. Для этого предлагается определить ряд показателей.

Определим меру взаимосвязи входных признаков относительно интервалов (сенсоров) одного уровня, используя формулу:

11 I {1|х5,/ = х1(}

5=1/=!/=! _, I, / = 1, 2,...,Ж

1 j = j =

SL

2

Признаки будут тем сильнее взаимосвязанными, чем больше экземпляров попадает в и интервалы (сенсоры) одного уровня.

Определим меру важности для каждого входного признака относительно выходного признака как

r =

y

t I K {!\х),1 = 1, yj = t}

s=1l=1t=1_f

SLK

i = 1, 2, ..., N.

Входной и выходной признаки будут тем сильнее взаимосвязанными, чем больше экземпляров попадает в и интервалы (сенсоры) одного класса.

После определения мер близости признаков ранжируем и перенумеруем признаки. В качестве первого признака целесообразно выбрать признак с наибольшим значением Г', у. Затем в новый набор включим последовательно признаки, наиболее тесно связанные с предыдущим признаками, в порядке убывания значений г..

Данный этап можно пропустить для стационарных сигналов, распределенных во времени.

Этап оценки значимости интервалов и признаков. Признаки и их интервалы значений могут иметь различную ценность при принятии решений.

При этом для каждого класса значимость конкретного интервала признака определяется тем, сколько экземпляров, попавших в этот интервал будет принадлежать к данному классу и тем, сколько экземпляров, попавших в этот интервал не будет принадлежать к данному классу. Для определения значимости интервалов относительно классов предлагается использовать показатель, выражаемый формулой:

К

I*(д, I, /) = 21 (д, I, /) - £ I (р, I, /), р=1

S N L ( )

где I(q,i,l) = XZZ|xjl lyj = 4}4 = 12, ^ K;i = 1, 2, ^ N

s=1i=11=1

/=1, 2, ..., Е

На основе введенных показателей можно определить - показатель информативности /-го интервала )-го признака:

1 К

1 х-1 *

1г1 1 ', 1), I = 1,

K

, N; 1=1, 2, ..., L;

l=1

- показатель информативности j-го признака:

1 L ! L K *

I1 = Ii,i = l"Z Ii,i =—ZZI (q,i,l), i = 1, 2, ..., n.

KL-

'/=1д=1

Этап удаления малозначимых интервалов значений признаков. Все интервалы признаков, у которых значение 1а =0, можно считать малозначимыми и удалить из дальнейшего рассмотрения. Среди оставшихся интервалов можно рассматривать как малозначимые те, для которых

hl <

ES ~L

где Е - заданное заранее значение максимально допустимой ошибки.

Этап удаления малозначимых признаков. Если среди признаков имеется такой, что все его интервалы признаны малозначимыми, то данный признак следует ислю-чить из рассмотрения.

Этап формирования термов признаков. На основе выделенных интервалов значений признаков возможно определить функции принадлежности к термам признаков на основе трапециевидной функции (а < Ь < с < <!):

Hl (xs) =

0, x < a;

, a < x < b;

b - a 1, b < x < c;

d - x

d - c 0, d < x.

c < x < d

x-a

При интервальном кодировании параметры функции принадлежности к /-му терму 1-го признака будут инициализироваться по формулам:

а = (/ -1)5 + х™1, Ь = (/ -1)5 + х™1, с = /5 + х™1,

а = /5 + х™1.

При колоночном кодировании параметры функции принадлежности к /-му терму 1-го признака будут инициализироваться по формулам:

а = х™11, Ь = х™11, с = /5 + х™1, а = /5 + х™11.

Этап формирования системы нечеткого вывода. На данном этапе задаются принципы преобразования значений функций принадлежности к термам в принадлежности к кластерам и классам, а также способ дефаззифи-кации результата.

Принадлежности к сформированным эталонам определим по формулам:

Принадлежности к классам определим формулами:

^ = . тах ак/} либо ц= тах

/=1,2,..., N

/=1,2,..., N

I/

ц Я,к,/

N

I ^

У=1

где

Ця,к,/ = тах (Ця,к,/,/} либо

/=1,2,...,Ь

Ц а,к,/ = тах 1

/=1,2,...,Ь

/ц я,к,/,/

II/,Р

р=1

ц а,к=Ц/,/(^ Су 'к), Я=1, 2, ..., Г, к = 1, 2, ..., 0а, / = 1, 2, ..., N /=1, 2, ..., Ь.

ц? = тах к=1,2,...,0а

,,(а,к)

кк ца,к}

где ю?,к =

I ™

р=1

Номер класса, соответственно, будет определяться по формуле:

у5 = arg тах {ц а } или у" ?=1,2,...,К 4

к

I ац? _

к

1ц?

а=1

Этап синтеза нейро-нечеткой сети. На основе выделенных термов и определенных функций системы нечеткого вывода можно сформировать структуру нейро-нечеткой сети в соответствии со схемой, приведенной на рис. 1.

На входной (первый) слой сети поступают входные сигналы - значения признаков распознаваемого экземпляра, которые далее поступают на второй слой, выполняющий фаззификацию. Выходы нейронов второго слоя представляют собой значения функций принадлежности распознаваемого экземпляра к термам признаков. Нейроэлементы третьего слоя сети комбинируют принадлежности к термам в принадлежности к эталонам кластеров, на основе которых нейроны четвертого слоя определяют принадлежности к классам. Единственный нейрон пятого (выходного) слоя осуществляет дефаззи-фикацию и выдает на выходе расчетное значение номера класса распознаваемого экземпляра.

Этап настройки весов. На основе обучающей выборки оценить ошибку для построенной сети. Если ошибка является приемлемой, то завершить синтез сети, в противном случае выполнить процедуру обучения посредством решения задачи многомерной оптимизации параметров нечетких термов второго слоя, используя метод обратного распространения ошибки [4, 11] или эволюционные алгоритмы [3, 5].

Рисунок 1 - Схема нейро-нечеткой сети

а

р-К8К 1607-3274. Радюелектронжа, шформатика, управлшня. 2016. № 1 е-ЕЗБЫ 2313-688Х. Каёю Е1еойоп^, Сошриег Баепое, Сопйо1. 2016. № 1

Если в результате обучения достигнут требуемый уровень точности (приемлемая ошибка), то завершить синтез сети, в противном случае - увеличить число интервалов Ь и перейти к этапу кодирования. Поскольку число интервалов Ь не должно превышать числа экземпляров в выборке Б, то при получении на данном этапе Ь > Б следует прекратить дальнейший поиск и вернуть полученную модель с наилучшей точностью и наименьшим Ь.

4 ЭКСПЕРИМЕНТЫ

Для исследования практической применимости предложенного метода он был программно реализован как дополнение к Автоматизированной системе синтеза нейросетевых и нейро-не-четких моделей для неразрушающей диагностики и классификации образов по признакам [12].

Разработанное программное обеспечение использовалось для решения задач неразрушающего диагностирования и автоматической классификации, характеристики которых представлены в табл. 1.

Для каждой задачи на основе кластер анализа человеком выделялись нечеткие термы и правила, по которым определялась структура нейро-нечетких моделей, после чего на основе обратного распространения ошибки выполнялась настройка параметров моделей. Также для каждой задачи на основе выборки данных в автоматическом режиме на основе предложенного метода синтезировались нейро-нечеткие модели.

5 РЕЗУЛЬТАТЫ

Результаты проведенных вычислительных экспериментов представлены в табл. 2.

Здесь коэффициент обобщения определялся по формуле:

Ж 1о =■

I„

, ^ > 1

Чем больше значение коэффициента обобщения, тем выше уровень обобщения обучающей выборки данных нейро-не-четкой моделью.

С целью изучения зависимости ошибки модели Е от заданной разрядности признаков Ь для различных задач (выборок данных различной размерности и природы [3]) получен график, приведенный на рис. 2.

На рис. 3 представлен график усредненной зависимости ошибки модели Е от доли отобранных признаков в первоначальном наборе признаков N'/ N для различных задач (выборок данных различной размерности и природы [3]).

На рис. 4 представлен график усредненной зависимости коэффициента обобщения модели 1д от доли отобранных признаков в первоначальном наборе признаков N'/ N для различных задач (выборок данных различной размерности и природы [3]).

■да

Ь

Рисунок 2 - График усредненной зависимости Е от Ь

Е

Рисунок 3 - График усредненной зависимости Е от N'/ N

Таблица 1 - Характеристики практических задач диагностирования и автоматической классификации

Е

Название задачи N Боб. Бтест. К

Диагностирование лопаток газотурбинных авиадвигателей по спектрам свободных затухающих колебаний после ударного возбуждения [3] 100 16 16 2

Автоматическая классификация растительных объектов по коэффициентам спектральной яркости [13] 55 120 128 2

Диагностирование хронического обструктивного бронхита [14] 28 102 103 2

Таблица 2 - Результаты вычислительных экспериментов

Название задачи Сеть Мамдани, заданная человеком и обученная методом обратного распространения ошибки Сеть Мамдани, синтезированная на основе предложенного метода

Еоб., %. Етест % ¿об., с 1д Е Е ^тест. ¿об., с 1д

Диагностирование лопаток газотурбинных авиадвигателей [3] 0 0 13,92 0,8 0 0 12,75 1,33

Автоматическая классификация растительных объектов [13] 1,7 2,3 23,14 4,29 0 0,8 21,89 5

Диагностирование хронического обструктивного бронхита [14] 4,9 2,9 18,85 2,83 0 0,9 17,14 3,19

Рисунок 4 - График усредненной зависимости 1а от N'/ N

6 обсуждение

Как видно из табл. 2, предложенный метод позволяет существенно ускорить синтез нейро-нечетких моделей, обеспечивая приемлемую точность и более высокий уровень обобщения данных моделью. Это позволяет рекомендовать предложенный метод для использования на практике.

Полученная зависимость ошибки модели Е от заданной разрядности признаков Е для выборок данных различной размерности и природы, график которой приведен на рис. 2, показывает, что при начальном значении Е=2 ошибка также имеет наибольшее значение, которое постепенно снижается до некоторого значения, после чего начинается постепенный рост ошибки. Изначально высокое значение ошибки объясняется недостаточной разрядностью кодирования вследствие большой потери информации при разбиении на интервалы значений признаков из-за малого числа интервалов. Постепенное убывание ошибке по мере роста значения Е объясняется увеличением объема информации, доступного для отображения в модели. Дальнейший рост ошибки объясняется ухудшением обобщающих свойств модели вследствие избыточности ее структуры и параметров, а также излишней детализации разбиения признакового пространства.

Представленный на рис. 3 график показывает, что при небольшом числе используемых признаков относительно размера исходного набора признаков ошибка построенной модели является большей, чем при использовании большего числа признаков . Однако при приближении числа используемых в модели признаков к числу признаков исходном наборе убывание ошибки становится незначительным. Таким образом, отбор признаков должен быть направлен на поиск оптимального соотношения N'/ N, обеспечивающего приемлемый уровень ошибки.

График, изображенный на рис. 4, показывает, что при небольшом числе используемых признаков относительно размера исходного набора признаков коэффициент обобщения построенной модели является большим, чем при использовании большего числа признаков. Таким образом, отбор признаков должен быть направлен также на поиск оптимального соотношения N'/ N, обеспечивающего не только приемлемый уровень ошибки, но и высокий уровень обобщения модели. заключение

В работе решена актуальная задача автоматизации синтеза нейро-нечетких сетей для диагностирования и автоматической классификации по признакам.

Научная новизна работы состоит в том, что предложен метод синтеза нейро-нечетких моделей по прецедентам, который в

процессе синтеза сети определяет оценки взаимосвязи входных признаков между собой, выделяет взаимосвязанные признаки, оценивает влияние признаков на выходной признак, а также выявляет взаимосвязанные термы, включает в модель наиболее важные признаки и термы, устраняет дубляж термов и признаков путем оставления лишь части из них, использует различные варианты кодирования сигналов, а также переупорядочивает признаки, обеспечивая группировку признаков, формирует правила для прецедентов ранее не встречавшихся классов или существенно отличающихся от имеющихся правил своего класса, а уже имеющиеся правила корректирует на основе поступающих прецедентов с учетом числа ранее рассмотренных наблюдений.

Предложенный метод позволяет существенно ускорить синтез нейро-нечетких моделей, обеспечивая приемлемую точность и более высокий уровень обобщения данных, снизить сложность и избыточность, а также повысить интерпретабель-ность нейромодели.

Практическая значимость результатов работы состоит в том, что проведены эксперименты по решению практических задач диагностирования и автоматической классификации, подтвердившие работоспособность и применимость предложенного метода. Получена зависимость ошибки модели, синтезированной предложенным методом, от заданной разрядности признаков. Использование полученной зависимости позволяет на практике более рационально выбирать значение числа интервалов разбиения диапазонов значений признаков, обеспечивая приемлемую точность нейромодели. Получены зависимости ошибки синтезированной модели и коэффициента обобщения от доли используемых в модели признаков в исходном наборе признаков.

Перспективы дальнейших исследований заключаются в том, чтобы изучить зависимость оптимального значения числа интервалов разбиения диапазонов значений признаков от информативности набора признаков и размера набора признаков. благодарности

Работа выполнена при поддержке международного проекта «Centers of Excellence for young RESearchers» программы «Темпус» Европейской Комиссии (№» 544137-TEMPUS-1-2013-1-SK-TEMPUS-JPHES) в рамках госбюджетных научно-исследовательских тем Запорожского национального технического университета «Интеллектуальные информационные технологии диагностирования и автоматической классификации» и «Интеллектуальные методы диагностирования систем управления удаленными техническими объектами».

список литературы

1. Биргер И. А. Техническая диагностика / И. А. Биргер. - М. : Машиностроение, 1978. - 240 с.

2. Ding S. X. Model-based fault diagnosis techniques: design schemes, algorithms, and tools / S. X. Ding. - Berlin: Springer, 2008. - 473 p.

3. Интеллектуальные информационные технологии проектирования автоматизированных систем диагностирования и распознавания образов : монография / [С. А. Субботин, Ан. А. Олей-ник, Е. А. Гофман, С. А. Зайцев, Ал. А. Олейник] ; под ред. С. А. Субботина. - Харьков : Компания СМИТ, 2012. - 318 с.

4. Субботш С.О. Подання й обробка знань у системах штучного штелекту та шдтримки прийняття ршень : навч. посiбник / С. О. Субботш. - Запорiжжя : ЗНТУ, 2008. - 341 с.

5. Computational intelligence: a methodological introduction / [R. Kruse, C. Borgelt, F.Klawonn et. al.]. - London: SpringerVerlag, 2013. - 488 p. DOI: 10.1007/978-1-4471-5013-8_1

6. Bishop C. M. Pattern recognition and machine learning / C. M. Bishop. - New York : Springer, 2011. - 740 p.

7. Buckleya J. J. Fuzzy neural networks: a survey / J. J. Buckleya, Y. Hayashi // Fuzzy sets and systems. - 1994. -Vol. 66, Issue 1. -P. 1-13.

I.

G

10.

11.

12.

Mamdani E. H. An experiment in linguistic synthesis with fuzzy logic controller / E. H. Mamdani, S. Assilian // International journal of man-machine studies. - 1975. - Vol. 7, № 1. - P. 1-13. Chai Y. Mamdani Model based Adaptive Neural Fuzzy Inference System and its Application / Y. Chai, L. Jia, Z. Zhang // International Journal of Computer, Electrical, Automation, Control and Information Engineering Vol:3, No:3, 2009. -P. 663-670. Леоненков А. В. Нечеткое моделирование в среде MATLAB и fuzzyTECH / А. В. Леоненков. - СПб.: БХВ-Петербург, 2003. -736 c.

Химмельблау Д. Прикладное нелинейное программирование / Д. Химмельблау. - М.: Мир, 1974. - 534 с. Комп 'ютерна програма «Автоматизована система синтезу нейромережних та нейро-нечгтких моделей для неруйшвно!

Субботш С. О.

дiагностики та класифшаци образiв за ознаками» : cвiдоцтво про реестращю авторського права на твiр № 35431 / С. О. Субботш. - Держ. департамент штелектуально! влас-носп. - № 34011 ; заявл. 21.04.10 ; зареестр. 21.10.10.

13. Шама С. О.Побудова класифшатора рослинних об'егпв за допомогою нейронних мереж / С. О. Шама , С. О. Субботш, С. В. Морщавка // Радюелектрошка, шформатика, управлшня. - 2013. - № 1. - С. 55-61.

14. Колкник Н. В. Моделювання iмунопатогенезу хрошчного обструктивного бронхНу за допомогою нейромереж / Н. В. Колкник, С. О. Суботин // Сучасш проблеми бюлоги, еко-логп та х!ми : II Мiжнародна конференщя, Запоргжжя, 1-3 жов-тня 2009 р. : збiрка матерiалiв. - Запоргжжя : ЗНУ - С. 124—125.

Статья поступила в редакцию 17.01.2016.

После доработки 10.02.2016.

Д-р техн. наук, професор, професор кафедри програмних засобiв Запорiзького нащонального техшчного ушверситету, Запорож-жя, Укра!на

СИНТЕЗ НЕЙРО-НЕЧ1ТКИХ МЕРЕЖ З РАНЖИРУВАННЯМ I СПЕЦИФ1ЧНИМ КОДУВАННЯМ ОЗНАК ДЛЯ Д1АГНОСТИКИ Й АВТОМАТИЧНО!' КЛАСИФ1КАЦП ЗА ПРЕЦЕДЕНТАМИ

Вирiшено задачу автоматизацй синтезу нейро-нечiтких мереж для дiагностування й автоматично! класифшацп за ознаками. Запро-поновано метод синтезу нейро-неч™их моделей за прецедентами, що визначае оцшки взаемозв'язку вхiдних ознак, вид^е взаемоза-лежнi ознаки, оцшюе вплив ознак на вихiдну ознаку, а також виявляе взаемозалежш терми, включае в модель найбiльш важливi ознаки i терми, усувае дубляж термiв i ознак, використовуе рiзнi варiанти кодування сигналiв, а також переупорядковуе ознаки, забезпечуючи групування ознак, формуе правила для прецедента клаав, що ранiше не зустрiчалися, або таких, що ктотно вiдрiзняються вщ наявних правил свого класу, а уже наявш правила коректуе на основi прецедентiв, що надходять, з урахуванням числа ранiше розглянутих спостережень. Запропонований метод дозволяе ктотно прискорити синтез нейро-нечггких моделей, забезпечуючи прийнятну точшсть i бшьш високий рiвень узагальнення даних, знизити складнiсть i надмiрнiсть, а також пщвищити штерпретабельшсть нейромоделi. Проведено експерименти з виршення практичних задач дiагностування й автоматично! класифшаци, що пiдтвердили працездатнiсть i застосовнiсть запропонованого методу. Отримано залежшсть помилки моделi, синтезовано! запропонованим методом, вщ задано! розрядносп ознак. Використання отримано! залежност дозволяе на практищ бшьш рацiонально вибирати значення юлькосп iнтервалiв розбиття дiапазонiв значень ознак, забезпечуючи прийнятну точшсть нейромоделг

Ключов1 слова: вибiрка, нейро-нечiтка мережа, неч™е виведення, навчання за прецедентами, дiагностування.

Subbotin S. A.

Dr.Sc., Professor, Professor of department of software tools, Zaporizhzhya National Technical University, Zaporizhzhya, Ukraine

THE NEURO-FUZZY NETWORK SYNTHESIS WITH THE RANKING AND SPECIFIC ENCODING OF FEATURES FOR THE DIAGNOSIS AND AUTOMATIC CLASSIFICATION ON PRECEDENTS

The problem of automation synthesis of neuro-fuzzy networks for diagnostics and automatic classification on features is solved. The method of neuro-fuzzy model synthesis on precedents is proposed.

It evaluates the relationship of input features, extracts related features, evaluates the impact of features on the output feature and identify related terms, includes the most important features and terms in the model, eliminates dubbing of the terms and features, uses different types of signal encoding, and also arranges features providing their grouping, forms a rules for precedents of previously non-experienced classes or significantly different from the existing rules of their class, adjust the existing rules based on incoming precedents, given the number previously considered observations. The proposed method allows to significantly accelerate the synthesis of neuro-fuzzy models, providing acceptable accuracy and a higher level of generalization of data, reduce complexity and redundancy, as well as increase of interpretability of neural model. The experiments on solution of practical problems of diagnosis and automatic classification are conducted. They confirmed the efficiency and applicability of the proposed method. The dependence of error of the model synthesized by the proposed method from the specified feature bitness is obtained. Using the obtained dependence allows to more rational choose the value of the number of divisions of the range of feature values in practice providing a reasonably accurate neural model.

Keywords: sample, neuro-fuzzy network, fuzzy inference, training on precedents.

references

Birger I. A. Tekhnicheskaya diagnostika. Moscow. Mashinostroyeniye, 1978, 240 p.

Ding S. X. Model-based fault diagnosis techniques: design schemes, algorithms, and tools. Berlin, Springer, 2008, 473 p. Subbotin S. A., Oleynik An. A., Gofman Ye. A., Zaytsev S. A., Oleynik Al. A. ; pod red. S. A. Subbotina. Intellektual'nyye informatsionnyye tekhnologii proyektirovaniya

avtomatizirovannykh sistem diagnostirovaniya i raspoznavaniya obrazov : monografiya. Khar'kov, Kompaniya SMIT, 2012, 318 p. Subbotin S. O. Podannya y obrobka znan' u systemakh shtuchnoho intelektu ta pidtrymky pryynyattya rishen' : navch. posibnyk. Zaporizhzhya, ZNTU, 2008, 341 p.

Kruse R., Borgelt C., Klawonn F. et. al. Computational intelligence: a methodological introduction. London: Springer-Verlag, 2013, 488 p. DOI: 10.1007/978-1-4471-5013-8_1 Bishop C. M. Pattern recognition and machine learning. New York, Springer, 2011, 740 p.

Buckleya J. J., Hayashi Y. Fuzzy neural networks: a survey, Fuzzy sets and systems, 1994, Vol. 66, Issue 1, pp. 1-13. Mamdani E. H. Assilian S. An experiment in linguistic synthesis with fuzzy logic controller, International journal of man-machine studies, 1975, Vol. 7, No. 1, pp. 1-13.

10

11

Chai Y., Jia L., Zhang Z. Mamdani Model based Adaptive Neural Fuzzy Inference System and its Application, International Journal of Computer, Electrical, Automation, Control and Information Engineering, Vol:3, No:3, 2009, pp. 663-670. Leonenkov A. V. Nechotkoye modelirovaniye v srede MATLAB i fuzzyTECH. Sankt-Peterburg, BKHV-Peterburg, 2003, 736 p. Khimmel'blau D. Prikladnoye nelineynoye programmirovaniye. Moscow, Mir, 1974, 534 p.

12.Subbotin S. O. Komp'yuterna prohrama «Avtomatyzovana systema syntezu neyromerezhevykh ta neyro-nechitkykh modeley dlya neruynivnoyi diahnostyky ta klasyfikatsiyi obraziv za oznakamy» : cvidotstvo pro reyestratsiyu avtors'koho prava na tvir № 35431. Derzh. departament intelektual'noyi vlasnosti. № 34011 ; zayavl. 21.04.10 ; zareyestr. 21.10.10.

13.Shama Ye. O., Subbotin S. O., Morshchavka S. V. Pobudova klasyfikatora roslynnykh ob'yektiv za dopomohoyu neyronnykh merezh, Radioelektronika, informatyka, upravlinnya, 2013, No. 1, pp. 55-61.

14.Kolisnyk N. V., Subotyn S. O. Modelyuvannya imunopatohenezu khronichnoho obstruktyvnoho bronkhitu za dopomohoyu neyromerezh. Suchasni problemy biolohiyi, ekolohiyi ta khimiyi : II Mizhnarodna konferentsiya, Zaporizhzhya, 1-3 zhovtnya 2009 r. : zbirka materialiv. Zaporizhzhya, ZNU, pp. 124-125.

1

2

3

4

5

6