CC BY
85
УДК 004.93
Субботин С. А.
Д-р техн. наук, профессор, профессор кафедры программных средств Запорожского национального технического
университета, Запорожье, Украина
ПОСТРОЕНИЕ ПОЛНОСТЬЮ ОПРЕДЕЛЕННЫХ НЕЙРО-НЕЧЕТКИХ СЕТЕЙ С РЕГУЛЯРНЫМ РАЗБИЕНИЕМ ПРОСТРАНСТВА ПРИЗНАКОВ НА ОСНОВЕ ВЫБОРОК БОЛЬШОГО ОБЪЕМА
Решена проблема автоматизации синтеза моделей для классификации образов по признакам. Предложен метод синтеза нейро-нечетких моделей по прецедентам, способный получать полностью определенные нейромодели на основе регулярного разбиения признаков. Метод рассчитывает координаты центров кластеров как координаты центров прямоугольных блоков в пространстве интервалов признаков, а принадлежности кластеров к классам определяет по обучающей выборке: для кластеров, покрытых наблюдениями, принадлежность определяется по максимуму частоты экземпляров соответствующих классов в кластере, а для кластеров, не покрытых наблюдениями, принадлежность определятся по максимальному потенциалу, наводимому на данный кластер кластерами с известной принадлежностью к классам. Полученный набор кластеров-правил отображается в структуру нейро-нечеткой сети Мамдани, а ее параметры настраиваются на основе параметров разбиения признаков и центров кластеров. Предложенный метод не требует загрузки всей обучающей выборки в память ЭВМ и существенно ускоряет процесс синтеза моделей, обеспечивая при этом приемлемый уровень обобщения данных получаемой нейромоделью. Разработано программное обеспечение, реализующее предложенный метод, а также проведены эксперименты, подтвердившие работоспособность разработанного математического обеспечения и позволяющие рекомендовать его для построения нейро-нечетких моделей на основе выборок большого объема.
Ключевые слова: нейро-нечеткая сеть, обучение, синтез, классификация.
номенклатура
ЭВМ - электронная вычислительная машина; a,,, b,,, с,,, d, - параметры функции принадлежности к ,-му терму i-го признака;
E - ошибка сети для задач с дискретным выходом; f - критерий качества модели; FQ - структура нейромодели; i, j - номера признаков; k - номер класса; K - число классов; , - номер интервала; I - номер интервала j-го признака; L - число интервалов, на которые разбивается признак;
N - число входных признаков; Nw - общее число весов нейромодели; opt - условное обозначение оптимума; q - номер блока-кластера; Q - число кластеров;
R(Yq,Yp) - расстояние между q-м и p-м кластерами; S - объем выборки; s - номер экземпляра выборки; S - число экземпляров, попавших в q-й кластер; S - число экземпляров в выборке, принадлежащих к k-му классу;
Sq - число экземпляров k-го класса, попавших в q-й кластер;
w - параметры нейромодели; x - набор входных векторов прецедентов; X - набор прецедентов; x. - j-й входной признак;
Xs - набор входных признаков s-го прецедента; Xs. - значение j-го входного s-го прецедента;
х! , х^ - минимальное и максимальное значения признака х.;
у - выходной признак;
- номер класса, сопоставленный д-му кластеру; у - значение выходного признака для 5-го прецедента; 8. - длина интервала, на которые разбивается диапазон значений .-го признака;
^ д,. - номер интервала .-го признака, соответствующий д-му блоку-кластеру;
е - приемлемый уровень ошибки; цк - принадлежность к к-му классу; цд - принадлежность к д-му эталону; щ-1 (х5 ) - функции принадлежности к 1-му терму 1-го признака.
введение
Нейро-нечеткие сети [1-4] являются парадигмой вычислительного интеллекта, широко используемой при решении задач автоматизации принятия решений в техническом и биомедицинском диагностировании, нераз-рушающем контроле качества и управлении. Это объясняется способностью нейро-нечетких сетей к обучению по прецедентам, интерпретабельностью получаемых нейромоделей, возможностью интегрировать имеющиеся экспертные знания в нейромодель, массированным параллелизмом вычислений нейро-нечетких моделей, возможностью использования для синтеза и обучения нейро-нечетких сетей методов оптимизации и машинного обучения.
Объект исследования - процесс построения нейро-нечетких моделей.
Большинство известных методов синтеза нейро-не-четких сетей [1-4] требуют загрузки всей обучающей
© Субботин С. А., 2016 DOI 10.15588/1607-3274-2016-3-6
выборки в память ЭВМ, являются медленными, приводят к получению моделей, недостаточно хорошо проявляющих обобщающие и аппроксимационные свойства, что ограничивает применение нейро-нечетких моделей на практике. Для выборок данных большого объема применение известных методов построения нейро-нечетких моделей оказывается крайне затруднительным.
Предмет исследования - методы построения нейро-нечетких моделей на основе больших выборок данных.
Целью работы являлось создание метода синтеза ней-ро-нечетких моделей по прецедентам, способного получать полностью определенные нейромодели, не требующего загрузки всей обучающей выборки в память ЭВМ и существенно ускоряющего процесс синтеза моделей по сравнению с известными методами, обеспечивающего при этом приемлемый уровень обобщения данных получаемой нейромоделью. 1 постановка задачи
Пусть мы имеем исходную выборку X = <x, y> - набор S прецедентов о зависимости y(x), x = {Xs}, y={y}, s = 1, 2, ..., S, характеризующихся набором N входных признаков {x.}, j = 1, 2, ..., N, и выходным признаком у. Каждый s-й прецедент представим как <xs, ys>, xs={xs.}, y e {1, 2, ..., K}, K>1. 1
Тогда задача синтеза нейро-нечеткой модели зависимости y(x) будет заключаться в определении таких структуры FQ и значений параметров w модели, при которых будет удовлетворен критерий качества модели f(F(), w, <x, y>) ^ opt [5].
Для задач с дискретным выходом критерий качества модели f определяют на основе ошибки обученной сети:
1
S
E = -У
S ^
S s=1
ys - F(w, xs)
^ min
2 литературный обзор
Наиболее простым с точки зрения реализации способом синтеза нейро-нечетких моделей является разбиение пространства признаков и выделение правил человеком [3]. Однако это возможно лишь в очень хорошо изученных областях и сопряжено с субъективным подходом эксперта.
Другим, относительно простым, способом синтеза нейро-нечетких моделей является разбиение пространства признаков человеком и формирование правил по набору прецедентов путем преобразования каждого прецедента в отдельное правило [4]. Однако это сопряжено с субъективным подходом к формированию разбиения и может приводить к построению недостаточно точных или плохо обобщающих данные моделей.
Синтез структуры нейро-нечетких сетей, как правило, осуществляют путем разбиения пространства признаков на кластеры и формирования для каждого кластера правила отнесения экземпляров к кластеру, которые отображаются затем в структуру нейро-нечеткой сети [6]. При этом проблемами являются выбор способа разбиения значений признаков на интервалы и выбор метода кластер-анализа, а также необходимость вовлечения человека в процесс выбора данных методов и задания разбиения, а также определения экспертных правил.
Сети, построенные на основе разбиения и правил, полностью покрывающих признаковое пространство, ограниченное интервалами значений признаков, будем называть полностью определенными.
Сети, построенные на основе разбиения и правил, покрывающих лишь частично признаковое пространство, ограниченное интервалами значений признаков, будем называть частично определенными.
В случае синтеза нейро-нечетких моделей по прецедентам для выборок данных ограниченного объема это дополнительно приводит к ряду проблем:
- если выборка покрывает не все пространство признаков и / или это покрытие является существенно неравномерным, то выделенные кластеры и правила, а также синтезированная на их основе частично определенная сеть могут недостаточно хорошо аппроксимировать (интерполировать и экстраполировать) моделируемую зависимость и плохо обобщать данные;
- процесс синтеза структуры сети не учитывает такие свойства результирующей модели как точность обобщение, сложность, интерпретабельность, что приводит к получению неоптимальных по данным свойствам моделей.
В случае синтеза нейро-нечетких моделей по прецедентам для выборок данных большого объема и значительной размерности признакового пространства из-за невозможности загрузки всей выборки в память ЭВМ процесс построения нейро-нечеткой модели становится крайне затруднительным и является неприемлемым из-за значительных затрат времени на выполнение синтеза и обучения нейромодели.
Поэтому необходимо создать метод синтеза полностью определенных нейро-нечетких моделей, не требующий загрузки всей обучающей выборки в память ЭВМ, ускоряющий процесс синтез моделей и обеспечивающий приемлемый уровень обобщения данных.
3 материалы и методы
Для обеспечения быстроты разбиения признакового пространства и его независимости от человека предлагается использовать регулярное разбиение диапазонов значений признаков на интервалы. Число интервалов для разбиения диапазонов значений признаков целесообразно выбирать таким образом, чтобы обеспечить обобщение данных.
Для существенного сокращения затрат на процесс синтеза структуры нейро-нечеткой модели предлагается определять координаты центров кластеров как координаты центров прямоугольных блоков в пространстве признаков без учета выборки данных, но принадлежности кластеров к классам определять по выборке. Это позволит заранее рассчитать параметры интервалов признаков, а также координаты центров кластеров без фактического выполнения кластер-анализа, но для определения правил отнесения экземпляров к классам на основе центров кластеров потребует всего одного просмотра выборки, оперируя в памяти всего одним экземпляром.
Для построения полностью определенных сетей на основе выборки, не полностью покрывающей признаковое пространство, предлагается принадлежность кластеров к классам.
Для кластеров, покрытых наблюдениями, определять по максимуму частоты экземпляров соответствующих классов в кластере, а для кластеров, не покрытых наблюдениями, принадлежность определять по максимальному потенциалу [7, 8], наводимому на данный кластер кластерами с известной принадлежностью к классам.
Полученный набор правил может быть легко отображен в структуру сети Мамдани, а ее параметры настроены на основе параметров разбиения признаков и центров кластеров.
Формально предложенный метод можно изложить следующим образом.
Этап 1. Инициализация. Задать обучающую выборку <х,у>. Определить N S, К, {5*}, к = 1, 2, ...,К; {х™п}, { х™ах},] = 1,2,...,Ж Задать число интервалов, на которые разбиваются диапазоны значений признаков Ь, Ь > 2. Задать приемлемый уровень ошибки е.
Этап 2. Формирование разбиения пространства признаков. Определить число кластеров Q=ЬN. Для д =1,2,..,2, j= 1, 2,...,^ /=1,2,...,Ь установить Xд j =1. Установить 5д =0,
=0, д = 1, 2, ..., 2, к=1,2,...,К.
Определить длину интервала каждого j-го признака:
8 j =
xmax _ xmin
Xj Xj
L
, j = 1, 2,...,N.
Этап 3. Определение числа экземпляров классов в кластерах.
Последовательно для экземпляров обучающей выборки (5= 1,2,...,5):
- считать из выборки очередной 5-й экземпляр и загрузить в память ЭВМ;
- определить номера интервалов признаков, в которые попал экземпляр х5:
lJ =
1 +
* _ x min
л] л]
8,
, j = 1, 2,
, N;
- определить номер блока-кластера q, в который попал экземпляр х1: q=1,2,....,Q: Xq,j =jj = 1,2,...,N.
- принять sqy = sqy +1, sq=sq+i.
Этап 4. Определение принадлежности кластеров к классам.
Для q-го кластера, q=1,2,...,Q, принять:
Yq = arg max {Skq\Sq > 0}. Для q-го кластера, q=1,2,...,Q, установить:
Yq = arg
max iyi —
к=1,2,..,K |p=i[1 + R(Yq ,Yp)
Yp = к, Sp > 0
Sq = 0|
где
R(Yq ,Yp) =
N
q, j _X p, j j2
j=1
Этап 5. Формирование термов признаков. На основе выделенных интервалов значений признаков возможно определить функции принадлежности к термам признаков на основе трапециевидной функции:
0 Xj < a,,i;
h,l (x*) =
Xj _ aj i
--—, aii < x < bj i;
bi,i _ ai,i
1 bii < xj < en; d _ Xj
d _ e,
ill
> ej,l < x, < d,,l
0, d,,l < x, •
гДе ац < Ъц < сц < dl {: ац=(1 -1)5 + xmln ,
bi,l = (l -1)5 + x;min, сг;/= 15 + x,min , du = 15 + xmin .
Этап 6. Формирование системы нечеткого вывода. На данном этапе задаются принципы преобразования значений функций принадлежности к термам в принадлежности к кластерам и классам, а также способ дефаз-зификации результата.
Принадлежности к сформированным эталонам определим по формулам:
цq = min \ Xq,i = l},
где q=1, 2, ..., Q, l=1, 2, ..., L.
Принадлежности к классам определим по формулам:
цк = maxnVq I Yq = к}, к = 1,2,...,
Расчетный номер класса, соответственно, будет определяться по формуле:
y* = arg max {к } к=1,2,...,K
Этап 7. Синтез нейро-нечеткой сети. На основе выделенных термов и определенных функций системы нечеткого вывода можно сформировать структуру нейро-нечеткой сети Мамдани [3, 4, 9, 10] в соответствии со схемой, приведенной на рис. 1.
На входной (первый) слой сети поступают входные сигналы - значения признаков распознаваемого экземпляра, которые далее поступают на второй слой, выполняющий фаззификацию. Выходы нейронов второго слоя представляют собой значения функций принадлежности распознаваемого экземпляра к термам признаков. Нейроэлементы третьего слоя сети комбинируют принадлежности к термам в принадлежности к эталонам кластеров, на основе которых нейроны четвертого слоя определяют принадлежности к классам. Единственный нейрон пятого (выходного) слоя осуществляет дефаззи-фикацию и выдает на выходе расчетное значение номера класса распознаваемого экземпляра.
Этап 8. Проверка окончания поиска. Оценить ошибку для построенной сети E. Если ошибка является приемлемой (E< е ), то завершить синтез сети и вернуть по-
1
Рисунок 1 - Схема нейро-нечеткой сети
лученную нейромодель как результат; в противном случае: если заданное значение Ь меньше, чем максимально допустимое при заданных N и Б, то увеличить Ь=Ь+1 и перейти к этапу 2, в противном случае - вернуть найденную нейромодель как решение.
Для обеспечения обобщающих свойств нейромодели необходимо, чтобы число ее настраиваемых параметров было меньше, чем размерность обучающей выборки МБ.
Для нейро-нечеткой сети с трапециевидной функцией принадлежности к термам каждый нейрон второго слоя, соответствующий терму, будет иметь четыре настраиваемых параметра. Следовательно, общее число настраиваемых параметров нейронов второго слоя при равном числе интервалов Ь, на которое разбиваются диапазоны значений N входных признаков, составит 4МЬ. Таким образом, можно сказать, что требуется, чтобы 4МЬ<МБ ^Ь <0,25Б.
С другой стороны, очевидно, что диапазон значений каждого признака должен быть разбит на не менее, чем два интервала, т.е. Ь >2. Таким образом, получаем 2< Ь <0,25Б. Данное соотношение является весьма грубым и допускает значительную неопределенность при выборе Ь.
Для более точной оценки интервала допустимых значений Ь рассмотрим полностью определенную (полносвязной прямонаправленную) нейро-нечеткую сеть, общее число весов которой N для обеспечения обобщающих свойств должно удовлетворять условию: М^<МБ.
Число весов в полностью определенной прямонап-равленной сети оценим по формуле:
= 4мь+мьд+дК+к.
Общее число многомерных блоков определения принадлежности к кластерам может быть определено как д=ЬМ. Тогда условие выбора Ь будет
2 < Ь, 4мь + жьм + ьм к + к < МБ.
Введя переменную а = N / Ь ^N = аЬ, получим:
2 < Ь, 4 ь + ььаь + к (1) < Б.
аЬ
Поскольку, очевидно, что ЬаЬ >> 1, приняв для простоты расчетов К=Ь, пренебрегая меньшими слагаемыми, преобразовав и упростив полученное условие получим:
2 < ь < м +1б.
Из полученного соотношения легко видеть, что сокращение числа используемых признаков позволяет существенно увеличить число интервалов при поддержании обобщающих свойств модели.
Вычислительная сложность полученной нейромоде-ли может быть оценена как 8МЬ + 2МЬд + 2дК + 3К) « « 0( 2МЬМ+1 + 2КЬМ+1 + 8МЬ + 3К). Пренебрегая меньшими слагаемыми, получим оценку 0(2МЬМ+1). Полагая в худшем случае ь =м +УБ, получим оценку 0(2МБ), а, обозначив п = МБ, относительно размерности обучающей выборки п получим оценку вычислительной сложности модели 0(2п).
Пространственная сложность полученной нейромо-дели может быть оценена как
0( N + 4 МЬ + МЬд + дК + К)« 0( МЬМ+1 + ЬМК + 4 МЬ). Пренебрегая меньшими слагаемыми, получим оценку пространственной сложности модели 0( МЬМ+1). Полагая в худшем случае ь = м +УБ", получим оценку пространственной сложности 0( МБ) = 0(п).
Вычислительная сложность одного прохода предложенного метода составит 0{26МБ+БК+2дМ+2дК+2М+
+дмБ+2Б+о,5Кд2+з,5д+8( 8мь+2 жд+2дК+зк )).
Для случая двух классов (К=2), полагая в худшем случае
ь = м +1б , получим 0(м +1^2 + м +1б (2М+7,5+9МБ)+
+2МБ2+4Б2+26МБ+10Б+2М). Полагая Б>>М и пренебрегая меньшими слагаемыми, получим оценку вычислительной сложности метода 0(Б2).
Пространственная сложность метода может быть оценена как 0(5М+2К+дМ+2дК+2д+Ь+4МЬ+МЬд). Для случая двух классов (К=2), полагая в худшем случае
ь = М +1Б, полагая Б>>М и пренебрегая меньшими слагаемыми, получим 0(МБ) = 0(п). эксперимент^1
Предложенный метод был программно реализован как дополнение [11]. Разработанное программное обеспечение использовалось для изучения практической применимости и исследования свойств предложенного метода при решении практических задач автоматической классификации различной природы [5, 12].
р-К8К 1607-3274. Радюелектронжа, iнформатика, управлiння. 2016. № 3 е-ЕЗБЫ 2313-688Х. Каёю Е1еойоп^, Сошриег Баепое, Сопйо1. 2016. № 3
При проведении экспериментов исследовались зави- результаты
симости между параметрами метода для определения Проведенные эксперименты подтвердили работоспо-
возможных ограничений на их значения и тенденций собность и практическую применимость предложенно-изменения параметров. го метода. На рис. 1 представлены графики полученных
зависимостей.
д е
Рисунок 1 - Грфики зависимостей: а - Ь от Б при разных значениях М; б - N от Ь при разных значениях д; в - N от Б при разных значениях Ь; г - д от N при разных значениях Б; д - д от Б при разных значениях М; е - Е от Ь при разных значениях N и Б
обсуждение
Предложенный метод при фиксированном числе разбиений не требует загрузки всей обучающей выборки в память ЭВМ, осуществляя ее поэкземплярную обработку, не требует многократных просмотров обучающей выборки, ограничиваясь всего одним проходом при известных минимальных и максимальных значениях признаков или двумя - при неизвестных минимальных и максимальных значениях признаков.
Как видно из рис. 1а, с увеличением объема выборки наблюдается возможность увеличения предельно допустимого для сохранения обобщающих свойств значения числа интервалов, на которые разбиваются диапазоны значений признаков, Ь.
Однако, как следует из рис 1 а и рис. 1 б, существенное ограничивающее влияние на Ь также имеет размерность признакового пространства N. Чем больше М, тем меньше будет возможное значение Ь.
С другой стороны, как видно из рис. 1 в, существенное увеличение объема выборки Б позволяет увеличивать допустимую границу размерности признакового пространства N. При этом, как следует из рис. 1г, с ростом N обеспечивается возможность увеличение предельно допустимого значения числа кластеров д.
Также, как видно из рис. 1 д, с ростом объема выборки Б наблюдается увеличение предельно допустимого значения числа кластеров д.
Как следует из рис. 1 е, с ростом числа разбиений признаков Ь при фиксированных Б и N для каждой из выборок наблюдается в среднем уменьшение ошибки Е. Это уменьшение особенно существенно на начальном этапе и становится незначительным при достижении числа разбиений интервалов значений признаков, обеспечивающих создание такого числа кластеров д, которое сопоставимо с числом экземпляров в выборке Б.
Следовательно, для больших по объему выборок данных, если необходимо обеспечить высокий уровень обобщения данных моделью, следует предварительно выполнить отбор наиболее информативных признаков, минимизируя размерность признакового пространства N. Это позволит увеличить допустимую границу Ь и обеспечить большую точность (меньшую ошибку Е).
выводы
В работе решена актуальная проблема автоматизации синтеза моделей для классификации образов по признакам.
Научная новизна работы состоит в том, что впервые предложен метод синтеза нейро-нечетких моделей по прецедентам, способный получать полностью определенные нейромодели на основе регулярного разбиения признаков. Метод рассчитывает координаты центров кластеров как координаты центров прямоугольных блоков в пространстве интервалов признаков, а принадлежности кластеров к классам определяет по обучающей выборке: для кластеров, покрытых наблюдениями, принадлежность определяется по максимуму частоты экземпляров соответствующих классов в кластере, а для кластеров, не покрытых наблюдениями, принадлежность определятся по максимальному потенциалу, наводимо-
му на данный кластер кластерами с известной принадлежностью к классам. Полученный набор кластеров-правил отображается в структуру нейро-нечеткой сети Мам-дани, а ее параметры настраиваются на основе параметров разбиения признаков и центров кластеров. Предложенный метод не требует загрузки всей обучающей выборки в память ЭВМ и существенно ускоряет процесс синтеза моделей, обеспечивая при этом приемлемый уровень обобщения данных получаемой нейромоделью.
Практическая значимость результатов работы заключается в том, что разработано программное обеспечение, реализующее предложенный метод, а также проведены эксперименты, подтвердившие работоспособность разработанного математического обеспечения и позволяющие рекомендовать его для использования на практике при решении задач построения нейро-нечетких моделей для выборок большого объема.
Перспективы дальнейших исследований состоят в исследовании предложенного математического обеспечения на более широком наборе практических задач диагностики и распознавания образов.
благодарности
Работа выполнена в рамках в рамках госбюджетных научно-исследовательской темы Запорожского национального технического университета «Методи i засоби обчислювального штелекту та паралельного комп 'ю-тингу для оброблення великих даних в системах дiагно-стування» при поддержке международного проекта «Centers of Excellence for young RESearchers» программы «Темпус» Европейской Комиссии (№ 544137-TEMPUS-1 -2013-1-SK-TEMPUS - JPHES). список литературы
1. Analysis and design of intelligent systems using soft computing techniques / eds. : P. Melin, O.R. Castillo, E.G. Ramirez, J. Kacprzyk. - Heidelberg : Springer, 2007. - 855 p.
2. Buckleya J. J. Fuzzy neural networks: a survey / J. J. Buckleya, Y. Hayashi // Fuzzy sets and systems. - 1994. - Vol. 66, Issue 1. -P. 1-13.
3. Дли М. И. Нечеткая логика и искусственные нейронные сети / М. И. Дли. - М. : Физматлит, 2003. - 225 с.
4. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутков-ский ; пер. с польск. И. Д. Рудинского. - М. : Горячая линия -Телеком, 2004. - 452 с.
5. Интеллектуальные информационные технологии проектирования автоматизированных систем диагностирования и распознавания образов : монография / [С. А. Субботин, Ан. А. Олейник, Е. А. Гофман, С. А. Зайцев, Ал. А. Олейник] ; под ред. С. А. Субботина. - Харьков : Компания СМИТ, 2012. - 318 с.
6. Осовский С. Нейронные сети для обработки информации / С. Осовский. - М. : Финансы и статистика, 2004. - 344 с.
7. Фор А. Восприятие и распознавание образов / А. Фор ; под ред. Г. П. Катыса. - М. : Машиностроение, 1989. - 271 с.
8. Айзерман М. А. Метод потенциальных функций в теории обучения машин / М. А. Айзерман, Э. М. Браверман, Л. И. Розоноэр. - М. : Наука, 1970. - 384 с.
9. Ярушкина Н. Г. Основы теории нечетких и гибридных систем / Н. Г. Ярушкина. - М. : Финансы и статистика, 2004. - 320 с.
10. Яхъяева Г. Э. Нечеткие множества и нейронные сети : учеб. пособие / Г. Э. Яхъяева. - М. : Интуит, 2006. - 316 с.
11. Комп'ютерна програма «Автоматизована система синтезу нейроме-режних та нейро-нечгтких моделей для неруйшвно!
дiагностики та класифжаци образiв за ознаками» : свщоцтво про реeстрацiю авторського права на твiр № 35431 / С. О. Субботш. - Держ. департамент штелектуально! влас-ностi. - № 34011 ; заявл. 21.04.10 ; зареестр. 21.10.10.
12. Прогрессивные технологии моделирования, оптимизации и интеллектуальной автоматизации этапов жизненного цикла
авиационных двигателей : монография / [А. В. Богуслаев, Ал. А. Олейник, Ан. А. Олейник, Д. В. Павленко, С. А. Субботин]; под ред. Д. В. Павленко, С. А. Субботина. - Запорожье : ОАО «Мотор Сич», 2009. - 468 с.
Статья поступила в редакцию 01.09.2016.
После доработки 25.09.2016.
Субботш С. О.
Д-р техн. наук, професор, професор кафедри програмних засоб1в Запор1зького нацюнального техшчного ушверситету, Запорож-жя, Укра1на
ПОБУДОВА ПОВН1СТЮ ВИЗНАЧЕНИХ НЕЙРО-НЕЧ1ТКИХ МЕРЕЖ З РЕГУЛЯРНЫМИ РОЗБИТТЯМ ПРОСТОРУ ОЗНАК НА ОСНОВ1 ВИБ1РОК ВЕЛИКОГО ОБСЯГУ
Виршено проблему автоматизаци синтезу моделей для класифжаци образ1в за ознаками. Запропоновано метод синтезу нейро-нечггких моделей за прецедентами, здатний одержувати цшком визначеш нейромодел1 на основ1 регулярного розбиття ознак. Метод розраховуе координати центр1в кластер1в як координати центр1в прямокутних блогав у простор1 1нтервал1в ознак, а належност клас-тер1в до клаав визначае за навчальною виб1ркою: для кластер1в, покритих спостереженнями, належшсть визначаеться за максимумом частоти екземпляр1в вщповщних клаав у кластера а для кластер1в, не покритих спостереженнями, належшсть визначаться за максималь-ним потенщалом, що наводиться на даний кластер кластерами з вщомою належшстю до клаав. Отриманий наб1р кластер1в-правил вщображаеться у структуру нейро-нечггко! мереж1 Мамдани, а 11 параметри налаштовуються на основ1 параметр1в розбиття ознак i центр1в кластерiв. Запропонований метод не вимагае завантаження вае! навчально! вибiрки в пам'ять ЕОМ та ютотно прискорюе процес синтезу моделей, забезпечуючи при цьому прийнятний рiвень узагальнення даних одержуваною нейромоделлю. Розроблено програмне забезпечення, що реалiзуе запропонований метод, а також проведет експерименти, що шдтвердили працездатнiсть розроб-леного математичного забезпечення i що дозволяють рекомендувати його для побудови нейро-нечггких моделей на основi вибiрок великого обсягу.
Ключовi слова: нейро-нечiтка мережа, навчання, синтез, класифжащя.
Subbotin S. A.,
Dr.Sc., Professor, Chief of the department of software tools, Zaporizhzhya National Technical University, Zaporizhzhya, Ukraine
BUILDING A FULLY DEFINED NEURO-FUZZY NETWORKWITH A REGULAR PARTITION OF A FEATURE SPACE BASED ON LARGE SAMPLE
The problem of model synthesis automation for pattern classification on the features is solved. The method of neuro-fuzzy model synthesis on precedents is proposed. It is able to construct completely defined neural models based on the regular partition of a feature space. The method calculates the coordinates of the cluster centers as coordinates of the centers of rectangular blocks in the space of feature intervals and clusters membership to classes determine on the training set: for clusters containing observations the membership is determined by the maximum frequency of instances of the corresponding classes in the cluster, and for clusters that do not contain observations the membership is determined by the maximum potential induced on it by the clusters with known class membership. The resulting set of clusters-rules is mapped to the structure of Mamdani neuro-fuzzy network and its parameter values are calculated on the base of parameters of feature set partition and cluster centers. The proposed method does not require loading the entire training sample in the computer memory and speeds up the process of model synthesis providing an acceptable level of data generalization by obtained neural model. The software that implements the proposed method is developed. The experiments confirming the performance of developed mathematical support are conducted. They allow to recommend the method for the construction of neuro-fuzzy models based on a large samples.
Keywords: neuro-fuzzy network, training, synthesis, classification.
references
1. Melin P., Castillo O.R., Ramirez E.G., Kacprzyk J. : eds. Analysis and design of intelligent systems using soft computing techniques. Heidelberg, Springer, 2007, 855 p.
2. Buckleya J. J., Hayashi Y. Fuzzy neural networks: a survey, Fuzzy sets and systems, 1994, Vol. 66, Issue 1, pp. 1-13.
3. Dli M. I. Nechotkaya logika i iskusstvennyye neyronnyye seti. Moscow, Fizmatlit, 2003, 225 p.
4. Rutkovskaya D., Pilin'skiy M., Rutkovskiy L.; per. s pol'sk. I. D. Rudinskogo Neyronnyye seti, geneticheskiye algoritmy i nechotkiye sistemy. Moscow, Goryachaya liniya, Telekom, 2004, 452 p.
5. Subbotin S. A., Oleynik An. A., Gofman Ye. A., Zaytsev S. A., Oleynik Al. A. ; pod red. S. A. Subbotina Intellektual'nyye informatsionnyye tekhnologii proyektirovaniya avtomatizirovannykh sistem diagnostirovaniya i raspoznavaniya obrazov : monografiya. Khar'kov, Kompaniya SMIT, 2012, 318 p.
6. Osovskiy S. Neyronnyye seti dlya obrabotki informatsii. Moscow, Finansy i statistika, 2004, 344 p.
7. For A. ; pod red. G. P. Katysa Vospriyatiye i raspoznavaniye obrazov. Moscow, Mashinostroyeniye, 1989, 271 p.
8. Ayzerman M. A., Braverman E. M., Rozonoer L. I. Metod potentsial'nykh funktsiy v teorii obucheniya mashin. Moscow, Nauka, 1970, 384 p.
9. Yarushkina N. G. Osnovy teorii nechotkikh i gibridnykh sistem. Moscow, Finansy i statistika, 2004, 320 p.
10. Yakh'yayeva G. E. Nechotkiye mnozhestva i neyronnyye seti : ucheb. posobiye. Moscow, Intuit, 2006, 316 p.
11. Subbotin S. O. Komp'yuterna prohrama "Avtomatyzovana systema syntezu neyromerezhevykh ta neyro-nechitkykh modeley dlya neruynivnoyi diahnostyky ta klasyfikatsiyi obraziv za oznakamy" : cvidotstvo pro reyestratsiyu avtorskoho prava na tvir № 35431. Derzh. departament intelektualnoyi vlasnosti. № 34011 ; zayavl. 21.04.10 ; zareyestr. 21.10.10.
12. Boguslayev A. V., Oleynik Al. A., Oleynik An. A., Pavlenko D. V., Subbotin S. A.; pod red. D. V. Pavlenko, S. A. Subbotina. Progressivnyye tekhnologii modelirovaniya, optimizatsii i intellektual'noy avtomatizatsii etapov zhiznennogo tsikla aviatsionnykh dvigateley : monografiya. Zaporozh'ye: OAO "Motor Sich", 2009, 468 p.
