CC BY
60
УДК 004.93
Субботин С. А.
Д-р техн. наук, профессор, профессор кафедры программных средств Запорожского национального технического
университета, Запорожье, Украина
МЕТОД СИНТЕЗА ДИАГНОСТИЧЕСКИХ МОДЕЛЕЙ НА ОСНОВЕ РАДИАЛЬНО-БАЗИСНЫХ НЕЙРОННЫХ СЕТЕЙ С ПОДДЕРЖКОЙ
ОБОБЩАЮЩИХ СВОЙСТВ
В работе решена актуальная проблема автоматизации синтеза радиально-базисных нейронных сетей на основе набора прецедентов для принятия решений в диагностировании. Предложен метод синтеза радиально-базисных нейронных сетей, который формирует в начале по одному эталону класса, которые при необходимости дополняет новыми эталонами, формируемыми на основе ошибочно распознанных экземпляров, а далее оперирует расстояниями от экземпляров до эталонов кластеров. На основе полученных координат эталонов далее в автоматическом режиме синтезируется структура и настраиваются параметры сети, которые дополнительно для повышения обобщающих свойств и интерпретабельности подвергается контрастированию весов. Предложенный метод не требует задания пользователем числа кластеров, не имеет неопределенности выбора числа нейронов в первом слое и выбора начальных значений весов сети, стремится минимизировать размер сети, характеризуется приемлемым временем обучения, благодаря использованию процедуры оптимизации сети позволяет получать безызбыточные контрастные, интерпретабельные нейромодели. Разработано программное обеспечение, реализующее предложенный метод, а также проведены эксперименты, подтвердившие работоспособность разработанного математического обеспечения и позволяющие рекомендовать его для использования на практике при решении задач построения диагностических моделей по прецедентам для автоматизации принятия решений в технической и биомедицинской диагностики.
Ключевые слова: нейронная сеть, радиально-базисная сеть, обучение, синтез, диагностика.
НОМЕНКЛАТУРА
РБНС - радиально-базисная нейронная сеть; C - множество эталонов;
Cq - q-й эталон;
Ccj - j-я координата эталона q-го кластера; E - среднеквадратическая ошибка; /() - пользовательский критерий, характеризующий качество аргумента относительно решаемой задачи; FQ - структура РБНС; Fg - показатель обобщения нейромодели; K - число классов; M - число слоев РБНС (M=2); N - число диагностических признаков; NM - число выходных признаков; Nw - число параметров (весов) РБНС; N - число весов РБНС, равных нулю; N - число узлов в з-м слое;
opt - оптимальное (желаемое или приемлемое) значение функционала /) для решаемой задачи; Q - число кластеров;
R(Xs, Cq) - расстояние от экземпляра Xs до эталона Cq; S - число экземпляров в конфликтном наборе; S - число прецедентов в выборке; Sq - число экземпляров, попавших в q-й кластер; S'q- число экземпляров q-го класса в конфликтном наборе;
tob - время обучения модели; w - параметры РБНС;
w - множество управляемых (настраиваемых) параметров (весов) РБНС;
wj(3') - значение j-го настраиваемого параметра или веса j-го входа i-го узла з-го слоя;
х.1,ш', х.1"" - минимальное и максимальное значения /-
/ / -1 го признака, соответственно;
х". - значение /-го диагностического признака х , ха-растеризующее прецедент (экземпляр) х";
X" - 5-й экземпляр конфликтного набора;
х'- значение /-го диагностического признака х, характеризующее прецедент (экземпляр) х'";
X' - конфликтный набор;
у" - значение выходного признака, сопоставленное прецеденту х";
у"* - расчетное значение на г-м выходе РБНС для экземпляра х", поданного на ее входы;
у". - значение г-го выходного признака для экземпляра х";
урасч. - расчетный номер класса для з-го экземпляра относительно сформированного множества эталонов;
вд - коэффициент, регулирующий величину д-го кластера;
ф(п,г), у(п,г) - соответственно, дискриминантная (весовая) и активационная функции г-го узла П-го слоя. ВВЕДЕНИЕ
Искусственные нейронные сети [3-11] благодаря своим способностям способностями обучаться по примерам, посредством обобщения и неявного извлечения знаний из данных, отображая их в структуру и параметры (веса) сети, получили широкое распространение на практике при решении задач диагностирования и распознавания образов.
Объектом исследования являлся процесс синтеза искусственных нейронных сетей.
Среди известных моделей нейронных сетей и методов их обучения [3-11] для задач автоматизации приня-
© Субботин С. А., 2016
DOI 10.15588/1607-3274-2016-2-8
тия решений целесообразно использовать преимущественно сети прямого распространения сигнала, которые не содержат боковых и обратных связей и легче поддаются последующему анализу [6, 9, 10]. В свою очередь, среди сетей данного класса особо можно выделить радиально-базисные нейронные сети (РБНС), которые легко интерпретируются в терминологии кластерного анализа, что упрощает последующий анализ полученной на их основе модели или ее решений [3, 6, 11, 12].
Предметом исследования являлись методы построения РБНС.
Известные методы синтеза РБНС обладают такими недостатками, как зависимость качества получаемой модели от заданных человеком параметром, а также низкий уровень обобщения получаемых моделей и большие затраты времени на процесс построения моделей.
Целью работы являлось создание метода структурно-параметрического синтеза РБНС, обеспечивающего сокращение вовлечения человека в процесс построения нейромодели, а также гарантирующего поддержку обобщающих свойств модели.
1 ПОСТАНОВКА ЗАДАЧИ
Пусть задана обучающая выборка прецедентов X = <x,y>, где x={xs},y={ys}, x={x.}, xs={xs.}, s = 1, 2, ..., S, j = 1, 2, ..., N. ' '
Тогда задача структурно-параметрического синтеза РБНС заключается в том, чтобы получить </(), w>: у* = F(w, Xs),/(F(), w, <x, y>) ^ opt.
Здесь <F(), w> - диагностическая модель на основе
РБНС, которая задается кортежем <M,{Nn}, { y (n,i)( x (п,г))}> и описывается функционально формулами:
yf = y(M,0(y(M-1,0(...y(1, V))), /ю ^(рОгО),
1 = 1, 2, ...,Nn-1; w(^ = {w^0}, w = {w(n,°} = {w(jT|,')},
y(0,j) =ч/°,Л = Xs, N0 = N, XU)= Xs, i = 1,2, ...,Nn-1, n = 1, 2, ...,M, j = 1,2, ...,N;
ys = {/,}, ys*= y(M,i)(xs), i = 1, 2, ..., NM.
Для задач классификации: y e {q}, q = 1, 2, ..., K, K>1.
В простейшем случае / определяют: / = E, где
1 S
E = -2 2(ys-^(M,i)(Xs))2 ^ mm.
2 s =1
2 ЛИТЕРАТУРНЫЙ ОБЗОР
Известные методы построения РБНС [8, 10-12] можно разделить на две группы.
Методы первой группы предполагают, что число нейронов РБНС в первом слое задается пользователем, а число нейронов во втором слое определяется размерностью выхода сети. После чего РБНС рассматривается как частный случай многослойной нейронной сети прямого распространения сигнала (многослойного персеп-трона), которую обучают с помощью градиентных методов многомерной нелинейной безусловной оптими-
зации [8, 12], а частные производные целевой функции определяют на основе техники обратного распространения ошибки [8, 10, 11]. При этом существует неопределенность выбора числа нейронов в первом слое, что может привести к получению избыточной сети или, наоборот, к невозможности построения модели, обладающей требуемой точностью. Другим недостатком данных методов является неопределенность выбора начальных значений весов сети, что может привести к невозможности решить задачу обучения РБНС за ограниченное время.
Методы второй группы предполагают, в структуру РБНС отображается обучающая выборка. Это, как правило, реализуется простым запоминанием всей выборки, либо на основе кластер-анализа, в результате которого определяется число и координаты центры кластеров, которые заносятся в память РБНС. Число нейронов в первом слое РБНС задают равным числу кластеров, а в веса нейронов первого слоя заносят координаты центров кластеров. Далее РБНС обучают, корректируя веса нейронов второго слоя на основе методов многомерной нелинейной безусловной оптимизации [8, 12]. Если сеть получают путем отображения выборки, то она, как правило, не обеспечивает обобщение. Если же используют кластер-анализ, то качество полученной нейромо-дели существенно зависит от качества результатов кластер-анализа, сеть может оказаться избыточной и проявлять низкие обобщающие свойства из-за чрезмерной детализации разбиения признакового пространства.
Поэтому необходимо разработать метод структурно-параметрического синтеза РБНС, обеспечивающего сокращение вовлечения человека в процесс построения нейромодели, а также гарантирующего поддержку обобщающих свойств модели.
3 МАТЕРИАЛЫ И МЕТОДЫ
Прямое отображение выборки в структуру РБНС не обеспечивает обобщающих свойств. Для того, чтобы нейросетевая модель обладала обобщающими свойствами необходимо, чтобы число ее параметров (весов) Ы было меньше размерности обучающей выборки ЫБ.
Число весов в радиально-базисной сети определяется числом кластеров 2, на которые разбивается обучающая выборка <х, у>, числом признаков N и числом классов К
и рассчитывается по формуле: Nw = (N +1)2 + (< + 1)К.
Здесь первое слагаемое определяет число параметров нейронов первого слоя РБНС, каждый из которых в весах хранит координаты центра соответствующего кластера, а второе слагаемое определяет параметры связей между нейронами первого и второго слоя.
Исходя из этого выражения, определим 2 при заданных Ы, К и Б:
(N +1)2 + (Q + 1)K < NS ^ Q
NS - K N + K +1
В то же время, очевидно, что число кластеров 2 должно быть не меньше, чем число классов К. Тогда получим диапазон допустимых значений числа кластеров:
K < Q <
NS - K N + K +1
<
Для того, чтобы обеспечить высокие обобщающие свойства нейромодели, необходимо в процессе ее построения стремиться минимизировать число используемых кластеров и контролировать соблюдение приведенного выше условия при добавлении новых эталонов.
С другой стороны, многие известные методы кластер-анализа являются высоко итеративными и требуют расчета расстояний между всем экземплярами выборки, а затем перебора большого числа различных вариантов разбиений выборки, что приводит к большим затратам времени на обучение, а также может требовать начального задания числа кластеров пользователем. Для устранения данного недостатка предлагается вначале формировать по одному эталону класса (предполагая классы компактными и состоящими из одного кластера), которые при необходимости дополнять новыми эталонами, формируемыми на основе ошибочно распознанных экземпляров. Это позволит сразу найти грубое решение задачи, не выполняя расчета расстояний между всеми экземплярами выборки, а далее оперировать расстояниями от экземпляров до эталонов кластеров, что позволит сократить время расчетов.
На основе полученных координат эталонов предлагается в автоматическом режиме синтезировать РБНС, которую затем для повышения обобщающих свойств и интерпретабельности предлагается отконтрастировать, удалив малозначимые связи между нейронами.
На основе данных идей формально изложим метод синтеза РБНС.
Этап 1. Инициализация. Задать допустимый порог ошибки в, 0 < в<<1, а также обучающую выборку прецедентов <х,у>. Определить х.™1, хтак ,.=1, 2,..., N. Положить Q=K. Сформировать Q эталонов классов, координаты центров которых определяются по формуле:
С1 = ~ Е{ IУ = )},)=1,2,...,К;j=1,2,...,N.
SqJ=1
Этап 2. Контроль числа кластеров. Если
Q -1 <
NS - K
т.е. имеется возможность добавить
N + К +1_
еще один кластер при сохранении обобщающих свойств, тогда перейти к этапу 3, в противном случае - к этапу 4.
Этап 3. Выделение конфликтного набора экземпляров. Относительно имеющегося множества эталонов С={С)}, С7 = {С)}, для экземпляров выборки определить расстояния до эталонов:
R( x*, Cq) = R(Cq, x*) =
N
X(x* - Cq) , *=1,2, ...,S; J=1
q=i, 2,...,Q.
Определить расчетный номер класса для каждого экземпляра относительно сформированного множества эталонов:
У*расч. = arg min {R( x*, Cq)}.
q=1,2,...,Q
Все экземпляры, для которых у ^ урасч., выделить в конфликтный набор:
£
X' = и{< х', у' >1 у' * урасч.}.
'=1
Для экземпляров конфликтного набора определить общее число экземпляров 5, а также число экземпляров в )-м классе 54
Этап 4. Расширение набора эталонов. Если достигнута требуемая точность (£'/£< в), тогда перейти к этапу 5, в противном случае - положить Q=Q+1 и сформировать новый эталон для наиболее частотного класса в конфликтном наборе:
5"
CQ = XX {iy* = q}
s j=1
после чего перейти к этапу 2.
Этап 5. Определить значение коэффициента, регулирующего величину каждого кластера:
ßq =■
Sq
max
q=1,2,..,Q; p=q+1,...Q
, q=1,2,...,Q.
XX (q - Cp J
j=1
Этап 6. Синтез структуры РБНС. Задать на первом (скрытом) слое РБНС Q нейронов, использующих в качестве весовых (постсинаптических функций) функции расстояния
(1,0, (1,0 (1,0\ (1,0
N
X
J=1
(1,0 (1,0\2 X (xJ wJ )
(1,0
где Wo - параметр, регулирующий ширину радиаль-но-базисной функции 1-го нейрона первого слоя, а в качестве активационных функций - функции Гаусса:
у (1,г)(ф(1,г)) = ехр(-ф(1,г)).
На втором (выходном) слое РБНС задать число нейронов, равное размерности выходного вектора. Определить в качестве весовых функций нейронов второго слоя сети взвешенные суммы
ф(2,0( x(2,0, w(2,0) =X J=1
Nm
(2,0 (2,0 . (2,0 wj' xj ' ' + W0 ' ''
где ^01,г) - порог, а в качестве активационных функций -
(2,0/ (2,0(2,0 линейные функции: у (ф ) = ф .
Этап 6. Настройка параметров РБНС. Занести в .-й вес )-го нейрона первого слоя РБНС значение .-й координаты центра ) - го кластера: = С),. = 1, 2, ..., N, )=1, 2, ..., Q. Занести в нулевые веса нейронов первого слоя параметры, регулирующие
ширину кластеров: м^17 = в), )=1, 2, ..., Q■
Определить значения весов нейронов второго слоя РБНС путем решения системы линейных алгебраических уравнений вида у, = У(1,г) (ф(1,г)(х))^(2), где
у. = ({у*})т - вектор выходных значений, м>(2'1) - вектор
весов 1-го выходного нейрона [9], либо на основе обратного распространения ошибки [8, 10, 11].
Этап 7. Оптимизация (контрастирование) РБНС. Выполнить распознавание обучающей выборки с помощью построенной РБНС и определить ошибку сети Е. До тех пор, пока ошибка является приемлемой (Е< е) выполнять последовательно в цикле контрастирование весов второго слоя сети: среди весов второго слоя определить вес с наименьшим абсолютным значением, неравным нулю, положить его равным нулю, выполнить распознавание обучающей выборки, оценить ошибку распознавания Е. В результате выполнения этих действий часть весов будет обнулена, т.е. можно считать, что будут уда -лены соответствующие связи, что позволит повысить интерпретабельность полученной модели, а также ее уровень обобщения по отношению к исходным данным и дообучение.
Предложенный метод позволяет автоматизировать процесс синтеза РБНС, сокращая зависимость от пользователя, а также обеспечивает поддержание приемлемых обобщающих свойств сети при приемлемой точности.
4 ЭКСПЕРИМЕНТЫ
Для проверки работоспособности и практической применимости предложенного метода он был программно реализован как дополнение к автоматизированной ситеме диагностирования [13].
Таблица 1 - Характеристики решавшихся задач
Задача Характеристики задачи
N S K
Диагностирование лопаток газотурбинных авиадвигателей по спектрам свободных затухающих колебаний после ударного возбуждения 100 32 2
Прогнозирование прочности лопаток газотурбинных авиадвигателей после упрочняющей обработки 16 57 2
Диагностирование хронического обструктивного бронхита 28 205 2
Разработанная программа использовалась для построения диагностических моделей в задачах технического и медицинского диагностирования [13]: диагностирование лопаток газотурбинных авиадвигателей по спектрам свободных затухающих колебаний после ударного возбуждения, прогнозирование прочности лопаток газотурбинных авиадвигателей после упрочняющей обработки, диагностирование хронического обструктивного бронхита. Характеристики решавшихся задач приведены в табл. 1.
5 РЕЗУЛЬТАТЫ
В табл. 2. приведены результаты, полученные в ходе вычислительных экспериментов.
Для оценивания обобщающих свойств полученных моделей в таблице использован показатель:
Fg =
NS
N - N
W w = i
w=0
Чем больше будет значение данного показателя, тем выше уровень обобщения сетью данных обучающей выборки, тем меньше и компактнее модель, тем она более интерпретабельная. 6 ОБСУЖДЕНИЕ
Как видно из табл. 1, предложенный метод характеризуется меньшими затратами времени на построение РБНС по сравнению с использованием четкого переборного кластерного анализа и по сравнению с отображением выборки в кластеры. При этом предложенный метод обеспечивает в среднем более высокую точность моделей и существенно более высокий уровень обобщения по сравнению с известными методами.
Более высокий уровень обобщения моделей, синтезированных на основе предложенного метода, обеспечивается тем, что кроме обобщения данных эталонами в процессе кластер-анализа, после синтеза сети ее веса контрастируются, а структура сети оптимизируется путем удаления малозначимых связей между нейронами. Это позволяет упростить сеть, снизив ее структурную и параметрическую сложность, а также повысить интер-претабельность нейромодели. ВЫВОДЫ
В работе решена актуальная проблема автоматизации синтеза РБНС на основе набора прецедентов для принятия решений в диагностировании.
Научная новизна работы состоит в том, что впервые предложен метод синтеза РБНС, который, в отличие от
Таблица 2 - Характеристики методов синтеза РБНС
Задача Методы синтеза РБНС
Прямое отображение выборки в кластеры, обратное распространение ошибки Кластер-анализ, обратное распространение ошибки Предложенный метод
¿об., С E Fg ¿об., с E Fg ¿об., с E Fg
Диагностирование лопаток 1,3 0,9810-6 3,48 4,9 0,94-10-6 4,05 3,73 0,92-10-6 4,63
Прогнозирование прочности лопаток 0,8 0.9610-6 3,37 3,1 0,89-10-6 3,62 2,95 0,8310-6 4,21
Диагностирование бронхита 1,6 0,91-10-6 4,07 6,2 0,93-10-6 5,15 4,96 0,94-10-6 6,88
известных методов, не требует задания пользователем числа кластеров, не имеет неопределенности выбора числа нейронов в первом слое и выбора начальных значений весов сети, стремится минимизировать размер сети, характеризуется приемлемым временем обучения, благодаря использованию процедуры оптимизации сети позволяет получать безызбыточные контрастные, интер-претабельные нейромодели.
Практическая значимость результатов работы заключается в том, что разработано программное обеспечение, реализующее предложенный метод, а также проведены эксперименты, подтвердившие работоспособность разработанного математического обеспечения и позволяющие рекомендовать его для использования на практике при решении задач построения диагностических моделей по прецедентам для автоматизации принятия решений в технической и биомедицинской диагностики.
Перспективы дальнейших исследований состоят в исследовании предложенного математического обеспечения на более широком наборе практических задач диагностики и распознавания образов.
БЛАГОДАРНОСТИ
Работа выполнена в рамках в рамках госбюджетных научно-исследовательских тем Запорожского национального технического университета «Интеллектуальные информационные технологии диагностирования и автоматической классификации» и «Интеллектуальные методы диагностирования систем управления удаленными техническими объектами» при поддержке международного проекта «Centers of Excellence for young RESearchers» программы «Темпус» Европейской Комиссии (J№ 544137-TEMPUS- 1-2013-1-SK-TEMPUS - JPHE S).
СПИСОК ЛИТЕРАТУРЫ
1. Intelligent fault diagnosis and prognosis for engineering systems / [G. Vachtsevanos, F. Lewis, M. Roemer et al.]. - New Jersey: John Wiley & Sons, 2006. - 434 р.
2. Price C. Computer based diagnostic systems / C. Price. - London: Springer, 1999. - 136 p.
3. Дли М. И. Нечеткая логика и искусственные нейронные сети / М. И. Дли. - М. : Физматлит, 2003. - 225 с.
4. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутков-ский ; пер. с польск. И. Д. Рудинского. - М. : Горячая линия -Телеком, 2004. - 452 с.
5. Rao V. B. C++ neural networks and fuzzy logic / V. B. Rao. - Foster
City : M&T Books, 1995. - 549 p.
6. Bishop C. Neural networks for pattern recognition / C. Bishop. -New York : Oxford University Press, 1995. - 482 p.
7. Круглов В. В. Искуственные нейронные сети. Теория и практика / В. В. Круглов, В. В. Борисов. - М. : Горячая линия -Телеком, 2001. - 382 с.
8. Осовский С. Нейронные сети для обработки информации / С. Осовский. - М. : Финансы и статистика, 2004. - 344 с.
9. Руденко О. Г. Штучш нейронш мережта / О. Г. Руденко, е. В. Бодянський. - Харгав : Компашя СМ1Т, 2006. - 404 с.
10. Хайкин С. Нейронные сети: полный курс / С. Хайкин. - СПб : Вильямс, 2005. - 1104 с.
11. Субботш С. О. Нейронш мережта : навч. поаб. / С. О. Субботш, А. О. Олшник; за ред. С. О. Субботша. - Запорiжжя : ЗНТУ 2014. - 132 с.
12. Олшник А. О. 1нтелектуальний аналiз даних : навчальний по-абник / А. О. Олшник, С. О. Субботш, О. О. Олшник. - Запо-ртжжя : ЗНТУ 2012. - 278 с.
13. Интеллектуальные информационные технологии проектирования автоматизированных систем диагностирования и распознавания образов : монография / [С. А. Субботин, Ан. А. Олейник, Е. А. Гофман и др.] ; под ред. С. А. Субботина. - Харьков : ООО «Компания Смит», 2012. - 317 с.
Статья поступила в редакцию 21.01.2016.
Субботш С. О.
Д-р техн. наук, професор, професор кафедри програмних засобiв Запорiзького нацюнального техшчного ушверситету, Запорiж-жя, Украша
МЕТОД СИНТЕЗУ Д1АГНОСТИЧНИХ МОДЕЛЕЙ НА ОСНОВ1 РАД1АЛЬНО-БАЗИСНИХ НЕЙРОННИХ МЕРЕЖ З П1ДТРИМКОЮ УЗАГАЛЬНЮВАЛЬНИХ ВЛАСТИВОСТЕЙ
У робот виршено актуальну проблему автоматизацп синтезу радiально-базисних нейронних мереж на основi набору прецедешгв для прийняття ршень у дiагностуваннi. Запропоновано метод синтезу радiально-базисних нейронних мереж, що формуе на початку по одному еталону класу, яга за необхщност доповнюе новими еталонами, формованими на основi помилково розшзнаних екземплярiв, а далi оперуе вщстанями вщ екземплярiв до еталошв кластерiв. На основi отриманих координат еталошв далi в автоматичному режимi синтезуеться структура i налаштовуються параметри мереж^ яга додатково для шдвищення узагальнювальних властивостей та штерп-ретабельност шддаеться контрастуванню. Запропонований метод не вимагае задавання користувачем числа кластерiв, не мае невизна-ченост вибору галькост нейрошв у першому шарi та вибору початкових значень ваг мереж^ прагне мiнiмiзувати розмiр мереж^ характеризуеться прийнятним часом навчання, завдяки використанню процедури оптимiзацii мережi дозволяе одержувати безнадлиш-ковi контрастш, штерпретабельш нейромоделг Розроблено програмне забезпечення, яке реалiзуе запропонований метод, а також проведет експерименти, що шдтвердили працездатшсть розробленого математичного забезпечення i дозволяють рекомендувати його для використання на практищ при виршенш задач побудови дiагностичних моделей за прецедентами для автоматизацп прийняття ршень у техшчнш i бiомедичнiй дiагностицi.
Ключовi слова: нейронна мережа, радiально-базисна мережа, навчання, синтез, дiагностика.
Subbotin S. A.
Dr.Sc., Professor, Professor of department of software tools, Zaporizhzhya National Technical University, Zaporizhzhya, Ukraine
THE METHOD OF DIAGNOSTIC MODEL SYNTHESIS BASED ON RADIAL BASIS NEURAL NETWORKS WITH THE SUPPORT OF GENERALIZATION PROPERTIES
Urgent problemof automation of radial basis neural network synthesis based on a set of precedents for decision-making in the diagnosis is solved in the paper. The method for the synthesis of radial basis neural network is proposed. It forms at the beginning one class pattern, which, if necessary, supplemented with new patterns formed on the basis of wrongly recognized instances, and then operates with the distance from the instances to the patterns of the clusters. On the basis of the obtained pattern coordinates it further automatically synthesize structure and
adjust the weights of the network, which is further optimized to improve the generalizing and interpretability properties by weights contrasting. The proposed method does not require the user specify the number of clusters, has no uncertainty in selection the number of neurons in the first layer and in the choice of the initial values of the network weights, seeks to minimize the size of the network, and characterized by an acceptable time of learning through the use of network optimization procedure allows to obtain nonredundant, contrast, and interpretable neural models. The software implementing proposed method has been developed. The experiments confirming efficiency of developed software have been conducted. They allow to recommend the proposed method for use in practice in solving the problems of diagnostic model constructing by precedents to automate the decision-making in technical and biomedical diagnostics.
Keywords: neural network, radial base network, training, synthesis, diagnostics.
REFERENCES
1. Vachtsevanos G., Lewis F., Roemer M. et al Intelligent fault diagnosis and prognosis for engineering systems. New Jersey, John Wiley & Sons, 2006, 434 p.
2. Price C. Computer based diagnostic systems. London, Springer, 1999, 136 p.
3. Dli M. I. Nechotkaya logika i iskusstvennyye neyronnyye seti. Moscow, Fizmatlit, 2003, 225 p.
4. Rutkovskaya D., Pilin'skiy M., Rutkovskiy L.; per. s pol'sk. I. D. Rudinskogo Neyronnyye seti, geneticheskiye algoritmy i nechotkiye sistemy. Moscow, Goryachaya liniya, Telekom, 2004, 452 p.
5. Rao V. B. C++ neural networks and fuzzy logic. Foster City: M&T Books, 1995, 549 p.
6. Bishop C. Neural networks for pattern recognition. New York, Oxford University Press, 1995, 482 p.
7. Kruglov V. V., Borisov V. V. Iskusstvennyye neyronnyye seti. Teoriya i praktika. Moscow, Goryachaya liniya, Telekom, 2001, 382 p.
8. Osovskiy S. Neyronnyye seti dlya obrabotki informatsii. Moscow, Finansy i statistika, 2004, 344 p.
9. Rudenko O. H., Bodyanskyy YE. V. Shtuchni neyronni merezhi. Kharkiv, Kompaniya SMIT, 2006, 404 p.
10. Khaykin S. Neyronnyye seti: polnyy kurs. Sankt-Peterburg, Vil'yams, 2005, 1104 p.
11. Subbotin S. O., Oliynyk A. O.; za red. S. O. Subbotina. Neyronni merezhi : navch. posib. Zaporizhzhya, ZNTU, 2014, 132 p.
12. Oliynyk A. O., Subbotin S. O., Oliynyk O. O. Intelektualnyy analiz danykh : navchal'nyy posibnyk. Zaporizhzhya, ZNTU, 2012, 278 p.
13. Subbotin S. A., Oleynik An. A., Gofman Ye. A. i dr. pod red. S. A. Subbotina Intellektual'nyye informatsionnyye tekhnologii proyektirovaniya avtomatizirovannykh sistem diagnostirovaniya i raspoznavaniya obrazov : monografiya. Khar'kov, OOO «Kompaniya Smit», 2012, 317 p.
