Адаптивная нейро-фаззи сеть Кохонена Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.032.26 Колчигин Б. В.1, Волкова В. В.2, Бодянский Е. В.3

1 Аспирант Харьковского национального университета радиоэлектроники 2Канд. техн. наук, ассистент Харьковского национального университета радиоэлектроники 3Д-р техн. наук, профессор Харьковского национального университета радиоэлектроники

АДАПТИВНАЯ НЕЙРО-ФАЗЗИ СЕТЬ КОХОНЕНА

В статье предложен рекуррентный алгоритм обучения составной кластеризирующей нейро-фаззи сети Кохонена, являющейся обобщением ШТЛ и ШТМ принципов обучения и алогоритмов Кашьяпа - Блейдона и Цыпкина, а также объединяющий в себе возможностный и вероятностный подходы к кластеризации.

Ключевые слова: алгоритм самообучения, кластеризация, нейро-фаззи сеть, самоорга-

низующаяся карта Кохонена.

ВВЕДЕНИЕ

Задача кластеризации (классификации без учителя) достаточно часто встречается во многих приложениях, связанных с интеллектуальным анализом данных. Традиционный подход к решению этих задач предполагает, что каждое наблюдение может относиться только к одному кластеру, хотя более естественной представляется ситуация, когда обрабатываемый вектор признаков с разными уровнями принадлежности (вероятности, возможности) может принадлежать сразу нескольким классам. Данная ситуация является предметом рассмотрения нечеткого (фаззи) кластерного анализа, интенсивно развивающегося в двух направлениях: вероятностном [1-5] и возможностностном [6, 7] подходах. Большинство алгоритмов нечеткой кластеризации предназначено для работы в пакетном режиме, когда весь массив данных, подлежащих обработке, задан априорно. В то же время существует широкий класс задач, когда данные поступают на обработку последовательно, в on-line режиме. Алгоритмов, предназначенных для решения этих задач, известно сравнительно немного [8-10], при этом они реализуют вероятностный подход на основе рекуррентной оптимизации принятой нечеткой целевой функции [1].

Для последовательной обработки данных при решении задачи кластеризации наилучшим образом приспособлены искусственные нейронные сети Кохо -нена [11], имеющие однослойную архитектуру с латеральными связями и обучаемые на основе принципов «победитель получает все» (WTA) или «победитель получает больше» (WTM). Данные сети продемонстрировали свою эффективность при решении многих задач с непересекающимися кластерами. Необходимость решения задач кластеризации в последовательном режиме обработки в условиях пересека-

© Колчигин Б. В., Волкова В. В., Бодянский Е. В., 2011

ющихся классов привела к появлению самообучающихся гибридных нейро-фаззи систем, являющихся обобщением нейронной сети Кохонена и обладающих, благодаря использованию специальных алгоритмов настройки своих семантических весов, более широкими функциональными возможностями. Так, в [12, 13] была введена модификация сети Кохонена, основанная на нечетких правилах. Данная сеть показала свою эффективность в ряде задач, связанных с распознаванием образов, однако численная громоздкость затрудняет ее использование в on-line режиме. В [14] была предложена сеть Кохонена с нечетким выводом, обучаемая на основе комбинации правил Кохонена и Гроссберга. Основным недостатком этой конструкции является зависимость получаемых результатов от выбора свободных параметров процедуры обучения. В [15] была предложена, а в [16] развита, так называемая нечеткая кластеризующая сеть Кохонена (FKCN), основанная на алгоритме нечетких с-средних (FCM) Бездека [1], который может быть записан и в рекуррентной форме. Лежащий в ее основе вероятностный подход к задаче кластеризации имеет принципиальные недостатки, ограничивающие ее использование в задачах с неизвестным заранее количеством кластеров.

В данной работе мы вводим новую двухслойную адаптивную нечеткую кластеризующую сеть Кохоне-на (AFKCN), являющуюся адаптивной модификацией FKCN [15] и дальнейшим развитием конструкции, рассмотренной в [17], а также рекуррентные алгоритмы ее обучения, являющиеся обобщением правил Кохонена (WTA и WTM) и предназначенные для решения задачи в режиме последовательной обработки данных на основе как вероятностного, так и возможностного подходов.

1. АРХИТЕКТУРА АДАПТИВНОЙ НЕЧЕТКОЙ КЛАСТЕРИЗУЮЩЕЙ СЕТИ КОХОНЕНА

Архитектура предлагаемой нейро-фаззи сети приведена на рис. І и содержит два слоя: слой Кохонена, в котором определяются прототипы (центроиды) кластеров, и слой вычисления принадлежностей.

Входные векторы-образы x(k) = (хІ(k), x2(k), xn(k))T (здесь k = І, 2,..., N, ... имеет смысл или номера образа в обучающей выборке или текущего дискретного времени) с рецепторного (нулевого) слоя последовательно подаются на нейроны слоя Кохонена NJk , настраиваемые синаптические веса которого cji(k), j = І, 2,..., m; i = І, 2, ..., n определяют центроиды m пересекающихся кластеров cj(k) = = (c^(k), ..., cji(k), ..., cjn(k))T. В выходном слое, образованном нейронами NjM, вычисляются уровни принадлежности u(k) = (uІ(k), u2(k), ..., un(k))T текущего вектора x(k) к j-му кластеру. По латеральным связям слоя Кохонена (показаны пунктиром) реализуются процессы конкуренции и кооперации, лежащие в основе WTM и WTA принципов.

2. АДАПТИВНЫЙ РЕКУРРЕНТНЫЙ АЛГОРИТМ ОБУЧЕНИЯ НЕЧЕТКОЙ КЛАСТЕРИЗАЦИИ

В классе процедур нечеткой кластеризации наиболее строгими с математической точки зрения являются алгоритмы, основанные на целевых функциях [І] и решающие задачу их оптимизации при тех или иных априорных предположениях. Наиболее распространенным здесь является вероятностный под-

ход, основанный на минимизации критерия (целевой функции)

Nm

E(Ъ cj) = I I jx(k) - cjI

k = І j =І

при ограничениях

I uj( k) = ^

j = І

0 <

I uk(k) < N,

(І)

(2)

(З)

где и-(к)є [ 0, 1 ], в - неотрицательный параметр фаззикации (фаззификатор), определяющий размытость границ между кластерами, к = 1, 2, N. Ре-

зультатом кластеризации является (N х т )-матрица и = {и-( к)}, называемая матрицей нечеткого разбиения.

Заметим, что поскольку элементы матрицы и могут рассматриваться как вероятности гипотез принадлежности векторов данных определенным кластерам, то процедуры, порождаемые минимизацией (1) при ограничениях (2), (3), называются вероятностными алгоритмами нечеткой кластеризации.

Вводя функцию Лагранжа

Ь(и-(к), ер Х(к)) =

N т

= ЕЕ ив( к )11х (к) - — 2 +

к = 1- =1

N ( т

+ Е Ч к )1 Ё и (к) -1

к=1 V-=1

Рис. 1. Адаптивная нечеткая кластеризующая сеть Кохонена

2

k = І

(здесь Х(к) - неопределенный множитель Лагранжа) и решая систему уравнений Каруша - Куна - Такке-ра, несложно получить искомое решение в виде

uj( k) =

(I|x(k) - c,||2)1-P

I;=101 x(k) - c\\2)1-P

_ IN=1 uf(k)x(k)

(4)

E..1 u, (

Цk) ■ -l I I Pllx(k) - c,|

совпадающее при P = 2 с алгоритмом нечетких C-средних Бездека:

( k), —Ix'ii-fJ

и x (k) - cj -

IN= 1 u}( k) x (k)

(З)

I*=1 uj2 (k)

Использование процедур (4), (5) подразумевает, что вся выборка, подлежащая кластеризации и содержащая N наблюдений, задана заранее и не может изменяться в процессе обработки.

Для последовательной обработки данных, поступающих в on-line режиме, в [18-20] был использован рекуррентный алгоритм, в основе которого лежит процедура нелинейного программирования Эрроу -Гурвица - Удзавы:

uj( k + 1) =

\|x(fc+ І)-^)!)1-!-

Im=10lx(k +1) - c(k)||) ^ (6)

cj(k +1) = cj(k) + n(k)uf(k + 1)(x(k +1) - cj(k)),

являющийся обобщением алгоритма обучения Чанга - Ли [9, 10] и совпадающий при в = 2 с градиентной процедурой кластеризации Парка - Дэггера [8]

uj( k + 1) =

(|x(k\\+ 1)-C;(k)\\)-2 Im=iі\\xіk■ + 1)-C/(fc)|)“'

с}(к +1) = с}(к) + п(к)и}2(к +1)(х(к +1) - с}(к)).

Рассматривая соотношения (6) с позиций обучения нейросети Кохонена, можно заметить, что множитель ив(к +1) во втором выражении соответствует функции соседства в правиле обучения на основе WTM-принципа.

Несложно видеть, что при в =1 и и}(к)е {0, 1} процедура (6) совпадает с четким алгоритмом С-средних (НСМ), а при в = 0 получаем стандартное WTA-правило обучения Кохонена [11]

С( к + 1) = с( к) + п( к)( х (к + 1) - с( к)), (7)

первоначально введенное Кашьяпом - Блейдоном [21] в шестидесятых годах прошлого века. Правило (7), как можно заметить, оптимизирует целевую функцию

N т

Е(с) = £ IX(к) - с}2, £ N = N,

к =1 }=1

прямая минимизация которой ведет к обычной оценке среднего арифметического

І

CJ(k) = NIx (k)

(S)

Jk = 1

где N - число векторов х(к), отнесенных к --му кластеру в процессе конкуренции. Переписывая (8) в рекуррентной форме, приходим к оптимальному алгоритму самообучения Цыпкина [22]

1 N

с-(к +1) = с-(к) + щк+1) Е (х(к +:) - с-(к)),

(здесь Nj( к + 1) - число векторов х (к), отнесенных к --му кластеру на (к + 1)-й итерации алгоритма), являющемуся процедурой стохастической аппроксимации в чистом виде.

Таким образом, алгоритм (6) может рассматриваться в качестве правила обучения нейро-фаззи-се-ти, приведенной на рис. 1, объединяющего в себе вероятностную нечеткую кластеризацию, правила самообучения Кохонена, алгоритмы Кашьяпа - Блей-дона и Цыпкина.

Основные недостатки вероятностного подхода связаны с ограничением (2), требующим равенства единице суммы принадлежностей конкретного вектора-образа всем кластерам. В простейшем случае двух кластеров и двух образов вектор, равноправно принадлежащий обоим классам, и вектор, не принадлежащий ни одному из них, но лежащий на равном расстоянии от обоих центроидов, имеют одинаковые уровни принадлежности, равные 0,5. Естественно, что данное обстоятельство, требующее точного априорного знания числа кластеров т и ухудшающее точность получаемых результатов, привело к появлению возможностного подхода к нечеткой кластеризации [6, 7].

N

2

cj=

В возможностных алгоритмах кластеризации целевая функция имеет вид

N т

Е(и, С}) = ££ ив(к)||х(к) - /2 +

к = 1/ =1 т N

+ £ ц £(1- и( к ))в, (9)

/=1 к=1

где скалярный параметр ц > 0 определяет расстояние, на котором уровень принадлежности принимает значение 0,5, т. е. если

1|х (к) - /2 = ц,

то и (к) = 0,5.

Прямая оптимизация (9) по и, с/ дает очевидное решение

Ц/ =

1|2\_Л_\-1

'О.

Ц/

_ ЕN=l и/(к)х(к) Е^г= і / к ^х (к) - сс/

(10)

ЕГ-1 и/(к)

при в = 2 принимающее вид

и/ (к) =

ц, +1 Iх (к) - 4

= ЕІ-Л^Мк)

ЕN__"U-2(k)\\x(k)-c-"

£N=1^

(11)

Интересно заметить, что выражения, описывающие центроиды, в (4) и (10) и в (5) и (11) совпадают, однако принадлежности вычисляются различными способами.

Если данные поступают на обработку последовательно, то вместо (10), (11) могут быть использованы рекуррентные алгоритмы [17-20] вида

и( к) =

1 + (ІІх(к) - ^Ц2) і-р

( Ц/( к) )

с,(к +1) = с,(к) + п(к)ир(к +1)(х(к +1) -с,(к)), Ек +_\ир(р)\\х(р) -с-(к + 1)||2

Ц/( к +1) = ^и-1

(12)

Ер +=1 и/(р)

ис( к) =

Ц/( к)

Ц/(к) + ||х(к + 1) - с,(к)||2’ с,(к +1) = с,(к) + п(к)ир(к +1)(х(к +1) -с,(к)),

_ ЕР+=1 иШ\х(Р) - с/(к +1 )||2

(13)

Ц/( к + 1) =

Ер +=1 и-2^)

Несложно заметить, что процедуры (12), (13) также по сути являются WTM-правилами обучения сети Кохонена, однако, что интересно, первое соотношение, задающее уровень принадлежности образа к кластеру, есть стандартная колоколообразная функция принадлежности с изменяющимся во времени параметром ширины.

Алгоритмы, построенные на основе возможнос-тного подхода, в отличие от вероятностных алгоритмов, позволяют в процессе обработки данных обнаруживать появление новых кластеров. Так, если уровень принадлежности наблюдения х(к + 1) ко всем кластерам окажется ниже некоторого наперед заданного порога, можно говорить о появлении (т +1 )-го кластера с начальными координатами центроида Ст +1 = X (к + 1 ) .

3. СОСТАВНАЯ АДАПТИВНАЯ НЕЧЕТКАЯ

КЛАСТЕРИЗУЮЩАЯ СЕТЬ КОХОНЕНА

(САЕКСК)

Поскольку заранее невозможно сказать, какой из подходов - вероятностный или возможностный - более предпочтителен при решении конкретной задачи, целесообразно их одновременное использование. Кроме того, решения, полученные с помощью вероятностных процедур, рекомендуется использовать в качестве начальных условий для возможностных алгоритмов [7, 23]. В связи с этим целесообразно параллельное использование обоих подходов в рамках составной адаптивной нечеткой кластеризующей сети Кохонена (САРКСМ), приведенной на рис. 2.

Рис. 2. Составная адаптивная нечеткая кластеризующая сеть Кохонена

и

2

Ц

Данная конструкция образована двумя параллельно включенными адаптивными нечеткими кластеризиру-ющими сетями Кохонена (АБКСМ), одна из которых обучается с помощью алгоритма (6), а другая - алгоритма (12). Индексы РЯ и Р8 обозначают возможнос-тную и вероятноятностную оценки соответственно.

Алгоритм обучения САРКСМ имеет вид

ср-( к +1) = Срр!1( к) + п( к)( ufR( к))в(х( к +1) - cfS( к)),

^„1 к +,, = и^1)-^1)!1-8

£^1 Х( к +1) - сГ’( к +1 )!'-•

с^(к +1) = ср-(к) + п(к)(ujpS(k))в(x(k +1) - ср-(к +1)),

1

ufS( k + 1) =

(\\x( k) - cPS(k +1)|^ t-^

1 + (

V ^j(k)

Ip +=1 (ufS(p))^\x(p) - cfS(k I^K^p)^

(14)

при этом при вычислении центроидов кластеров сети обмениваются между собой соответствующей информацией. Признаком правильного оценивания с помощью алгоритма (14) является выполнение неравенства

Il|cPR - cPSI2 <1

(ІЗ)

і = і

где £ определяет приемлемую точность кластеризации.

ВЫВОДЫ

В статье предлагается подход к обучению кластеризующей сети Кохонена в условиях пересекающихся кластеров на основе адаптивных процедур вероятностной и возможностной нечеткой кластеризации, являющихся обобщением WTA и WTM правил Кохо -нена, алгоритмов Кашьяпа - Блейдона и Цыпкина. Компьютерное моделирование демонстрирует эффективность развиваемого подхода для решения задач кластеризации данных в условиях неопределенности. Результаты могут быть использованы для решения задач интеллектуального анализа данных, ранней диагностики неисправностей, Web-Mining и т. п., когда размер выборки данных заранее неизвестен, а сами эти данные должны обрабатываться в реальном времени.

СПИСОК ЛИТЕРАТУРЫ

1. Bezdek, J. C. Pattern Recognition with Fuzzy Objective Function Algorithms / Bezdek J. C. - N. Y. : Plenum Press, 1981. - 272 p.

2. Gath, I. Unsupervised optimal fuzzy clustering / Gath I., Geva A. B. // Pattern Analysis and Machine Intelligence. -19S9. - 2. - 7. - P. 773-7S7.

3. Hdppner, F. Fuzzy-Clusteranalyse. / HoppnerF., KlawonnF., Kruse R. - Braunschweig : Vieweg, І997. -2S0 S.

4. Hdppner, F. Fuzzy Clustering Analysis: Methods for Classification, Data Analysis and Image Recognition. / HoppnerF., KlawonnF., Kruse R., RunklerT. - Chichester : John Willey & Sons, 1999. - 2S9 p.

З. Gan, G. Data Clustering: Theory, Algorithms and Applications / Gan G.; Ma Ch.; Wu J. - Philadelphia: SIAM, 2007. - 466 p.

6. Krishnapuram, R. A possibilistic approach to clustering / KrishnapuramR., Keller J. M. // Fuzzy Systems. - 1993. -1. - № 2. - P. 9S-110.

7. Krishnapuram, R. Fuzzy and possibilistic clustering methods for computer vision / KrishnapuramR., Keller J. M. // Neural Fuzzy Systems. - 1994. - 12. - P. 1ЗЗ-1З9.

5. Park, D. C. Gradient based fuzzy c-means (GBFCM) algorithm / ParkD. C., DagherI. // Proc. IEEE Int. Conf. on Neural Networks. - 19S4. - P. 1626-1631.

9. Chung, F. L. Fuzzy competitive learning / Chung F. L., Lee T. // Neural Networks. - 1994. - 7. - № 3. - P. ЗЗ9-ЗЗ2.

10. Chung, F.-L. Unsupervised fuzzy competitive learning with monotonically decreasing fuzziness / Chung F.-L., Lee T. // Proc. 1993 Int. Joint Conf. on Neural Networks. - 1993. -P. 2929-2932.

11. Kohonen, T. Self-Organizing Maps / Kohonen T. -Berlin : Springer-Verlag. - 199З. - 362 p.

12. Vuorimaa, P. Fuzzy self-organizing map / VuorimaaP. // Fuzzy Sets and Systems. - 1994. - 66. - P. 223-231.

13. Vuorimaa, P. Use of the fuzzy self-orginizing map in pattern self-recognition / VuorimaaP. // Proc. 3-rd IEEE Int. Conf. Fuzzy Systems «FUZZ-IEEE’94». - Orlando, USA, 1994. - P. 79S-S01.

14. Bodyanskiy, Ye. Combined learning algorithm for a self-orginizing map with fuzzy inference / Bodyanskiy Ye., Gorshkov Ye., Kolodyaznhiy V., Stephan A. // Computational intelligence, theory and applications: International Conference Sth Fuzzy Days in Dortmund, Germany, Sept. 29 - Oct. 01, 2004 ; proceedings / B. Reusch (Ed). - Berlin Heidelberg : Springer-Verlag, 200З. - P. 641-6З0. -(Advanced in Soft Computing ; Vol. 33).

1З. Gorshkov, Ye. New recursive learning algorithms for fuzzy Kohonen clustering network / Gorshkov Ye., Kolodyaznhiy V., Bodyanskiy Ye.// Proc. 17th Int. Workshop on Nonlinear Dynamics of Electronic Systems. -Rapperswil, Switzerland, 2009. - P. 58-61.

16. Pascual-Marqui, R. D. Smoothly distributed fuzzy c-me-ans: a new self-organizing map. / Pascual-Marqui R. D., Pascual Montano A. D., Kochi K., Carazo J. M. // Pattern Recognition. - 2001. - 34. - P. 2З9З-2402.

17. Tsao, E. C.-K. Fuzzy Kohonen clustering network / TsaoE. C.-K., Bezdek J. C., PalN. P. // Pattern Recognition. - 1994. - 27. - № З. - P. 7З7-764.

15. Бодянский, Е. В. Об адаптивном алгоритме нечеткой кластеризации данных / Бодянский Е. В., Горшков Е. В., Кокшенев И. В, Колодяжный В. В. // Адаптивні системи автоматичного управління. - Вип. З(2З). - Дніпропетровськ : Системні технології, 2002. - С. 10S-117.

19. Bodyanskiy, Ye. Recursive fuzzy clustering algorithms / Bodyanskiy Ye., Kolodyaznhiy V., Stephan A. // Proc. 10th East West Fuzzy Colloqium. - Zittau, Germany, 2002. -P. 276-2S3.

20. Bodyanskiy, Ye. Computational intelligence techniques for data analysis / Bodyanskiy Ye. // Lecture Notes in Informatics. - 200З. - Vol. P-72. - P. 1З-З6.

21. Kashyap, R. L. Estimation of probability density and distribution functions / Kashyap R. L., Blaydon C. C. // IEEE Trans. on Information Theory. - 196S. - 14. - № 4. -P. З49-ЗЗ6.

22. Цыпкин, Я. З. Основы теории обучающихся систем / ЦыпкинЯ. З. - Москва : Наука, 1970. - 2З2 с.

23. Klawonn, F. Constructing a fuzzy controller from data / KlawonnF., Kruse R. // Fuzy Sets and Systems. - 1997. -85. - P. 117-193.

Надійшла 21.10.2010

Колчигін Б. В., Волкова В. В., Бодянський Є. В.

АДАПТИВНА НЕЙРО-ФАЗЗІ МЕРЕЖА КОХОНЕНА

У роботі запропоновано рекурентний алгоритм навчання складової нейро-фаззі мережі Кохонена для кластери-зації. Запропонований алгоритм є узагальненням WTA, WTM принципів навчання та алгоритмів Кашьяпа-Блейдо-на та Ципкіна, а також об’ єднує в собі імовірнісний та можливісний методи навчання.

Ключові слова: алгоритм самонавчання, кластеризація, нейро-фаззі мережа, самоорганізована карта Кохонена.

Kolchygin B., Volkova V, Bodyanskiy Ye.

ADAPTIVE NEURO-FUZZY KOHONEN’S NETWORK

Recurrent learning algorithm for compartmental adaptive fuzzy Kohonen clustering network is proposed. The algorithm is generalization of WTA and WTM concepts and Kashyap-Blaydon and Tsypkin learning algorithms and also combines probabilistic and possibilistic clustering methods.

Key words: clustering, neuro-fuzzy network, self-learning algorithm, self-organizing Kohonen map.

УДК 004.93

Субботин С. А.

Канд. техн. наук, доцент Запорожского национального технического университета

ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ И АНАЛИЗ ВЗАИМОСВЯЗЕЙ ИНФОРМАЦИОННЫХ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ДИАГНОСТИЧЕСКИХ НЕЙРОМОДЕЛЕЙ

Экспериментально исследован комплекс информационных показателей качества диагностических нейромоделей при решении практических задач. Получены качественные зависимости между показателями, учет которых при формировании интегральных показателей качества позволяет существенно упростить вычисления путем исключения дублирующихся показателей.

Ключевые слова: качество, модель, техническая диагностика, нейронная сеть, нейро-не-четкая сеть.

ВВЕДЕНИЕ

Необходимость обеспечения высокого уровня качества выпускаемых и эксплуатируемых изделий обуславливает потребность в разработке систем неразрушающей диагностики и контроля качества, для построения которых, в свою очередь, необходимо обладать диагностической моделью [1].

Одними из наиболее перспективных средств разработки диагностических моделей являются искусственные нейронные [2] и нейро-нечеткие сети [3], обладающие способностями к индуктивному обучению на основе прецедентов. В настоящее время известно достаточно большое количество различных архитектур нейронных и нейро-нечетких сетей, а также методов их обучения [2, 3]. Кроме того, даже для сети с фиксированной архитектурой и методом обучения вследствие свойства вариативности получаемых моделей по одной и той же выборке прецедентов возможно получить множество различных моделей, обладающих приемлемым уровнем точности. Поэтому на практике при разработке систем технической диагностики в нейросетевом или нейро-не-

© Субботин С. А., 2011

четком базисе является актуальной задача выбора одной из множества возможных диагностических моделей, что требует разработки информационных показателей, характеризующих качество модели.

Цель данной работы заключается в создании и экспериментальном исследовании комплекса показателей качества нейромоделей для автоматизации их построения и анализа.

1. ПОСТАНОВКА ЗАДАЧИ ОЦЕНКИ

КАЧЕСТВА НЕЙРОМОДЕЛИ

Пусть задана обучающая выборка <x, у>, x = {x5}, Xs = {x5}, y = {y5}, s = 1, 2,..., S, j = 1, 2,..., N, где x5j - значение j-го входного признака s-го экземпляра Xs выборки, у5 - значение выходного признака, сопоставленное s-му экземпляру выборки, S - объем выборки, N - число признаков в выборке. На основе обучающей выборки <x, у> может быть получена нейромодель net(w, x), где w = {wjn-')}, {) - весо-

вой коэффициент, сопоставленный j-му входу /-го нейрона n-го слоя xjn-/), net ={<ф(п- /)(w(nx(n')), ■у(л, /)(w(n-О, x(rb /))>}, w(rb V = { wj^i)} , x(rb V = {x(n'i)} ,