CC BY
8
мы и технологии: Матер. Междунар. науч.-техн. конф,-Т. 3. Новосибирск: Изд-воНГТУ, 2000.-С. 499-502.
2. Леус В,А. Численный критерий близости текстов И Вычислительные системы.- Новосибирск, 1987.-Вып. 123. - С. 61-83
В. И. ПОТАПОВ И. В. ПОТАПОВ
Омский государственный технический университет
УДК 519.68
Избыточные адаптивные к отказам искусственные нейронные сети (ИНС), состоящие из многофункциональных логически гибких нейронов, являются, по своей сути, долго живущими системами обработки цифровой информации, которые с течением времени начинают "стареть". Формально эффект старения проявляется в том. что интенсивность отказов X искусственных нейронов (ИН) с течением времени начинает возрастать, то есть становится функцией времени ■ Расчет надежностных характеристик таких ИНС, например, вероятности безотказной работы и среднего времени "жизни" Т, становится достаточно сложной задачей, так как в этом случае поток отказов не является пуассоноеским. Задача еще более усложняется, если нейронная сеть является восстанавливаемой с интенсивностью восстановления также являющейся функцией времени.
В данной работе в качестве объекта исследования рассматривается многослойная многовыходная структурно однородная "стареющая" адаптивная ИНС [1] в предположении, что каждый основной и резервный элемент этой сети представляет собой не отдельно взятый искусственный нейрон, как это имело место в [1], а является мини-сетью, например двух рангов ой, логически стабильной в диапазоне {Т (/*,/)} и = 1,2,,,., т одновременного изменения порогов у нейронов мини сети [2,3]. Очевидно, что в такой адаптивной ИНС отказавшие мини сети после их замещения резервными могут восстанавливаться путем изменения порогов ИН сети в диапазоне логической стабильности с интенсивностью После восстановления отказавшие мини сети по мере надобности могут включаться в работу. Процесс восстановления любой мини-сети может быть многократным до тех лор, пока не будет исчерпан заложенный при синтезе запас ее логической стабильности.
В дальнейшем будем пользоваться понятиями и обозначениями, введенными в работах [1,4], и при необходи-
3. МазурМ. Качественная теория информации.-М : Мир, 1974.-240с.
ГУМЕНЮК Александр Степанович, кандидат техн. наук, доцент, кафедра ИВГ.
мости - дополнять их новыми определениями и обозначениями. При этом рассматриваемую адаптивную восстанавливаемую "стареющую" ИНС будем обозначать т.д).
Граф состояний описывающий поведение рассматриваемой нейронной системы, изображен на рис,1.
Изображенные на графе состояния Е, (0 < к < т +1) и интенсивности переходов А,(1<А<т) и В( (1 < к < т +1) имеют тот же смысл и значения, что и а;, в; в [4], а интенсивность перехода системы из состояния Е, в состояние Е4 |, обозначенная в ((1 <к< ш), то
есть интенсивность восстановления 5Д|,(л,т,5) при наличии в сети к отказов, определяется выражением М('), где - интенсивность восстановления
г -I
отказавших мини сетей в (-Й группе (1 < / < <:/).
Очевидно, что процесс восстановления в данный момент возможен только е одной /-Й группе, поэтому обозначим = £ М.
Е, = Е...,
Рис.1
ОПТИМИЗАЦИЯ ВОССТАНОВЛЕНИЯ ИЗБЫТОЧНОЙ "СТАРЕЮЩЕЙ" АДАПТИВНОЙ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ, СОСТОЯЩЕЙ ИЗ ЛОГИЧЕСКИ СТАБИЛЬНЫХ НЕЙРОННЫХ МИНИ-СЕТЕЙ
В ПРЕДПОЛОЖЕНИИ, ЧТО ИНТЕНСИВНОСТЬ ОТКАЗОВ НЕЙРОНОВ ЯВЛЯЕТСЯ ВОЗРАСТАЮЩЕЙ ФУНКЦИЕЙ ВРЕМЕНИ И ИНТЕНСИВНОСТЬ ВОССТАНОВЛЕНИЯ НЕЙРОННОЙ СЕТИ ПОСЛЕ ОТКАЗОВ ТАКЖЕ ЯВЛЯЕТСЯ ФУНКЦИЕЙ ВРЕМЕНИ, ДЛЯ ИЗБЫТОЧНЫХ "СТАРЕЮЩИХ" АДАПТИВНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ, СОСТОЯЩИХ ИЗ ЛОГИЧЕСКИ СТАБИЛЬНЫХ НЕЙРОННЫХ МИНИ-СЕТЕЙ. РЕШЕНА ЗАДАЧА ОПТИМИЗАЦИИ ВОССТАНОВЛЕНИЯ СЕТИ.
Тогда, опуская индекс « у и^, получим систему уравнений Колмогорова-Чепмена, соответствующую графу на рис.1, в следующем виде:
* = 1,2,...,т-1 (1)
р:Л)=1 в.л.о) 1-)
с начальными условиями
л(о)=1, р1(О)=Л(О)=-=Л..,(О)=О.
Приэтом £>, = А,. + В, (1<А<м), а£)„(1=В,н.
Теперь сформулируем задачу оптимального восстановления "стареющей* адаптивной ИНС
Для заданных функций Я (' )> 0 < I < и заданного вектора резервирования 5 = (^А.—.^,) определить интенсивности восстановления \ <1<д нейронных мини-сетей е группах, минимизирующих функционал
i/U-л.....я)=][£<ЖМ0л,
(2)
при условии, что вероятность безотказной работы восстанавливаемой нейронной системы
где
- время функционирования системы,
<3)
(4)
Р(0) = (1,0Д-,0). где матрица Д; имеет следующий вид:
(5)
! А
! о \ о
fj
АО
Д =:
1 о
-(Ц+Р) \
О О
о о о о
о о о о
-fo+Л (I
Таким образом, рассматриваемая задача свелась к необходимости найти в классе кусочной ел рерьшных неотрицательных управлений такое управление //(?). которое минимизирует функционал (2) при выполнении неравенства (3). , , /_ ч
При этом РЛЧ. а
_ й=0
Р(')=(аМ/>,(').-./>„(')) • Решение уравнения (4) с начальными условиями (5).
Аналитическое решение поставленной задачи невозможно, поэтому приведем ее к виду, удобному для реализации на ЭВМ.
Для этого уравнение (4) перепишем в виде
где Й - переменная матрица,
Н - постоянная матрица,
(8)
а»
О О
rf,0k -д(2)л, о
О d(2)X -Д(3)Л.
Н =
с (() - заданные не убывающие функции, моделирующие удельную стоимость восстановления мини сетей в /й группе,
р(/) - вероятность безотказной работы нейронной системы в течение времени 0<</<1.
Очевидно, что , где - вероятность
нахождения системы в состоянии Е,.
Функционал (2) выбран по аналогии с |5], исходя из соображений минимизации стоимости восстановления. Нейронная система 5ЛВ(«,т,5)кмоментувременидолжна быть работоспособной с вероятностью не ниже Ь при минимальной стоимости восстановления.
Теперь рассматриваемую задачу можно сформулировать в терминах теории оптимального управления.
Будем считать вектор Р = (рь, р^,..., рт) фазовым вектором, а ¿и(/)=(^,((),(ф),...,рДг)) - векторным управлением. Тогда уравнение управляемой системы, которой является восстанавливаемая нейронная сеть можно записать а виде, _
Р'(0=^ Р)р(0
с начальными условиями
О О
Выражения
О О
О 1
О -1
о о
о о
0 о
1 о -I 1
о о
о о
для
-дНл о
d(m) Я, -Д{т + 1)Д,
О о о о о о
-1 1 О -I
Д(А), l<Jfc <m + I даны е [4].
Воспользуемся методом дискретизации для получения приближенного решения уравнения (6).
Для этого выберем интервал дискретизации Д ( = tf!v при условии, что минимальное натуральное число i>, удовлетворяет следующим требованиям: v> 2.
шах { max шах max от q l<r<v (е Д, max max max |c(/)-cJ }<£,
\<i<q l<r<v iei,
где
e - заданное положительное число, определяющее наибольшее допустимое отклонение функций Л (/)и с.(<) от констант Л.г и с.г соответственно на интервале Дг для всех/ и 1 <r £ V- Интервал Д, = {' e['r_,,ij}. при этом tr = г-At (О < г < v). Ясно, что = 0,
На интервале Д,. заменим функции Я (f), с (f) и // (f) приближенными значениями, рассчитанными по формулам
С учетом сделанных преобразований система (б) разобьется на v систем (^постоянными коэффициентами
р,=аР'+А'нрГ1 ^
1 < г < V, re Д,
с начальными условиями р,((г 1)=рг,1(гг ), причем Р|(0) = Р(0). При этом
м ■
а матрицы Qr получаются из матрицы Q соответствующей заменой Д(/)на А .
В этом случае функционал (2) примет вид
Î8)
Решение системы (7), как указано в [1], зависит от спектра матрицы О =б, + Н. Обозначив спектр этой матрицы в порядке убывания;через {и следуя [1), получим решение системы (7) в виде
1-0 и-о
где
П к-*;.)
П к-«:)
(10)
а {г1-иЛ " спектр матрицы - главного минора матрицы йг, получаемого из матрицы Вг, вычеркиванием ¿-й строки и к-го столбца. Очевидно, что матрицы Д^, либо трехдиагонапьные, либо треугольные.
Таким образом, вероятность безотказной работы восстанавливаемой избыточной "стареющей" ИНС ^(м,!?!,.?) вычисляется по формуле
/ 1 *.о
где Р,гу/) определяются по рекуррентной процедуре из
формул (9) и (10), \ц! - последовательность векторов
Да = -"«.»ч/О'
Мщ =^1 •Л1--«г).
Следовательно, задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини сетей, свелась к вычислению такой последова ■
тельности векторов {/л,,/^,...,^ } в классе векторов с
неотрицательными координатами, чтобы функционал иш{р) был минимальным при сохранении условия
0 < 1.
Решение задачи оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мин и-сетей.
Для решения указанной задачи методом дискретизации, с целью получения приближенного решения уравнения^) обозначим минимизируемый функционал (8) через (/'({¿Л) и будем производить такую последовательность действий, чтобы, начиная с некоторых функций - констант //(')=№,„• с помощью локальных вариаций А д управлений на каждом интервале дискретизации Аг (1 < /* < у) получить такую последовательность I/*,('). /*,(')>..■ кусочно-
постоянных функций, чтобы модуль разности между последовательными значениями функционала (/'("ш})стал меньше заданного числа е, определяющего точность решения. Очевидно, что вычислению собственно оптимального управления должно предшествовать вычисление числа дискретизаций у .
АЛГОРИТМ
1. Задать последовательности {я(.лг>—>"„), кЛ-ЛЬ Функции и
со(') = °. с,(f),...,с (f) ; числа £>0,<i(0«i<l)f.>0.
2. Положить v = 2 ■
3. Вычислить число At = tJ 2 и последовательность
..».О-
4. Положить / = о ■
5. Положить r = 1.
1
6. Вычислить Х„ ~+
7. Положить г = г +1.
8. Если г <v, идти кб.
9. Положить i s j +1.
10. Если идти к5.
11. Положить j =0.
12. Положить г = j.
13. Вычислить для неубывающих функций Д(() и с (г)
t еД,
Ч',, = тах |сг (г ) - с| = 1 [c (i, )^ с , )].
te Д,
14. Положить г = г + 1.
15. Если r< v. идти к 13.
16. ПОЛОЖИТЬ |' = t + l.
17. Если i< д, идти к 12. 1в. Положить j = 0 -. ..
19. Вычислить <р, = ma* = тах {<//„}■
0 0&i<y
20. Положить ¡* = ¡ +1.
21. Если /¿9,идтик19,
22. Вычислить <р = шах {<р\, у = тах{}
0 <iiq 0 Zi<q
23. Вычислить S - шах {^у}-
24. Если Sis- ИДТИ к 27.
25. Положить у - у + ].
26. Идти к 3.
( На этом определение числа дискретизаций заканчивается и начинается вычисление искомого управления.)
27. Задать et > 0.
26. Задать последовательность (Д ^„Д/^.^Д^}, (Дд >0) локальных вариаций управления.
29. вычислить последовательность векторов
.....Яо}' гДе Я, =U'. Ла...../С)- и
Mv - ¿rt + тзх {Л1г}, ! <,j<v.
1 iriv
30. Вычислить )■
31. Если , идти_к 34.
32._Вычислить a = + ,
где Д/у =(Д//1,,Дд",...,Д//1,)' ¿<7 ■
33. Идти к 30. __
34. Вычислить £/*({
35. Положить ( = 0 ■
36. Положить r = 1.
37. Вычислить Дfj. =///2.
36. Вычислить вектор = где
Г=Ы> " 'если j * г,
* \ К ec.4u j = r.
39. Вычислить последовательность
— \и , если
4,= -
( если } =1.
40. Вычислить р({
41. Если Р({ /г)>(1, идти к44.
42. Вычислить = Д/у, /2 .
43. Идти к 38.
44. ПОЛОЖИТЬ = +
45. Если г < I/, идти к_37.
46. Вычислить £/■({//]',).
47. Положить 1 = | + 1.
48. Если 1<(/. идти к 36.
49. Вычислить последовательность {//},, для которой
<У({Д)=тт С/'({£};).
0 < I < <7
50. Если [/'({ /у},)<£,, идти к53.
51. Положить {//}„= .
52. Идти к 35.
53. Конец ¡[^-искомоеуправление).
И. В. ПОТАПОВ
Омский государственный технический университет
УДК 519.68
В работе [1] обоснована и построена математическая модель многослойной многовыходной структурно однородной искусственной нейронной сети (ИНС), адаптивной к отказам искусственных нейронов (ИН), в предположении, что поток отказов пуассоновский с параметром I, а отказавшие ИН либо блоки нейронов замещаются резервными, соответствующим образом распределенными по структуре ИНС.
При этом рассмотрено два варианта модели. Первый вариант предполагает, что отказавшие ИН (блоки нейронов) после замещения их резервными не еосстанаалива-
ЛИТЕРАТУРА
1. Потапов В.И., Потапов И.В, Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными И Омский научный вестник. - 2002,-Вып. 18.-С,135-136.
2. Потапов И.В. Синтез оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов/Юмский гос. техн. ун-т. - Омск. -2001,-14с.-Деп. В ВИНИТИ. 21 09.2001. N0 2014.
3. Потапов В.И., Потапов И.В. Вероятностная модель функционирования избыточной адаптивной искусственной нейронной сети// Доклады Сибирского отделения Академии наук высшей школы .- 2001. - N8 2(4). - С.76-82.
4. Потапов В.И., Потапов И.В. Решение задачи оптимального резервирования "стареющей" адаптивной искусственной нейронной сети //Доклады Сибирского отделения Академии наук высшей школы.-2002.-№5.
5. Потапов В.И., Братцев С.Г. Новые задачи оптимизации резервированных систем, - Иркутск. 1986.-110 с,
ПОТАПОВ Виктор Ильич, доктор технических наук, профессор, заведующий кафедрой информационндоычислигельной техники. ПОТАПОВ Илья Викторович, аспирант кафедры информационно-вычислительной техники.
ются и не участвуют в дальнейшей работе ИНС. Второй вариант предполагает, что отказавшие блоки нейронов, в качестве которых {для определенности рассматривались одновыходные двухранговые мини-сети ИН, логически стабильные в диапазоне одновременного изменения порогов {Т(>,/)} v ~ 1,2,..., т у нейронов мини-сети [2,3], после замещения их резервными восстанавливаются с интенсивностью восстановления р = const.
Будем полагать, как в [1], что рассматриваемая ИНС, которую обозначим .S ), состоит из
«(/; = «, • --wjJ основных и т («t = 5, + s, + ■ ■ ■ + s J
РЕШЕНИЕ ЗАДАЧИ ОПТИМАЛЬНОГО РЕЗЕРВИРОВАНИЯ ОДНОРОДНОЙ АДАПТИВНОЙ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ С ЗАМЕЩЕНИЕМ ОТКАЗАВШИХ НЕЙРОНОВ РЕЗЕРВНЫМИ
ПРИ ПУАССОНОВСКОМ ПОТОКЕ ОТКАЗОВ_
ДЛЯ МНОГОСЛОВНОЙ МНОГОВЫХОДНОЙ СТРУКТУРНО ОДНОРОДНОЙ АДАПТИВНОЙ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ С ЗАМЕЩЕНИЕМ ОТКАЗАВШИХ НЕЙРОНОВ РЕЗЕРВНЫМИ ПРИ ПУАССОНОВСКОМ ПОТОКЕ ОТКАЗОВ И ВОССТАНОВЛЕНИЯ ОТКАЗАВШИХ НЕЙРОННЫХ БЛОКОВ, РЕШЕНА ЗАДАЧА ОПТИМАЛЬНОГО РЕЗЕРВИРОВАНИЯ, МАКСИМИЗИРУЮЩЕГО СРЕДНЕЕ ВРЕМЯ ЖИЗНИ, И ЗАДАЧА ОПТИМАЛЬНОГО РЕЗЕРВИРОВАНИЯ, МАКСИМИЗИРУЮЩЕГО ВЕРОЯТНОСТЬ БЕЗОТКАЗНОЙ РАБОТЫ НА ЗАДАННОМ ВРЕМЕННОМ ИНТЕРВАЛЕ РАССМАТРИВАЕМОЙ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ.
