Решение задач оптимизации надежности аппаратурно-избыточных однородных нейронных сетей нейрокомпьютерных систем Текст научной статьи по специальности «Математика»

ИНФОРМАЦИОННЫЕ

ТЕХНОЛОГИИ

УДК 004 052.3 в и ПОТАПОВ

Омский государственный технический университет

Работа выполнена при поддержке гранта РФФИ №09-08-00130

РЕШЕНИЕ ЗАДАЧ ОПТИМИЗАЦИИ НАДЕЖНОСТИ АППАРАТУРНО-ИЗБЫТОЧНЫХ ОДНОРОДНЫХ НЕЙРОННЫХ СЕТЕЙ НЕЙРОКОМПЬЮТЕРНЫХ СИСТЕМ_____________________

Излагаются методы решения трех задач оптимизации надёжности однородных аппаратурно-избыточных нейронных сетей со «статическим» резервированием и двух задач оптимизации надёжности нейронных сетей с «динамическим» резервированием. Ключевые слова: оптимизация надёжности, нейронные сети, резервирование.

Объектом исследования является адаптивная к отказам нейронов аппаратурно-избыточная структурно однородная искусственная нейронная сеть (ИНС) Бд нейрокомпьютерной системы [ 1 ], состоящая из основного и резервного блоков искусственных нейронов (ИН), которые соответственно разбиты на £ 1) групп по.(п(£ 1) элементов в группах основного блока и ...в(| 0) элементов в группах

резервного блока, причем замена отказавших нейронов в Ьй группе основного блока ИНС осуществляется сразу после возникновения отказа только нейронами из соответствующей 1-й группы резервного блока ИН сети Бд «статическое» резервирование. В отличие от «статического» резервирования «динамическое» резервирование предполагает возможность перераспределения резервных элементов между Ч группами в процессе работы микропроцессорской системы. Полагаем, что поток отказов в Ьй группе основного блока нейронов ИНС есть неоднородный пу-

ассоновский процесс с интенсивностью ХДО, 1 ^ 1 < я; элементам (искусственным нейронам) резервного блока ИНС соответствует интенсивность отказов А.0(1). Элементы Ьй группы восстанавливаются после отказа с интенсивностью ц,(1), 1 Нейронная сеть Бд

адаптируется к отказам и продолжает функционировать до тех пор, пока не будет израсходован весь запас аппаратурно-логической избыточности.

Введём обозначение п = (п^ - вектор основных элементов; 5 = (5()ч — вектор резервирования; Я (I) = (^(М) +| — вектор интенсивностей отказов; ^ (1) = (ц,^)) — вектор интенсивностей восстановления; Р[я ;!.] - вероятность безотказной работы нейронной сети в течение времени I:; Т[ я ] — среднее время «жизни» ИНС.

Обозначим целочисленное множество Б(т) =

= { 5 ^ 0 }. Отказоустойчивую ИНС рас-

сматриваемого типа обозначим 5д[я, л, 5, Л (Ц, //(Ц].

ОМСКИЙ НАУЧНЫЙ ВЕСТНИК N>2 <80. 2009 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №2 (80). 2009

В работе рассматриваются следующие задачи оптимизации надежности искусственных нейронных сетей нейрокомпьютерных систем. Со «статическим» резервированием (задачи 1-3) и с «динамическим» резервированием (задачи 4,5).

Задача 1. Вычислить вектор резервирования s, максимизирующий вероятность безотказной работы Р[ s;t(] нейронной сети SA в течение времени t, при заданных ограничениях на параметры и условия работы ИНС S.:

Р[ s;t, ]-*max, s е S(m).

(1)

Задача 2. Вычислить вектор резервирования в, максимизирующий среднее время жизни Т[ в) нейронной сети Бл при заданных ограничениях:

г[ s ]-> seS(m)

max,

(2)

y(q,m) =

'q + m-\s m

ml

+ (полином от q степени (m-1)).

Решение задачи 1 и 2 соответственно, доведенное до численных алгоритмов, для невосстанавливаемых «стареющих» ИНС SA с неоднородными пуассоновс-кими потоками отказов нейронов, у которых интенсивности отказов нейронов в основных и резервных q группах сети X,(t) * const, а является возрастающей функцией времени, дано в [3].

Задача 3. Вычислить вектор интенсивностей восстановления //(t), минимизирующий стоимость восстановления после отказа ИНС SA в течение заданного времени t, при заданной гарантированной надежности:

I,

UГ ц ]= J (с(/), fj(t))dt -»min,

О

0<d<l,

(3)

P'(t) = D [s. Л.(t). fi (t)]P(t)

Л

с начальными условиями P(0) = (1,0,0........0).

(4)

P(t) — вектор-столбец, а матрица Ds (s, Я (t), //(t)] определяется следующим образом: л

Задачи 1 и 2 являются задачами нелинейного целочисленного программирования, так как Б(т) есть множество целочисленных точек части я-мерной гиперплоскости б, + з2 + ...+ Э(( = ш, лежащей в первом октанте.

Детализированные алгоритмы решения этих двух задач для ИНС Бл с однородным пуассоновским потоком отказов и восстановления функциональных свойств элементов нейронной сети дано в работе [2] путем полного перебора вариантов резервирования. Эти переборные задачи полиномиально разрешимы, так как число вариантов резервирования у(я,т) равно

где c(t) = (Ci(t))4 - заданная вектор функция, моделирующая удельную стоимость восстановления в i-й группе; d — заданное число.

Будем рассматривать нейронную сеть SA как управляемую динамическую систему с фазовым вектором Р(t) = (p0(t), p,(t).pni(t)) , где pk(t) - вероят-

ность того, что к моменту времени t в ИНС SA произошло к отказов. В предложении марковского процесса поведение ИНС SA описывается дифференциальными уравнениями Колмогорова

Д.. =

M, 0 . . 0 0 0

A M2 V ■ . 0 0 0

0 A, M3 . . 0 0 0

0 0 0 . • An-, И

0 0 0 . . 0 К

где коэффициенты Ак, и Мк, ц вычисляются по следующей схеме:

( п +

т

l(*.s) 1=1

где Q(/c,s) = jv| = /c;0£v, :£s,j;

ГО, если s, = 0,

о, = <

[1, если s, = 1;

{0, если к £ s.,

1

1, если /c£s,+l;

аш = {(/п_А+1)Л* при , = 0, а‘ [ <5,л,Я, при l£i\<,q\

= + при , = 0'

1 + пД (Л) при \£i£q\

Д(т + 1) = <5,л,, // = £ //,(*);

Ы

Ак = ]>]а,(/сЦ((), 1£ к £ т;

1-0

Dk= £д(Щ(<),12^т + 1;

- д

при к = \,

-(Д+u) при 2йкйт + 1.

Из уравнения (4) и предыдущих формулмя X,(t) = const, njt) я const получим

Р[ s.v.t ] = Хр*(0 =

= ZZ

*-0 у-о

Z А(°)

exp (z/)

(5)

где Ь/(1=(-Г‘^-

/-0

{20.г,...2т} - спектр матрицы Э8 ; {2о1к,г|1к.....гт.;1к} -

спектр матрицы Э|к — главного минора матрицы 0$ .

Из (5) следует выражение для среднего времени жизни рассматриваемой искусственной нейронной сети:

Т[ s.v ] = J P[s,p;f]df =

ш m 1 m

=Z Z ITT Z b/-*P/(°)-1.0 j. 0 |z/|l-0

(6)

В этом случае система уравнений (4) решается методом дискретизации путем замены функций А.^) специально подобранными кусочно-постоянными функциями.

Для задачи 3 уравнение (4) перепишем в виде

Т'(1) = (0 + цН)Р(1) (7)

где 0 = £ О, (0 •а матрицы О, и Н определяются сле-дующимобразом:

<?,=

ДО) 0 0 0 0

-т 0 0 0

0 «,(2) -Д (з) - 0 0

0 0 0 • -А (я0

0 0 0 • <*,(т) ~1

0 1 0 0 • • 0 0 0

0 -1 1 0 • • 0 0 0

0 0 -1 1 • • 0 0 0

н =

0 0 0 0 • • 0 -1 1

0 0 0 0 • • 0 0 -1

жённого решения можно воспользоваться методом дискретизации, которым были решены аналогичные задачи 1 и 2, соответственно, для ИНС Бл со «статическим» резервированием [7].

В отличие от указанных задач 1 и 2, при решении задач 4 и 5 используется множество

S*(m) =

■ ч

«г 2Х = ю-

/-1

Е*Р*ДО

Задача 3 есть типичная задача оптимального управления. Для уравнения (7) она рассматривалась в [4], [5] при условии нелинейной правой части по P(t) и в работе [6] при условии постоянных матриц Q, и Н и линейной правой части по P(t) только для случая m = 2, причем функционал качества содержал фазовые координаты. В этих работах задача 3 решалась классическим методом Понтрягина.

Используя специальный вид матриц Q, Н и независимость функционала U[/i] от фазовых координат в [3] предложен метод локальных вариаций, легко реализуемый алгоритмически (1 ] и удобный для реализации на ПЭВМ.

Для структурно однородной искусственной нейронной сети с «динамическим») резервированием [ 1 ], которую обозначим Sn[q, n,s,A (t) ,т], то есть для такой ИНС, в процессе работы которой вектор резервирования s в зависимости от вида и места отказов ИН целенаправленно изменяется и производится перераспределение резервных искусственных нейронов между q группами, сформированными перед началом работы ИНС SB, рассматриваются следующие две задачи оптимизации функциональной надежности сети SB.

Задача 4. Вычислить последовательность векторов резервирования s° 1,мак-

симизирующих вероятность безотказной работы ИНС SB последовательно в заданные моменты настройки x^Tj,....т, (I £ 1), т = 0, и в заданный момент времени t,, t( > тг

Задача 5. Определить количество настроек 1(1 к L),

нейронной сети S„, последовательность (т,,т2......т,)

моментов настройки и последовательность векторов резервирования s“ =(s|0„,s^„,...1sja)), отвечающих моментом настройки ти, 1 £ ш ^ 1, таким образом, чтобы вероятность безотказной работы ИНС SB в момент настройки и в момент времени t,, t, > т, были последовательно максимальными.

Получить точное решение задачи 4 и задачи 5 не представляется возможным. Поэтому для их прибли-

где (*] - целое число, ближайшее к данному;

т

- математическое ожидание случайной

*•0

величины я(тю) = 0,1,2,определяющей количество ИН, отказавших к моменту времени ти в нейронной сети Бв; Рк„(тм) — вероятность нахождения ИНС Б,, в момент времени тш в состоянии с к отказавшими ИН. При этом, очевидно,

т

Ер*»(г.Н-

а.о

Приближённое решение задач 4 и 5, с учётом базового алгоритма [7], доведённое до детализированных численных алгоритмов, удобных для реализации на современных ПЭВМ, дано в [8].

Библиографический список

1. Потапов В.И. Теоретические основы диагностики и оптимизации надёжности искусственных нейронных сетей / В.И. Потапов, И.В. Потапов — Омск : Изд-во ОмГТУ, 2004. - 152 с.

2. Потапов И.В. Решение задачи оптимального резервирования однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов / И.В. Потапов // Омский научный вестник. — 2002. — Вып. 20. - С. 143-146.

3. Потапов В.И. Оптимизация функциональной надёжности избыточной, восстанавливаемой после отказов нейронов, «стареющей» искусственной нейронной сети / В.И. Потапов, И.В. Потапов // Информационные технологии. - 2004. — № 12. — С.19-26.

4. Брайсон А. Прикладная теория оптимального управления / А.Брайсон, Хо-Ю-Ши. — М. : Мир, 1972. — 544 с.

5. Флеминг У. Оптимальное управление детерминированными и стохастическими системами /У. Флеминг, Р. Ришел. — М. : Мир, 1978. — 316 с.

6. Федоренко Р.П. Приближенное решение задачи оптимального управления / Р.П. Федоренко. — М. : Наука, 1978. — 478 с.

7. Потапов В.И. Новые задачи оптимизации функциональной надежности искусственных нейронных сетей с замещением отказавших нейронов резервными / В.И. Потапов, И.В. Потапов // Докл.АН ВШ РФ. — 2003. — N8 1. - с.39-43.

8. Потапов В.И. Оптимизация функциональной надежности «стареющих» искусственных нейронных сетей нейрокомпьютеров с динамическим резервированием / В.И. Потапов, И.В. Потапов. — Докл. АН ВШ РФ. — 2004. — № 3.- С.76-81.

ПОТАПОВ Виктор Ильич, доктор технических наук, профессор, заслуженный деятель науки и техники РФ, зав. кафедрой информатики и вычислительной техники.

644050, г. Омск, пр. Мира, 11

Дата поступления статьи в редакцию: 14.04.2009 г.

© Потапов В.И.

ОМСКИЙ НАУЧНЫЙ ВЕСТНИК Ю 2 (ВО). 2009 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ