Об оптимизации среднего времени «Жизни» однородных нейронных сетей нейрокомпьютеров с замещением отказавших нейронов резервными Текст научной статьи по специальности «Компьютерные и информационные науки»

ИНФОРМАЦИОННЫЕ

ТЕХНОЛОГИИ,

СИСТЕМЫ

АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОВАНИЯ

удк 681 з+«815 в. и< ПОТАПОВ

И. В. ПОТАПОВ

Омский государственный технический университет

ОБ ОПТИМИЗАЦИИ СРЕДНЕГО ВРЕМЕНИ «ЖИЗНИ» ОДНОРОДНЫХ НЕЙРОННЫХ СЕТЕЙ НЕЙРОКОМПЬЮТЕРОВ С ЗАМЕЩЕНИЕМ ОТКАЗАВШИХ НЕЙРОНОВ РЕЗЕРВНЫМИ

Рассматриваются два способа включения резервных нейронов в структурно однородные адаптивные искусственные нейронные сети. Приводятся аналитические соотношения, позволяющие определять нейронную сеть, обладающую наибольшим средним | временем «жизни», при заданных структурных параметрах сетей и интенсивности отка- „ зов искусственных нейронов и системы контроля и подключения резерва. |

I

Работа выполнена при финансовой поддержке в форме гранта по фундаментальным исследованиям в области естественных и точных наук £02-2-75 Минобразования РФ.

В работе 11) рассмотрена математическая модель При этом замещение основных блоков с отказав-

адаптивной многослойной многовыходной струк- шими нейронами резервными блоками возможно о

турно однородной искусственной нейронной сети только внутри каждой д группы. Искусственные

(ИНС) с замещением отказавших нейронов резерв- нейроны дискретные, реализующие пороговую фун-

ными, состоящей из п основных и ш резервных кцию.

(п + ш = а) блоков (столбцов) искусственных ней- Выбор такого вида резервирования ИНС для по-

ронов (И Н), разбитых на д групп по Ь-п/д основных вышения ее функциональной надежности был не

и в = т/д резервных блоков ИН в каждой группе. случаен. Ему предшествовал теоретический анализ

и попытки реализовать на моделях многие известные способы повышения надежности однородных нейронных структур, включая такие специфические, как способ «плавающей функции» и «обход» поврежденных участков [2]. Последние два способа очень заманчивы, но требуют весьма высокой избыточности функциональных ячеек нейронной структуры и сложности их взаимных связей. Кроме того, возрастает сложность системы контроля, диагностики и системы настройки ИНС на выполнение требуемых операций, удлиняется время решения задачи, затрудняется программирование (настройка сети) и связь однородной нейронной структуры с внешними по отношению к ИНС запоминающими и управляющими устройствами нейрокомпьютера. Есть основания полагать, что при современной микроэлектронной технологии и системотехнике наиболее рациональным, технически реализуемым способом повышения функциональной надежности рассматриваемых ИНС, является введение резерва в виде одного или нескольких столбцов однородной нейронной структуры, включаемых в работу вместо отключаемых основных столбцов с отказавшим искусственным нейроном. (Считаем, что число столбцов в среде превышает число строк.)

Полагаем, что в рассматриваемой системе имеют место отказы вида (0 1) и (1 -> 0).

Поиск отказавшего нейрона производится системой контроля и переключения с помощью достаточно простого диагностического теста, который нетрудно составить, используя элементы теории технической диагностики ИН и нейронных сетей, изложенные в [3-5]. Тест конструируется так, что в процессе его проведения единичный сигнал появляется на выходе только у отказавшего в столбце ИН. По этому сигналу с помощью переключателей производится отключение столбца с отказавшим нейроном и включение резервного столбца путем соответствующего переключения межнейронных связей отключаемого столбца с соседними столбцами нейронов, атакже входных и выходных цепей у всех нейронов, расположенных со стороны столбцов резерва от отключаемого столбца. И соответствующей настройкой весов входов ИН подключенного из резерва столбца вместо отключенного. При повторных отказах нейронов в основных столбцах данной д-группы все переключения осуществляются аналогично и вместо столбца с отказавшим нейроном подключается новый столбец из числа входящих в состав резерва этой группы.

Очевидно, что принятая система включения скользящего резерва не использует всех потенциальных возможностей повышения функциональной надежности ИНС за счет избыточных столбцов нейронов. Однако диагностический тест и алгоритм включения резерва является достаточно простыми, занимают мало времени и объема памяти, а сама адаптивная ИНС требует при этом относительно небольшое количество дополнительного оборудования, в частности переключающих устройств.

С технической точки зрения каждый переключатель представляет собой многоканальную систему с несколькими входами и одним выходом, либо с одним входом и несколькими выходами. То есть роль переключателя выполняет ИН с управляемыми переменными весами входов, принимающими значения О и 1. Переключатели, так же как и ИН сети, могут отказывать. Под отказом переключателя будем понимать отказ одного из каналов передачи информации, считая в первом случае выход, а во втором — вход пере-

ключателя абсолютно надежными, что на практике достигается технологическими приемами.

Очевидно, что отказ канала передачи информации в переключателе может быть выявлен с помощью простой системы контроля и переключения. Устранение действия этого отказа достигается путем переключения на работоспособный канал, то есть путем отключения основного блока, связанного с отказавшим каналом, и включения вместо него резервного блока.

Исследования, проведенные путем математического моделирования на ПЭВМ адаптивной ИНС с замещением отказавших нейронов резервными, рассмотренной в [1],показали, что в зависимости от способа включения резерва по отношению к основной структуре ИНС изменяется не только сложность переключателей и алгоритм включения резерва, но и такой определяющий параметр нейронной сети, как среднее время ее «жизни»

ш-1

т=£ т< ,

где Т, - среднее время работы между {-ми (^ + 1)-м отказом нейронной структуры, ш - количество резервных столбцов в структуре.

Для обеспечения выбора оптимальной по критерию структуры адаптивной ИНС, с наибольшим средним временем «жизни», ниже рассматриваются математические модели, излагается метод расчета надежности и проводится исследование влияния способа включения резерва на среднее время «жизни» двух типов адаптивных ИНС, имеющих одинаковое количество основных и резервных столбцов и одинаковые по сложности переключатели (1]. Структурная модель адаптивной однородной ИНС первого типа, которую, также как в [ 1 ], обозначим 5Л (п,т, , изображена на рис. 1. А структурная модель адаптивной ИНС второго типа, обозначенная (п.т.т), представлена на рис. 2.

В отличие от [ 1 ], где вероятностью отказа системы контроля и переключения пренебрегали, в настоящей работе будем полагать, что надежность системы контроля и переключения конечная и учитывать ее при расчете надежности рассматриваемых адаптивных ИНС 8л(пд8)и5,(||,л1,1п) ,

В дальнейшем будем считать, что все элементы исследуемых структур ИНС (нейроны и переключатели) имеют отличную от единицы вероятность безотказной работы, поток отказов элементов нейронных структур является простейшим с параметром Я, отказы работающих функциональных блоков и переключателей обнаруживаются системой контроля и переключения сразу же после их возникновения, а время подключения резервного столбца вместо столбца с отказавшим ИН или соответствующего отказавшего канала передачи информации переключателя равно нулю. Отказы в резервных блоках, не включенных еще в состав рабочей структуры ИНС, не обнаруживаются системой контроля и перестройки и не приводят к их переключению, однако они уменьшают ресурс надежности соответствующей адаптивной ИНС. Отказ устройства контроля и переключения не вызывает немедленного отказа всей системы, но после его появления последующий отказ любого рабочего блока или переключателя приводит к появлению отказа на выходе нейронной сети.

С учетом сделанных предположений поведение нейронной сети 5л(п,т,5) описывается следующей системой дифференциальных уравнений

Рис. 1. Адаптивная однородная нейронная сеть 5А(п,ш,8):

^^ - ИН основных блоков ^^ - ИН резервных блоков

ф - Отказавший (7т). Переключатели

п основных блоков (столбцов) ИН.

• • •

• •

Рис. 2. Адаптивная однородная нейронная сеть 5А(п1ш,ш).

р;(0=«1-|Рм(0-АР.(0 {¡ = 1,2,...,т), (1)

р'„(1)=к-я [р0(0+р,(0+-+р™(0]-^р»(0.

где р,(0 - вероятность нахождения нейронной структуры в состоянии с / отказами в функциональных блоках ИН и переключателях; рк(г) - вероятность нахождения нейронной структуры в состоянии отказа системы контроля и переключения; Я - интенсивность отказов системы, состоящей из основного или резервного блока ИН и соответствующего канала переключателя; к' - коэффициент пропорциональности между Я и интенсивностью отказов системы контроля и переключения; а,0' = 1,2,...,ш-1) -интенсивность перехода нейронной структуры из состояния с (/-1) отказами в функциональных блоках ИН и переключателях в состояние с / подобными отказами; Д(/ = 0,1,...,т) - суммарная интенсивность перехода нейронной структуры из состояния с / отказами в функциональных блоках и переключателях в состояние с (1+1) аналогичными отказами, в состояние отказа системы контроля и переключения и в состо-

яние «гибели» нейронной структуры; = (а-т)Л -интенсивность перехода нейронной структуры из состояния отказа системы контроля и переключения в состояние «гибели» нейронной сети 5л(л,т,5).

Система дифференциальных уравнений, описывающая поведение нейронной сети 8А(п,т,т), по форме совпадает с системой (1) и отличается от нее, в общем случае, лишь интенсивностью перехода из состояний с (М) - отказами в функциональных блоках ИН и переключателях в состояния с / подобными отказами, которую обозначим а' = к1г(а - ¡)Л, где к1г -коэффициент, учитывающий часть из общего числа /-кратных отказов рабочих блоков ИН, приводящих к переходу 5л(п,л1,т) из работоспособного состояния с (М) отказами в работоспособное состояние с /отказами, при условии, что конструкция переключателей нейронной структуры, являющихся ИН без пресинаптического взаимодействия [1], обеспечивает возможность подключения резервных блоков ИН вместо не менее чем г (1 ^ г й т) расположенных подряд отказавших рабочих блоков ИН.

Таким образом, в зависимости от конструкции нейронной сети 5а(л,ш,ш) и переключателей

определение коэффициентов к1г сводится к решению следующей комбинаторной задачи: найти число расстановок 1 единиц на а местах таких, что в каждой расстановке нет г+1 подряд стоящих единиц.

Искомое число расстановок обозначим . Тогда

(2)

где С'а - число сочетаний из а по 1.

Для нахождения вида /Да,!') при любых а,1,г воспользуемся методом производящей функции [6,7]. Нетрудно получить рекуррентную формулу д ля произвольного г

/ДаЛ) = /Да-М)+/,(а-2Л-1)+--+/,(а-г-М-г)

и составить производящую функцию в виде

П(х.у)=£ ¿/,МгУ. (3)

а=1 '=1

Ид

ту, если а = (г + 1)1'1 V а 1, гу+1, если а = (г+1)у + 1, гу + 2, если а = (г+1У + 2,

гу + г, если а = (г + 1У + г, у>0. После суммирования выражение (3) принимает

вид

Р(х у): 1 | 1 + *У + *У+- + *У Л У' 1-Х 1-х(1 + Ху + ХУ+- + Х'у')

Разложив Рг(х,у) в ряд по степеням х, у, получим коэффициенты при х"у' , которые представляют собой искомую функцию /'Да,!') . После проведения всех преобразований имеем

(а-1 + 1)/ Хг'Ъ'- Хгп'

х, + х2 + ■ ■ ■ + хг+, = а -1 +1 х, +2х2 +-+ГХ, = /

(4)

§

и равно С,. Обозначим через „ (/) число неотрицательных целочисленных решений уравнения (5) с ограничениями (6) при/е^ + уДу + Оя+у], V = ОД,..., [в(д -1)/ (я+1)], где [?] означает целую часть от д.

Поскольку в каждой д группе нейронной структуры 5А (л,т,в) содержится в резервных блоков, то целесообразно уравнение (5) привести к виду

X, +Х2+-- + Х, = ув + к,

(7)

Тогда решение поставленной задачи нахождения <1Я(1) сводится к нахождению рекуррентной формулы для ¿„.Д/) из уравнения (7).

Опуская промежуточные вычисления, приведем окончательное выражение

НО при </,,(/)=с<;;_„

(=1

{у, если к^у, V-1,если к<у,

а /(£) определяется следующим образом:

/•(£)= 11С'Я 2 ¿ч-ы^з + Ь-Ъ-Ъ-----л)+

<Р1*<Рг*-*Ч>1

Лс<

21

+ к-2<Р1-<Рг-----' •'

2р, +<р 2 + ••• + ?>,_, =£в + а)2

■Ла

Л

Е <*,-<...(<.))(«+ 2-----<Р,-1)+'

¡* 1

Производя непосредственный расчет по формулам (2) и (4), легко получить неравенства к„ <к12< ■■ <к1г < - <к1т, справедливые для любого

Найдем теперь алгоритм для вычисления интен-сивностей переходов Д (о</:£га). Из анализа частных случаев следует, что

Д=|/,(/)[(а-/)+/ф ,

где </,(/) - количество всевозможных комбинаций из ¡<,т отказов в дгруппах нейронной сети 8К(п,т,$) при условии, что в каждой группе число отказов не превышает 5.

Отсюда следует, что есть число неотри-

цательных целочисленных решений уравнения

х,+х2 + ■■■ + хч = 1 (0йiZm = qs), (5)

при ограничении

05X^5 ] = , (в)

где х, - число отказавших блоков в уй группе нейронной сети 5л(п,ш,8). Число всех неотрицательных целочисленных решений уравнения (5) известно [6]

И1-]

=в+1

и(е.]) = [(у* + к-ш-----ф ,.,«)/*]

Интенсивности переходов а, нейронной структуры 5л(п,п1,я) могут быть получены следующим образом. Поскольку каждое решение (х,,х2,...,хч) уравнения х,+х2+■■•+х(1 = 1-1 (1^/^® ) порождает дрешений уравнения х1+хг+-- + хя=1 по схеме

1),

то для / = 1,2,.имеем

а,= X /•(х1,хг,...,х,7)

где /(х1Г...,х„)=л£ кХ1Г(а/д-ху) ( 1<,г<т/Ч ),

В случае если ¡>б , получаем О £ х, £ в,

Зная интенсивности переходов нейронных структур 5А(п,1л,в) и ЯА (п, ш, ш), перейдем к исследованию их среднего времени «жизни», используя в качестве основной математической модели систему уравнений (1).

В силу принятого предположения о простейшем потоке отказов в рассматриваемых ИНС, то есть о выполнении условий стационарности, ординарности и отсутствия последействия, поведение нейронной структуры (я,ш,®) после отказа е-то (15 £ 5 т -1) рабочего блока ИН и замене отказавших резервными можно описать следующей системой уравнений, полученной из системы (1) путем смещения начала отсчета времени в точку г = Т0 +■ Т, + • ■ •+Тм,

Р;ло=-АР«Л»Х

РЛ0 = «ы РмЛО-ААЛО 0=< + М + 2,...,ш ), (9)

р;.< (0=^ я \ри (о+Рм>| (о+■ ■ ■+(0]- Р р*.« (0.

с начальными условиями

р,., (0) = I, р,+, г(0) = Р((0) = - = р„,г(0) = р„,,(0) = 0.

Решение системы уравнений (9) имеет вид:

р,,,(/) = ехр(-/?Д (10)

Рм(0=«Р(-А0

П СЛ.-А)

«У* г

(11) (12)

гАе В..,=П»/'

м

+ £; вм£ «р(-А0[0»-А)П (а-А)Г Ь (13)

где

с^^-АГ'+^в.Х [{р-рж)й (А-А)/'- (14)

Т,=]р.ло«+1:

о 1=' о

После преобразований имеем

Л /=<+1 »=(

АП (А-А)

(16)

Используя выражения (10)+(14), нетрудно вычислить среднее время работы нейронной структуры 5а(п,л1,5) между (-к (е +1) -м отказами по формуле

(15)

Проведя аналогичные рассуждения для нейронной структуры вА (п,ш,5), легко можно получить выражение для среднего времени ее работы Т/ между е - и (? + 1)-м отказами. Очевидно, что Т," по форме совпадает с Т, и отличается от последнего лишь членом

в;,=п «;■

м

В связи с тем, что разность среднего времени «жизни» нейронных структур (п,т,в) и 5л(п,га,т) равна

т-г = £ (т(-т;),

г=о

то для определения наилучшей нейронной сети по данному параметру следует сравнивать лишь Т, и Т'.

Анализ показал, что знак разности Т, - Т(* зависит лишь от знака разности В,, - В* , и находятся в прямой зависимости от способа включения резерва и значений аиш у соответствующей нейронной структуры. В связи с тем, что аналитический анализ разности В(, - В), для произвольных по способу включения резерва нейронных структур не представляется возможным ввиду его громоздкости, следует использовать для этой цели ПЭВМ и приведенные выше расчетные соотношения для вычисления а{, а, и ки .

Библиографический список

1. Потапов В.И., Потапов И.В. Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными// Омский научный вестник.-2001 .-Вып. 18.-с.135-138,

2. ПрангишвилиИ.В., Абрамова И. А. идр. Микроэлектроника и однородные структуры для построения логических и вычислительных устройств. - М,: Наука, 1967.-228с.

3. Потапов В.И„ Пальянов И. А Построение проверяющих тестов для пороговых элементов. // Изв. АН СССР, Техническая кибернетика. - 1973-№4-с.140-147.

4. Потапов В. И., Пальянов И. А. Диагностика неисправностей пороговых элементов. // Изв. СО АН СССР. Сер.технических наук,- 1976-вып.2.-№8-с. 126-133.

5. Потапов В.И., Потапов И.В. Построение проверяющих тестов для искусственных нейронных сетей без обратных связей и монофункциональных и многофункциональных искусственных нейронов // Омский научный вестник.-2003.-№ 1 (22).-с. 106-109.

6. РиорданД. Введение в комбинаторный анализ.-М.:ИА, 1963,-287с.

7. Кофман А. Введение в прикладную комбинаторику.-М.:Наука, 1975.-479с.

ПОТАПОВ Виктор Ильич, доктор технических наук, профессор, заведующий кафедрой информатики и вычислительной техники.

ПОТАПОВ Илья Викторович, аспирант кафедры информатики и вычислительной техники.

3 г

I