Научная статья на тему 'Об оптимизации среднего времени «Жизни» однородных нейронных сетей нейрокомпьютеров с замещением отказавших нейронов резервными'

Об оптимизации среднего времени «Жизни» однородных нейронных сетей нейрокомпьютеров с замещением отказавших нейронов резервными Текст научной статьи по специальности «Общие и комплексные проблемы естественных и точных наук»

CC BY
13
4
Поделиться

Аннотация научной статьи по общим и комплексным проблемам естественных и точных наук, автор научной работы — Потапов Виктор Ильич, Потапов Илья Викторович

Рассматриваются два способа включения резервных нейронов в структурно однородные адаптивные искусственные нейронные сети. Приводятся аналитические соотношения, позволяющие определять нейронную сеть, обладающую наибольшим средним | временем «жизни», при заданных структурных параметрах сетей и интенсивности отка„ зов искусственных нейронов и системы контроля и подключения резерва.

Похожие темы научных работ по общим и комплексным проблемам естественных и точных наук , автор научной работы — Потапов Виктор Ильич, Потапов Илья Викторович,

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Текст научной работы на тему «Об оптимизации среднего времени «Жизни» однородных нейронных сетей нейрокомпьютеров с замещением отказавших нейронов резервными»

ИНФОРМАЦИОННЫЕ

ТЕХНОЛОГИИ,

СИСТЕМЫ

АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОВАНИЯ

удк 681 з+«815 в. и< ПОТАПОВ

И. В. ПОТАПОВ

Омский государственный технический университет

ОБ ОПТИМИЗАЦИИ СРЕДНЕГО ВРЕМЕНИ «ЖИЗНИ» ОДНОРОДНЫХ НЕЙРОННЫХ СЕТЕЙ НЕЙРОКОМПЬЮТЕРОВ С ЗАМЕЩЕНИЕМ ОТКАЗАВШИХ НЕЙРОНОВ РЕЗЕРВНЫМИ

Рассматриваются два способа включения резервных нейронов в структурно однородные адаптивные искусственные нейронные сети. Приводятся аналитические соотношения, позволяющие определять нейронную сеть, обладающую наибольшим средним | временем «жизни», при заданных структурных параметрах сетей и интенсивности отка- „ зов искусственных нейронов и системы контроля и подключения резерва. |

I

Работа выполнена при финансовой поддержке в форме гранта по фундаментальным исследованиям в области естественных и точных наук £02-2-75 Минобразования РФ.

В работе 11) рассмотрена математическая модель При этом замещение основных блоков с отказав-

адаптивной многослойной многовыходной струк- шими нейронами резервными блоками возможно о

турно однородной искусственной нейронной сети только внутри каждой д группы. Искусственные

(ИНС) с замещением отказавших нейронов резерв- нейроны дискретные, реализующие пороговую фун-

ными, состоящей из п основных и ш резервных кцию.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

(п + ш = а) блоков (столбцов) искусственных ней- Выбор такого вида резервирования ИНС для по-

ронов (И Н), разбитых на д групп по Ь-п/д основных вышения ее функциональной надежности был не

и в = т/д резервных блоков ИН в каждой группе. случаен. Ему предшествовал теоретический анализ

и попытки реализовать на моделях многие известные способы повышения надежности однородных нейронных структур, включая такие специфические, как способ «плавающей функции» и «обход» поврежденных участков [2]. Последние два способа очень заманчивы, но требуют весьма высокой избыточности функциональных ячеек нейронной структуры и сложности их взаимных связей. Кроме того, возрастает сложность системы контроля, диагностики и системы настройки ИНС на выполнение требуемых операций, удлиняется время решения задачи, затрудняется программирование (настройка сети) и связь однородной нейронной структуры с внешними по отношению к ИНС запоминающими и управляющими устройствами нейрокомпьютера. Есть основания полагать, что при современной микроэлектронной технологии и системотехнике наиболее рациональным, технически реализуемым способом повышения функциональной надежности рассматриваемых ИНС, является введение резерва в виде одного или нескольких столбцов однородной нейронной структуры, включаемых в работу вместо отключаемых основных столбцов с отказавшим искусственным нейроном. (Считаем, что число столбцов в среде превышает число строк.)

Полагаем, что в рассматриваемой системе имеют место отказы вида (0 1) и (1 -> 0).

Поиск отказавшего нейрона производится системой контроля и переключения с помощью достаточно простого диагностического теста, который нетрудно составить, используя элементы теории технической диагностики ИН и нейронных сетей, изложенные в [3-5]. Тест конструируется так, что в процессе его проведения единичный сигнал появляется на выходе только у отказавшего в столбце ИН. По этому сигналу с помощью переключателей производится отключение столбца с отказавшим нейроном и включение резервного столбца путем соответствующего переключения межнейронных связей отключаемого столбца с соседними столбцами нейронов, атакже входных и выходных цепей у всех нейронов, расположенных со стороны столбцов резерва от отключаемого столбца. И соответствующей настройкой весов входов ИН подключенного из резерва столбца вместо отключенного. При повторных отказах нейронов в основных столбцах данной д-группы все переключения осуществляются аналогично и вместо столбца с отказавшим нейроном подключается новый столбец из числа входящих в состав резерва этой группы.

Очевидно, что принятая система включения скользящего резерва не использует всех потенциальных возможностей повышения функциональной надежности ИНС за счет избыточных столбцов нейронов. Однако диагностический тест и алгоритм включения резерва является достаточно простыми, занимают мало времени и объема памяти, а сама адаптивная ИНС требует при этом относительно небольшое количество дополнительного оборудования, в частности переключающих устройств.

С технической точки зрения каждый переключатель представляет собой многоканальную систему с несколькими входами и одним выходом, либо с одним входом и несколькими выходами. То есть роль переключателя выполняет ИН с управляемыми переменными весами входов, принимающими значения О и 1. Переключатели, так же как и ИН сети, могут отказывать. Под отказом переключателя будем понимать отказ одного из каналов передачи информации, считая в первом случае выход, а во втором — вход пере-

ключателя абсолютно надежными, что на практике достигается технологическими приемами.

Очевидно, что отказ канала передачи информации в переключателе может быть выявлен с помощью простой системы контроля и переключения. Устранение действия этого отказа достигается путем переключения на работоспособный канал, то есть путем отключения основного блока, связанного с отказавшим каналом, и включения вместо него резервного блока.

Исследования, проведенные путем математического моделирования на ПЭВМ адаптивной ИНС с замещением отказавших нейронов резервными, рассмотренной в [1],показали, что в зависимости от способа включения резерва по отношению к основной структуре ИНС изменяется не только сложность переключателей и алгоритм включения резерва, но и такой определяющий параметр нейронной сети, как среднее время ее «жизни»

ш-1

т=£ т< ,

где Т, - среднее время работы между {-ми (^ + 1)-м отказом нейронной структуры, ш - количество резервных столбцов в структуре.

Для обеспечения выбора оптимальной по критерию структуры адаптивной ИНС, с наибольшим средним временем «жизни», ниже рассматриваются математические модели, излагается метод расчета надежности и проводится исследование влияния способа включения резерва на среднее время «жизни» двух типов адаптивных ИНС, имеющих одинаковое количество основных и резервных столбцов и одинаковые по сложности переключатели (1]. Структурная модель адаптивной однородной ИНС первого типа, которую, также как в [ 1 ], обозначим 5Л (п,т, , изображена на рис. 1. А структурная модель адаптивной ИНС второго типа, обозначенная (п.т.т), представлена на рис. 2.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В отличие от [ 1 ], где вероятностью отказа системы контроля и переключения пренебрегали, в настоящей работе будем полагать, что надежность системы контроля и переключения конечная и учитывать ее при расчете надежности рассматриваемых адаптивных ИНС 8л(пд8)и5,(||,л1,1п) ,

В дальнейшем будем считать, что все элементы исследуемых структур ИНС (нейроны и переключатели) имеют отличную от единицы вероятность безотказной работы, поток отказов элементов нейронных структур является простейшим с параметром Я, отказы работающих функциональных блоков и переключателей обнаруживаются системой контроля и переключения сразу же после их возникновения, а время подключения резервного столбца вместо столбца с отказавшим ИН или соответствующего отказавшего канала передачи информации переключателя равно нулю. Отказы в резервных блоках, не включенных еще в состав рабочей структуры ИНС, не обнаруживаются системой контроля и перестройки и не приводят к их переключению, однако они уменьшают ресурс надежности соответствующей адаптивной ИНС. Отказ устройства контроля и переключения не вызывает немедленного отказа всей системы, но после его появления последующий отказ любого рабочего блока или переключателя приводит к появлению отказа на выходе нейронной сети.

С учетом сделанных предположений поведение нейронной сети 5л(п,т,5) описывается следующей системой дифференциальных уравнений

Рис. 1. Адаптивная однородная нейронная сеть 5А(п,ш,8):

^^ - ИН основных блоков ^^ - ИН резервных блоков

ф - Отказавший (7т). Переключатели

п основных блоков (столбцов) ИН.

• • •

• •

Рис. 2. Адаптивная однородная нейронная сеть 5А(п1ш,ш).

р;(0=«1-|Рм(0-АР.(0 {¡ = 1,2,...,т), (1)

р'„(1)=к-я [р0(0+р,(0+-+р™(0]-^р»(0.

где р,(0 - вероятность нахождения нейронной структуры в состоянии с / отказами в функциональных блоках ИН и переключателях; рк(г) - вероятность нахождения нейронной структуры в состоянии отказа системы контроля и переключения; Я - интенсивность отказов системы, состоящей из основного или резервного блока ИН и соответствующего канала переключателя; к' - коэффициент пропорциональности между Я и интенсивностью отказов системы контроля и переключения; а,0' = 1,2,...,ш-1) -интенсивность перехода нейронной структуры из состояния с (/-1) отказами в функциональных блоках ИН и переключателях в состояние с / подобными отказами; Д(/ = 0,1,...,т) - суммарная интенсивность перехода нейронной структуры из состояния с / отказами в функциональных блоках и переключателях в состояние с (1+1) аналогичными отказами, в состояние отказа системы контроля и переключения и в состо-

яние «гибели» нейронной структуры; = (а-т)Л -интенсивность перехода нейронной структуры из состояния отказа системы контроля и переключения в состояние «гибели» нейронной сети 5л(л,т,5).

Система дифференциальных уравнений, описывающая поведение нейронной сети 8А(п,т,т), по форме совпадает с системой (1) и отличается от нее, в общем случае, лишь интенсивностью перехода из состояний с (М) - отказами в функциональных блоках ИН и переключателях в состояния с / подобными отказами, которую обозначим а' = к1г(а - ¡)Л, где к1г -коэффициент, учитывающий часть из общего числа /-кратных отказов рабочих блоков ИН, приводящих к переходу 5л(п,л1,т) из работоспособного состояния с (М) отказами в работоспособное состояние с /отказами, при условии, что конструкция переключателей нейронной структуры, являющихся ИН без пресинаптического взаимодействия [1], обеспечивает возможность подключения резервных блоков ИН вместо не менее чем г (1 ^ г й т) расположенных подряд отказавших рабочих блоков ИН.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Таким образом, в зависимости от конструкции нейронной сети 5а(л,ш,ш) и переключателей

определение коэффициентов к1г сводится к решению следующей комбинаторной задачи: найти число расстановок 1 единиц на а местах таких, что в каждой расстановке нет г+1 подряд стоящих единиц.

Искомое число расстановок обозначим . Тогда

(2)

где С'а - число сочетаний из а по 1.

Для нахождения вида /Да,!') при любых а,1,г воспользуемся методом производящей функции [6,7]. Нетрудно получить рекуррентную формулу д ля произвольного г

/ДаЛ) = /Да-М)+/,(а-2Л-1)+--+/,(а-г-М-г)

и составить производящую функцию в виде

П(х.у)=£ ¿/,МгУ. (3)

а=1 '=1

Ид

ту, если а = (г + 1)1'1 V а 1, гу+1, если а = (г+1)у + 1, гу + 2, если а = (г+1У + 2,

гу + г, если а = (г + 1У + г, у>0. После суммирования выражение (3) принимает

вид

Р(х у): 1 | 1 + *У + *У+- + *У Л У' 1-Х 1-х(1 + Ху + ХУ+- + Х'у')

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Разложив Рг(х,у) в ряд по степеням х, у, получим коэффициенты при х"у' , которые представляют собой искомую функцию /'Да,!') . После проведения всех преобразований имеем

(а-1 + 1)/ Хг'Ъ'- Хгп'

х, + х2 + ■ ■ ■ + хг+, = а -1 +1 х, +2х2 +-+ГХ, = /

(4)

§

и равно С,. Обозначим через „ (/) число неотрицательных целочисленных решений уравнения (5) с ограничениями (6) при/е^ + уДу + Оя+у], V = ОД,..., [в(д -1)/ (я+1)], где [?] означает целую часть от д.

Поскольку в каждой д группе нейронной структуры 5А (л,т,в) содержится в резервных блоков, то целесообразно уравнение (5) привести к виду

X, +Х2+-- + Х, = ув + к,

(7)

Тогда решение поставленной задачи нахождения <1Я(1) сводится к нахождению рекуррентной формулы для ¿„.Д/) из уравнения (7).

Опуская промежуточные вычисления, приведем окончательное выражение

НО при </,,(/)=с<;;_„

(=1

{у, если к^у, V-1,если к<у,

а /(£) определяется следующим образом:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

/•(£)= 11С'Я 2 ¿ч-ы^з + Ь-Ъ-Ъ-----л)+

<Р1*<Рг*-*Ч>1

Лс<

21

+ к-2<Р1-<Рг-----' •'

2р, +<р 2 + ••• + ?>,_, =£в + а)2

■Ла

Л

Е <*,-<...(<.))(«+ 2-----<Р,-1)+'

¡* 1

Производя непосредственный расчет по формулам (2) и (4), легко получить неравенства к„ <к12< ■■ <к1г < - <к1т, справедливые для любого

Найдем теперь алгоритм для вычисления интен-сивностей переходов Д (о</:£га). Из анализа частных случаев следует, что

Д=|/,(/)[(а-/)+/ф ,

где </,(/) - количество всевозможных комбинаций из ¡<,т отказов в дгруппах нейронной сети 8К(п,т,$) при условии, что в каждой группе число отказов не превышает 5.

Отсюда следует, что есть число неотри-

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

цательных целочисленных решений уравнения

х,+х2 + ■■■ + хч = 1 (0йiZm = qs), (5)

при ограничении

05X^5 ] = , (в)

где х, - число отказавших блоков в уй группе нейронной сети 5л(п,ш,8). Число всех неотрицательных целочисленных решений уравнения (5) известно [6]

И1-]

=в+1

и(е.]) = [(у* + к-ш-----ф ,.,«)/*]

Интенсивности переходов а, нейронной структуры 5л(п,п1,я) могут быть получены следующим образом. Поскольку каждое решение (х,,х2,...,хч) уравнения х,+х2+■■•+х(1 = 1-1 (1^/^® ) порождает дрешений уравнения х1+хг+-- + хя=1 по схеме

1),

то для / = 1,2,.имеем

а,= X /•(х1,хг,...,х,7)

где /(х1Г...,х„)=л£ кХ1Г(а/д-ху) ( 1<,г<т/Ч ),

В случае если ¡>б , получаем О £ х, £ в,

Зная интенсивности переходов нейронных структур 5А(п,1л,в) и ЯА (п, ш, ш), перейдем к исследованию их среднего времени «жизни», используя в качестве основной математической модели систему уравнений (1).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В силу принятого предположения о простейшем потоке отказов в рассматриваемых ИНС, то есть о выполнении условий стационарности, ординарности и отсутствия последействия, поведение нейронной структуры (я,ш,®) после отказа е-то (15 £ 5 т -1) рабочего блока ИН и замене отказавших резервными можно описать следующей системой уравнений, полученной из системы (1) путем смещения начала отсчета времени в точку г = Т0 +■ Т, + • ■ •+Тм,

Р;ло=-АР«Л»Х

РЛ0 = «ы РмЛО-ААЛО 0=< + М + 2,...,ш ), (9)

р;.< (0=^ я \ри (о+Рм>| (о+■ ■ ■+(0]- Р р*.« (0.

с начальными условиями

р,., (0) = I, р,+, г(0) = Р((0) = - = р„,г(0) = р„,,(0) = 0.

Решение системы уравнений (9) имеет вид:

р,,,(/) = ехр(-/?Д (10)

Рм(0=«Р(-А0

П СЛ.-А)

«У* г

(11) (12)

гАе В..,=П»/'

м

+ £; вм£ «р(-А0[0»-А)П (а-А)Г Ь (13)

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

где

с^^-АГ'+^в.Х [{р-рж)й (А-А)/'- (14)

Т,=]р.ло«+1:

о 1=' о

После преобразований имеем

Л /=<+1 »=(

АП (А-А)

(16)

Используя выражения (10)+(14), нетрудно вычислить среднее время работы нейронной структуры 5а(п,л1,5) между (-к (е +1) -м отказами по формуле

(15)

Проведя аналогичные рассуждения для нейронной структуры вА (п,ш,5), легко можно получить выражение для среднего времени ее работы Т/ между е - и (? + 1)-м отказами. Очевидно, что Т," по форме совпадает с Т, и отличается от последнего лишь членом

в;,=п «;■

м

В связи с тем, что разность среднего времени «жизни» нейронных структур (п,т,в) и 5л(п,га,т) равна

т-г = £ (т(-т;),

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

г=о

то для определения наилучшей нейронной сети по данному параметру следует сравнивать лишь Т, и Т'.

Анализ показал, что знак разности Т, - Т(* зависит лишь от знака разности В,, - В* , и находятся в прямой зависимости от способа включения резерва и значений аиш у соответствующей нейронной структуры. В связи с тем, что аналитический анализ разности В(, - В), для произвольных по способу включения резерва нейронных структур не представляется возможным ввиду его громоздкости, следует использовать для этой цели ПЭВМ и приведенные выше расчетные соотношения для вычисления а{, а, и ки .

Библиографический список

1. Потапов В.И., Потапов И.В. Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными// Омский научный вестник.-2001 .-Вып. 18.-с.135-138,

2. ПрангишвилиИ.В., Абрамова И. А. идр. Микроэлектроника и однородные структуры для построения логических и вычислительных устройств. - М,: Наука, 1967.-228с.

3. Потапов В.И„ Пальянов И. А Построение проверяющих тестов для пороговых элементов. // Изв. АН СССР, Техническая кибернетика. - 1973-№4-с.140-147.

4. Потапов В. И., Пальянов И. А. Диагностика неисправностей пороговых элементов. // Изв. СО АН СССР. Сер.технических наук,- 1976-вып.2.-№8-с. 126-133.

5. Потапов В.И., Потапов И.В. Построение проверяющих тестов для искусственных нейронных сетей без обратных связей и монофункциональных и многофункциональных искусственных нейронов // Омский научный вестник.-2003.-№ 1 (22).-с. 106-109.

6. РиорданД. Введение в комбинаторный анализ.-М.:ИА, 1963,-287с.

7. Кофман А. Введение в прикладную комбинаторику.-М.:Наука, 1975.-479с.

ПОТАПОВ Виктор Ильич, доктор технических наук, профессор, заведующий кафедрой информатики и вычислительной техники.

ПОТАПОВ Илья Викторович, аспирант кафедры информатики и вычислительной техники.

3 г

I

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.