Вероятностные модели для исследования и расчета функциональной надежности избыточных искусственных нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.052 и. В. ПОТАПОВ

Омский государственный технический университет

ВЕРОЯТНОСТНЫЕ МОДЕЛИ ДЛЯ ИССЛЕДОВАНИЯ И РАСЧЕТА ФУНКЦИОНАЛЬНОЙ НАДЕЖНОСТИ ИЗБЫТОЧНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ_

В работе рассматриваются математические модели для расчета вероятности безотказной работы и среднего времени «жизни» искусственных нейронных сетей произвольной конфигурации с аппаратурной и логической избыточностью.

Введение

Известно, что для повышения функциональной надежности искусственных нейронных сетей (ИНС) используют раздельно или в различных сочетаниях аппаратурную, временную и информационную избыточность [ 1 ], а также логическую избыточность искусственных нейронов (ИН) сети (2], которыепо своей природе являются многофункциональными за счет целенаправленного изменения весов входов V?. и порогов срабатывания Т„. Все это создает определенные трудности в решении проблем построения математических моделей избыточных ИНС, удобных для исследования и расчета их функциональной надежности.

В работе приводится метод построения вероятностных моделей аппаратурно и логически избыточных искусственных нейронных сетей, который для случая марковских процессов, протекающих в ИНС, дает возможность достаточно просто описать поведение искусственной нейронной сети со случайным потоком отказов с помощью аппарата обыкновенных дифференциальных (в предельном случае - линейных алгебраических) уравнений и выразить в явном виде основные надежностные характеристики (вероятность безотказной работы, среднее время «жизни», готовность ИНС и другие), либо в численном виде при решении системы уравнений, описывающих поведение ИНС, на современных профессиональных ПЭВМ.

Вероятностная модель

избыточной, адаптивной к отказам нейронов, искусственной нейронной сети 5л

Адаптивной или восстанавливаемой ИНС, будем называть такую нейронную сеть 5А, у которой в процессе работы производится целенаправленное изменение параметров нейронов (весов входов мл и порогов Т,.), преследующее цель стабилизировать работу, нейронной сети, то есть восстановить реализуемую сетью заданную в процессе обучения (настройки) выходную функцию далее Р(Х), где х,.(( = 1,2,...,£)- входные переменные сети, при наличии внутренних и внешних дестабилизирующих факторов, например отказов ИН сети, обрыва связей между ними и др.

При этом процесс адаптации может осуществляться либо дифференцированно, путем целенаправленного изменения параметров у отдельных нейронов сети, либо интегрально, путем одновременного изменения параметров (например, порогов) у некоторой части или у всех ИН сети и выборе такого сочетания регулируемых параметров нейронов, которое при наличии отказов нейронов и связей между ними обеспечивает восстановление функциональных возможностей и реализацию нейронной сетью заданной при настройке функции Р(Х).

Дифференцированный метод адаптации нейронной сети в принципе позволяет использовать все заложенные в нее при построении ресурсы структурной, логической и функциональной избыточности. Однако практическая реализация этого метода в настоящее время достаточно сложна.

Интегральный принцип адаптации не позволяет полностью использовать весь, заложенный при проектировании запас структурной и логической избыточности для повышения функциональной надежности сети 5Д, но зато его практическая реализация значительно проще, чем принципа, основанного на индивидуальном изменении параметров ИН [3].

Ниже излагается в общем виде метод построения вероятностной модели для расчета функциональной надежности адаптивных ИНС произвольной конфигурации без ограничения принципа адаптации. Поэтому такой метод может быть использован для расчета надежности нейронных сетей с интегральной (коллективной) и с индивидуальной адаптацией ИН к возникающим в сети 5л отказам.

Пусть л — количество всех возможных одиночных отказов у ИН, входящих в сеть 3А. Процесс возникновения отказов пуассоновский с параметром Я.

Будем обозначать состояния "жизни" адаптивной нейронной сети 5Д символами Е]у, где 1 - число отказов у ИНсети (7 = 0,1,... г- 1),а и- номер набора параметров ( и Ту нейронов сети (у = 1,2,... д). Начало отсчета наборов параметров ИН сети выбирается произвольно, но логично номер у = 1 присваивать такому набору, который имел место у нейронов сети после обучения в начальный момент времени г = 0. Следующие за этим набором в естественном порядке другие наборы параметров нейронов, обеспечивающие функциональную устойчивость сети Бл, обозначаются следующими по порядку номерами V =2, 3,...

Рис. 1. Полный граф переходов адаптивной искусственной нейронной сети.

Состояния адаптации нейронной сети 3А (восстановления функциональных свойств сети, заданных при настройке), характеризующиеся перестройкой параметров ИН, обозначим Ет, где 1 — число, указывающее количество имевших место отказов в сети в предыдущем состоянии "жизни" (7 = 0,1, ...г—2). Состояние "гибели" обозначим символом Е,.

Адаптивная сеть БА из состояния "жизни" Я(1, {¡ = 0, 1,... г— 2; у = 1, 2,... д) в зависимости от вида очередного 7 + 1 -го отказа может перейти либо непосредственно в новое состояние "жизни" Е(+1 г, либо через состояние адаптации Е10 - в одно из следующих состояний "жизни" Е1+1 (v* = 1, 2, ... д; у* фу) либо в состояние "гибели" Ег. Из состояний "жизни" Ем г ( у= 1, 2, ... д) сеть БА может перейти только в состояние "гибели" Ег.

Будем считать, что интенсивность восстановления работоспособного состояния нейронной сети БА после отказов ц — является постоянной для любого состояния Ею (/ = 0, 1,... г— 2).

Введем обозначения: к^.к^к^к',?-" (1 = 0,1,..., т-2,у = 1,2,...,д) — коэффициенты, указывающие какая часть из (7+ 1)-кратных отказов переводит сеть 5'д, соответственно, из состояния Е)г в состояния Е1+, , Е10, Ег и из состояния Е10 в состояние Я, +

Очевидно, что для каждого (7, у)-го набора имеет

место условие нормировки к!*,,у + к]° + = 1 ,

Граф переходов из одного состояния в другое нейронной сети 5а представлен на рис. 1. У дуг графа обозначены интенсивности соответствующих переходов.

Обозначив р(1, - вероятность нахождения ИНС в соответствующем Е1г состоянии "жизни", рш- вероятность нахождения нейронной сети в соответствующем Ею состоянии адаптации, р- вероятность нахождения сети в состоянии "гибели" и проведя обычные рассуждения [4], можно составить систему диф-

ференциальных уравнений состояния адаптивной ИНС5Л: (1)

Рш(0 = -пДрО1(0,

/ = 1,2,..., г —1, и = 1,2, ...,д 7 = 0,1,..., т-2

р;(0=1Ё к,(п-1)АР1м+рг,

Ы О 1=1

с начальными условиями р0|(0)=1, р,Д0)=0

(15 £ ^ г -1,1 < V < д), р,и(0)= 0 (0<е<г-2).

Общее число уравнений в системе (1) равно [7у + (г-1)+2]. Из совместного решения первых (¡у + г) уравнений определяется вероятность нахождения сети Бл в состоянии "жизни"

^)=Ро,(0+1 ¿МО,

(=1 1=1

и вероятность нахождения сети в состоянии адаптации

ыо

а из последнего уравнения определяется вероятность "гибели" сети рД() .

На практике при расчете надежности адаптивных сложных со конфигурации, содержащих большое

Рис.2 Упрощенный граф переходов адаптивной искусственной нейронной сети.

число нейронов, ИНС в соответствии с системой уравнений (1) возникают технические трудности, связанные с большой трудоемкостью при определении коэффициентов ,к'ю'", и усложняется процесс расчета функциональной надежности сети 5Д, что является следствием большой детализации рассмотренной модели состояний нейронной сети, приводящей к значительному увеличению числа уравнений в системе (1).

Количество состояний адаптивной нейронной сети 5Д а следовательно, указанных выше коэффициентов и дифференциальных уравнений, может быть значительно уменьшено, если построить модель адаптивной ИНС, в которой отдельно не учитывать вероятности нахождения сети 5Л с 7 отказами (/ = 1,2,..„г-1) в каждом из состояний, характеризуемых V -ми (у = 1,2,...,д) наборами параметров искусственных нейронов, а учитывать их интегрально, оставив в модели адаптивной ИНС лишь вероятности нахождения ее в состояниях, характеризуемых наличием 7 отказов в нейронной сети. При таком условии каждые д состояний Е„,Е,2.....Е„ (7 = 1,2,..., г-1) сети объединяются

водно Е, - состояние "жизни" с 7отказами.

Обозначив теперь состояния адаптации нейронной сети Ба символами Е( ы , а состояние "гибели", как и прежде, - Ег, получим новую, более простую, модель переходов адаптивной ИНС 5А, представленную графом на рис. 2, с указанием у дуг графа соответствующих интенсивностей переходов из одного состояния в другое.

Смыслновыхкоэффициентов к, и к' (7 = 0,1,...,г-2) нетрудно понять из сопоставления графовых моделей на рис. 1 и рис.2:

к/ - ¿^ь- < К =

Вероятности нахождения адаптивной ИНС в состояниях Е, и обозначим соответственно ру({) и Р(.м(0- Тогда система дифференциальных уравнений, описывающих поведение для указанных на графе (рис.2) состояний адаптивной нейронной сети Бл запишется в следующем виде

р;(0=-плр„(0,

р](() = к,_,(п - 7 + 1)Яр,_1(/)+/Фм ,(г)-(л - /)Ар,(0,

7 = 1,2.....г-1, (2)

Рлы (') = *,' (п-1)Яр,(0-мр,)+1 (<),

7 = 0,1, ...,г~2

р;(0 = 1(1 -к,-к;Хп- 1)хр,{I)+р (7), 1=0 '

с начальными условиями р0 (0 )= 1, р,(0)= 0 (1< С < г-1), р,.,+1(0) = 0 (0 < £ < г - 2) .

Данная система (2) содержит 2туравнений. Из совместного решения первых (2г-1) уравнений определяется вероятность нахождения сети 5Д в состоянии "жизни"

^(0=Ро(0+Х>,(0.

(=1

и вероятность нахождения сети в состоянии адаптации

ыа

а из последнего уравнения определяется вероятность ее"гибели".

При расчете вероятности безотказной работы и вероятности нахождение нейронной сети 5л в состоянии адаптации следует пользоваться стандартными программами для решения систем линейных дифференциальных уравнений.

При изложении метода расчета надежности адаптивных ИНС молчаливо полагалось, что вероятность отказа системы контроля и адаптации равна нулю. Такое предположение справедливо в том случае, когда сложность структуры нейронной сети, обслуживаемой системой адаптации, не менее чем на порядок превышает сложность последней. В противном случае конечная надежность системы контроля и адаптации должна учитываться.

Процесс адаптации, как указано выше, сводится к соответствующему изменению параметров у ИН сети. Изменение производится до тех пор, пока не будет найден набор параметров, обеспечивающий заданное при обучении функционирование сети при наличии накопившихся к этому времени отказов, либо нейронная сеть перейдет в состояние "гибели".

По найденным из системы уравнений (2) значениям р,(0> 7 = 0,1,..„г-1 можно рассчитать по известным правилам (5] среднее время "жизни" адаптивной искусственной нейронной сети 5л:

г-1

т=1т„

ыо

где Т, - среднее время работы нейронной сети между ¡■м и (1 +-м отказами искусственных нейронов.

Не представляет сложности определить готовность, т.е. вероятность нахождения рассматриваемой ИНС Бл в работоспособном состоянии, из формулы:

, (3)

/=0

и среднюю готовность нейронной сети 5Д за время работы 0 < г, равную

, (4)

° ыо

а также другие надежностные характеристики адаптивной искусственной нейронной сети 5А.

Вероятностная модель

избыточной искусственной нейронной сети

В данном разделе работы рассматривается аппа-ратурно избыточная (например, функционально устойчивая логически стабильная к отказам ИН [6]) искусственная нейронная сеть 5В при условии, что после обучения (настройки, синтеза) в процессе работы конфигурация нейронной сети и параметры искусственных нейронов (веса входов wj и пороги срабатывания Ту) целенаправленно не изменяются. В процессе функционирования ИНС 5В, входящие в нее нейроны, а также входы и выходы ИН подвержены случайным изменениям (обрывам, коротким замыканиям, параметрическим отклонениям уг] и ит.п ) под воздействием внешних или внутренних факторов, что может привести к изменению конфигурации сети, логики работы отдельных групп нейронов, к параметрическим и катастрофическим отказам отдельных ИН, а в конечном итоге - к отказу нейронной сети 5В в целом, то есть к прекращению выполнения сетью заданных при настройке функций.

Таким образом полагаем, что избыточная искусственная нейронная сеть 5В функционирует безотказно до тех пор, пока в результате накопления в ней отказов ИН и связей между ними не будет израсходован соответствующий ресурс ее надежности, заложенный в процессе формирования архитектуры и обучения (настройки) сети.

Построение математической модели для анализа и расчет функциональной надежности ИНС 5В будем вести исходя из аналогичных сделанным выше предположений. Любая нейронная сеть 5В, предназначенная для реализации функции р(х1,ж2,...,х{), состоит из Л/искусственных нейронов произвольного типа и сложности, отказы которых равновероятны, статистически независимы и имеет место экспоненциальный закон распределения времени между отказами.

Под действием очередного отказа ИНС 5В переходит из состояния с большим ресурсом надежности либо в состояние с меньшим ресурсом надежности, либо в состояние отказа. Обратные переходы невозможны, так как по условию задачи интенсивность восстановления р = 0 для рассматриваемой модели ИНС 5В. Сделанное предположение о простейшем потоке отказов ИН в нейронной сети справедливо для внезапных отказов в период нормальной эксплуатации и соответствует современной доктрине теории надежности.

Пусть п - количество всех возможных одиночных отказов у N нейронов сети 5В, не приводящих либо приводящих ИНС к отказу в указанном выше смыс-

ле. Такая сеть может находиться в конечном числе состояний (соответственно числу отказов) Е„, £,,..„ Е,,..., Ег, (г<п),гье через Е, обозначено состояние, в котором у нейронов сети имеется 7 отказов.

Состояние Е0, £,,..., Ег_, назовем состояниями "жизни" , так как, находясь в любом из них, сеть без ошибок, оговоренных при обучении (настройке), реализует заданную функцию Р(Х). Состояние Е, будем, как прежде, называть состоянием "гибели", если находящаяся в нем сеть 5|( реализует функцию Е'рО значение которой выходит за установленные при обучении (настройке) допустимые пределы, на одном или нескольких наборах значений входных переменных {х1,х2,...,хе}.

В соответствии со сделанными ранее замечаниями поведение рассматриваемой нейронной сети, описываемое марковским процессом, характеризуется следующим образом. Если в момент времени < сеть 5В находится в состоянии Е, [1 < г-1), то за последующий промежуток времени (Ц она с вероятностью рп=к1(п-1)А(11 может перейти в состояние Ем (то есть у нейронов сети произойдет еще один отказ, не приводящий к "гибели" сети 5В), с вероятностью рп = | = (1-к,)(п-1)Л<Н можетперейти в состояние "гибели" Ег невероятностью р13=1-(п-1)Я<И может остаться в состоянии Е, Перечисленные вероятности переходов ИНС составляют полную систему собы-

3

тий, то есть = 1. ы

Если же в момент времени (нейронная сеть находится в состоянии Ег_,, то за последующий промежуток времени <Н она с вероятностью рг.и = кг^х х(п-г + \)А может перейти в состояние "гибели" Ег и с вероятностью Р,-|,2 = 1- (п-г +1)1 остаться в состо-2

янии Ег_,. При этом =1.

В приведенных обозначениях: Я - интенсивность отказов компонентов нейронов сети 5В, а Тс, - коэффициент, показывающий какая часть из общего числа всех (1 + \) - кратных отказов переводит сеть 5В из состояния "жизни" Е, в состояние "жизни" Еы . То

есть к, = 7 = 0,1,..., г -1, где т, - количество откажи

зов кратности 7 + 1, переводящих нейронную сеть из состояния Е, в состояние Ем, а С^*' - число сочетаний из л по 7+1. Очевидно,что 0 < к, <1 для 7 = 1,2,..., г-2, а 7сг_, = 0, поскольку = 0.

Обозначив через р¡(1) вероятность нахождения ИНС 5В в состоянии Е, (1 = 0,1,...,г), легко построить граф состояний, описывающий поведение рассматриваемой нейронной сети 5В, который представлен на рис. 3. У дуг графа указаны интенсивности переходов из одного состояния в другое.

Система дифференциальных уравнений состояния нейронной сети 5В запишется в следующем виде:

р;(0=-лАро(0, Р; (0 = V, (л-7 + 1)Лрм(0-(п-0М(<), (5) 7 = 1,2,...,г-1,

)=0

Начальными условиями при решении системы уравнений (5) являются

Рис. 3. Граф переходов искусственной нейронной сети.

р„(0)=1, р,(0)=р2(0) = ... = рг(0)=0.

(6)

Решая систему уравнений (5), можно легко определить Р(£) - вероятность безошибочной реализации нейронной сетью требуемой функции 5(Х) (вероятность безотказной работы) за время то есть вероятность "жизни" сети

р(0=р„(0+1 Р,( о

1=1

и вероятность "гибели" сети за время f

О(0 = Рг (0=1" Р^-

Решение системы уравнений (5), ввиду ее простоты, при начальных условиях (6) может быть представлено аналитически следующим образом:

Ро(0 = е

■л Xt

/-1 I I -(n-m)AI

Р|(0=*.*,...*мП ("-Ol П -—-

1=0 т=0 1=0 т

(7)

т=1

Л

< г-1 1-1 I

1 + £ П *(п-/)Х

(л-т)П (m~j)

j=t>

7 = 1,2_____г-1

Используя систему (7), можно легко рассчитать для любого (функциональную надежность ИНС 5„, то есть вероятность достоверной реализации заданной функции Р(Х) нейронной сетью при наличии отказов кратности 1 < I < г-1.

Пользуясь известными в теории надежности методами [5], можно получить, используя систему (7), аналитическое выражение для определения среднего времени "жизни" неадаптивной ИНС 5В любого типа и конфигурации

справедливое для любого г, а также формулы для готовности К,SB (t) и средней готовности Ккп(в) по аналогии с (3) и (4) соответственно.

Библиографический список

1. Галушкин А.И. Теория нейронных сетей. Нейрокомпьютеры и их применение.-М.:ИПРЖ Радиотехника.-2000. — 416с.

2. Потапов В.И., Потапов И.В. О логической избыточности функционально устойчивых сетей искусственных нейронов// Омский научный вестник.-2001. — Вып. 15. — С. 90-91.

3. Потапов В.И., Потапов И.В. Отказоустойчивые нейроком-пьютерные системы на базе логически стабильных искусственных нейронныхсеггей//Омскийнаучныйвестник. —2004. —№3(28). — С. 119-123.

4. Райкин А.Д. Вероятностные модели функционирования резервированных устройств, — М.: Наука, 1975. — 254 с.

5. Козлов Б А, Ушаков И. А. Справочник по расчету надежности аппаратуры радиоэлектроники и автоматики. - М.: Сов. Радио, 1975. - 472 с.

6. Потапов В.И., Потапов И.В. Математические модели, методы и алгоритмы оптимизации надежности и технической диагностики искусственных нейронных сетей. — Омск: Изд-воОГУП, 2004. — 220 с.

ПОТАПОВ Илья Викторович, кандидат технических наук, доцент кафедры информатики и вычислительной техники.