Разработка комплекса программного обеспечения для исследования и оптимизации надежности структурно однородных искусственных нейронных сетей на ПЭВМ Текст научной статьи по специальности «Математика»

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ

УДК 004.4:004.032.26:004.052 И. В. ПОТАПОВ

М. В. КУЗИН

Омский государственный технический университет

РАЗРАБОТКА КОМПЛЕКСА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ ИССЛЕДОВАНИЯ И ОПТИМИЗАЦИИ НАДЕЖНОСТИ СТРУКТУРНО ОДНОРОДНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ НА ПЭВМ

В статье представлена разработка комплекса специализированного программного обеспечения для решения фундаментальных задач оптимизации надежности и противоборства «стареющих» однородных искусственных нейронных сетей. Приведены основные модели и постановки решаемых задач.

Работа выполнена при поддержке гранта Президента РФ N9 МК-7420.2006Л и гранта РФФИ № 0&47-8?013-а.

Введение

Искусственные нейронные сети (ИПС) по своей организации могут обладать двумя важными качествами: структурной однородностью и, как и их биологические прототипы, различными видами избыточ-

ности, которые могут быть использованы для повышения надежности их функционирования. Для повышения отказоустойчивости технических систем обычно используются следующие виды избыточности: функциональная, структурная (аппаратурная) и временная. Можно утверждать, что все перечислен-

ОМСКИЙ НАУЧНЫЙ МСТИИК № 2 (S6) 2007

ные виды избыточности в той или иной мере свойственны нейросетевым вычислительным системам. Более того, все эти виды избыточности взаимосвязаны друг с другом. Так, например, функциональная и временная избыточности могут являться следствием структурной избыточности. Исследования показывают. что основным видом избыточности, присущим ИНС, является структурная избыточность. Поэтому в качестве универсального метода повышения надежности их функционирования следует рассматривать структурное резервирование.

В работах [ 1 — 4] даны постановки и решения (приведены подробные алгоритмы, реализуемые на ПЭВМ) фундаментальных задач оптимизации резервирования структурно однородных адаптивных к отказам ИНС ненрокомпыотерных систем (ИКС) с замещением отказавших нейронных блоков резервными при различных условиях функционирования, вт.ч. в режимах «старения» и противоборства, характеризующихся изменяющимися во времени интенсивностями отказов. Вследствие большой сложности объекта исследования, решение указанных оптимизационных задач ориентировано на использование ПЭВМ. В настоящее время на кафедре Информатики и вычислительной техники ОмГТУ ведется разработка комплекса специализированного программного обеспечения, предназначенного для исследования и оп тимизации надежности однородных «стареющих» нейронных структур и решения задач противоборства.

Базовая модель

В качестве основного Объекта исследования рассматривается модель многослойной многовыходной структурно однородной ИНС 5Л иейрокомиыотерной системы с замещением отказавших нейронных блоков резервными [ 1 ], состоящей из п основных и ш резервных (п 4- т = а) блоков искусственных нейронов (ИН), разбитых на я групп по п,,пг,...,п(| (п, £ 1) основных и .....вч резервных нейронных блоков, при

этом замещение основных блоков с отказавшими ИН резервными возможно только внутри своей группы. Потоки отказов в группах основных нейронных блоков являются нестационарными нуассоновскими потоками с интенсивностями *.,(1), ; резервным

нейронным блокам ИНС соответствует интенсивность отказов >.„(1). Таким образом, при рассмотрении «стареющих» ИНС предполагается, что >.,(1), (О < 1 < я) являются возрастающими функциями времени, а на этапе нормального функционирования ИНС Яд, характеризующегося постоянными во времени интенсивностями отказов, Х,(1) = \,. В общем случае нейронные блоки 1-й группы восстанавливаются после отказа с ин тенсивностью д,(1), 1 $ 1 < я.

Обозначим п = (п,)а — вектор основных нейронных блоков; в = (й,)ч — вектор резервирования; Х(0= = (Х,Щ,., — вектор интенсивностей отказов; ц(0 = = (ц,(0),, - вектор интенсивностей восстановле-ния; Р^; 1| - вероятность безотказной работы нейронной сети к моменту времени I; Т[б) - среднее время работы И НС до отказа, г.е. среднее время «жизни» рассматриваемой ИНС.

Обозначим целочисленное множество

Вероятностная модель функционирования такой ИНС определяется системой дифференциальных уравнений

S(m) = (s|^s, =m; s, £0}.

~~~ P(l) = D% [s,?.(t).n(t)|p(t), at

(1)

-D, м 0 ... 0

А, -Da м ... 0

0 Aj -D, ... 0

0 0 0 • > . 1 -Dm.t

Отказоустойчивую ИНС рассматриваемого типа обозначим

sA(q.n,s.>.(t),n<t)).

где p(t) — вектор вероятностей нахождения системы в момент времени t в состояниях с к (о < к s m) отказавшими нейронными блоками,

DsJs,X(t),M(t)l =

- матрица переменных коэффициентов дифференциальных уравнений, зависящих от вектора резервирования s(t), вектора интенсивностей отказов >.(t). вектора интенсивностей восстановлений ц(1) и распределения отказов в основных и резервных блоках ИН.

Задачи оптимизации резервирования ИНС

Первая часп. программного комплекса предназначена для решения следующих оптимизационных задач.

Задача 1. Вычислить вектор резервирования s е S(m), максимизирующий вероятность безотказной работы P(s; L) нейронной сети SA[q,n,s,X(t),n(t)l к моменту времени £,при заданных ограничениях на параметры и условия работы ИНС:

!Р |s;t,| —> max, seS(m).

Задача 2. Вычислить вектор резервирования seS(m), максимизирующий среднее время «жизни» T|sJ нейронной сети SiN[q,n,s,X(l),n(t)j при заданных ограничениях:

(T(s]~>max. ssS(m).

Задачи 1 и 2 являются задачами целочисленного программирования, поскольку они сводя тся к вычислению целочисленного вектора s є S(m), лежащего в гиперплоскости s, + s2 + ... + sq = m с выделенной областью s, 2 0,1 < і <; q, максимизирующего в зависимости от поставленной задачи P|s; tj илиТ[в]. Поэтому важной вычислительной задачей является отыскание всех целых неотрицательных корней уравнения. С целью сокращения перебора при решении данной подзадачи в [5] предложена методика определения искомых корней путем представления их в виде чисел в системе счисления с основанием (m + 1) и выполнения над ними ряда арифметических операций в этой системе счисления.

Для решения поставленных оптимизационных задач на ПЭВМ разработаны детализированные алгоритмы (1). При этом решение задач 1 и 2 для «стареющих» ИНС, характеризующихся возрастающими во времени интенсивностями отказов нейронных блоков, выполняется с использованием метода дискретизации путем замены функций специально подобранными кусочно-постоянными функциями.

Для структурно однородной ИНС с динамическим резервированием, т.е. для такой ИНС. в процессе

работы которой вектор резервирования целенаправленно изменяется, и производится перераспределение резервных нейронных блоков между ч группами, решаются следующие две задачи.

Задача 3. Вычислить последовательность векторов резервирования 0£«>£{, мак-

симизирующих вероятность безотказной работы ИНС последовательно в заданные моменты настройки х,. т2.т,. ((> 1), т0 = 0, и в заданный момент време-

ни, ^ >т,.

Задача 4. Определить количество настроек ( ((> Ь), последовательность (т,,т2.....т,) моментов настройки и последовательность векторов резервирования я" з°в), отвечающих моментам наст-

ройки т „ (1 < (о < (), таким образом, чтобы вероятность безотказной работы ИНС в моменты настройки и в момент времени I,, 1г >т, были последовательно максимальными.

При решении задач 3 и 4 в отличие от задач 1 и 2 используется множество

где [X] - целое число, ближайшее к X; ]ГкРк „(О —

к-0

математическое ожидание количества блоков ИН, отказавших к моменту времени та; рк.в(0 - вероятность нахождения ИНС в момент времени 1 и1 в состоянии с к, отказавшими ИН.

Модель и задача противоборства (дифференциальная игра)

В развитие рассмотренных выше моделей можно предположить, что в особых условиях НКС (как разновидности интеллектуальных систем в области технологий двойного применения) могут оказаться способными вс тупать в противоборство между собой, и активно влиять на работоспособность противоборствующей стороны, например, путем целенаправленного воздействия, приводящего к росту интенсивности отказов компонентов (блоков ИН) НКС, т.е. в конечном итоге искусственно ускорял, процесс «старения» ИНС системы в своих интересах.

При постановке и решении задачи противоборства (игры) в качестве модели НКС. участвующих в игре, рассматриваются однородные избыточные восстанавливаемые ИНС Бд.

Пусть игрок 1 располагает ИНС Бд, а игрок 2 располагает ИНС Бд. Обе ИНС Бд (д = 1,2) являются восстанавливаемыми с одинаковыми для всех нейронных блоков интенсивностями восстановления ц '(1). Игрок 1 располагает множеством стратегий УУ1 = а игрок 2 располагает множеством стратегий V/2 = {з^.Х'.ц2}. где б4 - вектор резервирования д-то игрока; Xе «(ОД} ХОД...Л*(1)) - вектор

интенсивностей отказов в группах нейронных блоков ИНС БЦ.

Будем считать, что число групп нейронных блоков ИНС для игроков 1 и 2 одинаково, т.е. векторы б1 и б2 имеют одинаковую размерность я. Положим, что за время игры I, игрок д (д = 1,2) имеет право не более чем (1.51) раз (не считая момента I = 0) изменять вектор резервирования д9 управляемой им системы Б*. Вектор т’’ = = 0, х'( < I,, назовем вектором

настройкид-гоигрока.Обозначим р2(0 (0<к*т'Ч -

вероятность того, что в ИНС отказали к нейронных блоков. Будем полагать, что в процессе противоборства игрок 1 стремится максимизирова ть величину РЧО-Р2^,). являющуюся функцией платы, где

т*

I, - время окончания игры, Р'(0=Хр!!(0 - вероят-

»-о

ность безотказной работы д-й системы, а игрок 2 стремится минимизировать эту величину.

Вторая часть программного комплекса предназначена для решения следующей задачи.

Задача 5. Необходимо решить игру двух лиц с нулевой суммой при заданных ограничениях на стратегии (управления) игроков, функция выигрыша которой определяется с(г,,г2)= Р'(0- Р20,). ГЛС Л, е УН* -стратегия д-го игрока.

Используя систему дифференциальных уравнений (1), запишем дифференциальную игру между двумя нейрокомпьютерными системами в виде:

^р'м^'.тм’мЬчц

с11

1р’(1)=с1>и’«м'М]р'(0.

где р«(1) — вектор-столбец размерности (т‘7 +1); 0'^А1 — определенная выше матрица коэффициентов системы дифференциальных уравнений размерности

(тч + |)х(т* + 1).

Рассматриваемая дифференциальная игра двух иейрокомпыотерных систем с учетом всех ограничений и заданной точности изменения управлений игроков методом дискретизации сводится к матричной игре, имеющей нормальную форму. Решение игры находится в смешанных стратегиях методом многократного разыгрывания, легко реализуемым на ПЭВМ.

Заключение

Поскольку ИНС являются устройствами с массовым параллелизмом и допускают наращивание своих вычислительных возможностей за счет объединения отдельных блоков в единую сеть, нейрокомпьютеры при выполнении задания могут обладать большой временной избыточностью. Поэтому в настоящее время ведется также разработка третьей части программного комплекса, предназначенной для исследования и оптимизации надежности НКС с временным резервированием.

Основные вероятностные модели безотказного выполнения задания НКС с временным резервированием для необесценивающих и обесценивающих моделей отказов в общем виде могут быть представлены следующими интегральными уравнениями:

Р„(1Л)=1-К1.)+1 м, -т,1р-е)<1Р,(о)<и*),

о о

4л)'г'

Ри(1Л)=1-Р(0+ \ /рДм.-т-о^^т),

о о

где I, - минимально необходимое при отсутствии нарушений работоспособности время выполнения задания; ^-дополнительно выделенное для решения задачи резервное время (временная избыточность); р(1) -функция распределения наработки НКС без резерва времени между соседними отказами (предполагается, что наработка до первого нарушения работоспособности (отказа) ИНС нейрокомпыотерной системы и

между соседними отказами распределена одинаково); Ри(1) - функция распределения времени восстановления работоспособности ИНС нейрокомпыотерной системы, не зависящая ни от количества отказов в прошлом, ни от времени работы системы с момента предыдущего отказа.

Библиографический список

1. Потапов В.И., Потапов И.В. Теоретические основы диагностики и оптимизации надежности искусственных нейронных сетей.—Омск: Изд-во ОмГТУ, 2004. - 152 с.

2. Потапов В.И.. Потапов И.В. Оптимизации функциональной надежности избыточной восстанавливаемой после отказов нейронов «стареющейи искусственной нейронной сети//Ин-формационные технологии. — 2004. — N«12. — С.32 - 37.

3. Потапов. И.В. Решение задач оптимизации надежности аппаратурно-избыточных отказоустойчивых однородных искусственных нейронных сетей//Известия вузов. Сев -Кавк. регион. Технические науки. - 2005. - N9 4. — С.24 - 26.

4. Потапов В.И., Потапов И.В. Противоборство (дифференциальная игра) двух нейрокомпьютерпыхсистем//Информаци-онные технологии. — 2005. - N■>8. — С.53 - 57.

5. Кузин. М.В. Оптимизация поиска всех решений диофан-товд уравнения//Современные технологии в науке, образовании и практике: Материалы V Всероссийской научно-практической конференции (с международным участием).-Оренбург: ИПК ГОУ ОГУ. 2006 —С.73 —76.

ПОТАПОВ Илья Викторович, кандидаттехнических наук, доцент кафедры информатики и вычислительной техники.

КУЗИН Михаил Валерьевич, магистрант, кафедра информатики и вычислительной техники.

Статья поступила 8 редакцию 15.02.07 г.

© И. В. Потапов, М. В. Кузни

УДК 004.052.32:004.032.26 0. И. ПОТАПОВ

И. В. ПОТАПОВ

Омский государственный технический университет

ОЦЕНКА ПОЛНОТЫ ТЕСТОВОГО КОНТРОЛЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ

С использованием методов теории информации в работе получен критерий оценки полноты тестового контроля искусственной нейронной сети нейрокомпыотерной системы.

Работа выполнена при поддержке гранта Президента РФ № МИ-7420.2006.8 и гранта РФФИ № 0^07-89013-а.

В работе 11 ] рассмотрены информационные критерии оценки состояния восстанавливаемой после отказов нейрокомпыотерной системы (НКС), где для оценки состояния НКС в процессе контроля и управления восстановлением функциональных свойств искусственной нейронной сети (ИНС), являющейся основным вычислительным блоком НКС, использовалась интегральная характеристика неопределенности — энтропия состояния рассматриваемой системы Н(|.т), где1 - текущий момент времени, т - мо-ментокончания работы системы контроля и управления восстановлением.

Развивая идеи этой работы и работы [2], в которой изложены методы тестового контроля и диагностики искусственных нейронов (ИН) и нейронных сетей, попытаемся получить количественную оценку полноты контроля V искусственной нейронной сети нейрокомпыотерной системы.

Будем полагать, что оцениваемая количественно полнота контроля представляет собой величину, показывающую в какой мере контроль исправности (работоспособности) ИНС но выбранной совокупности параметров или одному параметру отличается от пол-

ного контроля при условии, что сама система контроля является идеальной, т.е. не отказывает в процессе работы.

Под контролируемыми параметрами ИНС в общем случае будем понимать следующие структурные и функциональные элементы сети: ИН, входные и выходные волокна ИН, веса входов, узлы пресинапти-ческого взаимодействия и значения порогов ИН.

Будем полагать, что V = 1 при полном контроле ИНС и 0<У< 1 при неполном (частичном) контроле ИНС по одному или нескольким параметрам. При этом иод информативностью 1-й контролируемой совокупности параметров ИНС 1, будем понимать то количество информации о состоянии ИНС в целом, которое можно получить, осуществляя контроль этих параметров. Это означает, что вместо полного набора контролирующих (проверяющих) тестов Еп |2| будем рассматривать только один тест Е,, \ е {1,2.п}. пред-

назначенный для контроля 1-й совокупности параметров нейронной сети, где п - число проверяющих тестов в полном наборе Еп. Для оценки информативности контролируемой совокупности параметров необходимо определить количество информации о