Информационная избыточность искусственных нейронов и нейронных сетей как фактор их надежного функционирования Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.032.26:004.052

И. В. ПОТАПОВ

Омский государственный технический университет

ИНФОРМАЦИОННАЯ ИЗБЫТОЧНОСТЬ ИСКУССТВЕННЫХ НЕЙРОНОВ И НЕЙРОННЫХ СЕТЕЙ КАК ФАКТОР

ИХ НАДЕЖНОГО ФУНКЦИОНИРОВАНИЯ

В работе рассматривается информационная избыточность сообщений, формируемых в структуре искусственных нейронов и нейронных сетей с точки зрения повышения надежности их функционирования. Показано, что для построения отказоустойчивых вычислительных систем необходимо объединение нейронов в сети с использованием информационного резервирования.

Введение

Искусственные нейронные сети (И НС) по своей организации могут обладать двумя важными качествами: структурной однородностью и, как их биологические прототипы, различными видами избыточности, которые могут быть использованы для повышения надежности их функционирования. Для повышения отказоустойчивости технических систем обычно используются следующие виды избыточности: функциональная, структурная (аппаратурная), временная и информационная. Можно утверждать, что все перечисленные виды избыточности в той или иной мере свойственны нейросетевым вычислительным системам. Более того, все эти виды избыточности взаимосвязаны друг с другом. Так, например, функциональная, временная и информационная избыточности могут являться следствием структурной избыточности, Поскольку в теории надежности избыточность и резервирование на основе избыточности являются основными факторами повышения отказоустойчивости объектов, необходимо комплексное (системное) изучение различных видов избыточности ИНС.

С точки зрения повышения надежности функционирования ИНС и нейрокомпьютерных систем (НКС) на их основе в работах (1,2] рассматриваются различные аспекты использования логической избыточности, являющейся следствием функциональной избыточности компонентов ИНС — искусственных нейронов (ИН); в работах [3 — 6] рассматривается применение структурной избыточности (структурного резервирования); в работах [7 — 9] — рассматривается временное резервирование ИНС и НКС в процессе функционирования. Данная работа является продолжением исследований, проводимых авторами перечисленных работ в области прикладной теории надежности ИНС и НКС, атакже основой для разработки подходов к использованию информационного резервирования в отказоустойчивых ИНС и НКС методами теории информации [10, 11].

Основное внимание в данной работе уделено ИН и сетям ИН с пороговой функцией активации, предназначенным для реализации логических функций. Однако полученные выводы при необходимости

могут быть обобщены на ИНС с произвольной функцией активации ИН.

Информационная избыточность в структуре ИН

Рассмотрение ИН начнем с однофункциональ-ных нейронов с пресинаптическим взаимодействием входных волокон [1, 12]. Такой нейрон реализует булеву функцию 8 аргументов

где (хих2,...,х^ — наборы входных аргументов, (м/1'Ч,2' --Ч'*) ~~ пороговые функции, реализуемые узлами пресинаптического взаимодействия (УПВ), Ф — пороговая функция, реализуемая выходным пороговым элементом (ПЭ). Выражение (1) в зависимости от конфигурации входных волокон и УПВ может принимать вид

51дп Хи^х,-^

(2)

либо

/(х,,х2,...,х,)=

(3)

51дп 2 -

1, если г>0, 0, если 2<0.

В приведенных выражениях: к - число узлов пресинаптического взаимодействия; цг^ — весовые коэффициенты входов ПЭ, выполняющих функции УПВ; Г; - пороги УПВ; у/. - весовые коэффициенты входов выходного ПЭ, связанные с соответствующими выходами УПВ; VI[ - весовые коэффициенты входов выходного ПЭ, связанные с соответствующими шинами входных переменных х/, Т — порог выходного ПЭ.

В рассмотренных моделях (2), (3) некоторые весовые коэффициенты могут принимать значение 0, что

указывает на отсутствие соответствующих волокон в каждой частной реализации ИН. В зависимости от значений параметров (весов входов и порогов), задаваемых при синтезе, из общих выражений (2), (3)

24

можно получить ИН, реализующий любую из 2 булевых функций 5 аргументов.

На рис. 1 изображена обобщенная схема рассматриваемого ИН. Здесь введены следующие обозначения: БВ — блок ветвления, предназначенный для соединения функциональных входов ИН с входами УПВ и при необходимости с входами выходного ПЭ; БПВ — блок пресинаптического взаимодействия, к структуре которого помимо узлов взаимодействия будем также относить и шины передачи информации от функциональных входов ИН непосредственно к выходному ПЭ нейрона; ПЭ — выходной пороговый элемент. Поскольку ИН со смешанными типами пресинаптического взаимодействия с логической точки зрения не имеют преимуществ перед ИН с однотипными УПВ, в дальнейшем будем рассматривать только ИН с пресинаптическим взаимодействием типа «запрет», «разрешение», «объединение» [12].

В качестве примера на рис. 2а и 26 изображены два варианта схем ИН с пресинаптическим взаимодействием типа «запрет», реализующих логическую функцию /(х1(х2)= х, ©х2, являющихся частными случаями схемы, изображенной на рис. 1. Узлы пресинаптического взаимодействия «1» и «2» реализуют конъюнкции х,х2 и х,х2 соответственно. Несмотря на структурные различия, выходы обеих схем логически эквивалентны. Нетрудно убедиться, что выходной ПЭ на рис. 2а, имеющий два входа у, и у2, реализует дизъюнкцию своих входов у, V у2, что с учетом функций, реализуемых УПВ, дает на выходе /(х,,х2)=х,х2 ух,х2 = х,Фх2. Выходной ПЭ, изображенный на рис. 26, имеющий три входа у,, у2, уп (нумерация сверху вниз), реализует дизъюнкцию у2 vy1y.1,

Будем полагать, что функциональные входы х, и х2 рассматриваемых ИН статистически независимы, вероятность появления логической единицы на каждом входе ИН одинакова и равна р, а вероятность появления логического нуля равна (1 - р). Тогда энтропия сообщения на входах ИН определяется выражением

Нетрудно видеть, что при р = 0.5 энтропия сообщения на входах ИН принимает максимальное значение Нта1 (а), которое в двоичных единицах для рассматриваемых примеров схем будет равно 2 битам.

Рассмотрим теперь энтропию сообщения Н(Ь), которое формируется на выходе блока ветвления входных волокон ИН. Очевидно, Н(Ь)= Н(а) для обеих рассматриваемых схем. При этом максимальная энтропия НИШ(Ь) сообщения невыходе БВ, определяемая при статистической независимости всех символов и равновероятном появлении нулей и единиц, равна НЛ1„(Ь) = 2Нтаж(а)= 1од2*, что в двоичных единицах для рассматриваемых схем равно 4 битам.

Под информационной избыточностью сообщения будем понимать отношение

Н

ТТ и

. |рах *1тах

(4)

Н(а) = -1од(р2р(1-рГ-^-

где Н — фактическая энтропия сообщения, Нтих — максимально возможная энтропия, которая была бы в том случае, если бы все символы сообщения были статистически независимы и их появление было бы равновероятно.

Подставляя в (4) Н = Н(Ь) и Нтах = Нтах{Ь), легко видеть, что для рассматриваемых схем информационная избыточность на выходе БВ 1/(Ь)2.0.5, т.е. не менее половины символов сообщений являются избыточными.

Определим среднее количество информации о комбинации входных сигналов {х,, х2}, содержащейся в сообщении, поступающем на входы ПЭ, как

/^ = Н(а)-Н(а|с),

где н(а | с) — полная условная энтропия сообщения на входах ИН относительно сообщений на выходе БПВ.

Нетрудно видеть, что для схемы ИН, изображенной на рис. 2а, значение н(а| с) определяется как

Н-{а\с)=

а для схемы ИН, изображенной на рис. -26, как

Входы БВ БПВ

ИН

Выход ИН

а ь с с1

Рис. 1. Структура ИН с пороговой функцией активации

л, ■

а) б)

Рис. 2. Логически эквивалентные модели однофункциональных ИН

Н°(а|с)=0.

Отсюда следует, что в первом случае среднее количество информации о комбинации входных сигналов, поступающее на входы ПЭ, имеет вид

I" =

= 1од

iгр/t-p)

<Н(а)

для 0 < р < I, a во втором случае

Г =г =

'<(-»i d—to

p2pa-p)

|2fl-pJ

т.е. в схеме на рис. 2а количество информации о входных сигналах на выходе БПВ уменьшается вследствие производимых вычислений, а в схеме на рис. 26 происходит полная передача информации на входы ПЭ.

Определим теперь для обеих схем энтропию Н(с) и информационную избыточность U(c) сообщений на входах ПЭ. Нетрудно убедиться, что в первом случае Н" (с) = Н" (а | с), а во втором случае Не (с) =Н(а)-Тогда информационная избыточность сообщений на входах ПЭ рассматриваемых схем может быть рассчитана по формулам:

U-(c) =

-l^^+n-^^W-P^'), (5)

t/ífcj = l + ibg(p2''n-pj2ri-p;). (6)

Используя формулы (5), (6), легко видеть, что для О<р <1 выполняется неравенство U"(c)<Us(c), т.е. избыточность сообщения, формируемого на входах ПЭ нейрона, изображенного на рис. 26, больше, чем избыточность сообщения, формируемого на входах ПЭ нейрона, изображенного на рис 2а.

Определяя энтропию Н(с) и информационную избыточность U(с) сообщений на входах ПЭ для других возможных схем ИН с УПВ типа «запрет», «разрешение», «объединение», включая схемы с дублированием. УПВ и волокон, соединяющих функциональные входы ИН с ПЭ, можно убедиться, что информационная избыточность U(с) возрастает с увеличением числа входов ПЭ.

Рассмотрим теперь энтропию H(d) и избыточность U(d) сообщения на выходе ИН. Вследствие логической эквивалентности энтропия на выходе обеих рассматриваемых схем ИН будет одинакова:

H"(d) = H6(d) =

= - /од((р2 + Д - p/f- р;)'^"-" )•

Количество информации о входных сигналах, формируемое на выходах рассматриваемых ИН, определим как

Рис. 3. Модель многофункционального ИН

Очевидно, информационная избыточность выходов обеих схем ИН также будет одинакова и равна

U°(d) = U6(d) =

В рассматриваемом примере для логической функции «сумма по модулю два» при равновероятном (р = 0.5) появлении нулей и единиц на входах ИН U(d) = 0, т.е. сообщение на выходе не обладает избыточностью.

Рассмотрим теперь многофункциональные ИН, отличающиеся от однофункциональных тем, что в процессе функционирования они допускают изменение настроек своих параметров (значений весов входов ПЭ и значения порога), т.е. допускают изменение реализуемой на выходе логической функции [ 1, 12]. В качестве примера рассмотрим схему ИН с при си-наптическим взаимодействием типа «запрет», изображенную на рис. 3, где УПВ формирует конъюнкцию х,х2. Такой ИН в зависимости от значения порога (т = 1 или Т = 2) реализует на выходе одну из двух заданных логических функций входных аргументов:

/7.я|(х1,х.2)= х, vx2 либо /т.а2(х1,х2)=х]Фх2.

Очевидно, что при фиксированном значении порога многофункциональный ИН становится одно-функциональным и его информационные характеристики аналогичны рассмотренным выше.

Предположим, что в процессе функционирования рассматриваемого многофункционального ИН возможно возникновение параметрического отказа, выражающегося в произвольных флуктуациях значения порога в диапазоне {1, 2}. Это означает, что значение выходной функции на наборе (х,, х2) не может быть точно определено, однако на остальных наборах истинное значение функции сохраняется. В рассматриваемом случае выход нейрона становится информационно избыточным. Действительно, энтропия H(d) сообщения на выходе рассматриваемого ИН при фиксированном значении Т = 1 равна

а энтропия H(d) при 7 = 2 равна HTJd) =

= -log

откуда энтропия сообщения на выходе ИН при флуктуациях значения порога определится как

Нг„,2Н = дНТз1(а)+(\-д)НтМ),

где <7 — вероятность установления значения порога Т = 1; (1 - д) - вероятность установления Г = 2.

/(х, *,)

Рис. 4. Модель ИНС с мажоритарной логикой работы

Таким образом, переходя для простоты к двоичным единицам, для 0 < р < 1, 0 < д < 1 выполняется неравенство «„.,(<*) < 1, что влечет за собой вследствие зависимости 1)т^л(й) = \- Нт^г(ё) выполнение неравенства итм г(с!)> 0, т.е. выход ИН, реализующего не полностью определенную функцию, является информационно избыточным.

На основании вышеизложенного можно заключить, что основным источником информационной избыточности в структуре ИН является система соединений (волокон) и узлов пресинаптического взаимодействия.

Информационная избыточность и отказоустойчивость ИНС

Выводы о наличии информационной избыточности, полученные в предыдущем разделе для ИН, можно обобщить и на нейронные сети прямого распространения. Действительно, выражения (1) — (3), описывающие функционирование нейрона с пресинап-тическим взаимодействием волокон, без изменений могут быть применены для описания двухранговых (состоящих из двух слоев) сетей ПЭ, т.е. ИН с преси-наптическим взаимодействием, по сути, является простейшей мини-сетью ПЭ [1]. Таким образом, информационной избыточностью в сетях ИН будут характеризоваться сообщения на выходах нейронных слоев вследствие статистической зависимости системы выходов ИН и в особенности сообщения на входах нейронных слоев. Анализ различных архитектур ИНС прямого распространения, проведенный методами, использованными выше при исследовании ИН, дает основания полагать, что в общем случае сообщения на входах слоев будут обладать тем большей избыточностью, чем больше ИН будет содержаться в этих слоях и чем более разветвленными будут межслойные соединения. При этом сообщения, поступающие на входы каждого отдельного нейрона в слое, в зависимости от организации межнейронных и межслойных связей могут обладать довольно малой избыточностью.

Несмотря на то что внутренние соединения каждого отдельного ИН, как показано выше, могут характеризоваться информационной избыточностью, в целом отдельно взятый ИН является малонадежным элементом. Так, схема ИН, изображенная на рис. 26, не чувствительна к некоторым видам сбоев на отдельных наборах входных аргументов. Легко убедиться в том, что, например, при входном наборе х,х, сбой вида (0 1) на выходе УПВ не изменяет значение выходного сигнала. Однако дальнейшее увеличение информационной избыточности сообщений I на входе ПЭ путем введения дублирующих волокон

и УПВ не приводит к сколько-нибудь существенному увеличению надежности нейрона. Это объясняется тем, что принцип работы выходного ПЭ одинаков для сообщений различной степени избыточности, т.е. схема ИН не предусматривает эффективное, с точки зрения надежности, использование имеющейся информационной избыточности.

В качестве примера использования информационной избыточности при проектировании отказоустойчивых ИНС можно привести так называемые «надежные сети из ненадежных элементов», подробно рассмотренные в [ 12]. Действительно, как было показано выше, выходы ненадежных ИН, реализующих не полностью определенные логические функции, обладают информационной избыточностью, а сети таких ИН [12] устойчивы к некоторым отказам компонентов (обрывам или замыканиям волокон ИН и флуктуациям порогов). Однако анализируя рассмотренные в [12] примеры, нетрудно убедиться, что такие ИНС не обеспечивают высокий урю-вень надежности.

Для повышения надежности функционирования необходимо использовать такие схемы, в которых предусматривается информационное резервирование, т.е. целенаправленное использование имеющейся избыточности. Одним из возможных способов информационного резервирования является формирование избыточных сообщений таким образом, чтобы с участием нескольких функциональных элементов, образующих сеть, выполнялась параллельная обработка отдельных частей сообщения с последующим объединением результатов обработки.

В качестве простейшего примера такого способа информационного резервирования можно привести схему ИНС, изображенную на рис. 4, Она состоит из двух слоев: в первом слое содержится нечетное число п нейронов, реализующих одинаковые функции, а во втором (выходном) слое выходы ИН первого слоя подключены к входам мажоритарного элемента (выполненного на базе ПЭ), реализующего на выходе голосование по принципу «(п +1)/2 из п», где л — число его входов.

В зависимости от вероятности появления нулей и единиц на входах рассматриваемой ИНС избыточность сообщения на входах и выходах ИН первого слоя и > 1-1/л, чтопозволяетйспользоватьвыходной мажоритарйый элемент для компенсации отказов и сбоев любого вида на йходах и выходах гтг > (л-1)/2 нейронов первого слоя, а также на т функциональных входах выходного ИН. Однако отказ самого мажоритарного элемента в данной схеме приводит к появлению отказа на выходе ИНС, что является недостатком такой схемы и требует дальнейших исследований.

Заключение

Таким образом, из сказанного выше следует, что отдельные ИН, несмотря на наличие информационной избыточности, являются относительно малонадежными элементами, поскольку в моделях ИН отсутствует информационное резервирование. Объединение ИН в сеть, архитектура которой соответствующим образом предусматривает информационное резервирование, позволяет сформировать вычислительную систему более надежную, чем составляющие ее функциональные элементы, В этой связи в целях повышения информационной избыточности ИНС необходимо использовать многофункциональные ИН, допускающие флуктуации параметров

(отказы) при сохранении большей части своих функциональных возможностей, и применять схемные решения, основанные на использовании методов информационного резервирования.

Работа выполнена при поддержке Гранта Президента РФ Ы5МК-7420.2006.8 и Гранта РФФИ N506-07-89013-а.

Библиографический список

1. В.И. Потапов, И.В. Потапов. Математические модели, методы и алгоритмы оптимизации надежности и технической диагностики искусственных нейронных сетей. - Омск: Изд-во ОГУП Омская областная типография, 2004. - 220 с.

2. В.И. Потапов, И.В. Потапов. Отказоустойчивые нейро-компьютерные системы на базе логически стабильных искусственных нейронных сетей//Омский научный вестник. — 2004. - Вып. 3 (28). - С. 119- 123.

3. В.И. Потапов, И В. Потапов. Теоретические основы диагностики и оптимизации надежности искусственных нейронных сетей. — Омск: Изд-во ОмГТУ, 2004. - 156 с.

4. И.В. Потапов. Вероятность безотказной работы и среднее время «жизни» восстанавливаемой после отказов ней-рокомпьютерной системы с мажоритарной логиков/Нейрокомпьютеры: разработка, применение. — 2005. - №10—11. -С.100-104.

5. И.В. Потапов. Решение задачи оптимального дииами-ческого распределения резерва «стареющей» искусственной нейронной сети в конфликтной ситуации//Нейроком-пьютеры: разработка, применение. — 2006. — №3. — С.3 — 8.

и. И.В. Потапов. Резервирование «стареющей» искусственной нейронной сети в условиях игры с «природой»// Надежность. - 2006. - №4(19). - С.3-10.

7. И.В. Потапов. Две модели нейрокомпьютерных систем с временной избыточностью//Нейрокомпьютеры: разработка, применение. - 2006. - №10. - С.16-21.

8. И.В. Потапов. О надежности нейрокомпьютерных систем с временной избыточпостью//Информационные технологии и математическое моделирование: (ИТММ-2005): Материалы IV Всероссийской научно-практической конференции (Анжеро-Судженск, 18-19 ноября 2005 г.) - Томск: Изд-во Том. ун-та, 2005. - 4.1. - С.58-60.

9. И.В. Потапов. Отказоустойчивые нейрокомпьютерные системы с временной иэбыточностью//Нейроинформатика и ее приложения: Материалы XIV Всероссийского семинара (Красноярск, 6-8 октября 2006 г.) - Красноярск: ИВМ СО РАН, 2006. - С. 75-76.

10. Красовский A.A., Поспелов Г.С. Основы автоматики и технической кибернетики. - М.: Госэнергоиздат, 1962. -600 с.

11. Бриллюзн Л. Наука и теория информации: Пер. с англ. -М.: Физматгиз, 1960. - 392 с.

12. Мкртчян С.О. Нейроны и нейронные сети. - М.: Энергия, 1971. - 232 с.

ПОТАПОВ Илья Викторович, кандидат технических наук, доцент кафедры информатики и вычислительной техники.

Статья поступила в редакцию 27.11.06 г. © Потапов И. В.

удк 68i.5i О.З.ИСЬЯНОВ

Омский государственный технический университет

К ВОПРОСУ УПРАВЛЕНИЯ ИНТЕЛЛЕКТУАЛЬНЫМ ЗДАНИЕМ_

Рассмотрена современная постановка проблемы автоматизации технических систем зданий и построения автоматизированных систем управления для таких зданий. Здания, оснащенные комплексом автоматизированных систем, управляемых от ЭВМ, получили общее название «интеллектуальных зданий», и разработка их концепции в настоящее время является актуальной проблемой.

В настоящее время широкое распространение получают автоматизированные системы непроизводственного назначения. Актуальной системой подобного рода является «интеллектуальное здание» (ИЗ). Интеллектуальное здание можно определить как комплекс автоматизированных инженерных систем здания, аппаратного и программного обеспечения, необходимого и достаточного для эффективного управления системами здания, рационального использования людских и энергетических ресурсов, имеющий конечной целью снижение эксплуатационных расходов при одновременном повышении уровня комфортности и безопасности.

Современное здание имеет комплекс технических систем разного назначения. Эти системы неиз-

бежно в той или иной степени автоматизированы, и уровень их автоматизации постоянно растет. По мере совершенствования такие системы неизбежно начинают взаимодействовать между собой — происходит их интеграция. Интеграция технических систем здания приводит к появлению единой автоматизированной системы управления зданием (АСУЗ).

На рис. 1 показана структура автоматизированной системы управления зданием. Системы жизнеобеспечения здания (электроснабжение, водоснабжение, теплоснабжение, вентиляция) и охранно-пожарная система объединены с помощью структурированной кабельной сети (СКС) и связаны с автоматизированной системой управления зданием. АСУЗ используют корпоративную локально-вычислитель-