CC BY
69
УДК 004.052.42 м. А. БОГАНЕЦ
Омский государственный технический университет
МЕТОДЫ И АЛГОРИТМЫ ДИАГНОСТИКИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ С НЕЛИНЕЙНЫМИ ФУНКЦИЯМИ АКТИВАЦИИ________________________________________________
В статье представлена разработка методов и алгоритмов диагностики искусственных нейронных сетей с нелинейными функциями активации на наличие полной группы отказов. Представлены модели искусственного нейрона и слоя искусственной нейронной сети с возможностью диагностики.
Ключевые слова : искусственная нейронная сеть, нелинейная функция активации, отказ, методы диагностики, алгоритмы диагностики.
Проведенные библиографические исследования показали слабую проработанность темы технической диагностики искусственных нейронных сетей (ИНС) с нелинейными функциями активации (НФА), что, учитывая применимость данного типа сетей для построения экспертных систем (экономика, геодезия, медицина и др.), распознавания образов и работы с нечеткой логикой является существенным недостатком. Кроме того, существующие методы технической диагностики обладают рядом серьезных недостатков. Так, применение метода выделения подозреваемых неисправностей в нейронных сетях [1] приводит, во-первых, к значительному объему логических выражений подозреваемых неисправностей и, во-вторых, к невысокой точности идентификации неисправных нейронов. Метод построения проверяющего теста для одиночных логических неисправностей в нейронных сетях прямого распространения может быть использован для нейронных сетей, относящихся к классу комбинационных дискретных устройств и непригоден для диагностики нейронных сетей, обучаемых в процессе функционирования. В рамках данной работы сделана попытка исследования принципиальной возможности диагностики ИНС с НФА на наличие в ней неисправностей и разработки методов и алгоритмов для ее осуществления.
ИНС с НФА будем рассматривать как совокупность отдельных слоев нейронной сети. Слоем сети будем считать множество нейронов, на которые в каждый такт времени параллельно поступают сигналы от других нейронов данной сети. Модель слоя ИНС представлена на рис. 1.
Следует отметить, что ограничений на вид (структуру сети и ее связей, топологию) ИНС и виды связей между слоями в работе не накладывается.
Рассматриваемый ниже слой искусственной нейронной сети основан на модели искусственного нейрона (ИН), представленной на рис. 2. При этом:
хг.. .,хп — информационные входы ИН, на которые подается непрерывный сигнал произвольной формы;
Я0—диагностический вход ИН, на который подается константа из диапазона [0;шах(х1)| | і= 1,...,п, причем при работе нейрона в обычном режиме (не в диагностическом) Я0 = 0;
ю1,., юп—весовые коэффициенты (множители) соответствующих им входов х1,.,хп (множитель входного сигнала), совокупность весовых коэффициентов обра-зует вектор весов Ш. Значения весовых коэффициен-тов могут быть как положительными, так и отрицательными;
ю 8 — весовой коэффициент диагностического входа Я0.
Рис. 1. Пример слоя искусственной нейронной сети
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (93) 2010 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (93) 2010
Xl
- «1 у NET f _
- «и
- «s
OUT
Рис. 2. Модель нейрона с нелинейной функцией активации, обладающая возможностью диагностики константных и параметрических отказов
Рис. 3. Структурная схема слоя ИНС с возможностью диагностики константных неисправностей
на входах и выходах нейронов с СФА
X
и
S
о
При диагностике ИН на наличие отказов ws= — — Sfflj | i=
NET — взвешенная сумма входных сигналов Sximi | i= 1,...,n.
OUT — выход ИН, рассчитывается по формулам:
OUT = F(NET)-Ddg, (1)
NET = ^ xiwi + S0<ds|; = 1,...,n, (2)
i
где Ddg—диагностическая константа, обеспечивающая сходимость функции OUT в точке (0,0), вычисляется по формуле (1) при условии OUT =0, то есть Ddg = F(NET = 0). Так, для сигмоидальной функции активации Ddg = 0,5.
Отказом будем считать событие, заключающееся в нарушении работоспособного состояния объекта (ИН или ИНС). Перемежающиеся отказы рассматривать не будем. Константным отказом ИН будем считать отказ, заключающийся в возникновении короткого замыкания или обрыва на входах или выходе нейрона. Параметрическим отказом будем считать событие, заключающееся в изменении весового коэффициента ИН вследствие возникновения неисправности. Компенсирующей неисправностью будем считать неисправность, при которой выходное значение нейрона на заданных входных наборах соответствует выходному значению аналогичного исправного нейрона.
Таблица возможных одиночных неисправностей ИН с сигмоидальной функцией активации (СФА) приведена в [2]. Неисправности, описанные в таблице, характерны для ИН с любой НФА.
Для решения задачи диагностики искусственных нейронных сетей с нелинейными функциями акти-
вации на наличие константных неисправностей на входах и выходах нейронов, а также параметрических отказов на этапе синтеза (проектирования) сети, структурная схема слоя ИНС с НФА должна быть приведена к форме, представленной на рис. 3, путем добавления в слой диагностирующих узлов: переключательного устройства и коммутатора выходных шин.
Б1пш — диагностический вход слоя т. В режиме диагностики неисправностей переключательным устройством слоя ш (см. ниже в описании переключательного устройства ПУш) данный вход соединяется со входами нейронов, обеспечивая одинаковый уровень сигнала на всех их входах (необходимое условие диагностики).
— диагностическая переменная, имеющая два уровня сигнала, соответствующие нулевому и единичному уровню. Единичный уровень сигнала на включает режим диагностики слоя ш или нейронов слоя ш. По единичному сигналу БЯ1ш переключательное устройство слоя ш соединяет входы нейронов слоя ш с диагностическим входом слоя Б1пш.
БОиТш—диагностический выход слоя ш. Значение БОиТш = 0 свидетельствует о том, что в процессе диагностики отказы нейронов слоя ш обнаружены не были. В зависимости от сложности Кш значение БОиТш^0 свидетельствует либо о наличии неисправного нейрона в слое ш (простейший коммутатор), либо содержит номер отказавшего нейрона (усложненный коммутатор). Примеры коммутаторов обоих типов приведены на рис. 4.
ВТуреш — переменная, устанавливающая нулевым уровнем сигнала режим контроля по нулю выходов слоя ш. По ненулевому уровню сигнала БТуреш коммутатор выходных шин переходит в режим
контроля по ненулевому уровню сигнала на выходах нейронов слоя ш (см. ниже принцип работы коммутатора выходных шин Кш).
ПУш — переключательное устройство входов слоя ш. При ненулевом уровне сигнала БЯ!^ ПУ отключает входы слоя ш от выходов других слоев, подавая сигнал на соединение этих входов с диагностическим входом слоя Б1пш. Возможные варианты реализации ПУ представлены на рис. 4.
Кш—коммутатор выходных шин слоя ш, имеющий диагностический выход (или выходы в случае многоразрядного Кш) БОиТш.
Принцип работы Кш различен для двух его типов:
— в первом случае (простейший коммутатор) Кш предназначен для проверки наличия в диагностируемом слое константных неисправностей на входах и выходах нейронов и работает в двух режимах (рис. 5).
1. Режим контроля по нулевому уровню сигнала на выходах нейронов диагностируемого слоя. Устанавливается при БТуреш = 0 и проводится в автоматическом режиме. При этом ключи переводятся в положение 2 и логическим анализатором коммутатора выполняется функция БОиТ = ш1п(|х1|,^,|хп|). То есть БОиТ = 0 только при условии, что хотя бы на одном входе Кш регистрируется нулевой уровень сигнала.
2. Режим контроля по ненулевому уровню сигнала на выходах нейронов диагностируемого слоя. Устанавливается при БТуреш^0 и проводится в автоматическом режиме. При этом ключи переводятся в положение 1 и анализатором коммутатора выполняется функция БОиТ=шах (|х1|,_,|хп|). То есть БО Ш>0 только при условии, что хотя бы на одном входе Кш регистрируется ненулевой уровень сигнала;
— во втором случае (усложненный коммутатор) Кш предназначен для локализации неисправного нейрона в слое и работает также в двух режимах, описанных выше и отличается большей сложностью конструкции (в отличие от простейшего коммутатора) и тем, что шина БОиТш является многоразрядной (для двоичной системы счисления ширина шины 1од2к , где к—количество нейронов в диагностируемом слое). При этом на БОиТш выводится порядковый номер первого нейрона диагностируемого слоя, в котором обнаружена неисправность. Если неисправность отсутствует, то на БОиТш выводится 0. Пример реализации усложненного коммутатора выходных шин приведен в [3].
Повышение сложности программного кода (то есть существующих программных реализаций нейросетей) в случае программной реализации нейросети минимально. В случае аппаратной реализации нейросети с диагностирующими элементами аппаратная сложность возрастает незначительно (менее 16 %) для схем с количеством нейронов, равным или превышающим 8, что вычислено экспериментально при моделировании нейросети.
Диагностика ИНС с НФА на наличие константных и параметрических отказов проводится с точностью до отдельного нейрона. Тип неисправности в данном случае не играет никакой роли, важна возможность локализации отказавшего нейрона. В случае необходимости возможна локализация неисправности с точностью до входа нейрона (или до выхода, но с оговоркой, что параметрические отказы ИН не рассматриваются).
Алгоритмы диагностики ИНС на наличие константных (типа обрыва/короткого замыкания на входах/выходе ИН) и параметрических отказов приведены ниже:
1) Алгоритм 1. Слой ИНС проверяется на наличие константных неисправностей типа короткого замы-
кания на входах или выходах ИНС с СФА или параметрических отказов:
1. На вход сети подается вектор входных значений
X= {0....0}, S0 = 0 для всех нейронов.
2. Принимается i=1.
3. i = i+1.
4. DTypei= (const^0),DINj = 0, DStj =1 j j=1,...,i.
5. Если DOUTi= (const^0), то идти к п. 7 (в слое i имеет место ошибка диагностируемого типа). Иначе идти к п. б.
6. Если i = N, где N — количество слоев сети, то идти к п. 9, иначе идти к п. 3.
7. В случае если Кі позволяет диагностировать неисправность с точностью до нейрона, на выходе Ki DOUTi снимается номер отказавшего нейрона слоя.
В. Идти к п. б.
9. Конец алгоритма 1.
2) Алгоритм 2. Слой ИНС проверяется на наличие константных неисправностей типа обрыва на входах ИН с СФА:
10. CONST =(const^0).
11. На вход сети подается вектор входных значений X= CONST, S0 = X для всех нейронов.
12. Принимается i=1.
13. i = i+1.
14. DTypei = (const^0),DINj = CONST, DStj=1 j
j = 1...i.
15. Если DOUTi=(const^0), то идти к п. 17 (в слое i имеет место ошибка диагностируемого типа). Иначе идти к п. 1б.
16. Если i = N, где N — количество слоев сети, то идти к п. 19, иначе идти к п. 13.
17. В случае если Кі позволяет диагностировать неисправность с точностью до нейрона, на выходе Ki DOUTi снимается номер отказавшего нейрона слоя.
18. Идти к п. 1б.
19. Конец алгоритма 2.
3) Алгоритм 3. Слой ИНС проверяется на наличие константных неисправностей типа обрыва на выходе ИН с СФА или параметрических отказов:
20. CONST =(const^0).
21. На вход сети подается вектор входных значений X = CONST, S0 = 0 для всех нейронов.
22. Принимается i= 1.
23. i = i+ 1.
24. DTypei = 0, DINj = CONST, DStj = 1 j j =1.i.
25. Если DOUTi = 0, то идти к п. 27 (в слое i имеет место ошибка диагностируемого типа). Иначе идти к п. 2б.
26. Если i = N, где N — количество слоев сети, то идти к п. 29, иначе идти к п. 23.
27. В случае если Кі позволяет диагностировать неисправность с точностью до нейрона, на выходе Ki DOUT снимается номер отказавшего нейрона слоя.
2В. Идти к п. 2б.
29. Конец алгоритма 3.
Процесс диагностики нейронной сети заключается в последовательном выполнении алгоритмов 1 — 3. При этом алгоритм 1 необходим для выявления нейронов слоя, в которых имеет место отказ типа короткого замыкания на входах или выходе нейрона, либо параметрический отказ. Коммутатором выходных шин соответствующего слоя фиксируется ненулевой уровень сигнала на выходе неисправного нейрона. Алгоритмом 2 выявляются отказы типа обрыва на входах нейрона. На выходе отказавшего нейрона фиксируется ненулевой уровень сигнала при ненулевых входных значениях вектора входных значений нейрона Х. Алгоритмом 3 выявляются отказы типа обрыва на выходе нейрона либо пара-
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (93) 2010 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (93) 2010
а) б)
Рис. 4. Варианты реализации ПУ: а) в виде отдельных блоков ПУ1; б) в виде одного блока ПУ
Р.Е
Ва.с.
Рис. 5. Простейший коммутатор выходных шин слоя нейронов Кт, предназначенный для проверки наличия
в слое отказавших нейронов
метрических отказов. На выходе отказавшего нейрона фиксируется нулевой уровень сигнала при ненулевых входных значениях Х.
При апробации алгоритмов диагностики ИНС на наличие константных неисправностей на входах и выходах нейронов на моделях сетей с параметрическими отказами было установлено, что алгоритмы позволяют фиксировать наличие всех однократных константных и параметрических отказов, а также некомпенсирующих кратных. При этом алгоритм 2 наличие параметрических отказов не выявил, т.е. он необходим исключительно для выявления константных отказов входов и выхода ИН. Таким образом, на основании полученных данных результатов моделирования можно утверждать, что параметрические неисправности в ИНС выявляются алгоритмами диагностики ИНС на наличие константных неисправностей типа обрыва на выходе ИН с СФА, исключая отказ, заключающийся в обнулении весовых коэффициентов всех информационных входов ИН. В последнем случае отказ фиксируется совместно алгоритмом 2 и алгоритмом 3.
Следует отметить, что приведенные выше методы и алгоритмы применимы для диагностики ИН и ИНС практически с любой нелинейной функцией активации [4], исключение составляют ЯОБТМЛХ-функция и Гауссова кривая.
В заключение следует отметить, что приведенные методы и алгоритмы диагностики, обладая некоторыми достоинствами:
— возможностью параллельной диагностики всех слоев ИНС;
— независимостью от типа ИНС и видов связей между ее слоями;
— высокой скоростью процесса диагностики (3 такта);
— простотой программной реализации;
— возможностью применения на практике с минимальным усложнением существующих аппаратных схем и программных комплексов;
не лишены недостатков, среди которых можно выделить следующие:
— повышение сложности ИНС за счет введения дополнительных диагностирующих элементов;
— предположение о наличии абсолютно надежных диагностирующих элементов;
— невозможность использования представленных методов и алгоритмов для диагностики сетей с использованием ЯОБТМЛХ-функции и Гауссовой кривой в качестве функций активации.
В дальнейшем планируется проведение исследований, направленных на минимизацию сложности диагностирующих элементов и модификацию методов и алгоритмов для обеспечения возможности диагностики ИНС со всеми типами нелинейных функций активации.
Библиографический список
1. Лобанов, А.В. Метод выделения подозреваемых неисправностей в нейронных сетях / А.В. Лобанов, Р.А. Бабкин // Нейрокомпьютеры, — 2004. — № 5 — 6. — С. 4 — 14.
2. Боганец, М. А. Диагностика искусственного нейрона с сигмоидной функцией активации на наличие однократных констан-
тных неисправностей на его входах и выходе / М. А. Боганец // Современные информационные технологии в науке, образовании и практике: материалы V Всероссийской научно-практической конференции (с международным участием). — Оренбург: ИПК ГОУ ОГУ, 2006. - С. 82-86.
3. Боганец, М.А. Реализация усложненного коммутатора выходных шин слоя искусственных нейронов с сигмоидальной функцией активации нейронов (тезисы доклада) / М.А. Боганец // Современные информационные технологии в науке, образовании и практике: материалы VI Всероссийской научнопрактической конференции (с международным участием). -Оренбург: ИПК ГОУ ОГУ, 2007. - С. 212-214.
4. Боганец, М.А. Исследование принципиальной возможности диагностики искусственных нейронных сетей с нелинейными
функциями активации / М.А. Боганец // Теоретические и прикладные вопросы современных информационных технологий: материалы Всероссийской научно-технической конференции.-Улан-Удэ: Изд-во ВСГТУ, 2009. - Ч. II. -270. - С. 386-388.
БОГАНЕЦ Максим Александрович, аспирант, ассистент кафедры информатики и вычислительной техники.
Адрес для переписки: e-mail: max.boganets@gmail. com
Статья поступила в редакцию 30.04.2010 г.
© М. А. Боганец
УДК 004 735 Д. Г. ДУБЫНИН
Омский государственный технический университет
АНАЛИЗ МЕТОДОВ ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ В СЕГМЕНТЕ МУЛЬТИСЕРВИСНОЙ СЕТИ ОМСКОЙ ОБЛАСТИ___________________________
В статье приводится обзор методов анализа производительности вычислительных систем, проводится сравнение этих методов, кроме того, уделено внимание недостаткам анализируемых методов. Подробно рассмотрено имитационное моделирование, так как при оценке производительности вычислительных систем данный метод позволяет достигать любой степени детальности. Приведены цели, которые достижимы при использовании имитационных моделей вычислительной системы.
Ключевые слова: методы моделирования, вычислительная система, мультисервисная сеть.
Обеспечение эффективности использования информационно-вычислительных систем (ИВС) в составе телекоммуникационных сетей, в частности муль-тисервисных сетей, в настоящее время является актуальной задачей в связи со значительным расширением области информационных технологий, разнообразия пользователей и необходимостью формирования единой информационно-телекоммуникационной среды (ЕИТС).
Разработанная и внедренная в Омской области, мультисервисная сеть связи (МСС) [1] построена в соответствии с концепцией сети связи следующего поколения и обеспечивает предоставление некоторого набора услуг. Она является частью ЕИТС и представляет собой систему транспорта для всех видов информации, циркулирующей в ИВС для каждого из муниципальных районов области и органов власти, которые подключены к ней [ 1, 2].
В настоящее время к МСС подключен 21 из 24-х органов исполнительной власти Омской области (далее - ОИВ), 107 государственных учреждений ОИВ. К сети Интернет через МСС подключено 19 ОИВ и 38 государственных учреждений ОИВ. Остальные 5 ОИВ непосредственно подключены к сети Интер-
нет. Также к МСС подключено 320 из 428 органов местного самоуправления Омской области, в том числе 32 администрации муниципальных районов Омской области.
В процессе развития ЕИТС произойдет рост МСС за счет увеличения количества пользователей, телекоммуникационных узлов и каналов связи. В результате развития ЕИТС МСС должна обеспечивать надежный обмен информацией между участниками информационного обмена, а также условия эффективного взаимодействия государственных и муниципальных ИВС. В связи с этим чрезвычайно актуальной становится задача оптимизации МСС.
Для того чтобы оценить производительность МСС в любой момент времени и спрогнозировать ее величину при определенных условиях в будущем, необходимо определить метод оценки производительности. В связи с этим проведем анализ методов оценки производительности ИВС.
Анализ литературных источников [4-6] показал, что основными задачами моделирования ИВС является анализ показателей производительности и оценка влияния внутренних и внешних параметров сети на показатели эффективности ИВС.
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №3 (93) 2010 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
