K-значная нейронная сеть арт для анализа работоспособности вычислительных устройств Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.94; 004.89

С.Ю. ЛЕОНОВ, канд. тех. наук, доц., НТУ "ХПИ"

tf-ЗНАЧНАЯ НЕЙРОННАЯ СЕТЬ АРТ ДЛЯ АНАЛИЗА

РАБОТОСПОСОБНОСТИ ВЫЧИСЛИТЕЛЬНЫХ

УСТРОЙСТВ

В статье рассматривается использование разработанной K-значной нейронной сети адаптивной резонансной теории для классификации K-значных сигналов на выходах логических элементов и устройств вычислительной техники. Это позволяет автоматизировать процессы определения ситуаций, которые могут приводить к сбоям в цифровых устройствах. Ил.: 5. Библиогр.: 10 назв.

Ключевые слова: K-значная нейронная сеть, сеть адаптивной резонансной теории, классификация K-значных сигналов, логические элементы и устройства, сбои в цифровых устройствах.

Постановка проблемы и анализ литературы. В настоящее время анализ работоспособности проектируемых устройств невозможен без применения различных систем моделирования. Это и широко известные системы булевого функционального моделирования OrCAD [1] и PCAD [2], системы аналогового моделирования типа MicroCAP [3]. Однако двоичные системы моделирования не позволяют получить полное представление о сложном характере переключения современных быстродействующих микросхем повышенной степени интеграции, а аналоговые системы не позволяют выполнить анализ сложных устройств. В связи с этим в [4] предлагается использовать систему автоматизированного проектирования на основе K-значного дифференциального исчисления, которая позволяет более полно, по сравнению с двоичным моделированием, представить процессы переключения булевых сигналов и моделировать достаточно сложные вычислительные устройства. Однако при практическом использовании этой системы моделирования очень желательно иметь информацию, какие из получаемых процессов переключения несут риски сбоев, а какие

- представляют собой правильные переключения из одного устойчивого состояния в другое.

В связи с этим в статье [5] был приведен пример разработки программной реализации нейронной сети, которая использовалась для определения типов сигналов переключения в логических элементах на основе тринадцатизначного алфавита Фантози [6]. В качестве нейронной сети использовалась двухслойная нейронная сеть на основе K-значных нейронов, обучаемая на основе правила Хебба для K-значных нейронов.

© С.Ю. Леонов, 2013

Однако на практике данные, используемые для обучения или самообучения сети, часто неполные. Например, если будет подано изображение, относящееся к новому классу и его необходимо обнаружить, то обычная двухслойная нейронная сеть такую задачу выполнить не сможет [7, 8, 9]. Нейронная сеть Хебба не может выделять новые изображения, а также не обладает возможностью дообучения, поскольку обучение новому образу приводит к искажению уже запомненной информации. Поэтому при обучении должна использоваться вся запоминаемая информация. Таким образом, двухслойные или многослойные сети, использующие для своего обучения алгоритм Хебба или метод обратного распространения ошибки не обладают свойством стабильности, т.е. свойством сохранять известную информацию при запоминании новой.

Сети адаптивной резонансной теории (APT) были разработаны для разрешения этой проблемы, а именно: запоминание новых классов изображений нейронной сетью без искажения или потери уже хранимой информации [10]. В связи с этим предлагается использовать для распознавания правильных переключений и переключений, несущих в себе риски сбоев при переходе логических сигналов из одного устойчивого состояния в другое, нейронные сети АРТ.

При вводе изображения сигнала сеть APT-1 пытается сопоставить ему некоторый класс из числа уже имеющихся. В частности, это может быть один из видов переключения выхода логического элемента из одного устойчивого состояния в другое. Если такой класс переключения удается найти, то классификация сигнала на этом заканчивается. При этом сигнал можно отнести то ли к одному из классов правильного переключения, то ли к одному из классов сигналов, "несущих" риски сбоев. Если же такой класс найти не удается, то образуется (вводится) новый класс. При этом предъявленный сигнал используется затем в качестве прототипа (типичного представителя) для нового класса. При этом известные классы не изменяются.

Целью статьи является разработка на основе адаптивной резонансной теории K-значной нейронной сети для классификации сигналов, возникающих при моделировании цифровых вычислительных устройств в системе моделирования на основе K-значного дифференциального исчисления.

Рассмотрим случай, когда K-значная нейронная сеть АРТ классифицирует тринадцать видов сигналов, представленных в K-значном виде при использовании семизначного алфавита. Данные получаются в системе моделирования на основе K-значного

дифференциального исчисления. На рис. 1 приведены 13 типичных сигналов, полученных в этой системе.

Рис. 1. Тринадцать видов сигналов в ^-значном виде при использовании семизначного алфавита, полученные в системе моделирования на основе ^-значного дифференциального исчисления

В соответствии с приведенным рисунком при использовании семизначного алфавита используют следующие тринадцать видов сигналов [5]: первый сверху сигнал вида "_0" - соответствует статическому бинарному сигналу нулевого уровня, следующий сигнал "_1" представляет собой значение "К - 1", соответствующий значению уровня статической бинарной "единицы", далее сигнал "_А " -соответствует переходу из нуля в неопределенность "(К - 1)/2", сигнал "_В " - переходу из "(К - 1)" в неопределенность "(К - 1)/2", "_Е" -переходу из нуля в "(К - 1)", "_^ " - динамическому риску сбоя при переключении из нуля в "(К - 1)", "_И" - нормальному переходу из (К -1) в нуль, "_/ " - переходу из неопределенности "(К - 1)/2" в (К - 1), "_Ь" - динамическому риску сбоя при переключении из (К - 1) в нуль, "_Р " - статическому риску сбоя в нуле, "_0 " - переходу из неопределенности "(К - 1)/2" в нуль, "_¥ " - статическому риску сбоя в (К - 1), сигнал "_Х" соответствует значению неопределенности "(К -1 )/2" при бинарном представлении сигналов.

Эти сигналы должны храниться в памяти К-значной нейронной сети АРТ-1К, архитектура которой приведена на рис. 2.

Архитектура сети включает три группы нейронов: поле ^ входных обрабатывающих нейронов, состоящее из двух слоев 5- и 2- элементов, слой распознающих 7-нейронов и управляющие нейроны Я, 01у 02 (рис. 2).

Поле входных обрабатывающих нейронов состоит из двух слоев

- входного слоя 5-элементов и интерфейсного слоя 2-элементов. Входной слой воспринимает предъявляемые изображения и передает полученную информацию нейронам интерфейсного 2-слоя и управляющим нейронам Я, 0\, 02. Каждый элемент (/ = 1, ..., п) интерфейсного слоя связан с каждым элементом 7] ( = 1, ..., т) распознающего слоя 7 двумя видами взвешенных связей. Сигналы из интерфейсного слоя в слой 7 передаются идущими снизу вверх связями с весами Жгу , а из распознающего слоя в

интерфейсный - связями с весами , (] = 1, ..., т, I = 1, ..., п). Из-за наличия большого числа связей на рис. 2 приведено обозначение только одной пары связей с весами , Ж2, между интерфейсным и

распознающим слоями элементов.

Слой 7 является слоем конкурирующих или соревнующихся нейронов. В любое время каждый элемент 7] (] = 1, ..., т) распознающего слоя находится в одном из трех состояний:

- активен (выходной сигнал С/вых^ нейрона 7] равен ивых^ =

ё = 6 для АРТ-1К, при значности входного алфавита К = 7;

- неактивен (ивых7 = 0, но нейрон может участвовать в соревновании);

- заторможен (ивых7 =—1 и нейрон не допущен к соревнованиям при предъявлении текущего входного изображения).

Рис. 2. Архитектура нейронной сети АРТ-1К

После предъявления входного изображения активным остается только один распознающий нейрон, все остальные 7-элементы имеют нулевые или отрицательные выходные сигналы. Выделенный распознающий нейрон в режиме обучения допускается к обучению входным изображением только в том случае, когда его весовой вектор связей из слоя 7 в слой 2 подобен входному вектору. Это решение

принимается с помощью Я-нейрона и специального параметра, получившего название параметра сходства, и сигналов, поступающих из входного и интерфейсного слоев элементов. Через вспомогательные элементы производится или обучение выделенного распознающего 7-элемента, или его затормаживание (сброс) с дальнейшим исключением из числа соревнующихся при повторных предъявлениях этого же входного изображения, когда из 7-слоя выделяются новые кандидаты для обучения входным изображением.

Большинство связей, приведенных на рис. 2, являются возбуждающими: от входного слоя 5-элементов к нейронам Я, 0\, 02 и 2-слоя, от нейронов 0\, 02 соответственно к нейронам слоев 2 и 7. Тормозящие сигналы передают только множества связей от интерфейсных элементов к Я-нейрону и от 7-нейронов к элементу 0\, от Я-нейрона к нейрону победителю в распознающем слое. Все связи сети АРТ-1К передают К-значные сигналы из алфавита М = {0, 1, 2, ..., К - 1}.

Каждый элемент в интерфейсном или 7-слое сети АРТ-1К имеет три источника входных сигналов. Произвольный интерфейсный элемент 21 (/ = 1, ..., п) может получать сигналы от элемента 5 входного слоя, от элементов 7-слоя и от нейрона 0\. Аналогично элемент 7] (] = 1, ..., т) может получить сигналы от интерфейсных элементов, нейронов Я и 02. Для перевода нейронов интерфейсного или распознающего слоев в активное состояние необходимо наличие двух источников входных возбуждающих сигналов. Поскольку каждый из рассматриваемых нейронов имеет три возможных источника сигналов, то условие возбуждения этих нейронов получило название "правила два из трех".

В исходном состоянии нейроны Я, 0\, 02 и входного слоя 5 имеют нулевые выходные сигналы. При подаче на входы 5-элементов К-значных компонент предъявляемого изображения часть из них, получивших ненулевые входные сигналы, переходит в возбужденное состояние (^вых > 0). Возбуждающие сигналы с выходов этих нейронов переводят в состояние "6" нейроны 0\, 02, а также поступают на входы соответствующих нейронов интерфейсного слоя. Нейроны интерфейсного слоя, получившие сигналы от нейронов входного слоя и элемента 0\, по правилу два из трех переходят в активное состояние и

посылают свои возбуждающие сигналы по связям с весами ж! (/ = 1, ...,

п, ] = 1, ..., т) на входы нейронов 7] распознающего слоя. Нейроны распознающего слоя переходят в активное состояние по правилу два из трех, получая возбуждающие сигналы не только от элементов интерфейсного слоя, но и от элемента 02. Выходные сигналы активных 7-нейронов определяются соотношением

П

ивых7^. = Uвx7J■ = ^ WiJ UBmxZy, J = 1, •••, m, i=1

и удовлетворяют условию

0 < ивых^ — 6 •

Затем в 7-слое нейронов происходит латеральный процесс выделения единственного элемента J с наибольшим выходным сигналом. Все нейроны 7-слоя, кроме победившего 7J, переводятся в неактивное состояние "0" (ивыхГ = 0), а победивший нейрон - в состояние с

единичным (K = 6) выходным сигналом. Сигнал победившего 7-нейрона затормаживает управляющий нейрон G1, а также поступает по связям с весами WJ на входы нейронов интерфейсного слоя. Поскольку элементы интерфейсного слоя подчиняются правилу два из трех, то при отсутствии возбуждающего сигнала от нейрона Gi в активном состоянии останутся только те интерфейсные элементы, которые получают сигналы и от элемента входного слоя, и от победившего 7j -нейрона распознающего слоя. Тормозящие сигналы активных элементов интерфейсного слоя поступают на входы R-элемента, который получает и возбуждающие сигналы от нейронов входного слоя. В зависимости от соотношения величин возбуждающих и тормозящих сигналов определяется выходной сигнал управляющего элемента R. При нулевом выходном сигнале R-элемента в сети наступает резонанс и происходит обучение весов связей победившего 7-нейрона, а при единичном выходном сигнале -победивший 7-нейрон затормаживается (=-1) и фактически

лишается возможности участвовать в соревнованиях при предъявлении текущего изображения. Затем в 7-слое производится выбор нового победившего нейрона. Если входное изображение недостаточно подобно ни одному из запомненных, то все распределенные 7-нейроны в конце концов оказываются заторможенными, а победителем становится нераспределенный 7-элемент, который и запоминает в своих весах новое изображение.

На основе метода быстрого обучения для нейросетей АРТ-1К может использоваться обучающий алгоритм, в котором приняты следующие обозначения:

m - максимальное число распознающих элементов в 7-слое или максимальное число распознаваемых образов;

n - число компонентов во входном векторе или изображении;

Sk - n-мерный K-значный входной вектор, к = 1, ..., q;

q - число входных векторов;

ивых? = (ивыхЯ!> ивых7п ) - п-мерный К-значный вектор вЫХОДнЫх

сигналов интерфейсного слоя элементов;

||х|| - норма вектора X;

р - параметр сходства между входным вектором и вектором, хранящемся в весах связей победившего нейрона 7-слоя; диапазон допустимых значений параметра: 0 < р < 1;

Ж) - вес связи от элемента 2, (, = 1, ..., п) к элементу 7] (' = 1, ...,

т); диапазон допустимых начальных значений 0 < Ж1 ^ -----------1-----;

6(^ — 1 + п)

рекомендуемое начальное значение: Ж1 =—1—; все вычисления

1 6(1 + п)

выполняются с учетом использования К-значных сигналов;

Ь - константа, превосходящая единицу; рекомендуемое значение:

Ь = 2;

Ж;2 - вес связи от элемента 7] к элементу 2,-; рекомендуемое начальное значение: Ж;2 = 6, что соответствует К-значной "единице".

Обучающий алгоритм

Шаг 1. Первым шагом является инициализация параметров Ь, р и

весов связей из интерфейсного слоя в выходной Ж) и связей от

выходного слоя к интерфейсному Ж 2 (, = 1, ., п; ] = 1, ., т).

Шаг 2. Анализируются условия останова, и пока они не выполняются, реализуются шаги 3 - 14 алгоритма.

Шаг 3. Для каждого обучающего входного вектора 5к (к = 1, ..., д) выполняются шаги 4 - 13.

Шаг 4. Задаются нулевые сигналы всех распознающих элементов выходного 7-слоя:

^выхГ, = 0 1 = !,•••> т•

Входным вектором 5к устанавливается активация 5-элементов входного слоя:

и^ = Я*, г = 1_. п.

Шаг 5. Вычисляется норма вектора выходных сигналов нейронов входного слоя:

1КЛ=| =2 б*.

г=1

Шаг 6. Для элементов интерфейсного слоя формируются входные и выходные сигналы:

ивх11 = ивых5г , * = 1, ..., п,

^вых^ = ивх21 , * = 1, ..., п.

Шаг 7. Рассчитывается выходной сигнал для каждого незаторможенного 7-нейрона:

п

если ивыхЪ * -1, то ивых¥^ = 2 ^ ивыхг;> } = 1, •••, т

г=1

Шаг 8. Пока не найден 7-нейрон выходного слоя, весовой вектор которого в соответствии с заданным значением параметра сходства р соответствует входному вектору 5*, выполняются шаги 9 - 12.

Шаг 9. В 7-слое определяется нейрон 7/, удовлетворяющий условию

^выхТ, ^ ивых7, , ] = 1 ..., ^.

Если таких элементов несколько, то выбирается элемент с наименьшим индексом. Если ивыхЬ = -1, то все элементы заторможены и входное

изображение не может быть классифицировано или запомнено.

Шаг 10. Рассчитываются выходные сигналы 2-элементов

интерфейсного слоя с использованием ^-значной логической операции:

^вызй,- = ивых£,- (^К , * = 1, ..., п.

Шаг 11. Вычисляется норма вектора выходных сигналов интерфейсного слоя:

\\ивых^| = 2 и>

выхZг•

1=1

Шаг 12. Проверяется условие возможности обучения выделенного нейрона 7/.

Если || и/|| < р, то условие не выполняется и элемент 7/

затормаживается, т.е. ивых^ = -1. После этого осуществляется переход к шагу 8 алгоритма.

п

Если Ш,

гвых^|| Л - Р, т0 условие возможности обучения нейрона

7] выполняется и осуществляется переход к следующему шагу алгоритма.

Шаг 13. Адаптируются веса связей элемента 7] с учетом использования ^-значных сигналов:

Шаг 14. Проверяются условия останова.

Условиями останова могут быть: отсутствие изменений весов

Шаг 15. Останов.

Работу приведенного алгоритма можно показать на следующем примере.

Рассмотрим работу ^-значной нейронной сети АРТ-1К для диагностики сигналов многоразрядного сумматора. Схема одного разряда такого сумматора имеет следующий вид (рис. 3).

На вход такого сумматора поступают ^-значные сигналы слагаемых А[1Д и Б[1Д и сигнал переноса из предыдущего разряда Р[1, /]. Кроме того, на входе имеются управляющие сигналы сброса выходных триггеров в ноль N5 и сигнал их установки в единицу ЫЯ. Выходами такого устройства является ^-значный сигнал результата суммы для первого разряда 5Р[1, /] и сигнал переноса в следующий разряд РЕ[1, /]. Все входные и внутренние сигналы поступают на входы блоков автоматизированной диагностики, выполненных на разработанных нейронных сетях АРТ-1К.

Эти сигналы могут иметь форму процессов переключения, приведенных на рис. 1, где показано 13 видов сигналов из алфавита Фантози, каждый из которых может быть на каждом входе многоразрядного сумматора в качестве информационного и они соответствуют ^-значным сигналам системы моделирования на основе ^-значного дифференциального исчисления. Эти ^-значные сигналы (К = 7), рассматриваются в рамках окна длительностью 17 тактов (рис. 4). На входе ^-значной нейронной сети АРТ-1К они преобразуются в вектор, размерностью 17*7 = 119 элементов.

, і = 1, ..., п,

Ж/, Ж? сети в течение эпохи, достижение заданного числа эпох и т.д.

А[М

Б[М

Р[М]

МаРТ1,1 Ум1,1

■Р[4,1,/]

^[6,1.

^[7,1,/

^[8,1,

Л9,1,/

Я10.1./]

■Р[12,1,/]

■Р[11,1,/]

Мартз,1

/мэ.

МаРТ4,1 с/М4.1

Т 3Ц[1,/]

3 я

V

С Я . Ы3и[1,/]

Я

Т РЕ [1,/]

3 Я

V

С ЫРЕ [1,/]

Я Я

С[/]

^5.1

Блок

дифференциального

анализа

Рис. 3. Схема одного разряда многоразрядного сумматора

На рис. 4 показан вид ^-значных сигналов на входе блока автоматизированного распознавания сигналов.

В реальных устройствах вид переключения может быть близок к приведенному, но не полностью совпадать с таким изменением. В связи с этим обучение нейронной сети АРТ-1К выполнялось на сигналах, где каждый из них находился в поле, имеющим три диапазона в соответствии с семизначным алфавитом: [0 - 1], [2 - 4], [5, 6], как это показано на рис. 5.

ЫЯ

5.1

М2.1

МаРТИ

Рис. 4. ,^-значные сигналы на входе нейронной сети АРТ-1К

После обучения нейронной сети проводилось ее тестирование на сигналах из алфавита Фантози, каждый из которых входит в приведенный диапазон девиации.

В результате экспериментов установлено, что разработанная нейронная сеть правильно классифицирует 95 % предъявленных сигналов.

Рис. 5. Поля ,^-значных сигналов на входе нейронной сети АРТ-1К в режиме

обучения

Выводы. Таким образом, на основе адаптивной резонансной теории и дискретной нейронной сети АРТ-1 разработана ^-значная нейронная сеть для классификации сигналов, возникающих при моделировании цифровых вычислительных устройств в системе моделирования на основе ^-значного дифференциального исчисления.

Разработана методика применения нейронной сети АРТ-1 К для анализа работоспособности вычислительных устройств.

Проведено тестирование разработанной нейронной сети, показавшее ее работоспособность и возможность применения в системе моделирования на основе ^-значного дифференциального исчисления.

Список литературы: 1. Разевиг В.Д. Система проектирования цифровых устройств OrCAD I В.Д. Разевиг. - М.: Солон, 2000. - 160 с. 2. Разевиг В.Д. Применение программ Р-CAD и PSpice для схемотехнического моделирования на ПЭВМ: В 4 вып. / В.Д. Разевиг. - М.: Радио и связь, 1992. 3. Разевиг В.Д. Система схемотехнического моделирования MICRO-CAP З I В.Д. Разевиг. - М.: СОЛОН, 1997 - 152 с. 4. Гладких Т.В. Система А-значного моделирования для исследования переключательных процессов в цифровых устройствах / Т.В. Гладких, С.Ю. Леонов II Вестник НТУ "ХПИ". - Харьков: НТУ "ХПИ", 200З. - Вып. 56. - С. 175-181. 5. Дмитриенко В.Д. Использование нейронной сети на основе А-значных нейронов для распознавания рисков сбоев / В.Д. Дмитриенко, С.Ю. Леонов, Т.В. Гладких. - Вестник НТУ "ХПИ". - Харьков: НТУ "ХПИ", 2011. - Вып. 36. - С. З2-60. б. Aktouf C. A complete strategy for testing an on-chip multiprocessor architecture I C. Aktouf II IEEE Design & Test of Computers. - 2002. - Issue: 1. - Р. 18-28. 7. Рутковский Л. Методы и технологии искусственного интеллекта / Л. Рутковский. - М.: Горячая линия -Телеком, 2010. - 520 с. S. Круг П.Г. Нейронные сети и нейрокомпьютеры I П.Г. Круг. - М.: Издательство МЭИ, 2002. - 116 с 9. Grossberg S. Competitive learning: From interactive activation to adaptive resonance I S. Grossberg II Cognitive Science. - 1981. - № 11. - P. 13-2З. 10. Носков В.И. Моделирование и оптимизация систем управления и контроля локомотивов I В.И. Носков, В.Д. Дмитриенко, Н.И. Заполовский, С.Ю. Леонов. - Харьков: ХФИ "Транспорт Украины", 2003. - 248 с.

Поступила в редакцию 13.05.2013

Статью представил д-р техн. наук, проф. НТУ "ХПИ" Дмитриенко В.Д.

УДК 004.94; 004.89

Х-значна нейронна мережа АРТ для анализу працездібності обчислювальних пристроїв / Леонов С.Ю. // Вісник НТУ "ХПІ". Серія: Інформатика та моделювання. -Харків: НТУ "ХПІ". - 2013. - № 39 (1012). - С. 11З - 128.

У статті розглядається застосування розробленої А-значної нейронної мережі адаптивної резонансної теориї для классификації А-значних сигналів на виходах логічних елементів і пристроїв обчислювальної техніки. Це дозволяє автоматизувати процеси вилучення ситуацій, які можуть приводити до сбоїв в цифрових пристроях. Іл.: 5. Бібліогр.: 10 назв.

Ключові слова: А-значна нейронна мережа, мережа адаптивної резонансної теориї, класификация А-значних сигналів, логічні елементи та пристрої, збої в цифрових пристроях.

UDC 004.94; 004.89

Х-Valued neural network adaptive resonance theory for analyze the health state of the art of computing devices / Leonov S.Yu. II Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". - 2013. - №. 39 (1012). - P. 11З - 128.

This article discusses how to use the А-Valued neural network Adaptive resonance theory for classification А-Valued output signal of logic elements and devices of computer engineering. This allows to automate the processes of identifying situations that may cause crashes in digital devices. Figs.: З. Refs.: 10 titles.

Keywords: А-digit network neural network, adaptive resonance theory, the classification of А-valued logic gates, signals and devices, failures in digital devices.