CC BY
58
УДК 004.032.26:519.87-192
ИССЛЕДОВАНИЕ МОДЕЛЕЙ ДЕФЕКТОВ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
В.А. ФАТХИ, Д.В. МАРШАКОВ, В.В. ГАЛУШКА
(Донской государственный технический университет)
Рассмотрены модели дефектов аппаратных реализаций искусственных нейронных сетей. Предложено расширение классов дефектов нейроэлементов путем введения дополнительного класса моделей дефектов нейронов, вызывающих появление на их выходах определенного уровня сигналов в интервале (0,1). Проведено экспериментальное исследование влияния введенного класса дефектов на работоспособность искусственной нейронной сети.
Ключевые слова: искусственная нейронная сеть, аппаратная реализация, модели дефектов, работоспособность.
Введение. Искусственные нейронные сети (ИНС), благодаря своей структурной организации, обладают возможностями моделирования нелинейных процессов, работы с зашумленными данными, обобщения и т.д. Эти свойства ИНС находят широкое применение во многих прикладных областях, при этом более всего возрастает удельных вес использования аппаратных нейросетевых реализаций, что обусловлено обеспечением высоких скоростей решения сложных задач с применением мультипроцессорной обработки данных [1, 2].
За счет своей структурной сложности ИНС, состоящие из многофункциональных нейроэлементов, обладают определенной степенью отказоустойчивости [3, 4], т.е. возникающие дефекты их элементов не вызовут отказа всей нейросистемы. Однако отдельные исследования [5, 6] показывают, что во многом это свойство нарушается из-за неравномерного распределения вычислительной нагрузки, выражающегося в разбросе значений коэффициентов связей при обучении ИНС, что позволяет говорить о наличии в обученной нейронной сети некоторых ключевых компонентов, отказ которых вызовет потерю работоспособности ИНС. Достижение же полной отказоустойчивости нейронной сети (отсутствие негативной реакции сети на возникающие в ней дефекты) возможно в случае, как минимум, шестикратной избыточности нейронов [6], что не всегда приемлемо в силу технической сложности аппаратной реализации ИНС. При отсутствии резервирования, как отмечается авторами работ [5, 7], практически любой дефект всегда влияет на полноту и качество выполнения функций ИНС, поскольку в вычислениях нейронной сети участвуют все ее компоненты. Полная потеря работоспособности большинства типов ИНС связана с накоплением дефектов [8, 9].
Широкое применение нейронных сетей в различных областях техники вызывает необходимость в разработке методов повышения их надежности и соответствующих оценок надежностных характеристик. Исследование надежности нейронных сетей, степени их постепенной деградации практически невозможно без моделирования дефектов нейрокомпонентов [5-7, 9]. Рассматриваемые в исследованиях неисправности являются моделями дефектов, определяющими место, время и характер их проявления.
Одним из недостатков существующих моделей дефектов является то, что они учитывают в качестве дефектов только устанавливаемые в нулевые состояния весовые коэффициенты и максимальные или минимальные значения сигналов на выходах нейронов. В действительности физические дефекты проявляются гораздо более сложным образом и зачастую могут приводить к нескольким неисправностям нейрона.
Расширение классов дефектов ИНС путем введения дополнительных константных неисправностей, соответствующих определенному не изменяющемуся уровню сигнала на выходе нейрона, является целью данной работы.
Следует принимать во внимание, что типы дефектов ИНС существенно зависят от вида её аппаратной реализации.
Наиболее перспективным направлением развития ней роком пьютерной техники считается создание нейроускорителей на основе нейрочипов, которые могут быть аппаратно реализованы как по аналоговой или цифровой, так и по гибридной технологии [2].
Для аналоговой реализации ИНС, при моделировании отказов конденсаторов и резисторов соединительной матрицы нейронов, отказом конденсатора считается его пробой, приводящий к обрыву связи, или разрушение токопроводящего слоя резистора, что приводит к обрыву цепи [6]. Для цифровых технологий отказам подвержены или битовые ячейки запоминающего устройства, выход из строя которых соответствует появлению в ней бита «О», или дефекты блока активационной функции, приводящие к появлению максимальных или минимальных значений на выходах нейронов. Для гибридных исполнений отказы определяются особенностями конкретных аппаратных реализаций.
Анализ моделей дефектов ИНС. Источником нарушений функционирования нейронной сети или ухудшения тех или иных её характеристик являются дефекты компонент нейроэлементов, а также связей между ними. Неисправностью, согласно её классическому определению [10], будем называть формализованное представление факта проявления дефекта, приводящего к ошибкам в работе ИНС.
Более подверженными влиянию дефектов, как на этапе обучения, так и на этапе эксплуатации ИНС, являются [5]:
— матрицы весовых коэффициентов. На этапе эксплуатации весовые коэффициенты имеют фиксированные значения. Однако на этапе обучения они являются изменяемыми;
— блоки активационных функций. Все изменения, связанные с настройкой функций активации могут происходить только на этапе обучения;
— выходы нейронов. Для нейронов скрытых и выходного слоев неисправности этих элементов являются наиболее информативными.
С функциональной точки зрения [7,9] в искусственных нейронах выделяют следующие виды неисправностей:
1. Неисправности матриц, реализующих весовые коэффициенты и смещения. Связаны с искажением или потерей весовых коэффициентов или смещений.
2. Неисправности входов. Данный вид неисправности связан с дефектами входных соединений, приводящими к искажению входных сигналов, поступающих на нейронную сеть.
3. Неисправности сумматора. Состоят в формировании на его выходе неизменяемого значения сигнала.
4. Неисправности блоков активационной функции. Приводят к искажению или потере сигнала на выходе нейрона. При этом, если нейронная сеть, в которой расположен такой нейрон, является многослойной, то данная неисправность может рассматриваться как эквивалент второго вида неисправностей, поскольку выходы нейронов скрытого слоя являются входом нейронов последующего слоя.
При различных способах реализации ИНС достаточно трудно учесть все возможные виды дефектов. Однако очевидно, что критичными дефектами, т.е. оказывающими наибольшее влияние на отдельные нейроны и выходной результат ИНС в процессе её функционирования, будут дефекты элементов, приводящие к искажению сигналов на входах и выходах искусственных нейронов. Обычно эти дефекты определяют как катастрофические или как параметрические [11].
При моделировании дефектов на абстрактном уровне принято говорить о катастрофических константных неисправностях весовых коэффициентов и выходов нейронов.
Неисправности матриц весовых коэффициентов моделируются как константные неисправности типа «0» или «±\Утах» [6, 9, 12]. При этом неисправность типа «0» рассматривается как обрыв линии связи, а «±\¥тах» - как максимальная допустимая положительная или отрицательная величина весового коэффициента среди всех значений матрицы весов, определенных на этапе обучения. Определение неисправности весового коэффициента при исследовании работоспо-
собности ИНС связано с рядом сложностей, вызванных, в первую очередь, высокой степенью ветвления сигналов [5].
В основе неисправностей выходов нейронов лежат дефекты, сводящиеся к типу константных неисправностей:
- отказ нейрона типа const = 0 на выходе;
- отказ нейрона типа const = 1 на выходе.
Данные модели дефектов охватывают широкий спектр возможных реальных дефектов. Однако, говоря о константных неисправностях типа const = 0 и const = 1 на выходах нейроэлементов, следует исследовать и другие возможные проявления дефектов, которые можно определить, в частности, из анализа графика функции активации искусственных нейронов (рис.1). Можно видеть, что постоянное значение сигнала на выходе нейроэлементов обуславливается типом их функции активации. В рассматриваемых ранее работах одним из ограничений является выделение лишь двух отказных состояний на выходах нейронов: const=0 и const=l. Однако непрерывность и монотонность функций активации помимо рассмотренных ранее граничных константных неисправностей предполагает наличие промежуточных постоянных значений, которые можно определить как этапы постепенной деградации нейроэлементов. Возникновение на выходе нейрона константы в интервале (0,1) возможно по множеству причин с учетом существующих способов аппаратного исполнения активационной функции, например, при реализации цифровой сигмоиды, основанных на использовании полиномиальных приближений, CORDIC-алгоритмов, аппроксимации кусочно-линейных функций, справочных таблиц [13] и т.д.
Рис.1. Функции активации на выходе нейронов: а- аналоговое исполнение; 5-цифровое исполнение
В целях расширения класса моделируемых дефектов введем ранее не рассматривающийся класс - отказы нейрона, подразумевающие наличие на выходе нейрона сигнала любой постоянной величины в интервале (0,1).
Оценку модели введенного класса дефектов, с точки зрения его влияния на работоспособность, рассмотрим ниже.
Экспериментальное исследование влияния дефектов на работоспособность ИНС с учетом константы из интервала (0,1). В качестве объекта исследований примем программную модель двухслойной ИНС прямого распространения. Сеть обучена методом обратного распространения ошибки распознаванию образов. Объем обучающей выборки составляет 72 образа, представляющих собой цифры от 1 до 9, имеющие 8 различных вариантов изображения. В обоих слоях сети используются сигмоидальные функции активации.
Входные сигналы нейронной сети формируются с помощью набора двухмерных чернобелых графических образов, которые представляют собой цифры от 1 до 9 . Размер изображений - 7x7 пикселей. Таким образом, на вход сети подается вектор из 49 двоичных элементов, принимающих значение 0 или 1.
Скрытый слой содержит 30 нейронов (Ж=30). Выходной слой нейронной сети состоит из нейронов, число которых равно 9 (К= 9). Введем в рассмотрение вектор Л1, каждый элемент которого содержит вырабатываемый £-м нейроном выходного слоя сигнал 5*, соответствующий номеру распознанного образа. Выходной сигнал к-го нейрона определяется по следующей формуле [4]:
(К (ы 2>"Ч ■
\,=и у)
где/(^ - активационная функция нейрона; i - номер нейрона во входном слое; у - номер нейрона в скрытом слое; к- номер нейрона в выходном слое; К - число нейронов в выходном слое; N - число нейронов в скрытом слое; х, - входные сигналы ИНС; м>]к(2) - весовые коэффициенты скрытого и выходного слоя соответственно; индекс 0 соответствует сигналу и весам смещения (поляризации).
Исследование надежности ИНС сталкивается с вычислительными трудностями [14]. При этом одной из ключевых трудностей является выявление состояний отказа нейросети. Они зачастую зависят от решаемой задачи и в большинстве случаев могут быть определены лишь экспериментально посредством введения дефекта и оценкой его проявления на выходе ИНС. В связи с этим экспериментальный подход при исследовании влияния дефектов на работоспособность ИНС выглядит наиболее предпочтительным.
Основная задача, решаемая рассматриваемой ИНС, - распознавание образов. Формально образ распознается по максимальному значению сигнала на выходах нейронов выходного слоя ИНС. При проявлении дефектов нейронов уровень сигнала распознанного образа будет снижаться, что можно рассматривать случаем частичной потери работоспособности нейронной сети. Для оценки качества распознавания образа, связанного с частичной потерей работоспособности, введем количественный критерий.
Таким критерием может служить параметр о - разность между двумя максимальными сигналами на выходах нейронной сети. На рис.2 иллюстрируется способ определения параметра о.
Количественное определение параметра о производится по формуле
а - Мах] (Л’) - Мах0 (Л’), где Мах^й), Мах(Л’) - соответственно первый и второй максимумы вектора выходных сигналов £ нейронной сети.
І 8. и зг
го л а я
-±.
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
О
0,9797
а = 0,9797 - -0,0126 = 3,9671
0,0104 0,0102 0,0101 0,0028 0,0001 0,01 26 0,0000 0,0039
1 2 3 4 5 6 7 8 9
Номера выходов нейронной сети
Рис.2. Оценка параметра о при решении задачи распознавания нейронной сетью
К частичной потере работоспособности может приводить и введенный класс дефектов, соответствующих определенному значению сигнала на выходе нейрона. В работе проведены эксперименты по оценке степени влияния на работоспособность этого класса дефектов. Было проведено 52 опыта, в каждом из которых на вход ИНС предъявлялось 72 образа из обучающей выборки при моделировании случайного распределения дефектов среди нейроэлементов скрытого слоя в различном процентном соотношении. При этом моделировались константные неисправности с выходными значениями нейронов, равными 0; 0,25; 0,5; 0,75; 1.
В результате проведенных экспериментальных исследований получена зависимость качества распознавания образов от типа и количества задаваемых дефектов, которая обобщенно представлена в таблице.
Зависимость качества распознавания ИНС от типа и количества задаваемых дефектов
Тип дефекта Зависимость о от % количества отказавших нейронов
20% 30% 40% 50% 60%
0 0,97 0,83 0,69 0,66 0,64
0,25 0,99 0,98 0,97 0,72 0,69
0,5 0,99 0,99 0,99 0,97 0,94
0,75 0,99 0,97 0,97 0,91 0,8
1 0,92 0,94 0,78 0,72 0,61
По данным эксперимента, приведенным в таблице, построим зависимость качества распо-
Процент
правильно
распознанных
образов
Рис.З. Зависимость качества распознавания ИНС от типа дефектов и их количества
По результатам эксперимента можно сделать следующие выводы:
- дефекты нейронов, вызывающие появление на их выходах сигнала любого промежуточного константного значения в интервале (0,1), в меньшей степени оказывают влияние на работоспособность в сравнении с дефектами, приводящими к появлению на выходах нейронов конечных значений интервала;
- введенный класс дефектов нейронов, вызывающих появление на их выходах определенного уровня сигнала в интервале (0,1), можно использовать при исследовании задач деградации нейроэлементов ИНС.
Заключение. В результате проведенного в работе анализа моделей дефектов ИНС было выявлено, что дефектами, оказывающими наибольшее влияние на отдельные нейроны и выходной результат ИНС в процессе её функционирования, являются дефекты элементов, сводящиеся к искажению сигналов на входах и выходах нейронов. При этом в нейронных сетях, помимо рассматриваемых ранее неисправностей типа const=0, const=l на выходе нейрона, возможны и такие неисправности, которые характеризуются постоянной величиной в интервале (0,1) на выходе. Данный класс неисправностей можно отнести к разряду параметрических, постепенной деградации нейроэлементов, что делает целесообразным его рассмотрение при исследовании надежностных характеристик ИНС. Для оценки модели введенного класса дефектов показано их влияние на работоспособность ИНС. Установлено, что в сравнении с константными неисправностями типа const=0, const=l, неисправности конкретного уровня сигнала на выходе нейрона в интервале (0,1) оказывают меньшее влияние на работоспособность ИНС. Однако, как и любой дефект, влияющий на работоспособность ИНС, он требует своего рассмотрения и разработки методов выявления.
Библиографический список
1. Himavathi S. Feedforward Neural Network Implementation in FPGA Using Layer Multiplexing for Effective Resource Utilization / S. Himavathi, D. Anitha, A. Muthuramalingam // IEEE Transactions on Neural Networks. - 2007. - Vol. 18. - №3. - pp. 880-888.
2. Грибачев В.П. Элементная база аппаратных реализаций нейронных сетей / В.П. Грибачев // Компоненты и технологии. - 2006. - №8. - С. 12-15.
3. Хайкин С. Нейронные сети: полный курс, 2-е издание: пер. с англ. / С. Хайкин. - М.: Издательский дом «Вильямс», 2006. - 1104 с.
4. Осовский С. Нейронные сети для обработки информации / С. Осовский. - М.: Финансы и статистика, 2002. - 344 с.
5. Bolt G. Fault models for artificial neural networks / G. Bolt // IEEE International Joint Conference on Neural Networks, Singapore, 1991. - pp. 1373-1378.
6. Phatak D.S. Complete and Partial Fault Tolerance of Feedforward Neural Nets / D.S. Phatak // IEEE Transactions on Neural Networks, 1995. - Vol. 6/2. - pp. 446-456.
7. Piuri V. Fault tolerance in neural networks: theoretical analysis and simulation results / V. Pi-uri, M. Sami, R. Stefanelli // Advanced Computer Technology, Reliable Systems and Applications, 5th Annual European Computer Conference, Bologna, Italy, 1991. - pp. 429-436.
8. Маршаков Д.В. Исследование влияния дефектов на работоспособность многослойной искусственной нейронной сети прямого распространения / Д.В. Маршаков, В.А. Фатхи // Вестник ДГТУ. - 2011. - Т. И. - №2 (53). - С. 169-173.
9. Dias F.M. Fault Tolerance of Artificial Neural Networks: an Open Discussion for a Global Model / F.M. Dias, A. Antunes // International Journal of Circuits, Systems and Signal Processing, Naun, July, 2008. - pp. 9-16.
10. Пархоменко П.П. Основы технической диагностики. (Оптимизация алгоритмов диагностирования, аппаратурные средства) / П.П. Пархоменко, Е.С. Согомонян. - М.: Энергия, 1981. -320 с.
11. Маршаков Д.В. Ранжирование дефектов в искусственных нейронных сетях / Д.В. Маршаков, В.А. Фатхи // Математические методы в технике и технологиях - ММТТ23: сб. тр. XXIII ме-ждунар. науч. конф.: в 12 т. - Саратов, 2010. - Т. 5. - Секция 5. - С.210-211.
12. Singh А.Р. Empirical study of FFANN tolerance to weight stuck-at max/min fault / A.P. Singh, C.S. Rai, P. Chandra // Internation Journal of Artificial Intelligence & Applications (IJAIA), 2010. - Vol.
1. - №2. - pp. 13-21.
13. Omondi A. FPGA Implementations of Neural Networks / A. Omondi, J. Rajapakse, M. Bajger.
- Springer, Berlin, Germany, 2006. - 360 p.
14. Галушкин А.И. Нейронные сети: основы теории / А.И. Галушкин. - М.: Горячая линия-Телеком, 2010. - 480 с.
Материал поступил в редакцию 24.01.2012
References
1. Himavathi S. Feedforward Neural Network Implementation in FPGA Using Layer Multiplexing for Effective Resource Utilization / S. Himavathi, D. Anitha, A. Muthuramalingam // IEEE Transactions on Neural Networks. - 2007. - Vol. 18. - №3. - pp. 880-888.
2. Gribachyov V.P. E'lementnaya baza apparatny'x realizacij nejronny'x setej / V.P. Gribachyov // Komponenty' i texnologii. - 2006. - №8. - S. 12-15. - In Russian.
3. Xajkin S. Nejronny'e seti: polny'j kurs, 2-e izdanie: per. s angl. / S. Xajkin. - M.: Izdatel'skij
dom «Vil'yams», 2006. - 1104 s. - In Russian.
4. Osovskij S. Nejronny'e seti dlya obrabotki informacii / S. Osovskij. - M.: Finansy' i statistika, 2002. - 344 s. - In Russian.
5. Bolt G. Fault models for artificial neural networks / G. Bolt // IEEE International Joint Conference on Neural Networks, Singapore, 1991. - pp. 1373-1378.
6. Phatak D.S. Complete and Partial Fault Tolerance of Feedforward Neural Nets / D.S. Phatak // IEEE Transactions on Neural Networks, 1995. - Vol. 6/2. - pp. 446-456.
7. Piuri V. Fault tolerance in neural networks: theoretical analysis and simulation results / V. Pi-
uri, M. Sami, R. Stefanelli // Advanced Computer Technology, Reliable Systems and Applications, 5th
Annual European Computer Conference, Bologna, Italy, 1991. - pp. 429-436.
8. Marshakov D.V. Issledovanie vliyaniya defektov na rabotosposobnost' mnogoslojnoj iskusstvennoj nejronnoj seti pryamogo rasprostraneniya / D.V. Marshakov, V.A. Fatxi // Vestnik DGTU. -2011. - T. 11. - №2 (53). - S. 169-173. - In Russian.
9. Dias F.M. Fault Tolerance of Artificial Neural Networks: an Open Discussion for a Global Model / F.M. Dias, A. Antunes // International Journal of Circuits, Systems and Signal Processing, Naun, July, 2008. - pp. 9-16.
10. Parxomenko P.P. Osnovy' texnicheskoj diagnostiki. (Optimizaciya algoritmov diagnostirova-niya, apparaturny'e sredstva) / P.P. Parxomenko, E.S. Sogomonyan. - M.: E'nergiya, 1981. - 320 s. -In Russian.
11. Marshakov D.V. Ranzhirovanie defektov v iskusstvenny'x nejronny'x setyax / D.V. Marshakov, V.A. Fatxi // Matematicheskie metody' v texnike i texnologiyax - MMTT23: sb. tr. XXIII mezhdu-nar. nauch. konf.: v 12 t. - Saratov, 2010. - T. 5. - Sekciya 5. - S.210-211. - In Russian.
12. Singh A.P. Empirical study of FFANN tolerance to weight stuck-at max/min fault / A.P. Singh,
C.S. Rai, P. Chandra // Internation Journal of Artificial Intelligence & Applications (IJAIA), 2010. - Vol. 1. - №2. - pp. 13-21.
13. Omondi A. FPGA Implementations of Neural Networks / A. Omondi, J. Rajapakse, M. Bajger.
- Springer, Berlin, Germany, 2006. - 360 p.
14. Galushkin A.I. Nejronny'e seti: osnovy' teorii / A.I. Galushkin. - M.: Goryachaya liniya-Telekom, 2010. - 480 s. - In Russian.
ARTIFICIAL NEURAL NETWORK FAULT MODEL STUDY
V.A. FATKHI, D.V. MARSHAKOV, V.V. GALUSHKA
(Don State Technical University)
Fault models of the artificial neural network hardware implementations are considered. The development of the neuroelement fault classes through the introduction of the additional neuron fault model class causing certain level signals appearance on their output in the interval (0,1) is offered. The experimental research of the introduced fault class impact on the artificial neural network operability is done.
Keywords: artificial neural network, hardware implementation, fault models, operability.
