CC BY
38
УДК 004.032.26-027.45
ИССЛЕДОВАНИЕ ВЛИЯНИЯ ДЕФЕКТОВ НА РАБОТОСПОСОБНОСТЬ МНОГОСЛОЙНОЙ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ ПРЯМОГО РАСПРОСТРАНЕНИЯ
Д.В. МАРШАКОВ, В.А. ФАТХИ
(Институт энергетики и машиностроения Донского государственного технического университета)
Исследовано влияние возможных дефектов скрытого слоя искусственной нейронной сети прямого распространения на её работоспособность. Предложены критерии для оценки правильного функционирования сети при распознавании образов.
Ключевые слова: отказоустойчивость, нейронная сеть прямого распространения, распознавание образов, показатели правильного распознавания.
Введение. Интерес к развитию искусственных нейронных сетей (ИНС) обусловлен в значительной степени их схожестью по организационной структуре с мозгом человека и возможностью обучения. Несмотря на то, что ИНС находятся еще в стадии развития, они уже используются в широком спектре реальных приложений, таких как распознавание образов, аппроксимация функций, автоматическое управление и оптимизация, благодаря способности их к моделированию нелинейных процессов, обобщению, работе с зашумленными данными, абстрагированию [1, 2].
Перспективными направлениями практического применения нейросетевых систем может быть обработка изображений, получаемых в космических системах дистанционного зондирования земли и мониторинга космического пространства [3], медицинская диагностика, системы визуального наблюдения.
Из наиболее широко используемых нейронных сетей для решения задач обработки изображений можно считать многослойные нейронные сети прямого распространения с алгоритмом обучения обратного распространения ошибки ВР (Ьаскргорадайоп) [3].
Целью данной статьи является экспериментальное исследование влияния различных классов отказов на работоспособность многослойной нейронной сети прямого распространения. Экспериментальные исследования. Для исследования влияния дефектов на работу нейронной сети была выбрана двухслойная искусственная нейронная сеть прямого распространения, предназначенная для решения задачи распознавания цифр от 0 до 9.
Подаваемые на вход изображения имеют размерность 16х16 пикселей и, таким образом, каждая цифра представляет собой входной вектор из 256 элементов, состоящий из набора нулей и единиц, представляющего двоичный образ данной цифры. Задача распознавания состоит в принятии решения о принадлежности подаваемого на входы ИНС образа к одному из известных классов, поэтому выходной вектор содержит 10 элементов. Сеть обучается так, чтобы сформировать единицу в одном из выходных нейронов, позиция которого соответствует номеру символа, и заполнить остальную часть выходов нулями.
В обоих слоях сети используются сигмоидальные функции активации, которые позволяют усиливать слабые сигналы и не насыщаться от сильных сигналов. Скрытый слой имеет 16 нейронов. Моделирование производится средствами библиотеки NN^00^ среды МаАаЬ. Структурные схемы нейронной сети представлены на рис. 1 и 2.
256 16 10
Рис. 2. Общая схема искусственной нейронной сети
При исследовании нейронной сети будем считать, что изменения величин вероятности появления правильного значения на выходе системы и среднее значение ошибочных классификаций при решении задачи распознавания образов, с определенной степенью достаточности, характеризуют влияние возникающих в сети дефектов нейронов на ее выходные значения.
Для оценки вероятности появления правильного значения на выходе системы используем выражение [4]:
=
(1)
где со, - вероятность отнесения подаваемого на вход объекта к одному из классов О, ,, От Мпр - количество правильных ответов; N - общее число испытаний над объектами класса О. Среднее значение ошибочных классификаций на всей выборке представим в виде:
Е =
1
МТ
N
Е
,5=1
I О г - о
Е1
і=і
5Т
2
-100%
(2)
где М - объем входной выборки; Т -
V
число векторов цели; N - число выходных векторов; sN - номер выходного вектора; sT - номер целевого вектора; i - номер выхода сети; I - длина выходного вектора; ОзТ - желаемый набор значений сигналов на выходах сети; О ^ - получаемый набор значений сигналов на выходах сети.
Формула (2) в неявной форме просматривается в [5] при анализе примеров использования программных средств МаАаЬ, связанных с оценкой эффективности функционирования ИНС при работе с зашумленными данными.
В искусственных нейронных сетях, как и в любых дискретных системах, отказы принято классифицировать на катастрофические, сводящиеся к логическим неисправностям типа const=0 и const=1 на входах и выходах нейронов, а также на параметрические отказы, наступающие из-за постепенного изменения весовых коэффициентов входов и порогов чувствительности под воздействием внешних факторов [6].
В данной работе исследуется влияние отказавших нейронов скрытого слоя на выходные значения сети в силу того, что отказы нейронов выходного слоя проще обнаружить и оценить.
Последовательно моделируя увеличение отказов типа «0», типа «1» и случайные сочетания обоих видов отказов на выходе нейронов скрытого слоя, можно по выделенным выше показателям (1), (2) получить общую тенденцию зависимости вероятности правильного распознавания
(рис. 3, для формулы (1)) и процентного отношения средних значений ошибочных классификаций (рис. 4, для формулы (2)).
Рис. 3. Зависимость вероятности правильного распознавания от числа отказов в скрытом слое
Число отказов в скрытом слое
•Отказы типа 0
•Отказы типа 1
Случайные отказы 0 и 1
Рис. 4. Зависимость среднего значения ошибочных классификаций от числа отказов в скрытом слое
Из полученных зависимостей видно, что влияние возникающих в сети дефектов нейронов скрытого слоя на ее выходные значения сети начинает проявляться в среднем при четырех одновременно отказавших нейронов (20-25% отказов элементов сети).
Предложенные показатели (1), (2) достаточно полно отражают динамику работы ИНС при возникновении в ней дефектов, не создают противоречивых суждений при оценке влияния дефектов нейронов, в связи с чем являются адекватными.
Заключение. Считается, что ИНС нечувствительна к отказам, возникающим в отдельных её элементах [1,2,7] из-за структурной избыточности сети. Проведенное же исследование показывает, что избыточность элементов в распределенном представлении знаний нейронными сетями прямого распространения, не является эффективной мерой существенного повышения надежности функционирования сети. Показатели надежности в данном случае практически соизмеримы с результатами применения различных методов резервирования элементов для классических дискретных систем [8]. Можно предположить, что избыточность элементов в ИНС дает положительный эффект, как правило, только в структурах, обладающих способностью к самоорганизации. Направлениями дальнейших исследований могут быть: реализация структур, перераспределяющих вычислительные ресурсы за счет гибкости применяемых алгоритмов обучения; создание избыточной памяти возможных состояний сети при выполнении задач различным числом элементов и т.д.
Библиографический список
1. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика / Ф. Уоссермен. - М.: Мир, 1992. - 184 с.
2. Хайкин С. Нейронные сети: полный курс / С. Хайкин; пер. с англ. - 2-е изд. - М.: Издательский дом «Вильямс», 2006. - 1104 с.
3. Аляутдинов М.А. Методы распараллеливания и программно-аппаратной реализации нейросетевых алгоритмов обработки изображений / А.И. Аляутдинов, А.И. Галушкин, Л.Е. Назаров // Нейрокомпьютеры: разработка, применение. - 2003. - № 2. - С. 32-37.
4. Горелик А.Л. Методы распознавания: учеб. пособие для вузов / А.Л. Горелик, В.А. Скрипкин. - М.: Высшая школа, 1977. - 222 с.
5. Медведев В.С. Нейронные сети. МАТЛВ 6 / В.С. Медведев, В.Г. Потемкин. - М.: ДИАЛОГ-МИФИ, 2002. - 496 с.
6. Маршаков Д.В. Ранжирование дефектов в искусственных нейронных сетях / Д.В. Маршаков, В.А. Фатхи // Математические методы в технике и технологиях - ММТТ23: сб. тр. XXIII междунар. науч. конф.: в 12 т. - Саратов, 2010. - Т. 5. - С. 210-211.
7. Осовский С. Нейронные сети для обработки информации / С. Осовский. - М.: Финансы и статистика, 2002. - 344 с.
8. Ушаков И.А. Методы решения простейших задач оптимального резервирования при наличии ограничений / Ушаков И.А. - М.: Советское радио, 1969. - 176 с.
Материал поступил в редакцию 13.01.11.
References
1. Uossermen F. Neirokomp'yuternaya tehnika: teoriya i praktika / F. Uossermen. - M.: Mir, 1992. - 184 s. - In Russian.
2. Haikin S. Neironnye seti: polnyi kurs / S. Haikin; per. s angl. - 2-e izd. - M.: Izdatel'skii dom «Vil'yams», 2006. - 1104 s. - In Russian.
3. Alyautdinov M.A. Metody rasparallelivaniya i programmno-apparatnoi realizacii neiro-setevyh algoritmov obrabotki izobrajenii / A.I. Alyautdinov, A.I. Galushkin, L.E. Nazarov // Neirokomp'yutery: razrabotka, primenenie. - 2003. - № 2. - S. 32-37. - In Russian.
4. Gorelik A.L. Metody raspoznavaniya: ucheb. posobie dlya vuzov / A.L. Gorelik, V.A. Skripkin. - M.: Vysshaya shkola, 1977. - 222 s. - In Russian.
5. Medvedev V.S. Neironnye seti. MATLAB 6 / V.S. Medvedev, V.G. Potemkin. - M.: DIALOG-MIFI, 2002. - 496 s. - In Russian.
6. Marshakov D.V. Ranjirovanie defektov v iskusstvennyh neironnyh setyah / D.V. Marshakov, V.A. Fathi // Matematicheskie metody v tehnike i tehnologiyah - MMTT23: sb. tr. XXIII mejdunar. nauch. konf.: v 12 t. - Saratov, 2010. - T. 5. - S. 210-211. - In Russian.
7. Osovskii S. Neironnye seti dlya obrabotki informacii / S. Osovskii. - M.: Finansy i statistika,
2002. - 344 s. - In Russian.
8. Ushakov I.A. Metody resheniya prosteishih zadach optimal'nogo rezervirovaniya pri nalichii
ogranichenii / Ushakov I.A. - M.: Sovetskoe radio, 1969. - 176 s. - In Russian.
IMPACT OF DEFECTS ON MULTILAYER
ARTIFICIAL FEEDFORWARD NEURAL NETWORK OPERABILITY D.V. Marshakov, V.A. Fatkhi
(Power Engineering and Machinery Institute, Don State Technical University)
Impact of buried layer likely defects on the performance of the multilayer feedforward artificial neural network is investigated. Dimensions of estimation of the correct network operation by pattern recognition are offered. Keywords: fault tolerance, feedforward neural network, artificial recognition, indices of correct recognition.
