CC BY
44
Оригинальная статья / Original article УДК 004.383.8.032.26
http://dx.doi.org/10.21285/1814-3520-2017-12-78-85
ОПТИМИЗАЦИЯ ПРОЦЕССА ОТКАЗОУСТОЙЧИВОГО ФУНКЦИОНИРОВАНИЯ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ С НЕЙРОСЕТЕВОЙ АРХИТЕКТУРОЙ
© М.В. Макаров1
Владимирский государственный университет,
Российская Федерация, 600000, г. Владимир, ул. Горького, 87.
РЕЗЮМЕ. ЦЕЛЬ. Исследование направлено на разработку, а также на теоретическое обоснование и экспериментальное исследование нового метода оптимизации процесса отказоустойчивого функционирования нейросе-тевых вычислительных систем, которые предназначены для интеллектуального анализа сложных объектов и больших данных. МЕТОДЫ. В рамках данного исследования предлагается новый метод оптимизации процесса отказоустойчивого функционирования систем обработки информации с нейросетевой архитектурой. Данный метод основан на идее инкорпорации двойственности в процессы обработки информации, происходящие внутри нейросетевой вычислительной системы. Для экспериментального исследования предлагаемого метода в системе «MATLAB» была синтезирована и обучена искусственная нейронная сеть, выполняющая функцию кластеризации. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ. Результаты исследования представляют собой количественное изменение точности функционирования искусственной нейронной сети при различном влиянии дестабилизирующих воздействий: зашумления входной информации (20-100 дБ), изменения числовых значений параметров нейронов (2-16%), мгновенных отказов нейронов скрытого слоя (1-8 шт.). Применение разработанного метода позволило повысить точность при всех типах и уровнях дестабилизирующих воздействий. ВЫВОДЫ. В ходе исследования разработан новый метод оптимизации процесса отказоустойчивого функционирования вычислительных систем с нейросетевой архитектурой. Проведены экспериментальные исследования, подтверждающие эффективность применения данного метода в условиях влияния внешних и внутренних дестабилизирующих воздействий на процесс функционирования нейросетевой вычислительной системы.
Ключевые слова: нейросетевые вычислительные системы, искусственные нейронные сети, нейрокомпьютеры, надежность, отказоустойчивость.
Формат цитирования: Макаров М.В. Оптимизация процесса отказоустойчивого функционирования вычислительных систем с нейросетевой архитектурой // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 12. С. 78-85. DOI: 10.21285/1814-3520-2017-12-78-85
OPTIMIZATION OF NEURAL NETWORK COMPUTING SYSTEM FAULT-TOLERANT OPERATION M.V. Makarov
Vladimir State University,
87 Gorky St., Vladimir 600000, Russian Federation
ABSTRACT. PURPOSE. The present research aims at the development, theoretical justification and experimental study of a new optimization method of fault tolerant operation of the neural network computing system designed to carry out the intellectual analysis of complex objects and big data. METHODS. The current research is based on a new optimization method of fault tolerant operation of information processing systems with the neural network architecture. This method is based on the idea of duality incorporation into the information processing that runs inside a neural network computing system. An artificial neural network performing a clustering function has been synthesized and trained for the experimental study of the proposed method in MATLAB. RESULTS AND THEIR DISCUSSION. The study results represent quantitative changes in the operation accuracy of the artificial neural network under the different effect of destabilizing influences including noise contamination of the input information (20-100 dB), variation of the numerical values of neuron parameters (2-16 %), instant failure of the hidden layer neurons (1-8 pcs). The application of the proposed method has improved the accuracy under all types and levels of destabilizing influences. MAIN CONCLUSIONS. The study resulted in the development of a new optimization method for the fault-tolerant operation of computing systems with neural network architecture. Conducted experimental researches confirm the application efficiency of this method under the effect of external and internal destabilizing influences on the operation of the neural network computing system. Keywords: neural network computing systems, artificial neural networks, neurocomputers, reliability, fault-tolerant operation
Макаров Михаил Вячеславович, кандидат технических наук, ведущий научный сотрудник кафедры физики и прикладной математики, e-mail: [email protected]
Mikhail V. Makarov, Candidate of technical sciences, Leading Researcher of the Department of Physics and Applied Mathematics, e-mail: [email protected]
For citation: Makarov M.V. Optimization of neural network computing system fault-tolerant operation. Proceedings of kutsk State Technical University. 2017, vol. 21, no. 12, pp. 78-85. (In Russian) DOI: 10.21285/1814-3520-2017-12-78-85
Введение
Актуальными на сегодняшний день являются задачи обработки и анализа информации, которая отличается многомерностью, сложностью, неоднородностью структуры, а также большим объемом данных. Применение компьютеров с последовательной архитектурой и классических алгоритмов обработки информации не всегда могут обеспечить соблюдение требований по скорости и качеству обработки данных, адекватности получаемых компьютерных моделей данных, а также правильности и полноты извлечения необходимых закономерностей из изучаемых объектов при их экспериментальном и практическом исследовании.
Вариантом решения обозначенной проблемы является реализация методов и алгоритмов интеллектуальной обработки информации. Анализ научно-технических источников [1, 2] показал, что процесс разработки аппаратных реализаций вычислительных устройств нового поколения будет построен вокруг нейросетевой архитектуры, а также использования однотипной нано-размерной электронной элементной базы и частотно-импульсной модуляции.
Одной из наиболее важных и нерешенных задач в данной области является разработка методов и технологий сохранения требуемой отказоустойчивости, которая не обеспечивается автоматически в
пределах заданных допусков (а в ряде случаев не может быть достигнута принципиально) в силу физических особенностей, проявляющихся в нанометровом диапазоне, а также информационных свойств обучаемых нейросетевых систем [3].
В настоящий момент существуют методы, позволяющие лишь частично решать задачу обеспечения заданных показателей надежности и отказоустойчивости нейросетевых вычислительных систем. Эти методы имеют много слабых мест, трудно сопоставимы между собой и практически не согласуются с действующими как российскими, так и международными стандартами, регламентирующими надежность технических систем обработки информации. Таким образом, сфера науки и техники требует применения новых технологий обеспечения вычислительных процессов в заданных границах допусков на параметры элементов систем обработки информации с нейросетевой архитектурой.
Целью данного исследования является разработка, теоретическое обоснование и экспериментальное исследование метода оптимизации процесса отказоустойчивого функционирования нейросете-вых вычислительных систем, которые предназначены для интеллектуального анализа сложных объектов и больших данных.
Теоретическое обоснование предлагаемого метода оптимизации процесса отказоустойчивого функционирования нейросетевых вычислительных систем
Искусственные нейронные сети (ИНС), нейрокомпьютеры, нейрочипы и подобные технические реализации нейросе-тевых и нейроморфных вычислений - это обучаемые средства обработки информации с параллельной архитектурой, состоящие из элементарных вычислительных
единиц (нейронов), собранных в общую структуру.
Формальный нейрон (рис. 3) состоит из массива входных данных, сумматора, синаптических связей, каждая из которых имеет свой собственный вес, функции активации нейрона, порогового смещения, и одного выхода.
Входная информация/ Input data
Пороговое смещение/ Treshold bias
Функция активации / Activation function
Сумматор / Adder
Синаптические связи / Synaptic links
Выходная информация/ Output data
Рис. 1. Схема формального искусственного нейрона Fig. 1. Scheme of a formal artificial neuron
В математическом представлении функционирование искусственного нейрона можно описать в виде формулы
+ (1)
где ОиТк - выход к-го нейрона; п - количество входов в к-й нейрон; х,■ - значение входа в нейрон; м - синаптический вес связи передающей вход; Ьк - пороговое смещение к-го нейрона; Р - функция активации к-го нейрона.
Существующая модель обработки информации в ИНС подразумевает наличие процесса обучения, заключающегося в подстройке весовых коэффициентов м и пороговых смещений Ьк для последующего вычисления целевой функции. Под воздействием входной информации активируются нейроны, обрабатывающие и передающие ее по синаптическим связям в нейроны последующего слоя. В результате большого количества однотипных операций (1) вычисляется соответствующий входу выход.
Исходя из теоретических сведений [4, 5], основным свойством ИНС и вычислительных устройств с нейросетевой архитектурой, способствующим их потенциально высокой отказоустойчивости, является
избыточность. При отказе одного нейрона его функции перераспределяются между остальными. Практический опыт применения таких средств обработки информации свидетельствует, что отказоустойчивость зависит от внешних и внутренних дестабилизирующих воздействий, постепенно снижающих точность функционирования системы. К таким воздействиям относят искажение сигнала, несущего обрабатываемую информацию, постепенный или моментальный отказ различных элементов системы, информационные искажения, вызванные процессом обучения, и др. [6-8].
В рамках данного исследования предлагается новый метод оптимизации процесса отказоустойчивого функционирования систем обработки информации с нейросетевой архитектурой. Данный метод основан на идее инкорпорации двойственности в процессы обработки информации, происходящие внутри нейросетевой вычислительной системы. Применительно к машинным действиям метод включает в себя использование принципа пересечения двух фундаментальных классов информации, взаимовлияющих друг на друга, но не меняющих объединяющую их структуру. К первому классу относится информация, на
основе которой компонент системы или система в целом должны выполнить действие, заложенное программным путем. Такая информация обладает свойством объективности существования и субъективности восприятия, что, в свою очередь, негативно сказывается на технических показателях системы и сводит процесс ее функционирования к детерминированной алгоритмической форме, не способной обеспечить заданный уровень отказоустойчивости. Второй класс информации - это генезис действий, порождающий противоречие внутри системы и развивающий ее когнитивную деятельность, нацеленную на оптимизацию отказоустойчивости. В результате инкорпорации двойственности каждый вычислительный компонент системы должен инициировать процессы, направленные в большей степени на результативное действие, а не на субъектив-
ное восприятие информации первого класса, которая искажается внешними и внутренними дестабилизирующими воздействиями. Принцип обработки информации, основанный на предложенном методе, представлен на рис. 2.
Процесс реализации данного принципа состоит из четырех этапов:
1. Синтез ИНС, способной функционировать в границах заданных допусков на точность обработки информации без влияния дестабилизирующих воздействий.
2. Определение любым из существующих методов избыточных нейронов, исключение которых из процесса обработки информации не выводит точность за пределы допусков.
3. Дообучение ИНС для разделения функционала нейронов и разделения информационных потоков.
a
b
c
Рис. 2. Предлагаемый метод обработки информации в нейросетевых вычислительных системах: a - определение избыточных нейронов; b - часть ИНС, выполняющая основную вычислительную функцию; c - адаптивная часть ИНС, выполняющая контрольно-корректирующую функцию
Fig. 2. Proposed method of information processing in neural network computing systems: a - determination of excess neurons; b - part of artificial neural network (ANN) performing the main computational function; c - ANN adaptive part performing the control and correction function
4. Инкорпорация двойственности в процессы обработки информации.
Заключительный этап представляет собой новую научную идею, заключающуюся в создании адаптивной подсистемы с
постоянной глобальной целью (рис. 2, с). Эта цель - достижение баланса между поиском новой, непредсказуемой стимуляции и стремлением к предсказуемости результатов своего поведения.
Экспериментальное исследование предлагаемого метода оптимизации процесса отказоустойчивого функционирования нейросетевых вычислительных систем
Для экспериментального исследования предлагаемого метода была выбрана задача кластеризации, решение которой необходимо в сфере информационной безопасности [9]. Задача кластеризации представляет собой автоматическую или автоматизированную классификацию объектов по признаку схожести без заранее определенных классов. Схожесть объектов определяется близостью их векторов дескрипторов (параметров описания) в некотором пространстве параметров. Мировой опыт исследований [10, 11] показывает, что данная задача может эффективно выполняться при помощи нейросетевых вычислительных систем.
Практическая постановка задачи данного исследования заключается в построении и обучении ИНС, которая будет выступать инструментом кластеризации поступающих информационных угроз на основе пакетов данных, содержащих информацию об основных параметрах всех возможных видов угроз.
Математическая постановка задачи состоит в том, чтобы в условиях существования множества объектов X, обладающих определенным набором параметров {a; b; c; ...; n}, при заданной функциии расстояния между объектами P(x, x) разбить выборку объектов X на непересекающиеся подмножества Y, называемые кластерами, так, чтобы каждый кластер состоял из объектов, близких по метрике P, а объекты разных кластеров существенно отличались. При этом каждому объекту приписывается номер кластера Y.
Нейросетевая постановка задачи состоит в последовательной демонстрации синтезируемой ИНС обучающей выборки объектов Xm = {xi; x2; x3; ...; xmJ. Выборка
содержит набор откликов Ye[1; n], соответствующих совокупности факторов, приводящих к данному отклику X = {a; b; c; ...; n}. После процесса обучения ИНС сможет самостоятельно выполнять кластеризацию любого другого множества, подобного множеству X. Выполнение данной операции будет соответствовать решению задачи кластеризации информационных угроз на основе совокупности количественных значений основных параметров этих угроз.
В системе «MATLAB» была синтезирована и обучена ИНС, выполняющая заданную функцию кластеризации. Эта ИНС представляет собой двухслойную сеть прямого распространения с 36 нейронами в первом слое и одном выходным нейроном. Функция активации первого слоя тангенциальная, второго слоя - линейная, алгоритм обучения - алгоритм Левенберга - Марк-вардта с регуляризацией по Байесу (функция TRAINBR). Обучение синтезированной ИНС проводилось до достижения максимальной точности по критерию суммы квадратов ошибок (SSE), итоговое значение которой составило 1,710i3.
Следующим шагом исследований было воздействие на элементы синтезированной ИНС внешних и внутренних дестабилизирующих воздействий, которые являются неотъемлемой частью процесса обработки информации в аппаратных реализациях вычислительных устройств. Так как отказоустойчивость - это свойство технических объектов сохранять требуемую точность функционирования в пределах заданных допусков [12], то в качестве показателя отказоустойчивости выбрано количественное значение точности функционирования ИНС, выраженное также через критерий SSE.
В таблице представлены результаты изменения точности функционирования ИНС при различном влиянии дестабилизирующих воздействий:
• зашумления входной информации, вызванное искажением электрического сигнала несущего эту информацию;
• изменения числовых значений параметров нейронов (весовых коэффициентов и пороговых смещений) в результате деградации материала наноразмерных электронных элементов, выполняющих функцию составных частей искусственного нейрона;
• изменения структуры ИНС, вызванное мгновенным отказом нейронов скрытого слоя.
Далее в процесс обработки информации первоначально синтезированной ИНС были внесены изменения согласно разработанному в рамках данного исследования методу оптимизации процесса отказоустойчивого функционирования нейро-сетевой вычислительной системы.
В таблице также представлены результаты изменения точности функционирования ИНС при различном влиянии де-
Количественное изменение точности функционирования ИНС при различном влиянии дестабилизирующих воздействий Quantitative changes in the operation accuracy of ANN _under different effects of destabilizing influences_
Дестабилизирующие воздействия / Destabilizing influences Существующий метод обработки информации / Current method of information processing Предлагаемый метод обработки информации / Proposed method of information processing
Степень влияния дестабилизирующего воздействия / Influence degree of different destabilizing factors Точность функционирования, SSE / Operation accuracy, SSE Степень влияния дестабилизирующего Воздействия / Influence degree of different destabilizing factors Точность функционирования, SSE / Operation accuracy, SSE
Искажение входной информации (отношение сигнал/шум, дБ / Corruption of input data (signal-to-noise ratio, dB) 100 2,4610-3 100 2,05 10-S
90 5,0610-3 90 4,22 10-S
80 6,0810-3 80 4,36 10-2
60 7,6210-3 60 9,53 10-2
50 9,3910-3 50 2,22 10-1
40 6,6010-2 40 3,45 10-1
30 5,2310-1 30 4,63 10-1
20 5,03101 20 6,57 10-1
Изменение параметров нейронов, % / Change in neuron parameters, % 2 3,1710-3 2 1,45 10-S
4 5,1510-3 4 6,54 10-2
6 7,2110-3 6 3,93 10-2
8 9,3510-3 8 3,07 10-2
10 1,0410-2 10 4,83 10-1
12 4,8810-2 12 6,81 10-1
14 9,14-10-1 14 1,15 10-1
16 7,21100 16 4,01 10-1
Отказ нейронов скрытого слоя, шт. / Failure of hidden layer neurons, pcs 1 5,2510-3 1 1,63 10-S
2 7,2610-2 2 1,69 10-S
3 6,1410-2 3 2,83 10-2
4 8,8810-2 4 1,02 10-2
5 3,4910-1 5 2,35 10-1
6 5,7410-1 6 3.17 10-1
7 5,28100 7 6,46 10-1
8 8,74101 8 8,13 10-1
стабилизирующих воздействий по типу и степени воздействия, аналогичные используемым на предыдущем этапе данного исследования.
Результаты сравнения данных, пред-
ставленных в таблице, свидетельствуют об эффективности применения предлагаемого метода для оптимизации процесса отказоустойчивого функционирования нейросетевых вычислительных систем.
Выводы
В результате проведения исследования цель достигнута. К основным научным и практическим результатам данного исследования можно отнести следующие положения:
• предложен новый метод оптимизации процесса отказоустойчивого функционирования вычислительных систем с нейросетевой архитектурой;
• проведены экспериментальные исследования, подтверждающие эффективность применения данного метода на этапе
инженерного проектирования нейросете-вых вычислительных систем;
• проведены экспериментальные исследования, подтверждающие эффективность применения данного метода в условиях влияния внешних и внутренних дестабилизирующих воздействий на процесс функционирования нейросетевой вычислительной системы.
Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 16-37-60061 мол_а_дк.
Библиографический список
1. Галушкин А.И. Стратегия развития современных супернейрокомпьютеров на пути к экзафлопным вычислениям // Приложение к журналу «Информационные технологии». М.: Изд-во «Новые технологии», 2012. № 3. 132 с.
2. Галушкин А.И. На пути к нейрокомпьютерам с использованием мемристоров // Информационные технологии. 2014. № 4. С. 2-19.
3. Makarov M.V. Fault-Tolerant Operation of Highperformance Computing Systems With the Parallel Architecture Based on Nanoscale Electronic Elements // Proceedings of International Conference «Russian Supercomputing Days». M.: Moscow State University, 2016. pp. 792-801.
4. Хайкин С. Нейронные сети: полный курс / пер. с англ. 2-е изд., испр. М.: ООО «И.Д. Вильямс», 2006. 1104 с.
5. Галушкин А.И. Нейронные сети. Основы теории. М.: Горячая Линия - Телеком, 2010. 416 с.
6. Makarov M.V., Kuryshov A.V., Tsarev I.S. The Research of Degradation Into the Reliability of Neural Network Computing Systems Made Via Use of Nanoscale Electronic Elements // Proceedings of IEEE International Conference on Soft Computing and Measurements, SCM 2017. Saint Petersburg: LETI, 2017, pp. 436-439.
7. Makarov M.V., Shchanikov S.A., Trantina N.S. Modeling Nanoscale Objects in Order to Conduct an
Empirical Research into their Properties as Part of an Engineering System Designed // Journal of Physics: Conference Series (JPCS).: IOP Publishing, 2017. Vol. 803.
8. Danilin S.N., Shchanikov S.A. The Research of Operation Accuracy of a Memristor-Based Artificial Neural Network with an Input Signal Containing Noise and Pulse Interference // Proceedings - X International IEEE Scientific and Technical Conference Dynamics of Systems, Mechanisms and Machines.: IEEE , 2016.
9. Fries T.P. Classification of Network Traffic Using Fuzzy Clustering for Network Security // Lecture Notes in Computer Science: Springer International Publishing, 2017. pp. 278-285.
10. Bock H-H. Clustering and Neural Network Approaches // Studies in Classification, Data Analysis, and Knowledge Organization: Springer International Publishing, 1999, pp. 42-57.
11. Axyonov S., Kostin K., Lykom D. A Texture Fuzzy Classifier Based on the Training Set Clustering by a Self-Organizing Neural Network // Communications in Computer and Information Science: Springer International Publishing, 2015. pp. 187-195.
12. Данилин С.Н., Пантелеев С.В. Алгоритм контроля отказоустойчивости нейронных сетей // Информационные технологии. 2013. № 1. С. 67-70.
References
1. Galushkin A.I. Strategiya razvitiya sovremennykh neurocomputers on the way to exaflop computations].
superneirokomp'yuterov na puti k ekzaflopnym Prilozhenie k zhurnalu «Informatsionnye tekhnologii»
vychisleniyam [Development strategy of modern super- [Supplement to the Information Technologies Journal].
Moscow: Izd-vo «Novye tekhnologii» Publ., 2012, no. 3, pp. 1-32. (In Russian)
2. Galushkin A.I. On the way to neurocomputers based on memristors. Informatsionnye tekhnologii [Information technologies]. 2014, no. 4, pp. 2-19. (In Russian)
3. Makarov M.V. Fault-Tolerant Operation of HighPerformance Computing Systems with the Parallel Architecture Based on Nanoscale Electronic Elements. Proceedings of International Con-ference «Russian Supercomputing Days». Moscow: Moscow State University Publ., 2016, pp. 792-801. (In Russian)
4. Russ. ed.: Khaikin S. Neironnye seti: polnyi kurs [Neural networks: a complete course]. Moscow: OOO «I.D. Vil'yams» Publ., 2006, 1104 p.
5. Galushkin A.I. Neironnye seti. Osnovy teorii [Neural networks. Foundations of the theory]. Moscow: Goryachaya Liniya - Telekom Publ., 2010, 416 p. (In Russian)
6. Makarov M.V., Kuryshov A.V., Tsarev I.S. The Research of Degradation Into the Reliabil-ity of Neural Network Computing Systems Made Via Use of Nanoscale Electronic Elements. Pro-ceedings of IEEE International Conference on Soft Computing and Measurements, SCM 2017. Saint Petersburg: LETI, 2017, pp. 436-439. (In Russian)
7. Makarov M.V., Shchanikov S.A., Trantina N.S. Modeling Nanoscale Objects in Order to Conduct an
Критерии авторства
Макаров М.В. подготовил статью и несет ответственность за плагиат.
Конфликт интересов
Автор заявляет об отсутствии конфликта интересов.
Статья поступила 13.11.2017 г.
Empirical Research into their Properties as Part of an Engineering System Designed. Journal of Physics: Conference Series (JPCS): IOP Publishing, 2017, vol. 803. (In Russian)
8. Danilin S.N., Shchanikov S.A. The Research of Operation Accuracy of a Memristor-Based Artificial Neural Network with an Input Signal Containing Noise and Pulse Interference. Proceed-ings of X International IEEE Scientific and Technical Conference Dynamics of Systems, Mechanisms and Machines: IEEE , 2016. (In Russian)
9. Fries T.P. Classification of Network Traffic Using Fuzzy Clustering for Network Security. Lecture Notes in Computer Science: Springer International Publishing, 2017. pp. 278-285.
10. Bock H-H. Clustering and Neural Network Approaches. Studies in Classification, Data Analysis, and Knowledge Organization: Springer International Publishing, 1999, pp. 42-57.
11. Axyonov S., Kostin K., Lykom D. A Texture Fuzzy Classifier Based on the Training Set Clustering by a Self-Organizing Neural Network. Communications in Computer and Information Science: Springer International Publishing, 2015, pp. 187-195. (In Russian)
12. Danilin S.N., Panteleev S.V. Control algorithm of neural network fault tolerance. Informatsionnye tekhnologii [Information Technologies]. 2013, no. 1, pp. 67-70.
Authorship criteria
Makarov M.V. has prepared the article and bears the responsibility for plagiarism.
Conflict of interests
The author declares that there is no conflict of interests regarding the publication of this paper.
The article was received 13 November 2017
