CC BY
33
Оригинальная статья / Original article УДК 004.85:681.51.01
DOI: http://dx.doi.org/10.21285/1814-3520-2018-8-63-71
ИССЛЕДОВАНИЕ ШИМ-ЭЛЕМЕНТА СО СПАЙКОВОЙ НЕЙРОННОЙ СЕТЬЮ © И.В. Игумнов1
Иркутский национальный исследовательский технический университет, 664074, Российская Федерация, г. Иркутск, ул. Лермонтова, 83.
РЕЗЮМЕ. ЦЕЛЬ. Показать возможность применения спайковой (импульсной) модели нейрона в автоматических системах регулирования с регулятором, осуществляющим широтно-импульсную модуляцию, который имеет в своем составе искусственную нейронную сеть. МЕТОДЫ. Ввиду того, что использование регуляторов такого вида вынуждает решать задачу параметрической оптимизации, под которой понимается определение оптимальной настройки (обучения) синаптических весов искусственной нейронной сети по выбранному критерию, в статье применен алгоритм обучения нейронной сети, сформированный на основе метода Нелдера-Мида. РЕЗУЛЬТАТЫ. В ходе исследования выявлено, что при двоично-разрядном кодировании информации модель обобщенного нейронного элемента обеспечивает наименьшие значения интегрального квадратичного критерия. ВЫВОДЫ. Спайковая исскуственная нейронная сеть может применяться в системах регулирования с широтно-импульсной модуляцией. Ключевые слова: искусственная нейронная сеть, спайковый нейрон, широтно-импульсная модуляция, метод Нелдера-Мида, интегральный квадратичный критерий, задача параметрической оптимизации.
Информация о статье. Дата поступления 15 июня 2018 г.; дата принятия к печати 23 июля 2018 г.; дата онлайн-размещения 31 августа 2018 г.
Формат цитирования. Игумнов И.В. Исследование шим-элемента со спайковой нейронной сетью // Вестник Иркутского государственного технического университета. 2018. Т. 22. № 8. С. 63-71. DOI: 10.21285/1814-3520-20188-63-71
STUDY OF A PWM-ELEMENT WITH A SPIKING NEURAL NETWORK I.V. Igumnov
Irkutsk National Research Technical University, 83, Lermontov St., Irkutsk, 664074, Russian Federation
ABSTRACT. The PURPOSE of the study is to show the application possibility of the spike (pulse) model of a neuron in automatic control systems with a pulse-width modulation controller that has an artificial neural network in its composition. METHODS. The use of this type regulators makes us solve the problem of parametric optimization that is understood as the determination of the optimal tuning (training) of the synaptic weights of an artificial neural network according to the chosen criterion. Therefore, the neural network training algorithm formed on the basis of the Nelder-Meade method is used in the article. RESULTS. The study has shown that the model of a generalized neuron element provides the lowest values of the integral quadratic criterion under the binary coding of information. CONCLUSIONS. Spiking neural networks can be used in control systems with pulse-width modulation.
Keywords: artificial neural network, spike neuron, pulse-width modulation (PWM), Nelder-- Mead method, integral quadratic criterion, parametric optimization problem
Information about the article. Received June 15, 2018; accepted for publication July 23, 2018; available online August 31, 2018.
For citation. Igumnov I.V. Study of a PWM-element with a spiking neural network. Vestnik Irkutskogo gosudarstvennogo tehnicheskogo universiteta = Proceedings of Irkutsk State Technical University. 2018, vol. 22, no. 8, pp. 63-71. DOI: 10.21285/1814-3520-2018-8-63-71 (in Russian).
1Игумнов Иннокентий Васильевич, аспирант, e-mail: [email protected] Innokentiy V. Igumnov, Postgraduate student, e-mail: [email protected]
Введение
В последние годы предметом исследований при синтезе автоматических систем регулирования (АСР) являются искусственные нейронные сети (ИНС) с их известными преимуществами [1-5]. Внимание среди них уделяют ИНС со спайковой (импульсной) моделью нейрона [6-8], ввиду ее повышенной производительности (быстродействие) в обработке информации и помехоустойчивости [8]. Но использование таких ИНС для импульсных АСР исследовано недостаточно. При этом весьма важным для
подобных АСР представляется возможность решения задачи параметрической оптимизации в ее, ставшей классической, постановке.
Исходя из вышесказанного, в настоящей работе рассматривается АСР с регулятором, осуществляющим широтно-импульс-ную модуляцию (ШИМ), который имеет в своем составе ИНС [9] со спайковым (импульсным) нейроном, а также показана возможность решения задачи параметрической оптимизации.
Описание автоматической системы и моделей нейронов
Структурная схема рассматриваемой АСР в достаточно общем виде представлена на рис. 1.
Здесь врф) - оператор объекта регулирования; иЦ) - выход ШИМ-элемента; Ое - оператор ШИМ элемента с нейронной сетью; р = б№ - оператор дифференцирования; Щ - задающее воздействие; х(() - регулируемая величина; ) - ошибка регулирования.
Процессы, протекающие в АСР можно описать в следующем виде:
u(t) = Gie ■s(t) ;
x(t ) = Gp (p) ■ u(t).
(2)
(3)
Характеристика нейросетевого ШИМ-элемента (НШИМ) совпадает с ШИМ-элементом [9, 10], за исключением того, что ук - скважность к-го импульса вычисляется
с помощью нейронной сети [9], изображенной на рис. 2. Подобная ИНС выбрана ввиду ее изученности применительно к исследуемой АСР [9, 10].
s(t) = Л(t) - x(t) ;
(1)
Рис. 1. Структурная схема Fig. 1. Block diagram
Рис. 2. Архитектура нейронной сети Fig. 2. Architecture of a neural network
Здесь Ып - нейроны скрытого слоя (/=1,..,т), т\,тг,...,тт, т,т+1№з,т+1,---, Мт+ьт+1 - здесь и далее весовые коэффициенты, образующие матрицу весовых коэффициентов W. Данная ИНС вычисляет ук,
исходя из модуляционной характеристики вида2 [9], и на основе которой сформирована ее архитектура:
i2 Yk = q1 \s[kT I + q2\s[kT | +
i |3 i m
+ qg\s[kT I +...+ qm\s[kT | =
mi i j
= E q, \s[kT f . j=1 j
(4)
Стоит отметить, что данная архитектура построена для модели нейрона, основанной на трудах МакКаллока-Питтса, общий вид которой представлен на рис. 3.
Здесь I - линейный сумматор, Ь -свободный член или смещение, 5 - выход линейного сумматора, - функция активации нейрона [3].
Теперь опишем спайковую (импульсную) модель нейрона, на которую будет заменен данный нейрон. Посредством анализа литературных источников [11-13] выбрана наиболее распространенная из них спайковая (импульсная) модель, под назва-
нием обобщенного нейронного элемента (ОНЭ) (рис. 4).
Модель ОНЭ задается при помощи следующего набора параметров [12,13]:
Р - пороговое значение; г - равновесное значение (по аналогии - это свободный член или смещение); а - скоростной параметр; Тя - продолжительность периода ре-фрактерности (невосприимчивости к внешнему воздействию); п - количество входов (синапсов); т, мз, ..., Мп- синаптические веса; Тт - продолжительность периода си-наптического воздействия.
Внутреннее состояние эЦ) нейрона в момент времени ^ описывается следующими функциями: и(§ - функция зависимости величины потенциала от момента времени £ о(0 - мгновенный выходной импульс (м ^ о) [12].
Функция 5(0 принимает одно из следующих выражений [12]:
s(t ) =
восприим чивость генерация импульса (7) рефрактерн ость.
Функция o(t) равна единице в момент, когда элемент генерирует выходной импульс (спайк). В остальные моменты времени o(t) = 0.
СнпипСы Ячейка иейроко
1
Рис. 3. Модель нейрона Fig. 3. Model of a neuron
2Куцый Н.Н. Автоматическая параметрическая оптимизация дискретных систем регулирования: дис. ... д-ра техн. наук: 05.13.06. Москва, 1997. 386 с. / Kutsiy N.N. Automatic parametric optimization of discrete control systems: Doctoral dissertation in technical sciences: 05.13.06. Moscow, 1997. 386 p.
Значения входных импульсов Oï(t), 02(t), 03(t),..., On(t) (n - число входов данного нейрона) зависят от момента времени t. Здесь Oi(t) = 1 во все моменты времени t, когда по /-му входу подается импульс. В остальные моменты времени o/(t) = 0 (/ =ï, 2,3, ...,n).
В большинстве источников для упрощения вычисления вводятся вспомогательные функции а(t),&m(t),&m(t),-am(t), которые равны:
где величина h определяется следующим образом:
h = X w.a', i = 1
m
(10)
m
a. (t) = i
* *
11, при t e [t ; t + T ]
(B)
где Г - такое, что одновременно s(t*) = {восприимчивость} и оф = 1.
Теперь опишем функционирование ОНЭ (рис. 4). В произвольный момент времени t возможен один из трех вариантов [12]:
I. ОНЭ находится в состоянии восприимчивости сигналов - в^) = {восприимчивость}, тогда и(0 удовлетворяет дифференциальному уравнению:
u = a(r + h — u),
(9)
II. При и= рОНЭ генерирует импульс - в(0 = {генерация импульса}, при этом а^) = 1. Выходной импульс распространяется по всем выходам данного нейрона. Импульс происходит мгновенно (& ^ 0), после чего элемент переходит в состояние рефрактер-ности.
III. ОНЭ находится в состоянии ре-фрактерности - в(0 = {рефрактерность}. Тогда и = 0, о(§ = 0. В состоянии рефрактерно-сти элемент не восприимчив к внешнему воздействию. Элемент находится в состоянии рефрактерности в течение промежутка времени Тя с момента генерации импульса, после чего переходит в состояние восприимчивости.
Стоит отметить, что в спайковых (импульсных) моделях нейрона передача информации осуществляется посредством импульсов, поэтому ошибка на ИНС (рис. 2) при использовании ОНЭ поступает в закодированной форме, т.е. в данном случае - последовательности импульсов.
Рис. 4. Модель ОНЭ Fig. 4. Model of a generalized neuron element
n
о
Наиболее распространенными способами кодирования для спайковых модулей является широтное (относительное), фазовое и двоичное [14]. Причем при их использовании представленная архитектура не изменится, но оговоримся, что при использовании двоичного кодирования на нейронную сеть поступает целое число, т.е. при е[кт] = 0.5 вход нейронной сети примет двоичное значение числа 500. Ввиду того, что при использовании двоично-разрядного [14] кодирования на нейронную сеть последовательно подается двоичное значение
разряда числа, архитектура ИНС примет следующий вид (рис. 5).
В качестве оценки работы автоматической системы принят интегральный критерий, общий вид которого:
I(W) = \ F( s(t,W))dt.
(11)
Здесь еЦЩ) - ошибка системы при использовании Щ матрицы весовых коэффициентов, Р - некоторая выпуклая функция.
Рис. 5. Архитектура ИНС Fig. 5. Architecture of the artificial neural network
Алгоритм оптимизации
о
Как указывалось ранее, для решения задачи параметрической оптимизации предлагается использовать алгоритм обучения нейронной сети (ОНС), который подробно представлен [10]. Исходя из наибольшей наглядности, кратко покажем особенности этого алгоритма.
Во-первых, формируется набор начальных симплексов, у которых координаты п (п = 2т (см. рис. 2)) точек (в нашем случае количество весовых коэффициентов) подобраны таким образом, чтобы выход нейронной сети отражал реакцию с учетом архитектуры ИНС на значения от отдельного синаптического веса. Исходя из [15] в п+1 точке, значения всех синаптиче-
ских весов приравниваются 0. Также в точках симплекса используется варьирование знака синаптических весов всего множества их возможных значений.
Во-вторых, в каждом симплексе для всех точек вычисляется значение критерия (6); в данном случае обозначается, как ¡ц, где / = 1, 2,...- номер симплекса,} = 1, 2,... -
точка /-го симплекса. Затем определяется I - характеристическое число симплекса как I = тт(Ау). Далее рассматриваются только
I
те симплексы, для которых -— < ц
шт( I )
(где ц>1).
В-третьих, с отобранными симплексами выполняются основные операции метода Нелдера - Мида [15]: Сортировка, Отражение, Растяжение, Сжатие, Усечение, проверка выполнения критерия окончания поиска.
После выполнения критерия окончания поиска точка с наименьшим значением
критерия I будет считаться решением по данному симплексу.
Затем происходит сравнение результатов работы алгоритма, полученных точек с наименьшими критериями I, по каждому симплексу и выбирается точка с наименьшим значением критерия I, а также ее значения синаптических весов и считаются оптимальными.
Результаты исследования
Для иллюстрации вышеизложенного конкретизируем элементы автоматической системы (рис. 1). Оператор объекта регулирования воб с запаздыванием записан в виде
G* (p) =
k.
k
об
p (Tip +1)(T2p +1)
(12)
где коб - коэффициент передачи объекта, коб - коэффициент передачи исполнительного механизма; Тоб1, Тоб2 - постоянные времени объекта, тоб- время запаздывания.
Элемент ШИМ имеет в своем составе нейронную сеть (рис. 2, 5), состоящую из трех нейронов в скрытом слое и одного в выходном.
Модель ОНЭ имеет следующие значения параметров, найденных с помощью эвристического метода:
Р = 1; а = 1; Тя = 0,03; Тт = 0,02.
Критерий оптимизации представлен в достаточно распространенном виде:
Ь
I(Ж) = ]У(г,Ж)ах, (13)
где I - интервал интегрирования.
Исследования проведены в достаточно большом диапазоне параметров объекта. В качестве иллюстрации приведены результаты исследования при ким = 1; коб = 1; Тоб1 = 10; Тоб2 = 40; тоб = 50 и периоде повторения импульсов Т = 25, задающем воздействии А(^) = 1(0-0,5 и ограничениях, при которых значение скважности ук.
Параметры алгоритма ОНС: коэффициент отражения а = 1, коэффициент растяжения у = 2, коэффициент сжатия 3 = 0,5 [15].
По итогам работы алгоритма ОНС получены значения синаптических весов, с соответствующими им переходными процессами (рис. 6), где под цифрой 1 - при использовании фазового либо широтного (относительного) кодирования; под цифрой 2 - при двоичном кодировании (представление); под цифрой 3 - при двоично-разрядном кодировании (представление).
В табл. 1 приведены значения критерия при использовании разных типов кодирования.
Таблица 1
Значения интегрального критерия Integral criterion values
Table 1
Тип кодирования I
Фазовое 30,52
Широтное (относительное) 30,52
Двоичное 29,54
Двоично-разрядное 29,24
Hейрон MакKаллока-Питтса
ИHC (рис. 2) с сигмоидальной функцией активации 27,05
о
x(0
0,65 0,6 0,55 0,5 0,45 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0,05 0
\2/—-ч
4/V 1
IP
In
!lr
......f
0
100
200
300
400
500
600
700
800
900
Рис. 6. Переходные процессы Fig. б. Transient processes
На рис. 7, с целью наглядного представления отличия результатов работы ОНЭ и модели, построенной на основе трудов МакКаллока-Питтса, показаны переход-
ные процессы, где под цифрой 1 - нейронная сеть с сигмоидальной (рациональной) функцией активации [1-3], под цифрой 2, 3 - указано выше.
m
0,65 0,6 0,55 С,5 0,45 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0,05 О
....... 2,—._ ....... ....... ....... ....... .......
irT
'¡I!
.....------ ....... .......
О
100
200
300
400
500
600
700
600
900
Рис. T. Переходные процессы Fig. 7. Transient processes
На рис. 8 приведены псевдомодуля- 1 сигмоидальной (рациональной) функции ционные характеристики, где под цифрами активации и 2-спайковая модель нейрона.
0,75 0,5 0,25 О -
О 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 £
Рис. 8. Псевдомодуляционная характеристика Fig. 8. Pseudo-modulation characteristic
Заключение
Исходя из вышесказанного, можно сделать вывод, что алгоритм ОНС успешно решает задачу обучения нейронной сети для ШИМ-систем со спайковой моделью нейрона с достаточной для практики точностью, и тем самым может рекомендоваться для включения в алгоритмическое обеспе-
чение промышленных автоматических систем. Спайковая ИНС в данном случае аппроксимирует псевдомодуляционную характеристику, получаемую с помощью классического нейрона, и уступает ИНС с ним по причине существования времени релаксации на выходном нейроне.
Библиографический список
1. Сабанин В.Р., Смирнов Н.И., Репин А.И. Автоматический системы регулирования на основе нейросете-вых технологий // Вестник Московского энергетического института: сб. статей. 2005. С. 10-18.
2. Шаровин И.М., Смирнов Н.И., Репин А.И. Применение искусственных нейронных сетей для адаптации САР в процессе их эксплуатации // Промышленные АСУ и контроллеры. 2012. № 4. С. 27-32.
3. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросе-тевые системы управления. М.: Изд-во ИПРЖР, 2002. 480 с.
4. Воробьев Ю.Б., Кудинов П., Ельцов М., Кёоп К., Чыонг Ван К.Н. Применение информационных технологий (генетические алгоритмы, нейронные сети, параллельные вычисления) в анализе безопасности АЭС // Труды Института системного программирования РАН. 2014. Т. 26. № 2. С. 137-158.
5. Kucherenko Ye. I., Trokhimchuk S.N., Driuk O.D. Knowledge-oriented technologies in highly automated
production // Радюелектрошка, шформатика, управляя. 2014. No. 2. С. 79-84. DOI: 10.15588/1607-32742014-2-12
6. Ponulak F., Kasinski A. Introduction to spiking neural networks: Information processing, learning and applications // Acta Neurobiologiae Experimentalis. 2011. No. 71. C. 409-433.
7. Бендерская Е.Н., Никитин К.В. Возможности использования импульсных рекуррентных нейронных сетей для анализа электрокардиограмм // Информационно-управляющие системы. 2015. № 1. С. 85-91. DOI: 10.15217/issn1684-8853.2015.1. 85
8. Колесницкий О.К., Бокоцей И.В., Яремчук С.С. Аппаратная реализация элементов импульсных нейронных сетей с использованием биспин-прибо-ров // Нейроинформатика. 2010. № 1. С. 121-131.
9. Игумнов И.В., Куцый Н.Н. Формирование ШИМ-элемента с использованием искусственных нейронных сетей // Вестник Иркутского государственного технического университета. 2014. № 6 (89). С. 31-35.
10. Игумнов И.В., Куцый Н.Н. Нейросетевая реализация и настройка ШИМ-элементов в автоматических системах // Вестник Новосибирского государственного технического университета. 2015. № 3 (60). С. 23-32.
11. Gerstner W., Kistler W.M. Spiking Neuron Models Single Neurons, Populations, Plasticity. Cambridge University Press, 2002, 504 с.
12. Ануфренко С.Е., Коновалов Е.В. Нейронные модели на основе импульсного нейрона. Ярославль: Ярославский гос. ун-т им. П.Г. Демидова, 2012. 80 с.
13. Копылов В.Д., Дунаева О.А., Мячин М.Л. Импульсный нейрон и нейронный клеточный автомат асимптотически эквивалентны // Моделирование и анализ информационных систем. 2014. Т. 21. № 3. С. 62-80.
14. Leonard M. Reyneri A performance analysis of pulse stream neural and fuzzy computing systems // IEEE transactions on circuits and systems analog and digital signal processing, T. 42. №. 10.1995. С. 642-660.
15. Химмелъблау Д. Прикладное нелинейное программирование. М.: МИР, 1975. 536 с.
References
1. Sabanin V.R., Smirnov N.I., Repin A.I. Automatic control system based on neural network technologies. Vest-nik Moskovskogo jenergeticheskogo instituta [MPEI Vestnik], 2005, no. 3, pp. 10-18. (In Russian).
2. Sharovin I.M., Smirnov N.I., Repin A.I. Application of artificial neuron networks for adapting automatic control systems during their operation. Promyshlennye ASU i kontrollery [Industrial Automated Control Systems and Controllers], 2012, no. 4, pp. 27-32. (In Russian).
3. Terehov V.A., Efimov D.V., Tjukin I.Ju. Nejrosetevye sistemy upravlenija [Neural network control systems]. Moscow: IPRZhR Publ., 2002, 480 p. (In Russian).
4. Vorobev Yu.B., Kudinov P., Elcov M., Kyoop K., CHyong Van K.N. Application of information technologies (genetic algorithms, neural networks, parallel computing) in safety analysis of nuclear power plants. Trudy Instituta sistemnogo programmirovaniya RAN [Proceedings of the Institute of System Programming of the RAS], 2014, vol. 26, no. 2, pp. 137-158. (In Russian).
5. Kucherenko Ye.I., Trokhimchuk S.N., Driuk O.D. Knowledge-oriented technologies in highly automated production. Radioelektronika, informatika, upravlinnya [Radio electronics, computer science, management],
2014, no. 2. pp. 79-84. DOI: 10.15588/1607-3274-20142-12
6. Ponulak F., Kasinski A. Introduction to spiking neural networks: Information processing, learning and applications. Acta Neurobiologiae Experimentalis. 2011, no. 71, pp. 409-433.
7. Benderskaya E.N., Nikitin K.V. Using spiking recurrent neural networks for ECG analysis. Informacionno-uprav-lyayushchie sistemy [Information and Control Systems],
2015, no. 1. pp. 85-91. DOI: 10.15217 / issn1684-8853.2015.1.85. (In Russian).
8. Kolesnickij O.K., Bokocej I.V., Yaremchuk S.S. Hardware implementation of pulsed neural network elements using bispin devices. Nejroinformatika [Neuroinformatics], 2010, no. 1, pp. 121-131. (In Russian).
9. Igumnov I.V., Kuciy N.N. PWM element formation using artificial neural networks. Vestnik Irkutskogo Gosu-darstvennogo Tehnicheskogo Universiteta [Proceedings of Irkutsk State Technical University], 2014, no. 6 (89), pp. 31-35. (In Russian).
10. Igumnov I. V., Kucyi N.N. Neural network implementation and adjustment of PWM elements in automatic systems. Vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Science Bulletin of the NSTU], 2015, no. 3(60), pp. 23-31. (In Russian).
11. Gerstner W., Kistler W. M. Spiking Neuron Models Single Neurons, Populations, Plasticity. Cambridge University Press, 2002, 504 p.
12. Anufrenko S.E., Konovalov E.V. Nejronnye modeli na osnove impul'snogo nejrona [Pulsed neuron-based neural models]. Yaroslavl: Yaroslavl State University named after Demidov Publ., 2012, 80 p. (In Russian).
13. Kopylov V.D., Dunaeva O.A., Myachin M.L. Impulse neuron and cellular neural automaton are asymptotically equivalent. Model. i analiz inform. Sistem [Model and Analysis of Information Systems], 2014, vol. 21, no. 3, pp. 62-80. (In Russian).
14. Leonard M. Reyneri A performance analysis of pulse stream neural and fuzzy computing systems // IEEE transactions on circuits and systems analog and digital signal processing, vol. 42, no. 10, 1995, pp. 642-660.
15. Himmelblau D. Prikladnoe nelinejnoe programmiro-vanie [Applied nonlinear programming]. Moscow: MIR Publ., 1975, 536 p.
Критерии авторства
Игумнов И.В. провел исследование, подготовил рукопись и несет ответственность за плагиат.
Конфликт интересов
Автор заявляет об отсутствии конфликта интересов.
Authorship criteria
Igumnov I. V. has conducted the study, prepared the manuscript for publication and bears the responsibility for plagiarism.
Conflict of interests
The author declares that there is no conflict of interests regarding the publication of this article.
