МЕТОД НЕЛДЕРА-МИДА В ОБУЧЕНИИ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ, ВХОДЯЩЕЙ В СОСТАВ ШИМ-ЭЛЕМЕНТА Текст научной статьи по специальности «Компьютерные и информационные науки»

ISSN 1814-1196

http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 68, No. 3, 2017, pp. 22-30

Научный вестник НГТУ том 68, № 3, 2017, с. 22-30

АВТОМАТИЧЕСКОЕ УПРАВЛЕНИЕ И ИДЕНТИФИКАЦИЯ

AUTOMATIC CONTROL AND IDENTIFICATION

УДК 004.85:681.51.01

Метод Нелдера-Мида в обучении искусственной нейронной сети, входящей в состав ШИМ-элемента*

И.В. ИГУМНОВ1, Н.Н. КУЦЫЙ2

1 664074, РФ, г. Иркутск, ул. Лермонтова, 83, Иркутский национальный исследовательский технический университет, аспирант кафедры автоматизированных систем. Е-таИ: rtif555@gmail.com

664074, РФ, г. Иркутск, ул. Лермонтова, 83, Иркутский национальный исследовательский технический университет, доктор технических наук, профессор кафедры автоматизированных систем. Е-тай: kucyinn@mail.ru

В данной работе представлено решение задачи обучения искусственной нейронной сети (ИНС), с помощью которой в автоматической системе регулирования (АСР), имеющей в своем составе ШИМ-элемент, определяется такая важная составляющая его характеристики, как скважность. Исходя из вышесказанного можно говорить о широко распространенной в практике регулирования задаче параметрической оптимизации. Она с учетом применения ИНС при формулировке требует уточнения. Известны критерий оптимизации, архитектура ИНС, набор функций активации скрытого слоя. Необходимо определить значения синаптических весов, доставляющих экстремум принятого критерия. При этом следует дать рекомендации по выбору функции активации, исходя из конкретики требований, предъявляемых к процессам, протекающим в автоматической системе. Наличие в данной системе существенно нелинейного элемента определяет подход к решению вышеизложенной задачи с помощью алгоритмических методов.

Алгоритм обучения нейронной сети, сформирован на базе метода Нелдера-Мида, который относится к достаточно универсальным, что позволяет уменьшить трудности, проявляющиеся при решении подобных задач.

Как указывалось выше, этот алгоритм ОНС используется при обучении ИНС, входящей в АСР, структурная схема и ее математическое описание представлены. Для исследования работоспособности алгоритма использована методика, нашедшая распространение при проведении параметрической оптимизации классических импульсных АСР. Она основана на сходимости форм модуляционных характеристик. Применение ИНС повлекло за собой введение понятия «псевдомодуляционная характеристика». Приведены результаты настройки автоматической системы на достижение минимума интегрального критерия качества при использовании указанной архитектуры нейронной сети и пяти функций активации скрытого слоя.

Статья получена 28 апреля 2017 г.

Ключевые слова: искусственная нейронная сеть, широтно-импульсная модуляция, обучение нейронной сети, параметрическая оптимизация, метод Нелдера-Мида, псевдомодуляционная характеристика, функции активации, интегральный критерий

БО!: 10.17212/1814-1196-2017-3-22-30

ВВЕДЕНИЕ

Все больший интерес возникает при синтезе АСР к использованию импульсных элементов, в частности, с широтно-импульсной модуляцией, имеющих в своем составе ИНС с их известными преимуществами [1-8]. При применении такого рода регуляторов необходимо решать задачу параметрической оптимизации, под которой понимается определение оптимальной настройки (обучения) синаптических весов ИНС по выбранному критерию, для чего в работе [9] предложен алгоритм обучения нейронных сетей (ОНС). Настоящая работа посвящена исследованию возможности его применения для решения задачи параметрической оптимизации в практике автоматического регулирования.

1. ПОСТАНОВКА ЗАДАЧИ

Структурная схема настраиваемой алгоритмом ОНС автоматической системы представлена на рис. 1.

Рис. 1. Структурная схема АСР:

Ор(р) - оператор объекта регулирования; и(г) - выход ШИМ-элемента; Ое - оператор ШИМ-элемента с нейронной сетью; р = С/Сг - оператор дифференцирования; Цг) - задающее воздействие; х(Г) - регулируемая величина; в(Г) - ошибка регулирования

Процессы, протекающие в автоматической системе регулирования, можно описать в следующем виде:

г(г) = Цг) - х(г),

и(г) = °1вг({), х(г) = Ор (р)и (г).

Характеристика ШИМ-элемента представлена в виде

+1 при е[кТ] > 0 и при кТ < г < кГ + гк,

и (г) = < -1 при е[кТ] < 0 и при кТ < г < кТ + гк,

0 при кТ + гк < (к + 1)Т;

(1)

<к =УкТ, (3)

к = 1, 2, ... ,

где Т - период цикла работы ШИМ-элемента; tk - длительность (ширина) к-го

к 1

импульса; у - скважность к-го импульса, которая находится с помощью нейронной сети [10], изображенной на рис. 2.

Рис. 2. Архитектура искусственной нейронной сети:

Щ- нейроны скрытого слоя (г = 1..т), м>п,м>п,...,м>1т, ^+1,^+1,. ■., ™т+\,т+\ -весовые коэффициенты, образующие матрицу весовых коэффициентов W

В качестве оценки работы автоматической системы принят интегральный критерий, общий вид которого

I = { Е (е(*, W))dt, (4)

0

здесь е(г, W) - ошибка системы, Е - некоторая выпуклая функция.

2. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Задача параметрической оптимизации решается с помощью алгоритма ОНС [9], сформированного на основе метода Нелдера-Мида [11], который требует задания следующих параметров: коэффициент отражения а , коэффициент растяжения у , коэффициент сжатия Р.

Оператор объекта регулирования Ор (р) представлен в виде, с помощью которого можно описать значительное количество промышленных объектов:

Ор (р) = ким-к°б-е_тобр, (5)

Р (Тоб1 Р + 1)(Тоб2 Р +1)

где коб - коэффициент передачи объекта; ким - коэффициент передачи исполнительного механизма; Т,б1, Т)62 - постоянные времени объекта; тоб- время запаздывания.

Критерий оптимизации представлен в виде

Ь 2

I= {е2^, W)dt, (6)

0

где Ь - интервал интегрирования.

Параметры алгоритма ОНС [15]: а = 1, у = 2, р = 0,5 [11].

Так как сформированный алгоритм имеет конечной целью включение его в алгоритмическое обеспечение автоматических систем, то необходима проверка его работоспособности, под которой понимается сходимость алгоритма в области диапазона параметров, который определяется практикой автоматического регулирования. В настоящей работе в основу такой проверки положен хорошо зарекомендовавший себя способ, в котором используются модуляционные характеристики [16, 17].

Ввиду того, что ук - скважность к-го импульса, определяемая с помощью нейронной сети, не использует модуляционную характеристику, то исходя из вышесказанного введем понятие псевдомодуляционной характеристики, смысл которой аналогичен ей. Даная характеристика строится путем подачи на вход нейронной сети ошибки регулирования. На рис. 3 приведены псевдомодуляционные характеристики для степенной функции активации, где цифрами 1 и 2 обозначены псевдомодуляционные характеристики, каждая из которых принадлежит разным начальным симплексам и построена из точки (совокупность синаптических весов), обеспечивающей минимальное значение критерия (6). Цифрой 3 обозначена псевдомодуляционная характеристика, полученная в результате работы алгоритма ОНС, запущенного из начального симплекса, имеющего в своем составе псевдомодуляционную характеристику 1, а цифрой 4 - псевдомодуляционная характеристика, полученная соответственно из начального симплекса, имеющего в своем составе псевдомодуляционную характеристику 2.

0 0,1 0,2 Й,3 П^ Й,е 0,7 0$ 0,3 *

Рис. 3. Схождение модуляционных характеристик

Таким образом, на рис. 3 представлено схождение результатов работы алгоритма к одной форме псевдомодуляционной характеристики (псевдомодуляционные характеристики 3 и 4 совпадают на интервале е е[0, X] с достаточной для практики точностью). Подобные результаты получены и для других функций активации.

На рис. 4 цифрами 1' и 2' представлены зависимости I от количества

итераций алгоритма ОНС к , построенные из начальных симплексов, имеющих в своем составе псевдомодуляционные характеристики 1 и 2 соответственно. Совпадение зависимостей 1' и 2' с достаточной для практики точностью при к > 40 иллюстрирует дополнительное доказательство сходимости алгоритма.

Рис. 4. Сходимость критерия

Исследования проведены в достаточно большом диапазоне параметров

объекта регулирования, у которого -об- > 1, где Тоб = тах[ Т>б1, Тэ62 ]. Как

Тоб

известно, при таком соотношении приемлемое качество переходных процессов обеспечивает импульсные законы регулирования, в частности ШИМ-элементы.

В качестве иллюстрации приведены результаты исследования для ким = 0,01; коб = 1; Тоб1 = 10; Тоб2 = 40; тоб = 50 и периода повторения импульсов Т = 25 при задающем воздействии = 0,5 • 1(0 и ограничениях, при которых значение скважности у к, полученное с помощью нейронной сети, лежит на отрезке от 0 до 1. Исходя из анализа литературы [1, 3, 5, 7, 11, 13, 14] выбраны следующие функции активации для нейронов скрытого слоя: логистическая, степенная, гиперболический тангенс, сигмоидальная (рациональная), синусоидальная.

По итогам работы алгоритма ОНС получены значения синаптических весов, которым соответствуют переходные процессы (рис. 5, а, б, где 1 - результат при синусоидальной функции активации нейронов скрытого слоя нейронной сети; 2 - степенная функция активации; 3 - функция активации в виде гиперболического тангенса; 4 - сигмоидальная (рациональная) функция активации; 5 - логистическая функция активации). Значения критерия (6) при использовании этих функции активации приведены в таблице.

а б

Рис. 5. Переходные процессы, полученные по итогам работы алгоритма ОНС

Значения интегрального квадратичного критерия

Функция активации Значение критерия

Степенная 27,24

Логистическая 27,83

Гиперболический тангенс 27,14

Сигмоидальная 27,05

Синусоидальная 27,92

Исходя из результатов исследований, проведенных в достаточно большом диапазоне параметров объекта, следует, что полученные экстремальные значения по критерию (6) для систем с ШИМ-элементом, имеющим в своем составе ИНС, достаточно близки, и все зависит от требований, предъявляемых к переходным процессам, но для получения лучших значений критерия (6) необходимо использовать нейроны скрытого слоя с сигмоидальной функцией активации.

ЗАКЛЮЧЕНИЕ

В качестве вывода следующее: алгоритм ОНС успешно решает задачу обучения нейронной сети для ШИМ-систем с различными функциями активации в скрытом слое ИНС с достаточной для практики точностью и тем самым может рекомендоваться для включения в алгоритмическое обеспечение промышленных автоматических систем. В зависимости от требования к форме переходного процесса (рис. 5) можно рекомендовать выбор активацион-ной функции.

СПИСОК ЛИТЕРАТУРЫ

1. Сабанин В.Р., Смирнов Н.И., Репин А.И. Автоматические системы регулирования на основе нейросетевых технологий // Вестник Московского энергетического института. - 2005. -№ 3. - С. 10-18.

2. Шаровин И.М., СмирновН.И., Репин А.И. Применение искусственных нейронных сетей для адаптации САР в процессе их эксплуатации // Промышленные АСУ и контроллеры. -2012. - № 4. - С. 27-32.

3. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. - М.: ИПРЖР, 2002. - 480 с.

4. БасарабМ.А., Ивойлов М.А., Матвеев В.А. Оптимизация балансировки волнового твердотельного гироскопа с помощью нейронной сети Хопфилда // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. - 2012. - № 7. - С. 289-297.

5. Вариант построения регулятора возбуждения синхрононных электрических генераторов, обеспечивающий оптимизацию параметров переходных процессов сопряженной энергосистеме / А.Б. Борзов, А.В. Бумагин, А.В. Гондарь, К.П. Лихоеденко // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. - 2012. - № 6. - С. 329-350.

6. Rahmani M, Ghanbari A, Ettefagh M. Hybrid neural network fraction integral terminal sliding mode control of an inchworm robot manipulator // Mechanical Systems and Signal Processing. -2016. - Vol. 80. - P. 117-136. - doi: 10.1016/j.ymssp.2016.04.004.

7. A length ratio based neural network energy management strategy for control / H. Tian, Z. Lu, X. Wang, X. Zhang, Y. Huang, G. Tian // Applied Energy. - 2015. - Vol. 177. - P. 71-80. -doi: 10.1016/j.ymssp.2015.03.006.

8. ZhangL., Suganthan P.N. A survey of randomized algorithms for training neural networks // Information Sciences. - 2015. - Vol. 364. - P. 146-155. - doi: 10.1016/j.ins.2016.01.039.

9. Игумнов И.В., Куцый Н.Н. Нейросетевая реализация и настройка ШИМ-элементов в автоматических системах // Научный вестник НГТУ. - 2015. - № 3 (60). - С. 23-32.

10. Игумнов И.В., Куцый Н.Н. Формирование ШИМ-элемента с использованием искусственных нейронных сетей // Вестник Иркутского государственного технического университета. - 2014. - № 6 (89). - С. 31-35.

11. ХиммельблауД. Прикладное нелинейное программирование. - М: Мир, 1975. - 536 с.

12. ТуЮ.Т. Цифровые и импульсные системы автоматического управления / пер. с англ. Ю.Д. Богомолова, Ю. И. Бородина. - М.: Машиностроение, 1964. - 698 с.

13. Локтюхин В.Н., Челебаев С.В., Антоненко А.В. Нейросетевые аналого-цифровые преобразователи / под общ. ред. А.И. Галушкина. - М.: Горячая линия-Телеком, 2010. - 128 с.

14. ЗаенцевИ.В. Нейронные сети: основные модели: учебное пособие к курсу «Нейронные сети» для студентов 5 курса магистратуры. - Воронеж: Изд-во ВГУ, 1999. - 76 с.

15. Ловецкий К.П., Севастьянов Л.А., Бикеев О.Н. Математический синтез оптических наноструктур. - М: РУДН, 2008. - 143 с.

16. Куцый Н.Н. Автоматическая параметрическая оптимизация дискретных систем регулирования: дис. ... д-ра техн. наук: 05.13.06: защищена 26.11.97. - М., 1997. - 386 с.

17. Маланова Т.В.., Куцый Н.Н. Проверка достоверности вычисления функций чувствительности для систем с широтно-импульсной модуляцией // Информационные и математические технологии в науке и управлении: сборник научных трудов / ИСЭМ СО РАН. - Иркутск, 2009. - С. 43-48.

Игумнов Иннокентий Васильевич, аспирант кафедры «Автоматизированные системы» Иркутского национального исследовательского технического университета. Основное направление научных исследований - автоматизация технологических процессов и производств, нейронные сети. Имеет 9 публикаций. E-mail: rtif555@gmail.com

Куцый Николай Николаевич, доктор технических наук, профессор кафедры «Автоматизированные системы» Иркутского национального исследовательского технического университета. Основное направление научных исследований - автоматизация технологических процессов и производств, теория обратных матриц. Имеет более 200 публикаций. E-mail: kucyinn@mail.ru

The Nelder-Mead method in learning an artificial neural network as a part of the PWM element

I.V. IGUMNOV1, N.N. KUTSYI2

1 Irkutsk State Technical University, 83, Lermontov St., Irkutsk, 664074, Russian Federation, graduate student. E-mail: rtif555@gmail.com

Irkutsk State Technical University, 83, Lermontov St., Irkutsk, 664074, Russian Federation, Ph.d. (Eng.), professor. E-mail: kucyinn@mail.ru

In this paper, we present a solution to the problem of training an artificial neural network (ANN), through which an important component of its characteristic, such as a duty cycle, is determined in an automatic control system (ACS) that incorporates a PWM element. Based on the above we can discuss the problem of parametric optimization widespread in the practice of regulation. Taking into account the use of ANN in the formulation, the -problem needs to be clarified. Such parameters as the optimization criterion, the ANN architecture, a set of hidden layer activation functions are known. It is necessary to determine the values of the synaptic weights delivering the extremum of the accepted criterion. In this case, recommendations should be given on the choice of the activation function based on the specifics of the requirements for the processes occurring in the automatic system. The presence of an essentially nonlinear element (PWM) in this system determines an approach to solving the above problem using algorithmic methods.

The ANN learning algorithm (ANNLA) is formed on the basis of the Nelder-Mead method that is a fairly universal one, which allows reducing the difficulties manifested in solving similar problems.

As mentioned above, this ANNLA algorithm is used in learning ANN, that is part of the ACS, its structural diagram and its mathematical description are presented. To investigate the efficiency of the algorithm, a technique that is widely used in parametric optimization of classical pulsed ACSs is used. It is based on modulation characteristics convergence. The application of the ANN entailed the introduction of the concept of "pseudomodulation characteristic". The results of tuning an automatic system to achieve a minimum integral quality criterion are given using the specified neural network architecture and five hidden layer activation functions.

Keywords: аrtificial neural network; pulse-width modulation (PWM); neural network learning; parametric optimization; Nelder-Mead method; pseudo-modulation characteristic; activation functions; integral criterion.

DOI: 10.17212/1814-1196-2017-3-22-30 REFERENCES

1. Sabanin V.R., Smirnov N.I., Repin A.I. Avtomaticheskie sistemy regulirovaniya na osnove neirosetevykh tekhnologii [The automatic control system based on neural network technology]. Vest-nikMoskovskogo energeticheskogo instituta -MPEI Vestnik, 2005, no. 3, pp. 10-18.

2. Sharovin I.M., Smirnov N.I., Repin A.I. Primenenie iskusstvennykh neironnykh setei dlya adaptatsii SAR v protsesse ikh ekspluatatsii [The use of artificial neural networks to adapt the CAP in the process of operation]. Promyshlennye ASU i kontrollery - Industrial Automatic Control Systems and Controllers, 2012, no. 4, pp. 27-32.

3. Terekhov V.A., Efimov D.V., Tyukin I.Yu. Neirosetevye sistemy upravleniya [Neural network management system]. Moscow, IPRZhR Publ., 2002. 480 p.

4. Basarab M.A., Ivoilov M.A., Matveev V.A. Optimizatsiya balansirovki volnovogo tver-dotel'nogo giroskopa tverdotel'nogo giroskopa s pomoshch'yu neironnoi seti Khopfilda [Optimization of the balancing of the solid-state gyroscope waveguide with a Hopfield neural network]. Nauka i

*

Received 28 April 2017.

obrazovanie: nauchnoe izdanie MGTU im. N.E. Baumana - Science and Education of the Bauman MSTU, 2012, no. 7, pp. 289-297.

5. Borzov A.B., Bumagin A.V., Gondar' A.V., Likhoedenko K.P. Variant postroeniya regulya-tora vozbuzhdeniya sinkhrononnykh elektricheskikh generatorov, obespechivayushchii optimizatsiyu parametrov perekhodnykh protsessov sopryazhennoi energosisteme [Variant of construction of a regulator of excitement of synchronous electric generators which provides optimization of parameters of transient processes in conjugated power supply system]. Nauka i obrazovanie: nauchnoe izdanie MGTU im. N.E. Baumana - Science and Education of the Bauman MSTU, 2012, no. 6, pp. 329-350.

6. Rahmani M, Ghanbari A, Ettefagh M. Hybrid neural network fraction integral terminal sliding mode control of an inchworm robot manipulator. Mechanical Systems and Signal Processing, 2016, vol. 80, pp. 117-136. doi: 10.1016/j.ymssp.2016.04.004.

7. Tian H., Lu Z., Wang X., Zhang X., Huang Y., Tian G. A length ratio based neural network energy management strategy for control. Applied Energy, 2015, vol. 177, pp. 71-80, doi: 10.1016/j.ymssp.2015.03.006.

8. Zhang L., Suganthan P.N. A survey of randomized algorithms for training neural networks. Information Sciences, 2015, vol. 364, pp. 146-155, doi: 10.1016/j.ins.2016.01.039.

9. Igumnov I.V., Kuciy N.N. Neirosetevaya realizatsiya i nastroika ShIM-elementov v avto-maticheskikh sistemakh [Neural network implementation and adjustment of the PWM elements in automatic systems]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universi-teta - Science bulletin of the Novosibirsk state technical university, 2015, no. 3 (60), pp. 23-32.

10. Igumnov I.V., Kuciy N.N. Formirovanie ShIM-elementa s ispol'zovaniem iskusstvennykh neironnykh setei [Formation of the PWM cell using artificial neural networks]. Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta - Bulletin of Irkutsk State Technical University, 2014, no. 6 (89), pp. 31-35.

11. Himmelblau D. Applied Nonlinear Programming. Texas, McGraw-Hill, 1972. 536 p. (Russ. ed.: Khimmel'blau D. Prikladnoe nelineinoeprogrammirovanie. Moscow, Mir Publ., 1975. 536 p.).

12. Tou J.T. Digital and sampled-data control systems. London, McGraw-Hill, 1959. 631 p. (Russ. ed.: Tu Yu.T. Tsifrovye i impul'snye sistemy avtomaticheskogo upravleniya. Translated from English by Yu.D. Bogomolov, Yu. I. Borodin. Moscow, Mashinostroenie Publ., 1964. 698p.).

13. Loktyukhin V.N., Chelebaev S.V., Antonenko A.V. Neirosetevye analogo-tsifrovye pre-obrazovateli [Neural analogue-digital transformation, the adjustable]. Moscow, Goryachaya liniya-Telekom Publ., 2010. 128 p.

14. Zaentsev I.V. Neironnye seti: osnovnye modeli [Neural networks are basic models]. Voronezh, Voronezh State University Publ., 1999. 76 p.

15. Lovetskii K.P., Sevast'yanov L.A., Bikeev O.N. Matematicheskii sintez opticheskikh nanos-truktur [Mathematical synthesis of optical nanostructures]. Moscow, RUDN Publ., 2008. 143 p.

16. Kucyi N.N. Avtomaticheskaya parametricheskaya optimizatsiya diskretnykh sistem regu-lirovaniya. Diss. dokt. tekhn. nauk [Automatic parameter optimization of discrete systems regulation. Dr. eng. sci. diss.]. Moscow, 1997. 386 p.

17. Malanova T.V., Kucyi N.N. [Verification of the reliability of the calculation of sensitivity functions for systems with pulse width modulation]. Informatsionnye i matematicheskie tekhnologii v nauke i upravlenii [Information and mathematical technologies in science and management]. Melen-tiev Energy Systems Institute of Siberian Branch of the Russian Academy of Science. Irkutsk, 2009, pp. 43-48. (In Russian).

ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 68, No 3, 2017, pp. 22-30