CC BY
24
ПРИМЕНЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ NARX И LSTM В ЗАДАЧЕ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ СИСТЕМОЙ МАГНИТНОЙ
ЛЕВИТАЦИИ
А.Г. Коробейников, д-р техн. наук, профессор
Санкт-Петербургский филиал Института земного магнетизма, ионосферы и распространения радиоволн им. Н.В. Пушкова РАН (СПбФ ИЗМИРАН) (Россия, г. Санкт-Петербург)
DOI:10.24412/2500-1000-2022-8-2-36-44
Аннотация. При проектировании систем автоматизированного управления сложными техническими динамическими объектами используют математический аппарат на базе искусственных нейронных сетей, обладающие уникальными преимуществами: - возможность проведения параллельных вычислений; - нахождение ранее неизвестных взаимосвязей между входными и выходными последовательностями цифровых сигналов; -обеспечение более эффективного управления нелинейными системами за счет применения нелинейных функций активации. Кроме того, они иногда снимают возникающие сложности при описании некоторых задач в виде аналитических математических моделей.
Нейроуправление является одним из перспективных направлений, находящееся на стыке теорий систем автоматического управления и искусственного интеллекта. В данной работе рассмотрена задача использования нейросетевой идентификации в системе автоматизированного управления магнитной левитации (нейросетевой регулятор). Метод. Решение поставленной задачи происходит на базе методов искусственного интеллекта -хорошо известных рекуррентных искусственных нейронных сетей NARX и LSTM. Обучение этих сетей производилось при помощи алгоритма обратного распространения и метода Левенберга-Марквардта имеющих хорошую сходимость. При обучении искусственных нейронных сетей необходимо учитывать эффект переобучения, который может привести к плохим результатам. Инструментальным средством для задания архитектуры нейронных сетей, их построения, обучения и тестирование являлась система MATLAB. Основные результаты. Применение обученных искусственных нейронных сетей к тестовым данным показало для данной задачи некоторое преимущество сети NARX по сравнению с LSTM. Причем среднеквадратичная ошибка (the root mean squared error - RMSE) для сети NARX с 50 скрытыми слоями для данной задачи меньше, чем для сети, имеющей 100 скрытых слоев. Отсюда следует рекомендация применения искусственной нейронной сети NARX при решении задач проектирования автоматизированных систем управления электромагнитными левитирующими объектами. Практическая значимость. Полученные результаты можно применять при проектировании автоматических систем управления левитирующими объектами. В настоящее время большинство таких систем разрабатывают для осуществления перевозок товаров различного назначения используя эффект левитации.
Ключевые слова: искусственные нейронные сети, LSTM, NARX, машинное обучение, САУ, магнитная левитация, MATLAB.
Возникающие сложности при описании некоторых задач в виде аналитических математических моделей (ММ) и при их решении, вызвали практический и теоретический интерес в предметной области (ПрО), связанной с развитием методов и систем, которые взаимосвязаны с разными
особенностями, возникающими при использовании методов искусственного интеллекта (ИИ). К таким ПрО относятся, например, системы нечеткой логики, экспертных оценок, искусственных нейронных сетей (ИНС) и/или их интеграция. Возникающие задачи в этих ПрО имеют
ряд свойств, определяющих сложность их решения, таких как, нелинейность ММ, неполнота знаний в протекающих процессах, сложность прогнозирования и ситуационного управления, случайный характер внешних воздействий.
В настоящее время, при проектировании систем автоматизированного управления (САУ) сложными техническими динамическими объектами (СТДО) используют хорошо зарекомендовавший себя мощный математический аппарат на базе ИНС. Нейроуправление СТДО является одним из перспективных направлений, которое находится на стыке таких дисциплин, как теория САУ и ИИ.
По сравнению с классическими методами, применяемыми при разработке САУ СТДО, в случаях применения ИНС, можно выделить следующие уникальные для ИНС преимущества:
- Проведение параллельных вычислений.
- Нахождение ранее неизвестных взаимосвязей между входными и выходными последовательностями цифровых сигналов.
- Обеспечение более эффективного управления нелинейными системами за счет применения нелинейных функций активации.
Вышеназванные преимущества ИНС вызвали большой научный интерес к постановке задач, связанных с практическим применением нейроконтроллеров в САУ СТДО. Тем не менее, необходимо отметить и некоторые проблемы, которые могут возникнуть при проектировании САУ СТДО с использованием ИНС, например:
- Применение немасштабированных данных на входе ИНС достаточно часто вызывает эффект насыщения, что приводит к нечувствительности ИНС.
- При использовании большого количества переменных ИНС, как правило, возникает эффект «проклятие размерности».
Правильный учет этих возможных проблем позволяет успешно решить поставленную задачу.
Данная работа базируется на «подражающем нейроуправлении» [Ошибка! Источник ссылки не найден.-0]. Основ-
ная идея этого управления заключается в обучении нейроконтроллера на примере динамики обычного контроллера с обратной связью, а в качестве обучающей выборки берутся значения на входе и выходе контроллера. Выход является ожидаемой реакцией нейроконтроллера. Для оценки вектора состояния СТДО будут использованы следующие ИНС: - «модели нелинейной авторегрессии с экзогенными входами - NARX» и «модели с долгой краткосрочной памятью - LSTM».
В качества объекта управления выбрана система магнитной левитации, являющей СТДО, математическая модель и необходимые данные о котором представлены в [0-Ошибка! Источник ссылки не найден.].
Вычислительные эксперименты были проведены под управлением
WINDOWS 11 при помощи системы MATLAB, позволяющей решать задачи в различных ПрО [Ошибка! Источник ссылки не найден.-Ошибка! Источник ссылки не найден.].
Постановка задачи
ИНС LSTM (Long Short-Term Memory) является разновидностью архитектуры рекуррентных ИНС, которая была предложена в 1997 году Зеппом Хохрайтером и Юргеном Шмидхубером [14]. Выбор для исследования применения LSTM-сети обусловлен ее свойством хорошего прогнозирования временных рядов в ситуациях разделения их значений временными лагами с точно неизвестной продолжительностью ключевых событий.
ИНС NARX (Nonlinear Autoregressive with Exogenous inputs) также имеет архитектуру рекуррентных ИНС, называемых также динамическими моделями NARX [Ошибка! Источник ссылки не найден.]. Эти модели хорошо себя зарекомендовали при моделировании нелинейных систем [Ошибка! Источник ссылки не найден.-Ошибка! Источник ссылки не найден.]. Кроме того, одним из основных приложений применения моделей NARX являются различные САУ.
Целью данной работы является анализ результатов на предмет эффективности использования двух вышеназванных ИНС
для случая САУ левитирующим телом (ЛТ), рассмотренного в [Ошибка! Источник ссылки не найден.].
Для достижения поставленной цели необходимо решить две задачи:
- проектирование ИНС LSTM и КАЯХ, используя репрезентативный набор данных (НД) о фактическом положении ЛТ, реагирующего на управляющий ток в катушке, в соответствии с ММ рассмотренной в [Ошибка! Источник ссылки не найден.];
- провести анализ результатов работы спроектированных ИНС на одном и том же тестовом НД.
Похожая задача обучения ИНС ЬБТМ рассмотрена в [Ошибка! Источник ссылки не найден.].
Целью обучения ИНС является получение минимальной среднеквадратичной ошибки ЯМБЕ.
Исходные данные о величине тока и положении ЛТ в зависимости от текущего времени были получены в результате компьютерного моделирования ММ, представленной в [Ошибка! Источник ссылки не найден.]. Физическая интерпретация этих графиков, следующая: сначала ЛТ неподвижно находилось на специальной подложке. Для отрыва от подложки, при помощи тока, усиливалось магнитное поле, индуцированное катушкой. После
отрыва от подложки началось приближение ЛТ к катушке. При этом происходит уменьшение напряженности магнитного поля таким образом, что на заданном расстоянии от подложки сила притяжения Земли, имеющая гравитационную природу, уравновешивается силой притяжения к катушке, имеющая электромагнитную природу. Далее, согласно теореме Ирн-шоу. ЛТ начинает колебаться по вертикальной оси около заданной точки равновесия [Ошибка! Источник ссылки не найден.]. Задача САУ состоит в поддержании этого режима. Данный процесс является достаточно быстрым и измеряется в секундах. То есть переход из неподвижного положения ЛТ в устойчивый динамический режим имеет длительность порядка 3-х секунд.
В результате компьютерного моделирования был получен НД, содержащий относительное время, величину тока на катушке и положение ЛТ. Для дальнейших корректных вычислений данные о токе и положении, были нормализованы (масштабированы) путем вычета из каждого значения соответствующей величины (тока или положения) его среднеарифметического и последующего деления на средне-квадратическое (стандартное) отклонение. Графики этих данных представлены на рис. 1 (а, б).
б
Рис. 1. а) Нормализованное значение величины тока на катушке в зависимости от времени. б) Нормализованное положение ЛТ в зависимости от времени.
Объем обучающей выборки зададим в размере 90% от исходной, которая состоит из 251 элементов значений тока и такого же числа для положения ЛТ. Соответственно тестовая выборка будет иметь объем равный 10 % от исходной, то есть 25 элементов. Такой выбор обусловлен тем, что после наступления устойчивого динамического режима, величины тока и положения принимают практически устойчивые значения с небольшими флук-туациями.
Сравнение эффективности обученных ИНС оценивалось по величине среднеквадратичной ошибки на тестовой выборке.
Создание ИНС с соответствующими структурами
Создадим ИНС LSTM и NARX с соответствующими структурами. Сначала проведем эксперименты с ИНС LSTM. Для этого зададим величины для прогноза и учета предыдущих значений. Далее проведем обучение этой сети на 250 эпохах (итерациях) с числом скрытых слоев равным 50 и 100. Результаты моделирования представлены на рис. 2 и 3. Из представленных графиков видно, что при числе
скрытых слоев равным 100, сеть обучается лучше. Для этих данных обученная ИНС LSTM на тестовых данных выдает среднеквадратичную ошибку RMSE=0.0597. Для 50 скрытых слоев RMSE=0.0728.
Теперь проведем вычислительные эксперименты с ИНС NARX. Для этого создадим две подобные ИНС, отличающиеся количеством скрытых слоев - в одной 50, в другой 100. Структура ИНС NARX с 50 скрытыми слоями представлена на Рис. 4. Результаты обучения этой ИНС представлены на рис. 5.
Обучение проводилось при помощи алгоритма оптимизации Левенберга-Марквардта, представляющего из себя модификацию стандартного алгоритма обратного распространения [Ошибка! Источник ссылки не найден.]. Величина среднеквадратичной ошибки обученной нейронной сети для тестовой выборки равна RMSE = 4.2559e-04.
Результаты обучения ИНС NARX, имеющей 100 скрытых слоев, представлены на рис. 6. Величина среднеквадратичной ошибки обученной нейронной сети для всех временных шагов равна RMSE = 0.0056.
Рис. 2. Обучение ИНС LSTM с числом скрытых слоев равным 50.
Рис. 3. Обучение ИНС LSTM с числом скрытых слоев равным 100.
Рис. 4. Структура ИНС NARX с числом скрытых слоев равным 50
Результаты тестирования ИНС КАЯХ с числом скрытых слоев равным 50 и 100 представлены на рисунках 7 и 8. На этих рисунках показано, в случае если модель точна, то знаки «+» будут отслеживать
точки положения ЛТ. В этом случае ошибки на нижней оси будут небольшими. Кроме того, на рисунках обозначены различными цветами точки, попадающие в обучающую и тестовую выборку.
Network Diagram Training Results
Training finished: Reached minimum gradient ©
Training Progress
Unit Initial Value Stopped Value Target Value
Epoch : 1CS 1 ООО
Elsps^d Time - 00:00:0^ -
Perfor~ia-ice 3.07 1.29e-12 :
Gradient 11 6 Э.Эа-08 1e-07
Mu 0.001 1e+10
Validation Checks : : 6
Training Algorithms
Data Division: Random dividerand Training: Levenberg-Marquardt trainlm
Performance: Mean Squared Error mse Calculations: MEX
Training Plots
-erfcrriEice Training ate
=ггаг Histogram degression
Time-Series Response Errcr
Input-Error Cross-correlation
Рис. 5. Результаты обучения ИНС NARX с 50 скрытыми слоями
Network Diagram Training Results
Training finished: Met validation criterion 0
Training Progress
Unit Initial Value Stopped Value Target Value
Epoch : 15 1000
Elapsed Time - 00:00:03 -
Performance 5.52 891e-08 :
Gradient 21 1 6 46e-05
Mu 0.001 1e-06 16+10
Validation Checks : 6 6
Training Algorithms
Data Division: Random dividerand Training: Levenberg-Marquardt trainlm Performance: Mean Squared Error mse Calculations: MEX
Training Plots
Performance Training S:ate
=rrcr Histogram Regression
Tn'e-Ser es dessonse E"cr
Input-Error Cross-correlation
Рис. 6. Результаты обучения ИНС NARX имеющей 100 скрытых слоев
Порядковый номер в выборке
Рис. 7. Сравнение реакции обученной ИНС NARX c 50 скрытыми слоями с фактическим
положением ЛТ.
Сравнение реакции обученной ИНС ЫА^ с фактическим положением ЛТ (количество скрытых слоев 100]
........................................... .............................................. 'Н<Ж11НПН|1ИН1111Н1П1Н1ННнЖЖН' • Training Targets + Training Outputs Validation Targets + Validation Outputs • Test Targets + Test Outputs Errors -Response -
1 1 1 1
| • Targets • Outputs |
J_
50 100 150 200
Порядковый номер в выборке
Рис. 8. Сравнение реакции обученной ИНС NARX ш 100 скрытыми слоями с фактическим положением ЛТ.
Заключение
Полученные в ходе проведения компьютерного моделирования результаты представлены в следующей таблице.
Таблица. Величина RMSE для ИНС_
ИНС Количество скрытых слоев RMSE
LSTM 50 7.28-02
LSTM 100 5.97e-02
NARX 50 4.2559e-04
NARX 100 5.6e-03
Анализ представленных результатов показывает, что ИНС NARX лучше подходит для САУ магнитной левитации. Кроме того, величина среднеквадратичной ошибки и время обучения для ИНС NARX с 50 скрытыми слоями меньше, чем у ИНС NARX, имеющей 100 скрытых слоев. Поэтому рекомендуется выбирать ИНС NARX с 50 скрытыми слоями.
В заключении следует отметить, что в данной работе решалась конкретная задача
связанная с нейроуправлением. В общем же случае существует множество нерешенных задач в области нейроуправления. Например, отсутствие универсальной процедуры анализа устойчивости нелинейных нейроконтролеров. Известны лишь частные решения для некоторых видов нейро-контроллеров, причем с известной ММ объекта управления. Исходя из сказанного, можно сделать вывод об актуальности исследований в данной области.
Библиографический список
1. Zhang Y., Wang J. Recurrent neural networks for nonlinear output regulation // Automatica. - 2001. - Vol. 37, № 8. - P. 1161-1173.
2. Omidvar O., Elliott D.L. eds. Neural Systems for Control // Academic Press, New York, 1997. - 358 с.
3. Омату С., Халид М., Юсоф Р. Нейроуправление и его приложения: пер. с англ. - М.: ИПРЖР, 2000. - 272 с.
4. Коробейников А.Г. Проектирование математической модели системы автоматического управления магнитной левитации // Международный журнал гуманитарных и естественных наук. - 2021. - № 12-2 (63). - C. 15-26.
5. Vo A.T., Truong T.N., Kang H.J. A Novel Fixed-Time Control Algorithm for Trajectory Tracking Control of Uncertain Magnetic Levitation Systems// IEEE Access, vol. 9, pp. 4769847712, 2021, doi: 10.1109/ACCESS.2021.3068140.
6. Katherine A. Mirica, Scott T. Phillips, Charles R. Mace and George M. Whitesides. Magnetic Levitation in the Analysis of Foods and Water // Department of Chemistry and Chemical Biology, Harvard University, Cambridge, Massachusetts 02138. J. Agric. Food Chem., 2010, 58 (11), pp. 6565-6569, DOI: 10.1021/jf100377n.
7. Zakria Qadir, Arslan Munir, Tehreem Ashfaq, Hafiz Suliman Munawar, Muazzam A. Khan, Khoa Le. A prototype of an energy-efficient MAGLEV train: A step towards cleaner train transport // Cleaner Engineering and Technology. Volume 4, 2021, doi.org/10.1016/j.clet.2021.100217.
8. Silva, B.E. and Barbosa, R.S., 2021. Experiments with Neural Networks in the Identification and Control of a Magnetic Levitation System Using a Low-Cost Platform. Applied Sciences, 11(6), p.2535.
9. Korobeynikov A.G., Grishentsev A.Y., Velichko E.N., Aleksanin S.A., Fedosovskii M.E., Bondarenko I.B., Korikov C.C. Calculation of Regularization Parameter In The Problem Of Blur Removal In Digital Image // Optical Memory & Neural Networks (Information Optics). - 2016. - V. 25. №3. - P. 184-91.
10. Коробейников А.Г., Кутузов И.М. Алгоритм обфускации // Кибернетика и программирование. - 2013. - № 3. - С. 1-8.
11. Korobeynikov A.G., Fedosovsky M.E., Zharinov I.O., Shukalov A.V., Gurjanov A.V. Development of conceptual modeling method to solve the tasks of computer-aided design of difficult technical complexes on the basis of category theory // International Journal of Applied Engineering Research. - 2017. - Т. 12. № 6. - С. 1114-1122.
12. Богатырев В.А., Богатырев С.В. Своевременность обслуживания в многоуровневых кластерных системах с поэтапным уничтожением просроченных запросов // Вестник компьютерных и информационных технологий. - 2018. - №2 (164). - С. 28-35.
13. Гришенцев А.Ю., Коробейников А.Г. Понижение размерности пространства при корреляции и свертке цифровых сигналов // Известия высших учебных заведений. Приборостроение. - 2016. - Т. 59. № 3. - С. 211-218.
14. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. - 1997. -Vol. 9, № 8. - P. 1735-1780.
15. Diaconescu E. The use of NARX neural networks to predict chaotic time series // WSEAS Trans. Comp. Research. - 2008. - Vol. 3. - P. 182-191.
16. Antic D., Milovanovic M., Nikolic S., Milojkovic M. and Peric S. Simulation model of magnetic levitation based on NARX neural networks. International Journal of Intelligent Systems and Applications. - 2013. - №5 (5). - Pp. 25-32.
17. Thapa S., Zhao Z., Li B., Lu L., Fu D., Shi X., Tang B. and Qi H. Snowmelt-driven streamflow prediction using machine learning techniques (LSTM, NARX, GPR, and SVR) // Water. - 2020. - № 12 (6). - P. 1734.
18. Cocianu C.L., Avramescu M.§. The Use of LSTM Neural Networks to Implement the NARX Model. A Case Study of EUR-USD Exchange Rates // Informatica Economica. - 2020. -№24 (1). - Pp. 5-14.
19. Massaoudi, M., Chihi, I., Sidhom, L., Trabelsi, M., Refaat, S.S., Abu-Rub, H. and Ouesla-ti, F.S., 2021. An effective hybrid NARX-LSTM model for point and interval PV power forecasting. IEEE Access, 9, pp.36571-36588.
20. Mishra S.K., Sahoo A.K., Pandey R.N., Dash P.P. Identification of Real-Time Maglev Plant using Long-Short Term Memory Network based Deep Learning Technique // Journal of Scientific and Industrial Research (JSIR). - 2020. - №79 (12). - Pp. 1101-110.
21. Abanov A., Hayford N., Khavinson D., Teodorescu R. Around a theorem of F. Dyson and A. Lenard: Energy equilibria for point charge distributions in classical electrostatics // EXPOSI-TIONES MATHEMATICAE, Jun 2021, Vol 39 (2), Pp. 182-196. DOI 10.1016/j.exmath.2021.03.003
22. Rubio J. d. J. Stability Analysis of the Modified Levenberg-Marquardt Algorithm for the Artificial Neural Network Training, in IEEE Transactions on Neural Networks and Learning Systems, vol. 32, no. 8, pp. 3510-3524, Aug. 2021, doi: 10.1109/TNNLS.2020.3015200.
APPLICATION OF NARX AND LSTM ARTIFICIAL NEURAL NETWORKS IN THE PROBLEM OF AUTOMATIC CONTROL OF A MAGNETIC LEVITATION SYSTEM
A.G. Korobeynikov, Doctor of Technical Sciences, Professor
St. Petersburg Branch of the Pushkov Institute of Terrestrial Magnetism, Ionosphere and Radio Wave Propagation of the Russian Academy of Sciences (Russia, St. Petersburg)
Abstract. When designing automated control systems for complex technical dynamic objects, a mathematical apparatus based on artificial neural networks is used, which has unique advantages: - the possibility ofparallel computing; - finding previously unknown relationships between input and output sequences of digital signals; - providing more efficient control of nonlinear systems through the use of nonlinear activation functions. In addition, they sometimes remove the difficulties that arise when describing some problems in the form of analytical mathematical models.
Neurocontrol is one of the promising areas, located at the intersection of theories of automatic control systems and artificial intelligence. This paper considers the problem of using neural network identification in the system of automated control of magnetic levitation (neural network controller). Method. The solution of the task is based on the methods of artificial intelligence -the well-known recurrent artificial neural networks NARX and LSTM. These networks were trained using the backpropagation algorithm and the Levenberg-Marquardt method, which have good convergence. When training artificial neural networks, it is necessary to take into account the effect of overfitting, which can lead to poor results. The MATLAB system was a tool for setting the architecture of neural networks, their construction, training and testing. Main results. The application of trained artificial neural networks to test data showed for this problem some advantage of the NARX network compared to LSTM. Moreover, the root mean squared error (RMSE) for the NARX network with 50 hidden layers for this problem is less than for the network with 100 hidden layers. Hence follows the recommendation to use the NARX artificial neural network in solving the problems of designing automated control systems for electromagnetic levitating objects. Practical significance. The results obtained can be applied in the design of automatic control systems for levitating objects. Currently, most of these systems are being developed for the transportation of goods for various purposes using the levitation effect.
Keywords: Artificial neural networks, LSTM, NARX, machine learning, ACS, magnetic levitation, MATLAB.
