CC BY
26
ISSN 1992-6502 (Print)_
2021. Т. 25, № 3 (93). С. 42-49
Вестник УГАТУ
ISSN 2225-2789 (Online) http://journal.ugatu.ac.ru
УДК 004.89
Нейросетевые технологии при полунатурном моделировании
в цифровом образовательном процессе университета 4.0
с. в. Новиков 1, а. и. Абдулнагимов 2, г. к. Агеев 3
1 novikov.sv@ugatu.su, 2 abdulnagimov.ai@ugatu.su, 3 ageev.gk@ugatu.su ФГБОУ ВО «Уфимский государственный авиационный технический университет» (УГАТУ)
Поступила в редакцию 04.10.2021
Аннотация. Обсуждается одно из научно-образовательных направлений развития университета нового поколения по созданию интеллектуальных моделей сложных систем. Рассматривается принцип реализации математических моделей газотурбинных двигателей в виде рекуррентных нейронных сетей и их применение в полунатурном комплексном моделировании для отладки систем автоматического управления, контроля и диагностики. Проводится сравнение NARX и GRU архитектур, описывается методика построения нейросетевой модели газотурбинного двигателя, реализация модели на стенде полунатурного моделирования. Приводятся результаты полунатурного моделирования параметров авиационного двигателя с реальной системой управления. Проводится анализ точности и адекватности моделей.
Ключевые слова: ГТД; рекуррентная нейронная сеть; GRU, NARX; машинное обучение; динамическая модель; полунатурное моделирование.
ВВЕДЕНИЕ
В эпоху формирования цифрового общества система образования государства и университеты России находятся в постоянном поиске стратегии развития. Мировая индустрия сегодня опирается на передовые технологии, где университеты начинают занимать важнейшую роль не только в формировании человеческого капитала, но и являться драйвером роста промышленности и развития «экономики знаний». В зависимости от фаз развития общества, университеты классифицируются на: университеты первого поколения - образовательные, выполняющие сугубо образовательную функцию; университеты 2.0 - индустриальные, выполняющие исследования и разработки в интересах промышленности; университеты 3.0 -предпринимательские, коммерциализирующие знания и технологии и находящиеся в тесной связке с бизнесом. Сегодня в период постиндустриального перехода начинает складываться концепция Университета 4.0 как института развития общества и «корпорации знаний», создающего ценности и смыслы для современной индустрии. Университет 4.0 ставит перед собой другой класс задач - решение проблем мирового уровня, поиска ответов на глобальные вызовы, формирование интеллектуальных сообществ и сетей, включая создание искусственного интеллекта и гибридных видов интеллекта. Остается открытым вопрос: с какими цифровыми технологиями связать стратегию развития образовательного процесса в университете нового поколения?
Исследование проводится при финансовой поддержке Министерства образования и науки Российской Федерации в рамках базовой части государственного задания образовательным организациям высшего образования № ЕЕПЕ-2020-0007.
В настоящее время развитие машиностроительной и топливо-энергетической промышленности опирается на технологии цифрового производства, компьютерного моделирования, машинного обучения, облачных вычислений и киберфизических систем. В связи с этим реализуется технология полунатурного моделирования и создания «цифровых двойников» как на этапах проектирования и производства, так и на этапах эксплуатации и утилизации [1]. Цифровые двойники признаны сократить сроки разработки изделий, снижают стоимость их эксплуатации и повышают скорость их вывода на рынок. Технологии, лежащие в основе ЦД: искусственный интеллект, умное производство (Industry 4.0), ЭБ-печать, инжиниринг (CAD/PLM/ALM), IoT, VR, AR и др. Технология полунатурного моделирования применяется для прототипирования, тестирования и эксплуатации разрабатываемых изделий (физических объектов) с комплексом математических моделей, где реальные системы сопряжены с виртуальными моделями (цифровым двойником сложного объекта), в составе которого они находятся.
Законодателями цифровых двойников в авиадвигателестроении являются компании Boeing, Airbus SE, General Electric, Pratt & Whitney, Rolls-Royce Group. В России цифровые двойники применяются в ГК «Ростех», АО «ОДК», АО «Технодинамика» и других крупных авиационных компаниях при проектировании, производстве и эксплуатации двигателей SaM146, ПД-14, ПД-35, морских газотурбинных двигателей (ГТД) и двигателей для боевой авиации.
Одной из важных и актуальных проблем в авиадвигателестроении сегодня является обеспечение адекватности моделей ГТД и их систем автоматического управления, контроля и диагностики (САУКиД). Интеграция алгоритмов управления, контроля и диагностики может приводить к различным «коллизиям», которые необходимо моделировать и учитывать при проектировании и доводке системы управления.
Отметим, что в процессе анализа и синтеза систем автоматического управления возникает необходимость коррекции и адаптации существующей модели ГТД под конкретный двигатель для эффективной его эксплуатации. Для решения такой проблемы необходимы адаптивные модели, которые идентифицируются по реальным характеристикам объекта и условиям его эксплуатации.
В последнее десятилетие широко применяются технологии на основе искусственных нейронных сетей в моделировании, исследовании и разработке авиационных двигателей и их систем управления [2-6]. Целью исследования является повышение эффективности полунатурного комплексного моделирования и тестирования реальной САУКиД за счет использования нелинейных динамических математических моделей ГТД и их систем в виде рекуррентных нейронных сетей в составе стенда.
АРХИТЕКТУРЫ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ
Рекуррентные нейронные сети (recurrent neural network, RNN) представляют собой класс нейронных сетей с внутренней памятью, где связи между элементами образуют направленную последовательность. RNN использует предыдущее состояние сети для вычисления текущего, что позволяет обрабатывать серии событий во времени. Существует множество архитектур рекуррентных нейронных сетей: сети Хопфилда, Элмана и Джордана, LSTM, BiLSTM и др. Для моделирования параметров авиационного двухконтурного турбореактивного двигателя предлагается использовать нелинейую авторегрессионную нейронную сеть с внешним входом (nonlinear autoregressive neural network with external input, NARX) и сеть с управляемыми рекуррентными блоками (gated recurrent units, GRU) [7]. На рис. 1 показаны структуры рекуррентных нейронных сетей.
Общая формула вычисления выходного значения NARX:
ht =ah (Wi ^ + Wr ht+ bh ),
yt =ay (Wy ht + by),
где Хг - входной вектор; Нг — вектор скрытого слоя; уг — вектор выходного слоя; W2, Wr, ^у -входные, рекуррентные и выходные матрицы весов; Ън, Ьу - смещение скрытого и выходного слоя соответственно; он, Оу - функция активации скрытого и выходного слоя. Такой тип сети позволяет моделировать временные ряды с учетом предыдущих значений и использует для этого временные задержки. Задержка входного слоя определяет на каких предшествующих временных шагах значения входного вектора будут учитываться при получении предсказания на текущем временном шаге.
Xt
■{Ху w
ht-i "(х^У
Wr -I
bh -
f
ht
а б
Рис. 1. Структуры рекуррентных нейронных сетей: а - NARX; б - GRU
Проблема NARX заключается в том, что она не может «удержать в памяти» слишком длинные последовательности и возникают проблемы «исчезновения» или «зашкаливания» градиентов в процессе обучения методом обратного распространения ошибки.
Рекуррентные нейронные сети типа GRU с использованием механизмов вентилей справляются с этой проблемой. Особенностью GRU является то, что ее элементами являются не отдельные нейроны, а совокупность нейронов, которая называется модулем. Модуль имеет фильтры или вентили, определяющие, каким образом информация будет использоваться для вычисления как выходных значений на текущем слое, так и значений скрытого слоя на следующем шаге. GRU имеет два вентиля - вентиль обновления zt (update gate) и вентиль сброса (reset gate) rt. Вентиль обновления определяет сколько информации сохранить от последнего состояния и сколько информации получить от предыдущего слоя. Вентиль сброса контролирует, что из предыдущего скрытого состояния будет учитываться при создании нового кандидата в значение скрытого состояния, он имеет возможность сбросить скрытое значение.
Вентили GRU сети вычисляются как:
z = ^ (Wa+U a +bz),
r =ag (WrXt+U A +br),
где xt - входной вектор; ht-1 - скрытое состояние на предыдущем шаге; W - матрицы входных весов; U - матрицы рекуррентных весов; b - смещение; Og - функция активации на основе сигмоиды [7]. Для вычисления скрытого состояния сначала необходимо определить
кандидата в скрытое состояние ht:
к = <*„ (W/Л + ил (/; о ht_x) + bh \
где ол - функция активации на основе гиперболического тангенса; о - покомпонентное произведение. Скрытое состояние является выходным значением yt мо-
дуля на текущем шаге и используется при вычислении выходного значения на следующем шаге:
РЕАЛИЗАЦИЯ НЕЙРОСЕТЕВОЙ МОДЕЛИ ГТД
Математическое представление нелинейной динамической модели двухвального ГТД можно представить в виде системы дифференциальных уравнений, где ау и Ьу - коэффициенты для каждого режима, управляющий сигнал От - расход топлива, переменные состояния на предыдущем шаге: (п-1) - частоты вращения роторов низкого (щ) и высокого (п2) давления; (Гтнд-1) - температура за турбиной; (пк-1) - степени повышения давления за компрессором (арнА-1) - угол положения направляющих аппаратов.
Апи =аи- Ап1гЛ + ап ■ Апъл + а13 ■ АТ^^ + аы ■ АпКг_, +Ъи- ДОТг;
Апъ = а21 ■ Апил + а22 ■ Апъл + а23 ■ АТтт^ + а24 ■ АкК1_, + Ъ21 ■ ДОТг;
АГТНДг =ам ■ Апш + а32 ■ Ап2гЛ + а33 ■ АГТНДг_1 + а34 ■ АттКг_1 + Ь31 ■ ДОТг;
АкК1 = а41 ■ Апил + а42 ■ Апъл + а43 ■ АТтт^ + а^ ■ АкК1_, + Ъ41 ■ ДОТг.
Для реализации нейросетевой модели ГТД используются переходные процессы двухкон-турного турбореактивного двигателя на земных режимах. В качестве входного параметра выступает расход топлива (От), выходными параметрами являются щ, П2, Гтад, Пк, арнА. Дискретность данных - 200 Гц, объем выборки 6 * 250000.
Методика создания нейросетевой модели ГТД по реальным характеристикам состоит из следующих этапов:
1. Импорт данных в среду моделирования. Предварительная обработка данных.
2. Задание структуры нейронной сети.
3. Обучение и тестирование нейронной сети.
4. Интеграция модели в стенд полунатурного моделирования в среду МайаЬ 81шиНпк.
5. Испытания модели в составе реальной системы управления ГТД.
ККК обучается на режиме запуска и земных-высотных режимах. Для обучения КАЯХ сети использовался алгоритм шкалированных сопряженных градиентов [8], который позволяет обучать большие массивы данных и решает проблему переполнения оперативной памяти. В скрытых слоях использовалась функция активации Эллиота (модификация сигмоидальной функции гиперболического тангенса):
/ (х) = Х
(1+1 x)
Минимизация функционала ошибок осуществлялась на основе взвешенной оценки дисперсии
n
=Е wi(xi ~x)' i=1
n
где веса являются позитивными значениями и ^ wt = 1. Для увеличения производительности
i=l
вычислений применялись процедуры MapReduce/MemoryReduce и параллельных вычислений.
RNN на основе GRU состоит из слоев GRU layer, dropout layer (слой регуляризации для устранения проблемы переобучения сети), fullyConnected layer (полносвязный слой). Алгоритм обучения - метод адаптивной оценки моментов (Adaptive Moment Estimation, Adam).
В алгоритме используются скользящие средние как градиентов, так и вторых моментов градиентов [9].
т = Рт-1+0 -Рх) & > -1 + (1 -р2) &2-
Первая формула использует коэффициент ослабления Р1 для вычисления среднего градиента, вторая формула использует коэффициент ослабления Р2 для вычисления среднего квадрата градиента. Затем добавляется корректирующее смещение, чтобы избежать слишком большого шага в самом начале.
1 -Р2'
т.
щ -
1 -Р1
+1 - -
Л
-т,
где е является малой добавкой, используемой для предотвращения деления на 0.
ПОЛУНАТУРНОЕ МОДЕЛИРОВАНИЕ И АПРОБАЦИЯ МОДЕЛИ
Стенд полунатурного моделирования (СПМ) предназначен для моделирования параметров ГТД в реальном масштабе времени, моделирования режимов работы ГТД в эксплуатационном диапазоне высот и скоростей полета, взаимодействия с системами верхнего уровня по каналам информационного обмена, проверки функционирования блока САУКиД и др. [10].
На рис. 2 представлена схема взаимодействия нейросетевой модели ГТД с СПМ. Модель ГТД разбита на два цикла времени, каждый из которых выполняется на отдельном ядре центрального процессора ПЭВМ. В основном цикле с наивысшим приоритетом осуществляется прием данных от СПМ и работа нейросетевой модели. В другом цикле с меньшим приоритетом осуществляется передача рассчитанных модельных данных на СПМ.
САУКиД
Стенд полунатурного моделирования
Нейросетевая модель ГТД
Цикл приема данных от СПМ I
Рис. 2. Схема взаимодействия модели ГТД с СПМ
Разделение на два цикла времени между ядрами процессора с различными приоритетами необходимо для обеспечения работы модели в реальном времени.
СПМ работает с графической средой имитационного моделирования Matlab Simulink. В ней реализуются каналы информационного обмена, имитатор дозатора топлива, система визуализации, записи и др. (рис. 3). Интеграция обученной нейросетевой модели ГТД в фор-
V
V -
мат Simulink производится встроенными средствами, представляет собой простую процедуру, что и объясняется выбором данного пакета для реализации моделей. Пример реализации скрытого слоя NARX сети в среде Simulink показан на рис. 4, а, реализация блока GRU -на рис. 4, б [11].
Сравнение вышеуказанных моделей показывает, что архитектура NARX обладает большей точностью. На рис. 5 приводятся переходные процессы температуры газа за турбиной низкого давления Гтнд как сложного моделируемого параметра.
Рис. 3. Общий вид реализации взаимодействия НС с СПМ в среде Matlab 81шиИпк
Рис. 4. Реализация рекуррентных нейронных сетей в среде МайаЬ 81шиИпк
Время, в секундах
Рис. 5. Сравнение моделей NARX и GRU: параметр Гтнд
Средняя ошибка аппроксимации NARX сети составила не более 0,2 %: параметр ni - 0,19 %; П2 - 0,08 %; Пк - 0,11 %; арнА- 0,13 %; Гтнд - 0,18 %. Для GRU сети средняя ошибка аппроксимации составила около 1 %: m - 0,95 %; т - 0,69 %; Пк - 0,76 %; арнА -0,68 %; Ттнд - 0,56 %. Отметим, что структура NARX чувствительна к частоте дискретизации обрабатываемых данных и величине задержки (памяти), что сильно сказывается на создании сложных процессов. Архитектура GRU хорошо решает эти проблемы, такая архитектура затрачивает меньше вычислительных ресурсов при обучении, а также лишена проблемы «затухающего» и «взрывного» градиента. Исследования показали, что на больших выборках, полетных режимах с разными M (число Маха) и Н (высота), GRU сеть показывает лучшие результаты. Это говорит о том, что необходимо глубже проводить исследование с параметрами обучения GRU сети: алгоритмом Adam, режимами сброса вентиля, параметрами скорости обучения, набором активационных функций и т.д.
ЗАКЛЮЧЕНИЕ
Разработана методика создания моделей газотурбинного двигателя на основе рекуррентных нейронных сетей для применения на стендах полунатурного моделирования. Создаваемые модели учитывают динамические характеристики двигателя с соблюдением структурной и параметрической адекватности аналитической модели. Сравнение двух архитектур рекуррентных нейронных сетей NARX и GRU показывает, что первая больше подходит для создания более простых моделей (с небольшим числом моделируемых параметров), вторая - для создания сложных моделей с большим числом параметров. Ошибки моделирования GRU сети свидетельствуют о необходимости дополнительного исследования такого типа архитектур.
Апробация проведена на стенде полунатурного моделирования в составе реальной САУКиД для режимов запуска на земле и в полете. Подтверждена точность, необходимая для решения задач управления и формирования требований к агрегатам электронных систем управления.
Развитие таких технологий является основополагающей в Университете 4.0, где образовательная, исследовательская и инновационная деятельность направлены на развитие человека и общества в целом. Нейросетевые подходы в моделировании могут применяться для создания полноценных цифровых двойников, где к 3D твердотельному моделированию может подключаться модель физических процессов и поведения объекта на основе рекуррентных нейронных сетей для решения задач анализа и синтеза объекта, его оптимизации и повышения надежности.
Представленная тематика научных исследований является одной из составляющих научной деятельности университета нового поколения, ориентированного на цифровизацию основных процессов. На наш взгляд, использование цифровых технологий в научной деятельности любого университета обеспечивает органичное встраивание высшей школы в стратегию развития Индустрии 4.0.
СПИСОК ЛИТЕРАТУРЫ
1. Прохоров А., Лысачев М., Боровков А. Цифровой двойник. Анализ, тренды, мировой опыт. М.: ООО «АльянсПринт», 2020. 401 с. [ A. Prokhorov, M. Lysachev, A. Borovkov, Digital twin. Analysis, trends, world experience, (in Russian). Moscow: OOO "AlyansPrint", 2020. ]
2. Lazzaretto A., Toffolo A. Analytical and neural network models for gas turbine design and off-design simulation // International Journal of Applied Thermodynamics. 2001. Vol. 4, No. 4. Pp. 173-182. [ A. Lazzaretto, A. Toffolo, "Analytical and neural network models for gas turbine design and off-design simulation", in International Journal of Applied Thermodynamics, vol. 4, no. 4, pp. 173-182, 2001. ]
3. NARX models of an industrial power plant gas turbine / M. Basso, et al. // IEEE Transactions on Control Systems Technology. 2005. Vol. 13, no. 4. Pp. 599-604. [ M. Basso, et al., "NARX models of an industrial power plant gas turbine", in IEEE Transactions on Control Systems Technology, vol. 13, no. 4, pp. 599-604, 2005. ]
4. Baklacioglu T., Turan O., Aydin H. Dynamic modeling of exergy efficiency of turboprop engine components using hybrid genetic algorithm-artificial neural networks // Energy. 2015. Vol. 86. Pp. 709-721. [ T. Baklacioglu, O. Turan, H. Aydin, "Dynamic modeling of exergy efficiency of turboprop engine components using hybrid genetic algorithm-artificial neural networks", in Energy, vol. 86, pp. 709-721, 2015. ]
5. NARX models for simulation of the start-up operation of a single-shaft gas turbine / H. Asgari, et al. // Applied Thermal Engineering. 2016. Vol. 93. Pp. 368-376. [ H. Asgari, et al., "NARX models for simulation of the start-up operation of a single-shaft gas turbine", in Applied Thermal Engineering, vol. 93, pp. 368-376, 2016. ]
6. Application of Neural Network Technology and High-performance Computing for Identification and Real-time Hardware-in-the-loop Simulation of Gas Turbine Engines / G. I. Pogorelov, et al. // Procedia Engineering. 2017. Vol. 176. Pp.402-408. [ G. I. Pogorelov, et al., "Application of Neural Network Technology and High-performance Computing for Identification and Realtime Hardware-in-the-loop Simulation of Gas Turbine Engines", in Procedia Engineering, vol. 176, pp.402-408, 2017. ]
7. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling / J. Chung, et al. // NIPS 2014 Workshop on Deep Learning (December 2014). 2014. [ J. Chung, et al., "Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling", in NIPS 2014 Workshop on Deep Learning, 2014. ]
8. Moller M. F. A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning // Neural Networks. 1993. Vol. 6, Iss. 4. Pp. 525-533. [ M. F. Moller, "A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning", in Neural Networks, vol. 6, iss. 4, pp. 525-533, 1993. ]
9. Kingma Diederik, Jimmy Ba. Adam: A method for stochastic optimization // arXiv:1412.6980 [cs.LG]. 2014. [ Kingma Diederik, Jimmy Ba, "Adam: A method for stochastic optimization", in arXiv:1412.6980 [cs.LG], 2014. ]
10. Методология комплексного полунатурного функционального моделирования ГТД и его систем / Г. Г. Куликов [и др.] // Вестник Самарского государственного аэрокосмического университета им. акад. С. П. Королёва. 2009. № 3-2 (19). С. 392-400. [ G. G. Kulikov, et al., "Methodology of complex hardware-in-the-loop functional modelling of gas turbines and its systems", (in Russian), in Vestnik Samarskogo gosudarstvennogo aerokosmicheskogo universiteta im. akad. S. P. Korolyova, no. 3-2 (19), pp. 392-400, 2009. ]
11. Beale M. H., Hagan M. T., Demuth H. B. Deep Learning Toolbox™ User's Guide. [Электронный ресурс]. URL: https://www.mathworks.com/help/deeplearning/index.html;jsessionid=c898439ee193cf09f2b8f14dd2fb (дата обращения 01.10.2021). [ M. H. Beale, M. T. Hagan, H. B. Demuth (2021, Oct. 01), Deep Learning Toolbox™ User's Guide [Online]. Available: https://www.mathworks.com/help/deeplearning/index.html;jsessionid=c898439ee193cf09f2b8f14dd2fb ]
ОБ АВТОРАХ
НОВИКОВ Сергей Владимирович, проф. Дипл. экономист (УГАТУ, 1999). Канд. экон. наук (УГАТУ, 2004). Иссл. в обл. управления в техн. и соц.-экон. сист. Ректор УГАТУ.
АБДУЛНАГИМОВ Ансаф Ирекович, зам. нач. упр. научно-исследовательских работ, доц. каф. АСУ. Дипл. магистра техн. и технол. (УГАТУ, 2007). Канд. техн. наук по сист. анализу и управлению (УГАТУ, 2012). Иссл. в обл. автоматич. упр., идентификации и сист. безопасности авиац. двигателей.
АГЕЕВ Георгий Константинович, проректор по инновационной деятельности, доц. каф. авиац. двиг. Дипл. инж. по авиац. двиг. (УГАТУ, 2007). Канд. техн. наук (УГАТУ, 2012). Иссл. в обл. моделирования параметров агрегатов ГТД и энергоустановок летат. аппаратов по наработке.
METADATA
Title: Neural network technologies in hardware-in-the-loop simulation: comparison of NARX and GRU architectures.
Authors: S. V. Novikov1, A. I. Abdulnagimov2, G. K. Ageev3
Affiliation: Ufa State Aviation Technical University (UGATU), Russia.
Email: 1 novikov.sv@ugatu.su, 2 abdulnagimov.ai@ugatu.su, 3 ageev.gk@ugatu.su
Language: Russian.
Source: Vestnik UGATU (scientific journal of Ufa State Aviation Technical University), vol. 25, no. 3 (93), pp. 42-49, 2021.
ISSN 2225-2789 (Online), ISSN 1992-6502 (Print). Abstract: The principle for realization of mathematical models of gas-turbine engines in the form of recurrent neural networks and their application in complex hardware-in-the-loop modeling for tuning automatic control, condition-monitoring and diagnostic systems is considered. Comparison of the NARX and the GRU architectures is carried out, the methodology of the neural network gas-turbine modelling and the realization of the model at the hardware-in-the-loop test-bed are described. The results of hardware-in-the-loop simulation of the aircraft engine parameters with a real control system are presented. The accuracy and adequacy of the constructed model is analyzed. The development of such technologies allows to create intelligent models, which can be used in digital twins of complex technical systems. Key words: gas turbine engine; recurrent neural network; GRU; NARX; machine learning; dynamic model; hardware-in-the-loop simulation.
About authors:
NOVIKOV, Sergey Vladimirovich, Prof. Dipl. Economist (USATU, 1999). Cand. of Econ. Sci. (USATU, 2004). Scientific interests in the
field of management in technical & socio-economic systems. Rector of USATU. ABDULNAGIMOV, Ansaf Irekovich, Assoc. prof., Dept. of automated control and management syst. dept. Master of Technics & Technology (USATU, 2007). Dr. of Tech. Sci. in syst. analysis and control (USATU, 2012). Scientific interests: automatic control, identification and system safety of aircraft engines. AGEEV, George Konstantinovich, Assoc. prof., Dept. of aircraft engines. Dipl. Ing. of aviation engines (USATU, 2007). Cand. of Tech. Sci. (USATU, 2012). Scientific interests: parameter modeling of gas turbine engines and power plants of aircraft.
