CC BY
0
УДК 004.8
DOI: 10.17586/0021-3454-2024-67-2-200-204
ГИБРИДНЫЕ НЕЙРОСЕТЕВЫЕ МОДЕЛИ МОНИТОРИНГА ДАННЫХ ВРЕМЕННЫХ РЯДОВ СЛОЖНЫХ ОБЪЕКТОВ
В. Ю. Скобцов х, Б. В. Соколов2, В.-А. Чжан3, М. Фу3
1 Санкт-Петербургский государственный университет аэрокосмического приборостроения,
Санкт-Петербург, Россия vasko_vasko@mail. ru
2 Санкт-Петербургский Федеральный исследовательский центр Российской академии наук,
Санкт-Петербург, Россия 3Колледж информационной инженерии Чжэцзянского технологического университета,
Ханчжоу, Китай
Аннотация. Рассмотрена задача мониторинга состояния сложных объектов различной природы на основе классификационного и регрессионного анализа данных временных рядов. Разработаны и исследованы гибридные нейросетевые модели классификационного и регрессионного анализа с использованием данных о функционировании систем трех типов: космических аппаратов, информационной системы и экономической системы, представленных в виде временных рядов. Для всех типов систем предложенные гибридные модели показали преимущество по точности. Разработан генетический алгоритм автоматического поиска гибридных нейросете-вых моделей, с помощью которого сгенерированы модели различной сложности с точностью не ниже моделей, разработанных вручную. В конце поиска отмечено, что значения фитнес-функций сгенерированных гибридных нейронных сетей близки к максимальным. Это можно рассматривать как экспериментальное подтверждение построения решения, близкого к оптимальному для определенных параметров поиска.
Ключевые слова: мониторинг сложных объектов, гибридные нейронные сети, классификация, регрессия, данные временных рядов
Благодарности: исследования, выполненные по данной тематике, проводились при частичной финансовой поддержке бюджетной темы FFZF-2022-0004.
Ссылка для цитирования: Скобцов В. Ю., Соколов Б. В., Чжан В.-А., Фу М. Гибридные нейросетевые модели мониторинга данных временных рядов сложных объектов // Изв. вузов. Приборостроение. 2024. Т. 67, № 2. С. 200—204. DOI: 10.17586/0021-3454-2024-67-2-200-204.
HYBRID NEURAL NETWORK MODELS FOR MONITORING TIME SERIES DATA OF COMPLEX OBJECTS
V. Yu. Skobtsov*1, B. V. Sokolov2, W.-A. Zhang3, M. Fu3
1St. Petersburg State University of Aerospace Instrumentation, St. Petersburg, Russia vasko_vasko@mail.ru 2 St. Petersburg Federal Research Center of the RAS, St. Petersburg, Russia 3College of Information Engineering of Zhejiang University of Technology,
Hangzhou, China
Abstract. The problem of monitoring the state of complex objects of various natures based on classification and regression analysis of time series data is considered. Hybrid neural network models of classification and regression analysis are developed and studied using data on the functioning of three types of systems: spacecraft, information system and economic system, presented in the form of time series. For all types of systems, the proposed hybrid models demonstrate an advantage in accuracy. A genetic algorithm is developed for the automatic search of hybrid neural network models, with the help of which models of varying complexity are generated with an accuracy no lower than for models developed manually. As a result of the search, it is noted that the generated hybrid neural networks show results close to the maximum value of the fitness function. The fact is considered as experimental confirmation of the constructed solution to be close to optimal for certain search parameters.
© Скобцов В. Ю., Соколов Б. В., Чжан В.-А., Фу М., 2024 ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2024. Т. 67, № 2
JOURNAL OF INSTRUMENT ENGINEERING. 2024. Vol. 67, N 2
Keywords: monitoring of complex objects, hybrid neural networks, classification, regression, time series data
Acknowledgment: Research carried out on this topic was carried out with partial financial support from the budget topic FFZF-2022-0004.
For citation: Skobtsov V. Yu., Sokolov B. V., Zhang W.-A., Fu M. Hybrid neural network models for monitoring time series data of complex objects. Journal of Instrument Engineering. 2024. Vol. 67, N 2. P. 200—204 (in Russian). DOI: 10.17586/0021-3454-2024-67-2-200-204.
Большое количество статистической информации, поступающей и накапливающейся в специализированных хранилищах данных, может быть эффективно использовано для совершенствования процесса анализа и мониторинга жизненного цикла сложных объектов (СлО). К сложным могут быть отнесены практически все объекты, входящие в состав аэрокосмических, робототехнических, транспортно-логистических, информационных, экономических, производственных и других систем.
Мониторинг состояния функционирования СлО заключается в оценке, прогнозировании, диагностике и анализе состояния таких объектов с целью своевременного обнаружения и предотвращения нештатных ситуаций [1].
Будем рассматривать анализируемый массив данных функционирования СлО как M-
мерный временной ряд X = (Xj,X2,...,Xm), каждый элемент которого Xj еRT является
столбцом матрицы X данных показателей СлО, описывающим поведение j-го показателя системы на отрезке дискретных моментов времени [1, T].
В процессе мониторинга данных о функционировании СлО, представленных временным рядом, может решаться задача классификации его состояния как некоторой категориальной метки класса целевого параметра Y е{0,1,...,k-1] или регрессионного анализа динамики изменения вещественного значения целевого параметра Y е RT. Таким образом, необходимо найти модель нелинейного отображения входных данных временного ряда X в целевой
т
вектор Y е R .
В последние несколько лет эффективное применение в задачах анализа данных различных типов находят так называемые гибридные глубокие нейронные сети, архитектура которых объединяет различные типы нейронных слоев: сверточных, рекуррентных, полносвязных. В работах [2, 3] приведены результаты, показывающие превосходство качества гибридных нейросетевых моделей для задач анализа данных временных рядов.
Поэтому нами были исследованы и разработаны гибридные нейросетевые модели на основе комплексирования одномерных сверточных, рекуррентных типа GRU и полносвязных нейронных слоев как итоговых классификаторов/регрессоров для задач классификации/регрессии данных различной природы [4—6]. Также в моделях применялась методика остаточных связей архитектур ResNet [7], поскольку это упрощает обучение сети за счет уменьшения эффекта исчезающего градиента.
Предложенные гибридные нейросетвые модели имеют в общем случае следующую структуру:
Z_1 = Conv1D(filters=n, kernel_size=k1, activation-AFl') (.X_i)
Z_1 = Conv1D(filters=n, kernel_size=k1, activation-' AFI') (Z_1) * C1 слоев
Z_2 = add([Z_1, X_t]) - остаточная связь of X_i
Z_2 = AveragePooling1D(p)( Z_2)
Z_3 = Conv1D(filters=n, kernel_size=k2, activation-' AFI') (Z_2)
Z_3 = Conv1D(filters=n, kernel_size=k2, activation-' AFI') (Z_2) * C2 слоев
Z_4 = AveragePooling1D(p)( X_i)
Output = add([Z_2, Z_3, Z_4]) - остаточная связь of Z_2 and Z_3
Output = GRU(units=r)
Output = Dense(32, activation=' AF1') (Output) * C3 слоев
Output = Dense(2, activation=' AF2') (Output)
На основе данной структуры разработаны и исследованы гибридные нейросетевые классификационные модели, решающие задачи определения штатного и нештатных категориальных состояний на основе анализа данных временных рядов телеметрической информации (ТМИ) двух типов: навигационной подсистемы Белорусского космического аппарата (БКА) и бортовой аппаратуры группировки малых КА „АИСТ" Самарского национального исследовательского университета им. акад. С.П. Королёва. Рассматривались двух- и трех-классовые задачи классификации для определения штатного и нештатного состояния космического аппарата. Выполнен сравнительный анализ с известными глубокими нейросетевыми классификаторами: LeNet, AlexNet, Xception, Yolo, MobileNet, Inception, ResNet. Для задачи бинарной классификации на данных ТМИ БКА разработанная гибридная нейросетевая модель сравнима по точности с нейросетевой классификационной Inception (остальные классификаторы имеют меньшую точность): ~0,98 (этап обучения), ~0,97 (этапы валидации и тестирования). При этом полученная гибридная модель в 2,5 раза быстрее по времени обучения и валидации и имеет более облегченную структуру, что важно для ее реализации. Для задачи трехклассовой классификации на данных ТМИ КА „АИСТ" для разработанной гибридной нейросетевой модели получены значения точности: ~0,998 (этап обучения), ~0,981 (этап ва-лидации) и ~0,985 (этап тестирования). Сравнительный анализ показал преимущество полученного решения по точности классификации на этапе тестирования для всех сравниваемых моделей на 1—7 %, по времени обучения и валидации почти для всех сравниваемых моделей получено преимущество в 1,5—4 раза.
С целью сокращения времени создания нейросетевых моделей разработан генетический автоматический поиск гибридных нейросетвых моделей, который применен для анализа данных ТМИ КА и для обнаружения сетевых атак в наборе данных kddcup [6]. Предложенный метод autoML выполняет поиск не только значений гиперпараметров, но и модели гибридной нейронной сети в целом заданной выше структуры и генерирует модель в программном коде языка Python. Для данных ТМИ КА „АИСТ" наилучшее значение фитнес-функции, достигнутое в ходе эксперимента, составляет 98,8 %, для данных ТМИ БКА — 98 %, что превышает показатели для моделей, разработанных вручную. В конце поиска было отмечено, что представители с разными хромосомами — нейронными сетями — показали результаты, близкие к максимальному значению фитнес-функции. Данный факт можно рассматривать как экспериментальное подтверждение построения решения, близкого к оптимальному, для определенных параметров поиска.
Для задачи анализа инновационной динамики экономического СлО разработана гибридная нейросетевая регрессионная модель на основе представленной выше архитектуры. Анализ выполнялся для сформированных временных рядов на основе данных веб-портала Росстата. Предложенные гибридные нейросетевые регрессионные модели сравнивались с полносвязной регрессионной и одномерной сверточной нейросетевыми моделями. Результаты обучения и тестирования нейросетевых регрессионных моделей указанных архитектур
показывают, что лучшие значения показателей MSE, RMSE и коэффициента детерминации 2
R наблюдаются у разработанной гибридной регрессионной нейросетевой модели, как по
2
значениям MSE и RMSE, так и по R (0,0029; 0,0538; 0,9962). Показатели качества моделей полносвязной и сверточной регрессионных моделей хуже, особенно — по значениям MSE и RMSE (0,0315; 0,2477; 0,9211) и (0,0287; 0,1696; 0,9625) соответственно.
В силу показанного выше преимущества гибридных нейросетевых моделей для решения задач анализа и мониторинга данных о функционировании СлО целесообразно далее ис-
следовать гибридные нейросетевые модели на основе их комплексирования с классическими моделями нелинейных отображений и фильтров, а также классических моделей машинного обучения. Перспективным представляется исследование инвариантного расширенного фильтра Калмана и диффузионных отображений.
СПИСОК ЛИТЕРАТУРЫ
1. Охтилев М. Ю., Мустафин Н. Г., Миллер В. Е., Соколов Б. В. Концепция проактивного управления сложными объектами: теоретические и технологические основы // Изв. вузов. Приборостроение. 2014. Т. 57, № 11. С. 7—14.
2. Chen H., Zhang Zh. Hybrid neural network based on novel audio feature for vehicle type identification // 2020 IEEE Intern. Instrumentation and Measurement Technology Conf. (I2MTC). 25-28 May 2020. DOI: 10.1109/I2MTC43012.2020.9129183.
3. Zhao N. Combination of Convolution-al Neural Network and Gated Recurrent Unit for Aspect-Based Sentiment Analysis // IEEE Access. 2021. Vol. 9. P. 15561—15569. DOI: 10.1109/ACCESS.2021.3052937.
4. Skobtsov V. Yu. Binary classification of small satellites telemetry data based on deep learning approach // Applied Aspects of Information Technology. 2021. Vol. 4, N 4. P. 299—310.
5. Скобцов В. Ю., Соколов Б. В. Гибридные нейросетевые модели в задаче мультиклассовой классификации данных телеметрической информации малых космических аппаратов // Вестн. ВГУ. Системный анализ и информационные технологии. 2022. № 3. С. 99—114.
6. Skobtsov V. Y., StasiukA. Automatic Searching the Neural Network Models for Time Series Classification of Small Spacecraft's Telemetry Data with Genetic Algorithms // Artificial Intelligence Application in Networks and Systems. CSOC 2023. Lecture Notes in Networks and Systems. 2023. Vol. 724. P. 800—811.
7. Kaiming H. et al. Deep Residual Learning for Image Recognition // Conf. on Computer Vision and Pattern Recognition. 2015. https://arxiv.org/abs/1512.03385.
Сведения об авторах
канд. техн. наук, доцент; Санкт-Петербургский государственный университет аэрокосмического приборостроения, кафедра компьютерных технологий и программной инженерии, доцент; E-mail: vasko_vasko@mail.ru д-р техн. наук, профессор; Санкт-Петербургский Федеральный исследовательский центр Российской академии наук, СПИИРАН, лаборатория информационных технологий в системном анализе и моделировании; главный научный сотрудник; E-mail: sokolov_boris@inbox.ru
канд. техн. наук, профессор, Колледж информационной инженерии Чжэцзян-ского технологического университета, декан колледжа и директор департамента международного сотрудничества; E-mail: wazhang@zjut.edu.cn канд. техн. наук, профессор, Колледж информационной инженерии Чжэцзян-ского технологического университета, зам. директора департамента международного сотрудничества; E-mail: fuml@zjut.edu.cn
Поступила в редакцию 01.11.2023; одобрена после рецензирования 17.11.2023; принята к публикации 17.12.2023.
REFERENCES
1. Okhtilev M.Yu., Mustafin N.A., Miller V.E., Sokolov B.V. Journal of Instrument Engineering, 2014, no. 11(57), pp. 7-15. (in Russ.)
2. Chen H., Zhang Zh. 2020 IEEE International Instrumentation and Measurement Technology Conference (I2MTC): Proceedings of the International Conference. May 25-28, 2020, DOI: 10.1109/I2MTC43012.2020.9129183.
3. Zhao N. IEEE Access, 2021, vol. 9, pp. 15561-15569, DOI: 10.1109/ACCESS.2021.3052937.
4. Skobtsov V.Yu. Applied Aspects of Information Technology, 2021, no. 4(4), pp. 299-310.
5. Skobtsov V.Yu., Sokolov B.V. Bulletin of the VSU. System analysis and information technology, 2022, no. 3, pp. 99—114. (in Russ.)
6. Skobtsov V.Y., Stasiuk A. Artificial Intelligence Application in Networks and Systems. CSOC 2023. Lecture Notes in Networks and Systems, 2023, vol. 724, pp. 800-811.
7. Kaiming H. et al. Conference on Computer Vision and Pattern Recognition, 2015, https://arxiv.org/abs/1512.03385.
Вадим Юрьевич Скобцов
Борис Владимирович Соколов
Вен-Ан Чжан
Минглей Фу
Vadim Yu. Skobtsov Boris V. Sokolov Wen-An Zhang Minglei Fu
Data on authors
PhD, Associate Professor, St. Petersburg State University of Aerospace Instrumentation, Department of Computer Technology and Software Engineering; Associate Professor; E-mail: vasko_vasko@mail.ru
Dr. Sci., Professor; St. Petersburg Federal Research Center of the RAS, St. Petersburg Institute for Informatics and Automation of the RAS, Laboratory of Information Technologies in System Analysis and Modeling; Chief Researcher; E-mail: sokolov_boris@inbox.ru PhD, Professor, College of Information Engineering of Zhejiang University of Technology, Dean of the College and Director of International Cooperation Department; E-mail: wazhang@zjut.edu.cn
PhD, Professor, College of Information Engineering of Zhejiang University of Technology, Deputy Director of International Cooperation Department; E-mail: fuml@zjut.edu.cn
Received 01.11.2023; approved after reviewing 17.11.2023; accepted for publication 17.12.2023.
