CC BY
39
Доклады БГУИР
Doklady BGUIR
2018, № 5 (115) 2018, No. 5 (115)
УДК 004.932
НЕЙРОСЕТЕВАЯ ТЕХНОЛОГИЯ ОБРАБОТКИ СИГНАЛОВ ОТ СРЕДСТВ КОНТРОЛЯ ТЕХНИЧЕСКИХ ОБЪЕКТОВ
А.А. ДУДКИН, Е Е. МАРУШКО
Объединенный институт проблем информатики НАНБеларуси, Республика Беларусь
Поступила в редакцию 7 июня 2018
Аннотация. В докладе представлена технология на основе ансамблей нейронных сетей, решающих задачу прогнозирования состояния объекта, отличительной особенностью которой является возможность дообучения в случае анализа параметров в нестационарной среде. Технология обеспечивает обработку всего набора телеметрических параметров технического объекта, повышение точности идентификации и прогнозирования состояний объекта по телеметрической информации при неполных и зашумленных входных данных, что позволяет снизить затраты на проведение мониторинга состояния и поведения объекта контроля.
Ключевые слова: нейронные сети, ансамбль нейронных сетей, телеметрические данные, прогнозирование состояния.
Abstract. The paper presents a technology based on an ensemble of neural networks that solves the problem of predicting a multidimensional time series of telemetry data. A distinctive feature of this is the possibility of additional training in the case of analyzing parameters in a non-stationary environment, providing operational processing of the entire set of telemetry parameters of the technical object, increasing the accuracy of identification and prediction of the state of the object by telemetric information with incomplete and noisy input data. This reduces the costs of monitoring the status and behavior of the control object.
Keywords: neural networks, ensemble of neural networks, telemetry data, state prediction.
Doklady BGUIR. 2018, Vol. 115, ]Чо. 5, pp. 85-91
Neural network technology for processing of signals from technical objects control means A.A. Doudkin, Y.Y. Marushko
Введение
В статье рассматривается задача прогнозирования сигналов в виде телеметрической информации от средств контроля технических объектов. Телеметрические данные могут быть рассмотрены как многомерный временной ряд, и задача прогнозирования данного ряда представляется в следующем виде: по известному текущему значению последовательности y(k) и некоторой предыстории y(k — 1),y(k — 2),...,y(k — m) дать оценку следующего значения y(k+1) [1]. Каждый элемент последовательности y(k) представляет собой набор значений в момент k. Длина предыстории m, которая используется для прогнозирования, называется временным окном.
Широкое распространение для решения задач прогнозирования находит нейросетевой подход [2-7], так как он позволяет моделировать сложные нелинейные зависимости между параметрами объекта в результате обучения на примерах. В [4, 5] показано, что применение нейросетевых моделей для задач прогнозирования дает лучший результат, чем использование статистических моделей. При этом эффективность использования нейронных сетей (НС) зависит от архитектурных решений и методов обучения.
Разработка и реализация алгоритмов оперативной диагностики технических объектов на основе НС позволяет повысить надежность устройств и вместе с тем упростить
их конструкцию за счет исключения так называемого «горячего резервирования», а также уменьшить эксплуатационные расходы, расходы на техническое обслуживание и ремонт оборудования. В настоящее время наиболее перспективным является использование НС для решения задач диагностики и прогнозирования, прежде всего, в отраслях, где отсутствуют способы формального описания исследуемых объектов или явлений. Для решения задач идентификации и диагностики технических объектов с помощью НС требуется разработка формальных методов выбора исходного описания объекта, типа НС, обоснованного выбора алгоритма обучения искусственной нейронной сети (ИНС) и методов оптимизации в процедуре обучения [7].
Определение оптимальных параметров алгоритмов обучения НС, или архитектуры НС, может быть выполнено различными методами. Наиболее часто используемыми методами поиска гиперпараметров являются сеточный поиск, случайный поиск [12] и эволюционный алгоритм [8].
Нейросетевая технология обработки телеметрических сигналов
Предлагаемая технология включает следующие шаги. Шаг 1. Разработка нейросетевой модели. Шаг 2. Формирование обучающей выборки. Шаг 3. Определение алгоритма обучения. Шаг 4. Разработка методики тестирования модели. Шаг 5. Имплементация модели в средствах контроля и мониторинга. Для реализации первого шага разработан ансамбль НС (АНС), выходное значение которого формируется, как взвешенная сумма выходов отдельных НС (базовых элементов):
п
У = Е Уг • ч,
1=1
где п - число моделей, уг - выход 1-й НС, - вес 1-й НС, который формируется по формуле
msei
Чг = -,
X msei 1=1
где msei - среднеквадратическая ошибка 1-й НС на валидационном наборе, при этом взвешивание повторяется через определенный интервал обработанных наборов (временных отсчетов) с оценкой по этому набору (динамически взвешиваемый АНС).
АНС включает 20 базовых элементов. В качестве базового элемента АНС используется многослойный персептрон с одним скрытым слоем с нелинейной функцией активации (гиперболический тангенс); обучение одиночной НС осуществляется алгоритмом КРгор [9].
Разработаны алгоритм формирования обучающих выборок и алгоритм инкрементного обучения АНС. Алгоритм формирования обучающих выборок для повышения точности прогноза за счет снижения избыточности обрабатываемых данных включает: удаление временных рядов, принимающих константные значения на всем протяжении; удаление выбросов; обработку отсутствующих значений; выполнение шкалирования данных; построение автоассоциативной НС, предназначенной для нелинейного уменьшения размерности входных данных; разделение обработанного набора данных на обучающую, тестовую и валидационную выборки. Формирование обучающих примеров осуществляется по принципу скользящего окна. При подготовке генеральной совокупности телеметрической информации выполняется ресемплирование (преобразование исходных данных в форму с фиксированным временем дискретизации) и масштабирование (приведение данных в диапазон [-1, 1]). Выходы также масштабируются.
Предложено использовать инкрементные алгоритмы обучения НС. Инкрементное обучение АНС [10-12] подразумевает оценку точности всех моделей и их ранжирование по точности на каждой итерации прогнозирования. Алгоритм обучения включает: обучение набора НС и формирование весовых коэффициентов НС на тестовом наборе данных; пересчет весовых коэффициентов НС через определенное количество обработанных образцов;
накопление в процессе обработки минимального объема данных для дообучения; обучение новой НС ансамбля на накопленном наборе данных в случае уменьшения общей точности прогноза.
Разработана методика тестирования АНС для сравнительного анализа различных подходов к построению АНС прогнозирования состояния технических объектов по данным телеметрии. Для оценки точности использовалась 8-кратная перекрестная проверка. Для этого общая обучающая выборка разделялась на 8 равных частей (12,5 % от общего набора), и обучение повторялось 8 раз для каждой пары параметров, при этом каждая из 8 частей последовательно назначалась тестовой выборкой, а оставшаяся часть данных использовалась для обучения с ранним остановом, для этого делилась на валидационную (10 %) и обучающую (90 %) выборки случайным образом. Для оценки качества обученных НС и АНС, а также сравнения различных архитектур АНС используются средний квадрат ошибки и средняя абсолютная ошибка.
Предложенная модель использовалась в разрабатанном в ОИПИ НАН Беларуси совместно с Центром управления полетами Белорусского космического аппарата (ЦУП БКА) экспериментальном образце нейросетевой системы мониторинга состояния подсистем космических аппаратов по телеметрическим данным (далее - ЭО СМ СПКА). ЭО СМ СПКА в составе наземного сегмента белорусской космической системы дистанционного зондирования Земли схематично представлен на рис. 1
Рис. 1. ЭО СМ СПКА в составе наземного сегмента белорусской космической системы дистанционного зондирования Земли
В ЭО СМ СПКА число АНС равно числу анализируемых подсистем БКА (см. рис. 2). Формировались АНС для трех подсистем: ЦА - целевая аппаратура, КДУ - корректирующая двигательная установка и СЭС - система энергоснабжения. На вход АНС поступает предварительно обработанный многомерный временной ряд и идентификатор требуемой подсистемы, который с помощью коммуникационного блока передается в супервизор ансамблей. Супервизор формирует сигнал выбора АНС для конкретной подсистемы, получает от выбранного ансамбля сформированный прогноз и инициирует процедуру дообучения. Блок инкрементного дообучения отвечает за подготовку набора обучающих данных и обучение новых элементов АНС. Размер входного слоя N1 для ансамбля определяется как произведение числа датчиков подсистемы, для которой формируется АНС, и временного окна, по которому делается прогноз. Размер (субоптимального) скрытого слоя определятся при проведении эксперимента с использованием сеточного метода, размер выходного слоя N определяется числом датчиков подсистемы.
Рис. 2. Двухуровневая модель на основе АНС, обучаемых для отдельных режимов функционирования подсистем КА
Экспериментальная часть
В рамках данной разработки проводился ряд экспериментов по определению архитектуры НС и параметров модели. Далее рассматривается методика поиска оптимальных параметров моделей прогнозирования.
Целью эксперимента является определение оптимальных гиперпараметров АНС: размер скрытого слоя, временное окно прогнозирования.
Для поиска гиперпараметров использовался сеточный поиск [13].
Сеточный поиск предполагает задание наборов всех параметров, в области которых производится поиск. Набор данных ограничен по размеру, отсюда следует, что сложные НС (с большим количеством настраиваемых параметров) не будут достаточно обучены, и поиск гиперпараметров стоит вести в области с малыми размерами входного и скрытого слоя. Были выбраны следующие диапазоны: размер окна прогнозирования от 8 до 120 дней, размер скрытого слоя от 8 до 120 нейронов.
Поиск проводился по следующему алгоритму.
Шаг 1. Выбор пары параметров из области поиска.
Шаг 2. Формирование тестовой и обучающей выборки для 8-кратной перекрестной проверки.
Шаг 3. Обучение с ранним остановом 20 НС с размером скрытого слоя, равным текущему на интервале.
Шаг 4. Формирование из 20 НС взвешенного АНС.
Шаг 5. Вычисление МАРЕ ошибки.
Шаг 6. Выбор следующей тестовой выборки и формирование обучающей выборки.
Шаг 7. Если не закончена 8-кратная перекрестная проверка, то переход на шаг 3.
Шаг 8. Пока не конец области поиска, переход к следующей паре параметров.
Шаг 9. Выбор АНС с наименьшей ошибкой на интервале поиска, размер скрытого слоя элемента АНС и размер временного окна прогнозирования будут подходящим решением.
На рис. 3 приведена область поиска с полученными значениями ошибки.
Как видно, наименьшая ошибка получена при размере временного окна прогнозирования, равном 56 дней, и размере скрытого слоя 48 нейронов.
На рис. 4 приведены графики среднесуточного значения реальной телеметрической информации (ТМИ) и прогноза для параметра «напряжение батареи» СЭС.
В таблице представлены оценки ошибок MSE и МАРЕ для параметра «напряжение батареи» без масштабирования значений.
Оценка для параметра «напряжение батареи»
Прогнозируемый параметр МБЕ МАРЕ
Минимальное значение 0,2925 0,4938
Максимальное значение 0,0152 0,1485
Среднее значение 0,0525 0,2280
8 16 24 32 40 48 56 64 72 80 88 96 104 112 120 Размер скрытого слоя
Рис. 3. Сеточный поиск гиперпараметров АНС, МАРЕ
Апробация системы показала, что для долгосрочного прогнозирования телеметрических параметров минимальная ошибка получена при размере временного окна прогнозирования, равном 56 дней, и размере скрытого слоя 48 нейронов. Для найденных параметров средняя абсолютная ошибка в процентах среднего значения на интервале при прогнозировании телеметрии, формируемой датчиками СЭС, для напряжения АБ составляет 0,2280, для напряжения шины питания - 0,1968, для тока заряда АБ - 4,1712.
Так же эксперименты показали, что наименьшая среднеквадратическая ошибка при анализе ТМИ достигается при использовании динамически взвешиваемого АНС с шагом взвешивания 10 и равна 2,75*10-4.
Рис. 4. Реальная ТМИ напряжения батареи и прогноз
Заключение
Описанна нейросетевая технология обработки сигналов от средств контроля технических объектов на основе взвешенных АНС. Данная технология предоставляет интеллектуальный инструмент решения задач прогнозирования ТМИ в различных системах мониторинга и контроля технических объектов. Представлены результаты апробирования технологии на ТМИ подсистем КА.
Показана методика использования предложенной модели в экспериментальном образце нейросетевой системы мониторинга состояния подсистем космических аппаратов по телеметрическим данным. В качестве потенциальных потребителей результатов данных исследований выступают наземные командно-измерительные комплексы управления полетами космических аппаратов.
Исследование выполнено при финансовой поддержке БРФФИ (проекты Ф18ПЛШГ-008 и Ф18В-005).
Список литературы
1. Лысяк А.С. Рябко Б.Я. Прогнозирование многомерных временных рядов // Вестн. СибГУТИ. 2014.
№ 4. С. 75-88.
2. Обзор стандартов и концепция построения средств мониторинга, контроля и диагностики космического аппарата / В.М. Хачумов [и др.] // Программные системы: теория и приложения. № 3 (26). 2015. С.21-43.
3. Нейросетевая система контроля датчиков углов ориентации и дальности космического аппарата / Ю.Г. Емельянова [и др.] // Программные системы: теория и приложения. № 1 (1). 2010. C. 45-59.
4. Short-Term Load and Wind Power Forecasting Using Neural Network-Based Prediction Intervals / Hao Quan [et al.] // IEEE Transactions on Neural Networks and Learning Systems. 2013. Vol. 25, iss. 2. P. 303-315.
5. Comparison of the ARMA, ARIMA, and the autoregressive artificial neural network models in forecasting the monthly inflow of Dez dam reservoir / M. Valipour [et al.] // J. of Hydrology. 2013. Vol. 476. P. 433-441.
6. Neural network ensemble operators for time series forecasting / Nikolaos Kourentzes [et al.] // Expert Systems with Applications. 2014. Vol. 41, iss. 9. P. 4235-4244.
7. Михайлов А.С., Староверов Б.А. Проблемы и перспективы использования искусственных нейронных сетей для идентификации и диагностики технических объектов // Вестн. Ивановского гос. энергет. ун-та. 2013. №. 3. С. 64-68.
8. Ткаченко М.Г. Применение искусственной нейронной сети, оптимизированной генетическим алгоритмом, в задаче анализа состояния технологического оборудования нефтегазодобывающей промышленности // Изв. Южного федерал. ун-та. Технические науки. 2014. №. 7 (156). С. 262-270.
9. Riedmiller M.A., Braun H. Direct adaptive method for faster backpropagation learning: The RPROP algorithm // Proc. of the IEEE International Conference on Neural Networks (ICNN). San Francisco, 1993. P. 586-591.
10. Elwell R., Polikar R. Incremental Learning of Variable Rate Concept Drift // Lecture Notes in Computer Science. 2009. Vol. 5519. P. 142-151.
11. Parikh D., Polikar R. An ensemble-based incremental learning approach to data fusion // IEEE Transactions on Systems, Man and Cybernetics - Part B: Cybernetics. 2007. Vol. 37, № 2. P. 437-450.
12. Doudkin A., Marushko Y. Ensembles of Neural Network for Telemetry Multivariate Time Series Forecasting // Communications in Computer and Information Science. 2017. P. 53-62. DOI: 10.1007/978-3-319-54220-1_6.
13. Bergstra J., Bengio Y. Random Search for Hyper-Parameter Optimization // J. Machine Learning Research. 2012. Vol. 13. P. 281-305.
References
1. Lysjak A.S. Rjabko B.Ja. Prognozirovanie mnogomernyh vremennyh rjadov // Vestn. SibGUTI. 2014. № 4. S. 75-88. (in Russ.)
2. Obzor standartov i koncepcija postroenija sredstv monitoringa, kontrolja i diagnostiki kosmicheskogo apparata / V.M. Hachumov [i dr.] // Programmnye sistemy: teorija i prilozhenija. № 3 (26). 2015. S. 21-43. (in Russ.)
3. Nejrosetevaja sistema kontrolja datchikov uglov orientacii i dal'nosti kosmicheskogo apparata / Ju.G. Emel'janova [i dr.] // Programmnye sistemy: teorija i prilozhenija. № 1 (1). 2010. C. 45-59. (in Russ.)
4. Short-Term Load and Shhind Poshher Forecasting Using Neural Netshhork-Based Prediction Intervals / Hao Jauan [et al.] // IEEE Transactions on Neural Netshhorks and Learning Systems. 2013. Vol. 25, iss. 2. P. 303-315.
5. Comparison of the ARMA, ARIMA, and the autoregressive artificial neural netshhork models in forecasting the monthly infloshh of Dez dam reservoir / M. Valipour [et al.] // J. of Hydrology. 2013. Vol. 476. P. 433-441.
6. Neural netshhork ensemble operators for time series forecasting / Nikolaos Kourentzes [et al.] // Ehpert Systems shhith Applications. 2014. Vol. 41, iss. 9. P. 4235-4244.
7. Mihajlov A.S., Staroverov B.A. Problemy i perspektivy ispol'zovanija iskusstvennyh nejronnyh setej dlja identifikacii i diagnostiki tehnicheskih ob'ektov // Vestn. Ivanovskogo gos. jenerget. un-ta. 2013. №. 3. S. 64-68. (in Russ.)
8. Tkachenko M.G. Primenenie iskusstvennoj nejronnoj seti, optimizirovannoj geneticheskim algoritmom, v zadache analiza sostojanija tehnologicheskogo oborudovanija neftegazodobyvajushhej promyshlennosti // Izv. Juzhnogo federal. un-ta. Tehnicheskie nauki. 2014. № 7 (156). S. 262-270. (in Russ.)
9. Riedmiller M.A., Braun H. Direct adaptive method for faster backpropagation learning: The RPROP algorithm // Proc. of the IEEE International Conference on Neural Netshhorks (ICNN). San Francisco, 1993. P. 586-591.
10. Elshhell R., Polikar R. Incremental Learning of Variable Rate Concept Drift // Lecture Notes in Computer Science. 2009. Vol. 5519. P. 142-151.
11. Parikh D., Polikar R. An ensemble-based incremental learning approach to data fusion // IEEE Transactions on Systems, Man and Cybernetics - Part B: Cybernetics. 2007. Vol. 37, № 2. P. 437-450.
12. Doudkin A., Marushko Y. Ensembles of Neural Netshhork for Telemetry Multivariate Time Series Forecasting // Communications in Computer and Information Science. 2017. P. 53-62. DOI: 10.1007/978-3-319-54220-1_6.
13. Bergstra J., Bengio Y. Random Search for Hyper-Parameter Optimization // J. Machine Learning Research. 2012. Vol. 13. P. 281-305.
Сведения об авторах
Дудкин А.А., д.т.н., профессор, заведующий лабораторией идентификации систем Объединенного института проблем информатики НАН Беларуси.
Марушко Е.Е., научный сотрудник Объединенного института проблем информатики НАН Беларуси.
Адрес для корреспонденции
220000, Республика Беларусь, г. Минск, ул. Сурганова, 6, Объединенный институт проблем информатики НАН Беларуси тел. +375-17-217-74-02; e-mail: marushkoee@gmail.com Марушко Евгений Евгеньевич
Information about the authors
Doudkin A.A., D.Sci , professor, head of systems identification laboratories of United institute of informatics problems of National academy of sciences of Belarus.
Marushko Y.Y., researcher of United institute of informatics problems of National academy of sciences of Belarus.
Address for correspondence
220000, Republic of Belarus,
Minsk, Surganova st., 13,
United institute of informatics problems
of National academy of sciences of Belarus
tel. +375-17-217-74-02;
e-mail: marushkoee@gmail.com
Marushko Yauheni Yauhenievich
