CC BY
60
УДК 681.518.5 Дата подачи статьи: 27.05.20
DOI: 10.15827/0236-235X.132.629-634 2020. Т. 33. № 4. С. 629-634
Разработка нейронной сети для оценки исправности гидроагрегата по результатам вибромониторинга
A.А. Санталов 1, магистрант
B.Н. Клячкин 1, д.т.н., профессор, v_kl@m-ail.ru
1 Ульяновский государственный технический университет,
кафедра прикладной математики и информатики, г. Ульяновск, 432027, Россия
Предупреждение аварийных ситуаций на технических объектах в значительной мере обеспечивается диагностикой их функционирования. Одной из важных задач является диагностика технического состояния гидроагрегата. В истории гидроэнергетики известны примеры, когда низкое качество диагностики приводило к серьезным авариям. Для предупреждения подобных ситуаций проводится вибромониторинг гидроагрегата, при этом данные по вибрациям поступают на сервер сбора данных и передаются на стойку управления, где происходят корректировки нагрузки или полный останов агрегата. Необходимость оперативного вмешательства определяется по множеству показателей, которые характеризуют качество функционирования гидроагрегата.
В настоящей статье исследуется эффективность применения нейросетевых методов для вибродиагностики гидроагрегата. Полученная выборка разбивается на три части: обучающую, контрольную и тестовую. Обучающая часть предназначена для построения модели нейронной сети - зависимости между показателями функционирования агрегата и его состояниями. Контрольная выборка используется для текущей оценки качества обучения и позволяет предотвратить переобучение сети. Качество классификации оценивается по тестовой выборке. При использовании кросс-валидации исходная выборка разбивается на несколько блоков. Для оценки эффективности диагностики использовались три разных критерия качества: средняя ошибка на тестовой выборке, AUC и F-мера.
Практическая реализация поставленной задачи проводилась в пакете MATLAB. Для заданного набора исходных данных наилучшей подобранной конфигурацией оказалась нейронная сеть из трех слоев с 18 нейронами в каждом слое. В качестве функции обучения в ней используется алгоритм Ле-венберга-Марквардта с методом обратного распространения ошибки. Процент средней ошибки распознавания состояния гидроагрегата с помощью нейронной сети равен 4,85, AUC равна 0,8833, а F-мера - 0,8282. Анализ эффективности полученной конфигурации сети по сравнению с сетью, автоматически построенной с помощью библиотеки машинного обучения Statistics and Machine Learning Toolbox, показал повышение F-меры на 6,7 %.
Ключевые слова: техническая диагностика, бинарная классификация, нейронная сеть, MATLAB, гидроагрегат, F-критерий.
Предупреждение аварийных ситуаций на технических объектах в значительной мере обеспечивается диагностикой их функционирования. В понятие технического диагностирования входят контроль технического состояния, поиск места и причин неисправности, а также прогнозирование состояния объекта. При решении задачи контроля состояния объекта и его прогнозирования широко используются статистические и интеллектуальные методы [1, 2].
Анализ состояния технического объекта, как правило, проводится в условиях его эксплуатации. При этом получаемая по результатам мониторинга контролируемых параметров информация часто не позволяет дать однозначное заключение о состоянии объекта. Принятие решения об исправности или неисправности
объекта связано с риском ложной тревоги (когда исправный объект признается неисправным) или пропуском неисправности (наоборот, когда неисправный объект признается исправным).
Машинное обучение, в частности, нейронных сетей, активно используется при решении задач диагностики [3-5]. Например, нейросете-вые методы применены для решения задач контроля технического состояния авиационного газотурбинного двигателя. Для решения поставленной задачи авторы разработали архитектуру нейросетевой экспертной системы «Эксперт Нейро» [6, 7].
Одной из важных задач является диагностика технического состояния гидроагрегата. В истории гидроэнергетики известны примеры, когда низкое качество диагностики при-
водило к серьезным авариям. Так, в 1992 году произошел отрыв турбинной крышки гидроагрегата на канадской ГЭС GrandRapids. Схожая по характеру авария произошла в 2009 году на Саяно-Шушенской гидроэлектростанции, где возникшие вибрации привели к усталостным разрушениям шпилек крепления крышки турбины, в результате все гидроагрегаты получили повреждения вплоть до полного разрушения, а машинный зал был затоплен.
Для предупреждения подобных ситуаций проводится вибромониторинг гидроагрегата, при этом получаемые в реальном времени данные по вибрациям рабочих узлов поступают на сервер сбора данных и передаются на стойку управления, где происходят корректировки нагрузки и режима работы или полный останов агрегата. Необходимость оперативного вмешательства и выработки профилактических мероприятий определяется по множеству показателей, характеризующих качество функционирования гидроагрегата. Это показания датчиков относительной и абсолютной вибрации различных узлов агрегата, боя валов, датчиков измерения скорости вращения и других.
Решение задачи диагностики гидроагрегата по результатам вибромониторинга возможно с применением различных подходов. Для анализа стабильности функционирования используются методы статистического управления процессами, для оценки исправности гидроагрегата - методы машинного обучения, в частности, агрегированные классификаторы. В настоящей статье исследуется эффективность применения для вибродиагностики гидроагрегата нейросетевых методов.
Постановка задачи
В процессе вибромониторинга гидроагрегата контролируются десять показателей вибраций. Необходимо распознать состояние агрегата - исправен он или неисправен. Это задача бинарной классификации [8, 9]. Исходными данными являются известные результаты оценки состояния системы: при заданных значениях контролируемых показателей вибраций Х] {] = 1, ..., 10) гидроагрегат исправен (У = 1) или неисправен (У = 0). В настоящем исследовании исходная выборка составила 2 000 наблюдений, при этом доля неисправных состояний составила 14,75 %.
Полученная выборка разбивается на три части: обучающую, контрольную и тестовую. Обучающая часть предназначена для построе-
ния модели нейронной сети - зависимости между показателями функционирования агрегата и его состояниями.
Контрольная выборка используется для текущей оценки качества обучения и дает возможность предотвратить переобучение нейронной сети, что позволяет сохранить эффективность распознавания состояния гидроагрегата на примерах, не участвовавших в обучении. Метод ранней остановки позволяет не допускать переобучения, останавливая процесс обучения нейронной сети, если за заданное количество эпох значение функции потерь, вычисленной на контрольной выборке, не уменьшается. По причине малого объема исходной выборки параметр «заданное количество эпох» равен 6.
По тестовой выборке оценивается качество классификации. При использовании кросс-ва-лидации исходная выборка разбивается на несколько частей. Например, при заданном объеме тестовой выборки 10 % исходная выборка разбивается на десять частей. Девять из них используются для обучения и контроля, а десятая для тестирования. Последовательно перебираются все десять вариантов, причем наблюдения в частях, используемых для обучающей и контрольной выборок, случайным образом перемешиваются и разделяются на две выборки в пропорции 8:1. Таким образом, итоговое соотношение выборок для обучения, контроля и тестирования, используемых в каждом варианте сочетаний частей исходной выборки, равно 8:1:1. Среднее по тестовым выборкам значение критерия качества диагностики характеризует точность алгоритма.
Стоит отметить, что не все функции обучения используют в своих алгоритмах контрольную выборку. Поэтому для алгоритма байесовской регуляризации, которая не применяет выборку для контроля, использовались только обучающая и тестовая выборки, соответственно, итоговое соотношение этих выборок составляло 9:1.
Для оценки эффективности диагностики использовались три разных критерия качества: средняя ошибка на тестовой выборке, AUC (area under ROC curve) - площадь под ROC-кривой (кривой ошибок) и F-мера [10, 11].
Кривая ошибок показывает зависимость количества верно классифицированных исправных объектов от количества неверно классифицированных неисправных объектов, поэтому площадь под кривой отражает долю объектов, верно распознанных нейросетью. Этот крите-
рий эффективности является одним из наиболее популярных в задачах бинарной классификации.
F-мера вычисляется на основе двух метрик: точности и полноты. Точность (Precision) -процент верно определенных объектов одного класса среди всех объектов, отнесенных системой к этому классу; полнота (Recall) - процент верно определенных объектов одного класса среди всех объектов этого класса в тестовой выборке:
TP „ TP
Precision = -
Recall = ■
TP + FP TP + FN
где TP (true-positive) - количество истинно-положительных решений (количество объектов 1-го класса, отнесенных к 1-му классу); FP (false-positive) - ложноположительное решение (количество объектов 2-го класса, отнесенных к 1-му классу); FN (false-negative) -ложноотрицательное решение (количество объектов 1-го класса, отнесенных ко 2-му классу). В общем случае F-мера определяется по формуле
(ß2 +1) * Precision * Recall ß2 * Precision + Recall где ß - коэффициент, задающий приоритет точности (при 0 < ß < 1) или полноты (при ß > 1). При ß = 1 она сводится к гармоническому среднему между точностью и полнотой и называется Fi-мерой, или сбалансированной F-мерой. Именно такая мера является наиболее информативным показателем качества при несбалансированных классах (когда исправных состояний гидроагрегата значительно больше, чем неисправных): чем ближе значение F к единице, тем качество классификации выше.
Практическая реализация поставленной задачи проводилась в среде Neural Network Toolbox пакета MATLAB, а также в этом же пакете на базе библиотеки инструментов Statistics and Machine Learning Toolbox. При этом в связи с недостаточным объемом выборки не использовался активно развиваемый в последние годы подход глубокого обучения.
Цель исследования - повышение качества диагностики гидроагрегата за счет разработки конфигурации нейронной сети и анализа методов ее обучения.
Численное исследование
Вначале с помощью библиотеки машинного обучения Statistics and Machine Learning Toolbox была автоматически построена нейронная
сеть. Она состоит из одного скрытого слоя с 10 нейронами и обучается с помощью функции обучения trainlm, использующей алгоритм Ле-венберга-Марквардта с методом обратного распространения ошибки; в качестве функции активации использовалась tansig (гиперболический тангенс). Критерии качества построенной сети: процент ошибок - 5,95, AUC равна 0,8483, а F-мера - 0,7748.
При разработке сети в среде Neural Network Toolbox учитывалось, что количество скрытых слоев в нейронной сети и нейронов в каждом слое определяет количество связей между нейронами соседних слоев, что, в свою очередь, определяет обобщающую способность нейросети. Если обобщающая способность будет мала, средняя ошибка прогноза будет велика. Вместе с этим, если обучающая способность будет больше требуемой, избыточные способности могут привести к переобучению, что обусловит высокую среднюю ошибку прогноза.
По этой причине количество скрытых слоев и нейронов в них было выбрано с некоторым запасом. Стояла задача определения наилучшего количества скрытых слоев и нейронов в каждом из слоев путем перебора различных сочетаний. Для перебора были заданы ограничения на количество слоев в нейросети (от 1 до 4) и на количество нейронов (от 5 до 20). Таким образом, количество возможных сочетаний параметров с учетом четырех функций обучения (trainlm - алгоритм Левенберга-Марквардта, trainbr - алгоритм байесовской регуляризации, trainrp - алгоритм эластичного обратного распространения ошибки и trainscg - алгоритм масштабируемых сопряженных градиентов) составляло 256.
Программа работала по следующему принципу: вначале исходная выборка разбивалась на 10 кросс-валидационных подвыборок, после чего для каждого сочетания этих подвыборок обучалась нейронная сеть, конфигурация которой была сформирована в соответствии с тремя циклами перебора параметров сети - количества нейронов в слое, количества скрытых слоев и функции обучения. Нейронная сеть обучалась на 9 подвыборках. После этого производился тест на оставшейся подвыборке, а критерии качества усреднялись. На выходе программы получалась таблица данных с конфигурациями нейронных сетей и соответствующими значениями критериев качества. В таблице приведены полученные результаты для десяти вариантов сетей с сортировкой по убыванию значений F-меры.
Отсортированный по увеличению средней ошибки список нейросетей
List of neural networks sorted by increase in average error
Функция обучения Количество слоев в нейросети Количество нейронов в слое Средняя ошибка, % AUC F-мера
trainbr 3 18 4,85 0,8833 0,8282
trainlm 3 20 4,90 0,8890 0,8268
trainlm 2 8 4,85 0,8865 0,8263
trainbr 3 6 5,00 0,8962 0,8260
trainbr 3 17 5,05 0,8857 0,8225
trainbr 4 10 4,95 0,8847 0,8213
trainbr 3 12 5,00 0,8819 0,8208
trainlm 2 12 4,95 0,8746 0,8175
trainbr 2 18 5,00 0,8727 0,8160
trainlm 3 14 5,10 0,8806 0,8159
Наилучшей подобранной конфигурацией является нейронная сеть из 3 слоев с 18 нейронами в каждом слое. В качестве функции обучения в ней используется алгоритм Левен-берга-Марквардта с методом обратного распространения ошибки. Процент средней ошибки распознавания состояния гидроагрегата с помощью нейронной сети равен 4,85, AUC равна 0,8833, а F-мера - 0,8282.
На рисунке 1 показана отображаемая для каждой нейросети информация на примере сети, показавшей наилучшее значение по F-мере: Data Division: Random - случайный способ деления данных на выборки для обучения, контроля и теста (поскольку алгоритм байесовской регуляризации не использует метод ранней остановки, а из-за применения метода кросс-валидации проверка на тестовой выборке производится отдельно, все 9 частей исходной выборки используются в обучающей выборке); Training: Bayesian Regularization - в качестве функции обучения выбран алгоритм байесовской регуляризации; Performance: Mean Squared Error - из-за особенностей регуляризации в качестве функции потерь используется среднеквадратическая ошибка; Calculations: MEX - выбранная вычислительная модель, позволяющая эффективно подключать написанные на C++ программы и использовать их с экономией памяти.
На рисунке также отражена информация о процессе обучения нейросети: Epoch - количество эпох; Time - время, затраченное на обуче-
} Neural Network Training (nntraintool)
Neural Network
ш
Algorithms
Data Division: Random (dividerand]
Training; Bayesian Regularization (trainbr)
Performance: Mean Squared Error (mse)
Calculations: MEX
Progress
Epoch: 0 1000 iterations J 1000
Time: 0:01:37
Performance: 0.171 .0,0268 0.00
Gradient: 0.647 0.3S4 1.00e-07
Mu: 0.00500 5.00 l.OOeHO
Effective # Paiam: 901 50,0 0.00
Sum Squared Param Ш 910 0.00
Training State
Error Histogram
Confusion
(plotperform) (plottra instate) (ploterrhist) (plotconfusion)
Receiver Operating Characteristic (plotroc)
1 epochs
^ Maximum epoch reached.
I Stop Training
Рис. 1. Окно с информацией об обучении нейронной сети
Fig. 1. Window with information about the neural network training
ние; Performance - значение функции потерь (среднеквадратической ошибки); Gradient -значение градиента; Mu - значение параметра, использующегося в формуле обновления весов
Рис. 2. График средней квадратической ошибки
Fig. 2. Graph oof mean square error
нейронов и препятствующего застреванию нейросети в локальных минимумах; Effective # Param - количество эффективно настроенных параметров нейросети; Sum Squared Param -остаточная сумма квадратов.
Из окна с информацией можно открыть график функции потерь (рис. 2), из которого видно уменьшение ошибки во время процесса обучения на каждой эпохе. На графике кружком отмечена точка минимума, соответствующая эпохе, в которой ошибка была меньше всего.
Анализ полученной конфигурации сети по сравнению с сетью, автоматически построенной с помощью библиотеки машинного обуче-
ния Statistics and Machine Learning Toolbox, визуально продемонстрировал эффективность представленной разработки (см. http://www. ru/uploaded/image/2020-4/2020-4-dop/4jpg).
Заключение
Разработанная методика диагностики исправности гидроагрегата с использованием нейронных сетей обеспечивает повышение на 6,7 % значения F-меры (являющейся наиболее информативным показателем качества бинарной классификации при несбалансированных классах) в рассматриваемой выборке.
Исследование выполнено при финансовой поддержке РФФИ и Правительства Ульяновской области, грант № 18-48-730001.
Литература
1. Биргер И.А. Техническая диагностика. М.: Машиностроение, 1978. 240 с.
2. Клячкин В.Н., Крашенинников В.Р., Кувайскова Ю.Е. Прогнозирование и диагностика стабильности функционирования технических объектов. М.: Русайнс, 2020. 200 с.
3. Wyner A.J., Olson M., Bleich J., Mease D. Explaining the success of adaboost and random forests as interpolating classifiers. The Journal of Machine Learning Research, 2017, vol. 18, no. 48, pp. 1-33.
4. Orozco J., Garcia C.A.R. Detecting pathologies from infant cry applying scaled conjugate gradient neural networks. Proc. ESANN, Belgium, Bruges, 2003, pp. 349-354.
5. Санталов А.А., Жуков Д.А. Диагностика технического состояния системы с применением нейросетевых методов // Перспективные информационные технологии: сб. тр. Междунар. науч.-тех-нич. конф. Самара, 2018. С. 201-205.
6. Васильев В.И., Жернаков С.В. Классификация режимов работы ГТД с использованием технологии нейронных сетей // Вестн. УГАТУ. 2009. Т. 12. С. 53-60.
7. Жернаков С.В., Гильманшин А.Т. Применение интеллектуальных алгоритмов на основе нечеткой логики и нейронных сетей для решения задач диагностики отказов авиационного ГТД // Интеллектуальные технологии обработки информации и управления: сб. тр. II Междунар. конф., 2014. С. 112-115.
8. Воронина В.В., Михеев А.В., Ярушкина Н.Г., Святов К.В. Теория и практика машинного обучения. Ульяновск: изд-во УлГТУ, 2017. 290 с.
9. Witten I.H., Frank E. Data Mining: Practical Machine Learning Tools and Techniques. SF: Morgan Kaufmann Publ., 2005, 525 р.
10. Davis J., Goadrich M. The relationship between Precision-Recall and ROC curves. Proc. 23rd Intern. Conf. on Machine Learning, Pittsburgh, 2006, pp. 233-240. DOI: 10.1145/1143844.1143874.
11. Hand D.J., Till R.J. A simple generalisation of the area under the ROC curve for multiple class classification problems. Machine Learning, 2001, vol. 45, no. 2, pp. 171-186.
Software & Systems Received 27.05.20
DOI: 10.15827/0236-235X.132.629-634 2020, vol. 33, no. 4, pp. 629-634
The neural network development for evaluating the technical condition of a hydro turbine using vibration monitoring
A.A. Santalov l, Graduate Student
V.N. Klyachkin l, Dr.Sc. (Engineering), Professor, v_kl@mail.ru
1 Ulyanovsk State Technical University, Department of Applied Mathematics and Computer Science, Ulyanovsk, 432027, Russian Federation
Abstract. The prevention of emergencies at technical facilities is largely provided by the diagnostics of their functioning. One of the important problems is the diagnosis of the technical condition of the hydraulic
unit. In the history of hydropower, examples are known where poor quality diagnostics led to serious accidents. To prevent such situations, vibration monitoring of the hydraulic unit is carried out, while the vibration data is sent to the data collection server and transmitted to the control rack, where load adjustments or complete unit shutdown occur. The need for prompt intervention is determined by many indicators that characterize the quality of functioning of the hydraulic unit.
This paper explores the effectiveness of the use of neural network methods for vibration diagnostics of a hydraulic unit. The resulting sample is divided into three parts: training, control, and test. The training part is designed to build a neural network model - the relationship between the indicators of the functioning of the unit and its states. The control sample is used for the training quality control and helps prevent network retraining. The quality of classification is evaluated by a test sample. When using cross-validation, the original sample is split into several blocks. To assess the diagnosis efficiency, three different quality criteria were used: average error on the test sample, AUC, and F-measure.
The practical implementation was carried out using the MATLAB package. For a given set of input data, the best fit configuration was a neural network of three layers with 18 neurons in each layer. As a learning function, it uses the Levenberg-Marquardt algorithm with the backpropagation method of error. The percentage of the average error in recognizing the state of a hydraulic unit using a neural network is 4,85 %, AUC is 0,8833, and the F-measure is 0,8282. Analysis of the effectiveness of the obtained network configuration compared to the automatically built network using the Statistics and Machine Learning Toolbox library showed an increase in F-measure by 6,7 %.
Keywords: technical diagnostics, binary classification, neural network, MATLAB, hydro turbine, F-score.
Acknowledgements. A study done within the financial support of the Russian Foundation for basic research and the Government of the Ulyanovsk region, grant no. 18-48-730001.
References
1. Birger I.A. Technical Diagnostics. Moscow, 1978, 240 p. (in Russ.).
2. Klyachkin V.N., Krasheninnikov V.R., Kuvajskova Yu.E. Forecasting and Diagnostics of Functioning Stability of Technical Objects. Moscow, 2020, 200 p. (in Russ.).
3. Wyner A.J., Olson M., Bleich J., Mease D. Explaining the success of adaboost and random forests as interpolating classifiers. The Journal of Machine Learning Research, 2017, vol. 18, no. 48, pp. 1-33.
4. Orozco J., Garcia C.A.R. Detecting pathologies from infant cry applying scaled conjugate gradient neural networks. Proc. ESANN, Belgium, Bruges, 2003, pp. 349-354.
5. Santalov A.A., Zhukov D.A. Diagnostics of the system technical state using neural network methods. Proc. Int. Sci. Conf. Advanced Information Technology, Samara, 2018, pp. 201-205 (in Russ.).
6. Vasilev V.I., Zhernakov S.V. Classification of GTE operation modes with use of neural network technology. Vestn. USATU, 2009, vol. 12, pp. 53-60 (in Russ.).
7. Zhernakov S.V., Gilmanshin A.T. Applying intelligent algorithms based on fuzzy logic and neural networks to solve the problems of diagnostics of aviation gas turbine engine failures. Proc. 2nd Intern. Conf. ITIPM, 2014, pp. 112-115 (in Russ.).
8. Voronina V.V., Mikheev A.V., Yarushkina N.G., Svyatov K.V. Theory and Practice of Machine Learning. Ulyanovsk, 2017, 290 p. (in Russ.).
9. Witten I.H., Frank E. Data Mining: Practical Machine Learning Tools and Techniques. SF, Morgan Kaufmann Publ., 2005, 525 p.
10. Davis J., Goadrich M. The relationship between precision-recall and roc curves. Proc. 23rdIntern. Conf. on Machine Learning, Pittsburgh, 2006, pp. 233-240. DOI: 10.1145/1143844.1143874.
11. Hand D.J., Till R.J. A simple generalisation of the area under the ROC curve for multiple class classification problems. Machine Learning, 2001, vol. 45, no. 2, pp. 171-186.
Для цитирования
Санталов А.А., Клячкин В.Н. Разработка нейронной сети для оценки исправности гидроагрегата по результатам вибромониторинга // Программные продукты и системы. 2020. Т. 33. № 4. С. 629-634. DOI: 10.15827/0236-235X.132.629-634.
For citation
Santalov А.A., Klyachkin V.N. The neural network development for evaluating the technical condition of a hydro turbine using vibration monitoring. Software & Systems, 2020, vol. 33, no. 4, pp. 629-634 (in Russ.). DOI: 10.15827/0236-235X.132.629-634.
