CC BY
19
DOI: 10.47026/1810-1909-2021-3-94-102
УДК 621.31 ББК 31.27
Я.В. МИРОНЕНКО, АД. КУРЗАНОВ
ОЦЕНКА СОСТОЯНИЯ ИЗОЛЯЦИИ ЭЛЕКТРООБОРУДОВАНИЯ С ИСПОЛЬЗОВАНИЕМ АЛГОРИТМА ГРАДИЕНТНОГО БУСТИНГА
Ключевые слова: диагностика высоковольтного оборудования, частичные разряды, машинное обучение, градиентный бустинг, CatBoost.
Приоритетным в развитии диагностики в энергетике становится создание аналитических программных продуктов, нацеленных на оценку состояния электрического оборудования. Применение методов искусственного интеллекта для решения данной задачи является актуальной темой для научной работы в данной области. В статье предложен метод анализа данных мониторинга частичныхраз-рядов в изоляции электрооборудования с использованием технологий машинного обучения. Аналитическая оценка характеристик частичных разрядов позволяет сделать вывод о состоянии изоляции рассматриваемого объекта. Предлагается использовать в качестве данных, описывающих состояние исследуемого объекта, такие интегрированные диагностические параметры, как интенсивность частичных разрядов (PDI), максимальное измеренное значение кажущегося заряда единичного, повторяющегося и регулярного частичных разрядов. Общая выборка, полученная таким образом, характеризуется несбалансированностью, что характерно для технической диагностики в целом. Среди алгоритмов машинного обучения наиболее эффективными показали себя бэггинг и бустинг. Рассмотрен математический аппарат градиентного бустинга на примере наиболее распространенных алгоритмов GBM (Gradient Boosting Machine) и CatBoost. Разработка модели осуществлялась на языке программирования Python. Созданная на основе алгоритма CatBoost модель была использована для оценки состояния масляной изоляции силовых трансформаторов по данным мониторинга частичных разрядов. После оптимизации параметров алгоритма CatBoost была достигнута точность работы модели в 68,85%. По результатам работы сделаны выводы о необходимости увеличения размеров обучающей выборки и повышения ее сбалансированности, а также о нецелесообразности интерпретации данных прогноза в поле физических терминов и диагностических параметров при достигнутой точности работы модели.
Диагностика высоковольтного оборудования является одним из приоритетных направлений обозначенной Правительством Российской Федерации программы цифровизации энергетики [6]. В частности, предполагается внедрение риск-ориентированного подхода в области цифровой электроэнергетики с использованием инструментов предиктивной онлайн-диагностики. Для решения указанных задач планируется создание программных аналитических продуктов, оценивающих состояние энергетического оборудования на основании данных диагностических систем в формате online. Однако большое количество диагностических параметров и отсутствие структурированного механизма логического вывода о предиктивном состоянии оборудования не позволяют в полной мере использовать все возможности диагностических и измерительных систем, и такие системы обычно используются в качестве дополнительного инструмента [4, 7]. По этой причине один из векторов развития данного диагностического подхода направлен на автоматизацию и упрощение процесса определения состоянии рассматриваемого объекта.
В своем простейшем виде техническая диагностика сводится к задаче бинарной классификации, где исследуемый объект в зависимости от исходных данных (измеренных и рассчитанных значений диагностических параметров) относится к одному из двух классов (исправен/неисправен). Одним из направлений автоматизации решения такой задачи является использование методов машинного обучения (machine learning). Машинное обучение получило значительное развитие в медицинской диагностике [8, 11, 14], а в [9, 10, 12, 15, 18] описаны возможности применения этих методов в задачах технической диагностики. При этом в соответствии с [3, 17] наиболее эффективным выглядит применение композиционных методов машинного обучения: бэггинга (bagging) и бустинга (boosting), а также нейронных сетей для технической диагностики.
Рассмотрим применение методов машинного обучения в диагностике на примере задачи оценки состояния масляной изоляции силовых трансформаторов 6/0,4 и 10/04 кВ мощностью 600-800 кВА. Исходными данными, описывающими состояние исследуемого объекта (данные «features» в машинному обучении), выступают интегрированные диагностические параметры, полученные в ходе мониторинга частичных разрядов (ЧР): интенсивность ЧР (PDI) максимальное измеренное значение кажущегося заряда ЧР, максимальное повторяющееся значение кажущегося заряда ЧР, максимальное значение кажущихся зарядов с регулярностью возникновения не менее 0,5. Мониторинг ЧР является информативным диагностическим инструментом, активно используемым в целях онлайн-диагностики, технологическая проблема развития которого заключается в сложности экспертной интерпретации данных, полученных регистраторами [2]. В качестве данных о фактическом состоянии объекта (данные «target» в машинном обучении) используются результаты хромотографического анализа концентрации растворенных газов в трансформаторном масле (ХАРГ), одного из наиболее точных диагностических методов, который, тем не менее, слабо подвержен автоматизации и практически не используется в онлайн-диагностике [5]. В таблице представлен пример итоговой таблицы, включающей параметры id (идентификатор измерения, не участвующий в обработке модели машинного обучения и используемый для расшифровки объектов), features и target.
Общая выборка формируется на основании данных мониторинга, проведенного на 104 масляных трансформаторах в 32 регионах РФ в 2013-2014 гг. Данные ХАРГ смещены от данных мониторинга ЧР по времени на 1-2 недели. Выборка не сбалансирована (на более чем 70% объектов состояние изоляции определено как нормальное), характеризуется сравнительно небольшим разбросом и достаточно высоким уровнем смещений. Исходная выборка случайным образом разбита на две части - обучающую (75% от общей) и контрольную (25% от общей).
Целью данного исследования является оценка точности работы прогнозной модели в виде параметра, характеризующего отношение числа правильно отнесенных классов к общему числу классов, с последующей интерпретацией результатов в форме привязки к диагностическим параметрам.
Фрагмент таблицы для формирования тестовой выборки
ID target features
Фаза А Фаза В Фаза С
№ ХАРГ РБ1, мВт Qmax, пКл 4 К п * С ° ^ Qi 5 р п Qmax, повтор. пКл РБ1, мВт Qmax, пКл Qmax, при RI0.5, пКл Qmax, повтор. пКл РБ1, мВт Qmax, пКл Qmax, при RI0.5, пКл Qmax, повтор. пКл
Fi F2 F3 F4 Fi F2 F3 F4 Fi F2 F3 F4
1 норм. 3,74 900 500 500 4,15 1200 450 500 4,01 900 400 500
На предварительном этапе рассматриваются два метода машинного обучения: бэггинг и бустинг - сравнительно небольшой объём выборки не позволяет в полной мере использовать преимущества нейронных сетей [13]. Преимуществом бэггинга является его лучшая применимость для несбалансированных классов и небольших выборок [3]. В то же время бустинг лучше подходит для классификации, характеризующейся большим смещением [1]. С учетом перспективной возможности расширения обучающей выборки в качестве аппарата для машинного обучения была выбрана техника бустин-га, отличительной особенностью которой является последовательное, а не независимое построение моделей. Использование такого подхода существенно снижает число итераций, но необходимо учитывать возможность переобучения модели при неправильном выборе критерия остановки.
Если представить ансамбль простых моделей в виде дерева принятия решения, то в соответствии с алгоритмом мы будем последовательно двигаться по его ветвям, добавляя к уже пройденным моделям новые и пытаясь обучить их по остаточной ошибке предыдущих. Такой метод получил название градиентного бустинга.
Исходные данные для работы модели, как уже отмечалось выше, фактически представляют собой матрицу, где А^ (7 = 1, т) - это строки - объекты (т - соответственно число объектов в модели), а (/ = 1, п) - это столбцы -признаки объекта по выбранному диагностическому параметру (п - соответственно число рассматриваемых диагностических параметров). Представим их в следующем виде:
А±
Х = [xtj]= Ai
Sj Sn
хн xij xln
хн xij xin
Хт1 xmj xmn
Значение предсказываемой функции примет вид [у£1], где ¿ = 1 ,т и т -число диагностируемых объектов в модели, и будет представлять собой массив из строк, где элементом массива будет диагностируемое состояние объекта:
Y= [Уц] =
Ун Ун Umli
= яю = /(Ы) = /|
41
хи
lml
4j
^mj
xln Xj-П
Решение задачи представляет собой предсказание приближенной функции /(X), которую можно определить, минимизировав функцию потерь L(Y,/(X)). Так как функциональное пространство бесконечно, а алгоритм все-таки предусматривает конечное решение, предсказываемая функция ограничивается определенным видом и приобретает вид h([xi;], б), а само решение сводится к оптимизации параметра:
§ = argmin [L(Y, h(X, 0))]. э
Дальнейшее решение задачи зависит от выбранного алгоритма бустинга, определяющего подход к представлению f(X). Один из классических алгоритмов градиентного бустинга - GBM (Gradient Boosting Machine) - представляет fix) как сумму отдельных функций, улучшаемых на каждом шаге итерации t от 1 до М, где М - общее количество итераций, или параметр, именуемый «число деревьев».
В первую очередь посредством линейного поиска определяется первое приближение, или
= /0 = argmin ^Щу£1], у),
У
г
1=1
где т - по-прежнему число объектов в модели. Для каждого дерева на каждой итерации далее дифференцированием функции потерь осуществляется расчет псевдоостатка
ЫЦу1,/(Ы))1
Гц- - -
/(Ы)=/(Ы)
который, в свою очередь, включается в пространство решений {(х^, т ■
На следующем шаге аналогично у из регрессии линейным поиском на выбранном пространстве инициализируется оптимальный коэффициент
Р
1 т
= argmin ^ L(\ytl], /t-i([*i;]) + ph([*y])),
и, соответственно, положение предсказываемой функции на итерации Ь приобретает вид
ЛЫКЛЫЗ+ДЫ)'
где Д([жу]) = РЛ(К/]).
Для решения поставленной задачи целесообразно использовать не классический ОБЫ-алгоритм, характеризующийся сравнительно сложной установкой параметров алгоритма, а более современный Са1Боо81;, доказавший свою эффективность на предустановленных настройках [16]. Отличие Са1Боо81 от ОБЫ наблюдается в алгоритме выбора лучшего дерева: в ОБЫ выбирается дерево с наименьшим градиентом ошибки, в то время как в Са1Боо81 реализован случайный механизм отбора с последовательно уменьшающейся степенью рандомизации.
По результатам работы модели был проведён анализ влияния параметров алгоритма, используемых в библиотеке CatBoost для языка Python (глубина дерева; число базовых моделей; скорость обучения; число обучающих данных в обучающем узле). На первом этапе подбора наибольшее влияние на точность было оказано глубиной дерева. После фиксации значения глубины с наибольшей точностью на втором этапе было выявлено наилучшее число базовых моделей. При этом число обучающих данных перестало оказывать влияние на точность моделей. На третьем этапе было выбрано оптимальное значение скорости обучения. Изменения числа обучающих данных в обучающем узле не оказало влияние на точность модели на четвертой итерации.
Результаты работы модели на различных итерациях подборки параметров алгоритма представлены на рис. 1-3. Наибольшая достигнутая точность -0,688506335 при начальном значении - 0,546879221.
Глубина дерева
Рис. 1. Зависимость точности прогноза от глубины деревьев на первой итерации подбора параметров модели
Число обучающих моделей Рис. 2. Зависимость точности прогноза от числа обучающих моделей на второй итерации подбора параметров модели
Скорость обучения
Рис. 3. Зависимость точности прогноза от скорости обучения на третьей итерации подбора параметров модели
По результатам эксперимента можно сделать следующие выводы:
1. Достигнутая точность прогноза существенно ниже точности, достигнутой в аналогичных работах по другим направлениям диагностики, и не позволяет использовать данную модель для определения состояния изоляции высоковольтного оборудования.
2. Сравнительно низкое значение точности прогноза с большой долей вероятности обуславливается малым объемом и низкой сбалансированностью обучающей выборки.
При полученной точности работы модели интерпретация данных прогноза в поле физических терминов и диагностических параметров нецелесообразна. Дальнейшее использование градиентного бустинга в интерпретации данных мониторинга ЧР возможно после повышения точности прогноза за счет использования более сбалансированной и объемной обучающей выборки. После повышения точности до 90-95% возможно приступить к формированию алгоритма для сопоставления и корректировки классических продукционных диагностических правил по результатам работы модели.
Литература
1. Ансамблевые методы: бэггинг, бустинг и стекинг [Электронный ресурс]. URL: https://neurohive.io/ru/osnovy-data-science/ansamblevye-metody-begging-busting-i-steking (дата обращения: 13.08.2021).
2. Вдовико В.П. Частичные разряды в диагностировании высоковольтного оборудования. Новосибирск: Наука, 2007. 155 с.
3. Клячкин В.Н., Кувайскова Ю.Е., Жуков Д.А. Выбор метода бинарной классификации при технической диагностике с применением машинного обучения // Известия Самарского научного центра Российской академии наук. 2018. Т. 20, № 4(3). С. 494-497.
4. Малафеев С.И. Надежность электроснабжения. СПб.: Лань, 2017. 368 с.
5. Мироненко Я.В. Перспектива развития технологий диагностики высоковольтного электроэнергетического оборудования // Современная техника и технологии: проблемы, состояние и перспективы: сб. докл. X Всерос. научн. конф. Рубцовск: Рубцовский индустриальный институт филиал ФГБОУ ВО «Алтайский государственный технический университет им. И.И. Пол-зунова», 2020. С. 130-136.
6. Описание ведомственного проекта Министерства энергетики Российской Федерации «Цифровая энергетика» [Электронный ресурс]. URL: https://digital.gov.ru/uploaded/files/vedo-mstvennyij-proekt-tsifrovaya-energetika.pdf (дата обращения: 13.08.2021).
7. Русов В.А. Диагностический мониторинг высоковольтных силовых трансформаторов. Пермь: DIMRUS, 2013. 159 с.
8. Esteva A., Kuprel B., Novoa R.A. et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature, 2017, no. 542, pp. 115-118.
9. Fenton W., McGinnity T., Maguire L. Fault diagnosis of electronic systems using intelligent techniques: a review. IEEE Transactions on Systems, Man, and Cybernetics, Part C, 2001, vol. 31, no. 3, pp. 269-281.
10. Gertler J., Costin M., Fang X., Kowalczuk Z. et al. Model based diagnosis for automotive engines-algorithm development and testing on a production vehicle. IEEE Transactions on Control Systems Technology, 1995, vol. 3, no. 1, pp. 61-69.
11. Gulshan V., Peng L., Coram M., Stumpe M.C. et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA, 2016, no. 316(22), pp. 2402-2410.
12. Hosny A., Parmar C., Quackenbush J., Schwartz L.H., Aerts H.J. W.L. Artificial intelligence in radiology. Nat Rev Cancer, 2018, no. 18(8), pp. 500-510.
13. How Do You Know You Have Enough Training Data? Available at: https://towards-datascience.com/how-do-you-know-you-have-enough-training-data-ad9b1fd679ee (Access Date 2021, Aug. 21).
14. Malafeev A., Laptev D., Bauer S., Omlin X. et al. Automatic Human Sleep Stage Scoring Using Deep Neural Networks. Front Neurosci, 2018, vol. 12, art. 781, pp. 1-15.
15. MasrurM.A., Chen Z., ZhangB., Jia H., Murphey Y. Model-Based Fault Diagnosis in Electric Drives Using Artificial Neural Networks. IEEE Transactions On Mechatronics, 2005, no. 11(3), pp. 290-303.
16. Mastering The New Generation of Gradient Boosting. Available at: https://towardsdata-science.com/https-medium-com-talperetz24-mastering-the-new-generation-of-gradient-boosting-db0-4062a7ea2 (Access Date 2021, Aug. 21).
17. Singhal Y., Jain A., Batra Sh., Varshney Y., Rathi M. Review of Bagging and Boosting Classification Performance on Unbalanced Binary Classification. IEEE 8th International Advance Computing Conference (IACC), 2018.
18. Murphey Y. L., Masrur M. A., Chen Z. Fault Diagnostics in Electric Drives Using Machine Learning. IEEE International Conference: Electric Machines & Drives Conference (IEMDC), 2013.
МИРОНЕНКО ЯРОСЛАВ ВЛАДИМИРОВИЧ - заместитель генерального директора, АО «РЭС Групп», Россия, Владимир (yaroslav.mironenko@inbox.ru; ОКСГО: https://orcid.org/0000-0001-9836-7676).
КУРЗАНОВ АЛЕКСЕЙ ДМИТРИЕВИЧ - ведущий инженер, АО «РЭС Групп», Россия,^_
Yaroslav V. MIRONENKO, Alexey D. KURZANOV ASSESSMENT OF THE ELECTRICAL EQUIPMENT INSULATION STATE USING THE GRADIENT BOOSTING ALGORITHM
Key words: diagnostics of high-voltage equipment, partial discharges, machine learning, gradient boosting, CatBoost.
The creation of analytical software products aimed at assessing the electrical equipment state has become a priority in the development of diagnostics in the power industry. The artificial intelligence methods are useful for this problem-solving. In the article, we propose a method for analyzing the monitoring data of partial discharges in the insulation of electrical equipment using machine-learning technologies. An analytical assess-
ment of the partial discharges characteristics allows us to conclude on the insulation state of the object. It is proposed to use integrated diagnostic parameters, such as partial discharges intensity - the maximum measured value of the apparent charge of a single, repetitive and regular partial discharges. The total sample is characterized by an imbalance, which is typical for technical diagnostics in general. Among machine learning algorithms, bagging and boosting have proven to be the most effective. The mathematical apparatus of gradient boosting is considered in the example of the most common algorithms GBM (Gradient Boosting Machine) and CatBoost. The model was created in the Python programming language. The model created on the basis of the CatBoost algorithm was used for assessing the condition of the oil insulation of power transformers. The model's accuracy of 68.85% was achieved after optimizing the parameters of the CatBoost algorithm. The article concluded that it is necessary to increase the training sample size and improve its balance. It is inadvisable to interpret the predicted data in the field of diagnostics parameters at the available accuracy of the model's wok.
References
1. Ansamblevye metody: begging, busting i steking [Ensemble methods: bagging, boosting and stacking]. Available at: https://neurohive.io/ru/osnovy-data-science/ansamblevye-metody-begging-busting-i-steking/ (Access Date 2021, Aug. 13).
2. Vdoviko V.P. Chastichnye razryady v diagnostirovanii vysokovol'tnogo oborudovaniya [Partial discharges in diagnostics of high-voltage equipment]. Novosibirsk: Nauka, 2007, 155 p.
3. Klyachkin V.N., Kuvaiskova Yu.E., Zhukov D.A. Vybor metoda binarnoi klassifikatsii pri tekhnicheskoi diagnostike s primeneniem mashinnogo obucheniya [The choice of a binary classification method in technical diagnostics using machine learning]. Izvestiya Samarskogo nauchnogo tsentra Rossiiskoi akademii nauk, 2018, vol. 20, no. 4(3), pp. 494-497.
4. Malafeev S.I. Nadezhnost' elektrosnabzheniya [Power supply reliability]. St. Petersburg: Lan Publ., 2017, 368 p.
5. Mironenko Ya.V. Perspektiva razvitiya tekhnologii diagnostiki vysokovol'tnogo elektroener-geticheskogo oborudovaniya [A Prospect for the development of diagnostic technologies for highvoltage electric power equipment]. In: Sovremennaya tekhnika i tekhnologii: problemy, sostoyanie i perspektivy: sb. dokl. X Vseros. nauchn. konf [Proc. of 10th Russ. Sci. Conf. «Modern equipment and technologies: problems, state and prospects»]. Rubtsovsk, 2020, pp. 130-136.
6. Opisanie vedomstvennogo proekta Ministerstva energetiki Rossiiskoi Federatsii «Tsifrovaya energetika» [Description of the departmental project of the Ministry of Energy of the Russian Federation "Digital Energy"]. Available at: https://digital.gov.ru/uploaded/files/vedomstvennyij-proekt-tsifrovaya-energetika.pdf (Access Date 2021, Aug. 13).
7. Rusov V.A. Diagnosticheskii monitoring vysokovol'tnykh silovykh transformatorov [Diagnostic monitoring of high voltage power transformers]. Perm, DIMRUS Publ., 2013, 159 p.
8. Esteva A., Kuprel B., Novoa R.A. et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature, 2017, no. 542, pp. 115-118.
9. Fenton W., McGinnity T., Maguire L. Fault diagnosis of electronic systems using intelligent techniques: a review. IEEE Transactions on Systems, Man, and Cybernetics, Part C, 2001, vol. 31, no. 3, pp. 269-281.
10. Gertler J., Costin M., Fang X., Kowalczuk Z. et al. Model based diagnosis for automotive engines-algorithm development and testing on a production vehicle. IEEE Transactions on Control Systems Technology, 1995, vol. 3, no. 1, pp. 61-69.
11. Gulshan V., Peng L., Coram M., Stumpe M.C. et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA, 2016, no. 316(22), pp. 2402-2410.
12. Hosny A., Parmar C., Quackenbush J., Schwartz L.H., Aerts H.J. W.L. Artificial intelligence in radiology. Nat Rev Cancer, 2018, no. 18(8), pp. 500-510.
13. How Do You Know You Have Enough Training Data? Available at: https://towards-datascience.com/how-do-you-know-you-have-enough-training-data-ad9b1fd679ee (Access Date 2021, Aug. 21).
14. Malafeev A., Laptev D., Bauer S., Omlin X. et al. Automatic Human Sleep Stage Scoring Using Deep Neural Networks. Front Neurosci, 2018, vol. 12, art. 781, pp. 1-15.
15. Masrur M.A., Chen Z., Zhang B., Jia H., Murphey Y. Model-Based Fault Diagnosis in Electric Drives Using Artificial Neural Networks. IEEE Transactions On Mechatronics, 2005, no. 11(3), pp. 290-303.
16. Mastering The New Generation of Gradient Boosting. Available at: https://towards-datascience.com/https-medium-com-talperetz24-mastering-the-new-generation-of-gradient-boosting-db04062a7ea2 (Access Date 2021, Aug. 21).
17. Singhal Y., Jain A., Batra Sh., Varshney Y., Rathi M. Review of Bagging and Boosting Classification Performance on Unbalanced Binary Classification. IEEE 8th International Advance Computing Conference (IACC), 2018.
18. Murphey Y. L., Masrur M. A., Chen Z. Fault Diagnostics in Electric Drives Using Machine Learning. IEEE International Conference: Electric Machines & Drives Conference (IEMDC), 2013.
YAROSLAV V. MIRONENKO - Deputy General Director, Company "RES Group", Russia, Vladimir (yaroslav.mironenko@inbox.ru; ORCID: https://orcid.org/0000-0001-9836-7676).
ALEXEY D. KURZANOV - Leading Engineer, Company "RES Group", Russia, Vladimir (rezer33@yandex.ru; ORCID: https://orcid.org/0000-0002-6910-7426).
Формат цитирования: Мироненко Я.В., Курзанов А.Д. Оценка состояния изоляции электрооборудования с использованием алгоритма градиентного бустинга // Вестник Чувашского университета. - 2021. - № 3. - С. 94-102. БО!: 10.47026/1810-1909-2021-3-94-102.
