CC BY
44
19. Korf R. Huang E. Optimal Rectangle Packing on Non- Square Benchmarks. In Proceedings of the twenty-fours AAAI Conference on Artificial Intelligence (AAAI-10). Atlanta, Georgia, USA, July 11-15, 2010, pp. 83-88.
20. Saak A.E. Sravnitel'nyy analiz polinomial'nykh algoritmov dispetcherizatsii v Grid-sistemakh [Comparative analysis of polynomial dispatching algorithms in Grid systems], Informatsionnye tekhnologii [Information Technologies], 2012, No. 9, pp. 28-32.
21. Saak A.E. Urovnevye algoritmy dispetcherizatsii massivami zayavok krugovogo tipa v Grid-sistemakh [Level algorithms for dispatching circular-type request arrays in Grid-systems], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2015, No. 6 (167), pp. 223-231.
Статью рекомендовала к опубликованию д.т.н., профессор Л.С. Лисицына.
Курейчик Владимир Викторович - Южный федеральный университет; e-mail: vkur@sfedu.ru; г. Таганрог, Россия; тел.: 88634371651; кафедра систем автоматизированного проектирования, зав. кафедрой; д.т.н.; профессор.
Саак Андрей Эрнестович - e-mail: saak@sfedu.ru; тел.: 88634393140; .кафедра государственного и муниципального управления; д.т.н.; доцент; зав. кафедрой ГиМУ.
Курейчик Владимир Владимирович - ООО «Газпром подземремонт Уренгой»; e-mail: Kureichik@yandex.ru; г. Санкт-Петербург, Россия; тел.: +78126096700; отдел автоматизации систем управления; к.т.н.; ведущий инженер.
Kureichik Vladimir Victorovich - Southern Federal University; e-mail: vkur@sfedu.ru; Taganrog, Russia; phone: +78634371651; the department of computer aided design; head of CAD department; dr. of eng. sc.; professor.
Saak Andrey Ernestovich - e-mail: aesaak@sfedu.ru; Taganrog, Russia; phone: +78634393373; the department of state and municipal management, head of department.
Kureichik Vladimir Vladimirovich - «Gazprom podzemremont Urengoi» company; e-mail: Kureichik@yandex.ru; St. Peterburg, Russia; phone: +78126096700; Control systems automation department; cand. of eng. sc.; lead engineer.
УДК 621.315.611 DOI 10.18522/2311-3103-2021-2-59-73
Н.К. Полуянович, М.Н. Дубяго
АЛГОРИТМ ОБУЧЕНИЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ ФАКТОРНОГО ПРОГНОЗИРОВАНИЯ РЕСУРСА ИЗОЛЯЦИОННЫХ МАТЕРИАЛОВ СИЛОВЫХ КАБЕЛЬНЫХ ЛИНИЙ
Статья посвящена исследованиям термофлуктуационных процессов в соответствии с теорией теплопроводности для решения задач факторного прогнозирования остаточного ресурса изоляционных материалов на основе неразрушающего температурного метода. Обоснована актуальность задачи разработки алгоритма для прогнозирования температуры жил СКЛ в режиме реального времени на основе данных системы температурного мониторинга, с учетом изменения токовой нагрузки линии и внешних условий теплоотвода. Экспериментальным методом выявлены типы искусственных нейронных сетей, их архитектура и состав, которые обеспечивают максимальную точность прогнозирования при минимальном наборе значимых факторов. Разработана нейросеть для определения температурного режима токоведущей жилы силового кабеля. Определен минимальный набор значимых факторов и размерность входного обучающего вектора, который обеспечивает универсальность нейросетевого метода прогнозирования. Разработана нейросеть для определения температурного режима токоведущей жилы заключается в диагностике и прогнозировании ресурса электроизоляции (ЭИ) силового кабеля. Модель позволяет оценивать
текущее состояние изоляции и прогнозировать остаточный ресурс СКЛ. Проведен сравнительный анализ экспериментальных и расчетных характеристик алгоритмов обучения искусственной нейронной. Установлено, что предлагаемый алгоритм искусственной нейронной сети может быть использована для составления прогноза температурного режима токоведущей жилы, на три часа вперед с точностью до 2,5 % от фактического значения температуры жилы. Основная область применения разработанной нейросети для определения температурного режима токоведущей жилы заключается в диагностике и прогнозировании ресурса электроизоляции (ЭИ) силового кабеля. Разработка интеллектуальной системы прогнозирования (ИНС) температуры жилы СКЛ способствует планированию режимов работы электросети с целью повышения надежности и энергоэффективности их взаимодействия с объединенной энергосистемой.
Факторное прогнозирование; изоляционные материалы; термофлуктуационные процессы; алгоритм Левенберга-Марквардта; архитектура нейронной сети; надежность систем энергоснабжения.
N.K Poluyanovich, M. N. Dubyago
ALGORITHM FOR TRAINING THE ARTIFICIAL NEURAL NETWORK OF FACTOR PREDICTING THE POWER CABLE LINES INSULATING
MATERIALS LIFE
The article is devoted to the research of thermofluxtual processes in accordance with the theory of thermal conductivity for solving the problems of factor prediction of the residual life of insulating materials based on the non-destructive temperature method. The relevance of the task of developing algoritma for predicting the temperature of SCL cores in real time based on the data of the temperature monitoring system, taking into account the change in the current load of the line and external heat removal conditions, is justified. The experimental method revealed the types of artificial neural networks, their architecture and composition, which provide maximum prediction accuracy with a minimum set of significant factors. A neural network has been developed to determine the temperature regime of the current-carrying core of the power kawhite. The minimum set of significant factors and the dimension of the input training vector is determined, which provides the versatility of the neural network prediction method. A neural network for determining the temperature mode of the current-carrying core is designed to diagnose and predict the electrical insulation (EI) life of a power cable. The model allows assessing the current isolation state and predicting the residual resource of the SCL. Comparative analysis of experimental and calculated characteristics of learning algorithms of isostic neural is carried out. It has been found that the proposed algorithm of artificial neural network can be used for prediction of current-carrying core temperature mode, three hours in advance with accuracy up to 2.5 % of actual value of core temperature. The main field of application of the developed neural network for determining the temperature mode of the current-carrying core is in di-agnostics and predicting the electrical insulation (EI) life of the power cable. The development of an intelligent system for predicting the temperature of the LCS core contributes to the planning of the operation modes of the electric network in order to increase the reliability and energy efficiency of their interaction with the integrated energy system.
Factor prediction; insulating materials; thermoflux processes; Levenberg-Marquardt algorithm rhythm; neural network architecture; reliability of power supply systems.
Введение. Силовые кабели напряжением 6 (10) кВ, в системе электроснабжения потребителей городских электрических сетей являются наиболее протяжёнными элементами. Устойчивое функционирование электросетевого комплекса невозможно без надежной и качественной работы распределительных электрических сетей 6-10/0,4 кВ, которые являются завершающим звеном в системе обеспечения потребителей электрической энергией. Исследования причин отказов в кабельных линиях (КЛ) вызвана результатами анализа аварийности в местах с населением более 100 тыс. жителей, где повреждения КЛ 6 (10) кВ являются причиной 80-90 % всех отключений. Во время эксплуатации на изоляцию КЛ 6 (10) кВ воз-
действует целая группа факторов: электрические, тепловые, климатические, механические, коррозия [1]. Значительная часть работающих КЛ выработала свой нормативный ресурс, а результаты эксплуатации КЛ свидетельствуют о том, что основной причиной его отказов является снижение электрической прочности изоляции.
Важной характеристикой КЛ систем электроснабжения является нагрузочная способность, определяемая тепловым режимом, по которой рассчитывается площадь поперечного сечения и их пропускная способность [2, 3]. Расчёт пропускной способности необходим и осуществляется при проектировании КЛ. Допустимая токовая нагрузка КЛ может быть получена из формулы превышения температуры жилы над температурой окружающей среды [4, 5]. Однако использование даже самых точных методик не позволяет учесть на практике все нюансы, которые весьма существенно влияют на температурный режим работы КЛ [6]. Одним из решений указанной проблемы является мониторинг температуры кабеля во время работы. Таким образом, пропускная способность линий электропередачи зависит от температуры проводника.
Прогнозирование пропускной способности является важной областью исследования в электроэнергетике. Оно необходимо для решения практически всего спектра задач текущего планирования и оперативного управления режимами функционирования электроэнергетической системы (ЭЭС) [7, 8]. На его основе рассчитываются исходные и оптимальные электрические нагрузки ЭЭС, оценивается их надежность и безопасность электроснабжения. Точность прогноза нагрузок влияет на экономичность загрузки генерирующего оборудования, и, следовательно, на стоимость электроэнергии [9].
Обзор литературных источников показал, прогнозирование проводится в различных временных диапазонах, так как не существует точной классификации временных периодов прогнозирования [10]. В работе [7], например, временные диапазоны прогнозирования классифицируются следующим образом: в пределах текущих суток - оперативный прогноз; вперед на сутки-неделю- месяц - краткосрочный; на месяц-квартал-год - долгосрочный. К настоящему времени разработано большое число методов и моделей прогнозирования электрических нагрузок как традиционных, так и нетрадиционных. Традиционные статистические модели могут быть условно разделены на регрессионные модели и модели на основе временных рядов. С развитием теории новых информационных технологий в последнее десятилетие было предложено решение задачи прогнозирования нагрузки нетрадиционными методами, а именно, с использованием моделей на основе экспертных систем и искусственных нейронных сетей [4, 11-14]. Предпочтение таких моделей традиционным обусловлено тем, что не требуется построения модели объекта, не теряется работоспособность при неполной входной информации. Они обладают устойчивостью к помехам, имеют высокое быстродействие. Текущий анализ диагностических систем подтверждает, что имеется объективная научно-техническая проблема создания комплексных систем диагностирования, построенных на разносторонних принципах, дающих высокий уровень достоверности постановки диагноза и прогнозирования технического состояния КЛ.
В работе представлены результаты исследований прогнозирования пропускной способности кабельных электрических сетей с применением искусственных нейронных сетей как одних из наиболее совершенных и перспективных направлений решения данной задачи. Теоретический подход к рассмотренным вопросам сочетается с результатами экспериментальных исследований, проведенных с использованием примерного графика нагрузки энергосистемы.
Цели и задачи исследования. Температура высоковольтной кабельной линии является важным эксплуатационным и диагностическим параметром [2, 5, 15].
С одной стороны, она характеризует рабочую нагрузку КЛ, а с другой является признаком наличия и развития дефектов в изоляции. С повышением температуры существенно возрастает диффузия воды в полимеры, что снижает их механическую и электрическую прочность [16]. В процессе эксплуатации изоляция СКЛ подвергаются тепловым, электрическим, химическим, механическим и другим видам воздействий, в результате чего происходит изменение её электрических свойств и, как следствие, некоторые изменения претерпевают и технические характеристики изоляционных материалов [9]. Происходит старение изоляции, которое выражается в ухудшении её электрофизических характеристик. Возникает проблема определения механизма воздействия на изоляцию факторов, обусловленных действием тока нагрузки КЛ.
Перспективным направлением является создание инфраструктуры диагностирования неисправностей СКЛ, основанной на использовании искусственных нейронных сетей. Искусственные нейронные сети (ИНС) в задачах диагностирования и прогнозирования остаточного ресурса изоляционных материалов могут служить в роли подсистемы выборки и принятия решений, а затем отдавать полученные данные другим подсистемам управления.
Применение интеллектуальной системы управления приведет к повышению общей надежности энергосети и повышению энергоэффективности функционирования энергетического сектора, уменьшению влияния человеческого фактора и снижению аварийных ситуаций.
Задачей исследования являются разработка алгоритма интеллектуальной системы прогнозирования температуры жилы СКЛ для планирования режимов работы электросети с целью повышения надежности и энергоэффективности их взаимодействия с объединенной энергосистемой;
Целью исследования является повышение надежности и энергоэффективности распределенных энергосистем за счёт применения новых неразрушающих методов и алгоритмов мониторинга и диагностики ресурса СКЛ на базе искусственных нейронных сетей для краткосрочного и среднесрочного прогнозирования температурных режимов токоведущей жилы силовых кабельных линий.
Синтез конфигурации ИНС. Существует несколько десятков различных ней-росетевых архитектур, причем эффективность многих из них доказана математически. Для решения задач прогнозирования применяют следующие типы ИНС: линейную сеть, многослойный персептрон, сеть на радиальных базисных функциях, обобщенно-регрессионную сеть. Достоинством ИНС является возможность факторного прогнозирования. При этом сеть имеет Х входов, каждый из которых соответствует какому-либо фактору, оказывающему влияние на прогнозный параметр [5, 15, 16]. Подача на вход сети вместе предысторией температуры токоведущей жилы значимых факторов (величина тока жилы, температуры кабеля и др.) способствует повышению точности прогноза. При этом сеть сама определяет зависимости между факторами, корректируя свои параметры при обучении. Таким образом могут быть смоделированы достаточно сложные регрессионные зависимости.
Для эффективного решения задачи факторного прогнозирования необходимо производить выбор подходящей структуры для искусственной нейронной сети. Анализ методов искусственного интеллекта, предназначенных для решения задач факторного прогнозирования, показал, что могослойный персептрон может формировать на выходе произвольную многомерную функцию при соответствующем выборе количества слоев, диапазона изменения сигналов и параметров нейронов [17]. Для решения задачи с помощью ИНС необходимо выбрать конфигурацию нейронной сети и сформировать окружение, в котором будет работать данная нейронная сеть. Под формированием окружения понимается реализация следующих этапов:
♦ создание обучающего задачника;
♦ обучение нейронной сети;
♦ тестирование ИНС.
Для определения входных переменных нейронной сети при решении задач прогнозирования для прогнозирования температуры жилы СКЛ была использована модель, описывающая изменения во времени фактических значений температур, которая в общем виде представляется нелинейной функцией:
где Хt - фактическое значение температуры жилы в момент времени ^ t - текущее время; Х1-и - предшествующие наблюдения температуры жилы, Т-и - предшествующие наблюдения температуры окружающей среды; п - индекс ретроспективы данных; К - величина действующего тока (1шт < I < 1тах); ^ - случайная составляющая, представляющая ненаблюдаемые факторы, влияющие на температуры жилы.
Интеллектуальная система факторного прогнозирования. Многие нелинейные задачи не поддаются строгой формализации традиционными математическими методами [16]. В таких условиях, когда решение задачи аналитически в общем виде невозможно, оправдан нейросетевой подход, позволяющий обеспечить достаточно высокое качество выполнения задачи. В ряде работ, касающихся аппроксимации нелинейных функций, заложен математический базис нейросетевой теории, определяющий универсальные аппроксимирующие свойства нейронных сетей. В большинстве случаев аналитические модели диагностирования это нелинейные соотношения, затрудняющие формирование модели объекта диагностирования по моделям составляющих компонент. Формально высказывание об универсальных аппроксимационных свойствах нелинейности представляется в виде:
Оно утверждает, что с помощью линейных операций и каскадного соединения можно из произвольных нелинейных элементов получить любой требуемый результат с заранее заданной точностью. Здесь ^ - непрерывная функция; - функция, зависящая от F.
Выбор алгоритма обучения сети. Для решения задачи факторного прогнозирования ресурса кабельных линий необходимо выбрать алгоритм. Для обучения ИНС были рассмотрены различные алгоритмы [18]. Проводится сравнение алгоритмов обучения ИНС таких, как алгоритм обучения ИНС основанный на регуляризации Байеса. Суть данного алгоритма заключается в том, что изменение весов синаптических функций [19] прекращается при достижении наименьшей средне-квадратической ошибки. Обучение по данному алгоритму занимает больше времени по сравнению с алгоритмом Левенберга-Марквардта, но при этом достигается минимальная среднеквадратическая ошибка (порядка 2,02Е-05). Также при прогнозировании временных рядов, ошибка на тестовой выборке становится меньше, чем на обучающей.
Метод Ньютона-Гаусса - это итерационный численный метод нахождения решения задачи наименьших квадратов. Является разновидностью метода Ньютона. В общих чертах, этот метод использует матрицу Якобиана J производных первого порядка функции F для нахождения вектора х значений параметра, который минимизирует остаточные суммы квадратов (сумму квадратных отклонений предсказанных значений от наблюдаемых). В стандартном итерационном методе Ньютона на каждой итерации требуется вычисление и обращение матрицы Гесса, что
Yt = ^хг-и, и-и, N1) + а,
271+1
п
(1)
зачастую является достаточно сложным процессом. В методе Ньютона-Гаусса подобная необходимость отпадает, причем скорость сходимости также может достигать квадратичной, хотя вторые производные и не учитываются. Также данный метод прост в реализации и присутствует в большинстве программных пакетов по прикладной математике. Тем не менее, в методе Ньютона-Гаусса часто встречается ряд проблем в ситуации, когда член второго порядка значителен по своей величине, что приводит к некорректной работе и медленной сходимости.
Классический алгоритм обратного распространения ошибки использует метод градиентного спуска для подстройки весов после каждого обучающего примера и, таким образом, обеспечивается «движение» в многомерном пространстве весов [20]. Градиентный спуск - метод нахождения локального экстремума (минимума или максимума) функции с помощью движения вдоль градиента. Наиболее простой в реализации из всех методов локальной оптимизации. Имеет довольно слабые условия сходимости, но при этом скорость сходимости достаточно мала (линейна). Другими словами, данный алгоритм при движении по поверхности ошибки данный алгоритм учитывает лишь наклон поверхности ошибки (в точке нахождения). Если уклон сильный, то алгоритм делает большой шаг по поверхности ошибки. При слабом уклоне алгоритм движется более малыми шагами. По этой причине алгоритм может как бесконечно долго сходиться, так и застрять в локальном минимуме.
Кроме функции потерь градиентный спуск также требует градиент, который является dJ/dw (производная функции потерь относительно одного веса, выполненная для всех весов). dJ/dw зависит от вашего выбора функции потерь. Наиболее распространена функция потерь среднеквадратичной ошибки.
Производная этой функции относительно любого веса (эта формула показывает вычисление градиента для линейной регрессии):
Выбор функции повлияет на вычисление градиента каждого веса. Блок-схема алгоритма обучения искусственной нейронной сети представлена на рис. 1
(2)
(3)
Рис. 1. Блок-схема алгоритма обучения нейронной сети
Алгоритм обратного распространения ошибки учитывает структуру сети и позволяет отказаться от многократного вычисления откликов нейронов на каждом шаге градиентного метода оптимизации.
Использование метода обратного распространения ошибки для корректировки весовых коэффициентов позволяет отказаться от больших объемов вычислений, необходимых при прямом вычислении градиента, благодаря учету структуры нейронной сети и отказу от многократного вычисления откликов нейронов на каждом шаге градиентного метода оптимизации.
Таким образом, за конечное число шагов веса всех нейронов сети подстраиваются так, чтобы обеспечить минимальную ошибку обучения. Недостатком данного алгоритма является большая вероятность попадания в локальный минимум, медленная работа, а также заранее неизвестное число циклов обучения [21].
Алгоритм Левенберга-Марквардта. Существуют ускоренные алгоритмы обучения многослойных нейронных сетей, базирующиеся на вычислении матрицы Гессе вторых частных производных функции ошибки по настраиваемым параметрам. К таким алгоритмам относятся квазиньютовоские алгоритмы, алгоритм Ле-венберга-Маркарта и другие. Алгоритм Левенберга - Марквардта - метод оптимизации, направленный на решение задач о наименьших квадратах. Является альтернативой методу Гаусса-Ньютона [22]. Предполагается, что в качестве критерия оптимизации используется среднеквадратичная ошибка модели на обучающей выборке. Обучение сети прерывается в тот момент, когда перестает происходить ее уменьшение. Алгоритм заключается в последовательном приближении заданных начальных значений параметров к искомому локальному оптимуму [23]. Алгоритм отличается от метода сопряженных градиентов тем, что использует матрицу Якоби модели, а не градиент вектора параметров. От алгоритма Гаусса-Ньютона этот алгоритм отличается тем, что использует параметр регуляризации [24]. К достоинствам данного алгоритма обучения ИНС можно отнести быстроту обучения и достаточно низкую среднеквадратическую ошибку, которая составляет порядка 3,35Е-05.
В работе [25] описан алгоритм и программная реализация адаптивного метода обучения искусственных нейронных сетей, а в [26] алгоритм и программная реализация гибридного метода обучения искусственных нейронных сетей.
Таким образом, для решения поставленной задачи прогнозирования термических процессов в СКЛ выбор сделан в пользу алгоритма Ливенберга-Марквардта, т. к. данный алгоритм обеспечивает необходимую точность прогноза, а также обладает меньшим количеством необходимых вычислительных операций по сравнению с традиционными методами.
Описание алгоритма и подстройки весовых коэффициентов. Для решения задачи факторного прогнозирования термических процессов кабельных линий выбран алгоритм обратного распространения ошибки, рис 2. На первой стадии происходит инициализация весов малыми случайными значениями (шаг 1). Обучение предполагается управляемым, поскольку с каждым входным образцом из обучающей выборки связывается целевой выходной образец обучающей выборки (шаг 2). Обучение происходит до тех пор, пока изменение усредненной квадратичной ошибки не окажется меньше некоторого допустимого значения при переходе от одной эпохи к следующей (шаги 3, 4). Если в процессе обучения наступает момент, когда ошибка попадает в рамки допустимых значений (шаги 5-8), говорят, что наблюдается сходимость.
Д и^ (п + 1) = гф)01 + аДи^ (п) .
Другим критерием окончания обучения можно считать наступление момента, когда выход для каждого обучающего образца оказывается в рамках допустимого отклонения от соответствующего целевого выходного образца. Чтобы уменьшить
вероятность того, что изменения весов приобретут осциллирующий характер, вводится инерционный член (а), добавляемый в пропорции, соответствующей предыдущему изменению веса (шаг 8):
Таким образом изменение веса на шаге п +1 оказывается зависящим от веса на шаге п.
Рис. 2. Алгоритм определения и подстройки весовых коэффициентов V(ij), Ж0',к) в нейронных связях
Метод обратного распространения ошибки. Нейронная сеть имеет п входов и п нейронов распределительного слоя, L нейронов скрытого слоя и т выходных нейронов [3]. Используются две матрицы весов: скрытого слоя V размером ixj и выходного слоя w размером j хк. Кроме этого, с каждым слоем нейронов связан массив порогов: Q - для скрытого слоя, Т - для выходного. Эти данные представляют собой знания сети, настраиваемые в процессе обучения и определяющие ее поведение [2].
Прямой ход алгоритма обратного распространения ошибки в процессе обучения описывается в виде:
8у = /Е ^+^); у* = / Е + Т), (4)
где gj - выходной сигнал нейронов скрытого слоя, ук - выходной сигнал нейронов выходного слоя.
Обратный ход алгоритма обратного распространения ошибки запишется в следующем виде:
Изменение весовых коэффициентов и порогов нейронной сети происходит по следующим формулам:
+ 1 = ¡Л>) + аъ¡§01 Т'(1+1} = Т'{,)+"гТ^ <5)
Мерой ошибки в обучающих алгоритмах выбирают среднеквадратичную ошибку Е. Она определяется как сумма квадратов между экспериментальным значением температур - у[ и значением полученным нейросетью - ук, для каждого примера Х(п,т).
т
Е=1 XУ - ук)2' (6) 2 к=1
где у Г - экспериментальные значения температур; ук - значения, полученные на сети.
Ошибка к-го нейрона выходного слоя определяется как:
дЕ
лк = ук -Ук . (7)
ЪУк
Выразим производные из формул (5) через легко вычисляемые величины. Определим взвешенную сумму, аргумент функции активации как:
к
^ =Е+ Тк . (8)
3 =1
Из первого соотношения (5), дЕ/можно представить как:
(9)
ЪЕ ЪЕ дук ЗБк
^ к дУк к д^зк
где дЕ/дук = = уГ - ук,- ошибка к-го нейрона; дук /дБк = Г )' - производная функция активации; д^/д^к = ^ , - значение]-го нейрона предыдущего слоя. Получаем
дЕ = Лк/(Бк)£,. (Ю)
к
Аналогично (9), с учетом того, что д8к /дТк = 1, получаем
а^= . (П)
дТк дук дБ к дТк и ( к)
Корректировка весов и пороги скрытого слоя производится также по выражениям (5), с учетом (10). Определение ошибки нейрона скрытого слоя является трудной задачей.
Явное вычисление ошибки по формуле, аналогичной (7), невозможно. Ее расчет возможен через ошибки нейронов выходного слоя, что и обусловило название алгоритма обратного распространения ошибки:
«j (12)
j dgj tt dyk dSk dgj tl j
В результате работы программы выдается значение ошибки (рис. 3). Анализ результатов обработки средней ошибки обучения, одного из образцов кабеля, показал уменьшение среднего значения ошибки на 72 %, до уровня 0,4.
Матрица весовых коэффициентов (ES.in) представляет собой значения весов межну входными нейронами и скрытым слоем нейронов, и матрица весовых коэффициентов (ES.out), которая представляет из себя значения весов межну нейронами скрытого слоя и выходным нейроном, представлены ниже.
ES.in =
V V
Ml 12
VV
V 21 V 22
VV
'11 ' n
К
ij
V2J
va
ES.out = [[ Wn
W„
Для корректировки и минимизации среднеквадратичной ошибки необходимо произвести подбор значений в матрице весовых значений, которая представляет из себя значения весов межну входными нейронами и скрытым слоем нейронов. Количество строк определяет число входных переменных, а количество столбцов определяет число нейронов в скрытом слое.
Для корректирвки и минимизации среднеквадратичной ошибки необходимо произвести подстройку матрицы весов с помощью минимизации
среднеквадратичной ошибки Еа выполняется с помощью итерирования по
эпохам обучения в соотвествии с алгоритмом обратного распространения ошибки по формуле [3]:
ls+i s м
'dEs
dl
+ v(ls +ls-i),
(13)
s У
где ц, V - параметры алгоритма, определяющие скорость и устойчивость итерационного процесса обучения. Величина Градиента - ЗЕ5, при
нахождении глобального минимума гиперповерхности ошибки Е определяет
направление спуска (метод градиентного спуска) на пути к глобальному минимуму, результатом которого будут новые очередные значения коэффициенты
матрицы . График ошибки прогнозируемой температуры жилы представлен
на рис. 3.
Рис. 3. График ошибки прогнозируемой температуры жилы
В результате работы программы выдается значение ошибки. Анализ показал уменьшение ошибки уже на 27 шаге в 6,7 раз (на 85 %).
Таким образом, алгоритм обратного распространения ошибки учитывает структуру сети и позволяет отказаться от многократного вычисления откликов нейронов на каждом шаге градиентного метода оптимизации. Использование метода обратного распространения ошибки для корректировки весовых коэффициентов позволяет отказаться от больших объемов вычислений, необходимых при прямом вычислении градиента, благодаря учету структуры нейронной сети и отказу от многократного вычисления откликов нейронов на каждом шаге градиентного метода оптимизации.
Экспериментальные исследования. Цель исследования заключается в нахождении таких значений весовых коэффициентов, при которых ошибка функционирования сети была бы минимальной. На каждой эпохе на вход сети поочередно подается все обучающие наблюдения Х(п, т), выходные значения сети сравниваются с целевыми значениям (1жД), и вычисляется ошибка. Значение ошибки, а также градиента поверхности ошибок используются для корректировки весов V(ij), W(j,k), после чего все действия повторяются. После расчета градиентных спусков в пространстве весов Wji и Wkj и их корректировки вычисляется суммарная ошибка по всем образцам и производится проверка выполнения условия точности расчетов. В случае выполнения условия точности расчетов процесс обучения заканчивается, в противном случае - процесс обучения повторяется. Опасность метода кроется в том, что таким образом мы минимизируем ошибку на обучающем множестве, и это не то же самое что минимизировать «настоящую» ошибку на поверхности ошибок. Сильнее всего это различие сказывается в проблеме переобучения, или излишней подгонки. Важно отметить, что вся информация, которую нейронная сеть имеет о задаче прогнозирования, содержится в наборе примеров. Поэтому качество обучения нейронной сети напрямую зависит от количества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают данную задачу. В работе для полноценной тренировки нейронной сети использовалось по каждому исследуемому образцу двадцать примеров в каждом по четыреста значений.
Обучение происходит следующим образом. Имеется некоторая база данных (задачник), содержащая примеры (величины тока жилы СКЛ (1ж), температуры внешней изоляции 9з.о и температуры окружающей среды 9о.с, рис. 4). Предъявляя их на вход нейронной сети, получаем от нее некоторый ответ, не обязательно верный. Известен и верный (желаемый) ответ. Вычисляя разность между желаемым и реальным ответами сети, получаем вектор ошибки.
Проведен сравнительный анализ точности обучения при различных алгоритмах обучения, табл. 1.
Таблица 1
Обучение НС
Алгоритм обучения нейронной сети Средняя ошибка прогноза, при 80% выборки
е, °С е, %
Ливенберга-Марквардта 0.87 2.2%
Байесова регуляризация 1.6 4.21%
Градиентного спуска 2.13 5.6%
-Бай есова регуляризация
--- Лнве-ноерг-Марквардг
----Градиентный спуас Эксперимент
Номер замера
Рис. 4. Сравнение графиков прогнозирования температуры жилы в зависимости
от алгоритма обучения
Заключение. Показано, что из рассмотренных алгоритмов обучения НС для решения задачи прогнозирования ресурса СКЛ, самую высокую точность имеет Ливенберга-Марквардта. Оптимизация по минимальной ошибке. Установлено, что минимум ошибки прогнозирования термических процессов в силовых кабельных сетях является НС с функцией активации: logsig - в скрытом слое и, purelin - в выходном слое. Для решения задачи прогнозирования ресурса СКЛ была выбрана сеть с прямым распространением данных и обратного распространения ошибки, т.к. сети такого типа в совокупности с активационной функцией являются в некоторой степени универсальной структурой для многих задач аппроксимации, приближения и прогнозирования. Сеть обучается каждый раз «с нуля», весовые коэффициенты полученные при первичном обучении сети не используются для повторного обучения. Использование метода обратного распространения ошибки для корректировки весовых коэффициентов позволяет отказаться от больших объемов вычислений, необходимых при прямом вычислении градиента, благодаря учету структуры нейронной сети и отказу от многократного вычисления откликов нейронов на каждом шаге градиентного метода оптимизации.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Anders G.J. Rating of Cables on Riser Poles, in Trays, in Tunnels and Shafts - a Review // IEEE Transactions on Power Delivery. - 1996. - Vol. 11, No. 1.
2. Полуянович Н.К., Азаров Н.В., Огреничев А.В., Дубяго М.Н., Шурыкин А.А. Синтез ней-росетевой модели для прогнозирования термических процессов электроизоляционных материалов силовых кабелей // Инженерный вестник Дона. - 2020. - № 4 (64). - С. 12.
3. Полуянович Н.К, Дубяго М.Н. Прогнозирование ресурса кабельных линий с использованием метода искусственных нейронных сетей // Известия ЮФУ. Технические науки.
- 2019. - № 3. - С. 51-62.
4. Poluyanovich N.K., Dubyago M.N., Shurykin A.A., Burkov D.V. Estimation of partial discharge energy in a mathematical model of thermal fluctuation processes of a power cable. - Ufa: USATU, 2019. - 642 p.
5. Дубяго М.Н., Полуянович Н.К. Термодинамический способ выявления деструкции изоляции в задачах диагностики и прогнозирования ресурса кабельных систем // Инженерный вестник Дона. - 2017. - № 3 (46). - С. 25.
6. Prime J.B., Valdes J.G. Systems to Monitor the Cconductor Temperature of Underground Cable // IEEE Transactions on Power Apparatus and Systems. - 1981. - Vol. PAS-100.
- No. 1. - P. 211-219.
7. Меламед М.А. Современные методы анализа и прогнозирования режимов электропотребления в электроэнергетических системах // Итоги науки и техники. Серия Энергетические системы и их автоматизация. - 1988. - Т. 4. - С. 4-111.
8. Anders G.J., Napieralski A., Orlikowski M., Zubert M. Advanced Modeling Techniques for Dynamic Feeder Rating Systems // IEEE Transactions on Industry Applications. - 2003.
- Vol. 39, No. 3. - P. 619-626.
9. Chen S.T., David C.Y., Moghaddamjo A.R. Weather sensitive short-term load forecasting using non fully connected artificial neural network // IEEE Trans. on Power Systems.
- 1992. - Vol. 7, No. 3. - P. 1098-1105.
10. Торопов А.С., Туликов А.Н. Прогнозирование почасового электропотребления региональной энергосистемы с использованием искусственных нейронных сетей // Вестник ИрГТУ. - 2017. - Т. 21, № 5.
11. Dash P.K., Ramakrishna G., Liew A.C., Rahman S. Fuzzy neural networks for time-series forecasting of electric load // IEE Proc. - Gener. Transm. Distrib. - 1995. - Vol. 142, No. 5.
- P. 535- 544
12. Hsy Y., Ho K. Fuzzy expert systems: An application to short term load forecasting // IEE Proceedings - C. - 1992. - Vol. 139, No. 6. - P. 471-477.
13. Lee K.Y., Park J.H. Short-term load forecasting using an artificial neural network // IEEE Trans. on Power Systems. - 1992. - Vol. 7, No. 1. - P.124-130.
14. Peng T.M., Hubele N.F., Karady G.G. An adaptive neural network approach to one - week aheard load forecasting // IEEE Trans. on Power Systems. - 1993. - Vol. 8, No. 3.
- P. 1195-1201.
15. Дубяго М.Н., Полуянович Н.К., Пшихопов В.Х. Метод исследования термофлуктуацион-ных процессов в задачах диагностики и прогнозирования изоляционных материалов // Вестник Донского государственного технического университета. - 2017. - Т. 17, № 3 (90). - С. 117-127.
16. Андреев А.М., Канискин В.А., Полонский Ю.А. Исследование строения электроизоляционных материалов силовых кабелей и конденсаторов // Электричество. - 1999.
- № 1. - С. 39-44.
17. Пучков Е.В. Сравнительный анализ алгоритмов обучения искусственной нейронной сети // Инженерный вестник Дона. - 2013. - № 4. - URL: ivdon.ru/ru /magazine/archive/n4y2013/2135.
18. Poluyanovich, N.K., Dubyago, M.N., Azarov, N.V., Ogrenichev, A.V., Shurykin, A.A. Multifac-tor Model for Forecasting Thermal Processes in the Insulating Materials of Cable Lines // International Multi-Conference on Industrial Engineering and Modern Technologies, FarEastCon 2020. - Doi: 10.1109/FarEastCon50210.2020.9271367.
19. Лавров Ю.А Кабели 6-35 кВ с пластмассовой изоляцией // Новости электротехники. - 2007.
- № 1.
20. Грешняков Г.В. Цепно-полевой подход к оценке нагрузочной способности кабельных систем // Cabex 2014: Международная выставка кабельно-проводниковой продукции. Новые разработки в области кабельных изделий и материалов: семинар. - М., 2014. - 17 с. - Режим доступа: http://www.cabex.ru/ru-RU/home/press/news/18513.aspx (дата обращения: 12.03.2020).
21. Поляк Б. Т. Метод Ньютона и его роль в оптимизации и вычислительной математике // Тр. Института Системного Анализа Российской Академии Наук. - 2006. - Т. 28. - С. 44-62.
22. Алгоритм Левенберга-Марквардта. - URL http://www.machinelearning.ru (дата обращения: 21.09.2019).
23. Борисов Е.С. О методах обучения многослойных нейронных сетей прямого распространения. Ч. 3. Градиентные методы второго порядка. - http://mechanoid.kiev.ua (дата обращения: 18.09.2019).
24. Лила В.Б. Алгоритм и программная реализация адаптивного метода обучения искусственных нейронных сетей // Инженерный вестник Дона. - 2012. - № 1. - Режим доступа: http://ivdon.ru/magazine /archive/n1y2012/626 (доступ свободный).
25. Белявский Г.И., Пучков Е.В., Лила В.Б. Алгоритм и программная реализация гибридного метода обучения искусственных нейронных сетей // Программные продукты и системы. - 2012. - № 4. - С. 96-100.
26. Галушка В.В., Фахти В.А. Формирование обучающей выборки при использовании искусственных нейронных сетей в задачах поиска ошибок баз данных // Инженерный вестник Дона. - 2013. - № 2. - URL: ivdon.ru/ru/magazine/archive/n2y2013/1597/.
REFERENCES
1. Anders G.J. Rating of Cables on Riser Poles, in Trays, in Tunnels and Shafts - a Review, IEEE Transactions on Power Delivery, 1996, Vol. 11, No. 1.
2. Poluyanovich N.K., Azarov N.V., Ogrenichev A.V., Dubyago M.N., Shurykin A.A. Sintez neyrosetevoy modeli dlya prognozirovaniya termicheskikh protsessov elektroizolyatsionnykh materialov silovykh kabeley [Synthesis of a neural network model for predicting thermal processes of electrical insulation materials of power cables], Inzhenernyy vestnikDona [Engineering Bulletin of the Don], 2020, No. 4 (64), pp. 12.
3. Poluyanovich N.K, Dubyago M.N. Prognozirovanie resursa kabel'nykh liniy s ispol'zovaniem metoda iskusstvennykh neyronnykh setey [Predicting the resource of cable lines using the method of artificial neural networks], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2019, No. 3, pp. 51-62.
4. Poluyanovich N.K., Dubyago M.N., Shurykin A.A., Burkov D.V. Estimation of partial discharge energy in a mathematical model of thermal fluctuation processes of a power cable. Ufa: USATU, 2019, 642 p.
5. Dubyago M.N., Poluyanovich N.K. Termodinamicheskiy sposob vyyavleniya destruktsii izolyatsii v zadachakh diagnostiki i prognozirovaniya resursa kabel'nykh sistem [Thermody-namic method for detecting insulation degradation in problems of diagnostics and forecasting of cable systems resource], Inzhenernyy vestnik Dona [Engineering Bulletin of the Don], 2017, No. 3 (46), pp. 25.
6. Prime J.B., Valdes J.G. Systems to Monitor the Cconductor Temperature of Underground Cable, IEEE Transactions on Power Apparatus and Systems, 1981, Vol. PAS-100, No. 1, pp. 211-219.
7. Melamed M.A. Sovremennye metody analiza i prognozirovaniya rezhimov elektropotrebleniya v elektroenergeticheskikh sistemakh [Modern methods of analysis and forecasting of power consumption modes in electric power systems], Itogi nauki i tekhniki. Seriya Energeticheskie sistemy i ikh avtomatizatsiya [Results of science and technology. Energy Systems and their Automation series], 1988, Vol. 4, pp. 4-111.
8. Anders G.J., Napieralski A., Orlikowski M., Zubert M. Advanced Modeling Techniques for Dynamic Feeder Rating Systems, IEEE Transactions on Industry Applications, 2003, Vol. 39, No. 3, pp. 619-626.
9. Chen S.T., David C.Y., Moghaddamjo A.R. Weather sensitive short-term load forecasting using non fully connected artificial neural network, IEEE Trans. on Power Systems, 1992, Vol. 7, No. 3, pp. 1098-1105.
10. Toropov A.S., Tulikov A.N. Prognozirovanie pochasovogo elektropotrebleniya regional'noy energosistemy s ispol'zovaniem iskusstvennykh neyronnykh setey [Forecasting the hourly power consumption of a regional power system using artificial neural networks], Vestnik IrGTU [Vestnik IrSTU], 2017, Vol. 21, No. 5.
11. Dash P.K., Ramakrishna G., Liew A.C., Rahman S. Fuzzy neural networks for time-series forecasting of electric load, IEE Proc. - Gener. Transm. Distrib., 1995, Vol. 142, No. 5, pp. 535- 544
12. Hsy Y., Ho K. Fuzzy expert systems: An application to short term load forecasting, IEE Proceedings - C, 1992, Vol. 139, No. 6, pp. 471-477.
13. Lee K.Y., Park J.H. Short-term load forecasting using an artificial neural network, IEEE Trans. on Power Systems, 1992, Vol. 7, No. 1, pp.124-130.
14. Peng T.M., Hubele N.F., Karady G.G. An adaptive neural network approach to one - week aheard load forecasting, IEEE Trans. on Power Systems, 1993, Vol. 8, No. 3, pp. 1195-1201.
15. DubyagoM.N., Poluyanovich N.K., Pshikhopov V.Kh. Metod issledovaniya termofluktuatsion-nykh protsessov v zadachakh diagnostiki i prognozirovaniya izolyatsionnykh materialov [Method of research of thermofluctuation processes in problems of diagnostics and forecasting of insulating materials], Vestnik Donskogo gosudarstvennogo tekhnicheskogo universiteta [Vestnik Donskogo gosudarstvennogo tekhnicheskogo universiteta], 2017, Vol. 17, No. 3 (90), pp. 117-127.
16. Andreev A.M., Kaniskin V.A., Polonskiy Yu.A. Issledovanie stroeniya elektroizolyatsionnykh materialov silovykh kabeley i kondensatorov [Investigation of the structure of electrical insulation materials of power cables and capacitors], Elektrichestvo [Electricity], 1999, No. 1, pp. 39-44.
17. Puchkov E.V.Sravnitel'nyy analiz algoritmov obucheniya iskusstvennoy neyronnoy seti [Comparative analysis of artificial neural network training algorithms], Inzhenernyy vestnik Dona [Engineering Bulletin of the Don], 2013, No. 4. Available at: ivdon.ru/ru /magazine/archive/n4y2013/2135.
18. Poluyanovich, N.K., Dubyago, M.N., Azarov, N.V., Ogrenichev, A.V., Shurykin, A.A. Multifac-tor Model for Forecasting Thermal Processes in the Insulating Materials of Cable Lines, International Multi-Conference on Industrial Engineering and Modern Technologies, FarEastCon 2020. Doi: 10.1109/FarEastCon50210.2020.9271367.
19. Lavrov Yu.A. Kabeli 6-35 kV s plastmassovoy izolyatsiey [Cables of 6-35 kV with plastic insulation], Novosti elektrotekhniki [News of electrical engineering], 2007, No. 1.
20. Greshnyakov G.V. Tsepno-polevoy podkhod k otsenke nagruzochnoy sposobnosti kabel'nykh sistem [Chain-field approach to assessing the load capacity of cable systems], Cabex 2014: Mezhdunarodnaya vystavka kabel'no-provodnikovoy produktsii. Novye razrabotki v oblasti kabel'nykh izdeliy i materialov: seminar [Cabex 2014: International Exhibition of Cable and Wire Products. New developments in the field of cable products and materials: seminar]. Moscow, 2014, 17 p. Available at: http://www.cabex.ru/ru-RU/home/press/news/18513.aspx (accessed 12 March 2020).
21. Polyak B.T. Metod N'yutona i ego rol' v optimizatsii i vychislitel'noy matematike [The Newton method and its role in optimization and computational mathematics], Tr. Instituta Sistemnogo Analiza Rossiyskoy Akademii Nauk [Proceedings of the Institute of System Analysis of the Russian Academy of Sciences], 2006, Vol. 28, pp. 44-62.
22. Algoritm Levenberga-Markvardta [The Levenberg-Marquardt algorithm]. Available at: http://www.machinelearning.ru (accessed 21 September 2019).
23. Borisov E.S. O metodakh obucheniya mnogosloynykh neyronnykh setey pryamogo rasprostraneniya. Ch. 3. Gradientnye metody vtorogo poryadka [On methods of training multilayer neural networks of direct propagation. Part 3. Gradient methods of the second order]. Available at: http://mechanoid.kiev.ua (accessed 21 September 2019).
24. Lila V.B. Algoritm i programmnaya realizatsiya adaptivnogo metoda obucheniya iskusstvennykh neyronnykh setey [Algorithm and software implementation of adaptive training method for artificial neural networks], Inzhenernyy vestnik Dona [Engineering Bulletin of the Don], 2012, No. 1. Available at: http://ivdon.ru/magazine /archive/n1y2012/626 (access is free).
25. Belyavskiy G.I., Puchkov E.V., Lila V.B. Algoritm i programmnaya realizatsiya gibridnogo metoda obucheniya iskusstvennykh neyronnykh setey [Algorithm and software implementation of the hybrid method of training artificial neural networks], Programmnye produkty i sistemy [Software products and systems], 2012, No. 4, pp. 96-100.
26. Galushka V.V., Fakhti V.A. Formirovanie obuchayushchey vyborki pri ispol'zovanii iskusstvennykh neyronnykh setey v zadachakh poiska oshibok baz dannykh [Formation of a training sample when using artificial neural networks in problems of searching for database errors], Inzhenernyy vestnik Dona [Engineering Bulletin of the Don], 2013, No. 2. Available at: ivdon.ru/ru/magazine/archive/n2y2013/1597/.
Статью рекомендовала к опубликованию к.т.н., доцент М.Г. Левина.
Полуянович Николай Константинович - Южный федеральный университет; e-mail: nik1-
58@mail.ru; г. Таганрог, Россия; тел.: 89185693365; кафедра электротехники и мехатроники.
Дубяго Марина Николаевна - e-mail: w_m88@mail.ru; тел.: 89281758225; кафедра электротехники и мехатроники; аспирант.
Poluyanovich Nikolay Konstantinovich - Southern Federal University; e-mail: nik1-58@mail.ru;
Taganrog, Russia; phone: +79185693365; the department of electric technics and mechatronics.
Dubyago Marina Nikolaevna - e-mail: w_m88@mail.ru; phone: +79281758225; the department
of electrical engineering and mechatronics; graduate student.
