Научная статья на тему 'ПОВЫШЕНИЕ КАЧЕСТВА КРАТКОСРОЧНОГО ПРОГНОЗИРОВАНИЯ ЭЛЕКТРОПОТРЕБЛЕНИЯ ГРУППЫ ТОЧЕК ПОСТАВКИ ЭЛЕКТРОЭНЕРГИИ СЕЛЬХОЗПРОИЗВОДИТЕЛЕЙ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ'

ПОВЫШЕНИЕ КАЧЕСТВА КРАТКОСРОЧНОГО ПРОГНОЗИРОВАНИЯ ЭЛЕКТРОПОТРЕБЛЕНИЯ ГРУППЫ ТОЧЕК ПОСТАВКИ ЭЛЕКТРОЭНЕРГИИ СЕЛЬХОЗПРОИЗВОДИТЕЛЕЙ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
126
30
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ПРОГНОЗИРОВАНИЕ / ГИПЕРПАРАМЕТРЫ / ОПТОВЫЙ РЫНОК ЭЛЕКТРОЭНЕРГИИ И МОЩНОСТИ / ЭЛЕКТРИЧЕСКАЯ НАГРУЗКА / ФАКТОРЫ / ГРУППА ТОЧЕК ПОСТАВКИ ЭЛЕКТРОЭНЕРГИИ / ИСКУССТВЕННАЯ НЕЙРОННАЯ СЕТЬ / ПАРАДИГМА ОБУЧЕНИЯ / АЛГОРИТМ ОБУЧЕНИЯ / ГРАДИЕНТНЫЙ СПУСК / ПОВЕРХНОСТЬ ОШИБКИ / ГЛОБАЛЬНЫЙ МИНИМУМ / FORECASTING / HYPERPARAMETER / WHOLESALE ELECTRICITY MARKET / ELECTRIC LOAD / FACTORS / DELIVERY POINT CLUSTER / ARTIFICIAL NEURAL NETWORK / LEARNING PARADIGM / LEARNING ALGORITHM / GRADIENT DESCENT / ERROR SURFACE / GLOBAL MINIMUM

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Хомутов Станислав Олегович, Серебряков Николай Александрович

В настоящее время проблема прогнозирования потребления электроэнергии стала значительно актуальнее. От точности краткосрочного прогноза электропотребления зависят как финансовые результаты участников оптового рынка электроэнергии и мощности, так и надежность функционирования электроэнергетической системы. Для прогнозирования временного ряда почасового потребления электроэнергии с высокой точностью необходимо учитывать множество влияющих факторов. Поэтому данная задача относится к слабо формализуемым. Современный уровень развития информационных технологий позволяет использовать искусственные нейронные сети (ИНС) для решения подобных задач. Настоящая статья посвящена проблеме повышения качества краткосрочного прогнозирования почасового электропотребления группы точек поставки электроэнергии гарантирующего поставщика, включающих крупных сельхозпроизводителей, с помощью ИНС. Рассмотрены вопросы выбора парадигмы обучения, оптимальной архитектуры и алгоритма обучения нейронной сети. Определено оптимальное количество и размер скрытых слоев многослойного персептрона с помощью правила геометрической пирамиды. Исследована степень влияния скорости обучения и момента инерции на способность нейронной сети к поиску глобального минимума на поверхности ошибки в пространстве свободных параметров сети. Произведено теоретическое и практическое обоснование применения адаптивных в процессе обучения параметров скорости обучения и момента инерции. Рассмотрены основные техники борьбы с переобучением нейронных сетей. Проанализировано увеличение вычислительной эффективности ансамбля искусственных нейронных сетей по сравнению с единичной сетью большего размера. Рассмотрены вопросы кодировки факторного пространства, а также предварительной обработки и масштабирования исходных данных, предназначенных для обучения и тестирования нейронной сети. Рассмотрена практическая реализация ИНС различной архитектуры и конфигурации с помощью современных средств машинного обучения на языке программирования Python 3.6. Произведен сравнительный анализ точности прогнозирования почасовых объемов электропотребления группы точек поставки электроэнергии, полученного с помощью ИНС и метода экспертных оценок.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Хомутов Станислав Олегович, Серебряков Николай Александрович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

INCREASING THE QUALITY OF SHORT-TERM LOAD FORECASTING OF THE DELIVERY POINT CLUSTER OF AGRICULTURAL PRODUCERS WITH A LEARNING MACHINE

Currently, the problem of power consumption forecasting has become much more urgent. The accuracy of the short-term load forecasting depends on the financial results of the wholesale electricity market members and the power system safety. It is necessary to consider many factors for forecasting of hourly electric load time series with high accuracy. Therefore, this task is non-formalizable. The modern level of information technology allows the use of artificial neural networks (ANN) for solution such problems. This article deals with the problem of improving the quality of short-term load forecasting of the delivery point cluster of a guaranteeing provider including large agricultural producers with the help of ANN. The questions of choosing the learning paradigm, an optimal architecture and a learning algorithm of the neural network are considered. The optimal number and size of hidden layers of a multilayer perceptron is determined by means of the geometric pyramid rule. The influence of the learning rate and the momentum rate on the neural network ability to search a global minimum on the error surface in the space of free parameters is investigated. The use of adaptive learning and momentum rate parameters in the learning process has been justified. The main techniques of overcoming the overtraining of neural networks are considered. An increase in the computational efficiency of the ANN ensemble is analyzed. The problems of coding the factor space, as well as preliminary processing and scaling of training and testing data are considered. The practical implementation of ANNs of various architectures and configurations with the help of the machine learning library in Python 3.6 is considered. A comparative analysis of the accuracy of short-term load forecasting of a delivery point cluster, which is obtained with help of neural network and the Delphi method, is made.

Текст научной работы на тему «ПОВЫШЕНИЕ КАЧЕСТВА КРАТКОСРОЧНОГО ПРОГНОЗИРОВАНИЯ ЭЛЕКТРОПОТРЕБЛЕНИЯ ГРУППЫ ТОЧЕК ПОСТАВКИ ЭЛЕКТРОЭНЕРГИИ СЕЛЬХОЗПРОИЗВОДИТЕЛЕЙ С ПОМОЩЬЮ ИНСТРУМЕНТОВ МАШИННОГО ОБУЧЕНИЯ»

ISSN 1814-1196 Научный вестник НГТУ том 76, № 3, 2019, с. 149-168

http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 76, No. 3, 2019, pp. 149-168

ЭНЕРГЕТИКА POWER ENGINEERING

УДК 621.316.72 DOI: 10.17212/1814-1196-2019-3-149-168

Повышение качества краткосрочного прогнозирования электропотребления группы точек поставки электроэнергии сельхозпроизводителей с помощью инструментов машинного обучения

СО. ХОМУТОВ", Н.А. СЕРЕБРЯКОВ4

656038, РФ, г. Барнаул, пр. Ленина, 46, Алтайский государственный технический университет им. И.И. Ползунова

ahomutov.so@yandex.ru b na_serebryakov@altke.ru

В настоящее время проблема прогнозирования потребления электроэнергии стала значительно актуальнее. От точности краткосрочного прогноза электропотребления зависят как финансовые результаты участников оптового рынка электроэнергии и мощности, так и надежность функционирования электроэнергетической системы. Для прогнозирования временного ряда почасового потребления электроэнергии с высокой точностью необходимо учитывать множество влияющих факторов. Поэтому данная задача относится к слабо формализуемым. Современный уровень развития информационных технологий позволяет использовать искусственные нейронные сети (ИНС) для решения подобных задач.

Настоящая статья посвящена проблеме повышения качества краткосрочного прогнозирования почасового электропотребления группы точек поставки электроэнергии гарантирующего поставщика, включающих крупных сельхозпроизводителей, с помощью ИНС. Рассмотрены вопросы выбора парадигмы обучения, оптимальной архитектуры и алгоритма обучения нейронной сети. Определено оптимальное количество и размер скрытых слоев многослойного персептрона с помощью правила геометрической пирамиды. Исследована степень влияния скорости обучения и момента инерции на способность нейронной сети к поиску глобального минимума на поверхности ошибки в пространстве свободных параметров сети. Произведено теоретическое и практическое обоснование применения адаптивных в процессе обучения параметров скорости обучения и момента инерции. Рассмотрены основные техники борьбы с переобучением нейронных сетей. Проанализировано увеличение вычислительной эффективности ансамбля искусственных нейронных сетей по сравнению с единичной сетью большего размера. Рассмотрены вопросы кодировки факторного пространства, а также предварительной обработки и масштабирования исходных данных, предназначенных для обучения и тестирования нейронной сети. Рассмотрена практическая реализация ИНС различной архитектуры и конфигурации с помощью современных средств машинного обучения на языке программирования Python 3.6. Произведен сравнительный анализ точности прогнозирования почасовых объемов электропотребления группы точек поставки электроэнергии, полученного с помощью ИНС и метода экспертных оценок.

Статья получена 12 апреля 2019 г.

Ключевые слова: прогнозирование, гиперпараметры, оптовый рынок электроэнергии и мощности, электрическая нагрузка, факторы, группа точек поставки электроэнергии, искусственная нейронная сеть, парадигма обучения, алгоритм обучения, градиентный спуск, поверхность ошибки, глобальный минимум

ВВЕДЕНИЕ

Проблема краткосрочного прогнозирования электропотребления (short term load forecasting - STLF) стала значительно острее с появлением в России оптового рынка электроэнергии и мощности (ОРЭМ). В настоящее время большая часть объемов электроэнергии торгуется на спотовых рынках: «рынок на сутки вперед» (РСВ) и «балансирующий рынок» (БР). Согласно Правилам ОРЭМ, покупка электроэнергии на РСВ предполагает прогнозирование собственного почасового потребления на следующие сутки. На основании прогнозов потребителей электроэнергии на ОРЭМ системный оператор планирует режим работы энергетической системы:

- загружает наиболее дешевую генерацию, которая удовлетворит спрос на электроэнергию;

- выбирает оптимальную схему электрических сетей, обеспечивая необходимую надежность работы энергосистемы при минимизации потерь электроэнергии в сетевом оборудовании.

Качественный прогноз объемов потребления электроэнергии «на сутки вперед» позволяет снизить потребление первичных энергоресурсов, таких как уголь, газ, мазут, за счет минимизации числа необоснованных пусков и остановов генерирующего оборудования. Таким образом, для обеспечения устойчивой работы электроэнергетической системы актуальна задача краткосрочного прогнозирования электропотребления с дискретностью 1 час [1].

Объемы отклонений фактического потребления электроэнергии от прогнозного торгуются на БР. Цена электроэнергии на БР складывается так, чтобы стимулировать потребителей придерживаться собственного прогноза: объемы превышения фактического потребления электроэнергии над плановым покупаются по более высокой цене, а объемы превышения планового потребления над фактическим продаются по более низкой цене. То есть торговля электроэнергией на «балансирующем рынке» влечет за собой убытки от упущенной выгоды для гарантирующих поставщиков.

Также величина отклонений фактического потребления от планового, зависящая от точности прогнозирования, влияет на размер стоимостного небаланса БР, распределяемого на всех покупателей на ОРЭМ, и в частности на гарантирующих поставщиков (ГП). В соответствии с действующим законодательством в сфере электроэнергетики ГП закладывают стоимость небаланса БР в цену электроэнергии для конечного потребителя на розничном рынке электроэнергии. Для потребителей ГП АО «Алтайкрайэнерго» за счет стоимостного небаланса БР цена на электроэнергию увеличивается на 2.. .3 %.

Переход к рыночным принципам взаимоотношений между потребителями и энергосистемой повышает требования к точности прогнозирования энергопотребления, увеличивает ответственность за решения, принятые на основе результатов прогнозирования. В условиях функционирования рынка электроэнергии точность прогнозов потребления существенно влияет на технологические и экономические показатели энергосистемы [2]. Реформа ми-

рового рынка электроэнергии заставляет энергетическую отрасль постепенно трансформироваться от монополии к конкуренции. Как участники рынка, каждый поставщик и потребитель хочет получить наибольшую выгоду от оборота электроэнергии [3].

Энергосбытовое предприятие является посредником между электростанциями, занимающимися выработкой электроэнергии, и потребителями [4]. В настоящее время большинство энергосбытовых компаний и ГП прогнозируют собственное почасовое потребление электроэнергии на РСВ с помощью интуитивных методов прогнозирования: метода экспертных оценок и метода исторических аналогий. В данном случае прогнозный суточный график электрической нагрузки (СГЭН) является продуктом логического мышления эксперта или группы экспертов, а также опыта работы с объектом прогнозирования. Однако данные методы не позволяют снизить ошибку STLF ниже определенного значения вследствие человеческого фактора. Формализация процесса прогнозирования является наиболее перспективным путем увеличения качества краткосрочного прогнозирования потребления электроэнергии. Наличие множества факторов, влияющих на временной ряд потребления электроэнергии ГТП сельхозпроизводителей, делает задачу STLF сла-боформализуемой. На сегодняшний день разработано множество алгоритмов для анализа и прогнозирования временных рядов. В то же время ни один из них нельзя назвать универсальным. Большинство алгоритмов не отвечает требованию высокой точности прогнозирования в условиях постоянно изменяющейся конъюнктуры рынка электроэнергии.

В настоящее время наблюдается стремительное развитие таких областей информационных технологий, как искусственный интеллект, системы обработки больших объемов данных (Big Data) и глубокое машинное обучение. Рассмотренные информационные технологии являются высокоэффективным инструментом для решения широкого перечня задач, которые относятся к слабоформализуемым или неформализуемым [5]. Вычислительная мощность среднестатистического персонального компьютера позволяет применять нейросетевые алгоритмы для краткосрочного прогнозирования временного ряда потребления электроэнергии. Операции над матричными данными, описывающие прохождение сигнала через нейронную сеть, на современном компьютере выполняются за считаные секунды. На основании исследований [1-4, 7, 16, 18] можно сделать вывод, что нейронные сети различной архитектуры позволяют выполнять краткосрочное прогнозирование потребления электроэнергии с необходимой точностью.

1. ВЫБОР АРХИТЕКТУРЫ, ПАРАДИГМЫ И АЛГОРИТМА ОБУЧЕНИЯ ИНС ДЛЯ КРАТКОСРОЧНОГО ПРОГНОЗИРОВАНИЯ ПОТРЕБЛЕНИЯ ЭЛЕКТРИЧЕСКОЙ ЭНЕРГИИ

Проектирование нейронной сети, предназначенной для решения конкретной практической задачи, начинается с выбора парадигмы обучения. Существует две парадигмы обучения:

- обучение с учителем;

- обучение без учителя.

При обучении искусственной нейронной сети (ИНС) с учителем необходимо иметь статистическую базу с маркированными примерами. То есть для каждого входного сигнала имеется так называемый желаемый отклик сети. В процессе обучения свободные параметры ИНС настраиваются таким образом, чтобы получить на выходе сети отклик на входное воздействие, наиболее схожий в статистическом смысле с желаемым. В терминах теории искусственных нейронных сетей схожесть векторов фактического и желаемого отклика ИНС определяется функцией энергии ошибки:

где е(п) - сигнал абсолютной ошибки ИНС на шаге обучения п; й(п) - сигнал желаемого отклика ИНС; у(п) - фактический отклик сети ИНС; Е(п) -функция энергии ошибки.

Целью обучения сети является минимизация функции энергии ошибки за наименьшее число итераций обучающего цикла п:

Парадигма обучения без учителя, то есть на основе самоорганизации, не предполагает наличие внешнего учителя. Для данного вида обучения нет необходимости в маркированных примерах вида вход-выход. Существует лишь независимая от задачи мера качества представления, которой ИНС должна научиться. Свободные параметры сети оптимизируются по отношению к этой мере.

Для решения задачи краткосрочного прогнозирования почасового потребления электроэнергии на РСВ выбирается парадигма обучения с учителем. Это объясняется тем, что при наличии базы статистических данных, которая содержит информацию о желаемом отклике, ИНС, обучаемые с учителем, показывают более высокие результаты по сравнению с нейронными сетями, обучаемыми на основе самоорганизации. В соответствии с Правилами ОРЭМ у каждого участника спотового рынка электроэнергии и мощности имеется обязанность по хранению данных о почасовом потреблении электроэнергии ГТП за последние 3,5 года. То есть энергосбытовые предприятия и гарантирующие поставщики обладают необходимым для качественного обучения ИНС объемом статистической информации.

После выбора парадигмы обучения можно переходить к выбору архитектуры нейронной сети, которая тесно связана с алгоритмом обучения. Поэтому определение оптимальной архитектуры ИНС производится параллельно с выбором алгоритма обучения.

В настоящее время разработано большое количество ИНС различной архитектуры. Для решения практических задач в основном используются нейронные сети прямого распространения, рекуррентные нейронные [6] сети и скрытые марковские сети [8]. ИНС прямого распространения сигнала отличаются отсутствием обратных связей, то есть информация об итоговом отклике сети не подается на вход сети. Практическое применение ИНС прямого распространения находят в решении практических задач распознавания обра-

е(п) = й (п) - у(п), 1 2

Е (п) = - е 2 (п),

2

(1)

Е(п) ^ 0 .

(2)

зов, аппроксимации и прогнозирования временных рядов. Основная область применения рекуррентных нейронных сетей - это обработка текстовых данных, то есть анализ контекста и общей связи слов в тексте. Скрытые марковские нейронные сети в основном применяются для анализа и обработки естественной устной речи.

Нейронные сети прямого распространения подразделяются:

- на однослойные и многослойные персептроны;

- машины опорных векторов;

- ИНС на основе радиальных базисных функций;

- сверточные ИНС.

Наиболее привлекательными являются многослойные персептроны и сверточные ИНС, так как они хорошо зарекомендовали себя при решении схожих с 8ТЬБ практических задач классификации образов (распознавание рукописного текста (М№8Т) и объектов на изображениях (СШАЯ-Ю)). Нейросетевая классификация заключается в распознавании на основе входных данных закономерностей и в отнесении к одному из образов [9]. Однако ограничением применения сверточных ИНС является сложность представления входных данных сети, так как сверточные слои обрабатывают двух-и трехмерные массивы данных, в то время как статистические данные о фактическом потреблении электроэнергии и уровне основных влияющих факторов являются одномерным вектор-столбцом.

На основе вышеизложенного можно сделать вывод о том, что многослойный персептрон является оптимальной архитектурой ИНС для решения задачи краткосрочного прогнозирования почасового потребления электроэнергии. Обучение многослойного персептрона осуществляется с помощью алгоритма обратного распространения ошибки.

2. ВЫБОР ОПТИМАЛЬНОГО ЗНАЧЕНИЯ ГИПЕРПАРАМЕТРОВ МНОГОСЛОЙНОГО ПЕРСЕПТРОНА

Нейронная сеть представляет собой сложные отношения между входами и выходами [10]. На рис. 1 представлена структурная схема многослойного персептрона.

Скрытые слои

Рис. 1. Структурная схема многослойного персептрона Fig. 1. The structural diagram of a multilayer perceptron

Как и любая другая нейронная сеть, персептрон, изображенный на рис. 1, состоит:

- из набора сенсорных элементов, образующих входной слой ИНС;

- нелинейных вычислительных элементов, называемых искусственными нейронами, которые составляют скрытые и выходной слои персептрона;

- линейных синаптических связей, обеспечивающих соединение всех элементов в единую сеть.

Данная нейронная сеть характеризуется набором гиперпараметров:

- значение момента инерции и скорости обучения ИНС на каждом шаге обучения;

- количество скрытых слоев и нейронов в каждом скрытом слое;

- наличие смещения функции активации.

Выбор оптимального значения всех гиперпараметров является важнейшей задачей при проектировании ИНС. Несмотря на то что математическое описание работы многослойных персептронов произошло в середине ХХ века, до сих пор нет формализованных методов определения оптимального значения гиперпараметров. Преодоление вышеприведенных недостатков на практике достигается перебором различных вариантов архитектур, типов нейронов, начальных условий, методов обучения и дальнейшим выбором наиболее удачного решения [6]. Поэтому процесс проектирования нейронной сети является творческой задачей.

Количество нейронов во входном и выходном слоях определяется на основе числа входных параметров и желаемого отклика ИНС. В случае прогнозирования почасовых объемов потребления электроэнергии на следующие сутки размер входного и выходного слоев определяется на основе исходных данных:

4 = 24/,

\ (3)

4 = 24,

где то - размер входного сенсорного слоя ИНС; / - количество факторов, учитываемых при 8ТЬБ; 43 - размер выходного слоя, соответствующий 24

значениям прогнозного СГЭН на следующие сутки.

Количество скрытых слоев, а также размер каждого из них влияют на ассоциативную способность нейронной сети. Ассоциативная память подразумевает создание отклика сети на основе внутреннего представления ИНС об окружающей среде, с которой взаимодействует сенсорный слой сети, а не простое воспроизведение запомненных образов. Считается, что трехслойный персептрон является универсальным аппроксиматором. Добавление дополнительных скрытых слоев позволяет выявлять в данных статистики высшего порядка. При решении практических задач ограничиваются одним или двумя скрытыми слоями. Большее количество скрытых слоев не позволяет добиться значительного улучшения обобщающей способности ИНС, в то же время значительно увеличивая затраты вычислительной мощности на обработку сигналов, описывающих работу ИНС.

Количество нейронов в скрытых слоях влияет на размер параллельно распределенной памяти нейронной сети. Чтобы ИНС обладала хорошей обобщающей способностью, необходимо подобрать оптимальное количество

нейронов в скрытых слоях. Слишком маленькое количество нейронов не позволит ИНС извлечь из обучающей выборки всю полезную информацию, необходимую для создания качественного представления об объекте прогнозирования. ИНС со слишком большим количеством нейронов в скрытых слоях будет склонна к переобучению и простому запоминанию образов из обучающей выборки. Данная сеть будет показывать отличные результаты при обработке образов, которые запомнила сеть в процессе обучения. Однако при обработке образов, неизвестных ИНС после окончания обучения, сетью будут допускаться серьезные ошибки прогнозирования.

В настоящее время существуют только практические рекомендации по выбору оптимального размера скрытых слоев. Одним из них является правило геометрической пирамиды [11]:

mi = m^

(4)

m2 = тз

где т1 - количество нейронов в первом скрытом слое; т2 - количество нейронов во втором скрытом слое.

Однако данная рекомендация является эмпирическим выражением и ни на какую теоретическую обоснованность не претендует. Оптимальный размер скрытых слоев определяется исключительно на основе многочисленных экспериментов с обучающей и тестовой выборкой.

Остальные гиперпараметры ИНС вытекают из принципа функционирования искусственного нейрона. На рис. 2 представлена функциональная схема искусственного нейрона.

Рис. 2. Функциональная схема нейрона Fig. 2. The functional diagram of a neuron

Данная схема состоит из четырех основных элементов:

- набор синаптических связей, характеризующихся силой сигнала xt и весом wk;

- сумматор - складывает входные сигналы соответствующих синаптиче-ских связей;

- порог - увеличивает или уменьшает амплитуду сигнала, подаваемого на вход функции активации;

- функция активации - ограничивает амплитуду выходного сигнала нейрона. Обычно диапазон амплитуд лежит в интервале [0;1] или [-1;1] в зависимости от вида данной функции.

Математически функционирование нейрона можно представить следующей системой уравнений:

т

ик = X ,

3=1

<

у.к = ик + ьк, (5) . Ук = Ф(ук),

где ик - линейная комбинация входных воздействий нейрона к; - вес синаптической связи, соединяющей нейрон к и нейрон 3; - входной сигнал нейрона к от нейрона 3; V. - индуцированное локальное поле нейрона к; Ьк - порог активации нейрона к; у. - выходной сигнал нейрона к; ф(у. ) -функция активации.

Обучение персептрона с помощью алгоритма обратного распространения ошибки предполагает два прохода вычислений - прямой и обратный. При прямом проходе веса взаимодействия синаптических связей остаются неизменными. Функциональный сигнал, поступающий на вход сети, передается от слоя к слою, формируя итоговый отклик сети на основании выражения (5).

При обратном проходе на основе выражения (1) вычисляются сигнал ошибки и функция энергии ошибки для каждого нейрона скрытых и выгодного слоев. Вычисляется сумма энергий ошибки по всем нейронам выходного слоя:

Ес (п) =1 X е2 (п), (6)

2

где С - множество нейронов выходного слоя.

На основе выражений (1), (5), (6) можно сделать вывод, что функция энергии ошибки зависит только от свободных параметров ИНС (весов синаптических связей и порогов активации). Данная функция образует так называемую поверхность ошибки в пространстве свободных параметров ИНС. Целью обучения является итеративная коррекция весов синаптических связей и порогов активации с целью нахождения глобального минимума на поверхности ошибки.

Стохастическая градиентная оптимизация имеет ключевое практическое значение во многих областях науки и техники. Многие проблемы в этих областях могут быть представлены как оптимизация некоторых скалярных параметров целевой функции, требующих максимизации или минимизации. Если целевая функция дифференцируема по своим параметрам, то градиентный спуск является относительно эффективным методом оптимизации [12].

Поиск глобального минимума на поверхности ошибки с помощью метода градиентного спуска происходит на основании цепного правила:

дЕ(п) _ дЕ(п) дек (п) дук (п) дук (п) _ дМк] (п) дек (п) дук (п) дук (п) д^к] (п)

_ -ек (n)ф'(vk (п))X] (п) _ -8к (п)X] (п), (7)

где 5к (п) - локальный градиент нейрона к на шаге обучающего цикла п.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В случае сигмоидальной функции активации коррекция веса синаптиче-ской связи между нейроном к и нейроном ] определяется на основе следующего выражения:

¿Мк] (п) _ п5к (п)X] (п) + аДм^ (п -1), (8)

где £м>к] (п) - корректировка веса взаимодействия между нейронами к и ] на шаге обучения п; ^ - параметр скорости обучения; а - параметр момента инерции; Амк] (п -1) - корректировка веса взаимодействия между нейронами к и] на шаге обучения п - 1.

Из выражения (7) следует, что оптимальное значение параметра скорости обучения и момента инерции на каждом шаге обучающего цикла влияет на способность схождения алгоритма градиентного спуска к глобальному минимуму на поверхности ошибки, в которой функция энергии ошибки принимает минимальное значение. Параметр скорости обучения влияет на величину корректировки веса на данном шаге обучения. Момент инерции оказывает стабилизирующий эффект:

- если на двух последовательных итерациях обучающего цикла знак локального градиента нейрона 5к (п) не изменяется, то за счет постоянной момента инерции величина корректировки свободных параметров ИНС увеличивается в данном направлении;

- если на двух последовательных итерациях обучающего цикла знак локального градиента 5к (п) изменяется (нахождение рабочей точки алгоритма обучения в окрестности глобального минимума на поверхности ошибки), то за счет постоянной момента инерции величина корректировки веса уменьшается.

На рис. 3 представлен градиентный спуск по поверхности ошибки при различных значениях скорости обучения и момента инерции. Из рисунка можно сделать вывод, что малое значение параметра скорости обучения или момента инерции способствует «застреванию» алгоритма обучения в локальных минимумах и на «плоских» участках поверхности ошибки. Слишком большое значение данных гиперпараметров способствует тому, что рабочая точка алгоритма обучения постоянно перешагивает глобальный минимум, но не попадает в него. Также можно сделать вывод о том, что для ускорения схождения алгоритма к глобальному минимуму параметры скорости обучения и момента инерции должны иметь достаточно большое значение в начале обучающего цикла и постепенно уменьшаться по мере приближения к минимуму. Поэтому выбор оптимального значения параметра скорости обучения

и момента инерции на каждом шаге обучающего цикла определяет эффективность обучения ИНС. Схождение алгоритма градиентного спуска к локальным минимумам является главным препятствием к повышению качества краткосрочного прогнозирования электрической нагрузки с помощью многослойного персептрона.

а б в г

Рис. 3. Градиентный спуск по поверхности ошибки при различных значениях скорости обучения и момента инерции:

a - малое значение скорости обучения без момента инерции; б - недостаточное значение скорости обучения и (или) момента инерции; в - оптимальное значение скорости обучения и момента инерции; г - слишком большое значение скорости обучения и (или) момента

инерции

Fig. 3. A gradient descent along the error surface at various values of the learning rate

and momentum rate:

a is small value of the learning rate and without the momentum rate; b is a insufficient value of the learning and (or) the momentum rate; c is an optimal value of the learning and the momentum rate; d is a large value of the learning and (or) the moment rate

За последние несколько лет разработано много успешных алгоритмов, минимизирующих количество параметров, которые требуют настройки в процессе последовательного обучения ИНС [12]. Современные инструменты машинного обучения позволяют реализовать алгоритм обратного распространения ошибки с адаптивными в процессе обучения параметрами скорости обучения и постоянной момента инерции (ADAM) [12, 14]. Адаптивные методы обучения, такие как ADAM, обеспечивает наилучшую сходимость алгоритма обучения [14]. Данная модификация алгоритма градиентного спуска позволяет сходиться алгоритму к окрестности глобального минимума практически при любом «ландшафте» поверхности ошибки за счет более эффективного прохождения локальных минимумов и «плоских» участков на поверхности ошибки.

3. МЕТОДЫ УСИЛЕНИЯ АЛГОРИТМА ОБУЧЕНИЯ И БОРЬБЫ С ПЕРЕОБУЧЕНИЕМ ИНС

Глубокие нейронные сети с большим количеством свободных параметров являются очень мощными системами машинного обучения. Однако в таких сетях переобучение является серьезной проблемой [15]. После спуска рабочей точки алгоритма обучения достаточно близко к глобальному минимуму на поверхности ошибки, дальнейшее обучение ИНС за счет корректировки весов синаптических связей приведет к тому, что веса взаимодействия

некоторых связей необоснованно увеличатся. Это приведет к тому, что ИНС будет придавать слишком большое значение при краткосрочном прогнозировании потребления электроэнергии одним факторам и занижать степень влияния других. Нейронная сеть попросту потеряет обобщающую способность за счет ассоциативной памяти. Данная ИНС вследствие переобучения будет запоминать образы из обучающей выборки, вместо того чтобы искать тенденции и скрытые связи в данных.

Во избежание данной ситуации необходимо постоянно проверять обобщающую способность ИНС за счет перекрестной проверки сети (cross-validation). Для этого база исходных данных разделяется на обучающее и тестовое множество. ИНС обучается на данных из обучающего множества, а обобщающая способность оценивается с помощью тестового множества, образы из которого неизвестны сети после окончания обучения.

Существует два действенных способа предотвращения переобучения ИНС:

- ранняя остановка алгоритма обучения (early stopping) после того, как обобщающая способность ИНС достигнет максимального значения;

- отключение случайных нейронов скрытых слоев (Dropout) [15].

Первый способ борьбы с переобучением является достаточно эффективным вследствие того, что практически невозможно подобрать оптимальное количество эпох обучающего цикла. Так как начальное значение весов си-наптических связей ИНС имеет случайное распределение по нормальному закону, то невозможно изначально определить «ландшафт» поверхности ошибки. Вследствие этого неизвестно, за какое количество итераций рабочая точка алгоритма обучения дойдет до окрестности глобального минимума. Соответственно, возникает необходимость остановить алгоритм обучения после достижения окрестности глобального минимума. Индикатором того, что рабочая точка алгоритма достигла окрестности глобального минимума, является малое изменение абсолютной ошибки в течение эпохи обучения:

C £Аеу (n) < 0,005 - 0,01, (9)

C jeC

где Аеj (n) - изменение абсолютной ошибки нейрона j выходного слоя в течение эпохи обучения n.

Для того чтобы ранняя остановка не привела к преждевременной остановке алгоритма обучения в области локального минимума или плоского участка на поверхности ошибки, необходимо установить количество итераций, в течение которых проводится перекрестная проверка сети, равное пя-ти-семи. Этого будет достаточно для того, чтобы рабочая точка алгоритма преодолела плоские участки поверхности ошибки, но в то же время ИНС не подверглась переобучению.

Второй способ борьбы с переобучением основан на увеличении равномерности распределения полезной информации, извлеченной в процессе обучения из обучающей выборки, по всем нейронам сети. Отключение случайных нейронов скрытых слоев ИНС позволяет избежать перенасыщения весов отдельных синаптических связей, так как они могут быть исключены из работы ИНС на протяжении некоторой эпохи обучающего цикла. Данное об-

стоятельство заставляет нейронную сеть распределять информацию, полученную из статистической базы, на все нейроны вместо концентрации мощности в отдельных узлах сети.

Использование ансамблей нейронных сетей является одним из самых действенных способов усиления алгоритма обучения ИНС, используемой для решения задачи прогнозирования потребления электроэнергии ГТП на следующие сутки [16]. Ансамбль представляет собой ассоциативную машину, состоящую из нескольких параллельно работающих нейронных сетей. Каждая отдельная ИНС представляет собой так называемого эксперта. Отклики каждого эксперта некоторым образом комбинируются, формируя итоговый отклик ассоциативной машины. Каждая из нейронных сетей принимает на вход только вектор показателей объекта исследования, а информация о типе моделируемого воздействия представлена во всех весовых коэффициентах модели [17]. На рис. 4 представлена блочная диаграмма ассоциативной машины.

Входной сигнал

i>

О

Эксперт 1

Уг(")

Эксперт 2

i>

У/")

Эксперт К

Выходной сигнал У(п)

Рис. 4. Блочная диаграмма ассоциативной машины Fig. 4. Block diagram of an associative machine

Использование ассоциативных машин обусловлено следующим:

- уменьшением времени обучения ансамбля ИНС по сравнению с единой ИНС большего размера вследствие значительного уменьшения затрат вычислительной мощности на обучение отдельных ИНС;

- уменьшение риска переобучения ИНС вследствие уменьшения количества настраиваемых параметров каждой ИНС в ансамбле по отношению к размеру множества статистических данных обучения;

- увеличение эффективности ассоциативной машины за счет того, что эксперты будут сходиться к различным окрестностям глобального минимума на поверхности ошибки и некоторая комбинация откликов отдельных ИНС будет увеличивать эффективность ансамбля.

Существуют различные способы обучения отдельных экспертных нейронных сетей, а также получения итогового отклика ассоциативной машины. В настоящее время при решении практических задач хорошо зарекомендовали себя ансамбли ИНС одинаковой архитектуры и конфигурации, которые начинают обучение из различных исходных состояний. Для получения итогового выходного сигнала используется блок усреднения по ансамблю.

4. ПРОГНОЗИРОВАНИЕ ПОЧАСОВЫХ

ОБЪЕМОВ ПОТРЕБЛЕНИЯ ЭЛЕКТРОЭНЕРГИИ НА СЛЕДУЮЩИЕ СУТКИ

Прогнозирование почасового потребления электроэнергии на следующие сутки является сложной оптимизационной задачей. Точность прогнозирования зависит не только от эффективности используемых алгоритмов, но также от качества проанализированных данных и возможности включить важные внешние факторы в модель [18]. Статистические подходы к 8ТЬБ обычно нуждаются в математической модели, которая представляет электрическую нагрузку как функцию различных факторов, таких как время, погода и класс потребителей [19].

Правильный выбор, предварительная обработка и кодирование основных влияющих факторов являются залогом качественного прогноза, полученного любым методом. Выбор набора основных факторов производится с помощью метода экспертных оценок, на основе опыта работы с объектом прогнозирования. К основным факторам, влияющими на почасовую электрическую нагрузку ГТП гарантирующего поставщика второго уровня, включающих сельскохозяйственных производителей, население и приравненных к нему потребителей, а также мелкомоторную нагрузку, можно отнести:

- порядковый номер дня в году;

- порядковый номер дня в неделе;

- час суток;

- признак праздничного дня;

- признак каникул в образовательных учреждениях;

- признак наличия центрального отопления;

- ветрово-холодовой индекс;

- дисперсию температуры;

- количество осадков;

- длительность светового дня;

- режим работы каждого крупного потребителя электроэнергии, входящего в ГТП.

Также важнейшим фактором, влияющим на потребление электроэнергии ГТП, являются плановые и аварийные работы на электросетевом оборудовании. Однако в силу того, что в состав ГТП обычно входят несколько подстанций с множеством фидеров, питающих отдельные точки поставки электроэнергии, введение фактора отключений на каждом фидере подстанций сильно увеличит размерность факторного пространства и, как следствие усложнит архитектуру нейронной сети. Это, в свою очередь, приведет к увеличению количества синаптических связей ИНС и значительному увеличению времени обучения ИНС. В процессе обучения составляющая временного ряда электрической нагрузки ГТП, приходящаяся на отключение электросетевого оборудования, будет классифицирована нейронной сетью как шум, не несущий полезной информации о поведении временного ряда.

В то же время игнорирование плановых работ на сетевом оборудовании подстанций, входящих в ГТП, при формировании прогноза потребления электроэнергии «на сутки вперед» приведет к резкому снижению точности прогнозирования. Целесообразно получить прогноз потребления электро-

энергии на основе вышеперечисленных факторов с помощью нейронной сети, а затем скорректировать данный прогноз на основе графика плановых ремонтных работ на сетевом оборудовании с помощью метода экспертных оценок. Для учета аварийных отключений при 8ТЬБ необходимо произвести дополнительное прогнозирование отказов элементов электросетевого оборудования. Одним из наиболее интересных и перспективных способов прогнозирования возможных отказов элементов электрической сети является использование подходов, основанных на методах нейросетевого моделирования [20].

Закодированные фактические величины влияющих факторов представляют собой статистическую базу, на основе которой происходит обучение многослойного персептрона. При использовании сигмоидальной логистической функции активации необходимо масштабировать входные данные к диапазону [0;1]. Также для улучшения сходимости алгоритма обратного распространения ошибки необходимо сдвинуть данные от границ этого диапазона, так как логистическая функция вблизи границ своей области определения имеет участки насыщения, то есть диапазон изменения входных данных будет равен [0,05; 0,95].

После предварительной обработки исходных данных необходимо произвести разделение всего множества на тренировочные и тестовые выборки. Для решения задачи краткосрочного прогнозирования потребления электроэнергии размер обучающей выборки выбирается равным 90 % от всего множества статистических данных. Размер тестовой выборки, на которой будет производиться перекрестная проверка ИНС, выбирается равным 10 % от множества статистических данных.

После выбора основных влияющих факторов необходимо определиться с окончательной архитектурой ИНС. Для случая ГТП, в состав которой не входят крупные потребители электроэнергии, электрическая нагрузка которых сопоставима с нагрузкой всей ГТП, на основе выражений (3) и (5) размер каждого слоя ИНС будет равен:

Практическая реализация многослойных персептронов необходимой архитектуры и конфигурации производится с помощью библиотеки машинного обучения Tensorflow Keras на языке программирования Python 3.6. На рис. 5 представлена архитектура ансамбля нейронных сетей реализованного с помощью библиотеки машинного обучения Tensorflow Keras.

m0 = 24 f = 24 -10 = 240,

(10)

m3 = 24.

Layer (type) Output Shape Param к Connected to

inputs (InputLayer) (Nene, 240) в

dense_19 (Dense) (None, 111) 26751 input_i[e][0]

dense_22 (Dense) (None, 111) 26751 input_3{0][0]

dense_25 (Dense) (None, 111) 26751 input_3J0][0]

dense_20 (Dense) (None, 52) 5324 dense_19[0][0]

dense_23 (Dense) (None, 52) 5824 dense_22[0][0]

dense_26 (Dense > (None, 52) 5824 dense_25[0][0]

dense_21 (Dense) (None, 24) 1272 dense_2e[0][0]

dense_24 (Dense) (None, 24) 1272 dense_23[0][e]

dense_27 (Dense) (None, 24) 1272 dense_26[e][e]

average_3 (Average) (None, 24) e dense_21[0][0] dense_24[0][0] dense_27[0][0)

Total parans: 101,S41 Trainable params: 161,541 Non-trainable params: S

Рис. 5. Архитектура ансамбля нейронных сетей реализованного с помощью библиотеки машинного обучения Tensorflow Keras

Fig. 5. The architecture of the neural network ensemble which is obtained by the Tensorflow Keras machine learning library

Сеть, изображенная на рис. 5, представляет собой ассоциативную машину, состоящую из трех четырехслойных персептронов. Итоговый отклик ИНС получается в результате операции усреднения по ансамблю (блок Average). Данная ИНС имеет 101 541 свободный параметр, которые оптимизируются в процессе обучения.

Обучение происходит в последовательном режиме, когда свободные параметры ИНС корректируются после подачи каждого примера из обучающей выборки. Максимальное количество эпох обучающего цикла составляет 100. В процессе обучения используется ранняя остановка. Критерием остановки алгоритма обучения определяется невыполнение условия выражения (9) в течение пяти последовательных эпох обучения. На рис. 6 представлен экран мониторинга параметров ИНС в процессе обучения.

sss/ess [---. ] ■ Is 2(ns/step - loss: l.93S2e-04 mean. absolute .error: 0.0101 val _loss: £ 76Bge-0

5 - val_mean_ absolute .error: e.eess

Epoch 33/100

355/855 [— ] Is 2ns/step - loss: 1.8975e-04 nean. .absolute. error: e.eiee val .loss: 6 3076e-8

S - val_mean_ absolute error: «.MB

Epoch 34/100

S55/8SS [---■ ) - is 2es/step » loss: l.S620e-G4 near. .absolute .error: 0.6099 val .loss: 5 9941е-0

S - val_mean_ absolute error: 0.0061

Epoch ¡6/100

S55/8S5 [---- ] - Is 2tts/step - loss: 1.8286e-04 mean absolute .error: 0.0B98 val .loss : S 7S6SÏ-0

5 - val пеан absolute error: U№

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Epoch 36/100"

ass/ess [-— ] ■ 2s 2ns/step - loss: 1.7972e-94 »ean .absolute. error; 0.0091 val loss: 5 5765е-0

5 - val_mean_ absolute _error: 0.00S9

Epoch 37/100

S55/35S [— ] - Is 2es/step - loss: 1.76S0e-04 near. .absolute .error: 0.0096 val .loss: s 4345S-0

s - val_mean_absolute_eriw: 0.005S Ошибка прогноза на тестовых данных: 0.58% Ёре.чя обучения заняло 53.29803204556458 секунд

Рис. 6. Экран мониторинга параметров ИНС в процессе обучения Fig. 6. Monitoring screen of ANN parameters in the learning process

Как мы видим из рис. 6, инструментарий библиотеки Tensorflow Keras позволяет производить мониторинг средней абсолютной ошибки (mean_absolute_error), значения функции энергии ошибки (val_loss), обобщающую способность ИНС после каждой итерации обучающего цикла (val_mean_absolute_error), а также длительность обучения.

После окончания обучения, то есть достижения окрестности глобального минимума на поверхности ошибки, свободные параметры ИНС «замораживаются». После этого для получения прогноза почасового потребления электроэнергии ГТП «на сутки вперед» необходимо опросить ИНС примером входных данных, соответствующих суткам, на которые производится прогнозирование. В табл. 1 представлены результаты прогнозирования почасового потребления электроэнергии ГТП «на сутки вперед» с 09.04.2018 по 09.05.2018.

Результаты прогнозирования почасового потребления электроэнергии ГТП «на сутки вперед» с 09.04.2018 по 09.05.2018

Results of prediction of an hourly electricity consumption of the delivery point cluster for the "day-ahead market" from 04.09.2018 to 05.09.2018

Алгоритм обучения ИНС Постоянные момента инерции и скорости обучения (SGD) Адаптивный момент инерции и скорость обучения (ADAM) Отключение нейронов скрытого слоя с вероятностью 20 % (ADAM+dropout) Ансамбль (ADAM) Метод экспертных оценок

Средняя ошибка прогноза (MAPE), % 2,68 2,66 2,67 2,55 2,55

ЗАКЛЮЧЕНИЕ

1. Результаты исследования подтверждают эффективность применения ансамбля ИНС, состоящего из нескольких четырехслойных персептронов, с адаптивными в процессе обучения параметрами скорости обучения и момента инерции. Точность STLF ГТП на следующие сутки, полученного с помощью ассоциативной машины, идентична точности прогноза метода экспертных оценок. При этом возможность формализации и автоматизации процесса прогнозирования, а также значительное увеличение скорости выполнения прогноза делает более привлекательным применение ансамблей ИНС.

2. Стоит отметить, что техника борьбы с переобучением Dropout, хорошо зарекомендовавшая себя при решении практических задач, является неэффективной при краткосрочном прогнозировании электрической нагрузки. Это обусловлено спецификой поведения временного ряда потребления электроэнергии ГТП с разнородной электрической нагрузкой. Применение техники ранней остановки (early stopping) позволяет избежать переобучения ИНС без применения техники отключения случайных нейронов скрытых слоев.

3. Точность STLF определяется не только мощностью алгоритма прогнозирования, но и качеством обучающей выборки. Анализ факторного пространства, а также предварительная обработка статистических данных является важнейшим этапом прогнозирования «на сутки вперед» потребления электроэнергии ГТП.

СПИСОК ЛИТЕРАТУРЫ

1. ТороповА.С., ТуликовА.Н. Прогнозирование почасового электропотребления региональной энергосистемы с использованием искусственных нейронных сетей // Вестник Иркутского государственного технического университета. - 2017. - Т. 21, № 5. - С. 143-151. -DOI: 10.21285/1814-3520-2017-5-143-151.

2. Доманов В.И., БилаловаА.И. Прогнозирование объемов энергопотребления в зависимости от исходной информации // Вестник ЮУрГУ. Серия: Энергетика. - 2016. - Т. 16, № 2. -С. 59-65. - DOI: 10.14529/power160208.

3. A short-term electricity price forecasting scheme for power market / G. Gao, K. Lo, J.F Lu.,

F.L. Fan // World Journal of Engineering and Technology. - 2016. - Vol. 4. - P. 58-65.

4. Кирпичникова И.М., Саплин Л.А., Соломахо К.Л. Прогнозирование объемов потребления электроэнергии // Вестник ЮУрГУ. Серия: Энергетика. - 2014. - Т. 14, № 2. - С. 16-21.

5. Станкевич Т.С. Разработка метода оперативного прогнозирования динамики развития лесного пожара посредством искусственного интеллекта и глубокого машинного обучения // Вестник Иркутского государственного технического университета. - 2018. - Т. 22, № 9. -С. 111-120. - DOI: 10.21285/1814-3520-2018-9-111-120.

6. Воевода А.А., Романников Д. О. Синтез нейронной сети для реализации рекуррентного метода наименьших квадратов // Научный вестник НГТУ. - 2018. - № 3 (72). - С. 33-42. -DOI: 10.17212/1814-1196-2018-3-33-42.

7. Ruzic S., Vuckovic A., Nikolic N. Weather sensitive method for short term load forecasting in electric power Utility of Serbia // IEEE Transactions on Power Systems. - 2003. - Vol. 18, N 4. -P. 1581-1586.

8. Hayes A. First links in the Markov chain // American Scientist. - 2013. - Vol. 101. -P. 92-97.

9. Николаева Ю.В. Метод генерации выходной выборки для задачи нейросетевой классификации рыночных ситуаций // Вестник Иркутского государственного технического университета. - 2017. - Т. 21, № 12. - С. 86-92. - DOI: 10.21285/1814-3520-2017-12-86-92.

10. КориковА.М., Нгуен А.Т. Нейро-нечеткая классификация объектов и их состояний // Научный вестник НГТУ. - 2018. - № 3 (72). - С. 73-86. - DOI: 10.17212/1814-1196-2018-3-73-86.

11. Genco S., Yildiray P., Umran S. An artificial neural network model for Na/K geothermome-ter // Proceedings World Geothermal Congress. - Bali, Indonesia, 2010. - P. 1-10.

12. Kingma D.P., Ba L.J. ADAM: a method for stochastic optimization // 3rd International Conference for Learning Representations, San Diego, 2015. - Ithaca, NY: arXiv.org, 2015. -arXiv: 1412.6980.

13. Duchi J., Hazan E., Singer Y. Adaptive subgradient methods for online learning and stochastic optimization // Journal of Machine Learning Research. - 2011. - Vol. 12. - P. 2121-2159.

14. Ruder S. An overview of gradient descent optimization algorithms. - Ithaca, NY: arXiv.org, 2017. - arXiv: 1609.04747.

15. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava,

G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov // Journal of Machine Learning Research. -2014. - Vol. 15. - P. 1929-1958.

16. Li S., Wang P., Goel L. A novel wavelet-based ensemble method for short-term load forecasting with hybrid neural networks and feature selection // IEEE Transactions on Power Systems. -2016. - Vol. 31, iss. 3. - P. 1788-1798.

17. Гергет О.М., Мещеряков Р.В. Применение информационных методов, нейронных сетей и генетического алгоритма для решения задачи выбора схемы лечения // Научный вестник НГТУ. - 2018. - № 3 (72). - С. 7-20. - DOI: 10.17212/1814-1196-2018-3-7-20.

18. Rajan D.V., SouravM., ThakurS.S. An efficient approach for short-term load forecasting using historical data // International Journal of Engineering Research and Technology. - 2012. -Vol. 1, iss. 3. - P. 1-9.

19. MasoodN.A., Ahsan Q. A methodology for identification of weather sensitive component of electrical load using empirical mode decomposition technique // Energy and Power Engineering. -2013. - Vol. 5. - P. 293-300.

20. Карамов Д.Н., Наумов И.В., Пержабинский С.М. Математическое моделирование отказов элементов электрической сети (10 кв) автономных энергетических систем с возобновляемой распределенной генерацией // Известия Томского политехнического университета. Инжиниринг георесурсов. - 2018. - Т. 329, № 7. - С. 116-130.

Хомутов Станислав Олегович, доктор технических наук, профессор, заведующий кафедрой «Электроснабжение промышленных предприятий» Алтайского государственного технического университета им. И.И. Ползунова. Основное направление исследований - повышение надежности электрических машин и оборудования. Имеет более 250 публикаций, в том числе 6 монографий и 12 учебных пособий. E-mail: ho-mutov.so@yandex.ru.

Серебряков Николай Александрович, аспирант кафедры «Электроснабжение промышленных предприятий» Алтайского государственного технического университета им. И.И. Ползунова. Основное направление исследований - прогнозирование потребления электроэнергии и электрических нагрузок. Имеет 13 публикаций. E-mail: na_serebryakov@altke.ru.

Khomutov Stanislav Olegovich, D.Sc. (Eng.), professor, head of the department of power supply of industrial enterprises in the Altai Technical University named after I.I. Polzunov. His research interests are focused on forecasting of the reliability of electric machines and equipment. He is the author of more than 250 publications including 6 monographs and 12 teaching manuals. E-mail: homutov.so@yandex.ru

Serebryakov Nikolai Alexandrovich, a postgraduate student at the department of power supply of industrial enterprises in the Altai Technical University named after I.I. Polzunov. His research interests are focused on forecasting of the consumption of power and electric loads. He has published 13 research papers. . E-mail: na_serebryakov@altke.ru

DOI: 10.17212/1814-1196-2019-3-149-168

Increasing the quality of short-term load forecasting of the delivery point cluster of agricultural producers with a learning machine*

S.O. KHOMUTOVa, N.A. SEREBRYAKOV

Altai State Technical University named after I.I. Polzunov, 46 Lenin Prospekt, Barnaul, 656038, Russian Federation

ahomutov.so@yandex.ru ub na_serebryakov@altke.ru. Abstract

Currently, the problem of power consumption forecasting has become much more urgent. The accuracy of the short-term load forecasting depends on the financial results of the wholesale electricity market members and the power system safety. It is necessary to consider many factors for forecasting of hourly electric load time series with high accuracy. Therefore, this task is non-formalizable. The modern level of information technology allows the use of artificial neural networks (ANN) for solution such problems.

This article deals with the problem of improving the quality of short-term load forecasting of the delivery point cluster of a guaranteeing provider including large agricultural producers with the help of ANN. The questions of choosing the learning paradigm, an opti-

*

Received 15 April 2019.

mal architecture and a learning algorithm of the neural network are considered. The optimal number and size of hidden layers of a multilayer perceptron is determined by means of the geometric pyramid rule. The influence of the learning rate and the momentum rate on the neural network ability to search a global minimum on the error surface in the space of free parameters is investigated. The use of adaptive learning and momentum rate parameters in the learning process has been justified. The main techniques of overcoming the overtraining of neural networks are considered. An increase in the computational efficiency of the ANN ensemble is analyzed. The problems of coding the factor space, as well as preliminary processing and scaling of training and testing data are considered. The practical implementation of ANNs of various architectures and configurations with the help of the machine learning library in Python 3.6 is considered. A comparative analysis of the accuracy of short-term load forecasting of a delivery point cluster, which is obtained with help of neural network and the Delphi method, is made.

Keywords: forecasting, hyperparameter, wholesale electricity market, electric load, factors, delivery point cluster, artificial neural network, learning paradigm, learning algorithm, gradient descent, error surface, global minimum

REFERENCES

1. Toropov A.S., Tulikov A.N. Prognozirovanie pochasovogo elektropotrebleniya regional'noi energosistemy s ispol'zovaniem iskusstvennykh neironnykh setei [Forecasting of regional power supply system power consumption per hour using artificial neural networks]. Vestnik Irkutskogo gosu-darstvennogo tekhnicheskogo universiteta - Bulletin of Irkutsk State Technical University, 2017, vol. 21, no. 5, pp. 143-151. DOI: 10.21285/1814-3520-2017-5-143-151.

2. Domanov V.I., Bilalova A.I. Prognozirovanie ob"emov energopotrebleniya v zavisimosti ot iskhodnoi informatsii [Forecasting power consumption based on source information]. Vestnik YuUr-GU. Seriya: Energetika - Bulletin of South Ural State University. Series: Power Engineering, 2016, vol. 16, no. 2, pp. 59-65. DOI: 10.14529/power160208.

3. Gao G., Lo K., Lu J.F., Fan F.L. A short-term electricity price forecasting scheme for power market. World Journal of Engineering and Technology, 2016, vol. 4, pp. 58-65.

4. Kirpichnikova I.M., Saplin L.A., Solomakho K.L. Prognozirovanie ob"emov potrebleniya elektroenergii [Energy consumption forecasting]. Vestnik YuUrGU. Seriya: Energetika - Bulletin of South Ural State University. Series: Power Engineering,, 2014, vol. 14, no. 2, pp. 16-22.

5. Stankevich T.S. Razrabotka metoda operativnogo prognozirovaniya dinamiki razvitiya le-snogo pozhara posredstvom iskusstvennogo intellekta i glubokogo mashinnogo obucheniya [Development of operational prediction method of forest fire dynamics based on artificial intelligence and deep machine learning]. Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta - Bulletin of Irkutsk State Technical University, 2018, vol. 22, no. 9, pp. 111-120. DOI: 10.21285/1814-35202018-9-111-120.

6. Voevoda A.A., Romannikov D.O. Sintez neironnoi seti dlya realizatsii rekurrentnogo metoda naimen'shikh kvadratov [Synthesis of a neural network for the implementation of the recursive leastsquares method]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo uni-versiteta - Science bulletin of the Novosibirsk state technical university, 2018, no. 3 (72), pp. 33-42. DOI: 10.17212/1814-1196-2018-3-33-42.

7. Ruzic S., Vuckovic A., Nikolic N. Weather sensitive method for short term load forecasting in electric power Utility of Serbia. IEEE Transactions on Power Systems, 2003, vol. 18, no. 4, pp. 1581-1586.

8. Hayes A. First links in the Markov chain. American Scientist, 2013, vol. 101, pp. 92-97.

9. Nikolaeva Yu.V. Metod generatsii vykhodnoi vyborki dlya zadachi neirosetevoi klassifikatsii rynochnykh situatsii [Method of output sample generation for neuronet classification problem of market situations]. Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta - Bulletin of Irkutsk State Technical University, 2017, vol. 21, no. 12, pp. 86-92. DOI: 10.21285/1814-3520-2017-12-86-92.

10. Korikov A.M., Nguen A.T. Neiro-nechetkaya klassifikatsiya ob"ektov i ikh sostoyanii [A neuro-fuzzy classification of objects and their states]. Nauchnyi vestnik Novosibirskogo gosudar-stvennogo tekhnicheskogo universiteta - Science bulletin of the Novosibirsk state technical university, 2018, no. 3 (72), pp. 73-86. DOI: 10.17212/1814-1196-2018-3-73-86.

11. Genco S., Yildiray P., Umran S. An artificial neural network model for Na/K geother-mometer. Proceedings World Geothermal Congress, Bali, Indonesia, 2010, pp. 1-10.

12. Kingma D.P., Ba L.J. ADAM: a method for stochastic optimization. 3rd International Conference for Learning Representations, San Diego, 2015, arXiv: 1412.6980.

13. Duchi J., Hazan E., Singer Y. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, 2011, vol. 12, pp. 2121-2159.

14. Ruder S. An overview of gradient descent optimization algorithms. Ithaca, NY, ArXiv.org, 2017, arXiv: 1609.04747.

15. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Salakhutdinov R. Dropout: a simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 2014, vol. 15, pp. 1929-1958.

16. Li S., Wang P., Goel L. A novel wavelet-based ensemble method for short-term load forecasting with hybrid neural networks and feature selection. IEEE Transactions on Power Systems, 2016, vol. 31, iss. 3, pp. 1788-1798.

17. Gerget O.M., Meshcheryakov R.V. Primenenie informatsionnyk hmetodov, neironnykh setei I geneticheskogo algoritma dlya resheniya zadachi vybora skhemy lecheniya [Applying information methods, neural networks and genetic algorithms for solving the problem of selecting a scheme of treatment]. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universi-teta - Science bulletin of the Novosibirsk state technical university, 2018, no. 3 (72), pp. 7-20. DOI: 10.17212/1814-1196-2018-3-7-20.

18. Rajan D.V., Sourav M., Thakur S.S. An efficient approach for short-term load forecasting using historical data. International Journal of Engineering Research and Technology, 2012, vol. 1, iss. 3, pp. 1-9.

19. Masood N.A., Ahsan Q. A methodology for identification of weather sensitive component of electrical load using empirical mode decomposition technique. Energy and Power Engineering, 2013, vol. 5, pp. 293-300.

20. Karamov D.N., Naumov I.V., Perzhabinskii S.M. Matematicheskoe modelirovanie otkazov elementov elektricheskoi seti (10 kv) avtonomnykh energeticheskikh sistem s vozobnovlyaemoi raspredelennoi generatsiei [Mathematical modelling of failures of electrical grid (10 kv) of autonomous energy systems with renewable distributed generation]. Izvestiya Tomskogopolitekhnicheskogo universiteta. Inzhiniring georesursov - Bulletin of the Tomsk Polytechnic University. Geo Assets Engineering, 2018, vol. 329, iss. 7, pp. 116-130.

Для цитирования:

Хомутов С.О., СеребряковН.А. Повышение качества краткосрочного прогнозирования электропотребления группы точек поставки электроэнергии сельхозпроизводителей с помощью инструментов машинного обучения // Научный вестник НГТУ. - 2019. - № 3 (76). -С. 149-168. - DOI: 10.17212/1814-1196-2019-3-149-168.

For citation:

Khomutov S.O., Serebryakov N.A. Povyshenie kachestva kratkosrochnogo prognozirovaniya elektropotrebleniya gruppy tochek postavki elektroenergii sel'khozproizvoditelei s pomoshch'yu in-strumentov mashinnogo obucheniya [Increasing the quality of short-term load forecasting of the delivery point cluster of agricultural producers with a learning machine]. Nauchnyi vestnik Novosibir-skogo gosudarstvennogo tekhnicheskogo universiteta - Science bulletin of the Novosibirsk state technical university, 2019, no. 3 (76), pp. 149-168. DOI: 10.17212/1814-1196-2019-3-149-168.

ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 76, No 3, 2019, pp. 149-168

i Надоели баннеры? Вы всегда можете отключить рекламу.