CC BY
51
УДК 004.896 https://doi.org/10.18503/2311-8318-2021-2(51)-52-60
Серебряков H.A.
Алтайский государственный технический университет им. И.И. Ползунова, г. Барнаул
Применение ансамбля глубоких нейронных сетей в задачах
краткосрочного прогнозирования почасового электропотребления гарантирующего поставщика электроэнергии
В настоящее время около 60% генерирующего оборудования в энергосистеме России приходится на тепловые электрические станции. Для эффективного управления режимом функционирования энергосистемы, вследствие малой маневренности тепловой генерации, необходима прогнозная информация о почасовой электрической нагрузке всех потребителей. В связи с этим покупка электроэнергии на оптовом рынке электроэнергии и мощности (ОРЭМ) предполагает краткосрочное прогнозирование собственного почасового электропотребления. Гарантирующие поставщики закупают необходимые объемы электроэнергии на ОРЭМ для дальнейшей ее продажи конечным потребителям. Ошибки краткосрочного прогнозирования электропотребления ухудшают финансовые показатели гарантирующих поставщиков, а также увеличивают цену на электроэнергию для конечных потребителей за счет оплаты необоснованных пусков в работу и остановов генерирующего оборудования, а также дополнительных потерь электроэнергии, вызванных выбором неоптимальной схемы электрических сетей. Данная статья посвящена вопросам повышения точности краткосрочного прогнозирования почасового электропотребления групп точек поставки гарантирующего поставщика электроэнергии с помощью инструментов искусственных нейронных сетей, в том числе глубокого обучения. Новизна работы заключается в учете при краткосрочном прогнозировании почасового электропотребления гарантирующего поставщика предложенных автором дополнительных влияющих факторов, а также в подборе наиболее подходящего нейросетевого алгоритма прогнозирования. Произведено сравнение точности прогнозирования нейросетевых моделей, учитывающих различный набор факторов. Выполнен сравнительный анализ точности краткосрочного прогнозирования электропотребления многослойного персептрона, одномерной и двухмерной сверточных нейросетей, рекуррентной нейросети, ансамбля глубоких нейросетей, а также метода экспертных оценок на ретроспективных и фактических данных. На тестовой выборке данных ансамбль нейронных сетей продемонстрировал среднюю ошибку прогнозирования величиной 1,05%, что на 1,99% ниже ошибки прогноза многослойного персептрона. Относительно фактических данных ансамблевый нейросетевой алгоритм продемонстрировал ошибку прогноза величиной 2,45% на годовом интервале, что на 0,14% ниже ошибки прогноза, полученного с помощью метода экспертных оценок.
Ключевые слова: искусственная нейронная сеть, краткосрочное прогнозирование электропотребления, ошибка прогнозирования, алгоритм прогнозирования, оптовый рынок электроэнергии и мощности, факторы, гиперпараметры, обучающая выборка, свободные параметры, стохастический градиентный спуск, обучение.
Введение
Необходимым условием надежного функционирования энергосистемы любого уровня является поддержание постоянного баланса между выработкой и потреблением электрической энергии. Около 60% генерирующего оборудования в энергосистеме приходится на тепловые электрические станции. Так как пуск в работу теплового генерирующего оборудования занимает более шести часов [1], то для эффективного управления режимом работы энергосистемы необходим краткосрочный почасовой прогноз электропотребления всех потребителей (Short-Term Load Forecasting - STLF). В условиях функционирования рынка электроэнергии точность прогнозов потребления существенно влияет на технологические и экономические показатели энергосистемы [2]. Ошибки прогноза потребления электроэнергии ведут к необоснованным пускам и остановам генерирующего оборудования, а также выбору неоптимальной схемы электрических сетей.
Покупка электроэнергии на оптовом рынке электроэнергии и мощности (ОРЭМ) предполагает краткосрочное прогнозирование собственного почасового электропотребления. Отклонения фактического электропотребления от прогнозного торгуются на ОРЭМ по невыгодной цене. Гарантирующие поставщики (ГП)
© Серебряков h.A., 2021
закупают необходимые объемы электроэнергии на ОРЭМ с помощью зарегистрированных групп точек поставки (ГТП) для последующей ее продажи конечным потребителям. Ошибки краткосрочного прогнозирования почасового электропотребления ухудшают финансовые показатели самого ГП, а также увеличивают цену для конечных потребителей.
Новизна работы заключается в учете при краткосрочном прогнозировании почасового электропотребления ГТП ГП предложенных автором дополнительных факторов (факторы ГТП ГП) [3]:
- запаздывания изменений электропотребления по отношению к изменениям температуры наружного воздуха;
- отключений питающих электрических сетей 6110 кВ;
- графика функционирования потребителей электроэнергии с максимальной мощностью свыше 670 кВт;
- наличия центрального отопления и водоснабжения в населенных пунктах, обслуживаемых данным ГП.
В связи с учетом дополнительных факторов при прогнозе электропотребления ГТП ГП остаются открытыми вопросы выбора оптимального алгоритма краткосрочного прогнозирования электропотребления. В условиях неопределенности традиционные методы математической статистики или имитационного моделирования не позволяют строить адекватные модели объектов [4]. В настоящее время активно развиваются
технологии искусственного интеллекта и машинного обучения. Рассмотренные информационные технологии являются высокоэффективным инструментом для решения широкого перечня задач, которые относятся к слабоформализуемым или неформализуемым [5].
Статистические подходы к STLF обычно нуждаются в математической модели, которая представляет электрическую нагрузку как функцию различных факторов, таких как время, погода и класс потребителей [6]. В работе [7] авторами предложено представить почасовую электрическую нагрузку ГП в виде матричного произведения столбца влияющих факторов и матрицы свободных коэффициентов. В этом случае задача краткосрочного прогнозирования электропотребления сводится к поиску значений матрицы свободных коэффициентов с помощью инструментов искусственных нейронных сетей.
В настоящее время разработано множество методов STLF, которые можно разделить на методы математической статистики, искусственного интеллекта и гибридные методы [8]. Несмотря на большое количество разработанных алгоритмов краткосрочного прогнозирования электропотребления, ни один из них не может быть назван универсальным. В работах [9-12] применены устаревшие методы машинного обучения, такие как трехслойные персептроны, метод опорных векторов и главных компонент и т.д. В настоящее время передовые позиции в области машинного обучения занимают алгоритмы глубоких нейронных сетей: свер-точные нейронные сети, рекуррентные нейронные сети, а также их ансамбли. Однако глубокие нейронные сети ввиду большого количества параметров, оптимизируемых в процессе обучения, склонны к эффекту переобучения и сходимости алгоритма к локальным минимумам на поверхности ошибки. Стандартные методы борьбы с переобучением, такие как случайное прореживание связей между нейронами (Dropout) [13] и пакетная нормализация входных данных (Batchnor-malization) [14], при решении задачи краткосрочного прогнозирования почасового электропотребления га-рантирующего поставщика позволили добиться увеличения точности прогнозирования. Действенными способами увеличения сходимости алгоритма обучения и уменьшения эффекта переобучения нейросетей являются методы ансамблирования нескольких нейронных сетей, а также ранняя остановка алгоритма обучения нейросети после достижения максимума обобщающей способности. Композиционные методы (или ансамбли) классификации формируют набор различных моделей классификации для достижения лучшей точности, чем у каждой модели в отдельности [15].
Целью данной работы является повышение точности краткосрочного прогнозирования почасового элек-тропотребления ГП с помощью инструментов искусственных нейронных сетей, в том числе глубокого обучения.
Задачами исследования являются:
- разработка нейросетевого алгоритма краткосрочного прогнозирования почасового электропотребления ГТПГП;
- оценка эффективности применения современных адаптивных оптимизаторов функции энергии ошибки для обучения глубоких нейронных сетей;
- сравнительный анализ точности краткосрочного прогнозирования электропотребления ГТП ГП нейросетевых моделей, учитывающих различный набор факторов;
- сравнительный анализ точности краткосрочного прогнозирования электропотребления разработанного ансамблевого нейросетевого алгоритма, одиночных нейронных сетей, а также метода экспертных оценок на фактических и ретроспективных данных;
- оценка величины экономического эффекта от увеличения точности краткосрочного прогнозирования почасового электропотребления ГП.
Разработка ансамблевого нейросетевого
алгоритма краткосрочного прогнозирования почасового электропотребления ГП
Разработка нейросетевого алгоритма краткосрочного прогнозирования почасового электропотребления гарантирующего поставщика предполагает оптимизацию в различных ее проявлениях. Свободные параметры нейросети оптимизируются в процессе обучения на статистических данных - обучающей выборке. Обучение современных глубоких искусственных нейронных сетей (ИНС) происходит на основании алгоритма обратного распространения ошибки. В данном случае имеется задача оптимизации, целевым параметром которой является функция энергии ошибки ИНС J.
В настоящее время наиболее успешным способом оптимизации сложных функций является алгоритм градиентного спуска (Gradient Descent Algorithm). Если целевая функция дифференцируема по своим параметрам, то градиентный спуск является относительно эффективным методом оптимизации [16]. Стохастический градиентный спуск работает без проблем при оптимизации выпуклых целевых функций. Однако функция энергии ошибки многослойной нейронной сети в большинстве случаев будет являться невыпуклой функцией. То есть данная функция имеет множество локальных минимумов, плато и седловых точек, в окрестности которых градиент принимает нулевое или положительные значения. Данное обстоятельство способствует замедлению сходимости алгоритма градиентного спуска в область глобального минимума поверхности ошибки.
Современные инструменты машинного обучения позволяют реализовать алгоритм обратного распространения ошибки с адаптивным, в процессе обучения, параметрами скорости обучения и момента инерции, такие как метод адаптивной инерции (Adaptive Momentum Estimation - Adam) [16]. Алгоритм Adam основан на идее коррекции параметра скорости обучения за счет накопления градиента функции потерь J в сочетании с импульсным методом. Во-первых, рассчитывается первый момент, который представляет собой экспоненциальное скользящее среднее значений градиента функции потерь J и его скорректированное значение:
m (n) = Pm (n -1) + (1 -ft) g (n);
4 \ m (n)
m I n) =—, v ) 1 _pn>
(1)
где т(п) - экспоненциальное скользящее среднее значений градиента функции потерь 3; - сглаживающая
константа, значение которой по умолчанию равно 0,9; т (п) - скорректированное значение экспоненциального скользящего среднего значений градиента функции потерь 3; g(n) = У3(п) -градиент функции потерь на шаге обучающего цикла п.
Далее рассчитывается второй момент, который представляет из себя среднюю нецентрированную дисперсию функции потерь ,/и ее скорректированное значение:
V (n ) = ß2 V (n-1) + (1 -ß2) g2 (n);
V ( n )
)( n ) =
1 -ß2
(2)
где v(n) - нецентрированная дисперсия функции потерь J; р2 - сглаживающая константа, значение которой по умолчанию равно 0,999; v (n) - скорректированное значение нецентрированной дисперсии функции потерь J.
Корректировка моментов m(n) и v(n) производится для искусственного увеличения данных параметров на начальных итерациях обучающего цикла. Дельта-правило коррекции свободных параметров нейронной сети при использовании алгоритма Adam принимает вид
w (n
1)= w (nh-J^
Vv (n)
-m
(n),
(3)
где ^у(п) - вес синаптической связи ме^ду нейронами I и ] на эпохе обучения п; ^ - коэффициент скорости обучения сети; е - сглаживающая константа, значение которой по умолчанию равно 0,01.
Параметры нейросети, которые не могут быть оптимизированы в процессе обучения, относятся к категории гиперпараметров:
- количество и размер скрытых слоев ИНС;
- вид функции активации;
- коэффициенты скорости обучения и момента инерции;
- количество итераций обучающего цикла.
До недавнего времени единственным способом оптимизации гиперпараметров являлся простой перебор различных вариантов архитектур, типов нейронов, начальных условий, методов обучения и дальнейший выбор наиболее удачного решения [17]. Однако современные инструменты машинного обучения позволяют автоматизировать процесс оптимизации гиперпараметров. Одним из наиболее успешных алгоритмов оптимизации гиперпараметров нейронных сетей является алгоритм Hyperband [18]. В начале работы данного алгоритма задается набор оптимизируемых гиперпараметров, диапазон изменения каждого гиперпараметра и дискретность шага поиска. Далее моделируются нейросетевые модели всевозможной конфигурации гиперпараметров из заданного диапазона. Затем в процессе обучения после некоторого количества эпох отбрасывается половина конфигураций нейросетей, показавших худшую точность прогнозирования. Процесс продолжается, пока не останутся 2-3 наилучшие конфигурации нейросети. Например:
- искомый гиперпараметр: количество скрытых слоев;
- диапазон изменения гиперпараметра [1; 10];
- шаг поиска 1.
На рис. 1 представлены кривые обучения многослойного персептрона с различным количеством скрытых слоев (Hidden Layer) на тестовой выборке данных.
Как видно из графиков на рис. 1, оптимальным количеством скрытых слоев в многослойном персептроне является два. Уменьшение или увеличение количества скрытых слоев ухудшает обобщающую способность данной ИНС.
Алгоритмы прогнозирования электропотребления могут быть классифицированы на две категории: одиночные модели прогнозирования и ансамбли из нескольких моделей [19]. С помощью алгоритма Hyperband определена оптимальная конфигурация для:
1. Многослойного персептрона (MLP), состоящего из:
- входного слоя размером 336 сенсорных элементов;
- первого скрытого слоя размером 96 нейронов с сигмоидальной функцией активации и 1 порога активации;
- второго скрытого слоя размером 48 нейронов с сигмоидальной функцией активации и 1 порога активации;
- выходного слоя размером 24 нейрона с сигмоидальной функцией активации.
Всего количество свободных параметров ИНС составляет 36363. Обучение модели происходит на основании метода адаптивной инерции Adam с начальной скоростью обучения rj0 = 0,02.
2. Одномерной сверточной нейросети (CNN_1D), состоящей из:
- входного слоя размером 336 сенсорных элементов (Input Layer);
- слоя пересортировки входных данных к виду, необходимому для их обработки CNN (Reshape);
- двух слоев одномерной свертки, состоящих из 22-х ядер свертки размером 2 элемента (Conv1D);
- слоя одномерного пулинга (MaxPooling1D);
- слоя преобразования входного массива данных в одномерный вектор-столбец (Flatten);
- скрытого слоя размером 120 нейронов с кусочно-линейной функцией активации REL U и 1 порога активации;
- выходного слоя размером 24 нейрона с сигмоидальной функцией активации.
• 1 hidden layer —•— 2 hidden layer
Рис. 1. Кривые обучения многослойного персептрона с различным количеством скрытых слоев (Hidden Layer) на тестовой выборке данных
Данная нейросеть имеет свободных 21089 параметров. Обучение модели происходит на основании алгоритма адаптивной инерции Adam с начальной скоростью обучения = 0,02.
3. Двухмерной сверточной нейросети (CNN_2D), состоящей из:
- входного слоя размером 336 сенсорных элементов (Input Layer);
- слоя пересортировки входных данных к виду, необходимому для их обработки CNN (Reshape);
- двух слоев двухмерной свертки (Conv2D);
- слоя двухмерного пулинга (MaxPooling2D);
- слоя преобразования входного массива данных в одномерный вектор-столбец (Flatten);
- скрытого слоя размером 84 нейронов с сигмои-дальной функцией активации REL U и 1 порога активации;
- выходного слоя размером 24 нейрона сигмои-дальной функцией активации.
Общее количество свободных параметров 70063. Обучение модели происходит на основании алгоритма Adam с начальной скоростью обучения = 0,01.
4. Сверточно-рекуррентной нейросети (LSTM), которая состоит из:
- входного слоя размером 336 сенсорных элементов (Input Layer);
- слоя пересортировки входных данных к виду, необходимому для их обработки сверточными слоями (Reshape);
- двух слоев одномерной свертки, состоящих из 22-х ядер свертки размером 2 элемента (ConvlD);
- слоя одномерного пулинга (MaxPoolinglD);
- слоя преобразования входного массива данных в одномерный вектор-столбец (Flatten);
- рекуррентного слоя типа LSTM размером 120 нейронов с сигмоидальной функцией активации;
- выходного слоя размером 24 нейрона с сигмоидальной функцией активации.
Данная сверточно-рекуррентная нейронная сеть имеет 75 152 свободных параметров. Обучение модели происходит на основании алгоритма Adam с начальной скоростью обучения % = 0,02.
5. Ансамбля нейронных сетей (Ensemble), состоящего из вышеперечисленных нейронных сетей, включенных на параллельную работу, и блока усреднения по ансамблю (Average). Данная нейросеть имеет 221 887 свободный параметров. Обучение модели происходит на основании алгоритма адаптивной инерции Adam с начальной скоростью обучения = 0,02.
Моделирование и прогнозирование осуществлялось с помощью библиотеки глубокого обучения Keras на языке программирования Python 3.6.
Входным вектором для данных нейросетей является одномерный вектор-столбец размером 336 элементов, соответствующий почасовым суточным величинам электропотребления и основных влияющих факторов [20]. Выходом моделей является вектор-столбец размером 24 элемента, соответствующий почасовому суточному прогнозу электропотребления гарантирующего поставщика. Основой для обучающей выборки являются статистические данные о почасовом электропотреблении группы точек поставки (ГТП) «Южная», зарегистрированной за гарантирующим поставщиков
АО «Алтайкрайэнерго», а также величине 14-ти влияющих факторов за период с 01.04.2016 по 30.12.2019 (1368 тренировочных примеров):
- фактическое электропотребление (случайная величина, распределенная по нормальному закону с математическим ожиданием (М.О.) M =4 0,74 и среднеквадратичным отклонением (СКО) с = 11,22);
- порядковый номер дня в году;
- порядковый номер дня недели;
- порядковый номер часа суток;
- признак праздничного дня;
- признак каникул в образовательных учреждениях;
- признак наличия центрального отопления;
- признак наличия горячего водоснабжения;
- признак наличия холодного водоснабжения;
- относительная длительность светового дня;
- признак режима работы крупных потребителей;
- ветро-холодовой индекс (случайная величина, распределенная по нормальному закону с М.О. M = 4,7 и СКО с = 14,9);
- дисперсия суточных значений температуры воздуха, учитывающая динамику изменений температуры (случайная величина, распределенная по нормальному закону с М.О. M = 2,54 и СКО с = 19,7);
- количество осадков, выпавших в светлое время суток (случайная величина, распределенная по показательному закону с параметром X = 0,71).
27.03.2016 г. произошёл последний переход на летнее время в Алтайском крае, в связи с чем значительно изменилась форма суточного графика электропотребления. Использование данных за период до 01.04.2016 г. ухудшает точность прогнозирования почасового электропотребления данной ГТП.
Структурная схема ансамбля нейросетей, предназначенных для краткосрочного прогнозирования почасового электропотребления ГП представлена на рис. 2.
Ансамбль нейросетей, изображенный на рис. 2, имеет более 220 тыс. свободных параметров. Данная нейронная сеть, ввиду большого количества свободных параметров, будет склонна к схождению к локальным минимумам на поверхности ошибки. Современные оптимизаторы функции энергии ошибки позволяют более эффективно достигать окрестности глобального минимума поверхности. На рис. 3 представлены кривые изменения средней абсолютной процентной ошибки прогнозирования почасового электропотребления гарантирующего поставщика (кривые обучения) при использовании различных оптимизаторов функции энергии ошибки на тестовой выборке данных. Средняя абсолютная процентная ошибка (Mean Absolute Percentage Error - MAPE) прогноза почасового электропотребления ГТП ГП вычислялась на основании выражения
1 N 24 I рФакт _ рпрогноз I
MAPE = - YY1 /*—-100, (4)
Ш ¿—i ¿—i факт '
N k=1 i=1 pik
где р^акт - фактическое электропотребление ГП в час i
7 ППОГНОЗ Т^Т-ГТ
суток k; pik - прогнозное электропотребление ГТП ГП в час i суток k; N - количество суток в выборке данных.
reshape__18:
Reshape
conv1d_18: Conv1D
conv1d_19: Conv1D
input 11: InputLayer
1 i r
reshape_20: Reshape reshape_19: Reshape
1 I r
conv2d 8: Conv2D conv1d 20: Conv1D
\ i Г
conv2d 9: Conv2D conv1d 21: Conv1D
max_pooling1d_8: MaxPooling1D
X
dense_52: Dense
max_pooling2d_5: MaxPooling2D
z
max_pooling1d_9 MaxPooling1D
flatten_8: Flatten flatten_9: Flatten
l r 1
dense 54: Dense dense 57: Dense
1 r 1
dense 55: Dense dense 58: Dense
lstm_5: LSTM
dense_56: Dense
I
dense_53: Dense
average_5: Average
Рис. 2. Структурная схема ансамбля нейросетей, предназначенных для краткосрочного прогнозирования почасового электропотребления ГП
Средняя абсолютная А процентная ошибка МАРЕ, %
- 2 optimizer -SGD
Эпоха обучения RMSprop
• 1 optimizer = Adam — —•— 3 optimizer -
Рис. 3. Кривые изменения средней абсолютной процентной ошибки прогнозирования почасового электропотребления гарантирующего поставщика при использовании различных оптимизаторов функции энергии ошибки на тестовой выборке
Как видно из графиков на рис. 3, метод адаптивной инерции Adam демонстрирует наибольшую эффективность при оптимизации свободных параметров ансамбля нейронных сетей, предназначенного для краткосрочного прогнозирования электропотребления. Применение метода адаптивной инерции позволило снизить ошибку краткосрочного прогнозирования почасового электропотребления на тестовой выборке данных
по итогам 50-ти эпох обучающего цикла на 3,15% (с 4,36 до 1,21%) по сравнению с ошибкой прогноза нейросети, обученной с помощью метода стохастического градиентного спуска $ОВ). Метод среднеквадратичного распространения (ЕМБргор) не продемонстрировал стабильной точности прогнозирования на тестовой выборке.
Также действенным способом борьбы с переобучением является ранний останов алгоритма обучения ИНС после достижения наибольшей обобщающей способности. Показателем достижения ИНС максимума обобщающей способности является факт малого изменения абсолютной ошибки в течение эпохи обучения:
1 ЕЧ' (n )< 0,05% ,
C jeC
(5)
где С - множество нейронов выходного слоя; Де,(п) - изменение абсолютной ошибки нейрона ] выходного слоя в течение эпохи обучения п.
Точность алгоритмов краткосрочного прогнозирования почасового потребления электроэнергии ГП на фактических и ретроспективных данных оценивалась с помощью обратно-пропорциональной величины средней абсолютной процентной ошибки (МАРЕ) прогнозирования. Статистическая обработка результатов расчёта средних ошибок прогнозирования на актуальных и ретроспективных данных производилась с помощью числовых характеристик случайной величины:
1. Математического ожидания (М.О.):
M (5) = N15*,
N k=1
(6)
где М(5) - математическое ожидание; 5к -среднесуточная абсолютная процентная ошибка прогнозирования почасового электропотребления ГТП ГП в сутки к. 2. Дисперсии:
D(5)= ^¿(5* -M(5))2.
(7)
3. Среднеквадратичного отклонения (СКО):
а(д) = у[Б(Е). (8)
Результаты и их обсуждение
В данном исследовании произведен сравнительный анализ точности краткосрочного прогнозирования почасового электропотребления нейросетевых моделей, учитывающих различный набор факторов:
- модель 1 - учитывает факторы времени, метеорологических условий, дисперсии суточных значений температуры воздуха Вк, режима работы потребителей электроэнергии с присоединенной мощностью свыше 670 кВт, наличия центрального отопления и горячего (холодного) водоснабжения, каникул в образовательных учреждениях;
- модель 2 - учитывает только факторы времени и метеорологических условий;
- модель 3 - учитывает факторы времени, метео-
рологических условий, дисперсии суточных значений температуры воздуха Dk.
Прогнозирование осуществлялось с помощью многослойного персептрона, конфигурация которого описана выше. Обучение и тестирование нейросети происходило в течение 50 эпох обучающего цикла с помощью метода адаптивной инерции Adam. На рис. 4 представлены кривые изменения средней абсолютной процентной ошибки краткосрочного прогнозирования электропотребления ГП нейросетевых моделей, учитывающих различный набор факторов на тестовой выборке данных за период 01.04.2016 г. - 30.12.2019 г.
Из графиков на рис. 4 видно, что применение нейросетевой модели 1, учитывающей факторы времени, метеорологических условий, приведенной дисперсии температуры, а также факторы ГТП ГП, позволило снизить среднюю абсолютную процентную ошибку прогнозирования на тестовых данных по итогам 50-ти циклов обучения на 0,41% (с 1,46 до 1,05%) по сравнению с ошибкой прогноза, полученного с помощью модели 2, учитывающей только факторы времени и метеорологических условий. Модель 3, учитывающая факторы времени, метеорологических условий и приведенной дисперсии температуры, продемонстрировала ошибку прогнозирования величиной 1,35%.
В ходе данного исследования произведен сравнительный анализ точности краткосрочного прогнозирования почасового электропотребления ГТП ГП, полученного с помощью метода экспертных оценок, многослойного персептрона (MLP), одномерной сверточной нейросети (CNN_1D), двухмерной сверточной нейросети (CNN_2D), рекуррентной нейросети типа долго- и краткосрочной памяти (LSTM) и ансамблевого нейросетевого алгоритма (Ensemble). В роли экспертов выступили специалисты отдела по работе на оптовом рынке электроэнергии и мощности АО «Алтайкрай-энерго», которые более 10-ти лет профессионально занимаются прогнозированием электропотребления в целях покупки электроэнергии на ОРЭМ. Отдел по работе на ОРЭМ Алтайкрайэнерго состоит из начальника отдела (эксперт 1) и двух ведущих инженеров (эксперт 2 и эксперт 3). Прогноз собственного электропотребления в данном случае получается на основании коллективной экспертной оценки, полученной на основании выражения
Y = k1Y1 + k2Y2 + k3Y3, (9)
где Y - итоговый прогноз почасового электропотребления; k1 = 0,4 - коэффициент доверия эксперту 1; k2 =k2 = 0,3 - коэффициенты доверия эксперту 2 и эксперту 3 соответственно; Yi - прогноз электропотребления эксперта i.
Для оценки эффективности применения, разработанного ансамблевого нейросетевого алгоритма краткосрочного прогнозирования почасового электропотребления ГТП ГП произведено сравнение точности данного алгоритма и одиночных нейронных сетей на ретроспективных данных. На рис. 5 представлены кривые изменения средней абсолютной процентной ошибки прогнозирования нейросетевых алгоритмов на тестовой выборке данных.
Средняя абсолютная
Рис. 4. Кривые изменения средней абсолютной процентной ошибки краткосрочного прогнозирования электропотребления ГТП ГП нейросетевых моделей, учитывающих различный набор факторов на тестовой выборке данных за период 01.04.2016 г. - 30.12.2019 г.
Средняя абсолютная
А процентная ошибка МАРЕ, %
1 LSTM —•— 2 CNN ID —•— 3 MLP 4 CNN 2D —■— 5 Ensemble
Рис. 5. Кривые изменения средней абсолютной процентной ошибки прогнозирования нейросетевых алгоритмов на тестовой выборке данных
Анализируя численные характеристики случайной величины абсолютной процентной ошибки краткосрочного прогнозирования почасового электропотребления ГТП ГП, можно сделать вывод о том, что данные в табл. 1 коррелируют с графиками на рис. 5. Ансамблевый нейросетевой алгоритм демонстрирует наименьшую среднюю ошибку прогнозирования при наименьшем среднеквадратичном отклонении.
Таблица 1
Численные характеристики случайной величины ошибки почасового прогноза электропотребления ГТП «Южная» нейросетевых алгоритмов на тестовой выборке данных с 01.04.2016 г. по 30.12.2019 г.
Алгоритм LSTM CNN 1D MLP CNN 2D Ensemble
М.О. M(5), % 2,06 1,24 3,04 1,91 1,05
СКО с(5),% 1,24 0,48 1,89 0,6 0,43
ДО. s,% 0,35 0,14 0,54 0,17 0,12
После тестирования разработанных нейросетевых алгоритмов на ретроспективных данных была произведена апробация данных алгоритмов на фактических данных. На рис. 6 представлены фактический и прогнозные суточные профили электропотребления ГТП «Южная» за 28.11.2019 г.
Как видно из графиков на рис. 6, электрическая нагрузка ГТП ГП имеет неравномерное распределение по часам суток. Краткосрочное прогнозирование данного суточного профиля электропотребления является достаточно сложной задачей.
Далее произведен сравнительный анализ точности краткосрочного прогнозирования почасового электропотребления ГТП ГП, полученного с помощью ансамблевого нейросетевого алгоритма и метода экспертных оценок на фактических данных на годовом интервале. В табл. 2 представлены данные о величине среднемесячной абсолютной ошибки краткосрочного прогнозирования почасового электропотребления ГТП ГП по месяцам 2020 года.
А Электропотребление, МВт ч
1 5 10 15 20 Час суток
-1 Метод экспертных оценокМ4Р£'0,94° о - 2 Факт
—«— 3 Ансамбль ИНС МАРЕ 0,7° о Рис. 6. Фактический и прогнозные суточные профили электропотребления ГТП «Южная» за 28.11.2019 г.
Таблица 2
Данные о величине среднемесячной абсолютной ошибки краткосрочного прогнозирования почасового электропотребления ГТП ГП по месяцам 2020 г.
Месяц Среднемесячная MAPE, %
Метод экспертных оценок Ансамбль ИНС
январь 1,93 1,90
февраль 1,84 1,65
март 2,04 1,96
апрель 2,81 2,65
май 3,14 3,53
июнь 2,97 2,62
июль 2,83 2,48
август 2,92 2,72
сентябрь 3,39 3,61
октябрь 2,68 2,26
ноябрь 2,39 2,06
декабрь 2,19 1,94
М.О. М(6), % 2,59 2,45
СКО о(8),% 0,51 0,62
Как видно из табл. 2, относительно фактических данных ансамблевый нейросетевой алгоритм продемонстрировал среднегодовую ошибку прогноза величиной 2,45%, что на 0,14% ниже ошибки прогноза, полученного с помощью метода экспертных оценок.
Заключение
Применение нейросетевой модели, учитывающей, помимо стандартных временных и метеорологических, факторы инерционности изменений электропотребления по отношению к изменениям температуры наружного воздуха, режима работы потребителей электроэнергии с присоединенной мощностью свыше 670 кВт, наличия центрального отопления и горячего (холодного) водоснабжения, позволило снизить среднюю ошибку прогнозирования на тестовых данных на 0,41% (с 1,46 до 1,05%) по сравнению с ошибкой прогноза, полученного с помощью модели, учитывающей только факторы времени и метеорологических условий. Ансамблевый нейросетевой алгоритм краткосрочного прогнозирования почасового электропотребления га-рантирующего поставщика продемонстрировал среднюю ошибку прогнозирования на тестовых данных за период с 01.04.2016 г. по 30.12.2019 г. величиной 1,05%, что на 1,99% ниже ошибки прогноза, полученного с помощью многослойного персептрона. Относительно фактических данных ансамблевый нейросетевой алгоритм продемонстрировал ошибку прогнозирования величиной 2,45% на годовом интервале, что на 0,14% ниже ошибки прогноза метода экспертных оценок.
список литературы
1. Клер А.М., Степанова Е.Л., Максимов A.C. Оптимизация режимов работы ТЭЦ с учетом реального состояния основ -ного оборудования // Теплоэнергетика. 2009. № 6. С. 53-57.
2. Доманов В.И., Билалова А.И. Прогнозирование объемов энергопотребления в зависимости от исходной информации // Вестник ЮУрГУ. Сер. Энергетика. 2016. Т. 16. №2. С. 59-65. DOI: 10.14529/power160208.
3. Серебряков H.A. Анализ факторов, влияющих на совокупное элекгропотребление гарантирующего поставщика // Вестник Иркутского государственного технического университета. 2020. Т. 24. № 2. С. 366-381. doi: https://doi.org/10.21285/1814-3520-2020-2-366-381.
4. Katasev A.S. Neuro-fuzzy model of fuzzy rules formation for objects state evaluation in conditions of uncertainty // Computer Research and Modeling. 2019. Vol. 11(3). Pp. 477-492. doi: 10.20537/2076-7633-2019-11-3-477-492.
5. Станкевич Т.С. Разработка метода оперативного прогнозирования динамики развития лесного пожара посредством искусственного интеллекта и глубокого машинного обучения // Вестник Иркутского государственного технического университета. 2018. Т. 22. № 9. С. 111-120. doi: 10.21285/1814-3520-2018-9-111-120.
6. Masood N.A., Ahsan Q.A Methodology for identification of weather sensitive component of electrical load using empirical mode decomposition technique // Energy and Power Engineering. 2013. Vol. 5. Pp. 293-300.
7. Хомутов С.О., Серебряков H.A. Создание нейросетевой математической модели краткосрочного прогнозирова-ния электропотребления электротехнического комплекса участка районных электрических сетей 6-35 кВ // Транспортные системы и технологии. 2020. Т. 6. № 1. С. 80-91. doi: 10.17816/transsyst20206180-91.
8. Бояркин Д.А., Крупенев Д.С., Якубовский Д.В. Использование методов машинного обучения при оценке надежности электроэнергетических систем методом
Монте-Карло // Вестник ЮУрГУ. Сер. Математическое моделирование и программирование. 2018. Т. 11. №4. С. 146-153. doi: 10.14529/mmp180411.
9. Торопов А.С., Туликов А.Н. Прогнозирование почасового электропотребления региональной энергосистемы с использованием искусственных нейронных сетей // Вестник Иркутского государственного технического университета. 2017. Т. 21. №5. С. 143-151. doi: 10.21285/1814-3520-2017-5-143-151.
10. Кирпичникова ИМ., Саплин Л.А., Соломахо К.Л. Прогнозирование объемов потребления электроэнергии // Вестник ЮУрГУ. Сер. Энергетика. 2014. Т. 14. №2. С. 16-21.
11. Иванин О.А., Директор Л.Б. Применение искусственных нейронных сетей для прогнозирования энергетических нагрузок обособленных потребителей // Теплоэнергетика. 2018. № 5. С. 17-26. doi:10.1134/S0040363618050041.
12. Надтока И.И., Хусейн А.З.Б.М. Краткосрочное прогнозирование электропотребления региона с учетом метеофакторов на основе метода опорных векторов и алгоритма роя частиц // Известия вузов. Электромеханика. 2014. № 3. С. 44-47.
13. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov // Journal of Machine Learning Research. 2014. Vol. 15. Pp. 1929-1958.
14. Iofee S., Szegedy C. Batch Normalization: Accelerating deep network training by reducing internal covariate shift. URL: https://arxiv.org/pdf/1502.03167.pdf (дата обращения: 02.03.2020)
Information in English
15. Жуков A.B., Сидоров Д.Н. Модификация алгоритма случайного леса для классификации нестационарных потоковых данных // Вестник ЮУрГУ. Сер. Математическое моделирование и программирование. 2016. T. 9. №4. C. 86-95. doi: 10.14529/mmp160408.
16. Kingma D.P., Lei Ba J. ADAM: a method for stochastic optimization. URL: https://arxiv.org/pdf/1412.6980.pdf (да-таобращения: 12.12.2020)
17. Воевода A.A., Романников Д.О. Синтез нейронной сети для реализации рекуррентного метода наименьших квадратов // Научный вестник НГТУ. 2018. № 3(72). С. 33-42. doi: 10.17212/1814-1196-2018-3-33-42.
18. Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization / L. Li, K. Jamieson, G. Desalvo, A. Rostamizadeh, A. Talwalkar // Journal of Machine Learning Research. 2018. No. 18 Pp. 1-52. URL: https://arxiv.org/pdf/1603.06560.pdf (дата обращения: 18.04.2021).
19. Wang Z., Srinivasan R. A review of artificial intelligence based building energy use prediction: Contrasting the capabilities of single and ensemble prediction models // Renewable and Sustainable Energy Reviews. 2017. Vol. 75. Pp. 796-808.
20. Методика формирования обучающей выборки в задачах краткосрочного прогнозирования электропотребления гарантирующего поставщика / С.О. Хомутов, Р.Н. Хамитов, А.С. Грицай, Н.А. Серебряков // Известия Тульского государственного университета. Технические науки. 2021. Вып. 2. C. 227-233.
Поступила в редакцию 30 марта 2021 г.
Application of Deep Neural Network Ensemble in a Problem of Short-Term Load Forecasting Guaranteed Electricity Supplier
Nikolay A. Serebryakov
Postgraduate student, Department of Power Supply of Industrial Enterprises, Polzunov Altai State Technical University, Barnaul, Russia. E-mail: Na_serebryakov@altke.ru. ORCID: https://orcid.org/0000-0001-7428-7364.
At present, thermal power plants account for about 60% of generating equipment in the Russian energy system. To effectively control the mode of operation of the power system, due to the low flexibility of thermal generation, predictive information about the hourly electrical load of all consumers is required. in this regard, the purchase of electricity on the wholesale electricity and capacity market (WECM) presupposes a short-term forecast of its own hourly electricity consumption. Suppliers of last resort purchase the required volumes of electricity on the wholesale electricity market for its further sale to end consumers. Errors in short-term forecasting of electricity consumption worsen the financial indicators of guaranteed suppliers, and also increase the price of electricity for end users by paying for unreasonable start-ups and shutdowns of generating equipment, as well as additional losses of electricity caused by the choice of a non-optimal scheme of electrical networks. The most important condition for achieving high accuracy of short-term forecasting is the choice of the optimal forecasting algorithm. This article is devoted to the issues of increasing the accuracy of short-term forecasting of hourly electricity consumption of groups of supply points of a guaranteeing electricity supplier using artificial neural network tools including deep learning. A comparative analysis of the accuracy of short-term prediction of power consumption of a multilayer perceptron, one-dimensional and two-dimensional convolutional neural networks, a recurrent neural network, an ensemble of deep neural networks, as well as the method of expert estimates based on retrospective and actual data has been carried out. on the test
sample of data, the ensemble of neural networks demonstrated an average prediction error of 1.05%, which is 1.99% lower than the forecast error of a multilayer perceptron. With regard to the factual data, the ensemble neural network algorithm demonstrated a forecast error of 2.45% on an annual interval, which is 0.14% lower than the forecast error obtained using the method of expert estimates. An assessment of the expected annual economic effect from an increase in the accuracy of short-term forecasting of electricity consumption was made, which amounted to 256,865.8 rubles.
Keywords: artificial neural network, short-term load forecasting, forecasting error, forecasting algorithm, wholesale electricity and power market, factors, hyperparameters, training sample, free parameters, stochastic gradient descent, training.
References
1. Kler A.M., Stepanova E.L., Maksimov A.S. Enhancement of cHp operating modes taking into account the real state of the primary equipment. Teploenergetika [Thermal Engineering], 2009, no. 6, pp. 53-57. (In Russian)
2. Domanov V.I., Bilalova A.I. Forecasting power consumption based on source information. Vestnik yuzhno-uralskogo gosudarstvennogo universiteta. Seriya: Energetika [Bulletin of the South Ural State University. Series "Power Engineering"], 2016; vol. 16, no. 2, pp. 59-65. doi: https://doi.org/10.14529/power160208 (In Russian)
3. Serebryakov N.A. Analysis of factors affecting the electricity consumption of a delivery point cluster default
provider. Vestnik Irkutskogo gosudarstvennogo tehnich-eskogo universiteta [Proceedings of Irkutsk State Technical University], 2020, vol. 24, no. 2, pp. 366-381. doi: https://doi.org/10.21285/1814-3520-2020-2-366-381 (In Russian)
4. Katasev A.S. Neuro-fuzzy model of fuzzy rules formation for objects state evaluation in conditions of uncertainty. Computer Research and Modeling. 2019, vol. 11(3). pp. 477-492. doi: 10.20537/2076-7633-2019-11-3-477-492.
5. Stankevich T.S. Development of operational prediction method of forest fire dynamics based on artificial intelligence and deep machine learning. Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta [Proceedings of Irkutsk State Technical University], 2018, vol. 22, no. 9, pp. 111-120. doi: 10.21285/1814-3520-2018-9-111-120. (In Russian)
6. Masood N.A., Ahsan Q. A Methodology for identification of weather sensitive component of electrical load using empirical mode decomposition technique. Energy and Power Engineering. 2013. Vol. 5. Pp. 293-300.
7. Khomutov S.O., Serebryakov N.A. Creation of a short-term load forecasting neural network model of electrical engineering complex of section regional electric grid. Transportnye sistemy i tekhnologii [Transportation Systems and Technology], 2020, vol. 6, no. 1, pp. 80-91. doi: 10.17816/transsyst20206100-00. (In Russian)
8. Boyarkin D.A., Krupenev D.S., Yakubovskiy D.V. Machine learning in electric power systems adequacy assessment using Monte Carlo method. Vestnik YuUrGU. Seriya: Ma-tematicheskoe modelirovanie i programmirovanie. [Bulletin of the South Ural State University. Series "Mathematical Modelling, Programming & Computer Software"], 2018, vol. 11, no. 4, pp. 146-153. doi: 10.14529/mmp180411. (In Russian)
9. Toropov A.S., Tulikov A.N. Forecasting of regional power supply system power consumption per hour using artificial neural networks. Vestnik Irkutskogo gosudarstvennogo tehnicheskogo universiteta. [Proceedings of Irkutsk State Technical University], 2017, vol. 21, no. 5, pp. 143-151. https://doi.org/10.21285/1814-3520-2017-5-143-151
(In Russian)
10. Kirpichnikova I.M., Saplin L.A., Solomakho K.L. Energy consumption forecasting. Vestnik yuzhno-uralskogo gosudarstvennogo universiteta. Seriya: Energetika. [Bulletin of the South Ural State University. Series "Power Engineering"], 2014, vol. 14, no. 2, pp. 16-22. (In Russian)
11. Ivanin O.A., Direktor L.B. The Use of Artificial Neural Networks for Forecasting the Electric Demand of Stand-Alone Consumers. Teploenergetika [Thermal Engineering], 2018,
Серебряков H.A. Применение ансамбля глубоких нейронных сетей в задачах краткосрочного прогнозирования почасового электропотребления гарантирующего поставщика электроэнергии // Электротехнические системы и комплексы. 2021. № 2(51). С. 52-60. https://doi.org/10.18503/2311-8318-2021-2(51)-52-60
no. 5, pp. 17-26. https://doi.org/10.1134/S0040363618050041 (In Russian)
12. Nadtoka 1.1., Husejn A.Z.B.M. Short-Term Forecasting of Electricity Consumption of Region Taking Into Account Meteorological Factors Based on Method Support Vectors and the Algorithm of Particle Swarm. Izvestiya vysshih uchebnyh zavedenij. Elektromehanika. [Russian Electromechanics], 2014, no. 3, pp. 44-47. (In Russian)
13. Srivastava N., Hinton G., Krizhevsky A., Sutskever I., Sala-khutdinov R. Dropout: a simple way to prevent neural networks from overfitting. Journal of Machine Learning Research. 2014. Vol. 15, pp. 1929-1958.
14. Iofee S., Szegedy C. Batch Normalization: Accelerating deep network training by reducing internal covariate shift. Available at: https://arxiv.org/pdf/1502.03167.pdf (accessed 02 March 2020)
15. Zhukov A.V., Sidorov D.N. Modification of random forest based approach for streaming data with concept drift. Vestnik YuUrGU. Seriya "Matematicheskoe modelirovanie i programmirovanie. [Bulletin of the South Ural State University. Series "Mathematical Modelling, Programming & Computer Software"], 2016, vol. 9, no. 4, pp. 86-95. doi: 10.14529/mmp160408. (In Russian)
16. Kingma D.P., Lei Ba J. ADAM: a method for stochastic optimization. Available at: https://arxiv.org/abs/1412.6980 (accessed 12 December 2020)
17. Voevoda A.A., Romannikov D.O. Synthesis of a neural network for the implementation of the recursive leastsquares method. Nauchnyi vestnik Novosibirskogo gosudarstvennogo tekhnich-eskogo universiteta. [Scientific Bulletin of NSTU], 2018, no. 3(72), pp. 33-42. doi: 10.17212/1814-1196-2018-3-33-42. (In Russian)
18. Li L., Jamieson K., Desalvo G., Rostamizadeh A., Talwalkar A. Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization. Available at: https://arxiv.org/pdf/1603.06560.pdf (accessed 18 April 2021).
19. Wang Z., Srinivasan R. A review of artificial intelligence based building energy use prediction: Contrasting the capabilities of single and ensemble prediction models. Renewable and Sustainable Energy Reviews. 2017. Vol. 75. Pp. 796-808.
20. Khomutov S. O., Khamitov R. N., Gritsay A. S., Serebry-akov N.A. Method of learning sample forming in the problems of short-term forecasting of power consumption of the last resort supplier. Izvestiya Tulskogo gosudarstvennogo universiteta. Tekhnicheskie nauki [Izvestiya TulGU], 2021, Iss. 2, pp. 227-233. (In Russian)
Serebryakov N.A. Application of Deep Neural Network Ensemble in a Problem of Short-Term Load Forecasting Guaranteed Electricity Supplier. Elektrotekhnicheskie sistemy i kompleksy [Electrotechnical Systems and Complexes], 2021, no. 2(51), pp. 52-60. (In Russian). https://doi.org/10.18503/2311-8318-2021-2(51)-52-60
