CC BY
25
УДК 004.896
DOI: 10.24412/2071-6168-2023-4-185-189
РЕАЛИЗАЦИЯ ГЛУБОКОГО ОБУЧЕНИЯ ДЛЯ ПРОГНОЗИРОВАНИЯ ПРИ ПОМОЩИ
АНСАМБЛЯ НЕЙРОННЫХ СЕТЕЙ
Б.А. Староверов, Р.Н. Хамитов
Рассмотрена взаимосвязь между нейронными сетями глубокого обучения и ансамблями нейронных сетей. Доказано, что при ограниченном размере обучающей выборки применение ансамбля позволяет избежать переобучения при достижении эффективности, как при глубоком обучении. Определен способ формирования ансамбля из ограниченного числа нейронных сетей с ограниченной иерархической архитектурой. Показано преимущество применения ансамбля для краткосрочного прогнозирования электропотребления.
Ключевые слова: нейронные сети, глубокое обучение, ансамбль, прогнозирование, электропотребление.
Повышение эффективности и надежности системы электроснабжения тесно связано с прогнозированием потребления электроэнергии. Точное почасовое прогнозирование обеспечивает оптимальную загрузку генерирующего оборудования, а также позволяет производственному персоналу планировать графики ремонтов, осуществлять оперативные переключения в электросети, рассчитывать режимы работы и выполнять другие технические задачи.
В области прогнозирования одним из направлений последнего десятилетия является применение сетей глубокого обучения. Данный вид сетей обладает большим количеством скрытых слоёв, что позволяет достичь эффективности и гибкости за счет того, что более абстрактные представления вычисляются в терминах менее абстрактных [1,2]. Высокие результаты работы сетей глубокого обучения обусловлены большим количеством настраиваемых коэффициентов (как следствие большого количества промежуточных слоёв). Но при таких условиях, для настройки этих коэффициентов, нужен большой объем обучающей выборки.
При прогнозировании временных рядов, таких как стоимость энергоресурсов, ценных бумаг, потребления электроэнергии, величина ретроспективных данных ограничена. Это связано с тем, что данные быстро устаревают. Например, практика показывает, что при почасовом прогнозировании потребления электроэнергии, данные можно считать свежими, если они не старше 2-3 лет, по причине изменения состава потребителей их параметров, а также изменений в инфраструктуре района, на котором осуществляется прогнозирование. Т.е. обучающая выборка находится в пределах от 24-365-2=17 520 до 24-365-3=26 280. В связи с этим возникает проблема появления ограничений на сложность нейронной сети, чтобы избежать переобучения, и связанная с этим проблема применимости глубокого обучения.
Ранее было установлено [3,4], что наиболее эффективным для краткосрочного почасового прогнозирования являются трехслойные и четырехслойные нейронные сети. Под эффективными понимаются такие нейронные сети, которые обеспечивают прогнозирование с минимально возможной погрешностью. Исходными данными для определения структуры таких сетей являются: размерность входного вектора - 13; размерность выходного вектора (сигнала) прогноза потребления для конкретного времени (часа) суток - 1; объем обучающей выборки - ретроспективные данные почасового потребления электроэнергии за два предыдущих года -17520.
В работе [5] доказано, что для бинарной классификации в многослойной сети с сигмоидальны-ми передаточными функциями число настраиваемых синаптических весов Му должно быть
МХМ0
тшт^-' м
где N - размерность входного вектора; Ы0 - объем или число элементов обучающей выборки.
Подставив в (1) исходные данные, получим:
1*17520 17520
= 11ои.
1+1о§217520 1+14,1
Следовательно, число нейронов в скрытом слое должно быть примерно 75, так как число синаптических весов равно 13+13*75+75 +1=1139.
Другой подход базируется на использовании меры Вапника-Червоненкиса, обозначаемой, как VCdim и определяемой следующим образом [6]:
<УСсИт < 2Иу(1 + 1дМ), (2)
где Ь - число нейронов в скрытом слое; М- общее число нейронов.
Из (2) следует, что минимальное число VCdim примерно равно числу синаптических связей входного и скрытого слоя, а верхняя граница этой меры должна двукратно превышать общее число си-наптических связей сети. Например, для нейронной сети с одним скрытым слоем, имеющим, 75 нейронов, количество обучающих выборок должно браться в пределах, определяемых выражением:
13 • 75 <Ыу< 2(13 • 75 + 75) • (1 + ^(13 + 75 + 1),
или
975 <ИУ< 6300
Для того чтобы сеть обладала свойствами обобщения, необходимо соблюдение зависимости:
>к, (3)
УСсИт у '
где Ыу - общее число обучающих выборок; к - коэффициент превышения числа обучающих выборок над мерой Вапника - Червоненкиса.
Чем больше число к, тем больше доверительный интервал получения точности прогнозирования, получаемой в процессе обучения, и тем выше обобщающие свойства нейронной сети [7]. Экспериментальные исследования показывают, что при коэффициенте к = 2^3 нейронная сеть обладает свойствами обобщения, т.е. отсутствует эффект переобучения.
При к = 2 объем обучающей выборки практически равен числу данных почасового потребления электроэнергии за два года. Таким образом, второй подход подтверждает предыдущий расчет необходимого количества нейронов в скрытом слое.
Тем не менее, в последнее время появились работы, в которых, как утверждается, применение нейронных сетей глубокого обучения и в виде одиночного применения, и в составе ансамблей дает увеличение точности прогнозирования при использовании данных электропотребления за 3 года [8,9]. В данных работах приводятся результаты прогнозирования с помощью четырехслойной нейронной сети прямого распространения 36 363, с помощью сверточной нейронной сети с 70 063 настраиваемыми параметрами. Как видно, в данных нейронных сетях число настраиваемых параметров превосходит число обучающих выборок, что неизбежно приводит к переобучению, какие бы методы обучения не применялись: адаптивной инерции, раннего останова и т.п. Это доказывают и приведенные в работах данные по точности прогнозирования. Допустимая погрешность достигается только при большом усреднении прогнозных данных: за месяц, год. Эксперименты показывают, что такие переобученные сети наряду с прогнозами, имеющими приемлемую точность, периодические выдают прогнозы с большими погрешностями, которые скрадываются при усреднении прогноза. В тоже время при краткосрочном прогнозировании важна точность каждого прогнозного часа.
Однако, модели на основе одиночных ИНС не обладают необходимой универсальностью по отношению к видам прогнозов и особенностям графиков потребления электроэнергии. Но непосредственный переход на сети глубокого обучения напрямую, как показано выше, не дает необходимого эффекта. Однако многослойность, которая, в принципе, положительно влияет на результаты прогнозирования можно воспроизвести при помощи применения ансамблей нейронных сетей.
Как правило, ансамбли нейронных сетей применяются при необходимости решения задач классификации и регрессии с большими объемами данных (более 100000 примеров) [10,11]. При этом ансамбль формируется из нейронных сетей, точность которых для заданной плотности распределения данных незначительно превышает угадывание. Они имеют простую архитектуру и быстро обучаются. Идеологическая основа построения таких ансамблей базируется на центральной предельной теореме теории вероятностей [12]. Эта теорема определяет, что последовательность частичных средних, следующих нормальному распределению, вычисленному по набору из п независимых случайных величин с большой дисперсией с, стремится к нормальному распределению:
(4)
В результате, если усреднить прогнозы нескольких нейронных сетей, то полученное средне-квадратическое отклонение может быть уменьшено в ^п раз. Другими словами, при определенных условиях среднее значение прогнозов отдельных моделей меньше, чем неопределенность отдельных моделей. Поэтому, точность повышается с ростом числа нейронных сетей, по которым усредняется выходной сигнал. Однако количество сетей берется в диапазоне от 100 до 500, так как при увеличении п уменьшение среднеквадратического отклонения становится медленнее. Необходимо обеспечить статическую независимость ошибок прогнозирования отдельных нейронных сетей. Для этого могут быть использованы различные методы, например, обучение нейронных сетей на разных выборках и использование их различных моделей. Однако для этого также требуется большой объем обучающей выборки.
Поэтому для повышения точности прогноза при использовании ансамблей, сформированных из ограниченного числа нейронных сетей с ограниченной архитектурой и количеством нейронных сетей, требуется обеспечить выполнение следующих условий:
- использовать наиболее эффективные, т.е. имеющих минимально возможные погрешности аппроксимации, нейронные сети;
- обеспечить статистическую независимость прогнозируемых результатов каждой из нейронной сети.
Так как нейронные сети обучаются на одной и той же выборке ретроспективных данных, необходимо использовать различные виды сетей. На ограниченном наборе нейросетей полную статистическую независимость реализовать практически невозможно. Следовательно, путем нахождения средней величины результатов прогнозов отдельных нейросетей добиться уменьшения дисперсии результирующего прогноза, как это предлагается в некоторых исследованиях [9], является проблематичным.
Более перспективным методом является применение взвешенного суммирования:
Уй(у)=^Г=1^й(х)+ Ь, (5)
где эд (х) -выходной сигнал с i -той нейросети; уй (у) - результирующий прогноз; у - вектор прогнозов отдельных нейронных сетей первого уровня; at - текущий весовой коэффициент.
В этом случае дисперсия результирующего сигнала (прогноза) будет определяться выражением:
Оя = ^ (Z"=i а- of +2 Zi<j Ъ a]ri]aia^), (6)
где Гц - коэффициент корреляции между выходными сигналами с i-той и/-той нейронными сетями.
Реально выходные сигналы с i- и j- той нейросетей коррелированы. Поэтому определение весовых коэффициентов является самостоятельной задачей. Поэтому для получения результирующего прогноза с меньшей дисперсией, чем у прогнозов, отдельных нейронных сетей первого уровня ансамбля, необходимо использовать многоуровневую аппроксимацию. Для этого на втором уровне иерархического ансамбля использовать нейронные сети входной вектор которых формируется из У;(х) , i = 1,2,..., п выходных сигналов нейронных сетей первого уровня ансамбля для k-тых моментов времени, а за обучающие величины принимаются истинные значения энергопотребления в эти моменты - yk. В итоге такого обучения нейронные сете второго уровня будет иметь выходные сигналы:
=Ук +£к. (7)
Из (5) также следует, что дисперсия результирующего сигнала выходных сигналов нейронных сетей второго уровня в значительной мере зависят от корреляции входных сигналов сетей первого уровня. Поэтому необходима специальная операция по отбору таких эффективных сетей, выходные сигналы которых будут взаимно компенсировать погрешности аппроксимации. Для определения условий такой компенсации можно использовать теорему Байеса [13]:
= 1 Р(П) , (8)
где Р(Ог|П,-)- условная вероятность отрицательной погрешности i-той нейронной сети (ej(x) =у(х) — У; (х))< 0 )) на k-том шаге прогнозирования при положительной погрешности /-той нейронной сети (еДх) =у(х) —уДх))>0 ) на том же шаге; Р(П,|О;) - условная вероятность положительной погрешности /-той нейронной сети при отрицательной погрешности i-той нейронной сети; Р(П) и Р(О) - вероятности появления положительных и порицательных погрешностей.
В идеальном случае для полной взаимной компенсации погрешностей необходимо равенство P(Oj|n;)=P(n;|Oj) при Р(П) = Р(О), что, практически маловероятно. Поэтому необходима разработка специального алгоритма по отбору эффективных нейронных сетей, выходные сигналы которых минимально коррелированы при максимально возможной компенсации взаимной погрешности прогнозов [14, 15, 16].
Очевидно, что для дальнейшего уменьшения дисперсии погрешности прогнозирования можно сформировать из обученных нейронных сетей также третий уровень, который будет осуществлять аппроксимацию результатов прогнозирования нейронных сетей второго уровня. Но при этом необходимо учитывать, что взаимная корреляция входных переменных при переходе от одного уровня к другому будет возрастать. Это накладывает ограничение на количество уровней ансамбля.
Таким образом, на основании анализа аппроксимирующих возможностей нейронных сетей для уменьшения дисперсии погрешностей прогнозирования энергопотребления предлагается следующая концепция формирования ансамбля. Ансамбль должен иметь многоуровневую иерархическую структуру, формируемую из эффективных нейронных сетей, отобранных таким образом, что выходные сигналы нейросетей нижнего уровня, на которых обучаются нейросеть следующего уровня, имели минимальную корреляцию и обеспечивали максимально возможную взаимную компенсацию погрешности отдельных прогнозов с помощью этой нейросети [17].
По существу, трёхуровневый ансамбль из нейронных сетей может быть реализован одиночной многослойной нейронной сетью, т.е. заменен одной сетью глубокого обучения. Но при ансамблевой структуре благодаря целенаправленному отбору отдельных нейронных сетей и их последовательному контролируемому обучению реализуется принцип глубокого обучения при ограниченном размере обучающей выборки, присущей краткосрочному прогнозированию потребления электрической энергии.
Заключение. В связи с ограниченным объемом обучающих выборок проведена оценка возможной статистической зависимости прогнозов отдельных нейросетей и разработана оригинальная концепция построения систем прогнозирования электропотребления в виде ансамбля, который бы обеспечивал за счет многоуровневой аппроксимации уменьшение результирующей погрешности.
Установлено, что ансамбль должен иметь иерархическую структуру, формируемую из эффективных нейронных сетей, обученных таким образом, что выходные сигналы нейросетей нижнего уровня (метаданных) имели минимальную корреляцию и обеспечивали максимально возможную взаимную компенсацию погрешности отдельных прогнозов. Компенсация осуществляется с помощью нейронной сети следующего уровня, обученной в качестве мегаалгоритма на выборке выходных сигналов предыдущего уровня.
Ансамбль из нейронных сетей обеспечивает технологию глубокого обучениям при ограниченном размере обучающей выборки благодаря целенаправленному отбору отдельных нейронных сетей и последовательному контролю их обучения.
Список литературы
1. Созыкин А.В. Обзор методов обучения глубоких нейронных сетей // Информатика, вычислительная техника и управление // Вестник ЮУрГУ. Серия «Вычислительная математика и информатика», 2017, т. 6, № 3. С. 29-59.
2. Schmidhuber J. Deep Learning in Neural Networks: an Overview // Neural Networks. 2015.Vol. 1. P. 85-117, DOI: 10.1016/j.neunet.2014.09.003.
3. Staroverov B.A. Universal energy consumption forecasting system based on neural network ensemble / B.A. Staroverov, B.A. Gnatyuk // Optical Memory and Neural Networks, 2016. Issue 3. P. 198-202.
4. Староверов Б.А. Метод синтеза ансамбля нейронных сетей для прогнозирования потребления электроэнергии / Б.А. Староверов, В.Н. Шведенко // Научно-технический вестник Поволжья. 2018. №3. С. 64-66
5. Haykin S. Neural networks, a comprehensive foundation. N.Y.: Macmillan College Publishing Company, 1994.
6. Вапник В.Н. О равномерной сходимости частот появления событий к их вероятностям // Теория вероятностей и ее применения / В.Н. Вапник, А.Я. Червоненкис, 1971. Т. 16, № 2. С. 264-280.
7. Hush D. Progress in supervised neural networks / D.Hush, B.Horne // IEEE Signal Processing Magazine, 1993, January. P. 359-366.
8. Серебряков Н.А. Применение адаптивного ансамблевого нейросетевого метода для краткосрочного прогнозирования электропотребления электротехнического комплекса районных электрических сетей // Омский научный вестник. 2021. № 1 (175). С. 39-45. DOI: 10.25206/1813-8225- 2021-175-3945.
9. Серебряков Н.А. Разработка метода и нейросетевого алгоритма краткосрочного прогнозирования почасового электропотребления гарантирующего поставщика / диссертация на соискание ученой степени кандидата технических наук, Омск, 2021
10. Терехов С.А. Гениальные комитеты умных машин // Научная сессия МИФИ-2007. IX Все-российск "Нейроинформатика-2007": Лекции по нейроинформатике. Часть 2. М.: МИФИ, 2007. С. 11-42.
11. Гончаров М. Ансамбли моделей. [Электронный ресурс]. URL: http://www.businessdataanalytics.ru/download/ModelEnsembles.pdf (дата обращения: 10.04.2023).
12. Куликов Е.И. Прикладной статистический анализ. М.: Горячая линия-Телеком, 2008. 464 с.
13. Тулупьев А.Л. Байесовские сети. Логиковероятностный подход / А.Л. Тулупьев, С.И. Нико-ленко, А.В. Сироткин // Наука. 2006. 608 c.
14. Староверов Б.А. Алгоритм формирования ансамбля нейронных сетей для информационной системы прогнозирования электропотребления // Информационно-экономические аспекты стандартизации и технического регулирования. 2019. № 5(51). С. 37-42.
15. Хомутов С.О. Методика формирования обучающей выборки в задачах краткосрочного прогнозирования электропотребления гарантирующего поставщика // Хомутов С.О., Хамитов Р.Н., Грицай А.С., Серебряков Н.А. // Известия Тульского государственного университета. Технические науки. 2021. Вып. 2. С. 227-233.
16. Хамитов Р.Н. О методе построения обучающей выборки в задачах краткосрочного прогнозирования электропотребления с учетом критериев информативности и компактности // Хамитов Р.Н., Грицай А.С., Тюньков Д.А., Дугин Д.Д., Синицин Г.Э. // Промышленная энергетика. 2017. № 8. С. 23-28.
17. Староверов Б.А. Применение нейросетевых информационных систем прогнозирования для принятия решений по оптовой закупке электроэнергии // Информационно-экономические аспекты стандартизации и технического регулирования. 2021. № 4(62). С. 65-70.
Староверов Борислав Алексеевич, аспирант, starover@gmail. com, Россия, Омск, Омский государственный технический университет,
Хамитов Рустам Нуриманович, д-р техн. наук, проффессор, apple_27@list.ru, Россия, Омск, Омский государственный технический университет
IMPLEMENTATION OF DEEP LEARNING FOR FORECASTING USING AN ENSEMBLE OF NEURAL NETWORKS
B.A. Staroverov, R.N. Khamitov
The relationship between deep learning neural networks and neural network ensembles is considered. It is proved that with a limited size of the training sample, the use of an ensemble allows to avoid retraining when achieving efficiency, as with deep learning. The method of forming an ensemble of a limited number of neural networks with a limited hierarchical architecture is determined. The advantage of using an ensemble for short-term forecasting of power consumption is shown.
Key words: neural networks, deep learning, ensemble, forecasting, power consumption.
Star over ov Borislav Alekseevich, postgraduate, starover@gmail. com, Russia, Omsk, Omsk State Technical University,
Khamitov Rustam Nurimanovich, doctor of technical sciences, professor, apple_27@list.ru, Russia, Omsk, Omsk State Technical University
УДК 69.059.25
DOI: 10.24412/2071 -6168-2023-4-189-192
ФАКТОРЫ, ВЛИЯЮЩИЕ НА ПАРАМЕТРЫ КАПИТАЛЬНОГО РЕМОНТА
А.А. Лапидус, И.Ф. Тельпиз
С целью улучшения технического состояния жилищного фонда, возникает необходимость в своевременном проведении капитального ремонта в многоквартирных домах. Однако, недостаточная изученность данной темы приводит к многочисленным ошибкам в процессе разработки проекта капитального ремонта, организации и его проведения, что значительно влияет на качество конечного продукта. В данной статье приведены основные факторы, влияющие на значимые параметры проекта капитального ремонта, а также на выбор организационно-технологических решений при капитальном ремонте с целью сокращения сроков ведения работ, улучшения качества работ и сокращения стоимости выполнения. Все полученные данные в ходе анализа были систематизированы и разделены на критерии. Основные критерии, которые рассматриваются в данной статье, влияющие на выбор организаци-онно-технологическогорешения условно можно разделить на 3 группы:- сроки проведения капитального ремонта объекта; стоимость капитального ремонта объекта; обеспечение заданным уровнем качества выполнения работ. Также авторами были рассмотрены, какие существуют факторы на стадии разработки проекта и соответственно, его реализации.
Ключевые слова: параметры проекта, капитальный ремонт МКД, факторы, организационно-технологические решения, эффективность, качество, стоимость, сроки.
Осуществление капитального ремонта многоквартирных домов, также как и новое строительство, имеет стадии проекта: в первую очередь, осуществляется разработка проекта, в ходе которого выбираются организационно-технологические решения и непосредственно реализация этого проекта, то есть выполнение ремонтных работ. Часто в процессе выполнения ремонтно-строительных работ возникают проблемы, связанные с отклонением от проектной документации, а именно сроков выполнения работ, качества и стоимости. Каждый проект характеризуется тремя основными параметрами: масштаб проекта, стоимость и время реализации. Если представить это графически, то можно утверждать, что проекты реализуются в трехмерном пространстве «масштаб-стоимость-время».
Именно данные параметры обеспечивают нормативное качество конечной продукции. Изменение одной стороны треугольника влияет на другие стороны, то есть изменение одного из параметров влияет на изменение других. Все рассматриваемые параметры строго ограничены, соответственно, изменяя состав работ, меняются время и стоимость проекта, желая сократить стоимость, приходится отказываться от тех или иных работ, меняя состав и время их выполнения, либо использовать более дешевые аналоги материалов.
Поэтому грамотно выстроенная система управления и разработанная документация будет являться залогом достижения поставленной цели.
Материалы и методы.
При проведении капитального ремонта требуется учитывать разносторонние окружающие факторы, влияющие на эффективность реализуемых мероприятий, как на стадии разработки проекта капитального ремонта, так и на стадии его реализации и, соответственно, выполнения всех ремонтных ра-
Масштаб
Стоимость
Время
Рис. 1. Параметры проекта 189
