CC BY
21Научная статья УДК 338.4
doi: 10.47576/2949-1894 2023 1 132
ИССЛЕДОВАНИЕ МЕТОДОВ АНАЛИЗА БОЛЬШИХ ДАННЫХ НА ПРЕДМЕТ ПРИМЕНИМОСТИ ДЛЯ РЕШЕНИЯ ЭКОНОМИЧЕСКИХ ЗАДАЧ В ЭЛЕКТРОЭНЕРГЕТИКЕ
Никольский Николай Вениаминович
Московский финансово-юридический университет (МФЮА), Москва, Россия, nikolay.nikolsky@gmail.com
Королева Людмила Павловна
Московский финансово-юридический университет (МФЮА), Москва, Россия
Аннотация. В статье рассматриваются история возникновения термина «большие данные», его основные характеристики, приводится обзор методов обработки больших информационных массивов, а также дается оценка возможности их использования для решения экономических задач в электроэнергетике. Отмечается, что одним из ключевых факторов производства во всех сферах социально-экономической деятельности пятого технологического уклада, повышающим конкурентоспособность страны, качество жизни граждан и обеспечивающим экономический рост и национальный суверенитет, являются данные в цифровом виде. Электроэнергетика является базисом развития современной цивилизации. Делается вывод, что в условиях развития цивилизации основным местом применения инновационных и в первую очередь цифровых технологий должна стать электроэнергетика.
Ключевые слова: технологический уклад; большие данные; сбор данных; слияние и интеграция данных; сетевой анализ; статистический анализ; имитационное моделирование; искусственные нейронные сети; машинное обучение; прогнозная аналитика; генетический алгоритм; визуализация аналитических данных.
Для цитирования: Никольский Н. В., Королева Л. П. Исследование методов анализа больших данных на предмет применимости для решения экономических задач в электроэнергетике // Инновационная экономика: информация, аналитика, прогнозы. -2023. - № 1. - С. 132-139. https://doi.org/10.47576/2949-1894_2023_1_132.
Original article
STUDY OF METHODS FOR ANALYZING BIG DATA FOR APPLICABILITY TO SOLVING ECONOMIC PROBLEMS IN THE ELECTRIC POWER INDUSTRY
Nikolsky Nikolai V.
Moscow University of Finance and Law (MFLA), Moscow, Russia, nikolay. nikolsky@gmail. com
Koroleva Lyudmila P.
Moscow University of Finance and Law (MFLA), Moscow, Russia
Abstract. The article discusses the history of the emergence of the term «big data», its main characteristics, provides an overview of methods for processing large information arrays, and also assesses the importance of their use for solving economic problems in the electric power industry. It is noted that one of the key factors of production in all areas of socio-economic activity of the fifth technological order, which increases the country's competitiveness, the quality of life of citizens and ensures economic growth and national sovereignty, is digital data. The electric power industry is the basis for the development of modern civilization. It is concluded that in the conditions of the development of civilization, the main place for the application of innovative and, first of all, digital technologies should be the electric power industry.
Keywords: technological structure; big data; data collection; data fusion and integration; network analysis; statistical analysis; simulation modeling; artificial neural networks; machine learning; predictive analytics; genetic algorithm; visualization of analytical data.
For citation: Nikolsky N. V., Koroleva L. P. Study of methods for analyzing big data for applicability to solving economic problems in the electric power industry. Innovative economy: information, analysis, prognoses, 2023, no. 1, pp. 132-139. https://doi.org/10.47576/2949-1894 2023 1 132.
В соответствии с разработанной и утвержденной распоряжением Правительства Российской Федерации от 28.07.2017 № 1632-р программой «Цифровая экономика Российской Федерации» ключевым фактором производства во всех сферах социально-экономической деятельности, повышающим конкурентоспособность страны, качество жизни граждан и обеспечивающим экономический рост и национальный суверенитет, являются данные в цифровом виде.
Одной из ключевых инфраструктурных отраслей, в которой предполагается производить инновационные изменения, является электроэнергетика. В процессе преобразования на территории Российской Федерации планируется организовать цифровую электрическую сеть последнего поколения, характерную для нового технологического уклада и обладающую принципиально новыми эксплуатационными показателями.
Данная роль электроэнергетической отрасли принадлежит по праву, так как она является базисом развития современной цивилизации. Трудно представить сферу деятельности общества, которую не затрагивает электрическая энергия. Производство любой продукции основано на использовании в технологическом процессе электрической энергии. Таким образом, в условиях развития цивилизации основным местом применения инновационных и в первую очередь цифровых технологий должна стать как раз электроэнергетика.
В настоящее время всеми электроэнергетическими компаниями под эгидой Министерства энергетики Российской Федерации производится разработка и утверждение концепций, стратегий и нормативной документации для масштабного внедрения цифровых инновационных решений во все сферы технологической и инвестиционной деятельности компаний.
В соответствии с прогнозом, опубликованном в докладе Министерства энергетики Российской Федерации, с 2017 по 2025 г. размер рынка вырастет на 23 % и составит 64 млрд долларов [1] (рис. 1). При этом зафиксированный фактический прирост цифровых технологий в 2020-2021 гг. в соответствии с докладом ВШЭ [3, с. 219] составляет 6 %, а общий прирост по экономике - 5 % [2, с. 219].
Для обозначения структурированных и неструктурированных данных, обладающих огромным объемом и значительным многообразием используется термин «большие данные» (англ. Big data). Широкое применение термину дал редактор журнала «Nature», который подготовил 3 сентября 2008 г. специ -альный выпуск на тему «Как могут повлиять на будущее науки технологии, открывающие возможности работы с большими объемами данных?». В редакции были собраны материалы о феномене взрывного роста объемов и многообразии обрабатываемых данных и технологических перспективах в парадигме вероятного скачка «от количества к качеству»; термин был предложен по аналогии с расхожими в деловой англоязычной среде
Рисунок 1 - Размер рынка цифровых технологий в энергетике [1]
метафорами «большая нефть», «большая руда» [3].
Следует отметить, что одним из неотъемлемых свойств больших данных является содержание смысловой нагрузки, которая скрыта внутри них и способствует возникновению трудностей этического направлении при обработке и использования результатов обработки данных.
В качестве определяющих для больших данных традиционно выделяются три характеристики [4]:
- Объем (англ. volume) - величина физического объема данных.
- Скорость (англ. velocity) - скорость накопления и необходимости обработки и получения результатов.
- Многообразие (англ. variety) - разнообразие структурированных и полуструктурированных данных.
В последнее время к ним добавились еще три немаловажных характеристики:
- Достоверность (англ. veracity) - величина, определяющая достоверность как самого набора данных, так и результатов его анализа.
- Изменчивость (англ. variability) - величина, характеризующая отклонение пиковых значений измеряемой величины от среднего, получаемое по причине наличия сезонности или социальных явлений. Чем нестабильнее и переменчивее поток данных, тем сложнее его анализировать.
- Ценность (англ. value) - значение или значимость. Как и любая информация, большие данные могут быть простыми или сложными для восприятия и анализа.
Для анализа и обработки больших данных применяется большое количество разных специализированных программных инстру-
ментов. В общем случае анализ заключается в проверке, очистке, преобразовании и моделировании данных с целью получения полезной информации, выводов и оснований для принятия решений.
Целью данной статьи является проведение анализа существующих методов и подходов к анализу больших данных для определения возможных способов их практического применения в деятельности электроэнергетической компании.
Рассмотрим наиболее распространенные методы и техники анализа больших данных.
1. Сбор данных (Data Mining).
Метод сбора и анализа большого массива цифровых данных, целью которого является выделение новых, ранее неизвестных принципов, закономерностей и связей с целью их дальнейшей обработки и применения при решении конкретных стратегических задач в различных сферах деятельности человека.
Разновидностями анализа являются:
- выявление ассоциативных правил (англ. association rule learning);
- категоризация и классификация по выявленным в процессе анализа признакам;
- кластерный анализ с созданием групп объектов со сходными характеристиками;
- регрессионный анализ выявления влияния независимой переменной на группу зависимых.
Реализация задач Data Mining является источником новых знаний, на базе которых строятся концепции развития, вырабатываются стратегии управления, принимаются операционные и стратегические решения, позволяющие адаптировать решения непосредственно изменения объекта управления.
В настоящее время методы Data Mining получили широкое распространение в финансовом секторе, в маркетинге и при социальных исследованиях.
В электроэнергетике данный метод может использоваться, например, при прогнозировании технологического нарушения (аварии), для этого необходимо получить большой массив технологической информации, сделать выборки в моменты возникновения аварии, основной задачей является выявление трендов и характерных событий (например, частичные разряды в изоляции, несимметрия значений токов и напряжений и т. д.), предшествующих возникновению аварийной ситуации.
В соответствии со статистикой ВШЭ [2, с. 231] технология анализа больших данных (Интернет вещей) в электроэнергетике на сегодняшний день используется в 7 % компаний.
2. Слияние и интеграция данных (Data fusion, Data integration).
Группа методов, направленных на слияние и интеграцию неэквивалентных разнородных данных с целью приведения их к единой фор -ме, базису, позволяющему в дальнейшем использовать полученную выборку для последующих этапов и задач анализа.
Задача обработки разномерных данных с целью приведения к единообразному виду является одной из наиболее часто встречающихся при выполнении операций с большими данными на практике. Сформированный до настоящего времени информационный массив от различных устройств и преобразо -вателей как в промышленности, так и в жизни обладает не только разными интерфейсами, но также и имеет различия в свойствах и характеристиках. Поэтому при решении любой, даже самой простой, задачи по анализу информации всегда приходится преобразовывать информацию к единому сопоставимому виду.
Системы интеграции данных могут обеспечивать интеграцию данных на физическом, логическом и семантическом уровне. Интеграция данных на физическом уровне с теоретической точки зрения является наиболее простой задачей и сводится к конверсии данных из различных источников в требуемый единый формат их физического представления. Интеграция данных на ло-
гическом уровне предусматривает возможность доступа к данным, содержащимся в различных источниках, в терминах единой глобальной схемы, которая описывает их совместное представление с учетом структурных и, возможно, поведенческих (при использовании объектных моделей) свойств данных. Поддержку единого представления данных с учетом их семантических свойств в контексте единой онтологии предметной области обеспечивает интеграция данных на семантическом уровне.
В электроэнергетике, как и в любой другой отрасли, существует большое количество разрозненной информации: технологические параметры режима работы энергосистемы, планы и графики выполнения работ, информация с систем видеонаблюдения, информация о человеческих ресурсах, оборудовании и материалах, финансовая информация и т. д. Упорядочивание, слияние и обработка определенных разрозненных информационных массивов для заданных управленческих и операционных задач является одной из ключевых задач, стоящих на сегодняшний день перед электроэнергетикой.
3. Сетевой анализ (Network Analysis).
Это процесс исследования заданной области с использования сетей и теории графов для описания отношений между объектами и анализа их отношений, возникающих в результате их взаимодействия.
Если акторы изображаются в виде узлов, а их отношения в виде линий между парами узлов, концепция социальной сети превращается из метафоры в оперативный аналитический инструмент, использующий математический язык теории графов, матричной и линейной алгебры.
Основное предположение состоит в том, что лучшее объяснение социальных явлений дает анализ отношений между объектами. Этот анализ проводится путем сбора статистических данных, сформированных в матричной форме [5].
Применение данного метода анализа информации в электроэнергетике сводится исключительно для решения прогнозных задач в стратегическом управлении компанией. Построение графов целесообразно для анализа текущего положения компании на рынке с учетом всех субъектов рынка (генерация,
гарантированный поставщик, сбыт, промышленные предприятия района и т. д.).
4. Статистический анализ.
Метод анализа статистической информации, заключающийся в количественной оценке большого статистического массива информации, направленный на определение общих закономерностей социального развития.
В общем виде статистический анализ заключается в сборе, систематизации, исследовании, анализе и интерпретации данных.
Основными примерами статистического анализа являются:
- A/B тестирование (англ. A/B testing, Split testing) - метод маркетингового исследования, заключающийся в сравнении контрольной выборки с набором тестовых групп, в которых переменными являются один или несколько характерных показателей. Задачей является определение лучшего сценария изменения целевого показателя.
- Анализ временных рядов, который заключается в выявлении структуры временных рядов с целью их прогнозирования. Данный метод используется для построения модели процесса послужившего источником зарождения данного временного ряда, а также с целью прогнозирования дальнейших числовых значений данного ряда.
Среди сфер применения данного метода в электроэнергетике целесообразно выделить финансовый менеджмент и управление активами компании.
5. Имитационное моделирование (Simulation modeling).
Метод исследования заданной области (реальной системы) путем создания ее приближенной или упрощенной модели, при этом виртуальная модель должна с заданной точностью описывать все процессы, свойственные исследуемой системе. Для исследования используется последовательность опытов и анализов, которые позволяют генерировать информацию о предполагаемом поведении системы с целью ее подробного исследования. Следует отметить, что любая модель всегда является неким упрощением исследуемой системы, акцент в которой делается на проблемном вопросе, поэтому при моделировании вводится ряд допущений. При помощи имитационного моделирования
можно проводить необходимые эксперименты и получать требуемые результаты, например в виде статистических исследованиях или иной информации.
Используется моделирование с целью лучшего разбора и анализа определенных сторон исследуемой системы, прогнозирования внутренних и внешних процессов, в которых задействована данная система, и поведения самой системы.
Имитационное моделирование является одним из ключевых методов для внедрения при рассмотрении электроэнергетической сферы. Одним из наиболее популярных терминов, встречающихся в отраслевой литературе в последнее время, является «цифровой двойник», причем термин используется как в отношении электроэнергетических объектов (станция, подстанция, завод и т. д.). В этом случае созданная модель включает в себя исключительно технологические параметры задействованного в технологическом процессе оборудования, средств и предметов труда, а также и в отношении всей компании в целом с учетом бизнес-процессов, управления человеческими, информационными, материальными и иными ресурсами, выстраивания оптимальной коммуникационной модели и т. д.
В любом случае создание имитационной модели для электроэнергетики является одной из наиболее приоритетных задач отрасли, на созданных моделях должны исследоваться и выбираться долгосрочные стратегии и тактические управленческие воздействия как при выработке технической политики компании, так и при организации всех бизнес-процессов.
6. Искусственные нейронные сети.
Математическая модель, построенная на основе виртуально созданной искусственной совокупности соединенных и взаимодействующих между собой элементарных нейронов. Нейронная сеть строится по принципу биологических нервных клеток живого организма [6].
Искусственной заменой нейронам служат элементарные процессоры, которые имеют один или несколько входных сигналов от аналогичных процессоров и выходной сигнал. Данные процессоры соединяются в одну единую сеть и могут выполнять достаточно сложные задачи.
В настоящее время алгоритмы искусственных нейронных сетей используются при решении задач планирования, прогнозирования, распознавания образов, поддержки в принятии решений и др.
Первоначально данное определение было сформулировано вследствие первых попыток искусственного воспроизведения работы клеток головного мозга человека, авторами термина принято считать У. Маккало-ка и У. Питтса.
Отдельно стоит выделить метод машинного обучения (англ. machine learning), который заключается в обучении искусственной нейронной сети в процессе решения схожих элементарных задач.
Различаются два основных типа обучения:
- индуктивное обучение или обучение по прецедентам, которое основано на выявлении эмпирических закономерностей в данных;
- дедуктивное обучение предполагает формализацию знаний экспертов и перенос их знаний в компьютер в виде информационной базы;
- ансамблевое обучение (англ. ensemble learning), заключающееся в одновременном применении нескольких алгоритмов обучения для цели повышения результатов исследования и принятия решений.
Применение искусственных нейронных сетей в энергетике также имеет достаточно высокий потенциал, наиболее приоритетным способом является разработка и создание программных комплексов по поддержке в принятии решений диспетчерского персонала, это актуально как в текущей деятельности при выстраивании рабочих и ремонтных режимов электроснабжения потребителей, так и при минимизации ущерба при ликвидации технологических нарушений.
Аналогичные комплексы в поддержке принятия решений актуальны для иных направлений деятельности компаний: эксплуатация оборудования (силовое, вторичное и т. д.), финансы, инвестиционная деятельность, управление персоналом и др.
В соответствии со статистикой ВШЭ [2, с. 237] технология искусственного интеллекта в электроэнергетике на сегодняшний день используется в 1,1 % компаний.
7. Прогнозная аналитика.
Метод анализа больших данных, направленный на выявление закономерностей, предшествующих определенным событиям с целью формирования прогнозов развития процессов и изменения объекта управления и помощи в принятии управленческих решений.
В процессе составления прогноза анализируется огромное количество исторической и статистической информации с целью определения характерных признаков, предшествующих определенным событиям. При выявлении закономерности она становится определяющим событием в процессе построения прогнозов на будущее при формировании стратегических планов развития и управляющих воздействий.
Область применения прогнозной аналитики на сегодняшний день весьма велика, от систем мониторинга технологическими системами в различных отраслях экономики страны до систем поддержки в принятии стратегических решений финансового сектора, маркетинга, менеджмента, социальных дисциплин.
В электроэнергетике данный метод дополняет методы анализа данных Data Mining в части анализа и поиска характерных симптомов, предшествующих крупным технологическим авариям, с целью построения программно-технических комплексов, реагирующих на данные факторы и не допускающих возникновение аварийных ситуаций.
8. Генетический алгоритм (Genetic Algorithm).
Генетический алгоритм назван так в соответствии с естественным отбором (естественная эволюция, мутация, отбор), который заключается в увеличении приспособленности особей с течением времени к условиям внешней среды. Суть его состоит в случайном подборе и адаптации искомых параметров при систематизации и оптимизации информационных данных [7].
Используется алгоритм в первую очередь для решения оптимизационных задач, которые заключаются в нахождении экстремумов целевых функций. Целевая функция, как правило, зависит от ряда входных переменных, при решении задачи осуществляется поиск входных величин, при которых целевая функция принимает максимальное и минимальное значения.
Минусом генетического алгоритма является огромное количество вычислений, которые необходимы выполнить и, следовательно, существенное время, которое приходится затрачивать на их выполнение.
В электроэнергетике данный метод применим для частных задач, например поиска оптимального режима загруженности генераторов, оптимального режима электроснабжения потребителей и т. д.
9. Визуализация аналитических данных.
Другим наиболее часто встречающим на практике методом анализа больших данных является их визуализация. Визуализация заключается в наглядном представлении полученных в процессе применения любых аналитических, математических и статистических методов обработки информации результатов. Основное назначение визуализации - представление информации в виде, пригодном для восприятия человеком для упрощения исследования проблемной области, целеполагания, выработки решений и т. д.
На сегодняшний день визуализация встречается при решении любых задач анализа информации и заключается в формировании рисунков, диаграмм, изображений, иногда анимации, интерактивного просмотра и видеороликов. Существует множество различных программных инструментов, которые выполняют функции визуализации данных, помимо этого в составе каждого программного комплекса входят элементы, отвечаю-
щие за конечное предоставление данных в визуальном виде.
Проведенный в статье анализ позволяет сделать следующие выводы:
1) внедрения цифровых технологий в электроэнергетике является актуальной и целесообразной задачей;
2) в настоящее время в электроэнергетике существует большое количество задач, которые возможно и целесообразно решать с помощью внедрения методов и алгоритмов анализа цифровой информации;
3) наиболее перспективными направлениями применения анализа больших информационных данных для электроэнергетики является:
- Data Mining (сбор данных) и прогнозная аналитика для решения задачи предотвращения аварийных ситуаций;
- имитационное моделирование для решения задач создания «цифрового двойника» как объекта электроэнергетики (станция, подстанция, завод и т. д.), так и всей компании в целом с учетом всех бизнес и технологических процессов;
- искусственные нейронные сети для решения задачи разработки программных продуктов помощи в принятии решения человеком;
- также целесообразными для решения широкого спектра задач в электроэнергетике являются следующие методы: data fusion (слияние данных), data integration (интеграция данных), методы и способы визуализации получаемых данных.
Список источников
1. Доклад Министерства энергетики Российской Федерации «Цифровизация энергетики». URL: https:// in.minenergo.gov.ru/energynet (дата обращения: 14.03.2023).
2. Индикаторы цифровой экономики : статистический сборник / Минцифры России, Федеральная служба государственной статистики, Высшая школа экономики НИУ. URL: https://issek.hse.ru/mirror/pubs/share/780810055. pdf (дата обращения: 14.03.2023).
3. Volume 455 Issue 7209, 4 September 2008. URL: https://www.nature.com/nature/volumes/455/issues/7209 (дата обращения: 14.03.2023).
4. Что такое Big Data и почему их называют «новой нефтью». Статья РБК Тренды. URL: https://trends.rbc.ru/ trends/innovation/5d6c020b9a7947a740fea65c (дата обращения: 14.03.2023).
5. Шорохова И. С., Кисляк Н. В., Мариев О. С. Статистические методы анализа : учеб. пособие / М-во образо -вания и науки Рос. Федерации, Урал. федер. ун-т. Екатеринбург : Урал. ун-т, 2015. 300 с
6. Гафаров Ф. М., Галимянов А. Ф. Искусственные нейронные сети и приложения : учеб. пособие. Казань : Казан. ун-т, 2018. 121 с.
7. Панченко Т. В. Генетические алгоритмы : учебно-методическое пособие. Астрахань : Астраханский ун-т, 2007. 87 с.
References
1. Report of the Ministry of Energy of the Russian Federation "Digitalization of energy". URL: https://in.minenergo.gov. ru/energynet (accessed: 03/14/2023).
2. Indicators of the digital economy : Statistical collection / Ministry of Finance of Russia, Federal State Statistics Service, Higher School of Economics of the National Research University. URL: https://issek.hse.ru/mirror/pubs/ share/780810055.pdf (accessed: 03/14/2023).
3. Volume 455 Issue 7209, 4 September 2008. URL: https://www.nature.com/nature/volumes/455/issues/7209 (accessed: 03/14/2023).
4. What is Big Data and why they are called "new oil". RBC article Trends. URL: https://trends.rbc.ru/trends/innovatio n/5d6c020b9a7947a740fea65c (date of reference: 03/14/2023).
5. Shorokhova I. S., Kislyak N. V., Mariev O. S. Statistical methods of analysis: textbook. manual / Ministry of Education and Science of the Russian Federation. Federation, Ural. feder. un-T. Yekaterinburg: Ural. un-t, 2015. 300 s
6. Gafarov F. M., Galimyanov A. F. Artificial neural networks and applications: textbook. stipend. Kazan: Kazan. un-t, 2018. 121 p.
7. Panchenko T. V. Genetic algorithms : an educational and methodical manual. Astrakhan: Astrakhan University, 2007. 87 p.
Сведения об авторах
НИКОЛЬСКИЙ НИКОЛАЙ ВЕНИАМИНОВИЧ - аспирант кафедры общематематических и естественно-научных дисциплин, Московский финансово-юридический университет (МФЮА), Москва, Россия, nikolay.nikolsky@ gmail.com
КОРОЛЕВА ЛЮДМИЛА ПАВЛОВНА - кандидат экономических наук, доцент кафедры экономики и управле -ния, Московский финансово-юридический университет (МФЮА), Москва, Россия
Information about the authors
NIKOLSKY NIKOLAI V. - Postgraduate Student, Department of General Mathematics and Natural Sciences, Moscow Financial and Law University (MFLA), Moscow, Russia, nikolay.nikolsky@gmail.com
KOROLEVA LYUDMILA P. - Candidate of Economic Sciences, Associate Professor, Department of Economics and Management, Moscow University of Finance and Law (MFLA), Moscow, Russia
