CC BY
4
Научная статья
УДК 681.586:620.92
ББК 32.965-044.3
М 74
DOI: 10.53598/2410-3225-2023-2-321-84-90
Модуль мониторинга технологических параметров преобразователей возобновляемых источников энергии
(рРецензирована)
Павел Юрьевич Бучацкий1, Семен Васильевич Теплоухов2, Стефан Владимирович Онищенко3, Давид Арноевич Атагян4
1-4 Адыгейский государственный университет, Майкоп, Россия
1 buch@adygnet.ru tepl_sv@adygnet.ru osv@adygnet.ru
4 atadav00@gmail.com
Аннотация. В настоящее время многие страны в мире используют различные технологии преобразования возобновляемых источников энергии (ВИЭ) с целью повышения уровня производства энергии и снижения количества вредных выбросов в атмосферу. Использование возобновляемых источников энергии сопровождается различными проблемами, одной из которых является необходимость оценки количества производимой энергии для определения эффективности внедрения конкретного вида возобновляемого ресурса. Для решения этой задачи используются различные модели прогнозирования, при построении которых необходимы массивы различных данных: сведения о выработке энергии с существующих энергостанций на основе ВИЭ, теоретические значения мощности ВИЭ в конкретном регионе, метеорологические данные, технические характеристики преобразователей энергии. Поскольку технологические характеристики конкретных преобразователей расположены чаще всего на сайте производителей и продавцов и с учетом постоянно появляющихся новых преобразовательных элементов с большей мощностью и КПД, для корректного прогнозирования количества вырабатываемой энергии необходимо использовать наиболее релевантные данные, для чего необходим периодический мониторинг появляющихся технологических решений. В связи с этим в данной работе предлагается рассмотреть процесс создания модуля для автоматизированного поиска и сбора основных технологических параметров преобразователей ВИЭ с использованием технологии сбора данных web-scraping.
Ключевые слова: мониторинг, сбор данных, web-scraping, возобновляемые источники энергии, преобразователи ВИЭ
Original Research Paper
Module for monitoring technological parameters of renewable energy converters
1 2 3
Pavel Yu. Buchatsky , Semеn V. Teploukhov , Stefan V. Onishchenko ,
David A. Atagyan4
1-4 Adyghe State University, Maikop, Russia
1 buch@adygnet.ru
2 tepl_sv@adygnet.ru
3 osv@adygnet.ru
4 atadav00@gmail.com
Abstract. Nowadays many countries use various technologies for converting renewable energy sources (RES) in order to increase the level of energy production and reduce the amount of harmful emissions into the atmosphere. The use of renewable energy sources is accompanied by various prob-
lems, one of which is the need to assess the amount of energy produced to determine the effectiveness of the introduction of a specific renewable resource type. To solve this problem, various forecasting models are used, the construction of which requires arrays of various data: information on energy production from existing power plants based on RES, theoretical values of RES capacity in a particular region, meteorological data, technical characteristics of energy converters. Since the technological characteristics of specific converters are located most often on the website of manufacturers and sellers, and taking into account the constantly emerging new converter elements with greater power and efficiency, it is necessary to use the most relevant data to correctly predict the amount of energy produced, which requires periodic monitoring of emerging technological solutions. In this regard, in this paper it is proposed to consider the process of creating a module for automated search and collection of the main technological parameters of RES converters using web-scraping data collection technology.
Keywords: monitoring, data collection, web-scraping, renewable energy sources, renewable energy converters
Введение
В современном мире в течение последних десяти лет наблюдается непрерывный рост генерации энергии на основе использования возобновляемых источников энергии (рис. 1.), что обусловлено множеством различных факторов, одним из которых является стремление к снижению количества вредных выбросов в атмосферу [1]. Для снижения количества выбросов в целях сбережения климата и предотвращения глобального потепления была принята политика общемировой декарбонизации [2], согласно которой многие страны намерены значительно сократить количество выбросов парниковых газов к середине XXI столетия.
Рис. 1. Рост объемов генерации в мире и России на основе ВИЭ Fig. 1. Growth of generation volume in Russia and in the world based on RES
Несмотря на обширные энергетические запасы традиционных ресурсов, в России, согласно различным законодательным актам [3] и стратегии энергетического развития до 2035 года [4], планируется обширная энергетическая трансформация, в результате которой предполагается увеличить долю ВИЭ в энергосистеме страны до 35% (сейчас, по сведениям различных источников, она достигает 15-17%), что означает необходимость внедрения достаточно большого количества генерирующих мощностей на основе использования «зеленой энергии».
При внедрении ВИЭ в энергосистему региона существует ряд сложностей [5], основными из которых являются определение эффективности вовлечения ВИЭ в энергосистему [6] и прогнозирование количества вырабатываемой энергии. Для решения проблемы оценки эффективности внедрения ВИЭ и оптимизации используемых ресурсов в общей энергетической структуре используются различные модели с целью оценки энергетического потенциала и количества вырабатываемой энергии [7, 8], для реализации которых требуются наличие различных данных, например:
метеорологические данные для построения численных моделей прогнозирования валового потенциала ВИЭ;
- временные ряды с данными по выработке энергии;
- профили потребления электричества в регионе;
- теоретические значения солнечной энергии и потенциала ветровой энергетики;
- технические характеристики существующих преобразователей энергии.
Сложность работы с подобными наборами данных заключается в необходимости
предварительного поиска и структурирования полученных сведений с целью формирования готовых массивов для дальнейшей обработки, что зачастую приводит к большим временным затратам. Часть необходимых сведений для построения прогнозов может быть получена экспериментальным путем в ходе реализации и использования систем, чтобы полученить метеорологические характеристики [9, 10], другая же часть расположена в различных источниках сети Интернет (сайты региональных сетевых операторов, энергетических компаний и пр.). Многие из необходимых показателей находятся на различных сайтах в слабоструктурированном виде, что усложняет процесс получения нужных наборов данных. Одним из таких примеров являются данные о технических параметрах преобразователей ВИЭ, которые чаще всего расположены на сайтах компаний производителей и продавцов данного оборудования в виде некоторых каталогов.
В связи с этим предлагается реализовать модуль автоматизированного сбора технологических параметров преобразователей ВИЭ на основе использования технологии web-scraping, который является одной из частей системы мониторинга, реализуемой в рамках информационно-аналитической системы для оценки решений возобновляемой энергетики [10, 11].
Материалы и методы
Модуль автоматизированного сбора данных является одной из частей системы мониторинга, общий вид которой представлен на рисунке 2.
Рис. 2. Функциональная схема подсистемы мониторинга Fig. 2. Functional diagram of the monitoring subsystem
Главной задачей данной подсистемы являются сбор и обработка необходимых для работы всей информационно-аналитической системы наборов данных, многие из которых расположены в сети Интернет. По этой причине первым шагом в общей реализации данной подсистемы является создание модуля автоматизированного сбора данных, в частности технических параметров конкретных преобразователей ВИЭ.
Сейчас существуют различные подходы, направленные на реализацию возможности по сбору данных из сети Интернет [11-13], наиболее распространенным из которых является разработка и создание так называемых парсеров, базирующихся на технологии web-scraping [14]. Парсинг подразумевает автоматизированный сбор неструктурированных данных с различных Интернет-ресурсов с преобразованием полученных сведений в структурированную форму. Для реализации подобных приложений, как правило, используются специализированные программы и библиотеки, наиболее распространенными среди которых являются такие среды, как Python и R.
Существует четыре основных способа организации сбора онлайн-данных:
- Сплошной сбор - сбор всех данных и всего ассортимента или всех основных позиций, которые представлены на сайте (если речь идет о каталоге). При таком способе сбора необходимо учитывать ограничения по времени и количеству запросов, чтобы не привести к нарушению работы сайта и не вызвать блокировку модуля сбора;
- Поисковый сбор - направлен на сбор данных по определенному запросу, в результате чего формируется определенная категория объектов, обладающих одним свойством;
- Ссылочный сбор - поиск информации по заранее подготовленным ссылкам, чаще всего используется подобный подход, когда количество информации не слишком велико;
- Сбор по артикулам - совершает процедуру дополнительной фильтрации данных, после осуществления сплошного сбора, для сохранения только интересующих позиций.
Для решения задачи по сбору данных о технических характеристиках различных преобразователей ВИЭ был разработан программный код на языке Python, который позволяет собирать информацию с веб-сайтов и на выходе формировать файл с основными параметрами преобразователей.
Для реализации модуля использовались библиотеки Beautiful Soup и Pandas, которые позволяют создать структурированные таблицы с метками строк и столбцов. После подключения данных библиотек можно приступить к извлечению данных с HTML-страниц, для чего сначала необходимо загрузить HTML страницу в Python с помощью библиотеки requests. В качестве примера нами будет использован сайт hevelsolar.com, на котором размещен большой каталог различных солнечных панелей:
importrequests
url=' hevelsolar. com'
response=requests.get(url)
soup=beautifulsoup(response .content,' html .parser')
После этого можно использовать методы объекта Beautiful Soup для извлечения данных из HTML страницы. Например, можно использовать метод soup.find(""), чтобы найти все нужные элементы HTML-страницы с определенным тегом и в определенном классе:
soup.find('h1 \class_='name'). text.strip()
Также в данном программном коде возможно искать элементы не только по классу или тэгу, но и по тексту внутри класса и тэга и соответственно можно парсить и значения элементов, которые указаны в классах и тэгах. Ниже представлен фрагмент кода, который будет искать номинальную мощность установки:
name_1=soup.find(class_='options-list_nametext='Номинальная мощность установки')
value=name_Lfmd_next(dass_=options-list_value ')find(' span').text.strip()
print(name.text.strip()+':'+value)
Если взять для примера страницу "hevelsolar.com/catalog/gibridnye/", то программный код выведет в csv файле такую таблицу:
Название установки Цена Среднегодовая вырабатываемая энергия на ФЭМ" Емкость АКБ Количество солнечны* модулей Номинальная мощность установки
Гибридная электростанция Н2-ОН-%ОС 680390 16;1 кВт*ч/сутки 4 5 кВт'ч 16 5 кВт
Гибридная электростанция Н1-ОН4ВОС 540390 16;1 кВт'ч/сутки 4.8 кВт'ч 16 5 кВт
Гибридная электростанция НЗ-ОН-4сО'] 1045290 47.5 кВт*ч/сутки 4.8 кВт'ч 39 12 кВт
Гибридная электростанция Н4-ОН-14400 1328290 47;5 кВт'ч/суткн 4.8 кВт'ч 39 12 кВт
Рис. 3. Фрагмент полученной таблицы с характеристиками преобразователей ВИЭ
(солнечных панелей)
Fig. 3. Part of the result table with the characteristics of RES converters
(solar panels)
Заключение
Представленный модуль по сбору данных был протестирован на реальных данных с сайта hevelsolar.com, на котором имеются каталоги преобразователей солнечной энергии, и показал свою работоспособность, собрав все нужные данные в удобном формате. Одной из основных проблем является разнородность архитектуры сайтов, в результате чего происходит усложнение сбора информации, для устранения которого необходимо корректировать параметры модуля в зависимости от сайта, с которым происходит взаимодействие.
Следующим шагом в разработке данного модуля является создание удобного пользовательского интерфейса для взаимодействия и реализация подобных программных средств с целью работы с основными сайтами, располагающими сведениями о современных преобразовательных элементах.
В результате комплексного взаимодействия нескольких подобных модулей можно реализовать первый этап работы системы мониторинга, отвечающий за сбор и предварительную обработку входных параметров, поступающих на вход последующих подсистем общей системы оценки решений в возобновляемой энергетике.
Примечания
1. Konstantinos I. Vatalis, Georgios Avlogiaris, Thomas A. Tsalis. Just transition pathways of energy decarbonization under the global environmental changes // Journal of Environmental Management. 2022. Vol. 309. P. 114713. URL: https://doi.org/10.1016/j.jenvman.2022.114713
2. Technologies and policies to decarbonize global industry: Review and assessment of mitigation drivers through 2070 / J. Rissman, Ch. Bataille, E. Masanet [et al.] // Applied Energy. 2020. Vol. 266. P. 114848. URL: https://doi.org/10.1016/j.apenergy.2020.114848
3. Симанков В.С., Бучацкий П.Ю. Методологические основы инновационных решений в возобновляемой энергетике // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2021. Вып. 3 (286). С. 42-54. URL: http://vestnik.adygnet.ru
4. Максимов А.Г. ВИЭ 2.0: Новая программа развития «ЗЕЛЕНОЙ» энергетики в России // Энергетическая политика. 2020. № 11 (153). С. 22-27.
5. Симанков В.С. Автоматизация системных исследований: монография. Краснодар: Изд-во КубГТУ, 2002. 376 с.
6. Simankov V.S., Buchatskiy P.Yu. Methodological basis for assessing effectiveness of involvement of renewable energy in regional energy balance // 2019 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2019, Sochi, 25-29 march 2019 year.
Sochi, 2019. P. 8742922. EDN AQJRSS.
7. Симанков В.С., Бучацкий П.Ю. Комплекс математических моделей возобновляемой энергии для перспективной оценки ее потенциала // Осенние математические чтения в Адыгее: материалы III Междунар. науч. конф., Майкоп, 15-20 октября 2019 года. Т. III. Майкоп: Изд-во АГУ, 2019. С. 122-124. EDN ECQKBA.
8. Обзор моделей оценки и прогнозирования поступления солнечной энергии / В. С. Симанков, П.Ю. Бучацкий, С.В. Онищенко, С.В. Теплоухов // Фундаментальные и прикладные аспекты геологии, геофизики и геоэкологии с использованием современных информационных технологий: материалы VII Междунар. науч.-практ. конф., Майкоп, 15-19 мая 2023 года. Ч. 2. Майкоп, 2023. С. 167-174.
9. Buchatskiy P.Yu., Teploukhov S.V., Onishchenko S.V. Software and hardware complex for evaluating the potential of wind and solar energy // Proceedings - 2020 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2020. Sochi, 18-22 may 2020 year. Sochi: Institute of Electrical and Electronics Engineers Inc., 2020. P. 9112028. EDN XSDIFH.
10. Реализация программно-аппаратного комплекса для оценки энергетического потенциала возобновляемых источников энергии / П.Ю. Бучацкий, С.В. Теплоухов, С.В. Онищенко [и др.] // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2019. Вып. 4 (251). С. 103-108. URL:
http://vestnik. adygnet.ru
11. Lusiana Citra Dewi, Meiliana, Alvin Chandra. Social Media Web Scraping using Social Media Developers API and Regex // Procedia Computer Science. 2019. Vol. 157. P. 444-449. URL: https://doi.org/10.1016/j.procs.2019.08.237
12. Модели управления процессами сбора данных в сетях Интернета вещей с динамической структурой / М.Т. Аунг, С.А. Аббас, Н.А. Жукова, В.В. Чернокульский // Computational-Nanotechnology. 2020. Т. 7, № 3. С. 62-71. DOI: 10.33693/2313-223X-2020-7-3-62-71. EDNUYY MUY.
13. Свидетельство о государственной регистрации программы для ЭВМ № 2023610985 Российская Федерация. Программный модуль анализа открытых источников на основе технологии машинного обучения: № 2022686108: заявл. 27.12.2022: опубл. 16.01.2023 / А.В. Козловский, А.Н. Самойлов, В.И. Волощук [и др.]; заявитель Федеральное государственное автономное образовательное учреждение высшего образования «Южный федеральный университет». EDN ZYGPOR.
14. Sumit Kumar, Uponika Barman Roy. 2 - A technique of data collection: web scraping with python // Statistical Modeling in Machine Learning / editor(s): Tilottama Goswami, G.R. Sinha. Academic Press, 2023. P. 23-36. URL: https://doi.org/10.1016/B978-0-323-91776-6.00011-7
References
1. Konstantinos I. Vatalis, Georgios Avlogiaris, Thomas A. Tsalis. Just transition pathways of energy decarbonization under the global environmental changes // Journal of Environmental Management. 2022. Vol. 309. P. 114713. URL: https://doi.org/10.1016/j.jenvman.2022.114713
2. Technologies and policies to decarbonize global industry: Review and assessment of mitigation drivers through 2070 / J. Rissman, Ch. Bataille, E. Masanet [et al] // Applied Energy. 2020. Vol. 266. P. 114848. URL: https://doi.org/10.1016/j.apenergy.2020.114848
3. Simankov V.S., Buchatskiy P.Yu. Methodological foundations of innovative solutions in renewable energy engineering // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2021. Iss. 3 (296). P. 42-54. URL: http://vestnik.adygnet.ru
4. Maksimov A.G. RES 2.0: A new program for the development of "GREEN" energy in Russia // Energy Policy. 2020. No. 11 (153). P. 22-27.
5. Simankov V.S. Automatization of system research: a monograph. Krasnodar: KubGTU Publishing House. 2002. 376 p.
6. Simankov V.S., Buchatskiy P.Yu. Methodological basis for assessing effectiveness of involvement of renewable energy in regional energy balance // 2019 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2019, Sochi, 25-29 March 2019. Sochi, 2019. P. 8742922. EDN AQJRSS.
7. Simankov V.S., Buchatskiy P.Yu. Complex of mathematical models of renewable energy for a prospecdtive assessment of its potential // Autumn Mathematical Readings in Adygheya: Proceedings of the 3d Intern. scientific conf., Maikop, October 15-20, 2019. Vol. 3. Maikop: ASU Publishing House, 2019. P. 122-124. EDN ECQKBA.
8. Review of models for assessing and forecasting the receipt of solar energy / V.S. Simankov, P.Yu. Buchatskiy, S.V. Onishchenko, S.V. Teploukhov // Fundamental and applied aspects of geol-
ogy, geophysics and geoecology using modern information technologies: materials of the 7th Intern. scient. and pract. conf., Maikop, May 15-19, 2023. Part 2. Maikop, 2023. P. 167-174.
9. Buchatskiy P.Yu., Teploukhov S.V., Onishchenko S.V. Software and hardware complex for evaluating the potential of wind and solar energy // Proceedings - 2020 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2020. Sochi, 18-22 may 2020. Sochi: Institute of Electrical and Electronics Engineers Inc., 2020. P. 9112028. EDN XSDIFH.
10. Implementation of the power assessment appliance for renewable energy sources / P.Yu. Bu-chatsky, S.V. Teploukhov, S.V. Onishchenko [at al.] // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2019. Iss. 4 (251). P. 103-108. URL: http://vestnik. adygnet.ru
11. Lusiana Citra Dewi, Meiliana, Alvin Chandra. Social Media Web Scraping using Social Media Developers API and Regex // Procedia Computer Science. 2019. Vol. 157. P. 444-449. URL: https://doi.org/10.1016/j.procs.2019.08.237
12. Management models of data collection processes in IoT networks with a dynamic structure / M.T. Aung, S.A. Abbas, N.A. Zhukova, V.V. Chernokulsky // Computational Nanotechnology. 2020. Vol. 7, No. 3. P. 62-71. DOI: 10.33693/2313-223X-2020-7-3-62-71. EDNUYY MUY.
13. Certificate of state registration of the computer program No. 2023610985 Russian Federation. Open source analysis software module based on machine learning technology: No. 2022686108: Appl. 12/27/2022: publ. 01/16/2023 / A.V. Kozlovsky, A.N. Samoylov, V.I. Voloshchuk [et al.]; applicant Federal State Autonomous Educational Institution of Higher Education "Southern Federal University". EDN ZYGPOR.
14. Sumit Kumar, Uponika Barman Roy. 2 - A technique of data collection: web scraping with python // Statistical Modeling in Machine Learning / editor(s): Tilottama Goswami, G.R. Sinha. Academic Press, 2023. P. 23-36. URL: https://doi.org/10.1016/B978-0-323-91776-6.00011-7
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflicts of interests.
Статья поступила в редакцию 31.05.2023; одобрена после рецензирования 16.06.2023; принята к публикации 17.06.2023.
The article was submitted 31.05.2023; approved after reviewing 16.06.2023; accepted for publication 17.06.2023.
© П.Ю. Бучацкий, С.В. Теплоухов, С.В. Онищенко, Д.А. Атагян, 2023
