CC BY
12УДК 621.311.001.57
СОВРЕМЕННЫЕ ПРОБЛЕМЫ ПОИСКА И ВЕРИФИКАЦИИ ДАННЫХ ОБ ЭЛЕКТРОСТАНЦИЯХ КИТАЯ И ДРУГИХ СТРАН Трофимов Иван Леонидович
Старший инженер, Институт систем энергетики им. Л. А. Мелентьева СО РАН, 664033, г. Иркутск, ул. Лермонтова 130, e-mail: t john88@mail.ru Трофимов Леонид Николаевич Ведущий программист, Институт систем энергетики им. Л. А. Мелентьева СО РАН, 664033, г. Иркутск, ул. Лермонтова 130, e-mail: trofi.isem@yandex.ru
Аннотация. Работа посвящена проблемам поиска и обработки технико-экономической информации по электростанциям различных стран. Наиболее интересными являются данные по Китаю - стране, которая является мировым экономическим лидером по производству и потреблению электроэнергии. Разработана технология сбора информации, представленной в виде онтологий на ресурсе DBpedia. Проведен анализ полученной информации. Рассмотрены проблемы, возникающие при верификации данных, и приведены способы их решения. Результаты проведенного исследования повышают качество расчетов, проводимых на модели оптимального развития и режимов электроэнергетических систем ОРИРЭС.
Ключевые слова: обработка данных, применение онтологий, установленные мощности электростанций, верификация данных, геоинформационная система.
Введение. В современном обществе, живущем в информационном веке, часто бытует мнение, что через поисковые системы в Интернете такие, как Яндекс или Google, без особого труда можно найти любую информацию. На практике же во время поиска и сбора данных по энергетическим объектам в определенных странах перед исследователем возникают следующие вопросы:
• Насколько достоверна предоставленная поисковой системой информация?
• Как отфильтровать интернет-мусор, чтобы найти только нужную информацию?
• Как проанализировать большой объем данных, представленный на разных сайтах и в различных базах данных (БД)?
На поставленные вопросы не существует однозначного ответа, поэтому возникает потребность в специальной обработке и верификации данных для проведения более качественных научных исследований.
В ИСЭМ СО РАН проводятся исследования возможностей объединения национальных энергосистем определенных стран в межгосударственные энергетические объединения. При расчетах используется модель оптимального развития и режимов электроэнергетических систем (ОРИРЭС) [1-2]. Важной частью исходных данных для модели являются установленные мощности электростанций, формирующих энергосистемы. В данной работе рассматриваются проблемы поиска и обработки информации по установленным мощностям электростанций, расположенных в Китае - стране, которая в последние годы является мировым лидером в производстве и потреблении электроэнергии.
Работа состоит из нескольких этапов:
1) поиск и сбор информации - наиболее трудоемкий этап, на котором осуществляется поиск информации из различных источников и её сбор в объектно-ориентированной базе данных (ООБД) для последующей обработки;
2) предварительный анализ загруженной в ООБД информации;
3) верификация объектов.
Результаты проведенного исследования повышают качество расчетов, проводимых на модели ОРИРЭС.
1. Проблемы поиска и сбора информации. Официальные интернет-источники информации об энергообъектах в различных странах, в частности, в Китае, имеют ограниченный или платный доступ. Собственные БД недоступны для общего пользования, а открытая информация в основном плохо структурирована для автоматической машинной обработки. Часто данные разрознены или находятся в разном объеме на различных Интернет-ресурсах. Поиск и сбор информации из таких источников является довольно трудоемким и продолжительным процессом.
В современных поисковых системах все больше начинают применять технологии интеллектуального поиска с использованием метаданных (онтологического описания интернет-содержимого) [3], заинтересованные лица работают над созданием баз знаний по различным тематикам, в то числе и по мировой энергетике. Международной группой программистов был создан один из таких проектов - ББрвЛа, который направлен на извлечение структурированной информации из данных, полученных из ресурса Википедия и публикации её в виде доступных под свободной лицензией наборов метаданных [4].
Несмотря на то, что информация в ресурсе Википедия создается и редактируется Интернет-пользователями и теоретически может быть искажена, основные энергетические показатели электростанций все же имеют высокую степень достоверности. Приведены географические координаты электростанций, их основные параметры, состав и тип оборудования, годы запуска и другие важные данные с указанием ссылок на первоисточники. Однако вся информация представлена на тысячах разрозненных страниц Вики. Возможность редактирования данных пользователями является также и преимуществом Википедии, поскольку здесь можно найти информацию по небольшим электростанциям, которые часто не указаны в официальных источниках, но существуют на карте. Главное же преимущество Вики заключается в открытости данных, очевидно, что существуют множество платных баз данных с информацией по мировым электростанциям, но их высокая стоимость все же не гарантирует достоверность и полноту представленной в них информации.
При появлении задачи использовать ресурс Википедия для автоматической обработки данных появляются трудности, поскольку информация по каждой электростанции представляет собой отдельную интернет-страницу - статью Википедии, в которой содержатся различная текстовая информация, параметры объекта, ссылки (перенаправления) и прочее. Поиск и сбор данной информации для ее использования в различных вычислительных системах и базах данных может занять продолжительное время, хотя бы потому, что данная информация постоянно обновляется, а количество таких страниц, посвященных электростанциям, измеряется десятками тысяч.
Проект DBpedia частично решает проблему автоматического сбора информации из ресурса Википедия. Разработчиками данного проекта были написаны множество программ-червей, которые постоянно сканируют и скачивают из Википедии всю структурированную информацию, которую «она» может предложить: категории, перенаправления и самое главное - информационные боксы. Информационный бокс представляет собой информацию на вики-странице, содержащую основные параметры объекта, которому посвящена страница, например, мощность, год ввода в эксплуатацию, координаты и прочее. Большая часть данных DBpedia - это переведенные в формат RDF информационные боксы, которые располагаются на многих страницах Википедии. На программном уровне это набор параметров и их значения, которые можно преобразовать в RDF-тройку - «субъект -предикат (отношение, принадлежность) - объект».
-—„..„г
dbpeca dbpecfca dbpedia dbpetfia
dbpedia (lUpi'CjlcJ dhpEdia dbpEtiia dbpectia
dbpEciia dbpectia
Leonardo,
ieonardo :Lionardo_ :Leonardo_ ¡Leonardo. :l eonardn ¡Leonardo, ieonardo.
;Leonarrfo_ ¡Leonardo
da_Vin:i da_vincp da_Vind da_ViniCP da_Vinri Jj_VirtCP da_Vinci .dd_ViftCi da_Vin(i da_Vift£p da Vinci
dbpprop:nafTiE dbppropjciptkxi dbpprop:b.rtliName JbpprüpipficeOfBiiih | dbpprop:dateOfBirth
Leonafdo da vin< iiten.
Self-portrait in red Chalk, cirta 15-1Z ...of Turin@en . Leonardo di ser Pie го da Vinci(®eji. Anchisno by Wind, Itsly^en.
tibptdij ywlilhumbnjil dbpprap: nationality dbpprcpifield nfc|ipdia-o'i-l:1'ield dbpedia-owl ¡movement dbpprop:wor!(*
USWl^A^atJ <http://ufHMd.wi.,./100^*4.» о ru rd о_яН.jpg>. dbpedia:ltaly.
Ma ny a nci dive rsi fields of arts and SCjen№5@ert, dl>pedia:The_;irr?_ dbpediarHigh_Renaissan£e , Möns Lisa, The u&r Supper. The wiiryviar
Рис. 1. Преобразование информационного бокса в RDF-формат
В правой части рисунка 1 изображен пример информационного бокса, который преобразовывается в хранящиеся на DBpedia RDF-тройки, представленные на рисунке слева. Синтаксис RDF/XML предоставляет информацию о ресурсах в виде, пригодном для машинной обработки. Автоматические скрипты регулярно сканируют Википедию и преобразовывают текстовое содержимое информационных боксов в структурированные RDF-данные - даты, числа, строки и уникальные идентификаторы.
В итоге «полу-структурированная» разметка страниц Википедии преобразуется в базу знаний со структурированной информацией по определенным тематикам. Благодаря имеющимся в сети Интернет международным базам знаний, таких, как DBpedia, появилась потенциальная возможность автоматизированного сбора информации для её обработки в собственных БД, в частности в формате XML.
Авторами настоящей статьи была написана специальная программа-робот на языке NodeJS, сканирующая OWL-страницы указанной базы знаний [5], и скачивающая в автоматическом режиме структурированную в XML-формате информацию по каждой электростанции в стране, рисунок 2.
Wikipedia t)
Ontology Mappings
Extraction Manager
Input Parsing Extraction Output
f Dump ^ 1 Source I Wiki Parser (Label ) (Geo ) [Dump | (Sink J
API Л [ Source J i i i 1 Mapping ^ '[based J SPARQL Sink J
■ ■ •
DBpedia Dump
Triple Store
Virtuoso
SPARQL endpoint
Linked Data
The Web DBpedia apps SPARQL clients RDF browser HTML browserj
NodeJS
yf A«o<ut.Tyt(.Powtfpl<ntjml I¿ Ahw.PowttpUnLxml Bf Am.He«t.Rwe.PewerpUnUm(
Qf AjlUtlln_POA*fpUntJJTll
2f Ak»«j_PowwpUnljonl Qf Aks«_K*z*l<_Pow«rpl*nt»nl J AlMhtn.LiunjingUn.PowtrpUnl
AlMhtn.PowopUntiml Qf Anguo_Powef plant jml
J Anhui.B* arAnhu..So
Anhui.Sujhoo_Pow«fplafrt jml 21 Anhui_Tongliog Powerplant jml
Anhui.Wmt.Po-tfpUnUml 2f Anhui_Xuanch«ng_Pov»«rplaniл яI An|i_Counly_Pov»trpl»ntjml Qf An^ang_Povv«fplant jml Ank*ng_P©werplant jml
Qf Ankj.PowcrpUrtfjtml yf Anp«r>g_Powf rpUnt jml Anqing_Powtfpl*ntjml at Anqing_Woris_Pow«fplíntjml Qf Amhí_Pow*rpl«nt jml
<?xml version="1.0"?> <quiz> <qanda seq="l"> <question>
Who was the forty-second president of the U.S.A.? </question> <answer>
William Jefferson Clinton </answer> </qanda>
</quiz>
XML
Рис. 2. От архитектуры DBpedia к собственной базе данных электростанций
Следует отметить, что при создании программы-робота для работы с DBpedia необходимо учитывать следующее: несмотря на открытость, ресурс предполагает использование специального языка запросов к метаданным - SPARQL, и не рассчитан на использование программ-роботов, сканирующих его базы. Форма выходных данных SPARQL не соответствует поставленным задачам, поэтому была написана специальная программа.
Первая версия программы позволяла скачивать только часть объектов, а к другой части доступ был закрыт, несмотря на то, что через интернет-браузер эти же данные были доступны. Поскольку основная концепция Node.JS заключается в том, что любые операции ввода-вывода по умолчанию реализованы как асинхронные (процесс, не дожидаясь завершения/ответа, отправляет следующий запрос и так далее), программа посылала одновременно сотни запросов к ресурсу DBpedia, и часть запросов была отклонена сервером, т.е. удалось «скачать» только часть объектов. В последнюю версию программы были внесены изменения - добавлена принудительная задержка между запросами на скачивание объектов, и в каждом запросе теперь присутствует раздел заголовка (headers), в котором серверу сообщается, что запрос будто бы поступает от имени интернет-браузера, рисунок 3.
ivar download = function(j,cb) { request({
) headers: {
'User-Agent': 'Mozilla/5.9 (Windows NT 19.9; rv:41.9) 'Content-Type': 'application/xml; charset=UTF-8', 'Accept': 'text/html,application/xhtml+xml,applicatio 'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=9.5,en;q=9 'Connection': 'keep-alive',
'Host': 'enipedia.tudelft.nl'
h
uri: urls[j], method: "POST", timeout: 4999, followRedirect: true,
maxRedirects: 10 _
Рис. 3. Фрагмент кода программы для скачивания объектов с ресурса DBpedia
В итоге в нашу объектно-ориентированную базу данных (ООБД) [6] была загружена информация по всем 3768 электростанциям Китая.
2. Анализ данных. Последующий анализ списка электростанций, представляющий собой 3768 файлов в формате XML, показал, что далеко не все электростанции достаточно полно представлены. Например, географические координаты указаны только у 3158 станций, провинция в которой они расположены, указана у 3750 станций, тип топлива - у 1068, и так далее. Объектно-ориентированная база данных разрабатываемая авторами позволяет компактно хранить информацию, например, перевод XML структуры в структуру ООБД сократил объем хранения рассматриваемой информации с 34 Мбайт до 0.5 Мбайт. Однако, основная причина перевода и хранения информации в структуру ООБД - это разработанный интерфейс по формированию специальных запросов, графиков и слоев для интерактивных электронных карт. В качестве примера, на рисунке 4 на карту Китая были нанесены все 3158 электростанций с их географическими координатами. Цветом помечены различные типы станций - угольные, газовые, ветровые, атомные и гидростанции.
Рис. 4. Расположение электростанций на карте Китая по типам топлива
Эту же информацию можно представить в количественном виде в различных таблицах. Фрагмент таблицы, на основании которой была построена карта электростанций Китая, представлен на рисунке 5.
Название Провинция Тип Широта Долгота Год ввода Уст. мощи.
Ningde_Nuclear_Powerplant Fujian Nuclear 27,045189 120,28449 2013 4320
Ninghai_Powerplant Fujian Coal 29,4816 121,5114 4400
Qinbei_Powerplant Henan Coal 35,16972 112,71556 2004 4400
Zouxian_Powerplant Shandong Coal 35,3255 116,9291 1985 4540
Beilun_ Powerplant Zhejiang Coal 29,944183 121,81217 5000
Taishan_Powerplant Guangdong Coal 21,8667 112,9228 5000
Waigaoqiao_Powerplant Shanghai Coal 31,3558 121,5983 1995 5000
Gansu_Anxi_Powerplant Gansu Wind 40,59808 95,79666 2009 5160
lnner_Mong
Tuoketuo-l_Powerplant olia Coal 40,203943 111,3575 1995 5400
Hongyanhe_Powerplant Liaoning Nuclear 39.79759 121,47596 6400
Longtan_Powerplant Guangxi Hydro 25,027222 107,0475 2009 6400
Xiangjiaba_Powerplant Yunnan Hydro 28,646667 104,3925 2014 6400
Wudongde_Powerplant Yunnan Hydro 26.333889 102,63 2020 10200
Baihetan_Powerplant Sichuan Hydro 28,251667 103,65944 2021 12000
XilLiodu_Powerplant Yunnan Hydro 28.259722 103,64944 2014 13860
Three_Gorges_Powerplant Hubei Hydro 30,820833 111,00222 2003 22500
Рис. 5. Фрагмент таблицы электростанций Китая с координатами для ГИС
Представление о величине установленных мощностей в географическом разрезе (с указанием точных географических координат), является важным моментом для предварительного исследования исходного состояния электроэнергетических систем для модели. Поэтому графическое представление электростанций в виде диаграмм, площади которых пропорциональны их установленным мощностям, позволяет визуально более качественно оценивать общую картину энергообеспечения страны.
На приведенном ниже рисунке 6 приведено сравнение двух карт Китая с нанесенными электростанциями с известным и неизвестным параметром «Год ввода в эксплуатацию»:
Рис. 6. Установленные мощности Китая по типам станций с известным и неизвестным
параметром «Год ввода в эксплуатацию».
Справа изображена карта Китая по состоянию на 2015 год с электростанциями, для которых известны: год ввода в эксплуатацию, тип топлива и установленная мощность (размер изображенных объектов пропорционален объемам их мощностей).
На карте слева изображены все электростанции, имеющиеся в Китае, включая те, для которых год ввода в эксплуатацию неизвестен.
Как видно из рисунка имеется большое количество электростанций, для которых не указан год ввода в эксплуатацию. Это связано, во-первых, с тем что на страницах Википедии существует информация о планируемых проектах, которые еще не были построены и год ввода в эксплуатацию для них не указывается. Такие проекты можно учитывать при прогнозных расчетах на предполагаемый год в будущем.
Иногда, для уже существующих объектов, недостаточно информации, например, об их годе ввода в эксплуатацию. Для уточнения данных возможны следующие шаги:
1) выделить среди объектов в БД те, которые вносят наибольший вклад в производство электроэнергии в узле, т.е. наиболее крупные электростанции,
2) воспользоваться сервисом Google-Earth, который позволяет увидеть историю космо-снимков, по которым можно будет определить примерный год ввода в эксплуатацию -время, когда станция появилась на карте.
3) искать и использовать дополнительные источники информации об этой электростанции вИнтернет.
3. Верификация данных. Всякая загружаемая в БД информация нуждается в верификации. Одной из основных проблем при верификации является проверка и
установление точных координат электростанций. Для этого в ИВС используется встроенная ГИС-система, позволяющая увидеть электростанцию на спутниковом снимке, таким образом, можно однозначно определить местонахождение электростанции и избежать дублирования информации в БД, например, в случае, когда два и более объектов с разными названиями, полученные из разных источников, имеют одни и те же координаты. После определения точных координат электростанциям в БД присваивается уникальный идентификатор и признак провинции/области, к которой они относятся.
Кроме того, используется внешний сервис Google-Earth, который позволяет увидеть историю космо-снимка, и благодаря этому можно определить примерный год ввода в эксплуатацию электростанции, если он не был указан ранее, рисунок 7.
2004 _ 2008
Рис. 7. Использование сервиса Google Earth для определения примерного года ввода в
эксплуатацию
При составлении базового состояния исследуемых электроэнергетических систем для модели ОРИРЭС на определенный год, необходимо знать примерные сроки службы оборудования энергетических объектов. Имея достоверную информацию о годе ввода в эксплуатацию электростанции, можно определить примерные даты, когда её оборудование выйдет из строя, и, таким образом, качественно уточнить исходные данные для модели.
После проведения таких исследований результаты можно агрегировать по провинциям, а также по ОЭС страны в целом для последующего их использования в модели. В настоящий момент в модели задаются укрупненные узлы по странам. Полученная авторами информация позволяет масштабировать модель - формировать разные уровни детализации расчетной схемы для исследований, например, на уровне провинций, рисунок 8. Следует отметить, что агрегирование возможно только после определения соответствия координат объекта с провинцией, в которой он находится.
Заключение. Благодаря данным из базы знаний DBpedia можно получать подробную информацию не только по электростанциям любых стран мира, но и много другой полезной информации, требующейся в работе.
Информация, полученная в результате данной работы, позволяет проводить более качественную оценку исходного состояния исследуемых электроэнергетических систем для модели ОРИРЭС. Агрегирование данных на различных уровнях предоставляет широкие возможности для масштабирования модели - формирования разных уровней детализации расчетной схемы.
Рис. 8. Установленные мощности, агрегированные по провинциям Китая. Выделены объединенные энергосистемы Северного и Северо-Восточного Китая.
Проведенный анализ типов установленных мощностей Китая и темпов их развития будет использоваться в модели при расчетах сценариев электроэнергетической интеграции стран Северо-Восточной Азии.
Результат данной работы будут применены в качестве задаваемой исходной информации для проводимых расчетов на модели ОРИРЭС.
СПИСОК ЛИТЕРАТУРЫ
1. Беляев Л.С., Подковальников С.В., Савельев В.А., Чудинова Л.Ю. Эффективность межгосударственных электрических связей. Новосибирск: Наука, 2008. 239 с.
2. Беляев Л.С., Подковальников С.В., Савельев В.А. Научный отчет. Программа развития гидроэнергетики России до 2030 года на перспективу до 2050 года. Иркутск, 2015. 402 с.
3. Портал искусственного интеллекта. Статьи. Онтология. Режим доступа: http://www.aiportal.ru/, (дата обращения 26.01.2017).
4. Трофимов И.Л., Методические принципы построения Информационно-вычислительной системы с использованием метаданных для формирования запросов к базе данных по Тепловому хозяйству страны // Системные исследования в электроэнергетике / Труды молодых ученых ИСЭМ СО РАН. Выпуск 43. 2013 г. Иркутск. С. 162-170.
5. Щербина Д. OWL, язык веб-онтологий. Руководство. Рекомендация W3C 10 февраля 2004. Перевод. Режим доступа: http://sherdim.ru/, (дата обращения 26.01.2017).
6. DBpedia. OpenLink Software. Режим доступа: http://wiki.dbpedia.org/, (дата обращения 05.12.2016).
UDK 621.311.001.57
MODERN ISSUES OF SEARCH AND VERIFICATION OF DATA ON POWER PLANTS IN CHINA AND OTHER COUNTRIES Ivan L. Trofimov
Senior Engineer, Melentiev Energy System Institute Siberian Branch of the Russian Academy of Sciences 130, Lermontov Str., 664033, Irkutsk, Russia, e-mail: t john88@mail.ru
Leonid N. Trofimov Lead software developer, Melentiev Energy System Institute Siberian Branch of the Russian Academy of Sciences 130, Lermontov Str., 664033, Irkutsk, Russia, e-mail: trofi .isem@yandex.ru
Abstract. This paper is devoted to the problems of search and processing of technical and economic information on power plants in different countries. The most interesting information is the data on China, the country that is the world economic leader in the production and consumption of electricity. The technology of gathering information represented as ontologies on the DBpedia resource is developed. The analysis of the collected information is conducted. The problems arising in the verification of data and the methods for their solution are discussed. The results of the conducted study improve the quality of calculations by the model of Optimal Development and Regimes of Electric Power Systems - ORIRES.
Keywords: data processing, application of ontologies, installed capacity of power plants, data verification, geographic information system.
References
1. Belyaev L.S., Podkovalnikov S.V., Saveliev V.A., Chudinova L.Y. Jeffektivnost' mezhgosudarstvennyh jelektricheskih svjazej [Efficiency of interstate electrical interconnections]. Novosibirsk. Nauka = Science. 2008. 239 p. (in Russian)
2. Belyaev L.S., Podkovalnikov S.V., Saveliev V.A. etc. Nauchnyj otchet. Programma razvitija gidrojenergetiki Rossii do 2030 goda na perspekti-vu do 2050 goda [Scientific report. The program of hydropower development in Russia up to 2030 and on the prospect until 2050]. Irkutsk, 2015. 402 p. (in Russian)
3. Portal iskusstvennogo intellekta. Stat'i. Ontologija [Portal of artificial intelligence. Articles. Ontology]. Available at: http://www.aiportal.ru/, 26 January 2017. (in Russian)
4. Trofimov I.L. Metodicheskie principy postroenija Informacionno-vychislitel'noj sistemy s is-pol'zovaniem metadannyh dlja formirovanija zaprosov k baze dannyh po Teplovomu hozjajstvu strany [Methodological principles of the construction of Information and Computing System with using of metadata for creating of queries to the Country's Thermal Economy Database]. The proceedings of the conference "System Studies in the Electric Power Industry". Vol. 43. 25 February - 05 April 2013. Irkutsk. ESI SB of RAS, 2013. Pp.162-170. (in Russian)
5. Shcherbina D., OWL, Jazyk veb-ontologij. Rukovodstvo. Rekomendacija W3C 10 fevralja 2004. Perevod [OWL, The language of web ontologies. Leadership. W3C Recommendation February 10, 2004. Translation]. Available at: http://sherdim.ru/, 26 January 2017. (in Russian)
6. DBpedia. OpenLink Software. Available at: http://wiki.dbpedia.org/, 5 December 2016.
