Научная статья на тему 'Методика подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности России'

Методика подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности России Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
124
26
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ТОПЛИВНО-ЭНЕРГЕТИЧЕСКИЙ КОМПЛЕКС / ЭНЕРГЕТИЧЕСКАЯ БЕЗОПАСНОСТЬ / ВЫЧИСЛИТЕЛЬНЫЙ ЭКСПЕРИМЕНТ / ЭКОНОМИКО-МАТЕМАТИЧЕСКАЯ МОДЕЛЬ / ПРЕОБРАЗОВАНИЯ ДАННЫХ / ДВУМЕРНЫЕ МАССИВЫ ДАННЫХ / FUEL AND ENERGY COMPLEX / ENERGY SECURITY / COMPUTATIONAL EXPERIMENT / ECONOMIC AND MATHEMATICAL MODEL / DATA TRANSFORMATIONS / TWO-DIMENSIONAL DATA SETS

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Береснева Наталья Михайловна, Курганская Ольга Викторовна

ЦЕЛЬ. Разработка методики подготовки данных для сценарных исследований энергетической безопасности России, учитывающей такие особенности вычислительного эксперимента, как необходимость консолидации данных из разнородных источников, ориентация на структурные особенности моделей исследования, работа с двумерными массивами данных. МЕТОДЫ. В работе использованы методы системного анализа, онтологическое моделирование, теория систем баз данных. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ. Предложена методика подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности, поддерживающая шаблонно-ориентированный сбор данных из структур, представленных таблицами баз данных или электронными таблицами. Методика предполагает учет семантических свойств данных на уровне наименований элементов структур хранения данных, наименований атрибутов объектов моделей исследования. ВЫВОДЫ. Предложенная методика позволит автоматизировать подготовку данных для вычислительных экспериментов и вне их на основе используемой в исследованиях энергетической безопасности информационной базы. В дальнейшем в рамках методики планируется расширить возможности работы с семантическими свойствами данных в части их формализации и автоматизации работы с семантикой данных.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Береснева Наталья Михайловна, Курганская Ольга Викторовна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DATA PREPARATION METHODOLOGY FOR COMPUTATIONAL EXPERIMENTS IN THE STUDIES OF RUSSIAN ENERGY SECURITY

The PURPOSE of the article is to develop a data preparation methodology for scenario researches of Russian energy security that takes into account such features of the computational experiment as the need for consolidation of data from heterogeneous sources, research model structural feature orientation, operation with two-dimensional data sets. METHODS. The paper uses the methods of system analysis, ontological modeling and the theory of database systems. RESULTS AND THEIR DISCUSSION. A data preparation methodology for computational experiments in energy safety studies is proposed. It supports template-based data collection from the structures represented by database tables or spreadsheets. The methodology involves the account of data semantic properties at the level of naming the elements of data storage structures and naming the attributes of research model objects. CONCLUSIONS. The proposed methodology will allow to computerize data preparation for computational experiments and beyond them on the basis of the information base used in energy security studies. Further, it is planned to widen the methodology possibilities to operate with semantic properties of data, to formalize and computerize the work with data semantics.

Текст научной работы на тему «Методика подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности России»

Оригинальная статья / Original article

УДК 620.9.001.57(470+570)

DOI: 10.21285/1814-3520-2017-9-45-57

МЕТОДИКА ПОДГОТОВКИ ДАННЫХ ДЛЯ ВЫЧИСЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ В ИССЛЕДОВАНИЯХ ЭНЕРГЕТИЧЕСКОЙ БЕЗОПАСНОСТИ РОССИИ

л о

Н.М. Береснева1, О.В. Курганская2

Институт систем энергетики им. Л.А. Мелентьева СО РАН, Российская Федерация, 664033, г. Иркутск, ул. Лермонтова, 130. 2Иркутский государственный университет, Российская Федерация, 664003 г. Иркутск, ул. Карла Маркса, 1.

РЕЗЮМЕ. ЦЕЛЬ. Разработка методики подготовки данных для сценарных исследований энергетической безопасности России, учитывающей такие особенности вычислительного эксперимента, как необходимость консолидации данных из разнородных источников, ориентация на структурные особенности моделей исследования, работа с двумерными массивами данных. МЕТОДЫ. В работе использованы методы системного анализа, онтологическое моделирование, теория систем баз данных. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ. Предложена методика подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности, поддерживающая шаблонно-ориентированный сбор данных из структур, представленных таблицами баз данных или электронными таблицами. Методика предполагает учет семантических свойств данных на уровне наименований элементов структур хранения данных, наименований атрибутов объектов моделей исследования. ВЫВОДЫ. Предложенная методика позволит автоматизировать подготовку данных для вычислительных экспериментов и вне их на основе используемой в исследованиях энергетической безопасности информационной базы. В дальнейшем в рамках методики планируется расширить возможности работы с семантическими свойствами данных в части их формализации и автоматизации работы с семантикой данных.

Ключевые слова: топливно-энергетический комплекс, энергетическая безопасность, вычислительный эксперимент, экономико-математическая модель, преобразования данных, двумерные массивы данных.

Формат цитирования: Береснева Н.М, Курганская О.В. Методология подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности России // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 9. С. 45-57. DOI: 10.21285/1814-3520-2017-9-45-57

DATA PREPARATION METHODOLOGY FOR COMPUTATIONAL EXPERIMENTS IN THE STUDIES OF RUSSIAN ENERGY SECURITY N.M. Beresneva, O.V. Kurganskaya

Melentiev Energy Systems Institute SB RAS,

130 Lermontov St., Irkutsk 664033, Russian Federation.

Irkutsk State University,

1 Karl Marx St., Irkutsk 664003, Russian Federation.

ABSTRACT. The PURPOSE of the article is to develop a data preparation methodology for scenario researches of Russian energy security that takes into account such features of the computational experiment as the need for consolidation of data from heterogeneous sources, research model structural feature orientation, operation with two-dimensional data sets. METHODS. The paper uses the methods of system analysis, ontological modeling and the theory of database systems. RESULTS AND THEIR DISCUSSION. A data preparation methodology for computational experiments in energy safety studies is proposed. It supports template-based data collection from the structures represented by database tables or spreadsheets. The methodology involves the account of data semantic properties at the level of naming the elements of data storage structures and naming the attributes of research model objects. CONCLUSIONS. The proposed methodology will allow to computerize data preparation for computational experiments and beyond them on the basis of the information base used in energy security studies. Further, it is planned to widen the methodology possibilities to operate with semantic properties of data, to formalize and computerize the work with data semantics.

1

Береснева Наталья Михайловна, кандидат технических наук, научный сотрудник отдела живучести систем энергетики, e-mail: beresneva@isem.irk.ru

Natalia M. Beresneva, Candidate of technical sciences, Researcher of Energy Systems Survivability Department, e-mail: beresneva@isem.irk.ru

2Курганская Ольга Викторовна, кандидат технических наук, доцент кафедры стратегического и финансового менеджмента, e-mail: olgakurg@gmail.com

Olga V. Kurganskaya, Candidate of technical sciences, Associate Professor of the Department of Strategic and Finance Management, e-mail: olgakurg@gmail.com

Keywords: fuel and energy complex, energy security, computational experiment, economic and mathematical model, data transformations, two-dimensional data sets

For citation: Beresneva N.M., Kurganskaya O.V. Data preparation methodology for computational experiments in the studies of Russian energy security. Proceedings of Irkutsk State Technical University. 2017, vol. 21, no. 9, pp. 45-57. (In Russian) DOI: 10.21285/1814-3520-2017-9-45-57

Введение

Анализ обеспечения энергетической безопасности (ЭБ) России и ее регионов по-прежнему остается одним из ключевых направлений исследований топливно-энергетического комплекса (ТЭК) страны. При этом ЭБ рассматривается как фактор гарантированного бездефицитного снабжения потребителей топливо- и энергоресурсами в нормальных условиях, в нештатных ситуациях - как гарант обеспечения минимально необходимого объема потребностей [1, 2]. Предметом данных исследований является устойчивость систем энергетики и ТЭК в целом к последствиям реализации угроз ЭБ, а также устойчивость потребителей к складывающимся при этом нарушениям энергоснабжения. Характер и аппарат исследований определяется целью проводимого анализа (анализ текущей ситуации или оценка обеспечения ЭБ территорий в нештатных ситуациях), особенностями организации информационной базы исследований. Используемые при этом данные могут участвовать в одном или в обоих направлениях исследований ЭБ с различной целью. В случае анализа последствий нештатных ситуаций они могут использоваться для численной идентификации параметров модели исследований в справочных целях, либо могут быть применимы для задач, не связанных с вычислительным экспериментом (ВЭ). Эти данные составляют справочную и статистическую

информацию об объектах ТЭК, ретроспективную и прогнозную отраслевую информацию, результаты ранее проводимых модельных расчетов. Множественность, разнородность и несогласованность этих данных требуют обязательного участия экспертов, наличия средств подготовки данных, учитывающих неизменные семантические свойства данных, позволяющих идентифицировать необходимую информацию в различных источниках, соотносить элементы структур ее хранения при консолидации данных.

В настоящей публикации рассмотрен вариант организации такого решения, ориентированный на работу с двумерными массивами данных (далее - двумерными таблицами), Выбор последних мотивирован постоянством их применения в части хранения отраслевой и отчетной информации, удобством в части подготовки необходимых для исследований данных, а также последующей содержательной интерпретации полученных результатов. Данное решение построено в идеологии ETL-процессов (Extract, Transform, Load - извлечение, преобразование, загрузка) [3], может быть использовано на этапе подготовки данных для обоих направлений исследований ЭБ. Решение рассмотрено в контексте сценарных исследований ЭБ России ввиду значимости и организационной сложности последних.

Особенности подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности России

Существующая технология проведения исследований ЭБ России в условиях имитации нештатных ситуаций построена на вычислительных экспериментах [4, 5], технически реализованных в виде системы

взаимосвязанных процессов преобразования данных, включающей:

- процессы сбора, контроля и подготовки исходных данных для проведения вычислительного экперимента;

- процессы формирования вариантов математической модели, процессы расчетов этих вариантов;

- процессы подготовки и контроля данных для содержательной интерпретации результатов расчета, процессы самой содержательной интерпретации.

Эти процессы обеспечивают преобразования данных в файлы заданного формата и структуры, контроль данных, преобразования этих данных внешними инструментальными средствами. Они соответствуют основным этапам проведения ВЭ, а именно:

1. Этапу сбора и подготовки исходных данных (статистических и экспертных, необходимых для проведения ВЭ), в рамках которого осуществляется сбор данных из различных источников в табличные структуры, возможно, с последующим конвертированием в структуры и форматы хранения данных.

1. Этапу построения математической модели для проведения ВЭ, включающему сопоставление заданных и искомых показателей ТЭК с элементами математической модели с последующим формированием файла математической модели в формате решателя.

2. Этапу расчета математической модели с помощью используемого внешнего решателя.

3. Содержательной интерпретации результатов расчета, включающей, в том числе, занесение результатов в структуры хранения данных, возможно предварительное конвертирование форматов.

При этом реализуется взаимодействие файлов с предметно-ориентированными наборами данных, моделей исследования и программ обеспечения вычислительного эксперимента (рис. 1). Для формализации такого взаимодействия и описания семантических свойств данных здесь и в дальнейшем применяются онтологии [6, 7].

Файлы с предметно-ориентированными наборами данных используются на различных этапах ВЭ. Они содержат как

первичную (статистическую, нормативно-справочную), так и промежуточную и результирующую информацию. Эти файлы могут иметь относительно устойчивые или гибкие табличные структуры, могут подлежать или не подлежать корректировке хранящихся в них данных. Наиболее устойчивы файлы с первичной информацией. Они используются в качестве основных источников в различных исследованиях, могут иметь регламентированную структуру хранения данных (как, например, формы статистической отчетности) или не иметь такой формы (например, отчетная отраслевая информация). Наиболее непостоянны файлы с промежуточными данными. Они формируются на этапе подготовки данных для ВЭ, подлежат корректировке и контролю, могут использоваться в других исследованиях в качестве вспомогательной информации.

Процессы преобразования и контроля данных автоматизированы в специализированных исследовательских программах, предназначенных, в том числе для форматно-управляемого разбора файлов с данными, конвертации данных. Ключевое требование к этим программам -поддержка корректного информационного обмена между файлами с данными и элементами моделей исследований, в том числе на этапе подготовки данных.

Модели исследования (рис. 2), построенные с учетом ключевых принципов моделирования общеэнергетических систем (принцип последовательного описания стадий преобразования, принцип сетевого представления территориальных связей) [8], содержательно описывают территориально-производственную структуру объекта исследования, интегрируются с предметно-ориентированными наборами данных. Формально такие модели представляют собой задачи линейного программирования, решаемые традиционно внешними программными средствами -например, решателем lp_solve или MINOS [2].

Критические ситуации / Critical situation

Рис. 1. Онтология сценарных исследований энергетической безопасности России Fig. 1. Ontology of Russian energy security scenario studies

Содержательно модель формализует топливно-энергетические ресурсы, объекты (энергетические и экономико-организационные) и многоуровневые территориальные образования. Объекты модели формализуют технологические и экономические характеристики, протекающие в них процессы (технологии) преобразования ресурсов. Характер последних определяет тип объектов в модели, идентифицирует энергетические (объекты добычи и переработки ресурсов, объекты их хранения и транспортировки) и организационно-экономические (различные категории потребителей, отраслевые управленческие организации) объекты. Взаимодействие объектов, их территориальная привязка в моделях регламентируется организационно-экономическими связями, применимыми также и к территориальным образованиям.

Математический аспект каждой модели выражен схемой взаимодействия ее элементов - переменных и коэффициентов (технологических и стоимостных) модели,

ее уравнений и неравенств (балансовых и технологических), целевой функцией. При этом переменные модели соответствуют процессам смоделированных объектов, коэффициенты - технологическим и экономическим характеристикам этих объектов. Балансовые уравнения модели отслеживают цепочку технологических этапов преобразования ресурсов по территориальным единицам. Технологические уравнения характеризуют взаимосвязь технологических процессов энергетических объектов. Численные ограничения переменных, значения коэффициентов модели хранятся в предметно-ориентированных наборах данных. Численная идентификация параметров модели в ВЭ предполагает сбор этих данных в модельно-ориентированные структуры с последующей их обработкой и преобразованием в файлы формата внешнего решателя. Обработка данных состоит в приведении показателей к нужным единицам измерения, в получении синтетических (удельных) показателей.

Группы потребителей / Consumer groups

coo m ват ствуют /meet

Рис. 2. Онтология экономико-математической модели исследования энергетической

безопасности России Fig. 2. Ontology of the economic and mathematical model for Russian energy security study

Приоритетным вариантом корректной, относительно универсальной автоматизации в части такого сбора данных в исследованиях ЭБ является использование их семантических свойств, экспертно определяемых в существующей схеме подготовки данных для ВЭ. Средства реализации такой подготовки данных не будут

направлены на конкретные модели исследования, а будут гибкими в части используемых и получаемых наборов предметно-ориентированных данных. Одна из методик реализации такой подготовки данных в исследованиях ЭБ России рассмотрена далее.

Методика подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности

Предлагаемая методика подготовки данных в ВЭ ориентирована на традиционно используемые в исследованиях ЭБ табличные структуры хранения данных (электронные таблицы, таблицы БД). Она пред-

полагает использование семантических свойств данных, аргументированное неизменностью семантики при изменяемости исходных и выходных структур хранения данных, а также необходимостью много-

кратного использования этих данных (для моделирования, отображения, анализа) в ВЭ. Методика отвечает следующим принципам сбора данных в исследованиях ЭБ России:

1. Все необходимые для проведения исследований данные представляют собой двумерные таблицы.

Таблицы состоят из именованных полей и записей, могут быть сохранены в формате баз данных или в виде рабочей книги табличного процессора. Они имеют предметно-ориентированную структуру, могут содержать первичную, промежуточную и модельную (исходную и расчетную) информацию. В контексте сбора данных они интерпретируются как таблицы-источники, так и таблицы-приемники данных.

2. Структура и содержимое таблиц-источников с первичной информацией регламентируется формами статистической отчетности и требованиями к их заполнению.

Этот принцип предопределен фактом применения официальной статистической отчетности в качестве основного источника данных. Данные в этой отчетности разбиты по формам, имеющим постоянную табличную структуру. Требования к этим формам, к их содержимому и применяемой в них классификации показателей регламентированы стандартами выпускающих их организаций. Семантика данных этих форм определяется:

- наименованиями разделов и форм статотчетности, характеризующими смысловой аспект включенных в таблицы показателей;

- наименованиями полей таблиц форм статотчетности, идентифицирующих конкретный отраслевой показатель;

- уникальным кодом ключевого показателя, связанным с набором сопутствующих показателей.

Экспертный анализ этих атрибутов, поиск по ним данных в формах статотчет-ности - важный элемент подготовки данных для исследований, он позволяет разрешить возможные несоответствия в наименова-

ниях форм, в наличии и расположении в них неключевых показателей, в систематизации и кодировке их ключевых элементов.

3. Таблицы-приемники данных имеют переменную структуру, зависящую от цели сбора данных.

Таблицы-приемники данных могут иметь различное предназначение. Они могут быть ориентированы на сбор исходных данных, на работу с промежуточными данными, либо на формирование конечного набора исходных модельных данных. В каждом из этих случаев структура таблиц-приемников должна быть предметно-ориентированной, должна отражать территориально-производственную структуру объекта исследования и специфику решаемых задач, должна ориентироваться на состав таблиц-источников. Цель сбора данных определяется задачами текущего шага исследований, зависит от цели исследования, от характера используемых данных и от особенностей используемого математического аппарата.

4. Сбор данных в таблицах-приемниках должен учитывать семантические свойства данных.

Корректность сбора данных в таблицы-приемники в ходе исследований обеспечивается достоверностью данных в таблицах-источниках, безошибочным соответствием структурных элементов таблиц. Соответствие определяется на уровне семантики данных. В таблицах она представлена наименованиями полей, в моделях -наименованиями характеристик и процессов смоделированных объектов, ресурсами и территориальными единицами. В случае отсутствия прямого соответствия для результирующего структурного элемента осуществляется сбор сопутствующих характеристик, на базе которых может быть определена численная характеристика данного параметра.

5. Сбор данных осуществляется за счет применения механизма семантически-ориентированных выборок и привязок.

Сбор данных опирается на процедуры извлечения данных из таблиц-источников с последующей их загрузкой в

таблицу-приемник. Каждая такая процедура - настраиваемый запрос, атрибуты которого по семантике наименований таблиц-источников и полей в них идентифицируют поле выбора данных (поле-источник) и коллекцию записей в таблице-источнике. Условия выбора данных могут задаваться дополнительно с помощью привязок, формирующихся для определенного исходного параметра, включающего набор его допустимых значений.

Рассматриваемая методика носит шаблонно-ориентированный характер, отвечает следующим ключевым положениям:

1. Ориентирована на модельные исследования ЭБ России, может использоваться для промежуточного сбора данных, либо для прямого сбора исходных модельных данных. Методика ориентирована на работу со структурно-устоявшимися таблицами-источниками, предполагает типовые случаи выборки данных из источников.

2. Используемые и получаемые в рамках методики таблицы - электронные таблицы и таблицы баз данных - включают поля, записи и элементы данных (рис. 3). Идентификация данных в них реализуется преимущественно на уровне полей, характеризующих структуру таблиц, и, отчасти, семантический смысл элементов данных.

3. Базовые элементы методики:

- шаблоны выбора данных из таблиц-источников, описывающие типовые случаи извлечения данных из источников информации;

- макеты результирующих таблиц, описывающие структуры результирующих таблиц, их связь с таблицами-источниками;

объекты привязки - показатели-фильтры, определяющие состав данных в результирующей таблице, задающие условия их выбора из источников.

4. Сбор данных в рамках методики обеспечивается совместным применением элементов подхода и таблиц-источников, предполагает идентификацию полей-источников в файлах-источниках и полей-приемников в макете результирующей таблицы. Идентификация полей-источников предполагает семантический анализ наименований полей файлов-источников, требует подтверждения найденного семантического соответствия. Примером идентификации поля-источника может служить его непосредственный выбор экспертом. При этом возможны два случая компоновки макета:

- макет полностью привязан к определенному источнику и определенному шаблону выбора;

Риc. 3. Онтология двумерной таблицы Fig. 3. Ontology of the two-dimensional table

- каждое поле макета привязано к определенному источнику и определенному шаблону выбора.

5. Методика включает настройку взаимосвязи его элементов на уровне полей макета результирующей таблицы. Для каждого поля макета назначается шаблон выбора данных, осуществляется настройка атрибутов последнего. Предварительно в макет включаются объекты привязки в качестве информационных единиц, для которых и будет осуществляться сбор данных из таблиц-источников. В шаблоне идентифицируется файл-источник, таблица-источник в нем, поле-источник. Дополнительные условия выбора данных в шаблоне задаются путем включения в него заранее заданных объектов привязки (поле-ограничение, его допустимые значения).

Настройка элементов методики реализуется на уровне наименования полей таблиц и наименования объектов модели. Обобщенная схема взаимодействия элементов подхода, двумерных таблиц и моделей исследования представлена на рис. 4, алгоритм работы шаблона выбора данных -на рис. 5.

Реализуемый в рамках методики процесс формирования результирующих таблиц включает четыре этапа:

1. Подготовительный этап: выбирается объект территориально-производственной структуры модели, определяются отраженные в ней характеристики и процессы объекта, связанные с ним топливно-энергетические ресурсы и территориальные единицы. На основе этих данных

Рис. 4. Схема взаимодействия элементов методики Fig. 4. Spidergram of methodology element interaction

формируются списки объектов привязки для макета таблицы и шаблонов выбора данных.

2. На этапе создания макета результирующей таблицы формируется структура макета, устанавливается связь его полей с источниками с помощью шаблонов выбора данных. Первый шаг этого этапа - включение в макет поля со списком объектов привязки, для элементов которого и будет формироваться результирующая таблица. Последующие шаги этапа: включение в макет новых полей, закрепление за ними шаблонов выбора данных, настройка их атрибутов.

3. Этап создания результирующей таблицы: заполняются данными поля сформированного макета в соответствии с заданными для них настройками (по сути, активизация шаблонов выбора данных, передача сформированных в них результирующих списков в столбцы макета).

На этапе сохранения таблицы осуществляется редактирование результирующей таблицы и ее запись во внешний файл заданного формата.

Реализуемая в этом случае схема сбора данных на базе двумерных таблиц и семантических свойств данных включает следующие этапы:

1. Этап определения и извлечения семантических элементов из таблиц-источников, необходимый для содержательной идентификации структуры таблицы. Простейший случай автоматизации данного этапа - формирование перечня наименований полей для экспертного выбора объектов привязки, характеристик объектов ТЭК.

2. Этап задания параметров шаблонов выбора данных и макетов результирующих таблиц с целью настройки выборки данных. Вариант автоматизации данного этапа - выбор нужных процессов и характеристик объектов ТЭК, экспертное сопоставление им семантических элементов таблиц-источников.

3. Этап формирования результирующих таблиц по алгоритму, представленному на рис. 6.

Прототип программной реализации методики подготовки данных для вычислительных экспериментов в исследованиях энергетической безопасности

Макетная реализация представленной методики в случае работы только с электронными таблицами выполнена в виде программного прототипа [9], ориентированного на работу с используемыми в исследованиях ЭБ формами статистической отчетности. В этом прототипе данные выбираются из конкретных столбцов или ячеек листов отчетных форм, могут группироваться (например, по субъектам РФ) в результирующей таблице. Для консолидации данных в нем используются списки объектов привязки, заданные в хт1-файлах. Из этих списков выбираются объекты, для которых создаются и заполняются макеты результирующих таблиц. Макеты заполняются данными из файлов-источников и сохраняются на отдельных листах результирующего х!Б-файла. Каждый макет создает-

ся для одного шаблона, связывается с одним исходным файлом. Каждый столбец макета соответствует конкретному столбцу выбранного файла. Реализованные в прототипе варианты выбора данных из источников:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

- выбор в активном листе значений указанного столбца при наличии дополнительных условий (ограничений) и без них;

- выбор значений указанного столбца из листов документа, чьи названия включены в дополнительный список объектов привязки.

Реализованный прототип включает редакторы объектов привязки, шаблонов выбора данных и макетов результирующих таблиц, а также блок формирования результирующих таблиц (рис. 7).

ra i о

ю ®

ra 3

E ra

m ra

o c^ р ®

■ -M

a) ra

ra ср

CL

E

ra ®

ф

та с

я ®

d C/D га

М"

Исходные данные I Source data

Атрибуты файла-источника I Attributes of the source file

Список объектов привязки I List of binding objects

Объект модели I Model object

Обобщенный алгоритм работы шаблона выбора данных / Generalized algorithm of data selection template operation

f Начало/ \ I Beginning )

Задание файла-источника / Set source file

Задание таблиц-источников / Set source tables

I

Характеристика, процесс I Feature, process

Список объектов привязки I list of binding objects

Задание поля-источника / Set source field

—Задание^словий— выбора данных / Set data selection conditions

Файл-Источник I Source file

Открытие файла-->• источника / Source file opening

Таблица-источник I Source table

Для заданных таблиц-источников / For set source tables

I

Открытие таблицы-источника / Source table opening

T

Определение записи по заданным условиям / Record

identification by specified conditions

Извлечение элемента данных / Data element retrieval

Добавление элемента в

результирующий список / Element addition in the resulting list

Конец / End

Рис. 5. Алгоритм работы шаблона выбора данных Fig. 5. Algorithm of data selection template operation

Рис. 6. Алгоритм формирования результирующих таблиц Fig. 6. Algorithm of resulting table formation

Рис. 7. Базовые компоненты программного прототипа Fig. 7. Basic components of the software prototype

Заключение

В статье предложена методика подготовки данных на основе их семантических свойств для вычислительных экспериментов в исследованиях ЭБ России. Эта методика автоматизирует сбор данных из двумерных массивов данных, представленных электронными таблицами и таблицами баз данных. В рамках методики выделены основные этапы сбора данных, представлены алгоритмы формирования результирующих таблиц. Приведен прототип программной реализации методики, ориентированный на

работу с электронными таблицами. В дальнейшем планируется разработка средств автоматизации определения семантических свойств данных, технологии и программного обеспечения для реляционных баз данных.

Представленные в статье результаты получены при частичной финансовой поддержке Программы фундаментальных исследований Президиума РАН № 1.33П.

Библиографический список

1. Рабчук В.И., Сендеров С.М., Славин Г.Б. Энергетическая безопасность России: проблемы и пути решения / отв. ред. Н.И. Воропай, М.Б. Чельцов. Новосибирск: Изд-во СО РАН, 2011. 198 с.

2. Системные исследования в энергетике: ретроспектива научных направлений СЭИ - ИСЭМ. Вехи полувекового пути (к 50-летию института, 19602010) / отв. ред. Н.И. Воропай. Новосибирск: Наука, 2010. 686 с.

3. Архипенков С., Голубев Д., Максименко О. Хранилища данных: от концепции до внедрения. М.: Диалог-МИФИ, 2002. 528 с.

4. Макаров А.А., Мелентьев Л.А. Методы исследования и оптимизации энергетического хозяйства. Новосибирск: Наука, 1973. 276 с.

5. Курганская О.В. Средства дедуктивного синтеза преобразователей данных для вычислительных экспериментов в исследованиях энергетики // Научный сервис в сети Интернет: многообразие суперкомпьютерных миров: тр. Междунар. суперкомпьютерной конф. (Новороссийск, 22-27 сентября 2014 г.). М.: Изд-во МГУ, 2014. С. 355-362.

6. Массель Л.В., Ворожцова Т.Н., Пяткова Н.И. Онтологический инжиниринг для поддержки принятия стратегических решений в энергетике // Онтология проектирования. 2017. Т. 7. № 1 (23). С. 66-76.

7. Стенников В.А., Барахтенко Е.А., Соколов Д.В. Применение онтологий при реализации программного комплекса для решения задач оптимального проектирования теплоснабжающих систем // Информационные технологии. 2013. № 3. С. 2-7.

8. Курганская О.В., Береснева Н.М. Интеллектные преобразования данных для вычислительных экспериментов в исследованиях энергетической безопасности и ее регионов // Информационные технологии интеллектуальной поддержки принятия решений: тр. II Междунар. конф. (Уфа, 18-21 мая 2014 г.). Уфа, 2014. С. 238-243.

9. Курганская О.В., Береснева Н.М. Подход к подготовке статистических данных для вычислительных экспериментов в исследованиях энергетической безопасности // Информационные и математические технологии в науке и управлении: материалы XX Байкальской всерос. конф. (Иркутск, 29 июня 2015 г.). Иркутск, 2015. Часть III. С. 218-224.

References

1. Rabchuk V.l., Senderov S.M., Slavin G.B. [Energy security in Russia: problems and solutions] / otv. red. N.I. Voropai, M.B. Chel'tsov. Novosibirsk: Publishing House of the Siberian Department of the Russian Academy of Sciences, 2011, 198 p. (In Russian)

2. System researches in the energy sector: A retrospective of scientific trends of the Energy Systems Institute. Milestones of the half-century road (to the 50th anniversary of the Institute, 1960-2010)/ otv. red. N.I. Voropai. Novosibirsk: Nauka Publ., 2010, 686 p. (In Russian)

3. Arkhipenkov S., Golubev D., Maksimenko O. Data storage: from the concept to the implementation. Moscow: Dialog-MIFI Publ., 2002, 528 p. (In Russian)

4. Makarov A.A., Melent'ev L.A. Methods of energy facilities research and optimization. Novosibirsk: Nauka Publ., 1973, 276 p. (In Russian)

5. Kurganskaya O.V. Means of deductive synthesis of data converters for computing experiments in energy sector researches. Proceedings of the International supercomputer conference "Scientific service on the Internet: diversity of supercomputer worlds". Moscow: MGU Publ., 2014, pp. 355-362. (In Russian)

Критерии авторства

Авторы заявляют о равном участии в получении и оформлении научных результатов и в равной мере несут ответственность за плагиат.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.

Статья поступила 05.07.2017 г.

6. Massel' L.V., Vorozhtsova T.N., Pyatkova N.I. Ontology engineering to support strategic decision-making in the energy sector. Ontologiya proektirovaniya [Ontology of Designing]. 2017, vol. 7, no. 1 (23), pp. 66-76. (In Russian)

7. Stennikov V.A., Barakhtenko E.A., Sokolov D.V. Ontology application under program complex implementation to solve the problems of heat supply system optimum design. Informatsionnye tekhnologii [Information technologies]. 2013, no. 3, pp. 2-7. (In Russian)

8. Kurganskaya O.V., Beresneva N.M. Intelligent transformation of data for computing experiments in researches of energy security and its regions. Information Technologies of Intelligent Assistance of Decision-making: Proceedings of II International Conference. Ufa, 2014, pp. 238-243. (In Russian)

9. Kurganskaya O.V., Beresneva N.M. Approach to statistical data preparation for computing experiments in energy security researches. Information and Mathematical Technologies in Science and Management: Materials of XX Baikal All-Russian Conference. Irkutsk, 2015, part III, pp. 218-224. (In Russian)

Authorship criteria

The authors declare equal participation in obtaining and formalization of scientific results and bear equal responsibility for plagiarism.

Conflict of interests

The authors declare that there is no conflict of interests regarding the publication of this article.

The article was received 05 Jule 2017

i Надоели баннеры? Вы всегда можете отключить рекламу.