CC BY
17
МЕЖОТРАСЛЕВОЙ МЕНЕДЖМЕНТ
УДК 004.9; 657.6 JEL M15 DOI: https://doi.org/10.26425/2309-3633-2021-9-3-14-26
Получено: 26.07.2021 Статья поступила после рецензирования: 27.08.2021 Принято: 03.09.2021
Совершенствование информационного обеспечения формирования управленческой отчетности на примере деятельности энергетической компании
Белоусова Мария Николаевна
Канд. экон. наук, ORCID: https://orcid.org/0000-0002-0072-5656, e-mail: maryzver@gmail.com
Орешина Марина Николаевна
Д-р техн. наук, ORCID: https://orcid.org/0000-0001-8569-0896, e-mail: mar-ore@yandex.ru
ФГБОУ ВО «Государственный университет управления», 109542, Рязанский проспект, 99, г. Москва, Российская Федерация
Аннотация
Цель исследования - разработка системы формирования управленческой отчетности по производственной деятельности энергетической компании на платформе SAP BusinessObjects. Для построения системы отчетности были поставлены и решены следующие задачи: созданы концептуальная и даталогическая модели хранилища данных; выделены области данных из общей модели данных; спроектировано и разработано хранилище данных; созданы юниверсы для групп отчетов; реализован механизм интеграции данных с хранилищем данных.
В работе проведен анализ информационно-технологической инфраструктуры энергетической компании, а также сформулированы основные требования к создаваемой системе для формирования отчетности. Спроектированы две основные подсистемы - хранения и интеграции данных. Описан процесс реализации спроектированных подсистем в физическом виде с применением соответствующих программных продуктов: SAP HANA, SAP Universe Designer, SAP Data Services, SAP Business Intelligence.
Благодаря настроенной системе, стал возможен относительно простой механизм интеграции данных через корпоративную шину данных. В информационно-технологической архитектуре компании удалось смоделировать приемлемую модель хранилища данных и настроить соответствующие потоки данных. Реализована сложная модель хранилища данных, предоставлена удобная площадка для дальнейшей обработки данных. Средствами SAP Data Services настроена понятная схема интеграции данных с возможностью масштабирования и настройки расписания загрузки данных. Разработанная система внедрена в эксплуатацию и используется сотрудниками для принятия управленческих решений в рамках их профессиональной деятельности.
Ключевые слова: информационное обеспечение, отчетность, энергетическая компания, хранилище данных, интеграция, информационно-технологическая архитектура, SAP HANA, SAP Business Intelligence
Для цитирования: Белоусова М.Н., Орешина М.Н. Совершенствование информационного обеспечения формирования управленческой отчетности на примере деятельности энергетической компании//Управление. 2021. Т. 9. № 3. С. 14-26. DOI: 10.26425/2309-3633-2021-9-3-14-26
© Белоусова М.Н., Орешина М.Н., 2021.
Статья доступна по лицензии Creative Commons «Attribution» («Атрибуция») 4.0. всемирная http://creativecommons.org/licenses/by/4.0/
MANAGEMENT IN VARIOS INDUSTRIES
Received: 26.07.2021 Revised: 27.08.2021 Accepted: 03.09.2021
Improvement of information support for formation of management reporting on the example of the activities of an energy company
Mariia N. Belousova
Cand. Sci. (Econ.), ORCID: https://orcid.org/0000-0002-0072-5656, e-mail: maryzver@gmail.com
Marina N. Oreshina
Dr. Sci. (Tech.), ORCID: https://orcid.org/0000-0001-8569-0896, e-mail: mar-ore@yandex.ru State University of Management, 99, Ryazansky prospekt, Moscow, 109542, Russia
Abstract
The purpose of the study is to develop a system for generating management reporting on the production activities of an energy company on the SAP Business Objects Platform. To build a reporting system, the following tasks has been set and solved: the conceptual and datalogical models of the data warehouse were created, data areas have been selected from the general data model, the data warehouse has been designed and developed, universes for report groups have been created, a mechanism for integrating data with the data warehouse has been implemented.
The paper analyses the information and technological infrastructure of an energy company as well as formulates the basic requirements for the system being created for generating reporting. Two main subsystems have been designed: data storage and integration. The process of implementing the designed subsystems in physical form has been described using the appropriate software products: SAP Hana, SAP Universe Designer, SAP Data Services, SAP Business Intelligence.
Thanks to the configured system through the corporate data bus, a relatively simple data integration mechanism became possible. In its information and technological architecture, the company managed to simulate an acceptable data warehouse model and set up the appropriate data flows. A complex data warehouse model has been implemented, and a convenient platform for further data processing has been provided. A clear data integration scheme is configured using SAP Data Services, with the ability to scale and configure the data loading schedule. The developed system has been put into operation and is used by employees to make management decisions within the framework of their professional activities.
Keywords: information support, reporting, energy company, data warehouse, integration, information and technological architecture, Sap HANA, SAP Business Intelligence
For citation: Belousova M.N., Oreshina M.N. (2021). Improvement of information support for formation of management reporting on the example of the activities of an energy company. Upravlenie/Management (in Russian), 9 (3), pp. 14-26. DOI: 10.26425/2309-3633-2021-9-3-14-26
© Belousova M.N., Oreshina M.N., 2021.
This is an open access article under the CC BY 4.0 license (http://creativecommons.org/licenses/by/4.0/)
Введение / Introduction
Современные организации работают в условиях быстро изменяющейся внутренней и внешней среды. Деятельность организаций сопровождается множеством бизнес-процессов и отдельных операций, результатом которых являются взаимосвязанные данные разных типов. Для принятия эффективных управленческих решений менеджерам компании приходится обрабатывать огромные объемы разнообразной информации. Чтобы облегчить работу руководства компании, увеличить эффективность принимаемых решений, используются технологии, специализирующиеся на хранении, анализе и наглядном представлении данных.
Данная проблема в первую очередь затрагивает организации всех размеров и отраслей, но наиболее она характерна для крупных предприятий. Одной из отраслей, в которых описанная проблема актуальна, является энергетическая промышленность. Эта отрасль имеет ряд особенностей, которые необходимо учитывать при проектировании технологий хранения, анализа и представления данных. Например, ряд данных, такие как данные по авариям, критические показатели оборудования, производственные распоряжения и т.п., должны попадать в систему с минимальной задержкой. Некоторые данные, например, срок эксплуатации оборудования, стоимость оборудования и т.п., используются в отчетах для внешних стейкхолдеров, а в отчетности особенно важна достоверность. Кроме того, из-за характерного для организаций энергетической отрасли масштаба, объем информации, необходимой для хранения и обработки, как правило, очень велик.
Постановка проблемы / Formulation
of the problem
В организации, в которой реализована настоящая работа, не было единого хранилища данных, и отчетность собирали из разных систем, разных баз данных, что было неприемлемо для компании, так как менеджерам было затруднительно своевременно получить целостную и актуальную информацию, тем более в надлежащей форме.
Актуальность работы заключается в необходимости энергетической компании собирать отчетную информацию из нескольких используемых информационных систем и прочих источников в одном месте, обрабатывать ее и представлять в удобном виде.
Распространенные среди предприятий системы отчетности, как правило, не позволяют комплексно взглянуть на функционирование организации, предоставляя информацию о конкретных функциях
и процессах [Гусева, 2014]. Кроме того, существует проблема неактуальности отчетных данных в больших системах, так как в отчет выводятся не текущие данные, а срезы за прошлые периоды. На стратегические решения такие отклонения не влияют, но оперативные решения, построенные на таких данных, могут быть неэффективными, а в ряде случаев — ошибочными. Кроме того, существует проблема, когда большой объем данных загружается в отчет через множество вложенных запросов к разным таблицам. В таких случаях отчеты могут загружаться слишком долго, что неприемлемо для целей высшего и среднего менеджмента.
Добиться конкурентного преимущества и обеспечить более высокий уровень услуг можно с помощью использования специализированных информационных технологий. Так, хранилище данных, интегрированное с отчетными системами компании, позволяет собирать все сведения о деятельности организации, а технологии OLAP (англ. Online Analytical Processing — интерактивная аналитическая обработка) и панели индикаторов (англ. DashBoards) — формировать информативные отчеты, которые будут служить основанием для принятия эффективных управленческих решений [Ананьин, 2019; Макаров, 2019; Митрович, 2017].
Для построения системы отчетности, включающей хранилище данных и механизм интеграции данных с системой отчетности, были поставлены и решены следующие задачи:
1) построение концептуальной и даталогической моделей хранилища данных;
2) выделение областей данных из общей модели данных;
3) построение представлений для отдельных областей данных;
4) проектирование и разработка хранилища данных;
5) построение юниверсов для групп отчетов;
6) проектирование и реализация механизма интеграции данных с хранилищем данных;
7) создание отчетов.
Архитектура системы управления
данными / Data management system
architecture
Нами был проанализирован состав информационно-технологической архитектуры энергетической компании и выделены следующие системы:
1) Программный продукт фирмы IBM WebSphere Application Server (далее - IBM WebSphere);
2) Автоматизированная система создания и ведения адресных справочников и справочников объектов теплоснабжения (далее — АС АСОТ);
3) Единая корпоративная система нормативно-справочной информации (далее - ЕКС НСИ);
4) Автоматизированная система «Паспортизация»;
5) Автоматизированная система «Диспетчеризация»;
6) Комплексная автоматизированная система управления технологическим оборудованием (далее - КАСУ ТО);
7) модуль «Техническое обслуживание и ремонт оборудования» корпоративной информационной системы организации (SAP Plant Maintenance Module, далее - SAP PM КИС).
Существующий процесс обмена НСИ через корпоративную шину данных IBM WebShpere имеет следующую архитектуру:
1) источником данных для IBM WebSphere является AC АСОТ;
2) получателями данных от IBM WebSphere являются автоматизированные информационные системы:
• АС «Паспортизация»;
• АС «Диспетчеризация»;
• АС «Теплоэксперт»;
• модуль «Техническое обслуживание и ремонт оборудования» КИС организации;
• система управления балансами;
• система расчета тарифов;
• модуль «Сбыт для теплоэнергетики» (SAP Industrial Solution Unit Module, далее - SAP IS-U).
Описание АО АСОТ
Автоматизированная система объектов теплоснабжения предназначена для решения следующих задач:
1) создание и централизованное ведение справочников;
2) создание единого интерфейса ведения данных справочников;
3) реализация адаптера (компонента обмена данными) между AC АСОТ и интеграционной шиной;
4) ведение графа объектов теплоснабжения;
5) загрузки информации из внешних источников. Данная система через интеграционную шину
данных IBM WebSphere передает НСИ в следующие информационные системы:
• АС «Паспортизация»;
• АС «Диспетчеризация»;
• АС «Теплоэксперт»;
• модуль «Техническое обслуживание и ремонт оборудования»;
• система управления балансами;
• система расчета тарифов;
• модуль «Сбыт для теплоэнергетики».
Описание ЕКС НСИ
Единая корпоративная система нормативно-справочной информации предназначена для централи-
зованного ведения справочной информации по: 1) контрагентам (подрядчикам); 2) справочнику материально-технических ресурсов (классификатор оборудования).
Описание АС «Паспортизация»
Автоматизированная система «Паспортизация» предназначена для:
• ведения и учета паспортных данных об объектах, параметрах и условиях технологического процесса и ведение технической, технологической и кадастровой документации;
• мониторинга технологического комплекса;
• информационной поддержки принятия управленческих решений на всех уровнях посредством представления необходимой аналитической и статистической информации о технологических процессах. Автоматизированная система «Паспортизация» представляет собой комплекс приложений, в который вошли:
• паспортизация инженерных объектов и тепловых сетей;
• подготовка инженерных объектов тепловых сетей к отопительному сезону;
• капитальные ремонты и модернизация инженерных объектов тепловых сетей;
• аварийно-диспетчерская служба;
• диагностика тепловых сетей;
• комплексный паспорт участка тепловой сети;
• паспортизация источников теплоснабжения;
• подготовка источников теплоснабжения к отопительному сезону;
• административные здания;
• аварийно-транспортная служба;
• режимы работы станции.
В АС «Паспортизация» применен модульный принцип хранения данных. Информация разделена на блоки в соответствии с функциональными областями, каждый блок хранится в виде отдельного файла (файл-контейнер №Р-типа) со специфичной для него структурой данных.
Описание АС «Диспетчеризация»
Многоканальная система контроля и управления производством «Диспетчеризация» создана для повышения эффективности технологического процесса тепловодоснабжения города. Основные функции системы:
• контроль значений технологических параметров и состояния оборудования источников теплоснабжения (центральные теповые пункты, районные тепловые станции, общедомовые узлы учета тепловой энергии);
• оперативная информация об аварийных и предупредительных сигналах отклонений от нормального режима работы для диспетчерской службы;
• дистанционное снятие показаний учета потребления энергии на объектах распределения энергоресурсов;
• возможность подведения тепловых балансов;
• обеспечение контроля непрерывности и качества поступления энергоносителя;
• подтверждение эффективности внедренных энергосберегающих технологий.
Описание системы КАСУ ТО
Комплексная автоматизированная система управления технологическим оборудованием является производственной системой, используемой в аппарате управления и филиале № 20 «Магистральные тепловые сети». Система позволяет автоматизировать процессы создания, контроля и предоставления справочных и учетно-управленческих данных по технологическому оборудованию и его состоянию, а также графических схем теплосети для обеспечения поддержки производственных процессов филиала.
Основой КАСУ ТО является реестр технологического оборудования (далее - РТО). Этот реестр представляет собой количественное (перечень) и качественное (характеристики) описание технологического оборудования теплосети, формируемое на основе исполнительной или иной утверждаемой документации.
Основные функции системы:
• ведение РТО;
• ведение схемы теплосети и ее отображение на карте города (геоинформационная система);
• синхронизация и актуализация РТО и графических схем;
• контроль качества графических схем и справочной информации;
• оперативно-диспетчерское управление режимами теплоснабжения;
• автоматизация учета данных по технической диагностике и мониторингу состояния трубопроводов, а также предоставление возможностей для анализа этой информации;
• ввод и учет замечаний пользователей по качеству информационно-графических ресурсов, извещение подразделений, ответственных за ведение данных, о необходимости произвести уточнение, корректировку или ввод того или иного вида информационных ресурсов;
• актуализация и синхронизация ресурсов КАСУ ТО;
• учет произведенных в РТО действий по вводу новых или удалению объектов теплосети;
Описание модуля «Техническое обслуживание и ремонт оборудования»
Основные функции модуля «Техническое обслуживание и ремонт оборудования»:
• учет объектов и оборудования (ведение паспортных сведений технических объектов и оборудования, а также данных о структуре объектов с установленным на них оборудованием);
• планирование сроков проведения технического обслуживания и ремонтов (календарное планирование);
• планирование материалов, собственных работ, услуг подрядных организаций, необходимых для проведения технического обслуживания и ремонтов, а также затрат на них;
• учет выполнения технического обслуживания и ремонтов (подтверждение фактических сроков проведения технического обслуживания и ремонта, выполненных работ и использованных материалов в результате технического обслуживания и ремонта) и затрат на них.
Объекты автоматизации и требования к системе отчетности и обмена информационными ресурсами компании / Automation objects and requirements for the reporting system and exchange of the information resources of the Company
Объектами автоматизации являются следующие бизнес-процессы энергетической компании:
• сбор, обработка, хранение информации и формирование отчетности по функциональному блоку «состояние хозяйства» энергетической компании;
• сбор, обработка, хранение информации и формирование отчетности по функциональному блоку «производственная деятельность» энергетической компании;
• сбор, обработка, хранение информации и формирование отчетности по функциональному блоку «надежность» энергетической компании.
Организационным объемом проекта являются управления, службы, отделы аппарата управления энергетической компании:
1) центральное диспетчерское управление;
2) служба диагностики тепловых сетей;
3) служба эксплуатации и ремонта объектов распределения и передачи тепловой энергии;
4) производственно-технический отдел;
5) центр технологических присоединений;
6) отдел магистральных тепловых сетей;
7) служба эксплуатации и ремонта электротехнического оборудования, автоматизированная система
управления технологическими процессами и контрольно-измерительные приборы и автоматика;
8) служба эксплуатации объектов энергогенерации;
Система должна быть реализована как единый программно-аппаратный комплекс, обеспечивающий независимость данных, полученных из отдельных информационных систем оперативной обработки данных производственно-технологического блока энергетической компании, с одной стороны, их интеграцию при необходимости формирования сводной кросс-отчетности, с другой.
Система должна быть построена на единой платформе, обеспечивающей функционирование различных инструментов бизнес-анализа.
В систему должны входить следующие функциональные подсистемы:
1) подсистема интеграции;
2) подсистема хранения данных;
3) подсистема формирования отчетности.
Подсистема интеграции предназначена для реализации процессов сбора данных из систем-источников, преобразования данных к требуемому формату и наполнения подсистемы хранения данных. Подсистема интеграции должна обеспечивать ведение журналов учета поступивших и обработанных данных, возможность оперативного анализа ошибок возникших при загрузке данных.
Подсистема интеграции должна быть построена на решении SAP Data Services.
Системы — источники данных должны:
• функционировать в рамках ЕКС НСИ;
• предоставлять возможность разрабатывать новые сервисы/процедуры, через которые будет выполняться обмен данными с внешними системами, в частности с описываемой системой.
Модель данных хранилища данных должна обеспечивать формирование отчетных форм. Модель данных хранилища данных должна включать возможность масштабирования при добавлении новых систем-источников данных. Данные должны храниться в структурах, обеспечивающих хранение больших объемов данных и высокую скорость их обработки. Подсистема хранения данных должна быть построена на программно-аппаратном комплексе SAP HANA (англ. High-Performance Analytic Appliance).
В целях оптимизации управления данными системы, структура подсистемы хранения данных должна быть разделена на 3 области:
• область классификаторов и справочников;
• область хранения первичных данных;
• область витрины данных.
Область классификаторов и справочников предназначена для хранения значений справочников
из систем-источников данных и централизованных (эталонных) справочников.
Основные требования, предъявляемые к нормативно-справочной информации в хранилище данных:
• справочники должны являться общими для всего хранилища данных в целом;
• ведение справочников в полной аналитике (ведение атрибутов\характеристик объектов) должно осуществляться централизованно в системе-источнике данных;
• справочники, которые не ведутся в системе-источнике данных, должны вестись централизованно в системе мастер-данных (АС АСОТ или ЕКС НСИ);
• справочники не должны дублироваться в рамках хранилища данных;
• загрузка справочников является обязательным элементом процесса загрузки данных в хранилище данных;
• при загрузке справочников стандартных объектов должно быть максимально использовано стандартное бизнес-содержимое, при необходимости расширяемое дополнительными атрибутами (объекты SAP Business Content, которые предоставляются компанией SAP и могут быть использованы при внедрении решения);
• справочники предпочтительно загружаются через процедуру дельта-обновления данных. Однако при невозможности организации дельта-загрузок могут загружаться методом полного обновления (при отсутствии сложных «тяжелых» алгоритмов извлечения атрибутов).
Область хранения первичных данных предназначена для хранения транзакционных данных, собранных непосредственно из внешних систем — источников данных. Данные должны храниться в том же формате, в котором они поставляются из внешних систем. Глубина хранения первичных данных определяется в ходе выполнения проекта и должна быть достаточной для построения отчетных форм.
Область витрины данных представляет собой набор совокупностей мер и измерений, построенных на базе классификаторов, справочников и первичных данных и предназначена для удовлетворения потребностей в анализе данных определенной группы пользователей (либо внешних систем), ориентированных на решение конкретных аналитических задач. Сами витрины данных представляют собой специализированные хранилища, обслуживающие, как правило, единственное направление деятельности организации.
Подсистема формирования отчетности предназначена для: создания и формирования информационных панелей по ключевым показателям производственной деятельности энергетической компании; проектирования и разработки форм регламентной
отчетности; формирования и предоставления по запросам пользователей аналитических и статистических отчетов в текстовых и графических форматах; отображения отчетов на стационарных рабочих местах и мобильных устройствах; вывода подготовленных отчетных форм в печать.
Отчетные формы должны разрабатываться с помощью программного решения SAP Business Objects Web Intelligence;
Подсистема формирования отчетности должна обеспечивать:
• возможность коллективной работы пользователей энергетической компании, при наличии комплекса средств и мер обеспечения информационной безопасности;
• возможность удаленного доступа с применением комплекса средств и мер обеспечения информационной безопасности;
• формирование отчетов в интересах энергетической компании;
• формирование произвольных запросов к корпоративному хранилищу данных;
• возможность самостоятельного (без привлечения специалистов поддержки) построения отчетов и графиков на основе информации из хранилища данных;
• возможность сохранения версий отчетности, защищенных от изменений.
Для удобства работы с большим количеством отчетов, облегчения навигации и сокращения времени поиска необходимо отчета, все настроенные формы должны быть сгруппированы в группы или подгруппы по функциональным областям.
Управление учетными записями пользователей должно выполняться администраторами системы через стандартное средство SAP Business Objects Central Management Console. Область управления «Пользователи и группы» представляет собой единый центр для выполнения заданий, связанных с созданием, отображением, изменением и организацией информации о пользователях и группах.
Группы — это совокупности пользователей, которым назначены одинаковые привилегии. Группы позволяют изменять права пользователей централизованно (в группе), вместо того, чтобы изменять права для каждой учетной записи пользователя.
Права — это основные «организационные» единицы, которые контролируют пользовательский доступ к объектам, приложениям, серверам и другим компонентам платформы SAP Business Intelligence. Они играют важную роль в защите системы, указывая индивидуальные действия, которые пользователь может выполнять над объектами. Кроме того, что права контролируют доступ к содержимому платформы SAP
Business Intelligence, они позволяют осуществлять управление пользователями и группами на уровне различных подразделений и обеспечивают специалистам по информационным технологиям административный доступ к серверам и группам серверов.
В системе должны быть настроены следующее уровни доступа:
1) функциональный: сотрудникам функциональных подразделений доступны отчетные формы соответствующего подразделения;
2) организационный: сотрудникам филиалов доступны данные только их филиала, сотрудникам аппарата управления доступны данные по всем филиалам.
Комбинации указанных уровней доступа позволят гибко управлять правами и полномочиями пользователей. По предоставленной энергетической компанией матрице доступа в системе должны быть настроены соответствующие учетные записи пользователей с требуемыми правами и полномочиями.
Обсуждение результатов построения системы
управления данными / Discussion of the results
of building a data management system
В ходе выполнения проекта были разработаны структуры данных, протоколы и регламент взаимодействия системы со смежными системами. В число смежных систем вошли:
1) IBM WebSphere;
2) АС АСОТ;
3) ЕКС НСИ;
4) АС «Паспортизация»;
5) АС «Диспетчеризация»;
6) КАСУ ТО;
7) модуль «Техническое обслуживание и ремонт оборудования»;
8) модуль «Сбыт для теплоэнергетики».
Контроль корректности поступающих в систему
данных возлагается на системы — источники данных.
Кроме взаимодействия с обозначенными выше смежными системами, подсистема интеграции должна обеспечивать возможность загрузки данных в систему из файлов форматов «.csv», «.xls» и «.xml» в соответствии определенными в ходе проекта структурами данных. Вся схема интеграции представлена на рисунке 1.
Подсистема хранения данных является ключевым элементом системы и предназначена для хранения данных из систем производственно-технологического блока энергетической компании. Подсистема хранения данных должна являться единственным источником для построения аналитической, оперативной и регламентной отчетности по производственной деятельности энергетической компании.
Подсистема формирования отчетности
Report Generation Engine
Веб-аналитика SAP BO
SAP BO Web Intelligence
-TN--
Отчеты SAP Crystal
SAP Crystal Reports --
Панели индикаторов SAP BO
SAP BO Dashboards
Анализ SAP BO
SAP BO Analysis
1
Мобильные решения SAP BO
SAP BO Mobile
If V
Мобильные решения SAP BO
SAP BO Mobile
^-/ ч-
Подсистема хранения данных Data Storage Engine >
Программно-аппаратный комплекс управления хранилищем данных High-Performance Analytic Appliance (SAP HANA)
Подсистема интеграции Integration Engine /
Сервис обработки данных бизнес-объектов SAP Business Objects Data Service
> <
Подсистема интеграции Integration Engine \ /
IBM WebShere
Í LJ LJ ^
V
КАСУ ТО
CAMS TE
V
АС АСОТ и ЕКС НСИ
AMSR HSO and UCS RRI
V
АС «Паспортизация»
AS "Certification"
£
А А
V
Модуль технического обслуживания
Module SAP Plant Maintenance
V
V
Модуль «Сбыт для теплоэнергетики»
Module SAP IS-U for Heat Power Industry
АС «Диспетчеризация»
AS "Scheduling"
V
Источники данных
Data Sources
Файлы .cvs, .xls, .xml
Files .cvs, .xls, .xml
КАСУ ТО - комплексная автоматизированная система управления технологическим оборудованием; АС АСОТ -автоматизированная система создания и ведения адресных справочников и справочников объектов теплоснабжения; ЕКС НСИ - единая корпоративная система нормативно-справочной информации
CAMS TE - complex automatized management system of the technological equipment; AMSR HSO - automatized management system of the creating and maintaining address references and references of heat supply objects; UCS RRI - unified corporate system of regulatory and reference information Составлено авторами по материалам исследования / Compiled by the authors on the materials of the study
Рис. 1. Общая схема интеграции данных в системе управления информацией в энергетической компании Fig. 1. General scheme of data integration in an energy company's information management system
Существует два принципиально разных подхода к осуществлению загрузки данных: монолитная и микросервисная.
Монолитная архитектура — архитектура, в которой различные компоненты приложения объединяются в одну программу на одной платформе. Она характеризуется отсутствием изоляции и распределенности. Все запросы в такой архитектуре обрабатывает один «монолит». Ее основные преимущества:
• упрощенная разработка и развертывание;
• малое количество сквозных проблем благодаря единой кодовой базе;
• хорошая производительность.
Среди недостатков следует выделить:
• постепенную перегрузку кодовой базы;
• сложность внедрения новых технологий;
• ограниченную гибкость [Артамонов, 2016; Balalaie, 2015; Долженко, 2020; Малыженков, 2017].
Микросервисная архитектура — это подход к созданию приложения, подразумевающий отказ от единой, монолитной структуры. Вместо того, чтобы исполнять все ограниченные контексты приложения на сервере с помощью внутрипроцессных взаимодействий, используется несколько небольших приложений, каждое из которых соответствует какому-то ограниченному контексту [Шитько, 2017; Amaral, 2015; Fernández, 2010; Toffetti, 2015].
Основными преимуществами такой архитектуры являются:
• простота разработки, тестирования и разворачивания;
• высокая гибкость;
• широкие возможности горизонтального масштабирования.
Среди недостатков следует выделить:
• сложность;
• проблемы безопасности;
• возможность применять разные технологии и языки программирования.
Для реализации загрузки данных в разрабатываемой системе было принято решение применить компромиссный подход: загрузка будет осуществляться через один сервер, в одной среде, но в рамках отдельных задач — для каждой таблицы, чтобы иметь возможность гибко настраивать потоки без прерывания работы системы, а в случае неполадок — точно знать источник проблемы.
Для каждой таблицы базы данных было реализовано два механизма загрузки данных из корпоративной шины данных:
1) полная загрузка для начальной загрузки данных и загрузки в случае неисправностей второго типа загрузки;
2) дельта-загрузка загрузка только новых данных, обновление и удаление записей.
Оба механизма были оформлены в виде объекта «Задача» в SAP Data Services1,2,3 [Shomnikov, 2015; Tofetti, 2015] и были присоединены к общему управлению межсистемной интеграции компании. Кроме того, каждый поток данных администратор может запустить отдельно вручную в случае необходимости.
Кроме описанных механизмов интеграции, было создано огромное количество вспомогательных потоков обогащения данных из смежных систем и плоских файлов, но эти потоки уникальны из-за своих особенностей, поэтому были опущены в настоящей работе.
На сервере до получения данных через сервис обработки данных бизнес-объектов SAP Business Objects Data Services, формируется так называемая концепция данных — срез данных для загрузки. В случае полной загрузки — это просто все необходимые к отправке данные из соответствующей базы данных, в случае дельта-загрузки — это срез данных за последние 10 дней. Далее представлена реализация вариантов загрузки данных в SAP Data Services для таблицы участков (табл. 1).
Для реализации областей данных, объединения сущностей, применялся программный продукт SAP Univerce Designer4 5 6 [Villamizar, 2016].
Был создан юниверс (специализированный файл), который и представляет собой физическую реализацию области данных7,8. В него вошли все описанные ранее сущности, а также ряд дополнительных таблиц, не относящихся напрямую ни к одной из них,
1 One Stop to SAP BODI/BODS. Режим доступа: https://dwbi.org/ pages/165/one-stop-to-sap-bodibods (дата обращения: 07.06.2021).
2 Why SAP Data Services. Режим доступа: https://dwbi.org/pages/168/ why-sap-data-services (дата обращения: 07.06.2021).
3 Shomnikov I. (2015). SAP Data Services 4.x Cookbook. Packt Publishing Ltd., UK. 430 p.
4 SAP Universe Designer - Краткое руководство. Режим доступа: https://coderlessons.com/tutorials/sap/izuchite-sap-universe-designer/ sap-universe-designer-kratkoe-rukovodstvo (дата обращения: 07.06.2021).
5 Creating an SAP Business Objects Multi-Source Universe: A Step-by-Step Guide. Режим доступа: https://www.sapinsideronline.com/articles/ creating-an-sap-businessobjects-multi-source-universe-a-step-by-step-guide (дата обращения: 07.06.2021).
6 Ah-Soon С., Vezzosi P., Mazoue D. (2013). Universe design with SAP business objects BI: The Comprehensive Guide / SAP Press. 265 p.
7 SAP Universe Designer - Создание юниверса. Режим доступа: https://coderlessons.com/tutorials/sap/izuchite-sap-universe-designer/ sap-universe-designer-sozdanie-iuniversa (дата обращения: 07.06.2021).
8 SAP Universe Designer - Развертывание Universe. Режим доступа: https://coderlessons.com/tutorials/sap/izuchite-sap-universe-designer/ sap-universe-designer-razvertyvanie-universe (дата обращения: 07.06.2021).
Таблица 1
Фрагмент отчета по заполнению паспортов тепловой сети, находящейся в эксплуатации (по состоянию на 21 сентября 2020 г.)
Количество паспортов по типам участков, шт. Заполнено без ошибок, шт.
Филиал Предприятие магистрали теплового ввода разводящие всего разводящие % всего % магистрали %
1 3 741 1 831 1 878 7 450 9 0,48 9 0,12 3 741 100
2 - 319 1 051 1 370 449 42,72 449 32,77 - -
3 - 502 627 1 129 237 37,80 237 20,99 - -
1 4 7 229 1 358 1 594 603 44,40 603 37,83 7 100
5 1 442 974 1 417 388 39,84 388 27,38 1 100
6 - 476 648 1 124 309 47,69 309 27,49 - -
7 3 455 1 894 1 162 6 511 2 0,17 2 0,03 3 455 100
9 - 238 1 286 1 522 491 38,18 491 32,26 - -
Итог 7 204 5 929 8 984 22 117 2 488 27,69 2 488 11,25 7 204 100
1 4 396 1 593 141 6 130 - - - - 4 395 100
2 25 496 1 841 2 362 939 51,00 939 39,75 25 100
2 3 4 385 1 601 1 990 865 54,00 865 43,47 4 100
4 1 454 1 970 2 425 1 049 53,25 1 049 43,26 1 100
5 - 321 1 232 1 153 650 52,76 650 41,85 - -
Итог 4 426 3 249 6 785 14 460 3 503 51,63 3 503 24,23 4 426 100
Составлено авторами по материалам исследования
Table 1. Fragment of the report on completion of passports of the heating network in operation dated on September 21, 2020.
Number of passports by heating line section type, units. Filled in without errors, untis.
■С о с та main lines main lines
та DO Е о о heat input distributing in total distributin % in total % %
1 3 741 1 831 1 878 7 450 9 0,48 9 0.12 3 741 100
2 - 319 1 051 1 370 449 42.72 449 32.77 - -
3 - 502 627 1 129 237 37.80 237 20.99 - -
1 4 7 229 1 358 1594 603 44.40 603 37.83 7 100
5 1 442 974 1 417 388 39.84 388 27.38 1 100
6 - 476 648 1 124 309 47.69 309 27.49 - -
7 3 455 1 894 1 162 6 511 2 0.17 2 0.03 3,455 100
9 - 238 1 286 1 522 491 38.18 491 32.26 - -
Result 7 204 5 929 8 984 22 117 2 488 27.69 2 488 11.25 7204 100
1 4 396 1 593 141 6 130 - - - - 4 395 100
2 25 496 1 841 2 362 939 51.00 939 39.75 25 100
2 3 4 385 1 601 1 990 865 54.00 865 43.47 4 100
4 1 454 1 970 2 425 1 049 53.25 1049 43.26 1 100
5 - 321 1 232 1 153 650 52.76 650 41.85 - -
Result 4 426 3 249 6 785 14 460 3 503 51.63 3,503 24.23 4 426 100
Compiled by the authors on the materials of the study
но содержащих данные, необходимые для отображения в отчете. Юниверс — это файл, который содержит параметры соединения для одного или нескольких компонентов доступа к базе данных.
Структурами SQL (англ. Structured Query Language -язык структурированных запросов) являются объекты, которые отображают действительные структуры SQL в базе данных, например столбцы, таблицы и функции баз данных. Объекты сгруппированы в классы. В базе данных используется схема таблиц и объединений, а объекты строятся из структур баз данных, которые включены в схему.
Схема доступна только для пользователей Designer. Она не доступна для просмотра пользователей Web
Intelligence и Desktop Intelligence. Пользователи Web Intelligence подключаются к юниверсу для выполнения запросов в базе данных. Они могут анализировать данные и создавать отчеты с помощью объектов, не просматривая и не зная ничего об основных структурах данных в базе данных.
В программном продукте Web Intelligence были реализованы отчеты:
1) «Отчет по заполнению паспортов тепловой сети» (см. табл. 1);
2) «Протяженность тепловых сетей в разрезе административных округов г. Москвы (в зоне эксплуатационной ответственности) по состоянию на текущий год» (табл. 2).
Таблица 2
Протяженность тепловых сетей административных округов г. Москвы (в зоне эксплуатационной ответственности)
Организация Административный округ Протяженность тепловых сетей (в однотрубном исчислении), км
2019 г. 2020 г.
Центральный 1 707,240 1 717,928
Северный 1 655,159 1 680,696
Северо-восточный 1 633,462 1 666,571
Восточный 1 960,363 1 986,507
ПАО «МОЭК» Юго-восточный 1 866,416 1 900,673
Южный 2 111,101 2 135,473
Юго-западный 1 732,114 1 750,254
Западный 1 682,913 1 709,096
Северо-западный 1 191,059 1 214,689
г. Зеленоград 370,802 370,934
Сумма 15 910,630 16 132,821
Составлено авторами по материалам исследования
Table 2. The length of heating networks by administrative districts of Moscow (In the area of operational responsibility)
Organisation Administrative district The length of heating networks (in single-pipe terms), km
2019 г. 2020 г.
PJSC "Moscow United Energy Company" Central Northern 1 707.240 1 655.159 1 717.928 1 680.696
North-Eastern 1 633.462 1 666.571
Eastern 1 960.363 1 986.507
South-Eastern 1 866.416 1 900.673
South 2 111.101 2 135.473
South-Western 1 732.114 1 750.254
Western 1 682.913 1 709.096
North-Western 1 191.059 1 214.689
Zelenograd 370.802 370.934
Amount 15 910.630 16 132.821
Compiled by the authors on the materials of the study 24
Заключение / Conclusion
Конкурентоспособность современной компании напрямую зависит от грамотного использования информационных технологий. Автоматизация формирования управленческой отчетности обеспечивает менеджмент организации необходимыми сведениями для принятия грамотных, обоснованных решений.
Энергетическая компания обладает довольно широким списком систем, информацию из которых необходимо объединить в создаваемом хранилище данных. В работе были выделены общие требования к проектируемой системе, основанные на пожеланиях руководства энергетической компании и стандартных регламентах создания подобных систем. Требования относятся к основным подсистемам, создаваемой системы: интеграции данных, хранения данных и формирования отчетности.
В результате использования возможностей программного комплекса управления хранилищем данных SAP HANA реализована сложная модель хранилища данных. Предоставлена удобная площадка для дальнейшей обработки данных. Средствами SAP Data Services настроена понятная схема интеграции данных с возможностью масштабирования и настройки расписания загрузки данных. С использованием инструмента SAP Business Intelligence построены необходимые отчеты.
Получена система управленческой отчетности, которая уже принята энергетической компанией в эксплуатацию. Заинтересованные в отчетной информации сотрудники получили инструмент для просмотра стандартной отчетности и для создания своей, специализированной отчетности.
Список литературы
Ананьин В.И., Зимин К.В., Гимранов Р.Д., Лугачев М.И., Скрипкин К.Г. (2019). Реальное время управления предприятием в условиях цифровизации // Бизнес-информатика. Т. 13, № 1. С. 7-17. https://doi.org/10.17323/1998-0663.2019.1.7.17
АртамоновЮ.С., Востокин С.В. (2016). Разработка распределенных приложений сбора и анализа данных на базе микросервисной архитектуры // Известия Самарского научного центра РАН. № 4-4. С. 688-692.
Гусева Е.С., Круглое Д.В. (2014). Роль информационных технологий в процессе формирования финансовой информации интегрированной отчетности // Современные проблемы науки и образования. № 6. С. 448-456.
Долженко А.И., Шполянская И.Ю., Глушенко С.А. (2020). Нечеткая продукционная сеть для анализа качества микросервисной архитектуры // Бизнес-информатика. Т. 14, № 4. С. 36-46. https://doi.org/10.17323/2587-814Х.2020.4.36.46
Макаров В.Л., Бахтизин А.Р., Бекларян Г.Л. (2019). Разработка цифровых двойников для производственных предприятий // Бизнес-информатика. Т. 13, № 4. С. 7-16. https://doi.org/10.17323/1998-0663.2019.4.7.16
Малыженков П.В., Иванова М.И. (2017). Архитектурный подход к выравниванию ИТ и бизнеса // Бизнес-информатика. № 3 (41). С. 56-64. https://doi.org/10.17323/1998-0663.2017.3.56.64
Митрович С. (2017). Специфика интеграции технологий бизнес-интеллекта и больших данных в процессы экономического анализа // Бизнес-информатика. Т. 42, № 4. С. 40-46. https://doi.org/ 10.17323/1998-0663.2017.4.40.46
Шитько А.М. (2017). Проектирование микросервисной архитектуры программного обеспечения // Труды БГТУ. Серия 3: Физико-математические науки и информатика. № 2 (200). С. 122-125.
References
Ah-Soon C., Vezzosi P., and Mazoue D. (2013), Universe design with SAP business objects BI: The Comprehensive Guide, SAP Press, 265 p.
Amaral M., Polo J., Carrera D., and Steinder M. (2015), "Performance evaluation of microservices architectures using containers", 2015 IEEE 14th International Symposium on Network Computing and Applications (NCA), pp. 27—34. https://doi.org/ 10.1109/NCA.2015.49
Ananyin V.I., Zimin K.V., Gimranov R.D., Lugachev M.I., and Skripkin K.G. (2019), "Real-time enterprise management in the digitalization era", Business Informatics, vol. 13, no. 1, pp. 7—17. (In Russian). https://doi.org/10.17323/1998-0663.2019.L7.17
Artamonov Yu.S., and Vostokin S.V. (2016), "Development of distributed applications for data collection and analysis on the basis of a microservice architecture ", Izvestia of the Samara Scientific Center of the Russian Academy of Sciences, no. 4-4, pp. 688-692 (In Russian).
Balalaie A., Heydarnoori A., Jamshidi P., Tamburri D.A., and Lynn T. (2015), "Microservices migration patterns", Software: Practice and Experience, vol. 48, isse 11, pp. 2019-2042. https:// doi.org/ 10.1002/spe.2608
Dolj enko A.I., Shp olianskaya I.Yu., and Glushenko S.A. (2020), "Fuzzy production network model for quality assessment of an information system based on microservices", Business-Informatics, vol. 14, no. 4, pp. 36-46. (In Russian). https:// doi.org/10.17323/2587-814X.2020.4.36.46
Fernández-Villamor J.I., Iglesias Á.C., and Garijo M. (2010), "Microservices: Lightweight service descriptions for REST architectural style", In: Proceedings of the International Conference on Agents and Artificial Intelligence, vol. 1: ICCART, Valencia, Spain, pp. 576-579. https://doi.org/10.5220/0002720105760579
Guseva E.S., and Kruglov D.V. (2014), "The meaning of information technology in the process of formation of financial information in integrated reporting", Modern Problems of Science and Education, no. 6, pp. 448-456 (In Russian).
Ah-Soon C., Vezzosi P., and Mazoue D. (2013), Universe design with SAP business objects BI: The Comprehensive Guide, SAP Press, 265 p.
AmaralM., Polo J., Carrera D., Steinder M. (2015). Performance evaluation of microservices architectures using containers //
2015 IEEE 14th International Symposium on Network Computing and Applications (NCA). Pp. 27-34. https:// doi.org/ 10.1109/NCA.2015.49
Balalaie A., Heydarnoori A., Jamshidi P., Tamburri D.A., Lynn T. (2015). Microservices migration patterns // Software: Practice and Experience, vol. 48, isse 11, pp. 2019-2042. https://doi.org/ 10.1002/spe.2608
Fernández-Villamor J.I., Iglesias Á.C., Garijo M. (2010). Microservices: Lightweight service descriptions for REST architectural style // Proceedings of the International Conference on Agents and Artificial Intelligence. V. 1: ICCART. Valencia, Spain. Pp. 576-579. https://doi.org/ 10.5220/0002720105760579
Toffetti G., Brunner S., Blochlinger M., Dudouet F., Edmonds A. (2015). An architecture for self-managing microservices // AIMC'15: Proceedings of the 1st International Workshop on Automated Incident Management in Cloud. Pp. 19-24. https://doi.org/10.1145/2747470.2747474
Villamizar M., Garcés O., Ochoa L. [etal]. (2016). Infrastructure cost comparison of running web applications in the cloud using AWS Lambda and monolithic and microservice architectures //
2016 16th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid). IEEE. Pp. 179-182. https://doi.org/10.1109/CCGrid.2016.37
Makarov V.L., Bakhtizin A.R., and Beklaryan G.L. (2019), "Developing digital twins for production enterprises", Business-Informatics, vol. 13, no. 4, pp. 7-16. (In Russian). https://doi.org/10.17323/1998-0663.2019.4.7.16
Malyzhenkov P.V., and Ivanova M.I. (2017), "An architectural approach to IT-business alignment", Business-Informatics, no. 3 (41). pp. 56-64. (In Russian). https://doi.org/10.17323/1998-0663.2017.3.56.64.
Mitrovich S. (2017), "Specifics of the integration of business intelligence technologies and big data technologies in the processed of economic analysis", Business-Informatics, vol. 42, no. 4, pp. 40-46. (In Russian). https://doi.org/ 10.17323/19980663.2017.4.40.46.
Shytska A.M. (2017), "The design of the microservice architecture of software", Proceedings of BSTU. Issue 3, Physics and Mathematics. Informatics, no. 2 (200), pp. 122-125. (In Russian).
Toffetti G., Brunner S., Blochlinger M., Dudouet F., and Edmonds A. (2015), "An architecture for self-managing microservices", AIMC'15: Proceedings of the 1st International Workshop on Automated Incident Management in Cloud, ACM, pp. 19-24. https://doi.org/10.1145/2747470.2747474
Villamizar M., Garcés O., Ochoa L. [et al]. (2016), "Infrastructure cost comparison of running web applications in the cloud using AWS Lambda and monolithic and microservice architectures", 201616th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid), IEEE, pp. 179-182. https://doi.org/10.1109/CCGrid.2016.37
TRANSLATION OF FRONT REFERENCES
:One Stop to SAP BODI/BODS. Available at: https://dwbi.org/pages/165/one-stop-to-sap-bodibods (accessed 07.06.2021).
2 Why SAP Data Services. Available at: https://dwbi.org/pages/168/why-sap-data-services (accessed 07.06.2021).
3 Shomnikov I. (2015), SAP Data Services 4.x Cookbook, Packt Publishing Ltd, UK, 430 p.
4 SAP Universe Designer — A Brief Guide. Available at: https://coderlessons.com/tutorials/sap/izuchite-sap-universe-designer/ sap-universe-designer-kratkoe-rukovodstvo (accessed 07.06.2021).
5 Creating an SAP BusinessObjects Multi-Source Universe: A Step-by-Step Guide. Available at: https://www.sapinsideronline.com/ articles/creating-an-sap-businessobjects-multi-source-universe-a-step-by-step-guide (accessed 07.06.2021).
6 Shomnikov I. (2015), SAP Data Services 4.x Cookbook, Packt Publishing Ltd, UK, 430 p.
7 SAP Universe Designer — Creating a Universe. Available at: https://coderlessons.com/tutorials/sap/izuchite-sap-universe-de-signer/sap-universe-designer-sozdanie-iuniversa (accessed 07.06.2021).
8 SAP Universe Designer — Deploying the Universe. Available at: https://coderlessons.com/tutorials/sap/izuchite-sap-universe-designer/sap-universe-designer-razvertyvanie-universe (accessed 07.06.2021).
