CC BY
284
УДК 004.62:004.42
КОНЦЕПЦИЯ ПОСТРОЕНИЯ ПЛАТФОРМЫ ДЛЯ ИНТЕГРАЦИИ ПРОИЗВОДСТВЕННЫХ ДАННЫХ
НЕФТЕГАЗОДОБЫВАЮЩЕЙ КОМПАНИИ
В.В. Вейбер, С.А. Богдан, А.В. Кудинов, Н.Г. Марков*
Томский политехнический университет *ОАО «ВостокГазпром», г. Томск E-mail: webvad@tpu.ru
Произведена формализация задачи интеграции производственных данных нефтегазодобывающей компании, с целью формирования концепции интеграции, базирующейся на принципах сервисно-ориентированной архитектуры и общепризнанных отраслевых стандартах интеграции приложений.
Ключевые слова:
Интеграция производственных данных, нефтегазодобывающая компания, MES, SOA. Key words:
Manufacturing data integration, Oil and Gas company, MES, SOA.
Исторически на каждом предприятии сосуществуют разнообразные информационные системы (ИС), которые зачастую функционируют независимо друг от друга и решают свой класс задач. Многие производственные задачи решаются неэффективно или не решаются вовсе без совместного использования данных сразу нескольких информационных систем, что делает актуальной задачу интеграции ИС по данным. Очевидно, что актуальность задачи интеграции тем выше, чем выше уровень ее пользователей в корпоративной системе управления, т. к. для принятия решений в масштабе предприятия с большей вероятностью требуются данные от разных подразделений, разных предметных областей и, следовательно, разных ИС.
Решая проблему интеграции данных, IT-отделы предприятий или компании-подрядчики нередко идут наиболее очевидным путем, создавая частные интеграционные решения, налаживая обмен данными между двумя и более конкретными системами. Нельзя отрицать очевидную эффективность такого подхода как в части производительности обмена данными (за счет использования «родных» для ИС механизмов обмена), так и в части стоимости создания такого решения. Тем не менее, очевидными являются и недостатки, связанные, прежде всего, с недостаточной гибкостью и масштабируемостью таких решений. В результате экономия на разработке может нивелироваться существенными затратами на поддержку работоспособности частных решений в условиях постоянно меняющейся информационной среды.
Существуют более унифицированные подходы к решению задачи интеграции данных на уровне компании, например - использование, так называемых интеграционных платформ. На рынке представлены универсальные интеграционные платформы, такие как Microsoft BizTalk [1], IBM WebSphere [2] и т. п. Их отличительной особенностью является инвариантность к предметной области, позволяющая гибко строить интеграционные решения для различных бизнес-отраслей. Универ-
сальность и гибкость, как это часто бывает, оборачивается неэффективностью в силу избыточности функционала, сложности архитектуры и отсутствия предметной ориентации. Важным фактором выбора интеграционного решения является высокая стоимость общего и прикладного программного обеспечения (ПО), входящего в платформу.
Мы считаем, что разумной альтернативой рассмотренным подходам является создание отраслевых интеграционных платформ, сочетающих мощь и гибкость универсальных платформ с производительностью и предметной ориентированностью частных решений. Понимая это, многие производители ПО для интеграции создают отраслевые шаблоны интеграционных решений, основанные на универсальных платформах. Однако, шаблоны интеграции доступны для ограниченного числа отраслей и классов систем (в основном непроизводственной сферы, финансово-экономических) и не решают проблему избыточной стоимости внедрения и владения.
Нефтегазовая отрасль - одна из тех, для которых задача создания эффективной и гибкой отраслевой интеграционной платформы особенно актуальна. В настоящее время большинство нефтегазодобывающих компаний (НГДК) не имеет рациональной стратегии их автоматизации, что приводит к отсутствию интеграции между множеством закупленных программных продуктов, необходимых различным службам, и является препятствием к образованию единого информационного пространства предприятия [3]. Разнородность этих программных продуктов не позволяет эффективно обмениваться данными и усложняет выполнение бизнес-процессов НГДК.
Данная работа посвящена разработке концепции создания интеграционной платформы для предприятий нефтегазовой отрасли.
Структура нефтегазодобывающей компании
Современная НГДК является сложным производственным комплексом, структура которого
включает целый ряд производственных служб, напрямую обеспечивающих процессы добычи, подготовки и транспортировки газа, газового конденсата и нефти [3]. Чаще всего каждая из этих служб представлена специалистами, как на удаленных нефтегазовых промыслах, так и в аппарате управления компании.
Типовой состав производственных служб НГДК (часто также называемых службами главных специалистов) включает службы главных: геолога, технолога, механика, метролога, энергетика, химика, диспетчера и др.
Данные подразделения НГДК обеспечивают выполнение производственных процессов:
• разведку и обустройство газонефтяных и газо-конденсатных месторождений;
• добычу углеводородного сырья;
• подготовку сырья для дальнейшей транспортировки;
• транспортировку добытого сырья от кустов скважин к комплексам по его переработке;
• сдачу сырья и товарной продукции;
• проведение исследований и ремонтов скважин;
• контроль качества сырья и товарной продукции;
• проведение технических осмотров и ремонтов оборудования;
• метрологический контроль измерительных приборов;
• энергетическое обеспечение;
• прочих.
Информационное обеспечение производственных процессов НГДК составляет большой массив различного рода данных, которые формируются, модифицируются или используются на каждом этапе производственного цикла. Основные типы производственных данных представлены в таблице.
Анализ типов данных, используемых производственными службами НГДК, показывает, что большая часть информации не замыкается в пределах одного из обеспечивающих производственных процессов и не находится в исключительном ведении одной производственной службы. Наоборот, эффективность реализации производственных процессов во многом зависит именно от эффективной организации обмена производственными данными между всеми их участниками.
Типичными классами задач, которые требуют интеграции ИС НГДК по производственным данным, являются:
• построение сводных отчетов;
• выполнение инженерных расчетов в одной системе на основе данных из других ИС;
• оперативное диспетчерское управление несколькими областями производства, автоматизированных при помощи разных систем;
• создание портала производственных данных НГДК;
• интеллектуальный анализ производственных данных на основе методов OLAP и Data Mining.
Таблица. Основные типы производственных данных НГЦК
Тип данных Описание
Технологические параметры, формируемые при помощи АСУТП или в результате ручного ввода Значения физических и химических параметров углеводородов в узлах замера. Значения уровней заполнения ёмкостей, состояния основных агрегатов и проч.
Информация о ходе работ Информация о ходе бурений, измерений, ремонтов и прочих работах
Информация о сменах режимов работы оборудования Информация о включении/выключении насосов, переключениях запорной арматуры, остановках скважин, авариях и проч.
Планы показателей, планы работ, коридоры давлений и проч. Добыча, подготовка и сдача газа конденсата и нефти на сутки. Планы бурений, измерений, ремонтов и прочих работ. Согласованные с нефтегазо-транспортными предприятиями коридоры давлений при сдаче продукции в магистральные трубопроводы
Справочные данные Нормативно-справочная информация
Паспортные характеристики производственных объектов Статичная информация об объектах, например, диаметр трубы, назначение скважины и т. п.
Пространственные данные Координаты технологических объектов, модели резервуаров и т. п.
Движение производственных данных через границы ИС НГДК
Как уже было отмечено, в обеспечении отдельных бизнес-процессов часто задействованы самостоятельные ИС. Таким образом, необходимость информационного обмена между участниками процессов, использующих разные ИС, диктует необходимость передачи производственных данных между ИС НГДК, рис. 1.
Согласно модели CIM (Computer Integrated Manufacturing), на предприятии может использоваться значительное число классов систем автоматизации, среди которых стоит отметить следующие [4]:
• управления ресурсами предприятия (ERP - Enterprise Resource Planning). Как правило, эти системы должны обеспечивать управление производственными процессами, закупками и продажами, финансами и бухгалтерией;
• контроля и оптимизации производственной деятельности предприятий (MES - Manufacturing Execution System);
• обеспечения автоматизированного контроля технологических процессов (SCADA - Supervisory Control And Data Acquisition, Диспетчерское управление и сбор данных). Взаимодействие этих ИС на предприятии
по данным может быть организовано по двум направлениям - «горизонтальному» и «вертикальному». Вертикальная интеграция обеспечивает автоматизацию обмена данными, во-первых, между уровнем диспетчерского управления технологическими процессами (SCADA) и уровнем управления производством (цехами) предприятия (MES), во-вторых, между уровнем MES и уровнем управле-
Месторождения / кусты скважин! Рис. 1. Потоки технологических данных нефтегазодобывающего предприятия
ния предприятием (ERP, BI). Горизонтальная интеграция обеспечивает сбор данных внутри одного уровня управления, например интеграция MES с прикладными ИС уровня управления отдельными производственными процессами (обработка данных геологоразведки, моделирование нефтяного резервуара) [5].
Рассмотрим процесс движения производственных данных с точки зрения ИС НГДК. В основном, технологические данные поступают на нефтегазовых промыслах средствами АСУТП при добыче, подготовке и транспортировке углеводородного сырья.
Автоматизация верхнего уровня управления в АСУТП обеспечивается SCADA-системами. Значительная часть данных с технологического уровня управления поступает на уровень управления производственной деятельностью в MES-систему. MES-система, в первую очередь, автоматизирует и координирует работу производственных служб разных уровней управления производством. В качестве входных данных в эти системы кроме ряда технологических параметров поступают данные от служб НГДК, например, данные о состоянии скважинного фонда, об объемах добычи и подготовки углеводородного сырья, результаты химических анализов передаваемой в магистральные газо-и нефтепроводы продукции.
Часть данных MES-системы (агрегированные технологические данные, данные по фонду скважин и т. д.) необходима информационным системам, решающим специализированные инженерные задачи. Эти задачи для большинства MES-си-стем находятся за рамками ее функционала (например, моделирование трубопроводов, построения геологических моделей месторождений
и т. п.). Часть данных из MES-системы, обычно агрегированных и консолидированных (объемы добычи углеводородного сырья, объемы его потерь, использования продукции на собственные нужды и т. п.), должна попасть в системы автоматизации управления ресурсами предприятия и интеллектуального анализа, т. е. на более высокий уровень управления компанией (ERP- и BI-системы).
Методы интеграции данных
Существуют три базовых метода интеграции данных: консолидация, федерализация и распространение.
При использовании метода консолидации данные собираются из нескольких первичных систем и интегрируются в одно постоянное место хранения. Такое место хранения может быть использовано для подготовки отчетности и проведения анализа, как в случае хранилища данных, или как источник данных для других приложений.
Федерализация данных обеспечивает единую виртуальную картину нескольких первичных источников данных. Для получения сведений о некотором процессе, обрабатываемом в нескольких оперативных приложениях, процессор федерализации данных извлекает данные из соответствующих первичных складов данных, интегрирует их таким образом, чтобы они отвечали виртуальной картине и требованиям запроса, и отправляет результаты бизнес-приложению, от которого пришел запрос.
Распространение данных подразумевает их копирование из одного места в другое. Этот подход обычно используется для операций реального времени и является событийно управляемым.
Все эти методы имеют свои преимущества и недостатки. Каждый из них является наиболее эффективным в определенных условиях [6]. Федерализацию данных рекомендуется использовать в тех случаях, когда стоимость консолидации данных перевешивает бизнес-преимущества, которые она предоставляет [7]. Консолидация технологических данных НГДК на базе одной информационной системы является сложной и ресурсоемкой задачей, поэтому на практике интеграционные платформы чаще всего реализуют метод федерализации данных.
Концепция создания платформы интеграции производственных данных НГДК
Проведенный анализ позволяет нам сделать вывод о необходимости создания концепции, включающей в себя набор оригинальных принципов построения платформы для интеграции производственных данных НГДК, требования к платформе, ее обобщенную структуру и компонентную архитектуру.
Создания интеграционной платформы включает принципы:
1) унифицированного федеративного доступа к данным, согласно которому приложение, являющееся потребителем или источником данных, должно взаимодействовать с единым сервером федерализации данных;
2) интеграции данных ИС и приложений НГДК на основе информационной метамодели предметной области (МПД). В каждой ИС существует своя интерпретация предметной области, в связи с этим задача сопоставления семантически подобных сущностей из моделей БД разных ИС при их интеграции, является достаточно сложной. Наличие метамодели производственных данных (МПД), в какой-то степени общей для всех задействованных ИС, значительно облегчает эту задачу. Использование МПД предметной области позволяет сделать процесс обмена данными между ИС простым и прозрачным: этот подход гарантирует, что все сообщения между ИС будут правильно поняты и интерпретированы [8]. Для рассматриваемой в работе предметной области информационной метамоделью будет МПД НГДК. МПД НГДК может быть оригинальной разработкой либо создана на основе существующих отраслевых стандартов [9];
3) эффективности масштабирования интеграционной платформы производственных данных НГДК, в соответствии с которым особенности конкретной НГДК должны легко учитываться при развитии, масштабировании и адаптации интеграционной платформы благодаря наличию развитых инструментальных средств;
4) разделения описания логики процессов передачи данных и описания параметров доступа к данным конкретных интегрируемых ИС. Согласно этому принципу для каждой ИС, задействованной в процессе интеграции, необходим адаптер,
предоставляющий интеграционной платформе интерфейс к данным этой ИС в виде, описанном МПД НГДК. Адаптер должен преобразовывать информацию из схемы данных интегрируемой ИС в схему МПД НГДК. Также алгоритмические и программные средства интеграционной платформы должны быть максимально абстрагированными от особенностей конкретной НГД;
5) сервисной ориентированности архитектуры платформы: транспортный уровень движения данных интегрируемых ИС должен быть организован посредством Web-сервисов, а также представление данных должно быть реализовано в формате XML. Принципы сервисно-ориентированной архитектуры (Service Oriented Architecture, SOA) [10] позволяют обращаться не только к данным, хранящимся в базах данных, но и в коммерческих и заказных приложениях, Web-контенте, документах, рисунках, и пр. Использование SOA в качестве основы транспортного уровня платформы интеграции поддерживает сбор и передачу данных из структурированных и неструктурированных транзак-ционных систем;
6) защищенности, согласно которому платформа интеграции должна обладать развитыми механизмами защиты передаваемых данных, а также уметь адаптироваться к различным архитектурам безопасности интегрируемых ИС. Требования к интеграционной платформе. Согласно этим требованиям необходимо:
1) организовать единую платформу интеграции производственных данных, представляющую собой отдельное приложение или набор приложений и обеспечивающую взаимодействие всех задействованных в интеграции ИС;
2) использовать для хранения информации об интеграционных процессах и метамодели данных предметной области универсальную СУБД;
3) наличие набора инструментальных средств, обеспечивающих создание и модификацию МПД НГДК;
4) для каждой ИС создать адаптер, обеспечивающий взаимодействие с ядром интеграционной платформы (прием и передачу данных);
5) чтобы адаптер мог обладать графическим пользовательским интерфейсом для ручного ввода данных, контроля или инициирования интеграции данных (мастер интеграции данных);
6) наличие универсального API для взаимодействия адаптеров ИС с ядром интеграционной платформы.
Требования к МПД НГДК. МПД НГДК является важным элементом концепции интеграции, поэтому сформулируем основные требования к ней. МПД должна:
1) базироваться на общепризнанных отраслевых стандартах нефтегазодобывающих компаний;
2) быть адаптивна для любой НГДК и описывать большинство типов производственных данных
связанных с жизненным циклом углеводородного сырья;
3) представлять собой иерархичную объектно-атрибутивную модель производства и отражать семантические связи между элементами данных в первичных системах.
Обобщенная структура интеграционной платформы.
Платформа интеграции не является местом хранения производственных данных. Она реализует собой сервер федерализации данных, позволяющий организовать интеграционные процессы внутри предприятия. Интеграционная платформа выполняет следующие функции:
• является местом хранения МПД НГДК и предоставляет средства для ее модификации;
• служит инструментом для создания, настройки, исполнения и контроля всех интеграционных процессов (настройка интеграционного процесса включает в себя сопоставление объектов интеграции между ИС на основе МПД НГДК);
• определяет режим обмена данными (по расписанию, по запросу пользователя, по изменению данных).
На основе вышеизложенных принципов и требований можно предложить обобщенную структуру платформы интеграции производственных данных НГДК, рис. 2.
Рис. 2. Обобщенная структура платформы интеграции производственных данных НГДК
Модель данных.
Представляет собой объектно-атрибутивную модель объектов предприятия, тех объектов, которые необходимо задействовать в процессе интеграции ИС. Наличие частной модели решает задачу сопоставления объектов между ИС НГДК.
Мета-описание процессов и шагов интеграции.
Описывает логику процесса передачи производственных данных из одной системы в другую в виде понятном платформе интеграции.
Инструментарий редактирования МПД НГДК.
Предоставляет графические средства создания МПД предприятия.
Модуль планирования интеграционных шагов.
Реализует логику интеграции данных между ИС по расписанию.
Модуль координации данных между ИС и исполнения шагов интеграции.
Реализует логику выполнения интеграции данных на основе описания интеграционных процессов.
На рис. 3 изображена диаграмма последовательности выполнения запроса данных из N ИС-источников под управлением платформы интеграции производственных данных.
Можно выделить следующие преимущества концептуально описанной платформы интеграции производственных данных НГДК.
Прозрачность базовой неоднородности информации для пользователя.
Благодаря интеграции данных потребитель имеет дело с единым и единообразным интерфейсом. Прозрачность размещения информации означает, что приложению, потребляющему данную информацию, нет необходимости иметь представление о том, где хранятся данные. Благодаря прозрачности вызова оно может также не знать, какой язык или интерфейс программирования поддерживается исходной базой данных. Приложению также необязательно знать физические условия хранения данных, или о том, какие используются сетевые протоколы (сетевая прозрачность).
Единообразие взаимодействия.
Приложение, являющееся потребителем сервера интеграции данных, может взаимодействовать с единым виртуальным источником данных. Иначе, приложение должно взаимодействовать с несколькими источниками данных индивидуально через различные интерфейсы, с использованием разных протоколов. По данным исследований, единообразие способствуют значительной экономии времени на разработку при необходимости интегрировать несколько источников.
Сокращение затрат на разработку и обслуживание.
Многие потребители могут потенциально иметь одинаковые или очень сходные запросы в интегрированной информации. Согласно принципам предложенной концепции, интегрированное представление разрабатывается один раз и после этого используется и обслуживается централизованно, таким образом, формируется единая точка изменения. Такой подход сокращает расходы на разработку и поддержку программных продуктов. Также однажды разработанный адаптер для интеграции конкретной ИС может быть многократно использован для интеграции с множеством ИС.
Данная концепция была разработана на основе опыта, полученного при решении реальных интеграционных задач на предприятиях нефтегазовой отрасли, таких как ОАО «Востокгазпром и «Томскгазпром».
Рис. 3. Диаграмма последовательности выполнения запроса под управлением платформы интеграции производственных данных
Выводы
Рассмотрена проблема интеграции информационных систем и приложений нефтегазодобывающей компаний по производственным данным, предложена концепция ее решения, базирующаяся на принципах сервисно-ориентированной архитектуры и общепризнанных отраслевых
стандартах интеграции приложений. Реализация прототипа интеграционной платформы позволяет ускорить и упростить интеграцию информационных систем по производственным данным, обеспечить поддержку жизненного цикла систем в ходе развития информационного пространства компании.
СПИСОК ЛИТЕРАТУРЫ
1. Хоп Г., Вульф Б. Шаблоны интеграции корпоративных приложений. - М.: Вильямс, 2007. - 672 с.
2. Браун К., Крейг Г., Хестер Г. И. Создание корпоративных Java-приложений для IBM WebSphere. - М.: КУДИЦ-ПРЕСС, 2005. - 860 с.
3. Марков Н.Г., Сарайкин А.В. Формирование единого информационного пространства газодобывающей компании // Oil&Gas Journal. Russia. - 2008. - №3. - С. 34-41.
4. Groover M. Automation, Production Systems, and Computer-Integrated Manufacturing. - Prentice Hall International, 2007. - 840 p.
5. Богдан С.А., Кудинов А.В., Марков Н.Г. Опыт внедрения MES «Магистраль-Восток» в нефтегазодобывающей компании // Автоматизация в промышленности. - 2010. - №8. - С. 53-58.
6. Кантер Дж. Управленческие информационные системы. - М.: Радио и связь, 1982. - 207 с.
7. White C. Data Integration: Using ETL, EAI, and EII Tools to Create an Integrated Enterprise // DMReview. - 2005. - № 11. -P. 25-53.
8. Blaker J. PRODML scope statement version 2.0 // Energistics: The Energy Standards Resource Center. 2011. URL: http://www.ene^i-stics.o^/production (дата обращения: 18.03.2011).
9. PRODML Work Group. Reference Architecture PRODML 1.0 // Energistics: The Energy Standards Resource Center. 2011. URL: http://www.energistics.org/production (дата обращения: 18.03.2011).
10. Juric M. SOA approach to integration. - Birmingham: Packt Publishing Ltd., 2007. - 366 p.
Поступила 18.03.2011 г.
