CC BY
52
ИНТЕГРАЦИЯ РАСПРЕДЕЛЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМ ГОРНОДОБЫВАЮЩЕЙ КОРПОРАЦИИ С.Г. Фомичева, канд. техн. наук, доцент, М.В. Филенко, ведущий специалист, Р.И. Братухин, аспирант,
Норильский индустриальный институт ЦРВ КИС ЗФ «ОАО «ГМК «НН»
ОАО «ГМК «Норильский никель» является одним из ведущих горнодобывающих предприятий мира. Как любая крупная корпорация ОАО «ГМК «Норильский никель» не может обойтись без использования комплекса информационных систем, объединенных в единую корпоративную информационную систему (КИС). На сегодняшний день информационные сервисы ОАО «ГМК «Норильский никель» (Компании) представляют собой весьма условное единое информационное пространство. В данное время Компанией используются такие ERP- системы, как SAP R/3, Ellipse, «1С», а также целый ряд SCADA-систем, среди которых InTouch, iFiX Dynamics, TraceMode и другие. Зачастую при репликации и консолидации данных перечисленных систем возникают коллизии, разрешение которых приводит к весьма существенным временным и финансовым затратам [1]. В связи с этим весьма актуальной становится задача систематизации процессов интеграции корпоративных информационных систем Компании. Для решения данной задачи в 2007 году Компания начала реализацию проекта «ТОИС» - Тотальной отраслевой информационной системы. В статье рассматриваются базовые решения, реализованные в рамках исследований, предшествующих данному проекту.
Для реализации бизнес-аналитики Компания использует платформу SAP Business Information Warehouse 6.40 (SAP BW). SAP BW является OLAP-системой (оперативная аналитическая обработка) и позволяет консолидировать данные из разнородных систем и приложений.
Концепция реализованной в Компании системы бизнес-аналитики базируется на следующих составляющих:
• источники данных, которые описывают метаданные систем-источников и содержание, передаваемое в систему бизнес-аналитики, а также механизмы обмена данными;
• справочники, в которых представлена вся необходимая для анализа нормативно-справочная информация, и ее источники;
• группировки и расчет, описывающие аналитические возможности, которые применяются к загруженным данным, такие как всевозможные группировки и расчеты сложных агрегированных показателей;
• ОББ объекты - хранилище транзакционных данных (документы); бизнес-содержимое задается списком атрибутов документов;
• инфо-кубы - ключевой блок, описывающий структуру и бизнес-содержимое хранилищ данных; бизнес-содержимое инфо-кубов задается признаками и показателями;
• дополнительные объекты, описывающие дополнительное информационное содержание, носящее вспомогательный характер, например, таблица пересчета единиц измерения, валют и т.д.;
• интерфейсы - блоки, описывающие возможности выгрузки и загрузки данных в систему бизнес-аналитики;
• методы оптимизации, описывающие процедуры оптимизации времени формирования отчетности.
Архитектура системы бизнес-аналитики представлена на рис. 1. В качестве источников данных для системы бизнес-аналитики используются следующие системы (таблица).
Системы источников данных
Система Орг. принадлежность Место расположения Формат/ Платформа
АСУ МТР ЗФ Заполярный филиал Норильск SAP R/3 версия 4.6
ГИВЦ Заполярный филиал Норильск FoxPro, *.dbf
КУДС Заполярный Филиал и Головной Офис Москва Oracle
І С ООО «ТЛЦ» (СМ) ООО «ТЛЦ» Москва І С Предприятие
І С: Предприятие в УМТС УМТС ЗФ Норильск І С Предприятие
АСКК Заполярный Филиал и Головной Офис Москва Ontologic 4.5
АСУ ТОиР* Заполярный филиал Норильск Ellipse
*) - системы, планируемые для включения в процессы бизнес-анализа.
Конструктор отчетов и форм представления
И нфо-кубы с бизнес-содержимым
Хранилище транзакционных данных и справочников
Business Explorer (Excel, Web)
С правоч ники
Документы, отчетные данные, НСИ
Д окум енты
НСИ Р|
С и сте м ы-и сточн и ки
ГИВЦ 1С УМТС 1С ТЛЦ А
с________
J ТОиР
Рис. І. Архитектура бизнес-аналитики ЗФ ОАО «ГМК «НН»
Для формирования отчетов построены как отдельные инфо-кубы, так и объединенные инфо-кубы (мульти-кубы). Объединение инфо-кубов позволяет в отчетах работать со всеми признаками и показателями инфо-кубов и строить отчеты с разверткой по совпадающим признакам.
В качестве систем-источников используются следующие системы:
• АСУ МТР ЗФ. Система АСУ МТР ЗФ - система управления материально-техническими ресурсами на платформе 8АР Я/3. Система предназначена
для комплексной автоматизации процессов учета, контроля и формирования внешней и внутренней отчетности, осуществляемых подразделениями ГО и ЗФ при планировании потребности, закупки, доставки, хранения на складах и распределения МТР в рамках централизованного снабжения на основе единого методологического и информационного пространства.
Данные загружаются в систему АСУ МТР с использованием средств экстракции данных непосредственно из системы 8АР Я/3. Системный ландшафт распределенной АСУ МТР представлен на рис. 2.
II
III
BMD
BMT
BMP
Рис. 2. Общий системный ландшафт «Распределённой системы АСУ МТР»
Подсистема АСУ МТР Головного Офиса считается условно «центральной». Общий для Компании перечень справочников (МТР, контрагенты, кураторы и другие вспомогательные справочники) проходит через центральную систему, откуда распространяется в другие составляющие системы по технологии ALE для обеспе-
чения единой нумерации по схеме, представленной на рис. З. Транспортная система построена на базе серверов IBM WebSphere MQ (IBM WS), установленных в подразделениях Заполярного филиала ОАО «ГМК «Норильский никель» в соответствии с проектом КСИП (Корпоративная система интеграции приложений).
I
Рис. 3. Связь «Распределённой системы АСУ МТР» с внешними системами
Сопровождение системы ведется на основе следующих стандартов: «Стандарт. Ведение проектной документации КИС ОАО «ГМК «Норильский никель» на базе программного обеспечения SAP AG. 2003 г.» и «Стандарт ведения проекта. Технология создания Модулей корпоративной информационной системы ОАО «ГМК «Норильский никель» на базе программного обеспечения SAP AG. 2003 г.».
• Информационная система ГИВЦ. Система ГИВЦ - комплексная распределенная информационная система управления кадрами на базе FoxPro. Загрузка данных для анализа на текущий момент реализована при помощи файлового обмена (в формате dbf).
• КУДС. Система КУДС - информационная система учета платежей поставщикам за поставку МТР на базе СУБД Oracle. Рассматривается два варианта загрузки данных: файловый обмен и непосредственное извлечение из системы.
• 1С: Предприятие в ООО «ТЛЦ» (СМ) и 1С: Предприятие в УМТС. Система 1С: Предприятие в УМТС используется для ведения счетов на поставку МТР через СМ, актуального плана закупок, платежей, прейскурантов и наряд - заказов. Загрузка данных реализована при помощи файлового обмена (в формате dbf).
• АСКК. АСКК - система на базе Ontologic 4.5, используемая для ведения НСИ по МТР. Рассматривается два варианта загрузки данных: файловый обмен и непосредственное извлечение из системы.
• АСУ ТОиР - Автоматизированная система управления техническим обслуживанием и ремонтами (ТОиР) горнорудного СДО на базе ERP-системы «El-lipse» компании Mincom является системой управления фондами и активами горных предприятий. В ее основные задачи входят управление материальнотехническим снабжением; управление производством, ТОиР; управление финансами; управление персоналом. Помимо процессов консолидации данных для бизнес-аналитики функции системы ТОиР непосредственно тесно связаны с другими системами, такими как «1С: Персонал», «Движение материалов» (ГИВЦ), а также АСУ материально-техническими ресурсами, работающей на базе SAP R/3 (АСУ МТР). Механизмы
интеграции между ними рассматриваются далее в данной статье.
• Справочники используются в качестве аналитических признаков в отчетах. Данные загружаются из исходных систем и должны быть приведены к единому классификатору, не зависящему от системы источника. В системе бизнес-аналитики для каждой основной записи в справочниках содержится ссылка на идентификатор этой записи в каждой системе- источнике. Каждый справочник имеет определённый набор атрибутов, по которым возможен анализ информации, представленной в системе.
В качестве интерфейса загрузки данных из АСУ МТР с систему бизнес-анализа выступают экстракторы данных непосредственно из системы SAP R/3, позволяющие реализовать интеграцию на уровне бизнес-процессов. При этом производится автоматическое разнесение данных, подготовленных в системах-источниках, во все приложения, так или иначе потребляющие эти данные.
Данное решение исключает необходимость повторного ввода, обеспечивает гарантированную доставку с возможной трансформацией данных в форматы получателей. Функционально обеспечивается централизованное хранение бизнес-логики взаимодействия источников и получателей данных. При этом встроенный универсальный язык описания этой логики позволяет гибко реагировать на изменения бизнеса, без перепрограммирования настраивать алгоритмы трансформации, безболезненно адаптируя в корпоративную систему новые компоненты.
Для интеграции остальных систем-источников на текущий момент в Компании применяются интеграционные процедуры на уровне данных ETL (Extraction, Transformation and Loading). В частности, интеграция с «1С: Персонал» реализована с помощью так называемого «транспортного файла», который фактически представляет собой файл формата .xls со встроенным модулем для добавления данных в Ellipse. Этот модуль основан на библиотеке Mincom Connector, которая служит для эмуляции запуска экранных форм Ellipse. Процесс формирования/обработки транспортного файла представлен на рис. 4.
Администратор 1С
1С: Персонал
ґ\3т х
Запуск
регламентной
процедуры,
I
Просмотр изменений по личному составу (кадровые приказы, распоряжения).
Проверка признака
Штатного расписания «Работает в Ellipse» для каждого сотрудника
Не работает в Ellipse
Работает в Ellipse
Поиск в справочной информации (таблица Рііе_соттипіс) строки, соответствующей описанию строки штатного расписания для сотрудника
Строка не найдена
^ Дополнить справочную информацию новой строкой (таблица File_communic), выставить i status = «к загрузке» ,
Строка найдена
Заполнение транспортного файла Transp_file
Закончен просмотр
Ellipse
! (Ш ^
Реквизиты справочной таблицы
File_communic
3.31
Реквизиты для формирования Изменений по личному составу. Таблицы Т гапзр_А!е
I Коннектор ellipse
I Загрузка информации по сотрудникам
■^^71 N
Подготовка Transp_file к загрузке 2 Заполнить реквизиты, касающиеся ellipse 2 В случае наличия отвлечений онеявчк) у сотрудник а заполнить гаплику, с одбізжауцую дату дкончания oгупcчeния 2 Проверить таблицу отвлечений на соответствие неявок, заканчивающихся текущей датой (<=), пополнить таблицу такими строками
Ж
Функциональный администратор
ҐШ ■
Анализ справочной таблицы (File_communic) на наличие строк со status= «к загрузке»
Lotus, Приложение 4
Строка найдена
ДЗ5] Л
/ Внесение в системУ Тип ресурса Код должности Код профиля Доп.профиль Часовой тариф
Л36 '
Внесение информации в новую строку справочной таблицы (File_communic)
Финансовый администратор Ellipse
3.5 В случае отсутствия внесение в систему : 2 Символьное обозначена ■ предприятия 2 Код участка 2 Название профессии 2 Ответственный за бюджет 2 Код
профессии .
Заполнение полей в Приложении 4, пересылка по lotus
3.1
Рис. 4. Схема обмена информацией между Ellipse и 1С: Персонал
Использование технологии ETL позволяет собрать и переместить данные из разных источников в одно общее хранилище, преобразовав их в некий общий формат. Реализация данного подхода выявила наличие следующих проблем:
• при формировании транспортного файла администратор может допустить наличие противоречивых, неточных или даже заведомо искаженных данных;
• требуется значительный промежуток времени для подготовки транспортного файла;
• на приемном конце обработка транспортного файла не полностью автоматизирована, что также может привести к наличию противоречивых данных;
• поскольку транспортные файлы передаются в пакетном режиме, а не в режиме реального времени, накладываются существенные ограничения на доставку данных внешним потребителям, например корпоративному порталу;
• технология ETL не обеспечивает транзакци-онности при доступе к данным и не поддерживает событийные модели.
Решение унифицировано перейти на какую-либо одну ERP-систему, позволяющую выполнить полную интеграцию на уровне бизнес-процессов (например, SAP R3 и/или Ellipse), имеющуюся в ЗФ ОАО «ГМК «Норильский никель», стратегически принято, но на текущий момент невозможно в силу следующих причин:
• достаточно масштабное и многолетнее ис-
пользование системы «1С: Персонал» для решения финансово-экономических задач, в силу чего сложились определенные корпоративные стандарты и технологические цепочки экономических бизнес-
процессов, менять которые в корпоративном масштабе такой компании, как ОАО «ГМК «Норильский ни-
кель» потребует колоссальных финансовых и временных затрат;
• «1С: Персонал» поддерживается российской фирмой разработчиком при соблюдении российских норм законодательства;
• привлечение работников фирмы Мтсош или SAP для адаптации ЕКР-системы при решении финансовых задач экономически необоснованно;
• проблема переподготовки персонала, использующего корпоративные информационные системы Компании, также требует существенных финансовых и временных затрат;
• требуется проведение огромного комплекса работ по формированию политики, системы регламентов и технологических карт интеграции бизнес-процессов.
В качестве альтернативы использования технологии ЕТЬ, как подготовительный этап к полной интеграции на уровне бизнес-процессов, предлагается переход к глубокой интеграции на основе технологий карт преобразований (рис. 5). В основе этой технологии стоит механизм обработки сообщений [2]. Данная схема состоит из трех частей:
1) Коннекторы приложений - служат для открытия функциональности приложения для межплат-форменного ПО. Они следят за изменениями состояний баз данных и при заданных условиях выдают сообщения;
2) Карты преобразований - преобразуют объекты приложений из формата приложений в обобщенный формат для передачи обработчику;
3) Обработчик - отвечает за преобразования более высокого уровня и маршрутизацию сообщений. Они являются неким центром, в который стекаются все сообщения, обрабатываются и передаются приложениям.
Карта преобразования A
Объект «Сотрудник», формат приложения A
Обобщенный объект «Сотрудник»
t I
Контроллер коннектора приложения A
Обработчик
Карта преобразования B
Обобщенный объект «Сотрудник»
Объект «Сотрудник», формат приложения B
t I
Контроллер коннектора приложения B
Объект «С формат при отрудник», ложения A Объект «С формат при отрудник», ложения B
Приложение A. Приложение B.
Агентский компонент коннектора Агентский компонент коннектора
Рис. S. Принцип действия карт преобразований
Глубокий интеграционный подход требует внедрения специализированной интеграционной платформы. В рамках данной задачи под таковой понимается программный комплекс, консолидирующий логику решения определенных интеграционных задач в рамках всей отраслевой информационной системы Компании. Программный комплекс состоит из модулей интеграции (карт преобразования) [3]. В частности, на текущий момент разработаны модуль интеграции системы Ellipse с MQ - средой гарантированной
доставки и маршрутизации информации и модуль интеграции SAP R3 c MQ. Загрузка в БД Ellipse выполняется при поступлении документа движения из системы SAP R3 с использованием Mincom Connector. Извлечение документов движения из БД SAP R3 происходит через dot.NET connector с использованием RFC-функций (RFC - remove function call), реализованных на языке ABAP 4. Функциональная схема данного решения представлена на рис. б.
Модуль интеграции
ПК
администратора
Рис. б. Схема взаимодействия систем Ellipse и SAP R3 c помощью карт преобразования
На основе карт преобразований создан регламент по внесению изменений в системы-источники, в котором описаны критичные изменения структуры данных. Текущие исследования интеграции ЕКР систем на основе карт преобразований показывают, что большинство указанных ранее задач успешно решаются предлагаемым методом. При этом полностью отпадает необходимость использования транспортного файла, что повышает надежность корпоративной системы и скорость консолидации и репликации дан-
ных, а также значительно разгружает администраторов корпоративных систем. Рассмотренный метод проходит тестовую реализацию интеграции систем-источников АСУ ТОиР, АСУ МТР с системой ГИВЦ. Уже сейчас можно отметить, что интеграционная платформа на базе карт преобразования позволила реализовать широкий спектр интеграционных сценариев: синхронизацию данных, работу композитных приложений и сквозные бизнес-процессы. Появилась возможность управлять интеграцией и реагировать на
события, возникающие во взаимодействующих системах. С помощью карт преобразования удалось добиться консолидации и унификации системных функций. Теперь за обеспечение транзакционности, гарантированную доставку сообщений, маршрутизацию, безопасность взаимодействия централизованно отвечает интеграционная платформа, что упрощает процесс разработки, эксплуатации и масштабирования данных функций. Использование интеграционной платформы позволяет выполнять подключение новых систем без модернизации существующих приложений и без изменений архитектуры информационной системы, то есть интеграционная платформа отвечает принципу масштабирования.
Использование интеграционной платформы позволяет оптимально вести инвестиции в КИС и сделать процесс модернизации информационных систем плавным и незаметным для конечных пользователей, что особо важно для такой корпорации, как ОАО «ГМК «Норильский никель».
Литература
1. Fomitchova S.G. Protection of the information in the virtual organizations / S.G. Fomitchova // Lecture Notes on Information Technology in Business ITIB-2006.
Warsaw Agricultural University, Department of Econometrics and Computer Scince, 200б, pp 105-115
2. Братухин Р. И. Использование карт преобразований при консолидации корпоративных данных I Р.И. Братухин; под ред. Е.Н. Шиянова, В.В. Неверовой, Ж. В. Игнатенко. II Информационные системы и технологии в социально - экономических и правовых процессах: материалы Всерос. науч.-практ. Интернет
- конф. Ставрополь: СКСИ, 2007.- С. 9-12.
3. Филенко М.В. Интеграция корпоративных информационных систем I М.В. Филенко; под ред. Е. Н. Шиянова, В. В. Неверовой, Ж. В. Игнатенко. II Информационные системы и технологии в социально
- экономических и правовых процессах: материалы Всерос. науч.-практ. Интернет - конф. Ставрополь: СКСИ, 2007.- С. б2-б8
® 8(3919) 42-17-39 E-mail: levikhafilrambler.ru
[1] Термин технология карт преобразований употребляется в работе [2].
[2] Термин корпоративная информационная система употребляется в работе [З].
