Проектирование специализированного хранилища данных для мониторинга чрезвычайных ситуаций

Бадмаева Ксения Владимировна; Пенькова Татьяна Геннадьевна; Ничепорчук Валерий Васильевич

S. S. Aplesnin, V. G. Zhukov, E. A. Popov, Yu. Yu. Loginov

RESEARCH OF COEVOLUTION GENETIC PROGRAMMING ALGORITHM AND ITS APPLICATION IN THE PROBLEM OF MODEL ANALYSIS OF PHASE BOUNDARIES OF MAGNETIC STATE OF A CRYSTAL

The authors consider the research of effectiveness of coevolution genetic programming algorithm and its application in the problem of model analysis of the phase boundaries of magnetic state of a crystal.

Keywords: coevolution, genetic programming algorithm, transparent magnets.

УДК 004.421.4

К. В. Бадмаева, Т. Г. Пенькова, В. В. Ничепорчук

ПРОЕКТИРОВАНИЕ СПЕЦИАЛИЗИРОВАННОГО ХРАНИЛИЩА ДАННЫХ ДЛЯ МОНИТОРИНГА ЧРЕЗВЫЧАЙНЫХ СИТУАЦИЙ*

Рассмотрена задача проектирования специализированного хранилища данных Центра мониторинга и прогнозирования чрезвычайных ситуаций Главного управления МЧС России по Красноярскому краю. Определены основные задачи, выявлены проблемы интеграции данных для мониторинга чрезвычайных ситуаций. Сформированы требования и состав хранилища данных, предложена структура, объединяющая исторические данные и оперативную информацию системы мониторинга и прогнозирования чрезвычайных ситуаций.

Ключевые слова: специализированное хранилище данных, информационная интеграция данных, мониторинг чрезвычайных ситуаций.

С целью предупреждения чрезвычайных ситуаций (ЧС) природного и техногенного характера в органах управления МЧС России ежедневно обрабатывается большое количество данных ведомственных систем мониторинга и донесений аварийно-спасательных формирований. Активно внедряются системы инструментального мониторинга, позволяющие отслеживать в режиме реального времени изменения параметров окружающей среды и динамику характеристик техногенных объектов.

Повышение эффективности использования информационных ресурсов, расширение сфер мониторинга состояния территориальной безопасности и оперативность решения аналитических задач требуют консолидации мониторинговых данных, автоматизации поступления и организации доступа к ведомственным ресурсам, сокращения времени на поиск и обработку данных. Применение технологии хранилищ данных (Data Warehouses) позволяет разрешить проблемы, связанные с обеспечением доступности, согласованности и хранения гетерогенных данных, а также оперативности выполнения аналитических запросов.

В данной статье рассмотрена задача проектирования специализированного хранилища данных, создаваемого в рамках разработки программного комплекса информационно-аналитической поддержки Центра

мониторинга и прогнозирования чрезвычайных ситуаций (ЦМП ЧС) Главного управления (ГУ) МЧС России по Красноярскому краю; определены основные задачи и выявлены проблемы интеграции мониторинговых данных; сформированы требования и состав хранилища данных; предложена структура, объединяющая исторические данные и оперативную информацию. Интеграция данных на основе консолидированного хранилища мониторинга ЧС обеспечит формирование единого информационного пространства краевой системы мониторинга и прогнозирования ЧС природного и техногенного характера.

Краевая система мониторинга и прогнозирования ЧС. Функционирование краевой системы мониторинга и прогнозирования (СМП) ЧС, организационное руководство ее деятельностью обеспечивает Главное управление МЧС России по Красноярскому краю при взаимодействии с территориальными службами (учреждениями) и организациями федеральных органов исполнительной власти, органов исполнительной власти Красноярского края, органов местного самоуправления муниципальных образований Красноярского края, а также организациями, в функции которых входят вопросы мониторинга, лабораторного контроля и прогнозирования источников чрезвычайных ситуаций природного и техногенного характера на территории Красноярского края (см. рисунок).

*Работа выполнена при финансовой поддержке гранта ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы» (ГК № 02.740.11.0621 от 29 марта 2010 г.).

Схема информационного взаимодействия участников системы мониторинга и прогнозирования ЧС

Согласно Приказу МЧС России от 4 марта 2011 г. № 94 «Об утверждения положения о функциональной подсистеме мониторинга, лабораторного контроля и прогнозирования чрезвычайных ситуаций единой государственной системы предупреждения и ликвидации чрезвычайных ситуаций» и Постановлению Правительства Красноярского края от 9 февраля 2011 г. № 80-п «Об утверждении положения о краевой подсистеме мониторинга, лабораторного контроля и прогнозирования чрезвычайных ситуаций природного и техногенного характера на территории Красноярского края», методическое руководство и координацию деятельности в рамках краевой системы мониторинга и прогнозирования ЧС осуществляет Центр мониторинга и прогнозирования чрезвычайных ситуаций природного и техногенного характера ГУ МЧС России по Красноярскому краю.

Основными задачами ЦМП ЧС являются:

— организация и ведение работ по мониторингу источников ЧС, лабораторному контролю и прогнозированию ЧС;

— сбор, обработка и анализ информации об источниках чрезвычайных ситуаций и показателях риска возникновения чрезвычайных ситуаций;

— подготовка и доведение прогнозной информации о возможных чрезвычайных ситуациях и их последствиях;

— контроль источников чрезвычайных ситуаций через системы мониторинга;

— организация проведения оперативных радиометрических, радиохимических, химических и других анализов объектов окружающей среды, продовольствия, питьевой воды, пищевого и фуражного сырья;

— разработка типовых сценариев возникновения и развития чрезвычайных ситуаций и оценка риска их возникновения;

— информационное обеспечение организаций и учреждений СМП ЧС прогнозными данными и рекомендациями в области предупреждения и ликвидации чрезвычайных ситуаций;

— создание специализированных геоинформацион-ных систем, банка данных по источникам чрезвычайных ситуаций и других информационных продуктов;

— обеспечение постоянной готовности сил и средств, предназначенных для осуществления мониторинга, лабораторного контроля и прогнозирования чрезвычайных ситуаций природного и техногенного характера.

На сегодняшний день в органах МЧС России по Кр асноярскому краю функционирует несколько автоматизированных систем. Для поддержки принятия решений по предупреждению и ликвидации ЧС разработан программный комплекс ЭСПЛА-ПРО [1], работающий в двух режимах: в оперативном режиме комплекс моделирует обстановку, отображает зону ЧС на карте, формирует рекомендации по проведению спасательных работ и отчеты по формам МЧС; в повседневном режиме проводятся обработка результатов мониторинга и анализ полученных данных средствами геоинформационного моделирования и технологии OLAP. Для анализа данных мониторинга чрезвычайных ситуаций на территории Сибирского федерального округа создана система OLAP-GIS [2].

Чтобы формализовать разнородные потоки мониторинговых данных и обеспечить их эффективное использование для комплексного оперативного анализа обстановки, необходимо создать централизованные информационные ресурсы краевой системы мониторинга и прогнозирования ЧС. Интеграция информации на основе консолидированного хранилища данных мониторинга ЧС обеспечит формирование единого информационного пространства системы мониторинга и прогнозирования ЧС природного и техногенного характера.

Задачи и проблемы проектирования специализированного хранилища данных мониторинга ЧС. Хранилище данных (ХД) представляет собой предметно-ориентированный, интегрированный, поддерживающий хронологию, неизменчивый набор данных, организованный с целью поддержки управления [3].

Под предметной ориентированностью понимается наличие данных, характеризующих конкретную проблемную область. Интегрированность подразумевает объединение исходных данных из различных источников, при этом данные проверяются, очищаются и приводятся к единому виду. Данные в хранилище всегда связаны с определенным периодом времени, что хронологически упорядочивает информацию. Неиз-менчивость набора данных характеризуется тем, что данные, помещенные в хранилище, в дальнейшем не корректируются и не изменяются.

Специализированные хранилища данных содержат информацию, предназначенную для одной или нескольких задач предметной области, и могут быть подмножествами корпоративного хранилища данных или служить основой для более общего хранилища данных.

Процесс проектирования хранилищ данных, как и классическое проектирование баз данных, включает в себя последовательное выполнение этапов концептуального, логического и физического проектирования [4]. Данные в хранилище могут быть организованы различными способами с помощью таких современных технологий, как OLAP (On-Line Analytical Processing) и интеллектуального анализа данных (Data Mining) [5; 6]. Для оптимальной организации данных требуется тщательное исследование информационных потоков, состава собираемых данных и алгоритмов их обработки.

Специализированное хранилище данных мониторинга ЧС должно соответствовать следующим требованиям:

- обеспечивать решение информационно-аналитических функциональных задач ЦМП ЧС;

- обеспечивать информационный обмен между организациями и учреждениями системы мониторинга и прогнозирования ЧС, сбор и накопление мониторинговых данных;

- обеспечивать информационную интеграцию мониторинговых данных, поступающих от взаимодействующих структур;

- обеспечивать создание единых справочников и классификаторов.

Информационное наполнение ХД мониторинга ЧС должно:

- давать однозначное представление информации на основе единой системы классификации и кодирования;

- использовать принцип унификации при организации данных для их ввода, хранения и аналитической обработки;

- предоставлять возможность для поэтапного наращивания количественного и качественного состава данных.

В состав информационного обеспечения специализированного хранилища данных входят следующие элементы:

- информационная база - исторические данные и оперативная информация;

- система классификации и кодирования информации - единые справочники и классификаторы;

- унифицированные формы статистической и оперативной отчетности.

Информационная база данных представляет собой совокупность данных и массивов отчетных документов с информацией, используемой в процессе работы ЦМП ЧС и должна содержать следующие виды информации:

- оперативную информацию - информацию, которая часто используется и часто изменяется;

- условно-постоянную информацию - информацию, которая часто используется и редко изменяется;

- архивную информацию - информацию, которая редко используется и не изменяется.

Оперативная информация должна включать в себя данные по объектам жилищно-коммунального хозяйства (ЖКХ) и энергосистем, метеорологические, гидрологические, сейсмические, радиационные данные, а также данные, поступающие от системы инструментального мониторинга.

Элементами условно-постоянной информации являются:

- унифицированные формы статистической и оперативной отчетности, предназначенные для определения состава и формы представления информации по мониторингу;

- нормативно-справочная информация;

- классификаторы и справочники.

Система классификации и кодирования включает в себя:

- общероссийские и краевые классификаторы;

- отраслевые и ведомственные справочники;

- системные справочники.

Состав и содержание справочной информации должны обеспечивать автоматизацию функциональных задач ЦМП ЧС. Помимо согласования данных, собранных из различных внутренних и внешних источников, необходимо отслеживать поступление данных и обеспечивать их достоверность.

В результате исследования деятельности ЦМП ЧС и анализа взаимодействия участников СМП выявлены следующие основные проблемы интеграции данных:

- значительный объем и разнородный состав данных;

- наличие структурированных, частично структурированных и неструктурированных данных;

- большое количество внешних источников поступления данных;

- распределенная структура межведомственного взаимодействия;

- разные периоды поступления данных;

- отсутствие положений и регламентов о порядке информационного обмена между взаимодействующими структурами в рамках краевой системы мониторинга и прогнозирования ЧС.

Все эти проблемы требуют как технических, так и организационных решений, оказывающих существенное влияние на процесс автоматизации поступления ведомственных ресурсов и доступа к ним и выполнение поставленных задач.

Состав информации специализированного хранилища данных мониторинга ЧС. Одной из первоочередных задач проектирования специализированного хранилища данных является определение состава информации, что позволит систематизировать данные предметной области, сформировать структуру их хранения и обеспечить возможность для поэтапного наращивания количественного и качественного состава данных в хранилище.

С учетом большого объема информации, получаемой краевой системой мониторинга и прогнозирования ЧС, определен набор данных первой очереди специализированного хранилища, охватывающий ряд обстановок территориальной безопасности: обстановку на объектах жилищно-коммунального хозяйства, метеорологическую, гидрологическую, сейсмическую и радиационную обстановки.

Согласно указанным сферам мониторинга входные информационные потоки содержат:

- данные об организации мероприятий по контролю за подготовкой и прохождением отопительного сезона;

- данные о подготовке жилищно-коммунального хозяйства к работе в зимних условиях;

- данные о состоянии объектов жилищно-коммунального хозяйства;

- данные прогноза погоды и предупреждений об опасных и неблагоприятных погодных явлениях;

- данные по грозовой активности;

- данные о режиме рек и водохранилищ;

- данные о режиме работы гидроэлектростанций;

- данные о ледовых явлениях и прогноз вскрытия рек;

- данные об уровне весеннего половодья и об организации безаварийного пропуска паводковых вод;

- данные о зарегистрированных сейсмических событиях;

- данные о радиационном излучении.

Выходные информационные потоки содержат агрегированные данные по исходной обстановке на территории Красноярского края.

Эффективное поэтапное наращивание состава данных специализированного хранилища, а также их интеграция с историческими и оперативными данными обеспечивается за счет использования единых общероссийских, ведомственных и отраслевых справочников и классификаторов.

Одним из основных классификаторов является общероссийский классификатор объектов административно-территориального деления, обеспечивающий территориальную привязку мониторинговых данных и возможность применения технологий геоинформа-ционного моделирования [7].

Основной объем нормативно-справочной информации предоставляют отраслевые и ведомственные справочники, в которые включены следующие данные:

- о типах ЧС;

- масштабах ЧС;

- отрядах федеральной противопожарной службы;

- видах объектов ЖКХ;

- типах аварий на объектах ЖКХ;

- водозаборах;

- водопроводных сетях;

- канализационных сетях;

- теплоисточниках;

- трансформаторные подстанциях;

- метеостанциях;

- явлениях погоды;

- районах прогноза погоды;

- гидрологических постах;

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

- реках;

- участках вскрытия рек;

- ледовых явлениях;

- затороопасных участках;

- гидроэлектростанциях;

- гидрологических явлениях;

- сейсмостанциях;

- типах сейсмических событий;

- видах сейсмической опасности и др.

Кроме указанных справочников и классификаторов, для обеспечения централизованного сбора и аналитической обработки данных в информационный состав хранилища включены специально созданные (системные) справочники по источникам финансирования, типам и учреждениям социальной защиты, видам топлива, типам котлов котельных, типам генераторов дизельных электростанций, о характере ледостава и др.

Таким образом, определен состав специализированного хранилища данных, который основан на информационной интеграции мониторинговых данных, поступающих от взаимодействующих структур краевой системы мониторинга и прогнозирования ЧС и обеспечивающих эффективную информационную поддержку планирования, организации и контроля мероприятий по предупреждению и ликвидации ЧС на территории края.

Предложения по реализации специализированного хранилища данных мониторинга ЧС. В соответствии с рассмотренными выше особенностями предметной области необходима определенным образом организованная структура хранилища данных, объединяющая исторические данные и оперативную информацию, и специализированные программные средства управления хранилищем данных.

Структура хранилища данных должна отражать состав его основных информационных блоков: справочные данные, фактические данные и метаданные. Для реализации эффективного функционирования ХД необходимы специфические форматы метаданных. Метаданные должны быть организованы в отдельную структуру - репозитарий, который позволяет осуществлять быструю навигацию по различным уровням данных, и предоставлять информацию об источниках данных, операциях их обработки и агрегирования. Кроме того, метаданные должны содержать описание структур данных хранилища, структур данных, импортируемых из разных источников, сведения о периодичности импортирования, методах загрузки и обобщения данных, средствах доступа и правилах представления информации.

Структура хранилища данных должна быть оптимизирована для выполнения сложных запросов и построена на основе наиболее эффективных моделях представления данных. Эта структура должна быть основана:

- на единых правилах наименования объектов;

- единых единицах измерения для однотипных объектов;

- едином физическом представлении однотипных объектов;

- единых атрибутах представления однотипных объектах.

Программные средства управления хранилищем данных, предназначенные для накопления, хранения и предоставления централизованных информационных ресурсов на базе специализированного хранилища данных, должны обеспечить выполнение следующих функций:

- управление структурой данных: создание, удаление и редактирование основных объектов хранилища и установление связей между ними;

- управление репозитарием хранилища: создание, редактирование метаданных, их просмотр, навигации по хранилищу, использование для обработки и загрузки данных;

- предварительная обработка и импорт данных, поступающих из распределенных взаимодействующих структур;

- поддержка средств аналитической обработки мониторинговых данных;

- ведение архивов данных.

Для реализации специализированного хранилища данных системы мониторинга и прогнозирования ЧС и управления мониторинговыми данными предложено использовать разработанную в Институте вычислительного моделирования Сибирского отделения Российской академии наук программную систему «Менеджер хранилища данных» [10], которая позволяет формировать структуру централизованного хранилища, осуществлять ее регулярное наполнение данными из внешних источников и обеспечивать эффективную поддержку процессов мониторинга ЧС.

Таким образом, в результате исследования деятельности Центра мониторинга и прогнозирования чрезвычайных ситуаций Главного управления МЧС России по Красноярскому краю определены основные

задачи и выявлены проблемы интеграции мониторинговых данных. Сформированы требования и состав хранилища данных, предложена структура, объединяющая исторические данные и оперативную информацию. Интеграция данных на основе специализированного хранилища мониторинга ЧС обеспечит формирование единого информационного пространства краевой системы мониторинга и прогнозирования ЧС природного и техногенного характера. Предложенная структура организации данных в сочетании с разработанной технологической базой отвечает всем выявленным в ходе исследования требованиям и обеспечивает эффективную поддержку процессов мониторинга ЧС.

Библиографические ссылки

1. Ничепорчук В. В., Ноженков А. И., Ножен-кова Л. Ф. Система комплексной поддержки управления по предупреждению и ликвидации чрезвычайных ситуаций ЭСПЛА-ПРО : программа для ЭВМ. Зарег. в Роспатенте. Свидетельство об офиц. регистрации № 2009615944 от 27.10.2009.

2. Система анализа данных мониторинга чрезвычайных ситуаций OLAP-GIS : программа для ЭВМ / Л. Ф. Ноженкова, В. В. Ничепорчук, А. А. Марков, А. А. Евсюков. Зарег. в Роспатенте. Свидетельство об офиц. регистрации № 2011612987 от 14.04.2011.

3. Inmon W. Building the Data Warehouse. N. Y. : John Willey & Sons, 1992.

4. Дейт К. Дж. Введение в системы баз данных. 7-е изд. М. : Вильямс, 2001.

5. Ноженкова Л. Ф., Шайдуров В. В. OLAP-технологии оперативной информационно-аналитической поддержки организационного управления // Информ. технологии и вычисл. системы. 2010. № 2. С. 15-27.

6. Пенькова Т. Г., Коробко А. В. Построение интегральной OLAP-модели на основе формального концептуального анализа // Информатизация и связь. 2011. № 3. С. 23-25.

7. Ноженкова Л. Ф., Евсюков А. А., Ноженков А. И. Методы управления и геоинформационного моделирования в технологии OLAP // J. of Siberian Federal Univ. Engineering & Technologies. 2009. Т. 2. С. 49-58.

8. Жучков Д. В. Автоматизация обработки больших массивов данных // Открытое образование. 2006. Прил. С. 56-62.

K. V. Badmaeva, T. G. Penkova, V. V. Nicheporchuk LAY OUT OF SPECIALIZED DATA BANK FOR EMERGENCY MONITORING

Problem of layout of specialized data warehouse (DW) is considered. DW is created for information and analytical support of Center for Monitoring and Forecasting of Emergency Situations Main Directorate of EMERCOM of Russia in Krasnoyarsk region. The main tasks are defined, the problems of data integration for monitoring of emergencies are identified. Requirements and composition of data warehouse are formed. Structure that combines historical data and current information system for monitoring and forecasting of emergency situations is proposed.

Keywords: specialized data warehouse, informational integration of data, emergency monitoring.

LAY OUT OF SPECIALIZED DATA BANK FOR EMERGENCY MONITORING

Текст научной работы на тему «Проектирование специализированного хранилища данных для мониторинга чрезвычайных ситуаций»