CC BY
28
В. П. Потапов, О. Л. Пястунович
Институт угля и углехимии СО РАН ул. Рукавишникова, 21, Кемерово, 650610, Россия E-mail: [email protected]; [email protected]; [email protected]
КОМПЛЕКСНЫЕ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ КАК ИНСТРУМЕНТ ИССЛЕДОВАНИЯ СЛОЖНОЙ ТЕХНОГЕННОЙ СРЕДЫ
В статье описывается разработка распределенной информационно-вычислительной системы по Кузнецкому угольному бассейну. Рассматривается архитектура распределенной системы, включающая глобальное хранилище геоданных, прикладные проблемно-ориентированные ГИС, новые средства многофакторного анализа на основе энтропийного подхода для моделирования разнообразных природно-техногенных систем, комплекс базовых электронных карт, которые могут актуализироваться с использованием данных дистанционного зондирования. Приводятся примеры решения конкретных задач в распределенной системе. Описывается реализация в системе распределенных вычислений.
Ключевые слова: пространственные данные, данные дистанционного зондирования, хранилище данных, распределенные вычисления.
В последние годы в Сибирском отделении Российской академии наук проводились работы по программе фундаментальных исследований Президиума РАН «Развитие и поддержка сети передачи данных СО РАН» под руководством академика Ю. И. Шокина, в которых принимал участие ряд ведущих институтов РАН: Отделения информационных и технологий и вычислительных систем РАН, Отделения наук о Земле. Одной из целей проекта было создание комплексных вычислительных моделей с использованием геоинформационных систем для исследования и управления большими природно-техногенными комплексами. При этом основным объектом для отработки предлагаемых решений был выбран Кузнецкий угольный бассейн, как наиболее сложный и включающий в себя множество самых различных горнотехнологических объектов, с развитой системой городских агломераций, имеющий высокую техногенную нагрузку и постоянно изменяющуюся геодинамическую обстановку. Одним из существенных факторов, определяющих выбор конкретного объекта, явилось и то, что к моменту начала разработки в Сибирском отделении на протяжении десятков лет велись работы по созданию мониторинговых систем сбора и хранения разнообразной горнотехнологической, экологической сейсмической и социально-экономической информации по Кузбассу.
Для достижения целей, поставленных в проекте, потребовалось разработать современную распределенную информационно-вычислительную систему, которая, с одной стороны, позволила бы обеспечить сбор и актуализацию разнообразных геоданных, а с другой - использовать имеющиеся математические модели для анализа и интеграции формируемых с ее помощью информационных потоков в целях принятия оптимальных решений, в том числе и связанных с прогнозом чрезвычайных ситуаций в сложном горно-промышленном регионе. Одним из основных требований при реализации проекта была интеграция всех имеющихся баз данных, как региональных, так и локальных, а также комплексных вычислительных моделей, которые уже используются в промышленности. Поэтому на начальном этапе была проведена их ревизия и актуализации и модификация с учетом современных стандартов.
В настоящее время в результате реализации проекта создана базовая распределенная информационно-вычислительная среда, которая включает в себя глобальное хранилище геоданных, прикладные проблемно-ориентированные ГИС, новые средства многофакторного анализа на основе энтропийного подхода для моделирования разнообразных природно-техногенных систем, комплекс базовых электронных карт, которые могут актуализироваться с использованием данных дистанционного зондирования.
1818-7900. Вестник НГУ. Серия: Информационные технологии. 2009. Том 7, выпуск 3 © В. П. Потапов, О. Л. Пястунович, 2009
Архитектурно система представляет собой множество узлов сети, объединяемых в рамках ОМБ-кластера. Каждый из узлов системы несет конкретную функциональную нагрузку, и в настоящее время управление каждым из них может осуществляться из единого центра. Одним из основных элементов системы является интегрированное хранилище данных по Кузбассу, которое представляет собой наиболее полный набор пространственных данных по Кузбассу, его природно-техногенным комплексам, включая историческую геодинамику бассейна.
При создании хранилища был принят общий подход к построению информационновычислительных систем. Архитектура таких систем описывается трехслойной моделью: 1-й слой - извлечение, преобразование и загрузка данных; 2-й - организация хранения данных; 3-й слой - анализ данных (организация рабочих мест пользователя) (рис. 1).
Источники данных
Рис. 1. Архитектура информационно-аналитической системы на основе хранилища данных
Главным условием при создании хранилища является специфика хранимых данных, выраженная в их трехмерной структуре. Согласно анализу пространственных данных горнопромышленной тематики и теории построений хранилищ предложена следующая схема его организации (рис. 2).
Сбор данных для хранилища данных соответствующей тематики представляет собой низовой уровень аккумуляции в одном месте «сырой» информации. В качестве источников информации выступают традиционные карты разных масштабов, ДДЗ, данные мониторинга и наблюдений. Первичная обработка предполагает согласование данных для обеспечения их целостности и непротиворечивости, т. е. приведение к единому формату представления, системе координат и т. п. В данном случае при создании хранилища главным требованием для загрузки цифровых карт и ДДЗ являлось наличие единой проекции. Поэтому на этом этапе осуществляется перевод материалов в цифровую форму (векторизация традиционных карт,
сканирование ДДЗ и т.п.), привязка их к конкретной системе координат. В итоге формируются базы данных векторных материалов и ДДЗ, а также базы атрибутивных данных. На этапе загрузки в систему подготовленных пространственных данных происходит отслеживание повторяемости материалов, связка таблиц данных по первичным и вторичным ключам, т. е. формирование некоторого «куба» пространственных данных, их хранилища.
1 і , і—
Сбор данных \ Первичная ■ | Загрузка в систему
1 1 обработка ! |
Традиционные 1 Единое
карты разного масштаба 1 1 1 База векторных і табличное
1 данных и : : пространство
і цифровой ■
Данные 1 1 модели і і Исполняемые
мониторинга файлы
і і ;
Данные і і Базы і
наблюдений і і атрибутивных і
і ■
Данные і і База ДДЗ і
дистанционного і : !
зондирования і :
Земли і і і і .. і
Рис. 2. Этапы создания хранилища пространственных данных
Разработанная структура хранилища накладывает определенные требования на реализующее его программное обеспечение. Так как основой построения информационновычислительной системы является хранилище, то его программное обеспечение должно поддерживать форматы пространственных данных, например, формат shp-файла. Кроме этого, безусловным требованием является обеспечение возможности подключения к хранилищу систем сторонних разработчиков, поддерживающих идеологию открытых систем. Этим и другим не менее важным требованиям отвечает пакет Oracle, как наиболее развитое программное средство, обеспечивающее обработку пространственных данных, их интеграцию с традиционными форматами хранения информации (текстовые документы, реляционные БД) и предоставляющее встроенные методы обработки информации, типа стандартного механизма построения отчетов и DataMining. Каждый объект в хранилище имеет позиционные и семантические характеристики, представленные в атрибутивных таблицах. Между таблицами существует связь на уровне уникальных адресов объектов.
Сама система разрабатывалась отдельными информационно-вычислительными блоками, каждый из которых и сегодня продолжает развиваться и постоянно модифицируется. Актуализация данных происходит по мере их поступления, в основном за счет ДДЗ и исторических данных. Так, само хранилище данных создано на основе не имеющего мировых аналогов геоинформационного банка данных ИУУ СО РАН. Оно содержит пространственные данные по разрабатываемым и нераспределенным участкам, шахтным полям, геолого-экономичес-ким районам, электронные карты административных районов, промышленности и транспорта Кузбасса, карты водного бассейна и др. Разработана общая схема информационной модели хранилища, которая предполагает расширение за счет любых типов данных, включая ДДЗ. На основе хранилища данных создано покрытие космоснимками для территории Кемеровской области, Кузнецкого угольного бассейна, отдельных городов области. Покрытие космоснимков интегрировано в структуру базы данных в виде схем георастров СУБД Oracle и используется для актуализации картографической информации. Разработан алгоритм интеграции космоснимков с электронными картами, который позволяет идентифицировать пространственные объекты, определять их границы. Данный метод успешно применяется для отслеживания границ разработки угольных месторождений: наложение электронной карты
разрабатываемых и нераспределенных угольных участков на космоснимки территории позволяет определить расхождение между юридическими и фактическими границами участка, что важно для природного аудита.
На основе космоснимков и информации хранилища пространственных данных могут быть разработаны имитационные модели различных геопроцессов в виде 3D-моделей (оползневые явления, распространение метана в шахте и т. п.), промоделированы региональные гидродинамические процессы (затопление шахт и др.). На рис. 3 приводится пример реализации удаленного запроса к хранилищу данных через ШєгпЄ; с визуализацией данных сейсмического мониторинга по Кузбассу и близлежащим регионам.
Рис. 3. Визуализация запроса к хранилищу данных по сейсмическим явлениям
На рис. 4 показана карта оползневых явлений по югу Кузбасса, которая была сгенерирована на основе хранилища данных по известным событиям за последние 25 лет.
Рис. 4. Карта оползневых явлений по Югу Кузбасса, построенная по данным хранилища
Как уже было сказано ранее, сегодня на основе базовой части системы, включающей хранилище и прикладной интерфейс для реализации запросов, на единой пространственной основе разработаны следующие прикладные ГИС:
• закрытые шахты Кузбасса;
• геоэкологический атлас Кузнецкого бассейна;
• геодинамика Кузбасса с1765 г.;
• геохимия редкоземельных элементов по Кузнецким углям;
• кадастр техногенных месторождений Кузбасса;
• геолого-промышленная карта месторождений Кузбасса;
• электронная карта Кузбасса на основе ДДЗ;
• виртуальный музей угля и др.
Одним из достоинств предлагаемого нами подхода к созданию интегрированных информационно-вычислительных систем является активное использование данных дистанционного зондирования. Сразу отметим, авторы считают, что, несмотря на определенные преимущества, ему присущи и определенные ограничения, поэтому мы осторожно относимся к использованию спутниковых данных, учитывая специфику региональных задач:
• достаточно сложно и иногда экономически нецелесообразно получать данные по конкретному территориальному объекту;
• высокая зашумленность спутниковых данных, включая облачность;
• иногда невысокая точность либо невозможность получения космоснимков в определенном дипазоне, что бывает существенным при работе с динамически изменяющимися объектами (типа выброса метана);
• необходимость иметь высококвалифицированного специалиста по обработке ДДЗ.
В то же время ДДЗ незаменимы при создании региональных мониторинговых систем недропользования, особенно связанными с лицензированием и аудитом промышленных горнодобывающих предприятий, решением проблем загрязнения больших территорий, актуализации старых карт, мониторинга водных ресурсов, отслеживанием чрезвычайных ситуаций, мониторинга сложных техногенных явлений, типа подземных пожаров. С учетом этого при создании системы нами был организован доступ к спутниковым ресурсам СО РАН, что позволило использовать все достоинства и недостатки ДДЗ при решении конкретных задач. В частности, спутниковые данные в системе используются для актуализации электронной геолого-промышленной карты, основа которой была разработана в 1980-1992 гг. Кроме этого, спутниковые данные используются для уточнения русла рек, определения динамически изменяющихся границ угольных предприятий, использующих добычу угля открытым способом (разрезы), аудита выданных лицензий на вновь строящиеся угольные предприятия, для решения задач природопользования и др., оценки сейсмической опасности и ее прогнозирования для территории Кузбасса, детального сейсмического районирования и микросейсморайонирования, оценки степени геодинамического воздействия угледобывающих предприятий.
Одним из важных вопросов является реализация в системе распределенных вычислений. Под распределенными системами обычно понимают программные комплексы, составные части которых функционируют на разных компьютерах в сети. Эти части взаимодействуют друг с другом, используя ту или иную технологию различного уровня - от непосредственного использования сокетов TCP/IP до технологий с высоким уровнем абстракции, таких как RMI, CORBA или DCOM. При этом к подобным системам предъявляется рад жестких требований:
• обеспечение масштабируемости систем, т. е. способность эффективно обслуживать как малое, так и очень большое количество клиентов одновременно;
• надежность создаваемых приложений. Программный комплекс должен быть устойчив не только к ошибкам пользователей, но и к сбоям в системе коммуникаций. Надежность подразумевает гарантированный переход системы в процессе функционирования из одного устойчивого и достоверного состояния в другое, который достигается, например, использованием транзакций;
• возможность непрерывной работы в течение длительного времени (так называемый режим 24 х 7, т. е. режим круглосуточной работы в течение недель и месяцев);
• высокий уровень безопасности системы, под которой понимается не только контроль доступности тех или иных ресурсов системы и защищенность информации на всех этапах функционирования, но и отслеживание выполняемых действий с высокой степенью достоверности;
• высокая скорость разработки приложений и простота их сопровождения и модификации с использованием программистов средней квалификации.
Оказалось, что обеспечить соответствие этим требованиям, используя традиционные технологии, а именно двухслойные системы «клиент-сервер», в которых в качестве серверов выступают системы управления базами данных, практически невозможно. Следовательно, организация вычислительного узла должна предусматривать разделение расчетных модулей компонентов по группам, для надежности работы серверов и обеспечения безопасности и целостности данных, как на стороне вычислительного узла, так и на стороне хранилища данных. Для решения подобной задачи используются технологии распределенных объектов -CORBA и DCOM (COM+). В качестве базовой архитектуры была выбрана архитектура Microsoft DCOM. Создание системы распределенных вычислений было разделено на несколько этапов. На первом этапе был проанализирован прикладной аспект задачи, т. е. разработан конкретный алгоритм. Для этого необходимо было ответить на два вопроса.
1. Где и каким образом будет храниться информация об угольных предприятиях (экономические показатели (добыча, численность, себестоимость), характеристики углей и т. д.) и как она будет обрабатываться?
2. Каким должно быть логическое разделение расчетной части (расчетных модулей) системы - визуальной или клиентской, а также модулей взаимодействия с хранилищем данных?
На втором этапе на основе логического разделения системы был произведен выбор системной архитектуры программного комплекса. Так как на этапе логического распределения было выделено три части (расчетная, визуальная и модули взаимодействия с хранилищем данных), то следует остановиться на n-уровневой архитектуре распределенных приложений, точнее на ее частном случае - 3-уровневой. Такие приложения имеют следующую структуру.
Презентационный сервис (Presentation service). Отвечает за отображение информации, доступ к функциональности, поддержка навигации, защита целостности пользовательского интерфейса.
Прикладная логика или бизнес-правила (Application Logic). Поддержка нужных алгоритмов, реализующих вычисления и контролирующих поток управления в приложении, генерация деловой информации на основе получаемых данных и защита ее целостности.
Сервисы данных (Data Service). Определение структуры данных, хранение и выборка информации, защита целостности данных.
В результате проделанной работы был выполнен анализ существующих на сегодняшний день технологий систем распределенных вычислений. На его основе выбранной технологии Microsoft DCOM/COM+ создан вычислительный модуль по оценке деятельности угольных предприятий. В качестве математической модели, которая реализована на основе технологий распределенных вычислений, выбрана энтропийная модель доктора технических наук, профессора А. Б. Логова. Был разработан алгоритм для реализации систем распределенных вычислений для этой модели, а также комплекс, позволяющий оценивать деятельность угольных предприятий в удаленном режиме. В качестве тестового примера была решена задача анализа показателей углей, извлекаемых на территории Кузнецкого угольного бассейна [2]. В результате проделанной работы сформирована общая методология построения систем распределенных вычислений, которая позволит решать широкий класс задач управления геосистемами горного производства, а также создать новый класс систем геомеханического и газодинамического мониторинга.
В заключении можно сказать, что разработанная методология комплексных информационно-вычислительных моделей исследования сложных техногенных сред может найти практическое применение при создании различных систем природно-ресурсного, экологического и других видов мониторинга Кузбасса и прилегающих территорий. В настоящее время один из таких проектов находится в работе.
Список литературы
1. Лаверов Н. П., Арский Ю. М., Савин Г. И., Жижченко А. Б. Интегральное информационное поле в науках о Земле // Вестн. Росс. акад. наук. 2008. Т. 78, № 10.
2. Замараев Р. Ю., Попов С. Е., Пястунович О. Л. Энтропийный анализ пространственно-распределенных систем на примере геоинформационных баз данных Кузнецкого угольного // Вычислительные технологии. Т. 12. Спец. вып. 3: ГИС- и веб-технологии в междисциплинарных исследованиях. 2007. С. 42-53.
Материал поступил в редколлегию 20.06.2009
V. I Potapov, O. L. Pyastunovich
THE COMPLEX INFORMATION METHODS AS THE TOOL OF RESEARCH OF THE TECHNOGENIC ENVIRONMENT
In article working out of the distributed information system on Kuznetsk coal basin is described. The architecture of the distributed system including global storehouse of geodata, applied problemno-focused GIS, new means of the multifactorial analysis for a basis entropy the approach for modelling of various prirodno-technogenic systems, a complex of base electronic cards which can be staticized with use of data of remote sounding is considered. Examples of the decision of specific targets in the distributed system are resulted. Realisation in system of the distributed calculations is described.
Keywords: spatial data, given remote sounding, storehouse of the data, the distributed calculations.
