CC BY
14УДК [681.5+681.3] :697
АНАЛИЗ ДАННЫХ В СИСТЕМЕ ДИСПЕТЧЕРИЗАЦИИ ГОРОДСКОГО ТЕПЛОСНАБЖЕНИЯ!
Финогеев Алексей Германович, доктор технических наук, профессор, Пензенский государственный университет, 440026, Российская Федерация, г. Пенза, ул. Красная, 40, тел. (8412) 399363, e-mail: finogeev@sura.ru
Нефедова Ирина Сергеевна, аспирант, Пензенский государственный университет, 440026, Российская Федерация, г. Пенза, ул. Красная, 40, тел. 89875059454, e-mail: nefedya2008@yandex.ru
Финогеев Егор Алексеевич, аспирант, Пензенский государственный университет, 440026, Российская Федерация, г. Пенза, ул. Красная, 40, тел. 89875059454, e-mail: nefedya2008@yandex.ru
КуангВинь Тхай, директор, Институт информационной технологии, Вьетнам, г. Ханой, e-mail: tqvinh@ioit.ac.vn
Камаев Валерий Анатольевич, доктор технических наук, профессор, Волгоградский государственный технический университет, 400131, Российская Федерация, г. Волгоград, пр. Ленина, 28, e-mail: Vkamaev40@mail.ru
Шевченко Сергей Васильевич, кандидат технических наук, доцент, Национальный технический университет «Харьковский политехнический институт», 61002, Украина, г. Харьков, ул. Фрунзе, 21, e-mail: sv_shevchenko@mail.ru
Финогеев Александр Алексеевич, ассистент, Пензенский государственный университет, 440026, Российская Федерация, г. Пенза, ул. Красная, 40, тел. 89875059454, e-mail: nefedya2008@yandex.ru
В статье рассматриваются вопросы создания системы анализа данных для поддержки принятия решений в процессе управления службами городского теплоснабжения. Определены задачи управления системой теплоснабжения города с учетом современных тенденций в плане внедрения новых технологий повышения энергоэффективности. Представлен анализ системных проблем комплексного автоматизированного управления теплоснабжением города. Определена задача повышения энергоэффективности в отношении минимизации затрат и энергопотерь при генерации и транспортировке энергоносителей до потребителя, оптимизации энергопотребления при заданных уровнях надежности инженерных сетей и удовлетворенности потребителей. Для оптимизации поддержки принятия решений предложен подход к мониторингу объектов инженерных сетей и технологических процессов транспортировки и потребления энергии с использованием технологий геопространственного анализа и Knowledge Discovery in Databases (KDD). Сбор данных для аналитических задач реализуется в беспроводной гетерогенной среде, включающей сенсорные VPN сегменты технологии ZigBee с реализацией стандарта 6L0WPAN над стандартом IEEE 802.15.4, а также сегменты сетей сотовой связи. В качестве серверной платформы для работы инструментальных средств извлечения данных, собираемых с сенсорных узлов, PLC и приборов учета энергопотребления, используется JBoss Application server. Средства KDD разрабатываются на платформе Java Enterprise Edition с использованием технологий Spring и ORM Hibernate. Для структурирования сверхбольших массивов данных предложена организация их в виде гипертаблиц и ускорения аналитической обработки данных в Graphics Processor Unit с применением технологии Compute Unified Device Architecture (CUDA).
Ключевые слова: интеллектуальный анализ данных, поддержка принятия решений, теплоснабжение, энергоэффективность, энергетика, беспроводная сеть, ZigBee, сенсорная сеть, извлечение знаний, гипертаблица, CUDA
1 Работа выполнена при финансовой поддержке со стороны Минобрнауки России в рамках базовой части проекта 2586 задания № 2014/16.
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 2 (26) 2014 ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ, ИНФОРМАЦИОННО-СПРАВОЧНЫЕ, ЭКСПЕРТНО-АНАЛИТИЧЕСКИЕ СИСТЕМЫ
DATA MINING IN THE URBAN HEATING SCHEDULING SYSTEM
Finogeev Aleksey G., D.Sc. (Engineering), Professor, Penza State University, 40 Krasnaya St., Penza, 440026, Russian Federation, tel. (8412) 399363, e-mail: finogeev@sura.ru
Nefedova Irina S., post-graduate student, Penza State University, 40 Krasnaya St., Penza, 440026, Russian Federation, tel. 89875059454, e-mail: nefedya2008@yandex.ru
Finogeev Yegor A., post-graduate student, Penza State University, 40 Krasnaya St., Penza, 440026, Russian Federation, tel. 89875059454, e-mail: nefedya2008@yandex.ru
Kuang Vin Tkhay, Director, Institute of Information Technology, Hanoi, Vietnam, e-mail: tqvinh@ioit.ac.vn
Kamaev Valeriy A., D.Sc. (Engineering), Professor, Volgograd State Technical University, 28, Lenin av., Volgograd, 400131, Russian Federation, e-mail: Vkamaev40@mail.ru
Shevchenko Sergey V., Ph.D. (Engineering), Associate Professor, National Technical University "Kharkiv Polytechnic Institute", 21 Frunze St., Kharkiv, 61002, Ukraine, e-mail: sv_shevchenko@mail.ru
Finogeev Aleksandr A., Assistant, Penza State University, 40 Krasnaya St., Penza, 440026, Russian Federation, tel. 89875059454, e-mail: nefedya2008@yandex.ru
In this paper we consider a task of Data mining system development for decisions support during the urban heating services management. We defined tasks of the urban heating system based on modern trends in implementation of new energy efficiency improvement technologies. The analysis of system problems of integrated automated control for the city heat supply is proposed. We defined a task of energy efficiency improvement in respect of costs and energy losses minimization during the generation and transportation of energy to the consumer, energy consumption optimization for a given level of reliability of engineering networks and customer satisfaction. To optimize decision support we proposed an approach to facilities monitoring of utilities and technological processes of energy transportation and consumption by using geospatial analysis technology and Knowledge Discovery in Databases (KDD). Data collecting for analytic tasks is implemented in wireless heterogeneous environment that includes VPN sensor segments, ZigBee technologies that realize 6L0WPAN standard over the IEEE 802.15. standard, and also segments of mobile networks. We used JBoss Application server as a server platform for data extraction workbench, collected by sensor nodes, PLC and Energy metering. KDD was developed using Java Enterprise Edition and Spring and ORM Hibernate technologies. For Big Data structuring we proposed organization of data in the form of gipertablits and acceleration technology of Analytical Processing Graphics Processor Unit using technology Compute Unified Device Architecture.
Keywords: data mining, decision support, heat supply, energy efficiency, power engineering, , wireless network, ZigBee, sensor network, Knowledge Discovery, hypertable, CUDA
Введение. Качественное теплоснабжение в городах является одной из основных предпосылок успешного функционирования их социально-экономической сферы, работы различных предприятий и организаций, улучшения условий жизни населения. Исследования процессов управления городскими энергоснабжающими службами, объединяющими электрические, тепловые, водопроводные и газовые инженерные системы, показали, что совокупность задач, решаемых на разных этапах принятия решений, можно рассматривать с точки зрения системно-синергетического подхода [6].
Структура управления системами городского теплоснабжения может быть представлена в виде распределения выделенных функций управления по уровням иерархии, формирующих группы задач по периодичности их решения, функциональному содержанию и степени важности. Поддержка принятия управленческих решений базируется на реализации комплексных методов сбора большого числа различных данных в процессе мониторинга основных объектов системы городского теплоснабжения и технологических процессов.
Целью данной статьи было комплексное исследование взаимосвязанных вопросов получения, передачи, накопления и анализа данных в системах диспетчеризации городского теплоснабжения с использованием современных аппаратно-программных решений.
Общая характеристика проблематики управления теплоснабжением городских объектов. При формализации задачи повышения эффективности управления учитываются следующие ее особенности:
• реализация стратегии оптимальной балансировки при решении двух подзадач: самоорганизации эффективных структур автономного управления и централизованной координации подсистем нижнего уровня иерархии;
• учет локальных приоритетов при принятии решений в отдельных подсистемах управления;
• установка оптимальных вертикальных связей между уровнями иерархии подсистем посредством управляющих воздействий;
• налаживание оптимальных горизонтальных связей между подсистемами одного уровня путем обмена структурированной информацией;
• оптимизация распределения функций управления подсистемами с различными свойствами по уровням иерархии в соответствии с приоритетами принимаемых решений.
Для информационной поддержки принятия решений должен быть разработан перечень мероприятий, направленных на обеспечение оптимального и безаварийного функционирования сетей инженерных коммуникаций в городских системах генерации, транспортировки, потребления, учета и утилизации энергоресурсов.
Эти мероприятия должны быть направлены на решение следующих задач:
• повышение эффективности и оперативности работы диспетчерских служб;
• использование технологий энергосбережения на всех уровнях транспортировки и потребления энергоресурсов;
• минимизация энергопотерь при транспортировке энергоресурсов в системах инженерных коммуникаций и оптимизация энергопотребления конечными потребителями;
• внедрение технологий распределенного сбора и обработки данных в процессе мониторинга состояния инженерных коммуникаций и технологических процессов в системах теплоснабжения;
• оперативное реагирование на внештатные, аварийные и чрезвычайные ситуации с целью их предотвращения или оперативной ликвидации последствий аварий и катастроф природного и техногенного характера;
• своевременное обеспечение профилактических и ремонтных работ на инженерных системах и т.д.
Одной из важных целевых функций иерархической системы управления является оптимизация взаимосвязанных расчетов между поставщиками и потребителями. Результаты оптимизации должны обеспечить реализацию технологических процессов генерации и транспортировки энергии в соответствии с заданными нормативными показателями, а также выполнение процессов управления с определенными показателями качества.
Проблематика автоматизации управления в службах городского теплоснабжения. Рассмотрим проблемы, с которыми сталкиваются разработчики систем автоматизированного управления и поддержки принятия решений для служб диспетчеризации предприятий, обслуживающих сети теплоснабжения [3, 11].
1. Проблема «непрозрачности» данных. Известно, что большая часть информационно-аналитических систем (ПАС) хранят данные и результаты работы в виде, непригодном для использования другими системами. «Непрозрачность» протоколов и форматов данных либо не позволяет переносить их в иную программную среду силами специалистов предприятия, либо требует значительных усилий. Кроме того, «конвертирование» данных в «форма-
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 2 (26) 2014 ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ, ИНФОРМАЦИОННО-СПРАВОЧНЫЕ, ЭКСПЕРТНО-АНАЛИТИЧЕСКИЕ СИСТЕМЫ
ты» другой ИАС может приводить к возникновению различных ошибок и несоответствий, особенно если не удовлетворяются ограничения по размерам данных, их точности и пр. Фактически предприятие нередко попадает в «информационную зависимость» от разработчика конкретного программного продукта, которая может привести к катастрофическим последствиям при прекращении технической поддержки с его стороны.
2. Проблема рассогласованности данных. С одной стороны, она вызвана использованием на энергоснабжающих предприятиях разнообразных аппаратных средств, программных систем и проприетарных протоколов сбора и обработки данных. Проприетарность собственных протоколов обмена данными не позволяет наладить информационное взаимодействие между системами разных производителей (разработчиков). Например, только для систем городского теплоснабжения в настоящее время выпускается более 60 типов тепловычислителей с собственными протоколами обмена данными, что сильно затрудняет возможность использования универсальной системы учета и контроля потребления тепловой энергии в системах отопления и горячего водоснабжения [8]. Для решения данной проблемы внедряются технологии единого интерфейса для автоматизации управления объектами и технологическими процессами [18] на базе стандартов ОРС (OLE for Process Control). Несмотря на перспективность внедрения стандартов в SCADA системы для сбора оперативных (ОРС Data Access) и архивных (ОРС Historical Data Access) данных от приборов промышленной автоматики, пока еще достаточно много оборудования и программного обеспечения (ПО), не охваченого ОРС-технологиями. Также международная организация ОРС Foundation своей политикой сдерживает развитие стандарта и предоставляет доступ к описанию интерфейсов только ассоциированным членам.
С другой стороны, одинаковые данные необходимы для решения задач разными организациями, ведущими собственные базы данных (БД) и использующими различные программные системы. При этом одни и те же показатели представляются в БД и программах в разных форматах. Например, длина участка трубопровода тепловой сети используется для гидравлических расчетов, расчета тепловых потерь, учета амортизационных отчислений в бухгалтерском учете, планирования ремонтов, определения зоны отчуждения в кадастровых планах и т.п. Если обслуживающее предприятие проведет изменение длины участка в результате ремонта магистрали, то возникнет рассогласование данного показателя в БД различных организаций, которые ведут его учет. Синхронизация данных во всех БД требует значительных усилий, расхода рабочего времени и финансовых затрат, причем полноценно контролировать этот процесс часто не представляется возможным. Таким образом, нельзя обеспечить достоверность информационных массивов данных, что влияет на эффективность и качество принимаемых инженерно-технических и управленческих решений, а иногда и безопасность эксплуатации систем.
3. Проблема рассогласованности информационных потоков. Сегодня инженерно-технические, технологические и организационные задачи решаются с использованием транспортной телекоммуникационной среды для обмена данными. Сетевые технологии призваны решить проблему рассогласованности данных в разных организациях. Однако отсутствие единой стратегии использования сетевых технологий, наличие множества телекоммуникационных решений, аппаратных средств и провайдеров сетевых услуг приводит к рассогласованию информационных потоков из-за внедрения предприятиями разных телекоммуникационных решений.
4. Проблема отраслевой специфики учета данных связана с тем, что предприятия, осуществляющие снабжение разными видами энергии (электроснабжение, теплоснабжение, водоснабжение и газоснабжение), относятся к разным отраслевым хозяйствующим субъектам, которые связаны между собой только на уровне финансовых взаиморасчетов. Для ком-
плексного решения данной проблемы необходимо следующее: внедрение единой SCADA системы для всех энергоснабжающих предприятий города; организация многомерного «облачного» хранилища общих данных; создание единой транспортной среды обмена данными. Единая система мониторинга и диспетчеризации объектов инженерных сетей позволит реализовать координацию управления производственными и технологическими процессами городских служб теплоснабжения, обеспечить согласованность работы всех их звеньев, бесперебойность работы вспомогательных, обслуживающих и ремонтно-аварийных служб.
Перечисленные выше проблемы и отсутствие единой стратегии их разрешения в системе теплоснабжения города не позволяют лицам, принимающим решения (ЛПР), видеть целостную картину происходящих процессов в общей городской системе инженерных коммуникаций - это снижает эффективность управления ими в целом [2, 4, 18].
Мероприятия для обеспечения работы системы интеллектуального анализа. Для измерений, сбора данных и анализа параметров энергоносителей, характеристик технологических процессов их генерации, транспортировки, потребления и утилизации внедряются диспетчерские S CADA системы [15]. Целью разработки комплексной системы мониторинга и поддержки принятия решений в службах городского теплоснабжения является достижение энергетической результативности за счет повышения энергетической эффективности энергоснабжающих предприятий [16], снижения энергетических потерь при транспортировке энергоносителей, оптимизации энергопотребления в общественных и жилых зданиях с учетом метеоинформации, информации о режимах работы зданий, поведения конечных потребителей и т.д.
Система интеллектуального анализа и извлечения знаний из накапливаемых данных может функционировать только при условии реализации следующих мероприятий:
1) установка устройств учета энергопотребления с встроенными ОРС серверами на объектах инженерных сетей и у конечных потребителей;
2) создание беспроводной транспортной среды с сенсорными и сотовыми сегментами для сбора данных [19];
3) организация сбора данных с помощью сенсорных узлов и модемов сотовой связи с приборов автоматики через ОРС сервера;
4) «погружение» данных, полученных из различных источников, в многомерное «облачное» хранилище с поддержкой операций консолидации, «очистки», нормализации и трансформации;
5) подготовка анализируемых выборок данных (в том числе обучающих выборок для моделей прогноза), извлечение их из хранилища или других источников по различным срезам с целью передачи в гиперкубы для аналитической обработки;
6) синтез прогнозных моделей с целью итеративного выбора наилучшей модели прогнозирования энергопотребления на различных объектах в зависимости от факторов - на краткосрочный и долгосрочный период [12];
7) визуализация результатов прогноза на цифровой картографической основе (ЦКО) с возможностью отображения показателей и характеристик энергопотребления, энергопотерь и энергоэффективности в числовом и графическом виде с использованием схем цветовой дифференциации;
8) расчет параметров энергопотребления для разных категорий потребителей по результатам прогноза;
9) передача результатов прогноза, параметров энергопотребления в виде структурированных отчетов, графиков, цветовых схем ЛПР (диспетчерам, энергетическим менеджерам, руководителям служб и предприятий) для выработки мероприятий по повышению энергетической результативности;
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 2 (26) 2014 ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ, ИНФОРМАЦИОННО-СПРАВОЧНЫЕ, ЭКСПЕРТНО-АНАЛИТИЧЕСКИЕ СИСТЕМЫ
10) автоматизированное регулирование энергопотребления и оперативная коррекция прогнозных параметров в соответствии с реальными факторами с целью итерационной настройки моделей и повторного прогнозирования.
Как видно из данного перечня, одним из основных мероприятий является создание беспроводной транспортной среды для сбора данных.
Гетерогенная беспроводная среда для сбора сенсорных данных. Гетерогенная беспроводная среда сбора сенсорных данных для работы системы интеллектуального анализа и поиска знаний включает следующие компоненты.
1. Сегменты сенсорных ZigBee сетей с узлами, соединенными с приборами промышленной автоматики, различными датчиками, системами пожарной и охранной сигнализации, управляемыми координатором сегмента.
2. Сегменты Bluetooth сетей [17] с узлами, соединенными с приборами промышленной автоматики, различными датчиками, системами пожарной и охранной сигнализации, управляемыми мастер-устройствами.
3. Сети сотовой связи для сбора данных с удаленных объектов, когда нет возможности или экономически не целесообразно создавать собственные VPN сети.
4. Спутниковая сеть для мониторинга перемещений автотранспорта предприятия; обслуживания и слежения за мобильными средствами связи персонала.
5. Сегменты WiFi и Ethernet на энергоснабжающих объектах и в диспетчерских центрах.
6. Интернет-сегмент для удаленного доступа к информационным ресурсам SCADA систем и системы мониторинга.
Для обеспечения требуемой дальности связи в городских условиях рекомендуется использовать следующие способы сбора данных.
1. Установка и использование GSM/GPRS модемов для ретрансляции данных по сотовой сети. В качестве способа передачи информации в GSM-системах используются SMS-сообщения, модемное соединение (CSD), передача тоновых посылок (режим DTMF) и режим пакетной передачи сообщений GPRS. ОРС сервера или PLC с интегрированными модемами устанавливаются на объектах инженерной сети и обеспечивают сбор, накопление и обработку первичных данных с различных измерительных приборов - с передачей данных на диспетчерский сервер через каналы GSM/GPRS связи. Однако недостатками подобных систем являются низкая помехозащищенность; легкость подавления GSM-канала; нестабильность работы сети GSM; «открытость» сети к различным атакам; зависимость от надежности работы сети сотовой связи; финансовая зависимость от сервис-провайдера.
2. Установка и использование сенсорных узлов Zigbee сети на объектах инженерных коммуникаций с возможностью сбора данных и передачи их через центральный координатор сети на диспетчерский сервер [7] посредством использования:
a) выносных антенн с высоким коэффициентом усиления;
b) маломощных промежуточных ретрансляторов сенсорной сети, которые могут быть установлены:
• на высоких зданиях или столбах линий электропередачи;
• на выносных измерительных терминалах теплоцентралей с проводной системой контроля протечек, которые по техническим условиям размещаются через каждые 300 метров. В данном случае ретранслятор выполняет две функции: ретрансляцию кадров и обнаружение и локализацию протечек (рис. 1).
PRIKASPIYSKIY ZHURNAL: Upravlenie i Vysokie Tckhnologii (CASPIAN JOURNAL: Management and High Technologies), 2014, 2 (26) INFORMATION-MEASURING, REFERENCE, EXPERT-ANALYTICAL SYSTEMS
Dispatch Center S CADA system
Heat boñer station
^ - - , metering devices - Coordinator WSN
Gate It ' ----
Ж
high gain antenna r \ ;
Circuit sensor nodes to pipeline terminals
sensors gas pollution
П
*
cogeneration plant Security' alarm
heat pumps
Field Service and/or Mobile Worker
Ф
tr 1- . .
Рис. 1. Сегмент сенсорной сети теплового пункта системы теплоснабжения
Беспроводная сенсорная сеть идеальна для использования в 8САВА системах для поддержки принятия решений [1]. Такая сеть является инфраструктурой для сбора данных с различных измерительных приборов, что позволяет диспетчерам не только проводить мониторинг, наблюдать и анализировать оперативные и архивные показания, но и передавать управляющие воздействия на исполнительные механизмы. Преимуществом такой сети является возможность применения энергосберегающих режимов, когда сенсорные узлы большую часть времени находятся в спящем режиме и выходят из него только для снятия показаний и передачи их на диспетчерский сервер. Также использование виртуальной корпоративной сети сбора данных имеет большое значение как в финансовом плане, так и для обеспечения информационной безопасности корпоративной автоматизированной системы управления технологическими процессами теплоснабжения города.
Интересным решением является размещение ретрансляторов сенсорной сети на выносных наземных терминалах, которые соединяются с системой контроля протечек в тепловых магистралях. В современных магистралях для транспортировки теплоносителя используются двойные трубы с внутренним межтрубным утеплителем и системой проводного оперативного дистанционного контроля (ОДК). Подключение к системе ОДК осуществляют с помощью измерительных терминалов, которые присоединяются к проводникам трубы и выводятся на поверхность. Промежуточные терминалы устанавливаются через каждые 300 метров согласно существующим техническим требованиям [7]. Терминалы могут использоваться для организации передачи данных от кластерных сенсорных и других сегментов по цепочке сенсорных узлов до диспетчерских пунктов
В общем случае для создания транспортной среды сбора и передачи данных с объектов мониторинга системы городского теплоснабжения, распределенных на большой городской территории, необходимо использовать все виды доступных беспроводных сетей [20], что позволяет повысить надежность за счет резервирования каналов связи. Сегмент такой гетерогенной беспроводной сети для сбора данных в диспетчерской 8 САБА системе для автоматизированного управления городскими тепловыми сетями [14] представлен на рис. 2.
Полученные «сенсорные» данные могут быть использованы для анализа в различных целях.
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 2 (26) 2014 ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ, ИНФОРМАЦИОННО-СПРАВОЧНЫЕ, ЭКСПЕРТНО-АНАЛИТИЧЕСКИЕ СИСТЕМЫ
Инструментарий анализа данных и поиска знаний в БД SCADA систем. SCADA системы получают оперативные и архивные данные от ОРС серверов посредством узлов сенсорной сети или модемов сотовой связи и передают их в подсистему подготовки данных и «погружения» в хранилище.
По мере возрастания числа объектов мониторинга и количества записей в многомерном хранилище система интеллектуального анализа данных рано или поздно сталкивается с проблемами производительности. Эти проблемы могут быть связаны с неправильно спроектированной архитектурой системы или с внешними ограничениями. В роли последних могут выступать недостаточные мощности серверов приложений, либо серверов БД, неоптимальная структура БД. Первая проблема решается добавлением серверов в кластер, а решение второй связано с оптимизацией схемы хранения данных; переписыванием кода приложения интеллектуального анализа; разбиением сложных реляционных запросов на части и т.д.
Для повышения эффективности выборки срезов данных из многомерного хранилища предлагается использовать метод хранения данных, основанный на комбинации промышленного SQL хранилища с распределенной нереляционной системой хранения массивов данных. Это лучший вариант решения проблемы производительности и масштабируемости хранилища, так как в его основе лежит более простая инфологическая модель данных, чем традиционная реляционная модель. Для этого в системе интеллектуального анализа вместе с СУБД Oracle используется распределенная нереляционная система Cassandra для кэширования срезов многомерного хранилища, что обеспечивает значительное повышение скорости выборки данных, отказоустойчивость и масштабируемость.
Описание схемы данных осуществляется через использование структур хеш-таблиц, деревьев и т.п. Система Cassandra на платформе Java включает в себя распределенную хеш-систему, что обеспечивает линейную масштабируемость при увеличении объема данных. В системе анализа данных и поиска знаний использована модель хранения данных в виде гипертаблицы на базе семейства столбцов, что отличается от других подобных систем, которые хранят данные в связке «ключ/значение». Также реализована иерархическая организация хранения кэшей с несколькими уровнями вложенности. Предложенная схема хранения и обработки данных относится к категории хранилищ, повышенно устойчивых к сбоям, так как данные автоматически реплицируются на кластерном «облаке» узлов распределённой сети.
Специфика работы нереляционной БД в процессе сбора данных с объектов инженерных сетей теплоснабжения такова, что удаление и изменение данных не требуется - данные только пополняются, причем, как правило, большими блоками в моменты опроса ОРС серверов. При этом каждая отдельная запись нереляционной компоненты представляет собой кешированный срез из реляционной БД Oracle. Для оптимизация производительности системы исходный код Cassandra был изменен в специальной сборке, которая использует блоки данных по 32 Мб - это позволяет сократить их число и увеличить скорость поиска и выборки информации.
Инструментарий интеллектуального анализа данных и поиска знаний работает на стороне «облака» серверов и разрабатывается на платформе Java Enterprise Edition (J2EE) с использованием многослойной платформы разработки корпоративных приложений Spring framework и технологии объектно-реляционного проецирования ORM (Object-relational mapping) Hibernate.
Объектно-реляционный адаптер (ORM) Hibernate применяется для обеспечения гибкости запросов и прозрачности работы с хранилищем. Именно Hibernate использует систему Cassandra в качестве промежуточного слоя (кэша второго уровня) между приложением интеллектуального анализа и реляционной БД. Благодаря такому подходу удалось совместить достоинства реляционных и нереляционных систем хранения данных и обеспечить рост производительности поиска знаний более чем в 10 раз. В системе библиотека Hibernate для решения задач объектно-реляционного проецирования решает задачу связи классов Java с таблицами базы данных и типов Java данных с типами SQL данных, а также предоставляет средства для автоматической генерации и обновления столбцов гипертаблицы, построения запросов и обработки полученных данных.
В качестве серверной платформы в системе анализа данных и поиска знаний использован JBoss Application сервер приложений с открытым исходным кодом. Для обмена данными между клиентскими приложениями и серверами, вызова удаленных серверных процедур бизнес-логики выбраны протоколы HTTPS и AMF (Adobe Media Format). Пользовательский интерфейс реализуется с использованием платформы Adobe Flex, которая позволяет описывать интерфейсы на XML с целью хранения и передачи структурированных данных на мобильные клиентские приложения. Приложения клиента для визуализации структурированных данных совместно с ЦКО используют технологию ActionScript.
Система анализа данных и извлечения знаний имеет трехуровневую архитектуру, включающую: (1) слой представления; (2) слой серверного приложения; (3) слой данных (рис. 3).
Слой представления (Presentation Layer). Персонал энергоснабжающих предприятий начинает работу с системой путем открытия главного портала через запрос HTTPS к серверу приложений JBoss из стандартного браузера. После авторизации пользователь может выбрать необходимое приложение для работы. Далее сервер передает страницу с JavaScript вставками и клиентским приложением на Adobe Flex. Flex-клиент продолжает работу с сервером через протокол AMF посредством протокола HTTPS.
Слой серверного приложения (Application Server Layer). Сервер приложений получает запросы от клиентов, выполняет необходимые действия с данными и передает ответные данные клиенту. Сервер приложений выполняет как роль Web-сервера, так и роль сервера интеллектуального анализа данных. Он взаимодействует с другими серверами через интерфейс API на основе технологии Enterprise Java Beans (EJB). Сервер выполняет расчеты по алгоритмам, требующим высокой производительности вычислений (агрегации, прогнозирования, сценарного анализа). Для ускорения вычислений при работе с большими массивами данных реализована технология CUDA (Compute Unified Device Architecture), которая позволяет выполнять обработку данных на графическом видеопроцессоре.
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 2 (26) 2014 ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ, ИНФОРМАЦИОННО-СПРАВОЧНЫЕ, ЭКСПЕРТНО-АНАЛИТИЧЕСКИЕ СИСТЕМЫ
Ф а
3: ф
4 Ф
га
5
о
<о ф
а-
-Q
3: ф
о о
S:
>3 2 X
о
3 CD Q. Ф ю
с. ф
О
-WEB Браузер-
Общий портал
PLB Клиент PMD Клиент NDF Клиент
Ж
ж
ж
Сервер приложений— P&L Breakdown—
гг
DHTML, JS, Flex
Сервер приложений— РМ Dashboard-
Hibernate, JDBC
DHTML, JS, Flex
MVC EJB POJO
Hibernate, JDBC
^-Сервер проложений-^NDF-
DHTML, JS MVC
ря Я ■ Я ■я
' , дам
■ ■ ■ я ■
EJB
Hibernate, JDBC
X Q 3S
as та •о
-О
a; Ф QD
о
£
—СУБД Oracle-•■Схема PLB
2L
^Cassandra-
,-Схема PMD
■Схема NDF-
■Сторонние системы-
Рис. 3. Фрагмент архитектуры системы интеллектуального анализа данных и поиска знаний
Слой данных (Data Layer) реализован на серверах СУБД Oracle. В БД Oracle в распределенных таблицах хранятся как архивные, так и оперативные данные, полученные с ОРС серверов промышленных контроллеров и других приборов автоматики. В слое с многомерными данными работают инструментальные агенты-фиды (Data Feeds), которые решают задачи интеллектуального анализа данных и извлечения знаний [13]. На данном слое также используется нереляционное (NoSQL) хранилище данных (Cassandra), которое играет роль кэша второго уровня для ORM Hibernate и взаимодействует с серверами приложений и агентами-фидами.
Инструментарий для извлечения знаний при интеллектуальном анализе сенсорных данных включает такие компоненты:
1) визуализатор срезов данных в виде гипертаблицы;
2) редактор режимов агрегации данных;
3) обработчик срезов анализируемых данных гиперкуба.
Визуализатор многомерных данных позволяет представить данные для анализа и его результаты в виде структурированной гипертаблицы. Она сочетает функциональность классической таблицы с древовидной структурой с элементами управления и представления структурированных данных (знаний) на временных шкалах. Фактически гипертаблица является способом наглядной визуализации результатов интеллектуального анализа. Она позволяет наблюдать изменения архивных, текущих и прогнозных значений показателей энергоэффективности в виде структурированных знаний во времени путем перемещения ползунка по временной шкале. При обновлении данных в хранилище в гипертаблице происходят изменения значений данных в реальном времени для каждого выбранного интервала, который задается в соответствии с выбранным горизонтом прогнозирования или периодом времени для сценарного анализа.
Редактор режимов агрегации необходим для поддержки реализации механизма многоуровневой агрегации в процессе отбора данных для представления в гипертаблице. Этот редактор задает вид содержания гипертаблицы архивных, текущих и прогнозных энергетических показателей, определяет видимые столбцы значений, количество и характер уровней группировки данных, цветовые обозначения и т.п. Редактор включает собственный набор инструментов для работы с набором параметров агрегации.
Так как источники данных располагаются на пространственно распределенных объектах инженерных коммуникаций системы городского теплоснабжения, то система мониторинга и поддержки принятия решений должна предоставлять пользователям инструментарий геопространственного анализа. Такой инструментарий реализован в подсистеме пространственного анализа, на платформе ArcGIS 9, которая работает с ЦКО, загружаемой из стандартных геосервисов Google Мар и Yandex Мар координатными данными из реляционной БД с описанием объектов мониторинга, срезами данных из многомерного хранилища и результатами интеллектуального анализа из гипертаблицы. Данный инструмент дает пользователям дополнительные возможности и обеспечивает удобство просмотра пространственной распределенной информации об объектах мониторинга с возможностью отображения на ЦКО результатов интеллектуального и пространственного анализа в виде графиков, диаграмм, таблиц и цветовых дифференцированных картографических зон.
Для обработки больших массивов данных крупные корпорации используют вычислительные кластеры, состоящие из тысяч серверных узлов, программные решения для распределения задач между узлами на базе модели программирования распределенных вычислений «Отображение-Свертка» (Map-Reduce). Для энергоснабжающих предприятий муниципального масштаба использовать такие «мощные» кластерные структуры экономически нецелесообразно. Поэтому для аналитической обработки данных многомерного хранилища и гипертаблицы реализована унифицированная архитектура вычислительного устройства (CUDA) [20]. По технологии CUDA обработка больших массивов данных в реальном времени выполняется в множестве графических процессоров видеокарты Nvidia Quadro FX 5800 4GB (240 процессоров) на основе модели распределенных вычислений «Отображение-свертка» для кластерных компьютерных систем. Принцип подобных вычислений основан на функциях отображения (тар) и свертки (reduce), используемых в функциональном программировании.
Результаты апробации работы. В соответствии с системно-синергетическим подходом функционирование системы мониторинга и поддержки принятия решений базируется на рассмотренных формализованных принципах управления городскими службами теплоснабжения на основе данных, собираемых с объектов инженерных коммуникаций. При проектировании системы мониторинга уровень формализации задач управления определяется наличием информации о технологических процессах генерации, транспортировки, потребления и утилизации энергоносителей, о конфигурации инженерных сетей, о характеристиках
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 2 (26) 2014 ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ, ИНФОРМАЦИОННО-СПРАВОЧНЫЕ, ЭКСПЕРТНО-АНАЛИТИЧЕСКИЕ СИСТЕМЫ
отдельных объектов системы теплоснабжения. Разработка единого многомерного хранилища и программного обеспечения системы позволит повысить качество, снизить сроки выполнения и стоимость реализации управленческих решений, связанных с удовлетворением потребностей населения в энергоресурсах.
В настоящее время отдельные компоненты системы мониторинга реализуются в службе теплоснабжения г. Кузнецка Пензенской области (Россия) муниципальным предприятием «Гортеплосеть» и в службе электроснабжения г. Харькова (Украина) научно-производственными предприятиями «ХАРТЕП» и «ИНТЕП». В частности, получили дальнейшее развитие вопросы организации иерархии управления в электро- и теплоэнергетике, формирования состава и содержания задач управления на отдельных уровнях, координации и согласования процессов принятия решений на разных уровнях, повышения эффективности управления, разработки и внедрения информационных и телекоммуникационных технологий для сбора и обработки больших массивов сенсорных данных.
Использование системы поддержки принятия решений в энергоснабжении на основе интеграции SC ADA систем разных служб в единый комплекс, интеграции данных в многомерном «облачном» хранилище, внедрения технологий Knowledge Discovery in Databases (KDD) и Data Mining для мониторинга технологических процессов генерации, транспортировки, потребления и утилизации энергии является гарантом снижения энергопотерь и достижения энергетической результативности.
Возможной проблемой остаётся защита от атак через беспроводные сенсорные сети в SC ADA системах [5, 9, 10].
Итак, можно сделать вывод, что предлагаемая совокупность аппаратно-программных решений является функционально полной и достаточно эффективной с технико-экономической точки зрения.
Список литературы
1. Акимов А. А. Системы поддержки принятия решений на базе беспроводных сенсорных сетей с использованием интеллектуального анализа данных / А. А. Акимов, В. Е. Богатырев, А. Г. Финогеев // Надежность и качество : сб. ст. Междунар. симп. - Пенза : Приволжский дом знаний, 2010. - С. 113-115.
2. Брумштейн Ю. М. Анализ моделей и методов выбора оптимальных совокупностей решений для задач планирования в условиях ресурсных ограничений и рисков / Ю. М. Брумштейн, Д. А. Тарков, И. А. Дюдиков // Прикаспийский журнал: управление и высокие технологии. - 2013 - № 3. - С. 169-179
3. Камаев В. А. Интеллектуальные системы автоматизации управления энергосбережением / В. А. Камаев, М. В. Щербаков, А. Бребельс // Открытое образование. - 2011. - № 2-2. - С. 227-231.
4. Лунёв А. П. Оценка эффективности управления развитием муниципальных образований: проблемы и перспективы / А. П. Лунёв, М. В. Коган // Прикаспийский журнал: управление и высокие технологии. - 2012. - № 2. - С. 73-78.
5. Федунец Н. И. Проблема несанкционированной утечки информации в инфокоммуникаци-онных мультиагентных системах / Н. И. Федунец, М. А. Приходько // Прикаспийский журнал: управление и высокие технологии. - 2012. - № 2. - С. 13-16.
6. Финогеев А. Г. Моделирование и исследование системно-синергетических процессов в информационных средах : моногр. / А. Г. Финогеев. - Пенза : Изд-во ПТУ, 2004. - 223 с.
7. Финогеев А. Г. Оперативный дистанционный мониторинг в системе городского теплоснабжения на основе беспроводных сенсорных сетей / А. Г. Финогеев, В. Б. Дильман, А. А. Финогеев, В. А. Маслов // Известия высших учебных заведений. Поволжский регион. Технические науки. -2010.-№3.-С. 27-36.
8. Финогеев А. Г. Мониторинг и поддержка принятия решений в системе городского теплоснабжения на базе гетерогенной беспроводной сети / А. Г. Финогеев, В. А. Маслов, А. А. Финогеев, В. Е. Богатырев // Известия Волгоградского государственного технического университета. Сер. Акту-
альные проблемы управления, вычислительной техники и информатики в технических системах. -2011.-Т. 3, № 10.-С. 73-81.
9. Финогеев А. Г. Проблемы безопасности беспроводной сенсорной сети в SCADA системах АСУ ТП / А. Г. Финогеев, И. С. Нефедова, Тхай Куанг Винь // Известия ВолгГТУ. - 2014. - № 6 (133), вып. 20. - С. 66-72.
10. Финогеев А. Г. Анализ и классификация атак через беспроводные сенсорные сети в SCADA системах / А. Г. Финогеев, И. С. Нефедова, Е. А. Финогеев, Куанг Винь Тхай, П. В. Ботвинкин // Прикаспийский журнал:управление и высокие технологии. - 2014. - № 1. - С. 12-22.
11. Тюков А. П. Концепция супервизорного управления отоплением в коммерческих зданиях с использованием прогнозирующих моделей / А. П. Тюков, В. А. Камаев, М. В. Щербаков // Прикаспийский журнал: управление и высокие технологии. - 2012. - № 3. - С. 71-76.
12. Шевченко С. В. Применение нечетких продукционных правил и нейронных сетей для прогнозирования потребления электроэнергии в регионе / С. В. Шевченко, В. А. Камаев, Р. И. Манева // Известия ВолГТУ. - 2012. - Т. 10, № 14. - С. 108-112.
13. Яровенко В. А. Freeagent-платформа для разработки мультиагентных систем / В. А. Яровен-ко, С. А. Фоменков // Известия Волгоградского государственного технического университета. Сер. Актуальные проблемы управления, вычислительной техники и информатики в технических системах. - 2012. -№ 4 (91), вып. 13. - С. 164-166.
14. Bershadsky А. М. Development and modeling of heterogeneous infrastructures for information support of monitoring / A. M. Bershadsky, A. G. Finogeev, A. S. Bozhday // News of higher educational institutions. Volga region. Engineering. - 2010. - № 1. - P. 36-45.
15. Introduction to Industrial Control Networks. IEEE Communications Surveys and Tutorials. - 2012.
16. ISO 50001:2011 Energy management systems - Requirements with guidance for use. - 2011.
17. Maslov V. A. Identification technique and event management of mobile devices based on the technology Bluetooth / V. A. Maslov, A. A. Finogeev, A. G. Finogeev // Proceedings of Higher Education (Volga region). - 2008. - № 1. - P. 108-120.
18. Finogeev A. G. Formalization of the principles and methodology of decision support based on the monitoring of engineering communications Housing / A. G. Finogeev, A. S. Bozhday, V. E. Bogatirev // Information technologies in education, science and business : An international Conference. Ukraine, Crimea, Yalta Gursuf, 20-30 June, 2011. - Yalta, 2011. -P. 210-214.
19. Finogeev A. G. Mobile sensor networks for decision support / A. G. Finogeev, A. A. Finogeev // Innovations in the development of information and communication technologies (INFO-2009) : Proceedings of the Scientific and Practical Conference. Russia, Sochi, 1-10 October 2009. - Sochi, 2009. - P. 146-149.
20. Finogeev A. G. Wireless data transmission technology for the creation of control systems and information support personal / A. G. Finogeev // All-competitive selection of an overview and analytical articles on priority "Information systems". - 2008. - P. 51. - Available at: http://window.edu.ru /window/library? Prid=56177 (accessed 22.10.2013).
References
1. Akimov A. A., Bogatyrev V. Ye., Finogeev A. G. Sistemy podderzhki prinyatiya resheniy na baze besprovodnykh sensornykh setey s ispolzovaniem intellektualnogo analiza dannykh [Decision support system based on wireless sensor networks using data mining], Nadezhnost i kachestvo: sbornik statey Mezhdunarodnogo simpoziuma [Reliability and quality: Proceedings of the International Sympozium], Penza, Privolzhskiy dom znaniy, 2010, pp. 113-115.
2. Brumshteyn Yu. M., Tarkov D. A., Dyudikov I. A. Analiz modeley i metodov vybora optimal-nykh sovokupnostey resheniy dlya zadach planirovaniya v usloviyakh resursnykh ogranicheniy i riskov [Analysis of models and methods for the selection of optimal sets of solutions for scheduling under resource constraints and risks]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal of Management and High Technologies], 2013, no. 3, pp. 169-179.
3. Kamaev V. A., Shcherbakov M. V., Brebels A. Intellektualnye sistemy avtomatizatsii uprav-leniya energosberezheniem [Intelligent automation control system for energy conservation], Otkrytoe obra-zovanie [Open Education], 2011, no. 2-2, pp. 227-231.
4. Lunev A. P., Kogan M. V. Otsenka effektivnosti upravleniya razvitiem munitsipalnykh obra-zovaniy: problemy i perspektivy [Evaluating the effectiveness of municipal development: problems and
ПРИКАСПИЙСКИЙ ЖУРНАЛ: управление и высокие технологии № 2 (26) 2014 ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫЕ, ИНФОРМАЦИОННО-СПРАВОЧНЫЕ, ЭКСПЕРТНО-АНАЛИТИЧЕСКИЕ СИСТЕМЫ
prospects]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal of Management and High Technologies], 2012, no. 2, pp. 73-78.
5. Fedunets N. I., Prikhodko M. A. Problema nesanktsionirovannoy utechki informatsii v infokom-munikatsionnykh multiagentnykh sistemakh [The problem of unauthorized information leakage in infocom-munication multiagent systems]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal of Management and High Technologies], 2012, no. 2, pp. 13-16.
6. Finogeev A. G. Modelirovanie i issledovanie sistemno-sinergeticheskikh protsessov v informat-sionnykh sredakh [Modeling and research of system-synergetic processes in information environments]. Penza, Penza State Univ. Publ., 2004. 223 p.
7. Finogeev A. G., Dilman V. B., Finogeev A. A., Maslov V. A. Operativnyy distantsionnyy monitoring v sisteme gorodskogo teplosnabzheniya na osnove besprovodnykh sensornykh setey [Operational remote monitoring in the urban heating system based on wireless sensor networks]. Izvestiya vysshikh ucheb-nykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki [News of Higher Educational Institutions. Volga region. Engineering], 2010, no. 3, pp. 27-36.
8. Finogeev A. G., Maslov V. A., Finogeev A. A., Bogatyrev V. Ye. Monitoring i podderzhka prin-yatiya resheniy v sisteme gorodskogo teplosnabzheniya na baze geterogennoy besprovodnoy seti [Monitoring and decision support system of urban heat supply based on heterogeneous wireless net]. Izvestiya Volgo-gradskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya. Aktualnye problemy upravleniya, vychis-litelnoy tekhniki i informatiki v tekhnicheskikh sistemakh [News of Volgograd State Technical University. Series Actual problems of management, computer science and informatics in technical systems], 2011, vol. 3, no. 10, pp. 73-81.
9. Finogeev A. G., Nefedova I. S., Tkhay Kuang Vin. Problemy bezopasnosti besprovodnoy sen-sornoy seti v SCADA sistemakh ASU TP [Security issues in wireless sensor network in SCADA systems of APCS]. Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta [News of Volgograd State Technical University], 2014, no. 6 (133), issue 20, pp. 66-72.
10. Finogeev A. G., Nefedova I. S., Finogeev Ye. A., Kuang Vin Tkhay, Botvinkin P. V. Analiz i klassifikatsiya atak cherez besprovodnye sensornye seti v SCADA sistemakh [Analysis and classification of attacks via wireless sensor networks in SCADA systems]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal of Management and High Technologies], 2014, no. 1, pp. 12-22.
11. Tyukov A. P., Kamaev V. A., Shcherbakov M. V. Kontseptsiya supervizornogo upravleniya otopleniem v kommercheskikh zdaniyakh s ispolzovaniem prognoziruyushchikh modeley [Concept of supervisory heating control in commercial buildings using predictive models]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal of Management and High Technologies], 2012, no. 3, pp. 71-76.
12. Shevchenko S. V., Kamaev V. A., Maneva R. I. Primenenie nechetkikh produktsionnykh pravil i neyronnykh setey dlya prognozirovaniya potrebleniya elektroenergii v regione [Application of fuzzy production rules and neural networks for forecasting power consumption in the region], Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta [News of Volgograd State Technical University], 2012, vol. 10, no. 14, pp. 108-112.
13. Yarovenko V. A., Fomenkov S. A. Freeagent-platforma dlya razrabotki multiagentnykh sistem [Freeagent- platform for development of multi-agent systems]. Izvestiya Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya. Aktualnye problemy upravleniya, vychislitelnoy tekhniki i informatiki v tekhnicheskikh sistemakh [News of Volgograd State Technical University. Series Actual problems of management, computer science and informatics in technical systems], 2012, no. 4 (91), pp. 164-166.
14. Bershadsky A. M., Finogeev A. G., Bozhday A. S. Development and modeling of heterogeneous infrastructures for information support of monitoring. News of higher educational institutions. Volga region. Engineering, 2010, no. 1, pp. 36^4-5.
15. Introduction to Industrial Control Networks. IEEE Communications Surveys and Tutorials, 2012.
16. ISO 50001:2011 Energy management systems - Requirements with guidance for use, 2011.
17. Maslov V. A., Finogeev A. A., Finogeev A. G. Identification technique and event management of mobile devices based on the technology Bluetooth. Proceedings of Higher Education (Volga region), 2008, no. 1, pp. 108-120.
18. Finogeev A. G., Bozhday A. S., Bogatirev V. E. Formalization of the principles and methodology of decision support based on the monitoring of engineering communications Housing. Information tech-
nologies in education, science and business: An international Conference. Ukraine, Crimea, Yalta Gursuf, 20-30 June, 2011. Yalta, 2011, pp. 210-214.
19. Finogeev A. G., Finogeev A. A. Mobile sensor networks for decision support. Innovations in the development of information and communication technologies (INFO-2009): Proceedings of the Scientific and Practical Conference. Russia, Sochi, 1-10 October 2009. Sochi, 2009, pp. 146-149.
20. Finogeev A.G. Wireless data transmission technology for the creation of control systems and information support personal. All-competitive selection of an overview and analytical articles on priority "Information systems", 2008, p. 51. Available at: http://window.edu.ru/window/library? Prid=56177 (accessed 22 October 2013).
