CC BY
84
3. Математические методы распознавания образов -URL: http://www.intuit.ru/studies/courses/22 65/2 4 3/info
4. Anatomy of a 3D Model - URL: http://3d.about.com/od/3d-101-The-Basics/aMnatomy-Of-A-3d-Model.htm
5. Полигональная сетка - URL: https://ru.wikipedia.org/wiki/Полигональная сетка
6. Григорьев А.В. Оконтуривание склона электронно-дифракционного рефлекса / А.В. Григорьев, И.Д. Граб, Н.А. Паксяев, В.А. Трусов, В.Я. Баннов // Труды международного симпозиума Надежность и качество. 2008. Т. 1. С. 332-334.
7. Трусов В.А. Программно-определяемые приемопередатчики и их применение / В.А. Трусов, Н.В. Горячев,
В.Я. Баннов // Молодой ученый. 2014. № 21 (80). С. 234-236.
УДК 681.518.3
Финогеев А.А., Финогеев А.Г., Нефедова И.С.
ФГБОУ ВПО «Пензенский государственный университет», Пенза, Россия
РАСПРЕДЕЛЕННАЯ ОБРАБОТКА ДАННЫХ В БЕСПРОВОДНЫХ СЕНСОРНЫХ СЕТЯХ НА ОСНОВЕ МУЛЬТИАГЕНТНОГО ПОДХОДА И ТУМАННЫХ ВЫЧИСЛЕНИЙ
В статье рассматриваются вопросы разработки концепции интеллектуальной обработки и хранения сенсорных данных на пространственно-распределенных узлах беспроводной сетевой среды в рамках концепции Интернет вещей. Предлагается реализовать принципы мультиагентной обработки неструктурированной или слабоструктурированной сенсорной информации для SCADA систем энергоснабжения и энергопотребления. Для первичной обработки сенсорных данных на уровне терминальных устройств предлагается модель туманных вычислений. Туманные вычисления реализуются с помощью программных агентов, которые загружаются в узлы беспроводных сенсорных сетей и контроллеры измерительных приборов и приборов автоматики. Решение задачи лежит в рамках тенденции к созданию среды информационных взаимодействий M2M согласно концепции Интернет вещей. Основные операции интеллектуального анализа и прогнозирования выполняются на уровне распределенной обработки в серверном вычислительном кластере. Для решения сложных задач используется модель GRID вычислений на множестве графических процессоров серверных узлов с поддержкой технологии CUDA. Для хранения данных и результатов обработки разрабатывается распределенное облачное хранилище, которое включает иерархическую БД нереляционного типа, организованную на пространственно-рассредоточенных узлах сенсорных сетей и БД реляционного типа на узлах серверного кластера. Результаты исследований, представленные в статье, получены при финансовой поддержке РФФИ в рамках научных проектов 15-57-54033, 15-07-01720, 16-07-00031 Ключевые слова:
мультиагентный подход, распределенные вычисления, мониторинг, беспроводная сенсорная сеть, zigbee, туманные вычисления, grid вычисления, scada система
Появление огромного числа датчиков и измерительных приборов в сложных технических системах привело к экспоненциальному росту объема данных, которые необходимо обрабатывать и анализировать в реальном времени. По данным компании Cisco такая система, как реактивный двигатель может создать 10 терабайт данных о своей деятельности и состоянии в течение получаса. Датчики, установленные в современном автомобиле, генерируют до двух петабайт данных в год. Передача этих данных для обработки в серверные вычислительные кластеры GRID или системы облачных сервисов в реальном времени и последующая передача результатов пользователям накладывает слишком высокие требования к пропускной способности сети, которые практически невозможно обеспечить, что приводит к существенным задержкам. Функционирование распределенных автоматизированных систем контроля процессов энергоснабжения и энергопотребления также невозможно без сбора и обработки огромного объема телеметрических (сенсорных) данных с множества датчиков и измерительных приборов, размещаемых на объектах инженерных энергетических сетей. Сенсорные данные используются для мониторинга, диспетчерского контроля и управления пространственно-распределенными объектами и технологическими процессами энергопотребления [1,2]. Интеллектуализация предполагает разработку и внедрение технологий мониторинга, интеллектуального анализа и прогнозирования состояния и функционирования объектов, процессов и явлений. Широкое внедрение беспроводных технологий для дистанционного контроля объектов и процессов энергоснабжения является де-факто основой создания единой информационно-вычислительной среды для распределенного интеллектуального мониторинга пространственно-распределенных объектов и процессов на больших территориях [3]. Поэтому следует отметить актуальность задач синтеза и исследования моделей и способов организации распределенных вычислений, которые можно реализовывать непосредственно на оконечных пунктах сбора данных, которая подтверждается необходимостью решения комплекса проблем, связанных с управлением техногенными системами и технологическими процессами в сфере энергетического мониторинга.
Организация распределенной обработки данных в беспроводной сенсорной среде
Эволюционное развитие информационных, телекоммуникационных и Интернет технологий идет в направлении перехода к технологиям всепроникающих сетей (Ubiquitous Networks) и сетей Интернет вещей (Internet of Things) с возможность информации по принципу 4A (Anytime, Anythere, Anything, Anybody). Концепция Internet of Things сегодня приобретает реальные очертания, благодаря развитию технологической базы всепроникающих беспроводных сенсорных сетей и моделей организации распределенных вычислений. Существует три базовых модели распределенных вычислений: параллельные вычисления (GRID computing), облачные вычисления (cloud computing) и туманные вычисления (fog computing). Последнюю модель часто отождествляется с облачными вычислениями [4]. GRID вычисления базируются на архитектуре традиционных компьютерных сетей или мультипроцессорных систем и представляют собой организацию параллельного вычислительного процесса, когда части задания распределяются по свободным в данный момент времени ресурсам и позволяют решать задачи, сложные для отдельно взятого узла.
Облачные вычисления фактически определяют модель предоставления повсеместного сетевого доступа к общему пулу конфигурируемых ресурсов. Пользователь использует технологию «тонкого» клиента в качестве средства доступа к облачным приложениям, облачному хранилищу, облачным платформам и т.п., инфраструктура которых принадлежит провайдеру облачных услуг. Следует отметить, что модель облачных вычислений возникла, как развитие модели GRID вычислений, и в настоящее время облачная обработка данных определяется как технология распределенных вычислений, в рамках которой информация хранится в облачном хранилище, но кэшируется на клиентской стороне для аналитической обработки [5]. Туманные вычисления — это развитие технологии GRID вычислений, когда процесс обработки и хранения данных сдвигается на нижний уровень организации вычислительного процесса вычислений непосредственно на терминальные устройства с ограниченными вычислительными и энергетическими ресурсами.
Таким образом, в современном понимании концепция распределенных вычислений определяет процесс сближения (конвергенции) способов распределенной обработки, таких как GRID, облачные и туманные вычисления, с объединением виртуальных
кластерных систем (grid-кластеров, облачных кластеров и туманных кластеров) в единую инфоком-муникационную и вычислительную систему. Проблемой становится разработка механизмов администрирования с поддержкой системы обеспечения информационной безопасности на всех уровнях распределенной обработки и хранения данных.
Создание SCADA-систем нового поколения для автоматизации процессов энергоснабжения нового поколения предполагает реализацию модели туманных вычислений в рамках концепции Интернет-вещей. Это означает децентрализацию процессов сбора и обработки сенсорных данных, с переносом части вычислительного процесса аналитической обработки данных с серверов центра об на сенсорные модули и/или программируемые логические контроллеры приборов автоматики.
Современные сенсорные узлы являются достаточно мощными вычислительными устройствами, которые не эффективно применять только для выполнения операций по сбору и передаче данных. В отличие от модемов сотовой связи узлы технологии ZigBee [8] имеют микроконтроллеры с предустановленной операционной системой и флеш-памятью, что позволяет решать несложные вычислительные задачи в режиме реального времени перед отправкой данных [6] . Решение таких задач целесообразно выполнять в рамках мультиагентного подхода, который позволит повысить эффективность использования сенсорных узлов и всей сенсорной сети.
Основными преимуществами мультиагетной технологии туманных вычислений на базе сенсорных узлов беспроводной сети стандарта ZigBee являются:
- использование беспроводной сенсорной сети, работающей в безлицензионном диапазоне 2,4 ГГц;
- финансовая и операционная независимость от провайдеров сотовой связи при организации транспортной среды передачи данных с удаленных объектов энергетического мониторинга;
- решение вопросов информационной безопасности транспортной среды без привлечения сторонних организаций;
- снижение загруженности серверного кластера;
- снижение загруженности каналов связи;
- сокращение объема данных в облачном хранилище;
- повышение оперативности обработки сенсорных данных и получение результатов непосредственно с объектов мониторинга в реальном времени;
- снижение времени реагирования на нештатные и аварийные ситуации и т.п.
Первичная обработка сенсорных данных с датчиков, приборов учета и измерительных приборов заключается в вычислении агрегированных энергетических показателей и краткосрочное прогнозирование динамики их изменения на основе ретроспективных данных в программных агентах. Показатели и результаты прогноза могут хранится на распределенных сенсорных узлах или передаваться для накопления в облачном хранилище с целью последующего извлечения и интеллектуальной обработки в GRID кластере центра обработки данных [7]. Агенты устанавливаются на сенсорные узлы:
- на этапе прошивки сенсорного узла (запрет процесса миграции);
- в процессе функционирования системы с помощью переносного оборудования;
- путем удаленной загрузки через каналы связи сенсорной сети;
Модель и метод мультиагентной обработки сенсорных данных
Разрабатываемый метод мультиагентной обработки сенсорной информации в SCADA системах нового поколения включает:
- модель гетерогенной беспроводной сети для сбора и туманной обработки сенсорных данных на основе сенсорных сетей, сетей сотовой связи, WiFi сетей, Ethernet сетей и системы спутниковой навигации,
- модель распределенного облачно-туманного хранилища сенсорных данных,
- методику сбора и интеграции сенсорных данных и результатов мониторинга в распределенном хранилище.
- способ загрузки и миграции программных агентов в беспроводной сенсорной среде,
- модель взаимодействия программных агентов в среде туманных вычислений сетей,
- модель и методику интеллектуального анализа сенсорных данных с использованием распределенных программных агентов,
- модель и методику интеллектуального анализа сенсорных данных в серверном кластере GRID вычислений,
- модель и методику обеспечения защиты программных агентов и сенсорных данных в распределенной вычислительной среде.
Модель распределенной мультиагентной обработки данных на базе беспроводной сенсорной сети можно представить в виде гиперграфа с двумя подмножествами вершин и ребер и расширенными свойствами (Рис. 1):
G = (V(Vld{x,y},УDaK), U(UconstidrUvar)r P), где Vid{x,y} - вершины (сенсорные узлы) с весовыми (íd) атрибутами, характеризующими вычислительные ресурсы и координатами {к,у} местонахождения узлов, - загружаемые программные агенты с
атрибутами (pa), характеризующими параметры модулей, и атрибутами к, определяющими вычислительные функции, Uconstíd - гиперребра постоянной инцидентности, которые описывают каналы передачи данных с весовыми (íd) атрибутами, Uvar - гиперребра переменной инцидентности, которые описывают маршруты миграции агентов, Р -предикат, определяющий инцидентность вершин и гиперребер.
Подмножество вершин Víd{x,y} определяет различные виды устройств, в том числе процессоры сенсорных узлов и контроллеры приборов учета и контроля энергоносителей, операционные платформы и программные прошивки. Поэтому в нем выделяются кластеры однотипных вершин, сгруппированных по мощности и операционным платформам для загрузки агентов определенного класса, подмножество вершин которых Wa также разделено на кластеры. Гиперребра постоянной инцидентности Uconst (а1, ..., an), где n=const делятся на кластеры, объединяющие сегменты конкретной сетевой технологии. Гиперребра Uvar объединяют подмножества вершин, моделирующих программные агенты, с подмножеством вершин, моделирующих конкретные типы контроллеров и сенсорных узлов, в которые они загружаются для выполнения вычислительных задач. Особенностями модели являются динамичная структура гиперребер Uvar (Ь1, ..., Ьт), геопространственная привязка вершин, моделирующих узлы туманных вычислений, что позволяет решать задачи пространственно-временного анализа.
Разработка метода определяет создание информационно-телекоммуникационных технологий следующего поколения, когда сенсорные узлы, промышленные контроллеры и мобильные устройства смогут самостоятельно связываться в самоорганизующиеся сети Интернет-вещей для решения аналитических задач и обмена данными. В основе мультиагентной концепции туманной обработки данных лежит си-стемно-синергетический принцип управления информационными процессами в сложных открытых системах [8]. Конвергенция мультиагентных технологий, моделей распределенных вычислений и хранения данных определяет достижение синергетиче-ского эффекта в отношении повышения эффективности обработки больших сенсорных данных Б1д8еп-sorData в сетевой среде и позволяет выявить новые эмерджентные свойства распределенной инфо-коммуникационной среды.
Архитектура системы распределенной обработки сенсорных данных включает 4 программно-аппаратных уровня [9]: Терминальные сенсорные узлы и контролеры измерительных приборов и приборов автоматики, реализующие туманные вычисления.
Координаторы, маршрутизаторы сенсорных сегментов и модемы сотовой связи, осуществляющие сбор, защиту и передачу сенсорных данных в центр обработки.
Рисунок 1 - Гиперграфовое представление модели распределенных вычислений
Центр обработки данных, включающий кластер серверов для GRID вычислений и сервера облачного хранения данных.
Клиентские устройства для доступа к облачному хранилищу, серверам вычислительного кластера и терминалам распределенных туманных вычислений.
Для взаимодействия программных агентов туманных вычислений с вычислительным GRID кластером реализуется механизм брокеров. Брокер реализует функции накопления данных и результатов первичной обработки, их шифрования, управления ключами, маршрутизации и передачи. Брокеры устанавливаются на координаторах сенсорных сегментов и маршрутизаторах сенсорной сети. Для поддержки работы брокеров целесообразно использовать протокол MQTT (Message Query Telemetry Transport) [9], который представляет протокол обмена сообщениями, предназначенный для использования в сетях с минимумом энергетических и вычислительных ресурсов. В качестве шлюза, соединяющего сенсорную среду с вычислительным кластером центра обработки данных выступает центральный координатор сенсорной сети.
Заключение
Инструментарий интеллектуального анализа данных для реализации в вычислительном кластере разрабатывается на платформе Java Enterprise
Edition (J2EE) с использованием многослойной платформы Spring framework и технологии объектно-реляционного проецирования ORM (Object-relational mapping) Hibernate. Объектно-реляционный адаптер Hibernate используется для работы с распределенным туманным хранилищем через систему Cassandra. В качестве серверной платформы используется сервер приложений JBoss
Application. Архитектура кластера включает сеть серверов небольшой мощности на первом уровне и графические процессоры видеокарт серверных узлов на втором уровне с поддержкой технологии CUDA для параллельной обработки данных с целью повышения производительности. Основными областями применения мультиагентной системы распределенной обработки данных являются системы мониторинга территориально распределенных объектов и технологических процессов. К ним относятся диспетчерские SCADA системы, системы автоматизированного управления распределенными технологическими процессами, системы транспортировки и потребления различных видов энергии, системы охраны периметра и видеонаблюдения, системы типа «умная энергетическая решетка (Energy Smart Grid)», «умная дорога (Smart Road)», «умное городское освещение (Smart City Light)», «умный город (Smart Town)» и т.п.
ЛИТЕРАТУРА
1. Финогеев А.Г., Дильман В.Б., Маслов В.А., Финогеев А.А. Система удаленного мониторинга и управления сетями теплоснабжения на основе беспроводных сенсорных сетей // Прикладная информатика. - № 3(33).- Москва: Изд. Маркет DS. 2011 - с.83-93.
2. Бушмелев П.Е., Увайсов С.У., Бушмелева К.И., Плюснин И.И. Повышение качества контроля утечек газа из магистралей газопроводов посредством беспроводной сенсорной телекоммуникационной системы // Надежность и качество: труды Международного симпозиума - Пенза: Изд-во ПГУ, 2015. - т.2. - с. 4-8.
3. Финогеев А.Г., Дильман В.Б., Финогеев А.А., Маслов В.А. Оперативный дистанционный мониторинг в системе городского теплоснабжения на основе беспроводных сенсорных сетей // Известия высших учебных заведений. Поволжский регион. Технические науки., 2010, № 3, с. 27-36.
4. M. Armbrust, A. Fox, R. Griffith, A. Joseph, R. Katz, A. Konwinski, G. Lee, D. Patterson, A. Rabkin, and I. Stoica, "Above the clouds: A Berkeley view of cloud computing," EECS Department, University of California, Berkeley, Tech. Rep. UCB/EECS-2 0 0 9-2 8, 2009.
5. Hewwit C. ORGs for Scalable, Robust, Privacy-Friendly Client Cloud Computing // IEEE Internet Computing. Vol. 12, NY, USA, 2 008. doi: 10.1109/MIC.2008.107
6. Финогеев А.Г., Финогеев А.А. Мобильные сенсорные сети для поддержки принятия решений. // Материалы Науч-практической конф. «Инновации в условиях развития информационно-коммуникационных технологий» (ИНФ0-2009).-. Россия, Сочи, 1-10 октября 2009г. - с. 146-149.
7. Финогеев А.Г., Нефедова И.С., Финогеев Е.А., Куанг Винь Тхай, Камаев В.А., Шевченко С.В., Финогеев А.А. Анализ данных в системе диспетчеризации городского теплоснабжения // ж. «Прикаспийский журнал: управление и высокие технологии» - Астрахань: Изд-во АГУ (Астраханский Государственный Университет), ISSN - 2074-1707 - 2014. - №2 (26). - с. 182-197.
8. Финогеев А.Г., Нефедова И.С., Финогеев А.А., Финогеев Е.А., Камаев В.А., Финогеева А.З., Шевченко С.В. Инструментальные средства сбора и анализа данных диспетчерских SCADA систем городского энергоснабжения // Надежность и качество-2 014: труды Международного симпозиума: / Под ред. Н.К. Юркова. - Пенза: Изд-во ПГУ, 2014. - т.2. - с. 216-220.
9. Финогеев А.Г. Моделирование исследование системно-синергетических процессов в информационных средах: Монография, Пенза: Изд-во ПГУ, 2004, 223 с.
