Архитектура проактивной системы сбора и обработки геопространственных данных Текст научной статьи по специальности «Компьютерные и информационные науки»

вание только зенитного угла ствола наклонных скважин не решает проблемы управления траекторией ствола. На практике часто приходится изменять направление ствола скважины в зависимости от конкретных условий, для чего обычно используют отклоняющие приспособления.

Однако в случаях изменения направления ствола скважины с помощью отклонителей возникают трудности, связанные с точностью их ориентирования. При этом, как правило, уменьшается проходка на долото и механическая скорость проходки.

Кроме того, часто при изменении направление ствола скважины уменьшается угол его наклона, из-за чего приходится проводить дополнительные работы по набору угла.

Решением этой важной проблемы явилось обоснованное применение спиральных стабилизаторов различных конструкций и назначения.

Параметры неориентируемых КНБК для бурения нового ствола выбирается из условия предупреждения возврата нового ствола в старый.

Предложенные методики позволяют с большой точностью и эффективностью завершить забуривание новых стволов в глубоких скважинах.

АРХИТЕКТУРА ПРОАКТИВНОЙ СИСТЕМЫ СБОРА И ОБРАБОТКИ ГЕОПРОСТРАНСТВЕННЫХ ДАННЫХ

© Нгуен Туан Ань1, Чан Ван Фу1

Волгоградский государственный технический университет, г. Волгоград

В данной работе представлена предложенная архитектура системы сбора и обработка различных данных в режиме реального времени на основе технологии Kafka кластера. Данные могут быть: (1) лог-файлом, (2) видео-потоками данных. В результате работы также представляется работоспособность системы в реальном времени. В работе также интегрируются методы обработки видео-потоков данных для подсчета количества транспортных средств в определенном времени, и также обработки лога-файла, в которых хранят информации о транспортных средств в реальном времени. В результате этого визуализируются информации о транспортных средств с использованием алгорима K-средний.

Ключевые слова проактивный системы, геопространственные данные, обработка данных в реальном времени.

В настоящий день обработка транспортных данных в реальном времени станет одним из глобальных проблем в больших городах в мире [6]. Транс-

1 Аспирант кафедры «Системы автоматизированного проектирования и поискового конструирования».

портные данные имеют различные типы и собираются с различных источников. Они должны быстро обработаются в реальном времени, так как такие данные характеризуются свойствами: (1) высокой скоростью, (2) высокой интенсивностью и также (3) разнообразностью.

Был проведен анализ существующих технологических средств, и также известные методы и алгоритмы для решения комплексной задачи сбора и обработки геопространственных данных.

Как правило, данные, отправленные на сервер в реальном времени, также могут быть большими, поэтому должно быть использовать кластер машин для получения их и распределения их в кластер. Для решения этой проблемы предлагается использовать Apache Kafka. Apache Kafka представляет собой распределенную систему обмена сообщениями публикации-подписки. Первоначально он был разработан в LinkedIn Corporation, а позднее стал частью проекта Apache. Kafka быстрая, масштабируемая система, распространенная по своей конструкции, распределяет и реплицирует совершить службу журнала. Apache Kafka отличается от традиционной системы обмена сообщениями: (1) выполнен в виде распределенной системы, которая очень легко масштабирует, (2) он предлагает высокую пропускную способность для обоих производителя и потребителя, (3) он поддерживает несколько абонентов и автоматически уравновешивает потребители при разгерметизации и (4) сохраняются сообщения на диске, и, таким образом, может быть использован для потребления дозируемую, таких как ETL, в дополнение к реальным приложениям времени. Его суть состоит из следующих компонентов (1) Производители - приложения потребляют канал данных и отправить его к Кафке для распределения потребителей, (2) Потребители -приложения, которые подписываются на темы; например, пользовательское приложение или любой из продуктов, перечисленных в нижней части этого поста, (3) брокеры - работники, которые принимают данные от производителей и отправить его потребителям. Они работают репликации, а также, (4) Перегородки - физические отделы темы, как показано на рисунке ниже. Они используются для резервирования в качестве перегородки расположены на разных серверах хранения, (5) - Темы для категории сообщений и (6) Zookeeper -она используется для запуска служб в системах. На рисунке 1 показаны основные понятия Кафки от Hortonworks.

В результате анализа показана высокая эффективность при разработке проактивной системы при использовании Kafka кластера. Для решения задачи обработки видео-потоков данных предложено использование библиотеки OpenCV с алгоритмом вычитания фона. В настоящее время существуют библиотеки, которые сильно эффективно обработают видео-потоков и изображения, например как OpenCV на мульти-платформах, EmguCV на Windows, Windows Phone. В том числе библиотека OpenCV оценивается разработчиками самой лучшей для обработки видео-данных, также и изобра-

жений. В библиотеку интегрируется много библиотек для решения отдельных задач.

Рис. 1. Базовая концепция Apache Kafka

Источник: http://hortonworks.com/hadoop/kaika/.

Для вычисления количества машин в видео нужно решить 2 подзадачи: распознавание движущихся объектов путём обнаружения «интересных» областей в каждой кадре видео, слеживание объектов. Для первой задачи можно решать с помощью алгоритма фонового вычитания. Существует много работ, которые исследовали по этой проблеме. Даже в 1979 году появилась работа [3] для распознавания движущихся объектов на основе разницы кадр видео. Также бывают алгоритмы и модели для распознавания, например как Kaiman Filters [4], модель гауссовых смесей [5] и т.д. В работе [1] представлена модель фонового переднего плана, и также алгоритма для идентификации пикселей, принадлежащих движущимся объектам. В работе [1] авторами предложена новая адаптивный метод фонового вычитания на основе оценки плотности ядра, также показана его эффективность в различных выборках данных. Для решения второй задачи в [5] показан предлагаемый метод, основанный на графическом представлении движущихся объектов, что позволяет извлекать и поддерживать динамический шаблон каждого движущегося объекта путём обеспечения их временной когерентности.

На рисунке 2 представлена предложенная архитектура проактивной системы сбора и обработки раздичных данных с разных источников.

В работе использован фреймворк EVGEN, разработанный самами авторами, для генерации данных транспортных средств в реальном времени. В генерированном событии о транспортных средствах на дороге содержатся

следующие свойства: индентификатор объекта - uid, Начальное время события - eventStart, Конечное время события - eventEnd, Долгота места объекта - long, Широта места объекта - lat, Текущая скорость объекта - velocity, Состояние объекта - status и Город - country.

Рис. 2. Предложенная архитектура проактивной систнемы сбора и обработки раздичных данных с разных источников

Структура лог-файла представляется следующим шаблоном:

{

data : [

"uid" : {Integer}, "eventStart" : {Long int}, "eventEnd" : {Long int}, "long" : {Double}, "lat": {Double}, "velocity": {Double}, "status": {String}, "country" :{String}

]

}

// ГО объекта

// Начальное время события // Конечное время события // Долгота места объекта // Широта места объекта // Текущая скорость объекта // Состояние объекта // Город

Данные по такому шаблону случайно отправляются на брокер 1, и полученные модули работы с Kafka для получения результата обработки лог-файла. В Node21 проведены обработка лог-данных и отправка результатов в Kafka кластер. Разработана также система клиент-сервер для отправки-

приема видео-данных. Клиент - внешняя машина для передачи видеонаблюдения транспортной дороги на сервер по сокету. Видео отправляется в сервер по рамке (frame) видео. В серверной части проведены обработка видео для подсчета количества машин в видео на основе библиотеки OpenCV с библиотекой cvBlobs для решения задачи слеживания движущих объектов, также и отправка в кластер по определенному времени. Kafka кластер состоит из множества брокеров для побора данных. Customers подписывают собирать данных по этим брокерам. В Node22 использована библиотека OpenCV для повышения скорости обработки видео -данных. Передача видео-данных должна быть быстрой, поэтому мы предлагали использовать библиотеку Librdkafka, которая является реализацией протокола Apache Kafka на языке С++. Преимущества этой библиотеки заключаются в том, что она была разработана с надежностью доставки сообщений и высокой производительности в виду, текущие показатели превышают 800000 сообщений на секунду для производителя и 3 миллиона сообщений на секунду для потребителя. Тестирования для одного брокера показали эти показатели: отправка 100 байтов данных каждого сообщения, 710000 сообщений на секунду, примерно 71 MB/second.

Модуль работы с базой данных пописывает брокеры для получения сообщений и сохранения их в базу данных HBase. Сохраняемые данные будут использованы в дальнейшей работе для решения комплексных задач. На рисунке 3 представлен результат моделирования зависимости количества от времени в тестированном видео.

Times

Рис. 3. Моделирование зависимости количества от времени для тестированного видео

В данной работе показана предложенная архитектура проактивной системы сбора и обработки видео-потоков данных в реальном времени. Тести-

рование разработанной системы показали высокую эфективность при различных типов данных с различной интенсивностью.

Список литературы:

1. Yaser Sheikh. Background Subtraction for Freely Moving Cameras. Yaser Sheikh, Omar Javed, Takeo Kanade// Robotics Institute, Carnegie Mellon University, Pittsburgh, PA 15213 2 ObjectVideo Inc., Reston, VA 20191. http://www.cs.cmu.edu/~yaser/SheikhJavedKanade_ICCV_2009.pdf.

2. Jeisung Lee and Mignon Park. An Adaptive Background Subtraction Method Based on Kernel Density Estimation // Sensors 2012. pp 12279-12300.

3. R. Jain and H. Nagel. On the analysis of accumulative difference pictures from image sequences of real world scenes. IEEE TPAMI, 1979.

4. D. Koller, J. Weber, T. Huang, J. Malik, G Ogasawara, B. Rao, and S. Russell. Towards robust automatic traffic scene analysis in realtime. ICPR, 1994.

5. Isaac Cohen. Detecting and Tracking Moving Objects for Video Surveillance. Isaac Cohen, G'erard Medioni // IEEE Proc. Computer Vision and Pattern Recognition Jun. 23-25, 1999. Fort Collins CO.

6. Чан, Ван Фу. Обзор архитектур систем поддержки принятия решений, использующих аналитику данных в режиме реального времени / Ван Фу Чан, М.В. Щербаков, Туан Ань Нгуен // Известия ВолгГТУ Сер. Актуальные проблемы управления, вычислительной техники и информатики в технических системах. - Волгоград, 2016. - № 3 (182). - C. 95-100.

НОВЫЙ СПОСОБ ЗАРЯДКИ АККУМУЛЯТОРОВ

© Пляскин Н.Н.1

Томский государственный университет систем управления и радиоэлектроники, г. Томск

Описывает альтернативное устройство зарядное, нового поколения. Выявлены преимущества его использования. Определены перспективы применение в стационарном режиме и в автомобиле. Сформулированы конкурентные преимущества.

Ключевые слова электричество, химические источники тока, аккумуляторы, катушка, импульс, инновация, альтернатива, перспектива, коммерциализация.

Электричество - это слово произошло от др. греческого слова (^Хектрж электрон) - янтарь [1]. Как и янтарь, электричество и всё, что с ним связано завораживало и притягивало человечество с незапамятных времён. Ранние

1 Техник кафедры Управления инновациями.