Интерактивный контроль пространственно-временного состояния техногенных объектов с применением технологии WebGL Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 528.087, 52-5

ИНТЕРАКТИВНЫЙ КОНТРОЛЬ ПРОСТРАНСТВЕННО-ВРЕМЕННОГО СОСТОЯНИЯ ТЕХНОГЕННЫХ ОБЪЕКТОВ С ПРИМЕНЕНИЕМ ТЕХНОЛОГИИ WEBGL

Татьяна Юрьевна Бугакова

Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, кандидат технических наук, доцент кафедры прикладной информатики и информационных систем, тел. (913)987-01-42, e-mail: bugakova-tu@yandex.ru

Иван Александрович Кноль

Сибирский государственный университет геосистем и технологий, 630108, Россия, г. Новосибирск, ул. Плахотного, 10, аспирант кафедры картографии и геоинформатики, тел. (953)790-50-88, e-mail: ivan_knol@mail.ru

В статье дается описание мультиагентной системы определения пространственно-временного состояния техногенных объектов. Приведен пример робототехнического стенда как прототипа мультиагентной системы. Описывается web-приложение, визуализирующее изменение пространственного положения модели техногенного объекта как абсолютно твердого тела на основе WebGL. В данной статье рассмотрена задача реализации модуля взаимодействия с пользователем, решение которой выполнено поэтапно: создана подсистема трехмерной визуализации с интерактивными пользовательскими функциями на основе технологии WebGL; разработано ПО интеллектуальных агентов для управления геоинформационными ресурсами и организации общения между пользователем и мультиагентной системой. Пользователю дана возможность запросить у web-приложения информацию по конкретно интересующим его параметрам техногенного объекта, задать его поведение при указанных параметрах отклонения от исходных, ввести текстовый запрос в свободной форме, который обработается системой с последующим выводом ответа в требуемой форме.

Ключевые слова: мультиагентная система, техногенный объект, пространственно-временное состояние, web-приложение, 3Б-визуализация, WebGL.

Быстрый рост мегаполисов обуславливает наличие огромного количества опасных для жизни человека и окружающей среды сооружений техногенного характера. Поэтому одной из важнейших задач геодезии и геоинформатики является определение пространственно-временного состояния (ПВС) техногенных объектов (ТО) и систем в реальном времени. Развитие современных технологий дает возможность создания автоматизированных систем, поддерживающих сбор, хранение, обработку и последующий анализ геопространственных данных для предотвращения чрезвычайных ситуаций (ЧС) техногенного характера.

Такие системы называются геоинформационными (ГИС) и являются продуктом наук геоинформатики и геодезии. Круг задач, которые выполняют ГИС, довольно обширен: инвентаризация ресурсов (в том числе кадастр), анализ, оценка, геомониторинг, управление и планирование, поддержка принятия решений. Актуальным направлением в геоинформатике является разработка веб-ГИС. Веб-ГИС является разновидностью распределенной информационной системы. В простейшем варианте веб-ГИС должна содержать хотя бы один сер-

вер и один клиент, где сервер - это сервер веб-приложений, а клиент - это веб-браузер, настольное или мобильное приложение [1-4].

Согласно ГОСТ Р 22.1.12-2005 техногенные объекты следует оборудовать структурированными системами мониторинга инженерных сооружений, сопряженными с автоматизированными системами дежурно-диспетчерских служб с целью предупреждения возникновения и ликвидации чрезвычайных ситуаций [5].

Для определения ПВС ТО применяют различные технические средства: лазерные сканеры, инклинометры, тахеометры, фотографические камеры высокого разрешения, сонары, ультразвуковые датчики, датчики вибрации и излучения. Результатом мониторинга техногенной системы являются большие массивы разнородных данных, для которых требуется индивидуальная обработка. Кроме того, существует человеческий фактор, который неизменно приводит к снижению оперативности определения ПВС, что негативно сказывается на скорости принятия решений и, как следствие, на своевременном предотвращении ЧС. Идеальным вариантом было бы исключение или хотя бы минимизация влияния человеческого фактора, повышение эффективности обработки данных и получение предельно целостной картины о пространственно-временном состоянии техногенной системы [6].

Требуется создание ГИС нового поколения, а именно гибрида автоматизированной и интеллектуальной системы, состоящей из отдельных интеллектуальных агентов, которая бы позволила обеспечить автоматизированный сбор, обработку, хранение, интерактивную ЭБ-визуализацию и многопараметровый анализ данных с возможностью предоставления прогнозного состояния ТО. Это достижимо с помощью разработки мультиагентной системы определения ПВС ТО.

Мультиагентная система — это технологический комплекс аппаратных и программных средств, состоящий из интеллектуальных агентов (блоков -«решателей» задач) которые расположены в некоторой среде, функционально связаны друг с другом и каждый из них способен к гибким, автономным и социально организованным действиям, направленным на предопределенные цели [7-11].

Конечной целью работы авторов является создание мультиагентной системы, способной производить сбор данных о ТО, анализировать данные, делать прогнозные вычисления параметров, визуализировать ПВС ТО и поддерживать общение с пользователем системы.

Для достижения цели предполагается решение следующих взаимосвязанных задач: разработка модуля сбора данных, модуля анализа и обработки данных, модуля взаимодействия с пользователем (человеком).

Этап сбора данных предполагает поступление полной (необходимой для принятия решения) информации о техногенном объекте и ее передачу в модуль аналитики и параллельно с этим в модуль взаимодействия с пользователем. От степени полноты данных об объекте зависит степень полезности обработки этих данных в модуле анализа.

На этапе аналитики предполагается многопараметровая обработка разнородных данных. Таким образом, возможно на основе разнообразных алгоритмов и методов, интегрированных в систему аналитики, предоставить полноценный анализ ПВС и прогноз о состоянии объекта.

Следующим важным этапом является взаимодействие мультиагентной системы с пользователем. На данном этапе пользователь должен быть осведомлен в любой точке земного шара о ПВС ТО средствами приложения, оснащенного интерактивной визуализацией и панелью управления геоинформационными ресурсами. Выполнение данного требования может обеспечить комплекс разработок web-приложения, используещего сеть Internet для передачи данных. Для реализации интерфейса приложения в web-браузерах, простого и в то же время инструментально емкого, требуется библиотека методов и подпрограмм, которая позволит осуществить конструирование интеллектуального модуля управления геопространственными данными о ПВС ТО [12].

В ходе работы была сформирована концептуальная схема функционирования мультиагентной системы (МАС) контроля пространственно-временного состояния техногенного объекта, представленная на рис. 1. На схеме выделены три структурных модуля (модуль сбора данных, модуль аналитики, модуль управления геоинформацией), отображено взаимодействие интеллектуальных агентов.

Рис. 1. Концептуальная схема функционирования МАС определения ПВС ТО (А1-Ап - интеллектуальные агенты модуля сбора данных; Б1-Бп - интеллектуальные агенты модуля аналитики; С1-Сп - интеллектуальные агенты модуля управления геоинформацией)

Концептуальная схема стала основой для разработки робототехнического стенда, являющегося прототипом мультиагентной системы. Стенд состоит из

трех структурных модулей: 1) комплекс датчиков, необходимых для получения данных о модели (макете) ТО (макет ТО представляет собой объемный целостный предмет, который привязан к местной ортогональной системе координат x, y, z и может изменять свое пространственное положение, под внешним воздействием на ТО); 2) система аналитики, которая использует данные о модели ТО, определяет ПВС и генерирует прогнозное состояние объекта; 3) модуль взаимодействия с пользователем МАС, визуализирующий состояние модели ТО в трехмерном представлении.

В данной статье рассмотрена задача реализации модуля взаимодействия с пользователем, решение которой выполнено поэтапно:

- создана подсистема трехмерной визуализации с интерактивными пользовательскими функциями на основе технологии WebGL;

- разработано ПО интеллектуальных агентов для управления геоинформационными ресурсами и организации общения между пользователем и мультиа-гентной системой.

WebGL - это технология рисования, отображения и интерактивного взаимодействия с трехмерной компьютерной графикой в веб-браузерах. В отличие от других технологий для работы с трехмерный графикой, таких как OpenGL и Direct3D, WebGL, она предназначена для использования в веб-страницах и не требует установки специализированных расширений или библиотек [13]. А так как все основано на веб-технологиях, вновь созданные программы легко можно публиковать в сети. Одно из преимуществ WebGL заключается в том, что приложения конструируются как веб-страницы, то есть одна и та же программа успешно будет выполняться на самых разных устройствах, таких как смартфоны, планшетные компьютеры и игровые консоли.

На данный момент существует множество web-технологий представления трехмерной графики (VRML, X3D, U3D, WebGL, Adobe Flash, Java 3D, 3DMLW, Unity3D, Silverlight), но наиболее перспективной представляется WebGL, достоинствами которой является то, что нет необходимости устанавливать плагин, технология поддерживается на смартфонах, так как они поддерживают интерфейс OpenGL ES 2.0, используется аппаратное ускорение трехмерной графики, что увеличивает производительность [14].

Для реализации интерактивной визуализации в web-приложении была выбрана программная библиотека WebGL (основанная на языке JavaScript), позволяющая реализовать интерактивную визуализацию объекта по динамическому облаку (множеству) геопространственных данных x(t), y(t), z(t).

В процессе работы над формированием модуля взаимодействия с пользователем мультиагентной системы создано экспериментальное web-приложение, которое способно визуализировать модель ТО и отобразить изменение его пространственного положения в режиме реального времени. Окно визуализации создано тегом <canvas>, который является нововведением HTML 5. С помощью web-приложения, сформированного на языках JavaScript, PHP, OpenGL ES 2.0,

с дополнительным подключением библиотек WebGL реализована наглядная пространственная визуализация модели ТО.

Изменение пространственного положения ТО в данном случае определяется его поступательным движением относительно координатных осей X, Y, Z и вращательным движением (поворотом относительно любой из координатных осей) [15].

Предположим, что ТО является абсолютно твердым телом. Тогда поступательное движение можно определить по движению одной точки m( x, y, z) в трехмерном пространстве, образованном тремя координатными осями X, Y, Z. Для определения координат нового положения точки m'( x', y', z') следует прибавить к координатам x, y, z приращения lx , ly , lz.

Для того, чтобы определить вращение ТО требуется больше параметров, а именно оси вращения, направление вращения (по часовой стрелке или против), угол поворота. Допустим, требуется определить вращение объекта в системе координат x, y, z вокруг оси Z. В библиотеке WebGL формулы для соответствующего вращения имеют вид

x ' = x cos ß - y sin ß;

y ' = x sin ß - y cosß; (1)

z ' = z,

где x, y, z - начальные координаты некоторой точки объекта; x ', y', z '- координаты точки объекта после операции вращения; ß - угол поворота.

Для определения геометрического положения объекта относительно местной ортогональной системы координат на макет ТО было установлено инерци-ально-измерительное устройство, позволяющее отследить 1G степеней свободы. Под степенью свободы понимают независимые возможные изменения состояния (в частности, положения) физической системы, обусловленные вариациями ее параметров. На данном этапе разработки стенда была реализована передача пространственных параметров по шести степеням свободы (перемещение по осям X, Y, Z, углы ф, 0, z (углы Эйлера), описывающие поворот абсолютно твердого тела в трехмерном пространстве) из модуля сбора данных в базу данных модуля аналитики и модуля взаимодействия с пользователем. Расчет параметров перемещения и наклона объекта реализован с помощью соответствующих матриц и формул преобразования на языке JavaScript (1).

Визуализация объекта в системе координат выполнена с помощью двух подпрограмм: WebGL, вершинного и фрагментного шейдеров. Программирование шейдеров реализовано на языке OpenGL ES 2.G.

Пользователю дана возможность запросить у web-приложения информацию по конкретно интересующим его параметрам техногенного объекта, задать его поведение при указанных параметрах отклонения от исходных, ввести текстовый запрос в свободной форме, который обработается системой с последующим выводом ответа в требуемой форме. Интерфейс web-приложения представлен на рис. 2.

з MAC ПВСТО X

MAC ПВС ТО

Перемещение X

Рис. 2. Интерфейс web-приложения МАС определения ПВС ТО

Таким образом, решена одна из задач работы над созданием МАС определения ПВС ТО, создано web-приложение, позволяющее визуализировать пространственное положение ТО.

В дальнейшем планируется определение ПВС структурных частей ТО относительно друг друга, внедрение и использование на стенде новых датчиков с дальнейшей обработкой данных с этих датчиков для получения достаточно полной картины по пространственно-временному состоянию модели техногенного объекта с последующей визуализацией в web-приложении.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Геоинформатика i учеб. для студ. вузов / Е. Г. Капралов, А. В. Кошкарев, В. С. Тику-нов и др.; под ред. В. С. Тикунова. - М. i Издательский центр «Академия», 2005. - 480 с.

2. Web gis: principles and applications / Pinde Fu, Jiulin Sun. - 1st ed. Esri Press, 380 New York Street, Redlands, California 92373-8100 Copyright 2011 Esri, С. 16.

3. Карпик А. П. Методологические и технологические основы геоинформационного обеспечения территорий i монография. - Новосибирск i СГГА, 2004. - 259 с.

4. Методологические принципы системы точной спутниковой навигации подвижных объектов с использованием наземной инфраструктуры ГЛОНАСС / А. П. Карпик и др. // Изв. вузов. Геодезия и аэрофотосъемка. - 2014. - № 5. - С. 69-74.

5. Национальный стандарт Российской Федерации ГОСТ Р 22.1.12-2005. Структурированная система мониторинга и управления инженерными системами зданий и сооружений. Общие требования. - М. i ИПК, Изд-во стандартов, 2005.

6. Бугакова Т. Ю. К вопросу оценки риска геотехнических систем по геодезическим данным // ГЕО-Сибирь-2011. VII Междунар. науч. конгр. i сб. материалов в 6 т. (Новосибирск, 19-29 апреля 2011 г.). - Новосибирск i СГГА, 2011. Т. 1, ч. 1. - С. 151-157.

7. Тарасов В. Б. От многоагентных систем к интеллектуальным организациям. Философия, психология, информатика. - М. : Эдиториал, 2002. - С. 8.

8. Евгенев Г. Б. Мультиагентные системы компьютерной инженерной деятельности // Информационные технологии. - 2000. - № 4. - С. 2-7.

9. Рыгалов А. Ю., Кубарьков Ю. П. Применение мультиагентных систем в электроэнергетике // Сборник трудов Кольского научного центра РАН, 2012. - С. 102-105.

10. Рассел С., Норвиг П. Искусственный интеллект. Современный подход. 2-е изд. -М. : Вильямс, 2007. - 1410 с.

11. Чекинов С. Г. Интеллектуальные программные исполнительные устройства (агенты) в системах связи // Информационные технологии. - 2001. - № 4. - С. 6-11.

12. Бугакова Т. Ю., Шляхова М. М., Кноль И. А. Структурная декомпозиция объекта методами математического моделирования с последующей визуализацией на основе WebGL. Интерэкспо ГЕО-Сибирь-2016. XII Междунар. науч. конгр. : Междунар. науч. конф. «Геодезия, геоинформатика, картография, маркшейдерия» : сб. материалов в 2 т. (Новосибирск, 1822 апреля 2016 г.). - Новосибирск : СГУГиТ, 2016. Т. 1. - С. 142 -147.

13. Коичи Мацуда, Роджер Ли, WebGL: программирование трехмерной графики. / Пер. с англ. А. Н. Киселев - М.: ДМК Пресс, 2015. - 494 с.

14. Еременко О. С., Чердынцев Е. С. Сравнение трехмерных интернет-технологий [Электронный ресурс]. - Режим доступа : http://nauchforum.ru/node/3187.

15. Бугакова Т. Ю. Моделирование изменения пространственно-временного состояния инженерных сооружений и природных объектов по геодезическим данным // Вестник СГУ-ГиТ. - 2015. - Вып. 1 (29). - С. 34-42.

Получено 26.10.2016

© Т. Ю. Бугакова, И. А. Кноль, 2016

INTERACTIVE MONITORING OF SPACE-TIME STATE MAN-MADE OBJECTS OF TECHNOLOGY WEBGL

Tatiana Yu. Bugakova

Siberian State University Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Ph. D., Associate Professor, Department of Applied Computer Science and Information Systems, tel. (913) 987-01-42, e-mail: bugakova-tu@yandex.ru

Ivan A. Knol

Siberian State University Geosystems and Technologies, 630108, Russia, Novosibirsk, 10 Plakhotnogo St., Ph. D. student, Department of Cartography and Geoinformatics, tel. (953)790-50-88, e-mail: ivan_knol@mail.ru

In this article we describe the multi-agent system determining space-time state of man-made objects. An example of a robotic stand as a prototype multi-agent system. It describes the web-application that renders the spatial position change of the model of man-made object as an absolutely rigid body based on WebGL. In this article the problem of implementation of the module interaction with the user, a decision which is made in stages: - set up sub-system three-dimensional visualization with interactive user functions based on WebGL technology; - Software developed intelligent agents to manage geographic information resources and the organization of communication between the user and multi-agent system. The user is given the opportunity to request a web-application information on the specific interests of its parameters of man-made object, set its behavior when these parameters deviations from the original, enter the text in the free request form, which is processed by the system, followed by the withdrawal of the answer in the required form.

Key words: multi-agent system, man-made object, space-time state geoinformation resources, web-application, 3D-visualization, WebGL.

REFERENCES

1. Kapralov, E. G., Koshkarev, A. V., & Tikunov, V. S. (2005). Geoinformatika: [Geoinformatics]. Tikunov, V. S. (Ed.). Moscow: Publishing center "Akademiya" [in Russian].

2. Pinde Fu, Jiulin Sun. Web GIS: principles and applications. (2011). Esri Press.

3. Karpik, A. P. (2004). Metodologicheskie i tekhnologicheskie osnovy geoinformatsionnogo obespecheniya territoriy [Methodological and technological bases of geoinformation support areas]. Novosibirsk: SSGA [in Russian].

4. Karpik, A. P., & et al. (2014). Methodological principles of precise satellite navigation system of mobile objects with the use of GLONASS]. Izvestiya vuzov. Geodeziya i aerofotos"emka [Izvestiya Vuzov. Geodesy andaerophotography], 5, 69-74 [in Russian].

5. Standarts Russian Federation. (2005). Strukturirovannaya sistema monitoringa i upravleniya Inzhenernymi sistemami zdaniy i sooruzheniy. Obshchie trebovaniya (GOST R 22.1.122005) [Structured system for monitoring and control of engineering systems of buildings and structures. General requirements]. Moscow: IPK, Standards Publ [in Russian].

6. Bugakova, T. Yu. (2011). On the question of risk assessment of geotechnical systems for geodetic data. In Sbornik materialov Interekspo GEO-Sibir'-2011: T. 1, Ch. 1 [GEO-Siberia-2011: Vol. 1, Part 1] (pp. 151-157). Novosibirsk: SSGA [in Russian].

7. Tarasov, V. B. (2002). Ot mnogoagentnykh sistem k intellektual'nym organizatsiyam. Filosofiya, psikhologiya, informatika [From multi-agent systems to intelligent organizations. Philosophy, psychology, computer science]. Moscow: Editorial [in Russian].

8. Evgeny, G. B. (2000). Multi-agent systems computer engineering. Informatsionnye tekhnologii [Information Technology], 4, 2-7 [in Russian].

9. Rygalov, A. Y., & Kubarkov, J. P. (2012). Application of multi-agent systems in the power industry. Sbornik trudov Kol'skogo nauchnogo tsentra RAN [Proceedings of Kola Science Centre of the Russian Academy of Sciences] (pp. 102-105) [in Russian].

10. Russell, S., & Norvig, P. (2007). Iskusstvennyy intellekt. Sovremennyy podkhod [Artificial Intelligence. Modern approach] (2d ed). Moscow: Vil'yams [in Russian].

11. Chekina, S. G. (2001). Intelligent software actuators (agents) in communication systems, Informatsionnye tekhnologii [Information Technology], 4, 6-11 [in Russian].

12. Bugakova, T. Yu., Shlyakhova, M. M., Knol' I. A. (2016). [Structural decomposition methods of mathematical modeling of the object, followed by visualization based on WebGL. In Sbornik materialov Interekspo GEO-Sibir'-2016: Mezhdunar. nauch. konf.: T. 4. Geodeziya, geoinformatika, kartografiya, marksheyderiya [Proceedings of Interexpo GEO-Siberia-2016. Intern. Scientific. Conf.: Vol. 4. Geodesy, Geoinformatics, Cartography, Mine Surveying] (pp. 142147). Novosibirsk: SSUGT [in Russian].

13. Koichi Matsuda, & Rodzher Li (2015). WebGL: three-dimensional graphics programming. DMK Press [in Russian].

14. Eremenko, O. S., & Cherdyntsev, E. S. (n. d.). Sravnenie trekhmernykh internet-tekhnologiy [Comparing the three-dimensional Internet technology]. Retrieved from at http://nauchforum.ru/node/3187 [in Russian].

15. Bugakova, T. Y. (2015). Modeling spatio-temporal changes in the state of engineering structures and natural sites on geodetic data. Vestnik SGUGiT [Vestnik SSUGT], 1(29), 34-42 [in Russian].

Received 26.10.2016

© T. Yu. Bugakova, I. A. Knol, 2016