24Известия Кабардино-Балкарского научного центра РАН № 2 (106) 2022
- ТЕХНИЧЕСКИЕ НАУКИ :
УДК: 004.514; 004.623 Научная статья
DOI: 10.35330/1991-6639-2022-2-106-22-30 EDN: DHNMWA
СИСТЕМА ВИЗУАЛИЗАЦИИ ДАННЫХ ДЛЯ ИНТЕЛЛЕКТУАЛЬНОЙ ЭКСПЕРТНОЙ СИСТЕМЫ АКТИВНОЙ ЗАЩИТЫ РАСТЕНИЙ*
А.М. КСАЛОВ1, К.Ч. БЖИХАТЛОВ2, С.А. КАНКУЛОВ1, Б.А. АТАЛИКОВ1, А.З. ЭНЕС1
1 Институт информатики и проблем регионального управления -филиал Кабардино-Балкарского научного центра Российской академии наук 360000, Россия, Нальчик, ул. И. Арманд, 37-а 2 Кабардино-Балкарский научный центр Российской академии наук 360010, Россия, Нальчик, ул. Балкарова, 2
Аннотация. В статье описана разработка системы визуализации данных для интеллектуальной интегрированной экспертной системы активной защиты растений. Кроме того, в статье описана структура используемых баз данных и предложен дизайн сайта. За сбор и обработку данных отвечает сервер, имеющий доступ как к автономным агро-роботам, так и к конечному пользователю. Система визуализации данных реализована как интернет-сайт. Разработанная система позволит реализовать сбор данных с роботов и метеостанций, визуализацию данных о состоянии посевов и внешней среды, а также управление автономными роботами. Использование вывода данных поверх карт, полученных из геоинформационных систем, позволит контролировать пространственное и временное распределение состояния посевов и внешней среды.
Ключевые слова: визуализация данных, базы данных, сельскохозяйственный мониторинг, умное поле
Статья поступила в редакцию 15.03.2022 Принята к публикации 10.04.2022
Для цитирования. Ксалов А.М., Бжихатлов К.Ч., Канкулов С.А., Аталиков Б.А., Энес А.З. Система визуализации данных для интеллектуальной экспертной системы активной защиты растений // Известия Кабардино-Балкарского научного центра РАН. 2022. № 2 (106). С. 22-30. DOI: 10.35330/1991-6639-2022-2-106-22-30
Введение
Существует множество систем визуализации данных, применяемых для мониторинга состояния в сельском хозяйстве [1, 2], в том числе и для работы с группами автономных сельскохозяйственных роботов. Для анализа и визуализации применяют системы анализа больших объемов данных (big data) и искусственные нейронные сети (artificial neural networks). В работе [3] приведены методы визуализации данных системы экологического мониторинга. Авторами реализованы системы построения полупрозрачной и непрозрачной карты распределения данных на топографической карте местности и отображения данных в виде графиков или таблиц. Также приведены подходы к использованию растровых картографических изображений и применению данных геоинформационных систем. При этом авторами не реализованы системы погрузки динамически изменяемой карты данных поверх картографиче-
© Ксалов А.М., Бжихатлов К.Ч., Канкулов С.А., Аталиков Б.А., Энес А.З., 2022
* Работа выполнена при финансовой поддержке гранта Фонда содействия инновациям «Разработка прототипа интеллектуальной интегрированной экспертной системы активной защиты растений» (Договор № 58ГС1ИИС12-Э7/72187 от 22.12.2021)
ских снимков, что позволило бы в реальном времени отслеживать динамику изменения параметров. Похожая задача решалась авторами веб-системы обработки и визуализации метеоданных [4] на основе платформы ЛТМОБ [5]. Разработанный сайт представляет собой динамическую форму ввода параметров и их последующей визуализации с системой вывода карты климатических характеристик, что позволяет подгружать данные от распределенной сети пользователей, но авторами не предложена реализация отображения динамически изменяемых параметров. Стоит отметить, что реализация системы визуализации данных в виде веб-ресурса упрощает процесс разработки и поддержки системы и исключает необходимость оптимизации под различные платформы. Подобным подходом воспользовались авторы работ [5-8], что позволило разработать системы визуализации различного назначения (вплоть до создания трехмерных моделей метеопроцессов в работе [8]) на схожих принципах и реализовать систему поддержки для них, в отличие от платформо-зависимых решений [9].
Рассмотренные системы визуализации данных не имеют открытых протоколов обмена данными, позволяющих масштабировать эти системы и применять их в схожих задачах. Кроме того, в результате разработка специализированных систем мониторинга данных зачастую требует создания отдельной системы визуализации для нее. В частности, при разработке интеллектуальной системы активной защиты растений (в рамках систем «умного» поля [10]) встал вопрос о разработке соответствующего модуля вывода данных о состоянии посевов. Модуль вывода данных должен иметь возможность автоматического сбора данных и их отображения на карте местности, причем с учетом динамики процесса. Кроме того, стоит учитывать, что система активной защиты растений может состоять из одного или нескольких роботов, позволяющих выполнять мониторинг состояния посевов и их обработку без участия человека (пример подобного робота приведен на рисунке 1). Каждый робот или отдельная автономная станция сбора данных (метеостанция) является независимым источником информации, то есть ставится задача автоматической масштабируемости модуля вывода данных.
Рис. 1. Робототехническая платформа для сбора данных Известия Кабардино-Балкарского научного центра РАН № 2 (106) 2022 23
Цель работы: разработка системы визуализации данных для интеллектуальной экспертной системы активной защиты растений.
Объект исследования: системы визуализации данных.
Предмет исследования: программная модель и структура данных для системы визуализации.
Архитектура системы визуализации данных
Интеллектуальная система активной защиты растений состоит из автономного робота и других модулей сбора данных, расположенных непосредственно в области посевов; сервера, на котором расположены система сбора данных и интеллектуальная система принятия решений; пульта управления, позволяющего пользователю контролировать систему и анализировать данные. Информация с датчиков на автономных роботах и стационарных станций передается на сервер, где сразу записывается в соответствующую базу данных. Затем по полученным данным сервер проводит промежуточные расчеты (например, сумму активных температур) и отправляет информацию в систему принятия решений (в качестве которой предполагается использование мультиагентной системы моделирования нейроко-гнитивных процессов [11, 12]), которая в свою очередь отправляет команды эффекторам робота. Обмен данными между датчиками и сервером проходит за счет беспроводных каналов связи (например, LoRaWan [13] или сотовой связи LTE/GSM).
Визуализация данных происходит на конечном устройстве пользователя (персональный компьютер или смартфон) в виде веб-интерфейса. Для этого предполагается реализация системы авторизации, которая позволит идентифицировать пользователя и связанных с ним роботов. Затем из базы данных с показаниями датчиков на экране пользователя строятся графики зависимости состояния посевов. Кроме того, эти данные совместно с данными из открытых геоинформационных систем позволяют выводить карту обрабатываемых посевов с указанием положения важных объектов на поле. Для постановки задач в веб-интерфейсе предполагается реализация системы управления роботом, которая отправляет задания пользователя в систему принятия решений. Описанная архитектура программной модели визуализации данных приведена на рисунке 2.
LoraWan/LTE
Ethernet/ LTE
автономный робот
система принятия решений (перемещение по полю и обработка посевов)
управление эффекторами
система авторизации и хранение данных пользователей
геоинформационные
хранение данных с датчиков и роботов
расчет показателей (CAT, NDVI и др.)
система принятия решений (ИИ)
ПК/ смартфон пользователя
авторизация и подключение к серверу
вывод карты поля и положения роботов
вывод данных с датчиков (графики)
постановка задач для роботов и ИИ
стационарные датчики (метеостанция)
сбор данных с внешних датчиков
Рис. 2. Архитектура программной модели визуализации данных 24 Известия Кабардино-Балкарского научного центра РАН № 2 (106) 2022
Стоит отметить, указанный в архитектуре сервер отвечает за хранение всех полученных с поля данных. Структура базы данных интеллектуальной экспертной системы активной защиты растений показана на рисунке 3. В базе данных используются четыре основные таблицы: users (данные пользователей), robots (данные о автономных роботах), fields (информация об обрабатываемых полях) и measurements (данные измерений), а также две связующие таблицы: user_robot и user_field.
Рис. 3. Структура базы данных для интеллектуальной экспертной системы
активной защиты растений
Таблица users содержит данные для авторизации и информацию о счете пользователя, а также ссылки на принадлежащие пользователю поля и используемых им роботов. В таблице robots хранятся наименования роботов и их характеристики (модель, максимальная скорость, габариты, вес, удельное давление на грунт и др.). Стоит отметить, что стационарные датчики
в этой модели также рассматриваются как роботы. Таблица fields описывает общие данные о засеянных полях: их расположение, размеры и основную культуру.
В процессе работы автономные роботы и метеостанции постоянно проводят замеры состояния полей, после чего данные отправляются на сервер и вносятся в таблицу measurements. В таблице ссылки на поле, где проходит измерение, робота, проводившего измерение, и пользователя, для которого эти данные сформированы. К каждому измерению указывается место (положение робота) и время измерения, а также все данные с сенсорной подсистемы робота. Например, в приведенной архитектуре измеряются параметры самого робота (скорость и направление движения), состояние внешней среды (температура, влажность почвы и воздуха, скорость ветра, давление и др.), а также информация об обнаружении угроз. В частности, для посевов кукурузы логическое поле pest_find указывает на то, что был обнаружен вредитель, а pest_id содержит ссылку на класс обнаруженного вредителя (это может быть хлопковая совка, кукурузный мотылек, уховертка и др. [14, 15]). Подобная реализация базы данных позволит отслеживать место и время появления конкретного вредителя и условия, при которых возникла угроза посевам.
Разработка дизайна системы визуализации данных
Для реализации системы визуализации данных интеллектуальной экспертной системы активной защиты растений разработаны схема сайта (рисунок 4) и его дизайн (рисунок 5). Базовым требованием к графическому отображению была максимальная информативность при сохранении простоты интерфейса [16, 17]. В основе каркаса сайта лежит таблица 4*6, в ячейках которой расположены основные графические элементы. В заголовке сайта находятся два ряда элементов, в которых расположены логотип, кнопка вызова меню, блок с информацией о пользователе, список для выбора полей и их параметры.
логотип 1 кн. меню ^ Пользователь (ЛК) оплата/ инф header
ДЙ выбранное поле (список полей) Y характеристики поля (координаты, посевы)
карта поля кнопки для постановки миссий (вкл/выкл роботов и указание целей)
(карта поля с отображением границ поля, положения роботов и датчиков и места обнаружения вредителей и сорняков, а также возможность отображения «тепловых карт» по различным показаниям) настройки вывода (карта, тепловая карта, карта состояния урожая) основная часть
графики зависимости (динамика выбранного показателя в указанном временном окне) настройки вывода данных (временная шкала, выводимые данные, сохранение данных)
контакты, ссылки и др footer
Рис. 4. Схема сайта визуализации данных для экспертной системы активной защиты растений
Основная часть окна занята двумя блоками: выводом карты поля и выводом графиков показаний датчиков. На карте поля предполагается вывод графического изображения поля (по данным ГИС-систем или спутниковых снимков) с указанием на карте важных объектов. Правая часть блока карты предназначена для элементов управления постановкой миссии и настройки вывода данных (внешний вид, указываемые элементы и т.д.). Эта область позволяет визуально отслеживать перемещения и процесс работы автономных роботов на полях с посевами, а также пространственное распределение обнаруженных угроз. При этом предполагается реализация отслеживания перемещения не только роботов, но и других активных элементов (людей, других роботов и вредителей). Ниже расположена область для вывода зависимости показаний датчиков от времени. Эти графики позволяют отслеживать динамику изменений внешних условий. Настройки вывода (отображаемые параметры, временное окно и др.) находятся слева от самого графика. «Подвал» сайта используется для вывода общей информации (контакты и ссылки).
Рис. 5. Дизайн системы визуализации данных
На рисунке 5 показан примерный дизайн сайта для визуализации данных. Стоит отметить, что в дизайне сайта предусмотрена возможность переключения режимов отображения (влажность, температура, заболевания, сорняки, вредители), изменения масштабов карты и графика, сохранения данных на локальный диск.
Заключение
Разработанная система визуализации данных для экспертной системы активной защиты растений обеспечит сбор данных с автономных роботов и стационарных метеостанций и визуализацию данных о состоянии посевов и внешней среды, в том числе и в режиме ре-
ального времени. Использование вывода данных поверх карт, полученных из геоинформационных систем, позволит агропроизводителю не только контролировать общее состояние посевов, но и понимать пространственное и временное распределение различных параметров (например, наличия вредителей). Стоит отметить, что предполагается использовать открытые протоколы обмена данными между датчиками и системой визуализации, что в будущем позволит легко масштабировать систему. Результаты исследования планируется применять в реализации интеллектуальной интегрированной экспертной системы активной защиты растений.
СПИСОК ЛИТЕРАТУРЫ / REFERENCES
1. Pushkarev A., Yakubailik O. A web application for visualization, analysis, and processing of agricultural monitoring spatial-temporal data. CEUR Workshop Proceedings. 2021. Vol. 3006. Pp. 231-237. URL: http://ceur-ws.org/Vol-3006/27_short_paper.pdf
2. Acedo G.G. Data visualization and analysis of agricultural land use system employing GI. ICCDE 2020: Proceedings of 2020 the 6th International Conference on Computing and Data Engineering. 2020. Pp. 121-125. DOI: https://doi.org/10.1145/3379247.3379280.
3. TeleginaM.V. Visualization of data of the industrial environmental monitoring system. Priklad-naya informatika [Journal of Applied Informatics]. 2009. No. 2. Pp. 107-114. (In Russian)
4. Okladnikov I.G., Titov A.G., Melnikova V.N. et al. Web-system for processing and visualization of meteorological and climatic data. Vychislitel'nye tekhnologii [Computational Technologies]. 2008. No. S3. Pp. 64-69. (In Russian)
5. Gordov E.P., Lykosov V.N., Fazliev A.Z. Web portal on environmental sciences «ATMOS». Adv. Geosci. 2006. Vol. 8. Pp. 33-38. DOI: https://doi.org/10.5194/adgeo-8-33-2006.
6. Milikhin M.M., Gritsenko Yu.B., Rychagov M.M. Combined method of visualization of cartographic data of a web-based geoinformation system. Doklady TUSURa [Proceedings of the TUSUR University]. 2015. No. 1 (35). (In Russian)
7. Lovtskaya O.V., Koshelev K.B., Baldakov N.A. Web-GIS for visualization of the results of modeling hazardous hydrological situations. Izvestiya AO RGS [News of The Altai Branch of The Russian Geographical Society]. 2015. No. 4 (39). Pp. 49 - 52. (In Russian)
8. M. Koutek, I. van der Neut Web-based 3D Meteo Visualization: 3D Rendering Farms from a New Perspective. EnvirVis: Workshop on Visualisation in Environmental Sciences. 2018. Pp. 9-17. DOI: http://doi.org/10.2312/envirvis.20181132.
9. Maltsev S.A., Krasnopevtseva N.A., Stychev S.N. Creation of a data visualization system using the Processing language. Innovatsionnaya nauka [Innovation Science]. 2021. No. 4. Pp. 63-65. (In Russian)
10. Nagoev Z.V., Shuganov V.M., Bzhikhatlov K.Ch. et al. Prospects for increasing the productivity and efficiency of agricultural production using an intelligent integrated environment. Izvestiya Kabardino-Balkarskogo nauchnogo centra RAN [News of the Kabardino-Balkarian Scientific Center of RAS]. 2021. No. 6 (104). Pp. 155-165. DOI: https://doi.org/10.35330/1991-6639-2021-6-104-155-165. (In Russian)
11. Nagoev Z., Nagoeva O., Gurtueva I. et al. Multi-agent Algorithms for Building Semantic Representations of Spatial Information in a Framework of Neurocognitive Architecture. Advances in Intelligent Systems and Computing. 2020. Vol. 948. Pp. 379-386. DOI: http://dx.doi.org/10.1007/978-3-030-25719-4_49
12. Nagoev Z.V., Bzhikhatlov K.Ch., Pshenokova I.A. et al. Autonomous synthesis of spatial ontologies in the decision-making system of a mobile robot based on self-organization of a multi-agent neurocognitive architecture. Izvestiya Kabardino-Balkarskogo nauchnogo centra RAN [News of the Kabardino-Balkarian Scientific Center of RAS]. 2020. No. 6 (98). DOI: https://doi.org/10.35330/1991-6639-2020-6-98-68-79. (In Russian)
13. LoRaWAN 1.1 Specification. / LoRa Alliance. 2017. Интернет-ресурс. URL: https://lora-alliance.org/wp-content/uploads/2020/11/lorawantm_specification_-v1.1.pdf
14. Ribas N.S., McNeil J.N., Araujo H.D. et al. The Effect of Resistance to Bt Corn on the Reproductive Output of Spodoptera frugiperda (Lepidoptera: Noctuidae). Insects, 2022. Vol. 13, 196. DOI: https://doi.org/10.3390/insects13020196
15. Pachkin A., Kremneva O., Popov I. et al. Comparative assessment of the efficiency of light traps of various design in corn agrocenosis. IOP Conference Series: Earth and Environmental Science. 2019. Vol. 403. 012141. DOI: https://doi.org/ 10.1088/17551315/403/1/012141
16. Robinsa D., Holmes J. Aesthetics and credibility in web site design . Information Processing & Management. 2008. Vol. 44. Pp. 386-399. DOI: https://doi.org/10.1016/j.ipm.2007.02.003
17. Balajee R.M., Jayanthi Kannan M.K., Murali Mohan V. Web Design Focusing on Users Viewing Experience with Respect to Static and Dynamic Nature of Web Sites. Inventive Computation and Information Technologies. Lecture Notes in Networks and Systems. 2022. Vol. 336. Pp. 51-60. DOI: https://doi.org/10.1007/978-981-16-6723-7_5
Сведения об авторах
Ксалов Арсен Мухарбиевич, науч. сотр. отдела «Компьютерная лингвистика», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, Нальчик, ул. И. Арманд, 37-а;
arsenksal@gmail.com
Бжихатлов Кантемир Чамалович, канд. физ.-мат. наук, зав. лаб. «Нейрокогнитивные автономные интеллектуальные системы», Кабардино-Балкарский научный центр РАН;
360002, Россия, Нальчик, ул. Балкарова, 2;
haosit13@mail.ru, ORCID: https://orcid.org/0000-0003-0924-0193
Канкулов Султан Ахмедович, стажер-исследователь лаб. «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, Нальчик, ул. И. Арманд, 37-а;
skankulov@mail.ru
Аталиков Борис Анзорович, стажер-исследователь лаб. «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, Нальчик, ул. И. Арманд, 37-а;
atalikov 10@gmail.com
Энес Ахмед Зюлфикар, стажер-исследователь лаб. «Интеллектуальные среды обитания», Институт информатики и проблем регионального управления - филиал Кабардино-Балкарского научного центра РАН;
360000, Россия, Нальчик, ул. И. Арманд, 37-а;
ahmedenes@mail.ru
MSC: 68U05 Original article
DATA VISUALIZATION SYSTEM FOR INTELLIGENT EXPERT SYSTEM
OF ACTIVE PLANT PROTECTION*
A.M. KSALOV1, K.Ch. BZHIKHATLOV2, S.A. KANKULOV1, B.A. ATALIKOV1, A.Z. ENES1
1 Institute of Computer Science and Problems of Regional Management -branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360000, Russia, Nalchik, 37-a I. Armand street 2 Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360010, Russia, Nalchik, 2 Balkarov street
Annotation. The development of a data visualization system for an intelligent integrated expert system for active plant protection is described in this article. In addition, the structure of the databases used and the proposed site design are described in the article. The server, which has access to autonomous agrorobots and to the end user, is responsible for data aggregation and processing. The data visualization system is implemented as a website. The developed data visualization system will make it possible to collect data from robots and weather stations, visualize data on the state of crops and weather, and control autonomous robots. The output of data over maps obtained from geographical information systems will make it possible to control the spatial and temporal distribution of the state of crops and weather.
Keywords: data visualization, databases, agricultural monitoring, smart field
The article was submitted 15.03.2022 Accepted for publication 10.04.2022
For citation. Ksalov A.M., Bzhikhatlov K.Ch., Kankulov S.A., Atalikov B.A., Enes A.Z. Data visualization system for intelligent expert system of active plant protection. Izvestiya Kabardino-Balkarskogo nauchnogo centra RAN [News of the Kabardino-Balkarian Scientific Center of RAS]. 2022. No. 2 (106). Pp. 22-30. DOI: 10.35330/1991-6639-2022-2-106-22-30
Information about the authors
Ksalov Arsen Mukharbievich, Researcher, Department «Computational Linguistics», Institute of Computer Science and Problems of Regional Management, Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 37-a I. Armand street; arsenksal@gmail.com
Bzhikhatlov Kantemir Chamalovich, Candidate of Physical and Mathematical Sciences, Head of the Laboratory «Neurocognitive Autonomous Intelligent Systems» of the Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences; 360002, Russia, Nalchik, 2 Balkarov street; haosit13@mail.ru, ORCID: https://orcid.org/0000-0003-0924-0193
Kankulov Sultan Akhmedovich, trainee researcher of the Laboratory «Intellectual Habitats» of the Institute of Computer Science and Problems of Regional Management of the KBSC of the Russian Academy of Sciences; 360000, Russia, Nalchik, 37-a I. Armand street; skankulov@mail.ru
Atalikov Boris Anzorovich, trainee researcher of the Laboratory «Intellectual Habitats» of the Institute of Computer Science and Problems of Regional Management of KBSC of the Russian Academy of Sciences; 360000, Russia, Nalchik, 37-a I. Armand street; atalikov 10@gmail.com
Enes Ahmed Zulfikar, trainee researcher of the Laboratory «Intellectual Habitats» of the Institute of Computer Science and Problems of Regional Management of KBSC of the Russian Academy of Sciences; 360000, Russia, Nalchik, 37-a I. Armand street; ahmedenes@mail.ru
* The work was supported by FASIE grant «Development of a prototype of an intelligent integrated expert system for active plant protection» (contract № 58rC1HHC12-D7/72187 dated 22.12.2021)
