CC BY
49
УДК 681.5, 519.2, 658.5
DOI: 10.24412/2071-6168-2022-2-640-646
АВТОМАТИЗАЦИЯ ПРОЦЕССА ИДЕНТИФИКАЦИИ ОБЪЕКТОВ ПРИ ВЫПОЛНЕНИИ АВТОНОМНЫХ ПОЛЕТНЫХ ЗАДАНИЙ БЕСПИЛОТНОЙ
АВИАЦИОННОЙ СИСТЕМОЙ
А.С. Костин, Н.Н. Майоров
В статье рассматриваются вопросы применения беспилотных авиационных систем для решения задач мониторинга объектов и систем, решение актуальной задачи идентификации определенных объектов. Актуальность исследования обусловлена возрастающей необходимостью получения динамических данных с беспилотных авиационных систем с последующей идентификацией объектов для принятие решений. Объектом исследования выбран квадроко-птер. Экспериментальные полеты проводились в исследовательской летном поле лаборатории беспилотных авиационных систем ГУАП. В работе представлен наукометрический анализ, подтверждающий актуальность поиска решений в сфере идентификации с использованием квадрокоптеров. Целью исследования является нахождение решения, позволяющего во время автономного пилотирования производить поиск необходимых объектов и передавать данные на сервер в необходимом формате. Представлены модели полетных заданий в форме ориентированных графов. Представлено решение задачи автономного перемещения квадрокоптера в пространстве на основе идентификации в исследовательском летном поле по Aruco-маркерам. Представленное программное решение позволяет во время автономного полета автоматизировано определять заданные объекты, которые размещены случайным образом в исследовательском поле. Представленное решение по идентификации можно применить для реальных промышленных процессов, с условием разработки внутренней системы навигации. Предлагаемое решение позволяет формировать данные в автономном режиме, что позволяет улучшить организационные процессы и перераспределить задачи персонала организации.
Ключевые слова: идентификация объектов, квадрокоптер, динамические данные, автономное пилотирование, Aruco-маркер, ориентированный граф.
Сегодня беспилотные авиационные системы являются новыми точками роста научных исследований и новых практик внедрения успешных решений в производственные процессы и системы. Сфера практического применения беспилотных авиационных систем постоянно расширяется за счет междисциплинарного характера исследовательских и прикладных задач. Задачи дистанционного переноса груза, автономного пилотирования, роевого управления дрона-ми, идентификации динамических объектов сегодня формируют потребность разработки новых математических моделей, методик и новых аппаратных и приборных комплексов. Основным практическим применением беспилотных авиационных систем, кроме личного пользования, является, в первую очередь транспортная отрасль и сфера интеллектуальных транспортных систем [1,2,3]. Сегодня остро стоит задача получения динамических данных для их последующей обработки и перехода на систему принятия решения или передачи данных в некоторые информационные системы, которые в потоке данных будут идентифицировать необходимые объекты.
Необходимо отметить, что применительно к различным практическим сферам транспорта и сферы управления цепями поставок, решения в практическом исполнении будут различны. Беспилотные авиационные системы позволяют внести изменения в организацию внутренних процессов компании. К примеру, решение задачи идентификации и инвентаризации сейчас чаще проводиться сотрудниками компаний. Данный этап достаточно длительный, особенно с учетом сложным систем хранения объектов учета. Данный процесс конечно проводится в общее рабочее время. В тоже время, если разработать систему навигации внутри помещений, реализовать автономную программу полета, то уже в нерабочее время можно собирать данные о объектах учета от беспилотной авиационной системы и проводить автоматизировано задачу инвентаризации. В данном случае, на основе внедрения данного автоматизированного решения при реализации автономных полетов, имеется возможность перераспределить загруженность сотрудников и запустить новые процессы в организации. Проект представленного решения на основе беспилотной авиационной системы представлено в работе [4].
В первую очередь выполним наукометрическое исследование на основе международных баз данных Scopus, World of Science (WOS) для определения вектора развития в выбранной области. Исследование проводилось с учетом различного набора ключевых областей исследо-
вания. Общее количество по теме исследования научных публикаций в программе анализа WosViewer [5] составило более 25 000 работ с учетом различных квартилей. Результаты анализа представлены в форме наукометричсекой карты по ключевым областям, представленная на рис. 1.
uncertainty analysis
autonomous underwater vehicles
Flight dynamics
.. , ^ optimjzatiori**
autonomous systems
yaneLi^rr' autonomous vehicles*1
pjpnning ElK-jmMiMiflw- nwrhlli^tiuniin
aircraft control aerodynamics
unmanned aerial vehicles
flight control systems
unmanned aerial vehicles (uav) B,r"afr .
v ' algorithm flying
space flight biomimetics
navigation
satellites drones avoidance animals ammal
_'___|__^: _ . . to physiology
orbits robotsrobotics
autonomous navigation artificial intelligence
micro air vehicle (mav)
. . mapping
computer vision &
flying robots
surveys
object detectidhlc м I vehicle
machine design • Ш
aerial epbotics ,
human robot interaction
Рис.1. Результат анализа основных направлений исследований в области беспилотных авиационных систем на основе международных баз данных
На основе выполненного анализа можно выделить, что актуальными сферами исследований в выбранной области являются задачи:
1. Разработки автономных полетов беспилотной авиационной системой для прикладных производственных задач.
2. Решение задачи навигации беспилотной авиационной системы.
3. Системы управления беспилотными авиационными системами, роевые и групповые решения.
4. Решение автоматизированных решений в области летающей робототехники.
5. Идентификация объектов вовремя визуального и автономного пилотирования.
6. Поиск новых решений в выполнении автономных полетов и идентификации на основе машинного зрения и элементов искусственного интеллекта.
Представленный анализ подтверждает актуальность разработки новых моделей и методов для автоматизированной идентификации объектов во время выполнения автономных полетов беспилотной авиационной системой.
При выборе конкретной модели беспилотной авиационной системы, необходимо учитывать тот факт, что в последнее время в обществе всё большую роль начинают играть квадро-коптеры. На их основе следует провести апробацию предлагаемых моделей и методов и провести научное исследование. В данном исследовании полигоном для отработки новых моделей была выбрана специализированная лаборатория беспилотных авиационных систем ГУАП. Данная лаборатория была открыта в ГУАП в сентябре 2020 года. Квадрокоптерами, на которых проводилось исследование, являются квадрокоптеры «Клевер» компании ООО «Коптер экспресс» модификации COEX Клевер 4 Code [6]. Особенностью квадрокоптеров Клевер является то, что он представляет собой учебный конструктор программируемого квадрокоптера, который можно применять для решения различных исследовательских задач: написания решений для автономного пилотирования, разработки новой полезной нагрузки для решения задачи доставки грузов и моделирования различных полетных режимов, решения задачи мониторинга и FPV-пилотирования.
При перемещении квадрокоптера Клевер в сложной среде осуществляется непрерывное планирование и построение траектории движени. Необходимо понимание следующих осо-бенностей:определение базовой системы координат, точек старта, границ полетного поля; понимание движения квадрокоптера в пространстве, построение идеальной модели; • включение
в модели ошибок, связанных с позиционирование коптера в пространстве и возможные отклонения при движении, вызванное как аэродинамическими свойствами, так и возможными вибрациями корпуса квадрокоптера.
На рис. 2 представлен квадрокоптер Клевер 4 Code в летном исследовательском поле.
Рис. 2. Квадрокоптер Клевер 4 Code компании КоптерЭкспресс в летном исследовательском поле лаборатории БАСГУАП
Для решения задачи навигации беспилотной авиационной системы в лаборатории беспилотных авиационных систем была разработана система из Aruco-маркеров. Маркер ArUco — это фидуциальный маркер, который размещается на объекте [7,8,9]. Он представляет собой чёрный квадрат с ярко выраженными границами, внутри которого располагается белый узор, однозначно его идентифицирующий. Удобство маркеров заключается в том, что можно создать маркеры под конкурентные задачи и различных размеров. Размер выбирается в зависимости от размера объекта или сцены для надёжного обнаружения и выполнения полета.
Для навигации внутри помещения квадрокоптер использует метод идентификации меток, Aruco - маркеров, благодаря которым происходит привязка дрона к заданным координатам [10,11]. Идентификация маркеров производится при помощи установленной камеры и одноплатного компьютера, перед запуском программы выполняется процедура проверки работоспособности камеры (рис. 3). Если камера передает поток видеоинформации на одноплатный компьютер, то можно переходить к запуску автономного полета квадрокоптера.
Рис. 3. Оконная форма идентификации Aruco-маркеров в режиме полета квадрокоптера
Исходными данными является летное исследовательское поле лаборатории в которой реализована системы Aruco-маркеров. Объектом идентификации являются, как сами маркеры, так могут быть и Qr-коды, которые в летном поле располагаются случайно. Необходимо разработать код автономного полета, который определит все размещенные случайным образом Qr-коды и Aruco-маркеры. Необходимо написать программу на языке программирования Python. Распознанная информация должна быть выводиться на терминал и на веб-видеосервер.
Для решения поставленной задачи необходимо определиться с формированием полетного задания. Выполним реализацию полетного задания в форме ориентированного графа [12] (рис .4). Для выбора маршрута можно реализовать автономных полет по всем меткам, либо формирование кратчайшего пути до выбранного участка с размещенным Qr-кодом и маркерами и возвратом в точку старта. Рассмотрим два варианта (рис. 4).
ai ü2
ai a2
ООО
ООО
Вариант 2
Рис .4. Модели выполнения полетных заданий беспилотной авиационной системой
в автономном режиме
На рис. 4 ao,... ,an — точки в летном поле с Aruco-маркерами. При размещении маркеров в летном поле, расстояние между ними задается постоянной величиной.
Как представлено на рис. 4 имеет место линейная модель мониторинга всего летного поля с идентификацией Qr-кодов (вариант 1), либо формирование оптимизационного маршрута до выбранной области (вариант 2). Целевая функция выполнения полета, с учетом аппаратных особенностей квадрокоптера можно представить
tn = t0 + ti + ... + tn, tП ^ min
Ln = L0 + L1 + ... + Ln ,
NП =YnL ,
П / , m' i=1
Тп e [to, tK] ^ min
где tn -время полета квадрокорптера при выполнении полетного задания; t0,...,tn — временные
интервалы при перемещении между метками; Ln — общая длина полетного задания в летном поле, в случае расчета маршрута по точкам; tK— время работы аккумулятора квадрокопте-ра;Nп—общая длина всех перелетов между маркерами^ —количество точке; Lm — длина между метками Aruco-маркеров (Lm = const);
На основе представленной модели видно, что для выполнения полетного задания необходимо определять прогнозное время в полете, оценивать заряд аккумулятора квадроко-птера. Для нахождения оптимального полетного задания необходимо достижение минимизации временных затрат.
За счет того, что на квадрокоптере закодировано поле меток с точной информацией о том, в каких координатах находится та или иная метка, их размер и ориентация, возможно перемещение квадрокоптера по данному полю с высокой точностью.
Для автономных полетов можно использовать функцию navigate. Для полета в определенные координаты маркерного поля необходимо использовать фрейм arucomap. Aruco_map - координаты относительно карты ArUco-маркеров. Пример коператора формирования взлета квадрокоптера на высоту 2 метра — navigate (x=0, y=0, z=2, frame_id='body', speed=0.5, auto_arm=True).
Важно выделить время на выполнение команды navigate, иначе коптер, не дожидаясь выполнения предыдущей команды, сразу перейдет к выполнению следующей. Для этого используется команда rospy.sleep(). В скобках указывается время в секундах. Функция rospy.sleep() относится к предыдущей команде navigate, а не к последующей, то есть это время, которое мы даем на то, чтобы долететь до точки, обозначенной в предыдущем navigate.
Рассмотрим разработанный программный код на языке Pyhton для формирования автономного полета квадрокопетра c комментариями.
# coding: utf8 # конвертация формата текста для поддержки русских символов import rospy # импорт библиотек ROS
from clover import srv # подключение сервисов для автономного полета
from std_srvs.srv import Trigger
rospy.init_node('flight') # инициализация ROS ноды
get_telemetry = rospy.ServiceProxy('get_telemetry', srv.GetTelemetry)
navigate = rospy.ServiceProxy('navigate', srv.Navigate)
navigate_global = rospy.ServiceProxy('navigate_global', srv.NavigateGlobal)
set_position = rospy.ServiceProxy('set_position', srv.SetPosition)
set_velocity = rospy.ServiceProxy('set_velocity', srv.SetVelocity)
set_attitude = rospy.ServiceProxy('set_attitude', srv.SetAttitude)
set_rates = rospy.ServiceProxy('set_rates', srv.SetRates)
land = rospy.ServiceProxy('land', Trigger)
# подключение сервисов для получения телеметрии, навигации через функцию navigate, выполнение посадки и отключения моторов за счет определения касания c летным полем.
# Запуск моторов, взлет на высоту 1,5 м navigate(x=0, y=0, z=1.5, frame_id='body', auto_arm=True)
# Ожидание 4 секунды rospy.sleep(4)
# Пролет направо на 1 метр относительно системы позиционирования поля меток navigate(x=1, y=0, z=1.5, frame_id='aruco_map')
# Ожидание 3 секунды rospy.sleep(3)
# Пролет вперед 2 метра вперед. Дрон уже находится на одном метре правее относительно поля меток, он переместиться только вперед.
navigate(x=1, y=2, z=1.5, frame_id='aruco_map')
# Ожидание 5 секунд rospy.sleep(5)
# Посадка land()
Практическая реализация полетного задания приведена на рис. 5.
Рис. 5. Практическая реализация автономного полетного задания с идентификацией
меток при тестовых полетах
На основе выполненного исследования достигнуто решение следующих задач: 1. выполнена разработка модуля идентификации маркеров при помощи машинного
зрения.
2. разработка модуля автономного пилотирования при помощи визуальных маркеров.
3. оптимизация алгоритма для работы в беспилотных авиационных системах.
4. разработка модуля для передачи данных в условиях сети wifi.
Разработанный программный код производит анализа изображения на языке Python, производит обработку и распознавание места на основе идентификации Aruco-маркеров. Представленное программное решение реализовано в виде программы "Программа идентификации объектов при выполнении автономного полетного задания беспилотной авиационной системой с возможностью изменения маршрута" (Регистрация программы ЭВМ № 2021613689 от
12.03.2021) [13]. Программа позволяет квадрокоптеру функционировать полностью автономно. Программа может работать как отдельно, так и интегрироваться в уже существующие информационные комплексы. Имеется возможность включения программы в автоматизированные системы запуска программ по расписанию, что позволит более успешное внедрение в производственные процессы.
Список литературы
1. Kostin A.S. Models and methods for implementing the automous performance of transportation tasks using a drone. WECONF 2021. 9470584. DOI: 10.1109/WECONF51603.2021.9470584.
2. Kostin A. S., Bogatov N. V., Maiorov N. N. Control and analysis of quadcopter flight when setting a complex trajectory of motion. Journal of Physics: Conference Series. 1925 012043 (2021). doi:10.1088/1742-6596/1925/1/012043.
3. Dobrovolskaia A. A. Research the application of data from unmanned systems for the development of micromobility and modernization of urban infrastructure. WECONF 2021. 9470674. DOI: 10.1109/WEC0NF51603.2021.9470674.
4. Майоров Н. Н. Исследование маршрутизации полетных заданий беспилотных авиационных систем для операционных складских задач / Н. Н. Майоров, А. С. Костин, Н. В. Богатов, Е. А. Вознесенский // Аэрокосмическое приборостроение и эксплуатационные технологии. Сборник докладов Второй Международной научной конференции. СПб.:ГУАП. 2021. С. 130-137. doi: 10.31799/978-5-8088-1554-4-2021-2-130-137.
5. WosViewer. [Электронный ресурс] URL: https://www.vosviewer.com/ (дата обращения: 10.01.2022).
6. COEX. [Электронный ресурс] URL: https://ru.coex.tech/ (дата обращения:
10.01.2022).
7. Engel J., Sturm J., Cremers D. Accurate Figure Flying with a Quadrocopter Using Onboard Visual and Inertial Sensing // Proc. of the Workshop on Visual Control of Mobile Robots (ViCoMoR) at the IEEE/ RJS Intern. Conference on Intelligent Robot Systems (IROS). Vilamoura, Algarve, Portugal, 2012. P. 43-48.
8. ArUco markers generator. [Электронный ресурс] URL: https://chev.me/arucogen/ (дата обращения: 11.12.2021).
9. Suzuki, S. Topological structural analysis of digitized binary images by border following // Comput. Vis. Graph. Image Process / S. Suzuki., K. Abe. 1985. 30(1). - P. 32-46.
10. Markus, H. Quadro copter trajectory generation and control // IFACworldcongress / H. Markus, D'Andrea Raffaello .2011.Vol.18.No.1 P. 1485-1491.
11. Kim J., Kang M.-S., Park S. Accurate Modeling and Robust Hovering Control for a Quad-rotor VTOL Aircraft // Journ. Intell. Robotics Syst. 2010. Vol. 57. No. 1-4. P. 9-26.
12. Прокушев Л.А. Дискретная математика. СПб.: ГУАП, 2000. 80 c.
13. Свидетельство о госрегистрации программы для ЭВМ № 2021613689. Рос. Федерация. Программа идентификации объектов при выполнении автономного полетного задания беспилотной авиационной системой с возможностью изменения маршрута/ А.С. Костин, Н.Н. Майоров, Е.А. Вознесенский; правообладатель ФГАО ВО ГУАП (RU). № 2021613689; за-явл.09.03.2021; опубл. 12.03.2021, Реестр программ для ЭВМ. 1 c.
Майоров Николай Николаевич, д-р техн. наук, профессор, nmsoft@yandex.ru, Россия, Санкт-Петербург, Санкт-Петербургский государственный университет аэрокосмического приборостроения,
Костин Антон Сергеевич, ассистент, anton13258@mail.ru, Россия, Санкт-Петербург, Санкт-Петербургский государственный университет аэрокосмического приборостроения
AUTOMATION OF THE OBJECT IDENTIFICATION PROCESS WHEN PERFORMING AUTONOMOUS FLIGHT MISSIONS BY AN UNMANNED AIRCRAFT SYSTEM
A.S. Kostin , N.N. Maiorov
The article discribes the application of unmanned aerial systems to solve the problems of monitoring objects and systems, solving the actual problem of identification of certain objects. The relevance of the research is due to the increasing need to obtain dynamic data from unmanned aircraft systems with subsequent identification of objects for decision-making. The object of research selected quadcopter. Experimental flights were conducted in the research flying field laboratory of unmanned aircraft systems SUAI. This paper presents scientometric analysis, confirming the relevance of finding solutions in the field of identification using quadcopters. The aim of the study is to find a solution that allows during autonomous piloting to search for necessary objects and transfer data to the server in the required format. Flight task models in the form of oriented graphs are presented. We present the solution of the problem of autonomous quadcopter movement in space based on the identification in the research flying field by Aruco-markers. The presented software solution allows during autonomous flight to automatically identify given objects that are placed randomly in the research flying field. The presented identification solution can be applied for real industrial processes, subject to the development of an internal navigation system. The proposed solution allows to generate data in autonomous mode, which allows to improve organisational processes and redistribute tasks of the organisation's personnel.
Key words: process identification, object identification, quadcopter, dynamic data, autonomous piloting, Aruco-marker, oriented graph.
Maiorov Nikolai Nikolaevich, doctor of technical sciences, professor, nmsoft@yandex.ru, Russia, St. Petersburg, St. Petersburg State University of Aerospace Instrumentation,
Kostin Anton Sergeevich, assistant, anton13258@mail.ru, Russia, St. Petersburg, St. Petersburg State University of Aerospace Instrumentation
УДК 004.896
DOI: 10.24412/2071-6168-2022-2-646-651
ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ ОБЕСПЕЧЕНИЯ СООТВЕТСТВИЯ ОБЪЕКТА ЗЕЛЕНЫМ СТАНДАРТАМ ЗА СЧЕТ ВНЕДРЕНИЯ НАУЧНО-ТЕХНИЧЕСКОГО СОПРОВОЖДЕНИЯ ПРОЕКТИРОВАНИЯ
М.Х. Кангезова, А.Э. Горбунова, Г.Г.Хубулов
В связи с необходимостью повышения экологической эффективности объектов строительства, в статье рассматриваются механизм по учету множества критериев и рассмотрения вариантов решения стандартов «зеленого» строительства. При обеспечении соответствия каждой категории можно значительно улучшить экологическое состояние и внешний облик городов и поселков, создать более комфортные условия среды жизнедеятельности.
Ключевые слова: эффективность, «Зеленые» стандарты, «Зеленое» строительство, нормативное обеспечение, технические условия, организационно-технологические аспекты, систематизация.
В современном строительстве одним из актуальных вопросов на сегодняшний день является обеспечение высокого уровня безопасности и комфортности внутри здании, а также анализ влияния строительного производства на состояние окружающей среды. Такой анализ является сложной задачей, которая решиться только путем учета влияния множества параметров и их сочетании, рассмотрения национальных особенностей применяемых стандартов строительства и проектирования в каждой стране.
