CC BY
0
УДК 519.712
A.A. Epauioe1, Д. А. Аникин1, Е. О. Черских1, А. И. Савельев1, В. М. Брыскин2,
Б. М. Агафонов3
1 Санкт-Петербургский Федеральный исследовательский центр РАН 2 Балтийский федеральный университет имени Иммануила Канта 3000 «Р-Сенсорс»
Алгоритмы оценивания параметров неоднородной поверхности и управления беспилотным летательным аппаратом при установке сейсмического датчика
Рассматривается задача автономной посадки и установки объекта на целевой неоднородной поверхности посредством беспилотного летательного аппарата. Целью работы является разработка алгоритмов оценивания параметров неоднородной поверхности для успешной посадки БпЛА и установки объекта. На точность посадки беспилотного аппарата и точность установки объекта влияет перепад высот по отношению к их геометрическим размерам. Предполагаемая для посадки поверхность может содержать значительные перепады высот, ввиду чего требуется оценивать сегменты данной поверхности для устойчивого расположения рассматриваемых объектов. В работе предлагаются алгоритмы оценивания неоднородности сегментов поверхности по получаемым изображениям с камеры глубины, управления БпЛА, алгоритмы оценивания перепада высот, обеспечивающие определение разности высот между соседними точками и угла наклона между ключевыми точками каждого сегмента поверхности. Данные алгоритмы позволяют анализировать доступные для посадки и установки объекта сегменты поверхности в процессе выполнения задачи посадки БпЛА, выделяя подходящие и исключая неподходящие сегменты. В качестве объектов, устанавливаемых на неоднородную поверхность, могут быть, например, датчики. Проведенные эксперименты в симуляционной среде показали, что в 97% случаев БпЛА фиксировался на поверхности с учетом заданных ограничений при общей площади участков местности в 25 и 81 км2. При изменении пороговых значений от 30 до 60% изменение количества доступных участков для посадки не превышало 5%.
Ключевые слова: беспилотный летательный аппарат, неоднородная поверхность, автономная установка объектов с БпЛА, посадка БпЛА на неоднородную поверхность
A. A. Erashov1, D. A. Anikin1, Е. О. Cherskikh1, A. I. Saveliev1, V. М. Bryksin2,
V. М. Agafonov3
1St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS) 2Immanuel Kant Baltic Federal University 3R-Sensors LLC
Algorithms for estimating the parameters of a non-uniform surface and controlling an unmanned aerial vehicle when installing a seismic sensor
The problem of autonomous landing and installation of a seismic sensor on a target non-uniform surface using an unmanned aerial vehicle is considered. The goal of the work is to develop algorithms for estimating the parameters of a non-uniform surface for the successful landing of a UAV and installation of a seismic sensor. The landing accuracy of the unmanned vehicle and the installation accuracy of the seismic sensor are affected by the height difference in relation to their geometric dimensions. The surface proposed for
© Ерашов А. А., Аникин Д. А., Черских E. О. Савельев А. И. Брыскин В. М. Агафонов В. М. 2023 (с) Федеральное государственное автономное образовательное учреждение высшего образования
«Московский физико-технический институт (национальный исследовательский университет)», 2023
landing may contain significant differences in heights, which is why it is necessary to evaluate segments of this surface for a stable location of the objects in question. The paper proposes algorithms for assessing the non-uniformity of surface segments based on images obtained from a depth camera, UAV control, and algorithms for estimating height differences that ensure the determination of the height difference between adjacent points and the angle of inclination between key points of each surface segment. These algorithms make it possible to analyze the surface segments available for landing and installation of the sensor during the UAV landing task, identifying suitable segments and excluding unsuitable ones. Experiments conducted in a simulation environment showed that in 97% of cases the UAV was recorded on the surface, considering the specified restrictions, with a total area of 25 and 81 km2. When the threshold values changed from 30 to 60%, the change in the number of available areas for planting did not exceed 5%.
Key words: unmanned aerial vehicle, seismic sensor, non-uniform surface, autonomous installation of a sensor with a UAV, UAV landing on a non-uniform surface
1. Введение
Применение беспилотных летательных аппаратов (БпЛА) и научно-практические исследования различных аспектов данных технических систем являются актуальными направлениями за счет преимуществ в эффективности решения большого набора задач. К таким задачам относятся, например, доставка предметов, в том числе - доставка компонентов крови и медикаментов [1], мониторинг местности и технологических объектов [2], [3], стимулирование роста растений в сельском хозяйстве [4], оценка состояния растений в вертикальных теплицах [5].
Одной из разновидностей задачи доставки является установка датчиков различного принципа работы с целью мониторинга местности. В подобных задачах датчику после его установки необходимо занять корректное положение на поверхности, то есть сохранять положение и ориентацию в рамках заданного диапазона. На это влияет неоднородность участка поверхности, которая может быть выражена в виде наклона и локальной разности высот точек данного участка. Для того чтобы обеспечить оценку неоднородности участка и принять решение об установке сенсора, необходимо по мере снижения БпЛА динамически оценивать особенности поверхности. Следовательно, задача оценки напрямую связана с задачей управления при посадке БпЛА.
2. Анализ существующих решений
Осуществить посадку БпЛА в режиме ручного управления, оценивая при этом неоднородность поверхности, возможно, однако для визуальной оценки кривизны поверхности может быть затрачено большое количество времени, и она будет неточной в связи с человеческим фактором. Автоматические методы и алгоритмы посадки БпЛА позволяют достигнуть высокой точности и быстродействия при принятии решений по сравнению с ручным способом.
Посадка БпЛА на неоднородные поверхности является нетривиальной задачей, для которой необходимо задействовать разные функциональные возможности не только самого БпЛА и его бортовых устройств, но и дополнительных механизмов. Так, применяется автоматическая посадка БпЛА с использованием систем технического зрения: по специальным реперным маркерам [6], [7], камеры глубины, а также трехмерного лазерного сканера [8]. Зачастую решения с использованием реперных маркеров не учитывают неоднородность поверхности, на которую БпЛА предстоит совершить посадку, так как для их успешного распознавания необходимо, чтобы маркер был размещен на ровной поверхности. Также следует упомянуть, что применение подобных подходов ограничено условиями освещенности и допустимым расстоянием детектирования данных маркеров [9], а также углом поворота [10]. Поэтому далее рассматриваются работы с применением других типов систем
для оценки неоднородности поверхности. В работе [11] предлагается метод автономного выбора безопасных мест приземления, основанный на облаке точек, полученных посредством LiDAR. Алгоритм включает в себя сбор облака точек, предобработку, вычисление вектора нормали и кривизны, сегментацию областей, обнаружение плоской поверхности посредством РСА, аппроксимация сложности местности посредством алгоритма PROSAC и выбор лучшего места для посадки БпЛА. Анализ результатов моделирования посадки БпЛА с применением данного алгоритма показал, что требуются доработки для улучшения быстродействия.
Авторами работы [12] предложен метод оценки степени неоднородности поверхности для аварийной посадки БпЛА с использованием машинного обучения и статистической обработки данных, полученных с камеры глубины. Для оценки неоднородности используется расстояние Махаланобиса и настройка значений параметров степени неоднородности, оцениваемая для принятия решения о посадке БпЛА на выбранную поверхность. В работе [13] помимо данных с камеры глубины Realsense D435i авторы используют также данные 3D LiDAR. Применяется метод глубокого обучения для распознавания и отслеживания зоны приземления на основе обработки изображений. Затем облако точек, полученное с помощью LiDAR, проецируется в координаты камеры для получения семантической метки каждой точки, далее строится трехмерная карта среды для расчета наиболее подходящей траектории полета БпЛА к месту посадки.
Для распознавания неоднородности поверхности посадки и ее оценки пригодности для БпЛА также с применением нейронных сетей создается тепловая карта с использованием изображений с одной бортовой камеры [14]. Получаемые кадры делятся на фрагменты размером 128x128 пикселей перед двумя процессами классификации с помощью сверточной нейронной сети и по уровню плоскостности поверхности по оптическому потоку. Размер
x
В классификации каждый кадр разделяется сверточной сетью на девять классов, и на основе результатов классификации ей присваивается оценка пригодности. Безопасными для посадки считаются такие фрагменты, которые можно считать плоскими на основании двух последовательных изображений оптического потока и на основании оценки неоднородности. То есть на выходе получают два вида показателей безопасности в виде тепловых карт, объединенных в дальнейшем для построения третьей тепловой карты, полученной путем усредненных оценок предыдущих. Определение «безопасно для посадки» выдается в случае превышения оцениваемым фрагментом установленного порогового значения.
Использование данных камеры глубины и нейронных сетей сочетает в себе алгоритм обнаружения ровной площадки для приземления БпЛА [15], состоящий из двух частей: трехмерной реконструкции видимой сцены под БпЛА с использованием стереоизображений высокой плотности (dense motion stereo) камеры CAHVORE и анализа сцены на предмет возможных областей для посадки. Из полученных кадров выбираются пары изображений с временным окном фиксированной длины и извлекаются характерные точки из каждого изображения с отслеживанием их на последующих изображениях. Для расчета карты несоответствия, на основе которой генерируется трехмерное облако точек, используется алгоритм SAD5. Результатом работы предложенного алгоритма определения ровной поверхности является бинарная карта посадки с трехмерными координатами в мировой системе координат и мерой достоверности мест посадки.
Авторы работы [16] используют данные с бортовой камеры Aptina MT9v034 БпЛА. Ровные поверхности для приземления обнаруживаются на основе их текстуры и геометрической формы без использования знаний об окружающей среде. Необработанные изображения разбиваются на однородные сегменты и классифицируются по классу поверхности методом случайного леса. Одновременно со съемкой и классификацией проводится оценка и классификация положения БпЛА в воздухе с учетом поля ветра (комплексный термин, объединяющий в себе направление и скорость ветра в каждой точке пространства). Данные камеры глубины используются для отслеживания интересующей области посадки и запо-
минаются. Затем производится оценка данных областей и определяется их пригодность для посадки БпЛА. Наклоны и неоднородности местности выявляются на основе результатов классификации и 3 Б-модели. Для приземления находится точка и выполняется расчет местного поля ветра и траектории посадки.
Далее рассмотрим случаи использования дополнительных механизмов, работающих совместно или на основе данных бортовых датчиков БпЛА или своих собственных. Установленная в нижней части БпЛА камера глубины используется для регулирования положения опор шасси БпЛА в работе [17]. Кроме того, на концах опор установлены датчики расстояния. В предлагаемом решении определяется многоугольник посадочной площадки и, исходя из выявленных высот, изменяется положение БпЛА в воздухе и положение его опор. Для успешной посадки необходимо, чтобы центр тяжести БпЛА находился в центре многоугольника. Все это в совокупности позволяет провести регулирование высоты опор и успешно завершить посадку на неоднородную поверхность.
В работе [18] выравнивание БпЛА с помощью опор производится, исходя из показаний инерционной измерительной системы (ИИС). Максимальные углы крена и тангажа при наклоне - 35,29° и 39,29° соответственно. В данной работе не учитываются мгновенные внешние воздействия на БпЛА, и он может быть опрокинут. Углы четырех опор шасси, которое используется в БпЛА [19], регулируются контроллером в зависимости от показания ультразвуковых датчиков расстояния, установленных на нижних частях опор. Максимальный угол наклона неоднородной поверхности, на которую может безопасно приземлиться данный БпЛА, составляет 44,5°. Авторы работ [20] и [21] предлагают определять кривизну целевой поверхности с использованием данных с датчиков, например, камеры ЫСВ-Б и другими, с помощью которых возможно определять кривизну. Так же, как и другие рассмотренные роботы, БпЛА имеет шасси, однако на опорах установлены вакуумные присоски, позволяющие фиксироваться на поверхности с широким диапазоном углом наклона. Во втором случае используются ЫСВ-Б, 1Л)АГ». ИИС, а также блок регулировки наклона опор и блок управления противовесом. Максимальный угол наклона БпЛА во втором случае - 45°.
Посадка на неоднородную поверхность многороторного БпЛА производится с помощью системы трех манипуляторов [22]. Бортовые манипуляторы использованы в качестве шасси для обеспечения возможности приземления БпЛА и регулировки его положения на поверхности. Регулирование шасси проводится на основе обработки данных ЫСВ-Б камеры, облака точек, полученного посредством бортовой камеры глубины, и оценки положения при посадке БпЛА во время зависания над поверхностью. В своей следующей работе [23] регулирование высоты опор шасси выполняется с помощью данных ИИС для достижения устойчивого положения на поверхностях различных типов и различной кривизны. Аналогичное конструктивное решение было предложено в [24], где четыре опоры БпЛА представляют собой двухзвенные плоские манипуляторы.
Специальные шасси используются и авторами [25]. Оно представляет собой адаптивную посадочную платформу БгопеСеаг, состоящую из четырех роботизированных опор с двумя степенями свободы у каждой. В каждую опору шасси интегрирован разработанный авторами оптический датчик крутящего момента, с помощью данных которого возможно регулировать уровень наклона для обеспечения правильного положения БпЛА на поверхности. Используемый метод измерения крутящего момента описан в работе [26]. Также каждая из опор содержит блок ИИС, служащие для оценки профиля рельефа зоны приземления. Контроллер БгопеСеаг имеет три уровня: первый - ПИД-регулятор сервоприводов на базе Вупагшхе1 МХ-28Т, второй - пропорциональный регулятор угла поворота опоры, третий отвечает за взаимодействие опор посадочной платформы для удержания стабильного положения (в работе не рассматривался). Авторы подтверждают работоспособность разработанного решения серией экспериментальных посадок БпЛА на поверхности с различным углом наклона (3°, 11°, ступень высотой 50 см и плоская поверхность). Критический уровень наклона для системы - 10°.
Аналогичная конструкция предлагается в работе [27]. В решении используется механизм блокировки в зависимости от колебаний после посадки, при этом нагрузка на опоры оказывается дифференциально. Отметим, что анализ поверхности не выполняется, механизм функционирует за счет распределения нагрузки среди опор шасси до тех пор, пока не будет достигнуто равновесие, и БпЛА не установится в устойчивом горизонтальном положении. Шасси имеет механизм блокировки, активирующийся после приземления БпЛА. Данный способ также не включает возможность распознавания наклона БпЛА относительно земли. Так, при приземлении БпЛА может занять неустойчивое положение.
В целом, для определения неоднородности поверхности используются данные нескольких датчиков и различные способы их обработки. В рассмотренных работах для обработки данных, полученных с камеры глубины и ЫВАЫ, зачатую используют методы машинного обучения. Построение образов и моделей местности является наиболее эффективным методом, позволяющим произвести мониторинг большой площади и обнаружить несколько потенциальных точек посадки. Наиболее близкими к предлагаемому решению являются решения, представленные в работах [11-13] и [15], [16]. В основном они ориентированы прежде всего на посадку самого БпЛА на подходящую для этого поверхность; также в [11] имеются проблемы быстродействия разработанного метода в реальном времени. Предлагаемые нами алгоритмы направлены не только на посадку самого БпЛА, но и на установку БпЛА объектов без использования дополнительного оборудования, значительных вычислительных ресурсов, а частота обновления управляющих сигналов позволяет применять предлагаемые алгоритмы в режиме, близком к реальному времени. Кроме того, существуют отдельные конструктивные решения, позволяющие адаптировать ориентацию БпЛА для его приземления и последующего устойчивого нахождения на поверхности. Некоторые рассмотренные выше решения позволяют учесть кинематику и динамику аппарата в момент приземления, однако применение манипуляторов в качестве опор может привести к увеличению габаритных размеров и к уменьшению полезной нагрузки БпЛА. Также отдельно было отмечено, что при отсутствии данных о наклоне относительно горизонта может произойти опрокидывание БпЛА или проскальзывание его на наклонной поверхности.
В данной работе предлагается рассмотреть обработку бортовых сенсоров БпЛА без внесения конструктивных изменений в аппарат, кроме того, предлагаются алгоритмы, обеспечивающие оценку неоднородности поверхности для объектов с различными габаритными размерами.
3. Постановка задачи
При оценивании параметров неоднородной поверхности для успешной посадки БпЛА и установки объекта имеются следующие данные: габаритные размеры БпЛА мультиротор-ного типа и объекта, а также данные, поступающие с модулей гироскоп-акселерометра, глобальной навигационной системы и камеры глубины, которые установлены на борту БпЛА. В процессе функционирования аппарата на борту происходит обработка следующих данных: собственные угловые скорости относительно трех осей, три проекции ускорений, глобальные координаты в метрах, а также карта глубины размерностью МхМ соответственно. Соотношение между пикселями и расстоянием в метрах вычисляется на основе встроенных алгоритмов камеры глубины. Кроме того, принято, что камера глубины установлена на гиростабилизированный подвес. В качестве характеристик неоднородности рассматривается перепад высот между соседними точками и углы наклона контрольных точек данного участка относительно его центра. Формально задача поиска участков с допустимой неоднородностью, позволяющей установить объект, записывается следующим образом:
, Уг,] } ,
(х - Хг,э)2 + (у - Уг,з)2 ^ тах (а, Ь)2,
|Д*| < 4,
|«г| < Ла,
где (Xi,j, yi,j) - глобальные координаты центра сегмента точки карты высот с индексами г = 1,N и j = 1, М, соответствующими позиции точки в двумерном массиве карты высот; а, & - габаритные размеры объекта, Az - разность значений карты высот для точек сегмента, dz - пороговое значение разности карты высот, а - угол наклона сегмента, da - пороговое значение наклона сегмента.
В данной работе рассматривается задача поиска таких участков на заданной местности, неоднородность которых позволяет установить объект с помощью БпЛА. Данные участки формируются в определенном радиусе, который определяется габаритными размерами объекта; в их рамках вычисляются параметры Az и а^, которые не должны превышать заданные пороговые значения, чтобы обеспечить корректную установку объекта. Следует отметить, что в работе не рассматриваются вопросы функционирования системы управления полетом БпЛА в процессе выполнения задачи. Разработанные в рамках настоящего исследования алгоритмы выступают в качестве дополнительного модуля оценки неоднородности поверхности и надстройки над системой управления БпЛА. При решении поставленной задачи был разработан алгоритм, включающий следующие основные этапы:
1) Преобразование данных камеры глубины в карту высот целевого участка местности.
2) Предварительный отбор сегментов поверхности, подходящих для посадки БпЛА с учетом его габаритных размеров.
3) Анализ сегментов поверхности в процессе перемещения БпЛА на основе габаритных размеров объекта для его последующей установки.
Отличительная особенность разработанного решения заключается в том, что помимо оценки возможности приземлить БпЛА, учитывается конечная цель: устойчивое положение объекта на поверхности посредством оценки наклона и перепада высот сегментов, соответствующих геометрическим характеристикам объекта.
4. Описание предлагаемого алгоритма
Основной алгоритм функционирования БпЛА при выполнении задачи установки объекта приведен на рис. 1. Рассматриваемый алгоритм включает в себя обозначенные выше этапы и представляет собой отдельный процесс, направленный на оценку неоднородности поверхности с точки зрения посадки БпЛА и установки объекта, а также на отправку сигналов для изменения состояния полетного контроллера БпЛА. Данный алгоритм начинает выполняться в момент, когда БпЛА находится на достаточной высоте для сканирования местности. В случае использования камеры Intel RealSense D435 данное расстояние равно 20 м [28].
На первом шаге алгоритма выполняется сканирование местности и построение карты высот. Данная карта подается на вход вложенному процессу оценки неоднородности поверхности, который изображен на рис. 2 и рассматривается ниже. На выходе данного процесса образуется множество SL (1), которое представляет собой совокупность векторов глобальных координат, соотносимых с картой высот местности. Каждый вектор представляет собой координаты сегмента s £ SL:
s = (х, у, z),
где х, у - глобальные координаты, соотносимые с индексами карты высот; z - значение высоты по карте высот.
SL = {s||Az| <dz; Ы <da,i = М} , (1)
где SL - множество сегментов, доступных для посадки БпЛА, a.i - угол наклона краевой точки г рассматриваемого сегмента относительно центра сегмента, г - номер угловой точки рассматриваемого сегмента.
Рис. 1. Алгоритм управления БпЛА при установке объекта
Под краевыми точками подразумеваются точки, соответствующие углам сегмента квадратной формы. Таким образом, будут рассматриваться четыре краевые точки. С использованием параметров этих четырех точек, а также центральной точки сегмента, которая соответствует геометрическому центру квадрата, вычисляется угол наклона между каждой из этих четырех точек относительно центральной. Так получается параметр щ. Параметр перепада высот Д^ соответствует разности между значениями высот соседних точек рассматриваемого сегмента.
Пары индексов обозначают возможные сегменты карты высот для приземления БпЛА, при этом принято, что для случая равномерной сетки форма данных сегментов представляет собой квадрат со стороной, равной наибольшей стороне между опорами БпЛА. После оценки неоднородности поверхности проверяется соблюдение условия по мощности множества ¿Х: если в БЬ не будет ни одного вектора, то отправится сообщение об отсутствии сегментов для посадки БпЛА, иначе циклически будут выполняться следующие шаги, включая саму проверку мощности ЭЬ. Сперва полетному контроллеру отправляются глобальные координаты для перемещения БпЛА к ближайшему сегменту, при этом значения координат определяются геометрическим центром сегмента. После блока ожидания прибытия к целевой точке выполняется вложенный алгоритм снижения БпЛА, который показан на рис. 4 и рассматривается ниже. Вложенный алгоритм возвращает значение, которое означает, удалось ли установить датчик или нет. Если датчик был установлен, то отправится уведомление об успешной установке датчика, иначе сегмент исключается из множества вЬ и БпЛА повторяет шаги для другого сегмента до тех пор, пока они не закончатся.
Данный вложенный алгоритм принимает в качестве входных данных карту высот и переменную тс, которая определяет количество точек сегмента для анализа и вычисляется по формуле (2):
гпс '
где (Лшах - максимальное расстояние в метрах между опорными точками объекта, кт - шаг сетки карты высот в метрах.
Рис. 2. Алгоритм оценки неоднородности поверхности
После задания локального пустого множества L выполняется следующий цикл:
• Проверяется, возможно ли формирование локального сегмента карты высот: превышает ли сумма индексов размерности карты высот или нет. Если превышает, то рассматривается следующая пара индексов. Иначе вычисляются индексы координат угловых точек сегмента s: Sidxi = (idxx; idxy), SidX2 = (idxx; idxy + 2 ■ inc), SidX3 = (idxx + 2 ■ inc; idxy + 2 ■ inc), SidX4 = (idxx + 2 ■ inc; idxy), а также индексы центра сегмента: sc = (idxx + inc; idxy + inc).
• Если БпЛА в момент сканирования находится в положении, отличном от горизонтального, то производится преобразование рассматриваемых координат в соответствии с ориентацией БпЛА. Ориентация относительно горизонта может быть получена посредством обработки данных с бортовых гироскопа и акселерометра. Данное преобразование заключается в перемножении матрицы вращения fjR на вектор цР: °сР = цR^Р. Матрица <цR с размерностью 3x3 описывает ориентацию БпЛА относительно горизонта, вектор ^Р с размерностью 3x1 представляет собой координаты точки относительно камеры, система отсчета которой связана с БпЛА. Таким образом, координаты рассматриваемой точки приводятся к значениям, при которых БпЛА имел бы горизонтальную ориентацию. В случае горизонтального положения БпЛА преобразование координат не требуется. Преобразование координат также не требуется, если для крепления камеры используется гироетабилизированный подвес.
• Далее оценивается перепад высот анализируемого сегмента. Схема алгоритма оценки приведена на рис. 3 и рассматривается ниже. На выходе данного вложенного алгоритма возвращается значение истинно-ложно.
• Проверяется возвращаемое значение: если ложно, то есть у сегмента существует значительный перепад высот, то выполняется следующая итерация цикла, если значение истинно, то переходим к следующей точке карты высот.
• Выполняется вложенный алгоритм (ем. рис. 3) оценки наклона точек сегмента, которые соответствуют его углам.
• Проверяется возвращаемое значение: если ложно, то есть у сегмента существует значительный локальный наклон, то выполняется следующая итерация цикла, если значение истинно, то параметры сегмента добавляются во множество Ь.
• После завершения цикла возвращается множество Ь. Если возвращается пустое множество, то это значит, что не было найдено ни одного сегмента, который бы подходил под посадку БпЛА или установку датчика.
Рис. 3. Алгоритм оценки перепада высот и иаклоиа между центром сегмента и его краевыми точками
В данном алгоритме рассматривается поданный на вход сегмент. Переменная рагат, обозначает признак того, какой параметр проверяется: перепад высот или углы наклона краевых точек сегмента. Кроме того, алгоритм принимает на вход пороговое значение данного параметра На первом шаге создается временная переменная-статус, которая определяет, подходит ли сегмент для посадки или установки датчика с точки зрения перепада высот. В зависимости от переданного значения рагат вычисляется перепад высот относительно ближайших соседних точек по всем внутренним точкам сегмента или вычисляются углы наклона угловых точек относительно центральной точки сегмента. Значение вычисленного параметра сохраняется в переменную после чего проверяется, больше ли это значение заданного порогового значения Если йр больше йг, то цикл завершается, так как объект не будет устойчиво располагаться на поверхности, иначе рассматривается следующая пара точек. После завершения цикла возвращается значение переменной-статуса.
Для вычисления углов наклона угловых точек относительно центральной точки сегмента используются следующие формулы:
Ъг = \!{х8с - Жг)2 + (узс - Уг)2 + - ,
(3)
ki = \!(Ж5с - Шг)2 + (ySc - yi)2
¿ = 0, (й)
ai =
(0, hi = 0, jacos (^ }
(4)
(5)
г е , з = 1, 4. (6)
Если хотя бы один из щ по модулю больше заданного порогового значения, то цикл проверки угла наклона сегментов завершится с переменной-статусом с ложным значением, иначе возвращается истинное значение, которое означает, что наклон сегмента позволяет приземлить БпЛА или установить объект.
Рис. 4. Алгоритм снижения БпЛА
Этот вложенный алгоритм циклически обрабатывает данные, поступающие с модуля камеры глубины. По полученным изображениям оценивается неоднородность поверхности посредством алгоритма на рис. 2, который рассматривался выше. В данном цикле после каждого перемещения БпЛА обновляется множество доступных для установки датчика сегментов SR¿ которое заполняется аналогично множеству (1). Если такие сегменты не были определены, то алгоритм завершится с возвращением переменной статуса с ложным значением. Если мощность множества SR не равна нулю, то полетному контроллеру отправляется команда для перемещения БпЛА к ближайшему сегменту для установки датчика, причем если это одни и те же глобальные координаты, то БпЛА будет снижаться. Если высота БпЛА станет меньше заданного значения d^ то осуществится установка датчика, иначе будет выполняться следующая итерация цикла. После установки датчика алгоритм возвращает истинное значение переменной-статуса.
5. Результаты моделирования
Разработанные алгоритмы были реализованы на языках С++ и Python с использованием Robot Operating System (ROS), для их моделирования была использована симуляцион-
ная среда Gazebo. В качестве модели БпЛА была выбрана модель квадрокоптера Iris [29], к которому была прикреплена модель камеры глубины из стандартных библиотек симулято-ра. В качестве карты высот использовались карты существующих участков местности, произвольно выбранные координаты центров которых составляют (3°2'29.50"Е, 46°2'29.50"N) и (3°Г23.00"Е, 46°58'37.00"N), полученные по спутниковым снимкам. Размерность первой карты высот составляет 9x9 км, шаг сетки карты высот по обеим осям одинаковый и составляет 1 м, для второй карты высот 5x5 км и 1 м соответственно.
Начальная высота снижения БпЛА была установлена на значение 40 м, скорость снижения задана постоянной и составляла 0,8 м/с. Для всех экспериментов dmax, БпЛА и объекта равнялись 2 и 0,1 м соответственно. Траектория движения аппарата для упрощения была выбрана прямолинейной.
Сценарии моделирования заключались в следующем:
1) На первой карте высот запускались симуляции с различными начальными координатами БпЛА при заданных значениях перепада высот и угла наклона сегмента, представленные в табл. 1 (случай А).
2) Симуляции со второй картой высот. Пороговые значения были выставлены на величины, указанные в случае В табл. 1. Затем производились серии опытов с изменением данных ограничений (см. таблицу 1, случаи C-J).
Таблица 1
Пороговые значения, использованные в экспериментах
Карта высот Изображения, полученные посредством камеры глубин
Случай Перепад высот, м Угол наклона, Перепад высот, м Угол наклона, °
А 1 30 0,05 15
В 0,5
С 0,2
D 0,7
Е 0,5 40
F 20
G 30 0,025
Н 0,1
I 0,05 10
J 20
Всего было проведено 75 экспериментов. Успешность установки объекта определялась по успешной посадке БпЛА на местность с параметрами, которые удовлетворяют заданным ограничениям, предусмотренным в алгоритмах выше.
По результатам экспериментов были получены такие параметры, как общее число сегментов для посадки и число отобранных сегментов, время оценки карты высот для получения данных сегментов, время выполнения алгоритма посадки с оценкой неоднородности поверхности по изображениям, полученным с камеры глубины, а также успешность посадки.
6. Анализ результатов моделирования
В табл. 2 приведены полученные в результате проведения симуляций значения.
По приведенным значениям в табл. 1 и 2 можно сделать следующие выводы:
• Случаи В, С и D для параметров, связанных с картой высот. При уменьшении порогового значения по перепаду высот на 60% число доступных сегментов уменьшилось примерно на 3,25%, увеличение данного значения на 40% привело к увеличению числа сегментов примерно на 0,61%.
• Случаи В, Е и F. Уменьшение порогового значения угла наклона примерно на 33,33% привело к уменьшению числа доступных сегментов для посадки на 0,61%. Увеличение на 33,33% - к росту данных сегментов на 0,097%.
• Случаи В, G и Н. Последние два отличаются разными значениями перепада высот для оценки изображений с камеры глубины. Уменьшение данного значения на 50% в 40% опытов приводило к тому, что неподходящие сегменты были исключены из доступных и БпЛА осуществлял посадку на другой сегмент. Отметим, что в большинстве случаев БпЛА устанавливал датчик на первом ближайшем сегменте. При увеличении данного порогового значения изменений не было, возможно, по причине того, что ближайшие доступные для посадки сегменты для выбранных начальных координат были относительно однородными. Аналогичные выводы можно сделать также для случаев I и J.
Таблица2
Результаты экспериментов
Случай Общее число сегментов Число сегментов по оценке карты высот Среднее время оценки карты высот, с Среднее время выполнения, с Примерная доля опытов с корректированием доступных сегментов, %
А 86044176 76762345 21 71,96 40
В 24730334 61,4 5
С 23927112 62,4 4
D 24881665 61,4 5
Е 24754240 61,8 3
F 24990001 8 60,6 5
G 66,4 40
Н 24581619 62 5
I 63,6 3
J 62 5
Отдельно отметим, что 2 из 75 опытов закончились неуспешно, то есть примерно в 3% случаев алгоритм выбрал неподходящий для посадки сегмент. То есть все участки, на которые БпЛА успешно приземлился, имели достаточный наклон для того, чтобы датчик располагался устойчиво (около 97,3%). В двух случаях БпЛА предпринял попытку приземлиться на участках, которые не подходили для приземления. Данное поведение алгоритма можно объяснить тем, что была нарушена равномерность шага сетки карты высот, по причине которой изменились размеры окна сканирования карты глубины. Кроме того, на результат обработки могли повлиять шумы измерений бортового сенсора БпЛА.
В ходе экспериментов было выявлено, что на пороговые значения существуют ограничения, поскольку у карты высот фиксированный шаг по высоте, который влияет на минимальные пороговые значения. И если данные значения будут меньше, то алгоритм уже будет не чувствителен к изменениям и будет возвращать то же количество сегментов, что и для минимального предельного значения.
В ходе экспериментов на высоте 40 м шаг между значениями стереоизображений составлял 0,08 м и с постепенным снижением он уменьшался. При этом частота формирования управляющих сигналов составляла примерно 9 Гц и со снижением БпЛА она уменьшалась до 4 Гц. В среднем по всем экспериментам частота обновления управляющих сигналов для корректировки БпЛА составила 7 Гц.
7. Заключение
Особенностью разработанного алгоритма оценивания неоднородности поверхности посадки БпЛА является обработка данных карты высот участка местности, данных с камеры глубины, III 1С. а также навигационной системы для решения задачи автоматической установки объекта на заданной местности. Отличительные особенности предлагаемого решения состоят в том, что не требуется внесения конструктивных изменений в БпЛА и что включенные в него алгоритмы могут применяться для оценки неоднородности поверхности как для посадки БпЛА, так и для установки объекта с учетом заданных ограничений, что является новизной в предложенном решении. Результаты симуляций с двумя моделями участков местности и разными значениями параметров ограничений показали потенциальную применимость разработанного алгоритма для использования в режиме, близком к реальному времени, благодаря средней частоте обновления управляющих сигналов для корректировки положения БпЛА 7 Гц. В 97% случаев эксперименты по посадке БпЛА завершились успешно. Учитывая заданные ограничения, алгоритм позволил выделить от 23x106 до 86x106 сегментов для посадки БпЛА и установки объекта для участков местности с размерами 5x5 и 9x9 км. Корректирование количества доступных сегментов по результатам обработки данных с камеры глубины происходило в среднем в 12% случаев. Изменение величин пороговых параметров в пределах от 30 до 60% от их исходного значения приводило к изменению количества доступных сегментов, получаемого в результате анализа карты высот, что составляло не более 5%. Для использования некоторых аналогичных решений требуются конструктивные изменения и дополнительные измерительные системы. Кроме того, для случаев с применением моделей машинного обучения также требуются обучающие наборы данных, соответствующие устанавливаемому объекту: необходимо создание и обучение отдельной модели. В то время как в предлагаемых алгоритмах рассматриваются лишь геометрические параметры, что проще с точки зрения реализации.
В дальнейшем планируется внедрить в алгоритм кинематические расчеты для определения ограничений перепада высот соседних точек и угла наклона сегмента с целью получения более точных значений данных параметров, а также учет динамики для более точной оценки процесса посадки БпЛА.
Исследование выполнено при поддержке гранта Российского научного фонда № 22-6900231, https://rscf.ru/project/22-69-00231/.
Список литературы
1. Носов A.M., Савельев А.И., Вильянинов В.Н., Ромашова Ю.Е., Лебедев И.В., Лебедева В.В., Янин А.П. Самоохвалов И.М. Опыт транспортировки компонентов крови с применением беспилотного летательного аппарата // Медицина катастроф. 2022. № 2. С. 65-69.
2. Saveliev A., Lebedeva V., Lebedev I., Uzdiaev M. An Approach to the Automatic Construction of a Road Accident Scheme Using UAV and Deep Learning Methods // Sensors. 2022. V. 22, N 13. P. 4728. https://doi.org/10.3390/s22134728.
3. Астапова, M.A., Лебедев И.В., Уздяев М.Ю. Методика построения траектории беспилотных летательных аппаратов для автономного сбора визуальных данных о повреждениях линий электропередач в инфракрасном и ультрафиолетовом спектрах
// Моделирование, оптимизация и информационные технологии. 2023. Т. 11, № 1. https://doi.org/10.26102/2310-6018/2023.40.L003.
4. Севостьяпова Н.Н., Лебедев И.В., Лебедева В.В., Ватаманюк И.В. Инновационный подход к автоматизированной фотоактивации посевных площадей посредством БпЛА с целью стимуляции роста культур // Информатика и автоматизация. 2021. Т. 20, № 6. С. 1395-1417.' https://doi.Org/10.15622/ia.20.6.8.
5. Gubanov В., Lebedeva V., Lebedev I., Astapova M. Algorithms and Software for Evaluation of Plant Height in Vertical Farm Using UAVs //In Agriculture Digitalization and Organic Production: Proceedings of the Second International Conference. 2022. P. 351-362. https://doi.org/10.1007/978-981-19-7780-0_31.
6. Lebedev I., Erashov A., Shabanova A Accurate autonomous UAV landing using vision-based detection of ArUco-marker //In International Conference on Interactive Collaborative Robotics. 2020. P. 179-188. https://doi.org/10.1007/978-3-030-60337-3^18.
7. Anikin D., Ryabinov A., Saveliev A., Semenov A. Autonomous Landing Algorithm for UAV on a Mobile Robotic Platform with a Fractal Marker // International Conference on Interactive Collaborative Robotics. 2023. P. 357-368. https://doi.org/10.1007/978-3-031-43111-1_32.
8. Van L., Qi J., Wang M., Wu C., Xin J. A safe landing site selection method of UAVs based on LiDAR point clouds // 2020 39th Chinese Control Conference (CCC). 2020. P. 64976502.
9. Kalaitzakis M., Carroll S., Ambrosi A., Whitehead C., Vitzilaios N. Experimental comparison of fiducial markers for pose estimation //In 2020 International Conference on Unmanned Aircraft Systems (ICUAS). 2020. P. 781-789.
10. Zakiev A. Pilot Virtual Experiments on ArUco and ArTag Systems Comparison for Fiducial Marker Rotation Resistance // Smart Innovation, Systems and Technologies. 2020. V. 154. P. 455-464.
11. Yan L., Qi J., Wang M., Wu C., Xin J. EA safe landing site selection method of UAVs based on LiDAR point clouds 11 2020 39th Chinese Control Conference (CCC). 2020. P. 64976502.
12. Matsumoto Т., Premachandra C. Depth Sensor Application in Ground Unevenness Estimation for UAV Emergency Landing // 2023 IEEE Sensors Applications Symposium (SAS). 2023. P. 1-6.
13. Liu F., Shan J., Xiong В., Fang Z. Depth A real-time and multi-sensor-based landing area recognition system for UAVs // Drones. 2022. V. 6, N 5. P. 118.
14. Kikumoto C., Harimoto Y., Isogaya K., Yoshida Т., Urakubo, T. Landing site detection for UAVs based on CNNs classification and optical flow from monocular camera images // Journal of Robotics and Mechatronics. 2021. V. 33, N 2. P. 292-300.
15. Desaraju V.R., Michael N., Humenberger M., Brockers R., Weiss S., Matthiesm L.H. Vision-based landing site evaluation and informed optimal trajectory generation toward autonomous rooftop landing // Robotics: Science and Systems. 2014.
16. Hinzmann Т., Stastny Т., Cadena C., Siegwartm R., Gilitschenski I. Free LSD: Prior-free visual landing site detection for autonomous planes // IEEE Robotics and Automation Letters. 2018. V. 3, N 3. P. 2545-2552.
17. Paul H., Miyazaki R., Ladig R., Shimonomura K. TAMS: development of a multipurpose three-arm aerial manipulator system // Advanced Robotics. 2021. V. 35, N 1. P. 31-47.
18. Paul H., Miyazaki R., Kominami Т., Ladig R., Shimonom,u,ra K. A versatile aerial manipulator design and realization of UAV take-off from a rocking unstable surface // Advanced Robotics. 2021. V. 11, N 19. P. 9157.
19. Cabuk N. Design and kinematic analysis of proposed adaptive landing gear for multirotor LAY 11 El-Cezeri. 2022. V. 9, N 1. P. 159-170.
20. Huangm T.H., Elibol A., Chong N.Y. A Design for UAV Irregular Surface Landing Capability // Proceedings of the 2020 17th International Conference on Ubiquitous Robots (UR). 2020.
21. Huang T., Elibol A., Chong N.Y. Enabling landings on irregular surfaces for unmanned aerial vehicles via a novel robotic landing gear // Intelligent Service Robotics. 2022. V. 15, N 2. P. 231-243.
22. Paul H., Miyazaki R., Ladig R., Shimonomura K. Landing of a multirotor aerial vehicle on an uneven surface using multiple on-board manipulators // 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). P. 231-243.
23. Paul H., Martinez R.R., Ladig R., Shimonomura K. Lightweight Multipurpose Three-Arm Aerial Manipulator Systems for UAV Adaptive Leveling after Landing and Overhead Docking 11 Drones. 2022. V. 6, N 12. P. 380.
24. Baker S., Soccol D., Postula A., Srinivasan M. V. Passive landing gear using coupled mechanical design // Proceedings of Australasian Conference on Robotics and Automation. 2013. P. 1-8.
25. Sarkisov Y.S., Yashin G.A., Tsykunov E. V., Tsetserukou D. Dronegear: A novel robotic landing gear with embedded optical torque sensors for safe multicopter landing on an uneven surface // IEEE Robotics and Automation Letters. 2018. V. 3, N 3. P. 1912-1917.
26. Tsetserukou D., Tadakuma R., Kajimoto H., Tachi S. Optical torque sensors for implementation of local impedance control of the arm of humanoid robot // Proceedings 2006 IEEE International Conference on Robotics and Automation. 2006. P. 1674-1679.
27. Baker S., Soccol D., Postul, A., Srinivasan M. V. Passive landing gear using coupled mechanical design // In Proceedings of Australasian Conference on Robotics and Automation. 2013. P. 1-8.
28. Condotta I.C., Brown-Brandl T.M., Pitla S.K., Stinn J.P. Silva-Miranda K.O. Evaluation of low-cost depth cameras for agricultural applications // Computers and Electronics in Agriculture. 2020. V. 173. P. 105394. https://doi.Org/10.1016/j.compag.2020.105394
29. Irfan M., Dalai S., Kishore K., Singh S., Akbar S.A. Vision-based guidance and navigation for autonomous MAY in indoor environment //In 2020 11th International Conference on Computing, Communication and Networking Technologies (ICCCNT). 2020. P. 1-5.
References
1. Nosov A.M, Saveliev A.I., Vil'yaninov V.N., Romashova U.E., Lebedev I.V., Lebedeva V.V., Yanin A.P., Samokhvalov I.M. Case study of transporting blood components using an unmanned aerial vehicle. Disaster medicine. 2022. N 2. P. 65-69. (in Russian).
2. Saveliev A., Lebedeva V., Lebedev I., Uzdiaev M. An Approach to the Automatic Construction of a Road Accident Scheme Using UAV and Deep Learning Methods. Sensors.
2022. V. 22, N 13. P. 4728. https://doi.org/10.3390/s22134728.
3. Astapova M.A., Lebedev I. V., Uzdiaev M. Y. The methodology for unmanned aerial vehicle trajectory forming for the autonomous gathering of visual data on electric powerline defects in infrared and ultraviolet spectra. Modeling, optimization and information technology .
2023. V. 11, N 1. (in Russian). https://doi.org/10.26102/2310-6018/2023.40.L003.
4. Sevostyanova N., Lebedev I., Lebedeva V., Vatamaniuk I. An Innovative Approach to Automated Photo-Activation of Crop Acreage Using UAVs to Stimulate Crop Growth. Informatics and Automation. 2021. V. 20, N 6. P. 1395-1417. (in Russian). https://doi.Org/10.15622/ia.20.6.8.
5. Gubanov B., Lebedeva V., Lebedev I., Astapova M. Algorithms and Software for Evaluation of Plant Height in Vertical Farm Using UAVs. In Agriculture Digitalization and Organic Production: Proceedings of the Second International Conference. 2022. P. 351-362. https://doi.org/10.1007/978-981-19-7780-0_31.
6. Lebedev I., Erashov A., Shabanova A Accurate autonomous UAV landing using vision-based detection of ArUco-marker. In International Conference on Interactive Collaborative Robotics. 2020. P. 179-188. https://doi.org/10.1007/978-3-030-60337-3^18.
7. Anikin D., Ryabinov A., Saveliev A., Semenov A. Autonomous Landing Algorithm for UAV on a Mobile Robotic Platform with a Fractal Marker. International Conference on Interactive Collaborative Robotics. 2023. P. 357-368. https://doi.org/10.1007/978-3-031-43111-1 32.
8. Van L., Qi J., Wang M., Wu C., Xin J. A safe landing site selection method of UAVs based on LiDAR point clouds. 2020 39th Chinese Control Conference (CCC). 2020. P. 6497-6502.
9. Kalaitzakis M., Carroll S., Ambrosi A., Whitehead C., Vitzilaios N. Experimental comparison of fiducial markers for pose estimation. In 2020 International Conference on Unmanned Aircraft Systems (ICUAS). 2020. P. 781-789.
10. Zakiev A. Pilot Virtual Experiments on ArUco and ArTag Systems Comparison for Fiducial Marker Rotation Resistance. Smart Innovation, Systems and Technologies. 2020. V. 154. P. 455-464.
11. Van L., Qi J., Wang M., Wu C., Xin J. EA safe landing site selection method of UAVs based on LiDAR point clouds. 2020 39th Chinese Control Conference (CCC). 2020. P. 6497-6502.
12. Matsumoto T., Premachandra C. Depth Sensor Application in Ground Unevenness Estimation for UAV Emergency Landing. 2023 IEEE Sensors Applications Symposium (SAS). 2023. P. 1-6.
13. Liu F., Shan J., Xiong B., Fang Z. Depth A real-time and multi-sensor-based landing area recognition system for UAVs. Drones. 2022. V. 6, N 5. P. 118.
14. Kikumoto C., Harimoto Y., Isogaya K., Yoshida T., Urakubo, T. Landing site detection for UAVs based on CNNs classification and optical flow from monocular camera images. Journal of Robotics and Mechatronics. 2021. V. 33, N 2. P. 292-300.
15. Desaraju V.R., Michael N., Humenberger M., Brockers R., Weiss S., Matthiesm L.H. Vision-based landing site evaluation and informed optimal trajectory generation toward autonomous rooftop landing. Robotics: Science and Systems. 2014.
16. Hinzmann T., Stastny T., Cadena C., Siegwartm R., Gilitschenski I. Free LSD: Priorfree visual landing site detection for autonomous planes. IEEE Robotics and Automation Letters. 2018. V. 3, N 3. P. 2545-2552.
17. Paul H., Miyazaki R., Ladig R., Shimonomura K. TAMS: development of a multipurpose three-arm aerial manipulator system. Advanced Robotics. 2021. V. 35, N 1. P. 31-47.
18. Paul H., Miyazaki R., KomAnami T., Ladig R., Shimonom,u,ra K. A versatile aerial manipulator design and realization of UAV take-off from a rocking unstable surface. Advanced Robotics. 2021. V. 11, N 19. P. 9157.
19. Cabuk N. Design and kinematic analysis of proposed adaptive landing gear for multirotor UAV. El-Cezeri. 2022. V. 9, N 1. P. 159-170.
20. Huangm T.H., Elibol A., Chong N.Y. A Design for UAV Irregular Surface Landing Capability. Proceedings of the 2020 17th International Conference on Ubiquitous Robots (UR). 2020.
21. Huang T., Elibol A., Chong N.Y. Enabling landings on irregular surfaces for unmanned aerial vehicles via a novel robotic landing gear. Intelligent Service Robotics. 2022. V. 15, N 2. P. 231-243.
22. Paul H., Miyazaki R., Ladig R., Shimonomura K. Landing of a multirotor aerial vehicle on an uneven surface using multiple on-board manipulators. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). P. 231-243.
23. Paul H., Martinez R.R., Ladig R., Shimonomura K. Lightweight Multipurpose Three-Arm Aerial Manipulator Systems for UAV Adaptive Leveling after Landing and Overhead Docking. Drones. 2022. V. 6, N 12. P. 380.
24. Baker S., Soccol D., Postula A., Srinivasan M. V. Passive landing gear using coupled mechanical design. Proceedings of Australasian Conference on Robotics and Automation. 2013. P. 1-8.
25. Sarkisov Y.S., Yashin G.A., Tsykunov E.V., Tsetserukou D. Dronegear: A novel robotic landing gear with embedded optical torque sensors for safe multicopter landing on an uneven surface. IEEE Robotics and Automation Letters. 2018. V. 3, N 3. P. 1912-1917.
26. Tsetserukou D., Tadakuma R., Kajimoto H., Tachi S. Optical torque sensors for implementation of local impedance control of the arm of humanoid robot. Proceedings 2006 IEEE International Conference on Robotics and Automation. 2006. P. 1674-1679.
27. Baker S., Soccol D., Postul, A., Srinivasan M. V. Passive landing gear using coupled mechanical design. In Proceedings of Australasian Conference on Robotics and Automation. 2013. P. 1-8.
28. Condotta I.C., Brown-Brandl T.M., Pitla S.K., Stinn J.P. Silva-Miranda K.O. Evaluation of low-cost depth cameras for agricultural applications. Computers and Electronics in Agriculture. 2020. V. 173. P. 105394. https://doi.Org/10.1016/j.compag.2020.105394
29. Irfan M., Dalai S., Kishore K., Singh S., Akbar S.A. Vision-based guidance and navigation for autonomous MAY in indoor environment. In 2020 11th International Conference on Computing, Communication and Networking Technologies (ICCCNT). 2020. P. 1-5.
Поступим в редакцию 13.11.2023
