CC BY
122
УДК 629.052.9
РАЗРАБОТКА ПРОГРАММНО-АППАРАТНОГО КОМПЛЕКСА ПОЛУНАТУРНОГО МОДЕЛИРОВАНИЯ ФУНКЦИОНИРОВАНИЯ ЦВЕТНОЙ ОПТИЧЕСКОЙ КОРРЕЛЯЦИОННО-ЭКСТРЕМАЛЬНОЙ СИСТЕМЫ НАВИГАЦИИ И НАВЕДЕНИЯ
В.В. Щербинин, Г. А. Кветкин, А.В. Пущин, А. А. Скибин
Рассматривается разрабатываемый программно-аппаратный комплекс полунатурного моделирования функционирования цветной оптической корреляционно-экстремальной системы навигации и наведения летательных аппаратов: его состав, особенности построения, возникающие проблемы и методы их решения. Приведены результаты тестовых испытаний.
Ключевые слова: КЭСНН, корреляционно-экстремальные системы навигации, квадрокоптер, эталонные изображения, фототопография.
В настоящее время все более широкое распространение получают системы цифровой обработки изображений, среди которых особое место занимают корреляционно-экстремальные системы навигации и наведения (КЭСНН) по оптическим полям. В АО «ЦНИИАГ» разрабатывается такая система, отличием которой от большинства имеющихся является использование не монохромных, а цветных изображений местности. Подробно теоретические аспекты разработки представлены в опубликованных работах [1-6], в которых также приведены основные результаты математического моделирования функционирования алгоритмов КЭСНН на основе синтезированных изображений или образцов ранее полученных реальных изображений. Следующим этапом разработки является проведение полунатурного моделирования, суть которого заключается в апробации созданных математических моделей на реальных данных, полученных в процессе летных экспериментов.
Как правило, эталонное изображение (ЭИ) КЭСНН формируется на основе топографического фотоплана [7] участка местности. Этапы подготовки ЭИ включают в себя получение топографических фотоснимков надлежащего качества, их преобразование и объединение в единый кадр, а также привязку полученного изображения к выбранной наземной системе координат, после чего следуют операции, связанные непосредственно с формированием ЭИ [1]. Для получения топографических фотоснимков чаще всего применяется пленочная или цифровая аэрофотосъемка с использованием камеры фотограмметрического класса с борта самолета, осуществляющего полет в крейсерском режиме. В ряде случаев для этой цели могут применяться и спутниковые снимки. Однако эти способы достаточно трудоемки ввиду организационной сложности получения таких данных, а также необходимости компенсации влияния атмосферы на цвет-
ное изображение. При таком подходе и для получения текущих изображений (ТИ) необходимо применять профессиональную аэрофотосъемку, что также влечет ряд трудностей.
Ввиду сложности и дороговизны организации традиционных аэрофото- и спутниковой съемок было решено использовать для этой цели малогабаритный дистанционно управляемый ЛА с установленной на нем фото-, видеокамерой потребительского класса.
Таким образом, программно-аппаратный комплекс должен включать:
• дистанционно пилотируемый летательный аппарат (ДПЛА);
• систему автоматического управления ДПЛА, включающую навигационную подсистему и автопилот;
• наземный пункт управления ДПЛА;
• фото-, видеокамеру;
• оборудование для угловой стабилизации камеры;
• программный комплекс подготовки летного эксперимента (задание параметров полета, маршрута следования, периода фотосъемки и др.).
Помимо этого, для непосредственной отработки алгоритмов КЭСНН требуется ноутбук с соответствующим программным обеспечением.
Выбор типа и модели ДПЛА
Совокупность технических элементов ЛА должна способствовать устойчивости в полете, достаточной для ведения фотосъемки обследуемой местности с удовлетворяющим ТЗ качеством. С учетом требований снижения трудоемкости эксперимента было принято решение использовать ДПЛА мультироторного типа, способный осуществлять вертикальный взлет и посадку. Данный тип ЛА подходит для проведения задач аэрофотосъемки по следующим причинам:
• возможность полета в режимах малых скоростей и висения;
• отличная управляемость;
• возможность осуществлять взлет/посадку в условиях сложного рельефа местности;
• большой выбор программ полета;
• широкий выбор вариантов крепления навесного оборудования.
На практике чаще всего используются мультироторные системы
следующих типов:
• трикоптер (3 двигателя);
• квадрокоптер (4 двигателя);
• гексакоптер (6 двигателей);
• октокоптер (8 двигателей).
Для решения поставленной задачи выбран квадрокоптер, соотношение преимуществ и недостатков которого представляется авторам наиболее рациональным.
Преимуществом квадрокоптера перед трикоптером является лучшая устойчивость в продольном и поперечном каналах управления, а также улучшенные характеристики тяговооруженности. Перед многороторными системами (>4) квадрокоптер имеет следующие преимущества:
• лучшие аэродинамические характеристики, позволяющие развивать большую скорость;
• меньшие массогабаритные характеристики и стоимость;
• большая энергоэфективность.
К преимуществам многороторных ЛА можно отнести: следующее:
• способность работать при отказе одного и более двигателей, в зависимости от типа, что повышает их отказоустойчивость;
• способность, ввиду большой тяговооруженности, работать с более тяжелой нагрузкой, в т.ч. с аккумуляторными батареями значительно расширенной емкости, что увеличивает радиус полета ЛА.
Для определения типоразмера квадрокоптера необходимо было установить массогабаритные характеристики камеры и системы ее угловой стабилизации.
Выбор фото-, видеокамеры
С целью получения снимков надлежащего качества необходимо было выбрать камеру, обладающую следующими свойствами:
• эффективное разрешение, достаточное для получения фотоснимков местности, на которых были бы различимы характерные объекты;
• фиксированное фокусное расстояние объектива для неизменного углового поля зрения;
• необходимые для закрепления на ДПЛА массогабаритные характеристики;
• допустимые работы в пыльных и влажных условиях.
Данным критериям соответствует камера GoPro Hero4 Black. Решающими аргументами в пользу ее выбора стали возможность гибкой настройки параметров съемки и обилие доступных на рынке аксессуаров, креплений и систем угловой стабилизации. В качестве последней выбран двухосный карданов подвес, выполненный на базе бесколлекторных двигателей. Это решение позволит получить более стабильное положение оптической оси камеры по сравнению с подвесами на коллекторных двигателях.
Синтез конструкции ДПЛА
В качестве основы ДПЛА была выбрана рама размером 650 мм в углепластиковом исполнении, обладающая всеми технологическими элементами для закрепления камеры на борту. В качестве силовой установки выбраны бесколлекторные двигатели постоянного тока с выходной характеристикой KV-580 и пропеллеры APC 13*4. Для питания силовой установки и бортовых систем выбраны литий-ионные полимерные (LiPo) батареи емкостью 5 Ач с номинальным напряжением 11,1 В.
После выбора основных элементов проведен расчет снаряженной массы ДПЛА:
• рама в сборе с системой управления и батареей - 1200 г;
• камера - 150 г;
• карданов подвес - 300 г.
Общая масса составляет 1650 г, что для данной конфигурации квад-рокоптера соответствует режиму работы двигателей на 60 % от максимальной мощности. С учетом емкости батарей, время полета без подзарядки составит порядка 30.. .40 мин.
При высоте полета 50 м и угловом поле зрения камеры, составляющем в выбранном режиме съемки 64,6*49,1°, в кадр будет попадать участок местности шириной 63 м и протяженностью 46 м. Для получения полного комплекта снимков территории площадью 1 га с перекрытием 60 % понадобится совершить 25.26 проходов. При средней скорости полета 20 км/ч (5,6 м/с) для получения того же значения коэффициента перекрытия вдоль траектории полета потребуется производить снимок один раз в 3,3 с, а время одного прохода составит 3 мин. Ожидаемая площадь покрытия за один вылет - до 330 000 кв. м. Для оперативного решения задачи потребуется комплект, по меньшей мере, из трех дополнительных батарей. Таким образом, на съемку всей территории будет затрачено порядка 90 мин, с учетом времени на замену батарей.
Требования и обоснование выбора автопилота
При создании программно-аппаратного комплекса особое внимание было уделено разработке системы автоматического управления полетом ДПЛА. В настоящее время на рынке представлено множество различных плат автопилотов, настраиваемых под конкретный тип ДПЛА. Первоначально авторами был рассмотрен вариант установки готовой платы автопилота (типа PixHawk), однако углубленный анализ характеристик показал, что доступные коммерческие автопилоты для решения рассматриваемых задач подобных нашей, не подходят по ряду причин, среди которых:
• недоступность исходного кода «прошивки» автопилота;
• ограниченные возможности задания полетных программ;
• ограниченный комплекс доступных датчиков первичной информации;
• инкапсулированные алгоритмы управления ДПЛА;
• ограниченный набор показаний телеметрии, которые можно получить с ЛА;
• ограниченное число настроек интерфейса наземного комплекса управления.
В результате тщательного изучения были выбраны необходимые датчики первичной и навигационной информации, а также разработаны алгоритмы системы автоматического управления ДПЛА на языке C++.
В качестве навигационных датчиков использованы готовые элементы: инерциальный измерительный модуль IMU IvenSense MPU-9250 и приемник спутниковой навигационной системы (СНС) GPS Ublox CAM-M8Q. Для определения высоты полета ДПЛА в состав также включен барометрический датчик BOSCH BMP-280. Разработанные алгоритмы легко адаптируются под любой тип микроконтроллеров и микропроцессоров, а в качестве основного полетного образца выбран микроконтроллер Atmel ATMega-2560. Для осуществления связи с внешними источниками и потребителями информации на плату устанавливается модуль беспроводной связи HM-10 Bluetooth module. Внешний вид платы автопилота представлен на рис. 1.
Рис. 1. Плата автопилота
Полученные основные технические характеристики разработанного автопилота:
• частота работы цикла программы - 150 Гц;
• частота съема информации с датчика СНС - 5 Гц;
Количество:
• портов UART - 4;
• портов I2C - 2;
• портов SPI - 1;
• портов ШИМ - 6;
• радиоприемных каналов - 8.
Автопилот поддерживает канал радиоуправления на частоте 2.4 ГГц на дальности до 2 км и два вида передачи телеметрии:
• ближний (до 50 м) в диапазоне радиочастоты 2,48 ГГц;
• дальний (до 2 км) в диапазоне радиочастоты 433 МГц.
По каналам телеметрии передается следующая информация:
• данные акселерометра, гироскопа, магнитометра, барометра;
• данные приемника СНС;
• навигационные параметры и углы ориентации;
• остаточный заряд батареи.
Программа автопилота легко может быть адаптирована под любой вид рамы, двигателей и пропеллеров. Кроме того, есть возможность комбинирования внешних и внутренних инерциальных датчиков, приемников СНС и прочих источников информации. Другой отличительной особенностью автопилота является возможность подключения внешних устройств, датчиков, вычислительных блоков. В программе автопилота заложен алгоритм чтения, обработки, вычисления параметров навигации и ориентации.
Преимуществами разрабатываемого автопилота являются кросс-платформенность и масштабируемость. Возможна реализация на всех видах платформ, которые поддерживают и могут выполнять код С++. Для реализации автопилота на контроллере достаточно выполнить подключение необходимых библиотек и добавить стандартные функции в соответствии с документацией автопилота.
Для отработки программы была разработана упрощенная математическая модель ДПЛА, с помощью которой можно имитировать характер его поведения при работе программы автопилота.
Комплекс управления ДПЛА
Комплекс включает в себя наземный пункт управления с программным обеспечением (ПО) подготовки и проведения летного эксперимента. ПО представляет собой кросс-платформенное приложение, которое работает на всех типах современных ПК. Программа написана на языке JavaScript, работает под управлением NodeJS. Возможности ПО существенно расширены по сравнению с таковыми у рассмотренных аналогов. Отличительными особенностями комплекса являются:
• возможность адаптации к любому типу приемо-передатчиков;
• возможность анализа телеметрии в режиме реального времени.
Образец рабочего окна программы представлен на рис. 2.
А-
Рис. 2. Рабочее окно программы управления автопилотом
Проведение предварительных летных испытаний
К настоящему времени авторам удалось провести ряд тестовых полетов квадрокоптера (рис. 3), по итогам которых производится окончательная настройка элементов системы автоматического управления и подбираются наиболее приемлемые значения параметров съемки камеры.
Рис. 3. Проведение пробного полета квадрокоптера
Результатом каждого полета является файл телеметрии и набор фотоснимков местности (рис. 4), сделанных с перекрытием порядка 50.60 %.
Рис. 4. Образец снимка, полученного при тестовом полете
Каждый такой снимок может быть использован в полунатурном моделировании в качестве ТИ, но для получения ЭИ необходимо предварительно осуществить «сшивку» набора кадров и привязку полученного изображения к географическим координатам. Данная операция может быть выполнена путем создания ортофотоплана [7] местности.
Создание ортофотоплана
Объединение отдельных высотных фотоснимков в единый кадр с привязкой к выбранной географической системе координат представляет собой типичную задачу фототопографии. Традиционно фототопографические задачи решаются методом ортофототрансформирования отдельных снимков и склейки накидным монтажом, т.е. путем преобразования исходной проекции снимков в ортогональную и объединения их в мозаичное полотно [8]. Для этого используют характерные точки на соседних кадрах, после чего снимки подвергают геометрическим преобразованиям и «сшивают» в единое поле таким образом, чтобы найденные точки совместились. Задание масштаба и привязка к системе координат отдельных кадров или полученного ортофотоплана в целом осуществляется по изображениям контрольных точек с заранее известными координатами. При этом необходимо учитывать геометрические искажения при проецировании трехмерной сцены на двухмерную плоскость, аберрации оптических систем и др.
В рамках современной фотограмметрии разработан и активно применяется развитый математический аппарат, учитывающий описанные выше искажения. Аппарат являющийся инвариантным к масштабу функций преобразования [9, 10], позволяет автоматически находить и строить
трехмерное плотное облако характерных точек по отдельным фотографиям объекта или местности, снятым со значительным перекрытием соседних кадров (не менее 60 %). Такая избыточность информации необходима для однозначного определения геометрии изображаемой сцены и внешней ориентации камеры во время, соответствующее съемке каждого из снимков. Полученное облако точек позволяет составить трехмерную модель поверхности, то есть карту высот объектов на местности. Далее по этим же фотоснимкам создается цветная текстура для поверхностей построенной модели.
Использование программного обеспечения, реализующего данный функционал (Agisoft РЬо1шсап, Р1х4Бшаррег, БгопеБер1оу, ОрепМУО, ОрепСУ и др.), позволит получить вертикальную ортогональную проекцию модели местности, что послужит основой для формирования ЭИ при полунатурном моделировании.
Заключение
В настоящее время создан программно-аппаратный комплекс в состав которого входит квадрокоптер с системой автоматического управления, наземный пункт управления ДПЛА, фото-, видеокамера с системой угловой стабилизации и программный комплекс подготовки летного эксперимента. С помощью данного комплекса возможно провести полунатурное моделирование функционирования цветной оптической КЭСНН, которое заключается в получении реальных снимков местности и апробации на их основе алгоритмов навигационной системы. Разработанный комплекс обеспечит получение эталонных и текущих изображений в условиях различного рельефа местности, разнообразной растительности и нескольких степеней урбанизации. Помимо этого появляется возможность проверки инвариантности разработанных алгоритмов КЭСНН к параметрам освещенности, влажности и сезонности.
Список литературы
1. Щербинин В.В. Построение инвариантных корреляционно-экстремальных систем навигации и наведения летательных аппаратов. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011.
2. Методы и алгоритмы функционирования цветной оптической корреляционно-экстремальной системы навигации летательных аппаратов / В.В. Щербинин, Е.В. Шевцова, Ю.С. Васильева, О.М. Чижевская // Гиро-скопия и навигация. 2012. Вып. 4 (79). С. 34 - 49.
3. Сравнительная оценка точностных характеристик цветных и монохромных оптических КЭСНН ЛА / В.В. Щербинин, Г.А. Кветкин, И.О. Дегтярев, Е.В. Шевцова // Известия Тульского государственного университета. Технические науки. 2015. Вып. 11. Ч. 2. С. 3 - 18.
4. В.В. Щербинин, Ю.С. Васильева, Е.В. Шевцова. Предварительные результаты оценки сезонной стабильности информативного параметра цветной оптической КЭСНН ЛА // Известия Тульского государственного университета. Технические науки. 2015. Вып. 11. Ч. 2. С. 19 - 27.
5. Исследование характеристик цветной корреляционно-экстремальной системы навигации и наведения летательного аппарата / В.В. Щербинин, Г. А. Кветкин, И.О. Дегтярев, Е.В. Шевцова // Известия Тульского государственного университета. Технические науки. 2016. Вып. 6. С. 103 - 113.
6. Предварительные результаты оценки влияния геометрических искажений на точностные характеристики цветной оптической КЭСНН ЛА / В.В. Щербинин, Ю.С. Васильева, А.В. Шевцов, Е.В. Шевцова // Известия Тульского государственного университета. Технические науки. 2016. Вып. 6. С. 142 - 147.
7. ГОСТ Р 52369-2005. Фототопография. Термины и определения. Введ. 01.01.2006. М.: Стандартинформ, 2005. 7 с.
8. Федотов Н.С. Фотограмметрическая обработка и дешифрование аэрофотоснимков. Фотограмметрия и дистанционное зондирование: метод. указания. Ухта: УГТУ, 2015. 34 с.
9. David G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints // Computer Science Department. University of British Columbia, Vancouver, Canada, 2004.
10. Juan L., Gwun O. A Comparison of SIFT, PCA-SIFT and SURF // International Journal of Image Processing (IJIP). 2009. Vol. 3. No. 4. P. 143 - 152.
Щербинин Виктор Викторович, д-р техн. наук, нач. научно-технического отделения, cniiag@cniiag. ru, Россия, Москва, АО ««Центральный научно-исследовательский институт автоматики и гидравлики»,
Кветкин Георгий Алексеевич, канд. техн. наук, нач. лаборатории, cniiag@cniiag.ru, Россия, Москва, АО ««Центральный научно-исследовательский институт автоматики и гидравлики»,
Пущин Алексей Викторович, инженер, cniiag@cniiag.ru, Россия, Москва, АО « Центральный научно-исследовательский институт автоматики и гидравлики»,
Скибин Александр Александрович, инженер, cniiag@,cniiag. ru, Россия, Москва, АО ««Центральный научно-исследовательский институт автоматики и гидравлики»
DEVELOPMENT OF THE HARDWARE AND SOFTWARE SUITE FOR SEMI-NATURAL MODELING OF FUNCTIONING OF A COLOR-VISION BASED CORRELATION-EXTREMAL AIRCRAFT NAVIGATION SYSTEM
V. V. Scherbinin, G.A. Kvetkin, A. V. Pushchin, A.A. Skibin
84
This paper describes the hardware and software suite developed for semi-natural modeling of functioning of a color-vision based correlation-extremal aircraft navigation system: its composition and features, problems and solution approaches. Results of test flights are provided.
Key words: CENS, correlation-extremal aircraft navigation systems, quadcopter, reference images, phototopography.
Scherbinin Victor Victorovich, doctor of technical sciences, head of research department, cniiagacniiag. ru, Russia, Moscow, Public Society "Central Research Institute for Automatics and Hydraulics ",
Kvetkin Georgy Alekseevich, candidate of technical sciences, head of laboratory, cniiag®,cniiag. ru, Russia, Moscow, Public Society "Central Research Institute for Automatics and Hydraulics",
Pushchin Alexey Victorovich, engeneer, cniiagacniiag.ru, Russia, Moscow, Public Society "Central Research Institute for Automatics and Hydraulics ",
Skibin Alexander Alexandrovich, engeneer, cniiaga cniiag. ru, Russia, Moscow, Public Society "Central Research Institute for Automatics and Hydraulics "
