CC BY
12Труды МАИ. Выпуск № 114 УДК 004.383
http://trudymai.ru/ DOI: 10.34759/trd-2020-114-14
Мультиспектральное оптико-электронное устройство для автономной мобильной платформы экологического мониторинга
Чернецкая И.Е.*, Спевакова С.В.**
Юго-Западный государственный университет, ЮЗГУ, ул. 50 лет Октября, 94, Курск, 305040, Россия *e-mail: white 731 @yandex. ru **e-mail: sspev@yandex. ru
Аннотация
В статье обосновывается использование мультиспектральных оптико-электронных датчиков, для решения задачи повышения быстродействия устройства для автономной мобильной платформы экологического мониторинга. Предложена математическая модель функционирования разработанного устройства. Приведена структурно-функциональная организация мультиспектрального оптико-электронного устройства для автономной мобильной платформы экологического мониторинга. Представлены схема программно-аппаратного стенда и результаты экспериментальных исследований.
Ключевые слова: мультиспектральный датчик, устройство управления, автономная мобильная платформа, экологический мониторинг, распознавание изображений.
Статья поступила 11.09.2020
Труды МАИ. Выпуск № 114 http://trudymai.ru/
В современном мире широкое применение в различных отраслях народного
хозяйства, науки, промышленности находят оптико-электронные устройства (ОЭУ),
позволяющие формировать изображение наблюдаемых объектов, анализировать их
параметры в изменяющихся условиях наблюдения [1]. Такие устройства могут быть
использованы в системах слежения, бесконтактного контроля состояния объектов,
распознавания окружающей обстановки, построения маршрута [2].
Одной из задач, является построение оптико-электронного устройства
управления автономной мобильной платформой для экологического мониторинга.
Такие платформы могут применяться в условиях, опасных для здоровья человека, при
анализе радиационной, химической, бактериологической загрязненности так и при
круглосуточном мониторинге территориально удаленных мест [3]. Но
функционирование данных устройств подразумевает использование их на не
подготовленных заранее территориях, со сложным ландшафтом, наличием преград, как
временных, так и постоянных, точки сбора материалов для анализов могут быть не
обеспечены подъездными путями с наличием разметки [4].
Обработка данных в современных ОЭУ основывается на информации,
полученной от оптико-электронного датчика, методах и алгоритмах анализа
изображения, критериях оценки качества функционирования устройства и
обусловлена, обычно, наблюдением в отдельном диапазоне длин волн, что не всегда
позволяет обеспечить необходимое качество для решения задач распознавания
сложных, многокомпонентных изображений. Поэтому для повышения качества
Труды МАИ. Выпуск № 114 http://trudymai.ru/
распознавания объектов изображения и возможности работы устройства при
различных внешних помехах необходимо применять мультиспектральные датчики,
позволяющие получать изображения в нескольких спектральных диапазонах.
Использование данных, полученных в разных спектральных диапазонах, позволяет повысить качество и информативность результата при выделении объектов изображений. Решению таких задач посвящены работы ученых Г. Хемани (H. Hemani), С. Ричард (C. Richard), В.И. Антюфеев, В.В. Тарасов, Р.Г. Хафизов, Д.В. Сухомлинов и других [5-9].
Решение задач разработки автоматических систем управления, на основе распознавания и анализа изображений, нашло место в работах W. Hess, В.Е. Павловский, Guolai Jiang [9-14].
На основе анализа научных публикаций было выявлено, что работы представленных ученых, недостаточно освещают использование информации от датчиков, работающих в различных спектральных диапазонах, при проектировании устройств управления автономными мобильными платформами, что для улучшения показателей быстродействия и достоверности результата необходимо применять многофункциональные методы и алгоритмы обработки изображений, позволяющих снизить вычислительную сложность и повысить точность результатов [3, 15]. Это позволило сформулировать основные задачи исследования.
Труды МАИ. Выпуск № 114 http://trudymai.ru/
Постановка задачи
На данный момент проблемой всех существующих автономных робототехнических систем является навигационная подсистема [12]. Для успешной ориентации в пространстве подсистема мобильной платформы должна прокладывать маршрут, управлять параметрами движения, получать и достоверно обрабатывать информацию от датчиков об окружающей среде. Уточнять свое местоположение с учетом привязки к местности. Автономная платформа должна определять собственные координаты и выбирать вектор движения только самостоятельно, без участия человека, на основании данных датчиков. Системы управления на основе искусственного интеллекта, создаваемые для автономных мобильных платформ, ориентированы на поддержку постоянного опроса датчиков для оперативного принятия решения об изменении пути. Таких циклов может быть несколько - один ответственен за обход препятствий, другой за следование по траектории и т. д.
Для построения маршрута необходимо получить информацию об объектах, препятствиях, находящихся на рабочей сцене, форма и размеры которых могут быть различны. Особого внимания заслуживает ситуация, когда препятствия являются подвижными, т.е. могут изменить свое местоположение в процессе передвижения мобильной платформы. В таком случае они могут оказаться на пути следования робота по заранее сформированному маршруту, что влечет за собой инициализацию процесса изменения исходного маршрута. Схожая ситуация возникает при обнаружении
препятствия, расположенного за другим объектом [13].
Труды МАИ. Выпуск № 114 http://trudymai.ru/
Структура и природа препятствий тоже различные, так, например, сложно
определить водную преграду или обрыв, которые при прокладке маршрута необходимо учитывать.
Для решения подобных задач необходимо использовать специализированные устройства, позволяющие достоверно и с заданной точностью, осуществлять локализацию областей рабочей сцены, содержащие препятствия, в постоянно меняющихся условиях наблюдения. Так как в процессе движения, во входных данных устройства управления автоматических подвижных платформ присутствует неопределенность за счет расположения окружающих объектов как, динамических так и стационарных, сложности ландшафта, погодных явлений. Такие устройства должны обеспечивать функционирование в автоматическом режиме без постоянного присутствия человека.
Технической задачей является создание мультиспектрального оптико-электронного устройства для автономной мобильной платформы экологического мониторинга, осуществляющего локализацию объектов рабочей сцены по изображениям, полученным в различных спектральных диапазонах, управляющего платформой и выделяющего стационарные и динамические объекты в поле зрения устройства.
Труды МАИ. Выпуск № 114 http://trudymai.ru/
Математическая модель функционирования мультиспектрального оптико-
электронного устройства для автономной мобильной платформы экологического
мониторинга
Математическая модель MPS функционирования мультиспектрального оптико-электронного устройства для автономной мобильной платформы экологического мониторинга (АМПЭМ) состоит из следующих частных подмоделей: - модели Мт ввода данных с оптико-электронных датчиков:
1п (Л, у) = Мтр (Е(и, w), 5) ,
(1)
где I« - амплитуда яркости пиксела на изображении с «-го датчика, (х,у) -координаты пикселя на изображении, Е - поток излучения непрерывной рабочей сцены из точки с координатами (и^), S - спектральный диапазон датчика;
- модели М. ¿ввода данных с лидара:
г
Р (К) = М1прЬ Р0Афя(Я)АГЯ~2 ехр V
[Я
- 2] а(т)йт
(2)
где Р(Д) - мгновенное значение мощности, принимаемой с расстояния Я; Р0 -мощность лазерного импульса; А R=(c• т)/2 - пространственное разрешение; с -скорость света; т - длительность лазерного импульса; - объемный коэффициент рассеяния назад; Аг - эффективная площадь приемной апертуры; а - объемный коэффициент ослабления;
- модели М фильтрации систематического и случайного шумов изображений:
Труды МАИ. Выпуск № 114 http://trudymai.ru/
у)=мп (У,(у2(1п))), (3)
где 1Мп)(х, у) - значение уровня яркости точки изображения после фильтрации с координатами (х,у), полученных от п-го датчика, V, у2 - функции фильтрации шумов изображений.
- модели Мд обнаружения множества объектов в поле зрения устройства, путем
получения мультиспектрального изображения объединенного из кадров, полученных в нескольких спектральных зонах (400-500нм, 500-600нм, 600-700нм):
О = Мч (1п, Р(Я)), (4)
где О - множество объектов в пространстве полученное посредством объединения отдельных сегментов изображений, в разных спектральных диапазонах, в единые объекты с учетом расстояния до них.
- модели М пространственной привязки обнаруженных объектов относительно системы координат устройства [3].
- модели корректировки маршрута с учетом обнаруженных препятствий:
< X , У >= Мтар(< X Я >, < Хрп, Урп, *Рп, АХрп, АуРп , >) , (5)
где < х, у > - множество точек скорректированного маршрута для АМПЭМ, < Xl, ^ > - множество точек исходного маршрута, построенного с использованием системы позиционирования.
Разработанная математическая модель МР8 запишется в следующем виде:
Мр8 = Мтар (МХ¥2 (Мч (Мп (Мпр (Е(и, м>), Б)), М1трР ))) (6)
7
Труды МАИ. Выпуск № 114 http://trudymai.ru/
и описывает процесс построения маршрута для АМПЭМ с учетом выделенных,
на пути следования, динамических и статических объектах.
Новизна разработанной математической модели заключается в вычислении
трехмерных координат геометрического центра и размеров выделенных объектов в
пространстве по последовательности изображений, полученных в различных
спектральных диапазонах, от оптико-электронных датчиков, с подвижной системы
наблюдения, в сложных условиях что позволяет скорректировать исходный маршрут
АМПЭМ, сформированный с помощью систем позиционирования, с учетом
обнаруженных препятствий, тем самым повысить точность пространственной привязки
АМПЭМ. Повышение быстродействия достигается путем обнаружения разнородных
объектов в различных спектральных диапазонах, по цвету и классификации исходя из
величины альбедо. Повышение точности расчета расстояния до объекта достигается
использованием информации от лазерного дальномера.
Разработка структурно-функциональной организации мультиспектрального оптико-электронного устройства для автономной мобильной платформы
экологического мониторинга
Структурно-функциональная организация мультиспектрального оптико-
электронного устройства для автономной мобильной платформы экологического
мониторинга представлена на рисунке 1. Устройство содержит группу отдельных
модулей, выполняющих операции, согласно разработанным алгоритмам. Все модули,
Труды МАИ. Выпуск № 114 http://trudymai.ru/
за исключением мультиспектрального оптико-электронного датчика (МОЭД), оптико-
электронного датчика (ОЭД), лидара (ЛД), контроллера системы позиционирования
(КП), блока ОЗУ (БОЗУ), радиопередающего блока (РБ) реализованы в ПЛИС [20].
Новизной оптико-электронного устройства локализации объектов рабочей сцены по
изображениям, полученным в различных спектральных диапазонах является введение
мультиспектральных датчиков и модуля выделения объектов, что позволяет снизить
вычислительную сложность задачи выделения объектов рабочей сцены, модулей
корректировки оценки дальности, вычисления трехмерных координат объектов,
модуля калибровки по эталонному объекту с источниками излучения в
ультрафиолетовой (УФ), видимой (ВИ) и инфракрасной (ИК) областей спектра,
уточнения исходного маршрута, позволяющего повысить точность позиционирования
АМПЭМ.
Рисунок 1 - Мультиспектральное оптико-электронное устройство для автономной мобильной платформы экологического мониторинга Устройство функционирует следующим образом. Изображение от МОЭД в виде
массива из пяти кадров, полученных в разных спектральных диапазонах (475нм,
560нм, 670нм, 720нм, 850нм) поступает в модуль фильтрации где проходит процесс
детекции и сглаживания систематических и случайных помех, далее массив
изображений передается в блок формирования мультиспектрального изображения
(БФМИ) где они обрабатываются в соответствии с алгоритмом представленном на
рис.3, одновременно с этим, кадр изображения из оптико-электронного датчика (ОЭД)
передается в модуль фильтрации и обрабатывается, через блок радиопередачи (РБ)
поступает команда инициализации устройства и исходный маршрут передвижения
автономной мобильной платформы в виде последовательности точек представленной в
формате градусы, минуты и секунды (51°44'42.8", 36°11'58.2"), от ЛД в модуль
10
Труды МАИ. Выпуск № 114 http://trudymai.ru/
корректировки оценки дальности (МКОД) поступает массив данных о расстоянии до
объектов рабочей сцены с шагом горизонтального углового разрешения 0,05°. Далее
мультиспектральное изображение поступает в модуль выделения объектов рабочей
сцены (МВОРС) где происходит выделение областей изображения, соответствующие
объектам которые передаются в блок ОЗУ (БОЗУ) и модуль расчета трехмерных
координат (МРТК) где происходит расчет геометрических центров выделенных
объектов и их размеров, результат вычислений в виде массива координат (х,у^) п-го
объекта передается в МКОД, где они подвергаются процессу уточнения относительно
данных полученных от ЛД, что позволяет добиться повышения точности определения
трехмерных координат и размеров объектов и передаются в модуль уточнения
исходного маршрута. За счет обработки мультиспектрального изображения устройство
позволяет выделять объекты, расположенные на плоскости движения, такие как
углубления грунта, заполненные жидкостью, в модуле уточнения исходного маршрута
происходит расчет влияния выделенных объектов на заданный маршрут автономной
мобильной платформы, если на пути следования был детектирован объект, маршрут
перестраивается с учетом обхода препятствия и передается в блок управления, блок
управления формирует команды для блока контроллеров двигателей, данные
полученные на текущем кадре сохраняются в блок оперативного запоминающего
устройства. Для дальнейшего использования, данные полученные на предыдущем шаге
подлежат удалению.
Труды МАИ. Выпуск № 114 http://trudymai.ru/
Результаты экспериментальных исследований
Для подтверждения работоспособности и определения соответствия заданным требованиям необходимо провести экспериментальные исследования предложенного решения. Для этого предложим следующий программно-аппаратный стенд, в который входят:
- подвижная платформа, обеспечивающая перемещение устройство в заданном направлении;
- аппаратный модуль Zynq UltraScale+ MPSoC ZCU106, на базе ПЛИС для обработки изображений и реализации алгоритмов;
- персональная ЭВМ для размещения аппаратного модуля и управления программно-аппаратным стендом и подвижной платформой;
- мультиспектральная камера RT-2400UV;
- модуль видеокамеры IMX219;
- лидар;
- контроллер позиционирования GPS/Глонасс;
- радиопередающий блок 3G modem;
- калибровочный объект.
Структурно-функциональная схема программно-аппаратного стенда представлена на рисунке 2.
: Мулътиспектр.
: камера
\ КТ-2400ЦУ
\ Модуль
: видеокамеры
\ 1МХ219
ьлоя контроллера двигателей
Лидар
Глонасс модуль
Подвижная платформа
Рисунок 2 - Структурно-функциональная схема программно-аппаратного стенда
Исследование параметров мультиспектрального оптико-электронного устройства для автономной мобильной платформы экологического мониторинга проводилось в соответствии с методикой экспериментальных исследований по реальным изображениям рабочей сцены с априори известным местоположением эталонных объектов. В процессе эксперимента предварительно выполнялась калибровка оптико-электронных датчиков, установленных на подвижной платформе, далее после инициализации, изображения от мультиспектральной камеры и модуля видеокамеры записывались через коммуникационный модуль в собственную память модуля UltraScale+, данные от лидара и Глонасс модуля поступали через коммуникационные порты UltraScale+. Через 3G модем передавались координаты маршрута, заведомо
Труды МАИ. Выпуск № 114 http://trudymai.ru/
проходящего через объекты, расположенные на рабочей сцене. Далее проводилось
исследование работы отдельных модулей, реализованных на базе модуля
UltraScale+, в соответствии со схемой структурно-функциональной организации,
представленной на рисунке 2. Полученные данные о количестве выделенных объектов,
их трехмерных координатах, координатах уточненного маршрута использовались для
оценки погрешности вычислений.
На рисунке 3 представлено изображение рабочей сцены, зафиксированное мультиспектральным датчиком в ультрафиолетовом, видимом и инфракрасном диапазонах.
Рисунок 3 - Изображение рабочей сцены В процессе работы предложенного устройства, по изображениям, полученным в различных спектральных диапазонах, осуществляется обнаружение разнородных объектов по цвету, и классификация их исходя из величины альбедо.
Классификатор отражающей способности различных материалов был получен путем машинного обучения модуля выделения объектов рабочей сцены, в различных условиях окружающей среды. Обучение было направлено на получение результата классификации объекта с заданной достоверностью. В результате эксперимента в
Труды МАИ. Выпуск № 114 http://trudymai.ru/
классификатор были внесены следующие группы: водные объекты, биомасса зеленых
растений, почва, кора - ткань растений не способная к фотосинтезу, металлы.
На рисунке 4 изображен результат выделения водного объекта, расположенного
на рабочей сцене.
Рисунок 4 - Выделение водного объекта После классификации изображения и окраски выделенных объектов в различные цвета получим результат, представленный на рисунке 5.
Рисунок 4 - Результат классификации объектов
Данные, полученные в ходе эксперимента, о количестве выделенных объектов,
их трехмерных координатах, координатах уточненного маршрута использовались для
сравнительного анализа с известной моделью 2.5D map with LiDAR and Camera [14],
оценки погрешности вычислений и представлены в таблице 1.
Таблица 1 -Результаты экспериментальных исследований
2.5D map Предложенный
Параметр with LiDAR and Camera метод
Среднеквадратическое отклонение
позиционирования RMSE (%) :
-дальность до 10м 0,187 0,328
- дальность 100м 0,521 0,447
Средняя абсолютная ошибка
позиционирования MAPE, (%)
-дальность до 10м 0,169 0,289
- дальность 100м 0,467 0,397
Достоверность выделения динамического
объекта на удалении до 100 м:
один объект 0,95 0,98
несколько объектов 0,95 0,95
один объект с помехой - 0,95
несколько объектов с помехой - 0,80
Время обнаружения объекта и
вычисления его координат, с 6,6 0,04
На рисунках 5, 6 представлены экспериментальные и расчетные зависимости характеристик разработанного устройства.
Рисунок 5 - График относительной погрешности вычисления
координат объектов
Рисунок 6 - График зависимости достоверности выделения
объектов от расстояния
Выводы
В ходе эксперимента, проведены исследования разработанного мультиспектрального оптико-электронного устройства для автономной мобильной платформы экологического мониторинга, в различных условиях и на разном удалении выделяемого объекта от подвижной платформы с системой технического зрения, полученные данные позволяют оценить соответствие погрешности определения координат наблюдаемого объекта расчетным и экспериментальным путем. Анализ результатов экспериментальных исследований и математического моделирования подтвердил адекватность разработанных метода и алгоритма и определяет трехмерные координаты объектов с погрешностью, на удалении до 10м - 0,35 %, на удалении 100 м - 0,45%. Достоверность выделенного объекта, на расстоянии до 100 м включительно, находится в пределах 0,95, на удалении свыше 100 метров достоверность снижается, это обусловлено дальностью действия лидара. При сравнении с аналогичным решением [3], можно сделать вывод, что на удалении до 100 метров, предложенный метод имеет на 16% ниже среднюю абсолютную погрешность позиционирования, по сравнению с аналогичным способом. За счет использования мультиспектральных оптико-электронных датчиков, временные затраты на обнаружение объекта и вычисления его координат значительно снизились, предложенный метод затратил 0,04 секунды, прямому аналогу понадобилось 6,6 секунды.
Труды МАИ. Выпуск № 114 http://trudymai.ru/
Библиографический список
1. Хафизов Р.Г., Охотников С.А. Распознавание непрерывных комплекснозначных контуров изображений // Известия высших учебных заведений. Приборостроение. 2012. Т. 55. № 5. С. 3 - 8.
2. Спеваков А.Г. Метод выделения движущихся объектов // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2013. № 1. С. 233 - 237.
3. Spevakov A.G., Spevakova S.V., Matiushin I.S. Detection objects moving in space from a mobile vision system // Radio Electronics, Computer Science, Control, 2019, no. 4 (51), pp. 103 - 110. DOI: https://doi.org/10.15588/1607-3274-2019-4-10
4. Спевакова С.В. Построение маршрута мобильного робота на основе анализа мультиспектральных данных // Интеллектуальные и информационные системы. Интеллект-2019: сборник трудов (Тула, 19-20 ноября 2019). - Тула: Тульский государственный университет, 2019. С. 334 - 337.
5. Антюфеев В.И., Быков В.Н. Сравнительный анализ алгоритмов совмещения изображений в корреляционно-экстремальных системах навигации летательных аппаратов // Авиационно-космическая техника и технология. 2008. № 1. С. 70 - 78.
6. Ширабакина Т.А. Стереоскопическая оптико-электронная система определения параметров динамических объектов в реальном времени // Датчики и системы. 2004. № 6. С. 65 - 67.
Труды МАИ. Выпуск № 114 http://trudymai.ru/
7. Барабин Г.В., Гусев В.Ю. Фотограмметрический метод построения единого
изображения при спутниковой съемке секционированным датчиком изображений // Труды МАИ. 2013. № 71. URL: http://trudymai.ru/published.php?ID=46740
8. Зубарев, Ю.Б., Сагдуллаев Ю.С., Сагдуллаев Т.Ю. Спектрозональные методы и системы в космическом телевидении // Вопросы радиоэлектроники. Серия техника телевидения. 2009. № 1. С. 47 - 64.
9. Шипко В.В. Метод и алгоритмы межканальной градиентной реконструкции многоспектральных изображений в оптико-электронных комплексах воздушной и космической разведки // Труды МАИ. 2019. № 104. URL: http: //trudymai .ru/published.php?ID= 102211
10. Бондаренко М.А., Дрынкин В.Н. Оценка информативности комбинированных изображений в мультиспектральных системах технического зрения // Программные системы и вычислительные методы. 2016. № 1. С. 64 - 79.
11. Казбеков Б.В. Совмещение инфракрасных изображений с изображениями видимого диапазона в задачах идентификации подвижных наземных целей с борта беспилотного летательного аппарата // Труды МАИ. 2013. № 65. URL: http: //trudymai .ru/published.php?ID=35912
12. Князь В.В., Бусурин В.И. Автоматическое обнаружение препятствий на взлётно-посадочной полосе средствами технического зрения // Труды МАИ. 2014. № 81. URL: http: //trudymai .ru/published.php?ID=57839
Труды МАИ. Выпуск № 114 http://trudymai.ru/
13. Krishnamoorthy S., Soman K.P. Implementation and comparative study of image fusion
algorithms // International Journal of Computer Applications, 2010, vol. 9, no. 2, pp. 25 - 35. DOI: 10.5120/1357-1832
14. Jiang G. et al. A simultaneous localization and mapping (SLAM) framework for 2.5 D map building based on low-cost LiDAR and vision fusion //Applied Sciences, 2019, vol. 9, no. 10, pp. 2105. DOI: 10.3390/app9102105
15. Бехтин Ю.С., Емельянов С.Г., Титов Д.В. Теоретические основы цифровой обработки изображений встраиваемых оптико-электронных систем: монография. - М.: Аргамак-Медиа, 2016. - 296 с.
16. Kalutskiy I., Spevakova S., Matiushin Ju. Method of Moving Object Detection from Mobile Vision System // International Russian Automation Conference «RusAutoCon -19», 2019, Sochi, Russia. DOI: 10.1109/RUSAUT0C0N.2019.8867632
17. Newcombe R.A. et al. KinectFusion: Real-time dense surface mapping and tracking // 10th IEEE International Symposium on Mixed and Augmented Reality, 2011, pp. 127 - 136. DOI: 10.1109/ISMAR.2011.6162880
18. Kerl C., Sturm J., Cremers D. Dense visual SLAM for RGB-D cameras // In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Chicago, IL, USA, 14-18 September 2014, pp. 2100-2106. DOI: 10.1109/IRQS.2013.6696650
19. Шипко В.В. Помехоустойчивое комплексирование мультии гиперспектральных изображений в оптико-электронных комплексах информационного обеспечения
Труды МАИ. Выпуск № 114 http://trudymai.ru/
современных и перспективных вертолетов // Труды МАИ. 2020. № 110. URL:
http://trudymai.ru/published.php?ID=112863. DOI: 10.34759/trd-2020-110-12
20. Спевакова С.В., Калуцкий И.В. Подвижное стереоскопическое устройство
выделения динамических объектов. Патент RU 2 714 603 C1, опубл. 23.01.2020.
Multispectral electronic device for autonomous mobile platform of ecological
monitoring
Chernetskaya I.E.*, Spevakova S.V.**
Southwestern State University, SWSU, 94, str. 50 Let Oktyabrya,
Kursk, 305040, Russia *e-mail: white731 @yandex.ru **e-mail: sspev@yandex. ru
Abstract
A special place in robotic systems application is occupied by the task of developing
specialized devices for orientation controlling of the autonomous mobile platforms (AMP)
operating in constantly changing observation conditions. One of the tasks consists in
developing an optoelectronic control device for controlling autonomous mobile platform for
ecological monitoring. Such platforms can be used under conditions dangerous to human
health, for analyzing radiation, chemical, and bacteriological contamination, as well as for
round-the-clock monitoring of geographically remote places. However, operation of these
devices involves employing them on the territories not prepared in advance, with complex
landscape, or presence of obstacles, both temporary and permanent. The points for data
collection for analysis may not be provided with access ways with road marking. A promising
trend is optoelectronic sensors application to obtain information on the elements of the work
stage, along the AMP path, which in its turn leads to the in the computational complexity
increase of the image recognition algorithms and imposes additional requirements on the
performance of the control device element base. This leads to the increase in weight and
1
decrease in the criterion of the AMP autonomy. The purpose of the presented article consists in the performance improving of the device for the autonomous mobile environmental monitoring platform. The authors propose to employ multispectral video sensors that allow obtaining an image of the work scene in several spectral ranges, and hybrid image processing methods that will reduce computational complexity and improve the results accuracy. The problem solution of improving the speed of selection of the objects located on the path of the autonomous mobile environmental monitoring platform is achieved by detecting heterogeneous objects in various spectral ranges, by color and classification based on the albedo value. The developed device novelty consists in calculating three-dimensional coordinates of the geometric center, and the size of the objects highlighted in space by a sequence of images, obtained in drastic conditions in various spectral ranges from video sensors and lidar, from the mobile surveillance system. It allows adjusting the AMP original route, formed by positioning systems, based on the detected obstacles, increasing thereby the speed and precision of the AMP spatial reference. As the result of experimental studies, a comparative analysis of the devices, processing the multispectral imagery to search for the objects located in the field of view of video systems of observation was performed. A structural-functional diagram of multi-spectral mobile device for environmental monitoring platform was proposed. The article presents the description of the software-hardware test-bench employed for the experimental study by simulating the FPGA-based device. The authors were able to analyze the speed performance of individual blocks, which allowed
realize even blocks loading and the FPGA internal resources optimization, as well as confirm
mathematical substantiation of the proposed hybrid methods and assess the key characteristics of the device. As the result, it allowed reducing computational error at the distance of up to 100 m to the object, the RMSE up to 0.447%, MAPE - 0.397, and increase speed-performance. The object selection and its coordinates determination required 0.04 seconds.
The authors propose the presented solution implementation in the form of a device for autonomous mobile platforms control based on the FPGA. This will allow increasing performance of such platforms and reliability of the obtained results.
Keywords: multispectral sensor, controller, autonomous mobile platform, ecological, image recognition.
References
1. Khafizov R.G., Okhotnikov S.A. Izvestiya vysshikh uchebnykh zavedenii. Priborostroenie, 2012, vol. 55, no. 5, pp. 3 - 8.
2. Spevakov A.G. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. Seriya: Upravlenie, vychislitel'naya tekhnika, informatika. Meditsinskoe priborostroenie, 2013, no. 1, pp. 233 - 237.
3. Spevakov A.G., Spevakova S.V., Matiushin I.S. Detection objects moving in space from a mobile vision system, Radio Electronics, Computer Science, Control, 2019, no. 4 (51), pp.
103 - 110. DOI: https://doi.org/10.15588/1607-3274-2019-4-10
4. Spevakova S.V. Intellektual'nye i informatsionnye sistemy. Intellekt-2019: sbornik trudov, Tula, Tul'skii gosudarstvennyi universitet, 2019, pp. 334 - 337.
5. Antyufeev V.I., Bykov V.N. Aviatsionno-kosmicheskaya tekhnika i tekhnologiya, 2008, no. 1, pp. 70 - 78.
6. Shirabakina T.A. Datchiki i sistemy, 2004, no. 6, pp. 65 - 67.
7. Barabin G.V., Gusev V.Yu. Trudy MAI, 2013, no. 71. URL: http: //trudymai .ru/eng/published.php?ID=46740
8. Zubarev, Yu.B., Sagdullaev Yu.S., Sagdullaev T.Yu. Voprosy radioelektroniki. Seriya tekhnika televideniya, 2009, no. 1, pp. 47 - 64.
9. Shipko V.V. Trudy MAI, 2019, no. 104. URL: http://trudymai.ru/eng/published.php?ID=102211
10. Bondarenko M.A., Drynkin V.N. Programmnye sistemy i vychislitel'nye metody, 2016, no. 1, pp. 64 - 79.
11. Kazbekov B.V. Trudy MAI, 2013, no. 65. URL: http: //trudymai .ru/eng/published.php?ID=3 5912
12. Knyaz' V.V., Busurin V.I. Trudy MAI, 2014, no. 81. URL: http: //trudymai .ru/eng/published.php?ID=57839
13. Krishnamoorthy S., Soman K.P. Implementation and comparative study of image fusion algorithms, International Journal of Computer Applications, 2010, vol. 9, no. 2, pp. 25 - 35. DOI: 10.5120/1357-1832
14. Jiang G. et al. A simultaneous localization and mapping (SLAM) framework for 2.5 D map building based on low-cost LiDAR and vision fusion, Applied Sciences, 2019, vol. 9, no. 10, pp. 2105. DOI: 10.3390/app9102105
15. Bekhtin Yu.S., Emel'yanov S.G., Titov D.V. Teoreticheskie osnovy tsifrovoi obrabotki izobrazhenii vstraivaemykh optiko-elektronnykh system (Theoretical basics of digital image processing of embedded optoelectronic systems), Moscow, Argamak-Media, 2016, 296 p.
16. Kalutskiy I., Spevakova S., Matiushin Ju. Method of Moving Object Detection from Mobile Vision System, International Russian Automation Conference «RusAutoCon -19», 2019, Sochi, Russia. DOI: 10.11 Q9/RUSAUTOCON.2019.8867632
17. Newcombe R.A. et al. KinectFusion: Real-time dense surface mapping and tracking, 10th IEEE International Symposium on Mixed and Augmented Reality, 2011, pp. 127 - 136. DOI: 10.1109/ISMAR.2011.6162880
18. Kerl C., Sturm J., Cremers D. Dense visual SLAM for RGB-D cameras, In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Chicago, IL, USA, 14-18 September 2014, pp. 2100-2106. DOI: 10.1109/IRQS.2013.6696650
19. Shipko V.V. Trudy MAI, 2020, no. 110. URL: http://trudymai.ru/published.php?ID=112863. DOI: 10.34759/trd-2020-110-12
20. Spevakova S.V., Kalutskii I.V. Patent RU2 714 603 C1, 23.01.2020.
