CC BY
89
Раздел V. Техническое зрение
УДК 519.67(004.02)+007.52(004.93'11)
А.О. Пьявченко, А.В. Ильченко
МЕТОД ПРОСТРАНСТВЕННОЙ ЛОКАЛИЗАЦИИ СТАТИЧЕСКИХ ОБЪЕКТОВ ПО ДАННЫМ ДАТЧИКА ГЛУБИНЫ И RGB-КАМЕРЫ
Задача выполненных исследований состояла в улучшении качества работы бортовой системы технического зрения мобильной роботизированной платформы, обеспечивающей локализацию статических препятствий (объектов) в трехмерном априори недетерминированном окружающем пространстве за счет совместного применения бортовых датчиков глубины и RGB-камеры. В статье рассматривается комплексный метод пространственной локализации объектов, известный под названием DARP (Depth-Assisted Rectification of Patches, англ.). Выполнены оценки эффективности его применения для обнаружения и локализации объектов по данным бортовых датчиков глубины с применением различных вариантов детекторов устойчивых признаков. С целью повышения эффективности применения метода DARP для мобильных роботизированных платформ в его состав предложено ввести ряд алгоритмов SLAM (Simultaneous Location And Mapping, англ.). Так, в качестве детектора и дескриптора устойчивых признаков рекомендуется использовать ORB-метод (Oriented FAST and Rotated BRIEF, англ.), а анализ текущей ситуации выполнять с учетом предыстории ее развития. В результате на бортовом вычислителе появилась возможность в реальном масштабе времени проводить оценку габаритов объектов, исправление или частичное восстановление искаженных или поврежденных участков кадров изображения, определять принадлежность дистантных данных к тому или иному объекту, находящемуся в зоне действия СТЗ платформы. Перечисленные теоретические предпосылки были апробированы на исследовательском программном комплексе, разработанном в среде ROS на Linux-совместимой операционной платформе и реализующем предложенный подход к решению задачи обнаружения и локализации объектов по данным датчиков глубины. Результаты успешной апробации разработанного программного комплекса с применением бортового компьютера Intel NUC NUC6I5SYH Mini-PC и двух Intel RealSense 3D-Camera (RGB-D камер) с USB3.0 подключением к компьютеру позволили обеспечить получение, обработку и визуализацию RGB- и дистантных данных, поступающих с вышеуказанных камер из состава бортовой системы технического зрения мобильной роботизированной платформы. Ряд экспериментов, выполненных на предложенном комплексе, доказал, что в сравнении с аналогами разработанный и программно-реализованный набор алгоритмов метода ORB+DARP, ориентированного на применение RGB-D-камер, обеспечивает требуемое улучшение характеристик бортовой системы технического зрения при решении задачи обнаружения и пространственной локализации объектов, расположенных по ходу движения мобильной роботизированной платформы.
Техническое зрение; мобильная роботизированная платформа; обнаружение и локализация объектов; RGB-D-камера; облако точек; локальная навигация; метод DARP; характеристические признаки, устойчивые к пространственным искажениям; метод ORB; программный комплекс; среда ROS.
A.O. Pyavchenko, A.V. Ilchenko
METHOD OF THE STATIC OBJECTS SPATIAL LOCALIZATION ACCORDING TO DEPTH SENSOR DATA AND RGB CAMERA
The task of the research is to improve the quality of the onboard computer vision system of a mobile robotic platform that provides localization of static obstacles (objects) in a three-dimensional a priori nondeterministic environment by sharing use of onboard depth sensors and
an RGB camera. The article deals with the method of the objects spatial localization, known as DARP (Depth-Assisted Rectification of Patches). Estimated is the effectiveness of its application for the objects detection and localization from the onboard depth sensors data with the use of different features detectors. In order to increase the effectiveness of the DARP method application for mobile robotic platforms, it is proposed to introduce a number of SLAM algorithms (Simultaneous Location and Mapping). Thus, it is recommended to use the ORB-method (Oriented FAST and Rotated BRIEF) as a features detector and a features descriptor, and analyze the current situation taking into account the background of its development. As a result, an onboard computer has the ability to real-time estimate the objects size, correct or partially restore distorted or damaged sections of image frames, determine the belonging of ranges data to a particular object located in the CVS platform coverage area. The above theoretical assumptions are tested on the research software developed in the ROS environment on a Linux-compatible operating platform and implementing the proposed approach to solving the problem of detecting and locating objects from depth sensor data. The results of the successful approbation of the developed software complex using the Intel NUC NUC6I5SYH Mini-PC on-board computer and two Intel RealSense 3D Cameras RGB-D cameras) allow us to receive, process and visualize RGB- and range data coming from the onboard vision system of the mobile robotic platform. A number of experiments performed on the proposed complex have proved that, in comparison with analogues, the developed and software-implemented set of algorithms of the ORB+DARP method, oriented to the use with RGB-D cameras, provides the required improvement of the onboard vision system in solving the detection and spatial localization problem in the objects located on the movement direction of the mobile robotic platform.
Computer vision; mobile robotic platform; objects detection and objects localization; RGB-D camera; point cloud; local navigation; DARP method; image features that are resistant to dimensional distortion; ORB; program complex; ROS environment.
Введение. К задачам, которые требуется решать системе технического зрения (СТЗ) мобильной роботизированной платформы (МРП) с автономным управлением совместно с ее навигационной подсистемой, в первую очередь следует отнести определение местоположения самой платформы, а также своевременное обнаружение и локализацию препятствий (объектов), расположенных по ходу движения МРП в условиях априори недетерминированного окружающего пространства.
Как правило, бортовые системы обнаружения и локализации объектов оперируют данными, поступающими с различных сенсоров визуального восприятия, которыми могут быть RGB-камеры, стереокамеры, инфракрасные камеры и пр. датчики, установленные на МРП. Сенсоры визуального восприятия, способные захватывать, помимо визуальной составляющей, объем сцены (RGB-D камеры) позволяют использовать более полную информацию об окружающей среде по сравнению с 2D-изображением, в котором большая часть пространственной информации теряется. Однако многие методы обнаружения (детектирования) и пространственной локализации объектов, в том числе методы визуальной одометрии слабо ориентированы на использование дистантных данных, предоставляемых RGB-D-камерами, что сказывается на степени инвариантности к разным ракурсам съемки, масштабированию и углам наклона воспринимаемой сцены. Указанные недостатки обусловили необходимость и актуальность настоящей работы, посвященной проблеме разработки эффективных методов распознавания и локализации объектов с применением датчиков глубины.
1. Анализ и выбор комплексного метода пространственной локализации статических объектов. Ввиду предоставления RGB-D-устройствами, помимо данных глубины цветного RGB-изображения, в настоящее время для поиска и локализации объектов, как правило, применяются те же методы, которые используются с обычными RGB-камерами. Таким образом, определение объектов на кадрах цветного видеопотока и его локализация на плоскости происходят при помощи отработанных методик, а уточнение z-координаты (глубины) осуществляется уже непосредственно по предоставляемым дистантным данным.
Множество проанализированных в рамках данной работы методов для решения задачи детектирования и локализации объектов по данным RGB -камер можно разделить на четыре основные группы:
1) методы, которые для описания объекта используют признаки, наиболее характерные для него. В качестве признаков могут быть выбраны точечные особенности объекта, либо признаки, построенные для изображения, содержащего только рассматриваемый объект [1];
2) методы поиска объектов по соответствующему шаблону - некоторому описанию объекта [2];
3) методы детектирования движения объектов - выделение движущихся объектов на основании последовательно отснятых нескольких кадров цифровых изображений одной и той же сцены (методы оптического потока) [1, 2];
4) методы, использующие для детектирования объектов свёрточные искусственные нейронные сети (ИНС) [3, 4].
Анализ перечисленных выше методов показал следующее. Наиболее перспективным методом детектирования и локализации объектов является метод, использующий свёрточные ИНС. Однако, ввиду высокой ресурсоемкости реализации [4], применение в настоящее время сверточных ИНС для качественного детектирования и локализации объектов в режиме реального времени невозможно на современных центральных процессорах без такого специального оборудования, как высокопроизводительные графические карты компании NVIDIA со встроенной программно-аппаратной архитектурой параллельных вычислений CUDA и поддержкой тензорных ядер. Использование же такого специального оборудования в условиях наличия жестких ограничений на расход энергоресурсов и грузоподъемность, какими обладают современные МРП, весьма проблематично. Следовательно, говорить о бортовом применении сверточных ИНС пока преждевременно.
Методы поиска и локализации по шаблону эффективно работают только при поиске одиночных объектов. Другой подход, основанный на методах оптического потока, не позволяет обрабатывать статичные сцены [2]. В связи с этим, на наш взгляд наиболее предпочтительными методами детектирования и локализации являются методы, основанные на извлечении устойчивых признаков из изображения, модернизированные для применения в СТЗ мобильного робота, устройство которой предусматривает использование одной или нескольких RGB-D-камер.
2. Применение дистантных данных для улучшения качества сопоставления устойчивых признаков. В работах [5, 6] показано, что можно улучшить качество сопоставления ключевых точек для искаженных изображений за счет использования дистантной информации о пространственной глубине сцены, получаемой от RGB-D-камер. В работе [7] такое улучшение достигается путем «проективного исправления» патча (небольшой области изображения размерами 3*3, 5*5, 11х11 пикселов) вокруг ключевой точки (устойчивого признака) посредством нормализации искажений, возникающих из-за наличия перспективы и различного расстояния до сопоставимых по размеру объектов от точки съема (из-за изменения размера образов в кадре обратно пропорционально расстоянию до них). На рис. 1 представлена обобщенная алгоритмическая структура метода, использующего такой подход и получившего обозначение Depth-Assisted Rectification of Patches (DARP).
В составе метода DARP может быть использован любой детектор устойчивых признаков, например, детектор углов Харриса [8], FAST-9 [9] или DoG [10]. Поскольку патч нормализуется априори вокруг ключевой точки относительно искажений, вносимых перспективой и масштабированием, детектор не должен быть инвариантным к аффинным преобразованиям или масштабированию. При этом использование масштабной пирамиды для входного изображения не является обязательным.
Рис. 1. Основные этапы метода DARP [7]
Пример детектирования ключевых точек на входном изображении показан на рис. 2. При цветном изображении видно, что каждая обнаруженная ключевая точка выделена цветом. Таким образом, по данным датчика глубины для текущей сцены может быть определено целое облако ключевых точек, каждой из которых будет сопоставлен патч вида, подобного на рис. 3.
Рис. 2. Пример обнаружения ключевых Рис. 3. Пример патча поверхности точек сцены и вектор его нормали
Рис. 4 иллюстрирует работу алгоритма DARP с целью исправлении патча вокруг ключевой точки за счет удаления перспективных искажений. При этом получается нормализованное изображение патча. Это делается путем вычисления томографии Н, которая преобразует патч к каноническому представлению (подробнее см. в [5-7]).
Аналогично тому, как DARP может использовать любой детектор ключевых точек, можно применить любой дескриптор патча: SIFT [10], SURF [14], BRIEF [15] или rBRIEF [16]. Чтобы создать дескриптор исправленного патча, вокруг центра патча отбирается окрестность в определенных координатах в зависимости от выбранного метода. Эти координаты повернуты относительно пространственной ориентации, рассчитанной для исправленного патча на предыдущем этапе. Таким образом, можно получить дескриптор для каждой ключевой точки, которая инварианта к вращению (из-за нормализации ориентации), а также к искажениям перспективы и масштабирования (из-за исправления патча).
Чтобы найти соответствующий дескриптор шаблона для каждого вычисленного дескриптора, выполняется поиск ближайшего соседа и их сопоставление. В работе для локализации использовался метод DLT, позволяющий вычислять положения объекта. Для плоских объектов использовалась оценка гомографии, а для объемных объектов была рассчитана матрица внешних параметров. Уточнение положения выполнялось путем минимизации ошибки при воспроизведении, а удаление выбросов осуществлялось в соответствии с алгоритмом RANSAC.
3. Выбор детектора и дескриптора устойчивых признаков. Как было упомянуто выше, метод DARP способен работать с любым детектором и дескриптором характерных точек изображения. Наиболее качественными из них являются SIFT и SURF. Однако из-за высокой вычислительной сложности (рис. 5) применение этих методов для обработки видеопотока в реальном масштабе времени в современных видеоподсистемах МРП без соответствующей аппаратной поддержки практически невозможно. Метод ORB, который является улучшенной версией детектора FAST и дескриптора BRIEF [13], позволяет обрабатывать видеокадры в режиме реального времени, обеспечивая при этом хорошее качество детектирования и локализации. Справедливости ради следует отметить, что кроме ORB хорошие результаты показывают методы STAR и GFTT. Однако, GFTT менее устойчив, хотя и более производителен, в то время как STAR находится между GFTT и ORB по качеству обнаружения устойчивых признаков и производительности.
Рис. 4. Исправление патча [5]
В итоге в качестве детектора и дескриптора устойчивых признаков был выбран метод ORB как наиболее удовлетворяющий требованию решения задачи локализации объектов в режиме реального времени без применения специального оборудования.
Рис. 5. Среднее время обнаружения признаков
Результаты, представленные на рис. 5, являются средним значением показаний проведенных тестов на видеопотоке длительностью 15 сек. и разрешением 640 x 480 пикселов. Тестирование проводилось на процессоре Intel Core i5 480M, объем оперативно-запоминающего устройства (ОЗУ) - 8 Гб. Реализация алгоритмов представленных методов взята из открытой библиотеки компьютерного зрения OpenCV версии 3.0.
4. Описание детектора характерных точек ORB. Рассмотрим более подробно метод ORB, выбранный для поиска устойчивых признаков на изображении. ORB (англ. Oriented FAST and Rotated BRIEF) был представлен в 2011 г. В его основе лежит комбинация таких алгоритмов как детектор FAST (англ. Features from Accelerated Segment Test) и дескриптор BRIEF (англ. Binary Robust Independent Elementary Features) с некоторыми улучшениями, обеспечивающими, например, инвариантность метода поиска к повороту анализируемого изображения [13].
Э. Ростен и Т. Драммонд (Edward Rosten and Tom Drummond) ввели достаточно успешный алгоритм FAST (Features from Accelerated Segment Test) - особенности ускоренных испытаний сегмента. Данный алгоритм является детектором углов и хорошо зарекомендовал себя в приложениях, осуществляющих слежение за объектами в реальном времени [9, 17].
Для каждого пиксела -изображения рассматривается окружность, построенная при помощи алгоритма Брезенхема с центром в этой точке, которая вписана в квадрат со стороной 7 пикселов. Окружность проходит через 16 пикселов окрестности. Каждый пиксел окрестности пронумерован целым числом от 1 до 16 по часовой стрелки (рис. 6). Точка p считается угловой, если для нее существуют N допустимых значений (9...12) смежных пикселов на окружности, яркость которых больше Ip + t или меньше Ip — t, где Ip - яркость точки p, t - пороговая величина. Для повышения производительности алгоритма вначале следует сравнить яркость центральной точки с яркостью в вертикальных и горизонтальных точках на окружности (1, 5, 9, 13) соответственно. Если для трех из этих точек выполняется условие Ii < (Ip — t) или Ii > (Ip + t), i = {l, 9,5,13}, то проводится полный тест для всех 16 точек [9].
Рис. 6. Рассматриваемая окрестность точки р детектора FAST [17]
В ORB используется модификация FAST-9 (N = 9 ), поскольку она оказалась наиболее эффективной с точки зрения производительности [13]. После выявления потенциальных ключевых точек используется угловой детектор Харриса для их уточнения. Выполняется это следующим образом: для получения п ключевых точек, сначала используется низкий порог, позволяющий выделить точек больше , затем их упорядочивают по метрике Харриса и выбирают первые п точек. Для создания многомасштабных признаков используется масштабная пирамида изображения, на каждом уровне которой производится поиск признаков FAST, отфильтрованных метрикой Харриса [13].
Для вычисления угловой ориентации устойчивых признаков методом FAST, в работе [18] авторы предложили простой, но эффективный метод интенсивности геометрического центра. Интенсивность геометрического центра предполагает, что интенсивность угла смещена от его центра, и этот вектор может использоваться, чтобы вписать ориентацию. В работе [18] П. Розин определяет моменты (суммарные характеристики пикселоа) патча как:
Х,у
Затем при помощи вычисленных моментов можно найти геометрический центр:
В результате можно построить вектор О С из центра угла - О в геометрический центр - С. Ориентация патча при этом:
где atan2 - функция арктангенса с двумя аргументами.
Чтобы улучшить инвариантность к вращению этой меры, следует убедиться, что моменты вычисляются с координатами х и у, значения которых не выходят за переделы круговой области радиуса г относительно ключевой точки. Радиус г устанавливается опытным путем и определяет размер патча, при этом значения и выбираются из интервала [—г, г] . Когда | С | приближается к 0, что встречается довольно редко, мера становится неустойчивой.
5. Описание дескриптора характерных точек BRIEF. Цель создания BRIEF-дескриптора (Binary Robust Independent Elementary Features) состояла в том, чтобы обеспечить распознавание одинаковых участков изображения, которые были сняты с разных ракурсов [13, 15]. При этом ставилась задача максимально уменьшить количество выполняемых вычислений. Согласно методу, сам алгоритм
тю т01 ,т00 т00.
в = atan2(m01,m10),
распознавания одинаковых участков сводится к построению случайного леса (randomize classification trees) или наивного Байесовского классификатора на некотором тренировочном множестве изображений и последующей классификации участков тестовых изображений. В упрощенном варианте может использоваться метод ближайшего соседа для поиска наиболее похожего патча в тренировочной выборке. Небольшое количество операций обеспечивается за счет представления вектора признаков в виде бинарной строки, и как следствие, использования в качестве меры сходства расстоянии Хэмминга.
Схема построения векторов признаков достаточно простая. Изображение разбивается на патчи (отдельные перекрывающиеся участки). Допустим патч р имеет размеры пикселов. Из патча выбирается некоторым образом множество пар пикселов для которых строится набор бинарных тестов:
-г(п V лЛ (1.РОО<Р(У)
т(р'х'у) = 1о.р(*)*р(у)'
где р (X) - интенсивность пикселов р в сглаженной версии при х = (u, v)т. Для каждого патча выбирается множество, содержащее nd пар точек (например, 128, 256 или 512), которые однозначно определяют набор бинарных тестов. Далее на основании этих тестов строится бинарная строка:
fnd(p)= ^ 2i-1T(p-,xi,yi).
l<i<n,J
В [13] приводятся результаты экспериментов (качества распознавания) при выборе пар точек согласно закону равномерного распределения в патче, а также нормального распределения относительно центра патча (для ORB при n = 256) с разными значениями математического ожидания и среднеквадратичного отклонения.
Следует отметить, что при одинаковых условиях проведения экспериментов на некоторых тестовых изображениях точность детектирования с помощью BRIEF почти в 1,5 раза выше, чем с использованием SURF-дескрипторов.
Перед выполнением тестов важно сгладить изображение. В реализации ORB сглаживание достигается при помощи интегрального изображения, где каждая контрольная точка представляет собой подокно патча размером пик-
селов. Данные значения были выбраны из экспериментов авторов метода ORB и результатов, представленных в работе [13].
Эффективность BRIEF резко падает при вращении в плоскости более чем на несколько градусов. М. Калондер [15] предлагает вычислять BRIEF-дескриптор для набора поворотов и перекосов перспективы каждого патча, но это решение, очевидно, ресурсоемкое.
Более эффективным методом является регулирование BRIEF в соответствии с ориентацией ключевых точек. Для любого набора признаков из бинарных тестов в местоположении определяется матрица :
••• >
5 = уу ......у J .
Используя ориентацию патча и соответствующую матрицу вращения , можно построить «регулируемую» версию 5е из 5:
5е = Я е5.
Тогда регулируемый оператор BRIEF может быть записан в следующем виде: аЛР.в) = fn(P)\(Xi,yi) Е Sg.
Угол в этом случае дискретизируется с приращениями 2 тт/3 0 (12 градусов) и создается таблица поиска предварительно вычисленных BRIEF-шаблонов. До тех пор, пока на ключевой точке ориентация в согласована между представлениями, правильный набор точек используется для вычисления его дескриптора.
Однако регулируемый BRIEF также является малоэффективным дескриптором при вращении. Авторы метода ORB предлагают свою версию модификации стандартного BRIEF-дескриптора, которая показала лучшую инвариантность к вращению. Их метод заключается в следующем. Сначала создается обучающий набор, содержащий около 300 тыс. ключевых точек, взятых из изображений в наборе PASCAL 2006 [19]. Далее применяется следующий алгоритм.
1. Запустить каждый тест по всем тренируемым патчам;
2. Упорядочить тесты по их расстоянию от среднего значения 0,5, образуя вектор
3. Осуществить «жадный» поиск:
а) поместить первый тест в вектор результата , при этом удалить его из вектора Т;
б) взять следующий тест из Т и сравнить его со всеми тестами в R. Если его абсолютная корреляция больше порога, отбросить его; иначе добавить его в ;
в) повторить предыдущий шаг, пока не будет проведено 256 тестов в R. Если их меньше 256, необходимо поднять порог и попробовать еще раз.
Этот алгоритм является «жадным» поиском для набора некоррелированных тестов со средним значением около 0,5. Результат называется rBRIEF и имеет значительное улучшение в дисперсии и корреляции по сравнению с управляемым BRIEF.
6. Практическая реализация. В результате проведенных в рамках данной работы исследований описанный выше подход к улучшению детектирования и локализации объектов по данным RGB-D изображений был реализован и частично интегрирован в систему одновременной локализации и построения карты (SLAM) Real-Time Appearance-Based Mapping (RTAB-Map) за авторством Mathieu Labbé [20, 21]. В систему заложена возможность подключения нескольких одинаковых RGB-D устройств для повышения надежности функционирования в естественной среде. Ввиду использования специально подобранных открытых и свободно распространяемых программных средств, реализованная система имеет инвариантность к используемым датчикам глубины и операционным системам. Предлагаемая программная система локализации объектов легко конфигурируется. Для проведения экспериментальных исследований разработанной системы использовался компьютер Intel NUC NUC6I5SYH Mini-PC в безвентиляторном исполнении. Компьютер оснащен процессором Intel 6-го поколения Core i5-6260U с частотой до 2,90 Ггц., 16 Гб оперативно запоминающего устройства типа DDR4 и интегрированной графической системой. Две камеры Intel RealSense™ 3D Camera R200 подключались к USB-портам версии 3.0. В качестве оригинального изображения с целевым объектом использовались изображения с разрешением 805*500 (рис. 7).
Полученные результаты представлены на рис. 8, который иллюстрирует применение метода ORB+DARP в системе локализации объектов. Из данного рисунка видно: несмотря на пространственные искажения образа происходит обнаружение и локализация соответствующего ему объекта.
Усредненные результаты сравнения, реализованные в системе локализации метода ORB в составе DARP (ORB+DARP) с оригинальным ORB, сведены в табл. 1.
Объект 1
Объект 2
Объект 3
Рис. 7. Изображения объектов из тестового набора Общие результаты сравнения DARP+ORB c ORB
Таблица 1
"^^Угол Метод>^ 10° 20° 30° 40° 50° 60° 70° 80°
ORB 100 % 99 % 97 % 71 % 36 % 1 % 0 % 0 %
ORB+DARP 100 % 100 % 100 % 100 % 98 % 88 % 49 % 3 %
Рис. 8. Вычисление положения и ориентации объектов в пространстве относительно системы локализации
В качестве распознаваемого объекта поочередно использовалось 5 различных предметов, предварительно оцифрованных с фронтальной стороны в разрешении 450 х 450 пикселов. Сравнение проводилось по следующему алгоритму: на удалении 1 метра от ЯОБ-Б камеры, работающей в режиме видеосъемки, объект вращался в связанной системе координат - в продольной, вертикальной и поперечной осях поочередно; шаг вращения составлял 10 градусов; камера фиксировала объект в течение 15 с для каждого шага вращения, результат распознавания заносился в предварительную таблицу. Причем сам результат определялся как количество кадров, в которых удалось обнаружить и локализовать объект для текущего его положения за указанный период времени, умноженное на 100 % и деленное на общее количество кадров для текущего положения объекта. Далее по полученным предварительным данным вычислялось среднее значение и фиксировалось в табл. 1.
7. Вопросы улучшения комплексного метода ORB+DARP за счет применения алгоритмов SLAM. Как показали эксперименты, эффективность применения метода DARP, ORB+DARP в составе подсистемы визуальной одометрии и пространственной локализации объектов постепенно снижается ввиду накопления погрешности измерений, вызванной как самими сенсорными устройствами, так и используемыми алгоритмами локализации объектов. С течением времени общая суммарная ошибка продолжает нарастать таким образом, что, несмотря на приемлемую точность определения локального смещения, общая глобальная карта положений МРП и объектов вокруг будет полна искажений. Для устранения данного эффекта как раз и могут быть применены методы SLAM как расширение модели визуальной одометрии [22, 23].
С целью повышения точности детектирования и локализации объектов предлагается внедрить рассмотренные в статье методы локализации, основанные на определении характеристических точек окружающей сцены, в SLAM-алгоритмы коррекции визуальной одометрии. Кроме того, предлагаемый подход должен обеспечить восстановление локальных устойчивых признаков объектов на кадре изображения при поворотах, удалении и/или приближении этих объектов по отношению к бортовой RGB-D-камере МРП в процессе ее движения, а также в условиях присутствия пространственных искажений, наличие которых обусловлено, как правило, техническими характеристиками применяемой камеры.
Заключение. В настоящей работе предложено улучшение качества работы бортовой системы технического зрения мобильной роботизированной платформы за счет применения метода DARP, способного использовать данные о глубине захватываемой RGB-D-камерами сцены. Выполнены оценки эффективности применения в его составе различных вариантов детекторов и дескрипторов устойчивых признаков для обнаружения и локализации объектов по данным бортовых датчиков глубины. На основании полученных оценок выявлено, что для задач детектирования и локализации стационарных объектов наиболее предпочтительным является детектор и дескриптор ORB. В качестве практического результата был реализован метод DARP c применением детектора и деекриптора ORB (метод ORB+DARP), выполнено сравнение ORB+DARP c методом ORB, которое подтвердило преимущество использования дистантных данных в алгоритмах детектирования устойчивых признаков на изображениях с RGB-D-камер. Так, в условиях выполненного эксперимента получено 100 % детектирование и локализация тестируемых объектов при использовании улучшенного DARP и при повороте объектов вокруг своей оси на угол до 40o включительно. Для решения проблемы накопления погрешности измерений при движении МРП рекомендуется внедрить рассмотренные методы детектирования и локализации в SLAM-алгоритмы коррекции визуальной одометрии.
Как ожидается, предлагаемый подход должен обеспечить восстановление локальных устойчивых признаков объектов на кадре изображения при поворотах, удалении и/или приближении этих объектов по отношению к бортовой RGB-D камере в процессе движения МРП, а также в условиях присутствия пространственных искажений, наличие которых обусловлено, как правило, техническими характеристиками применяемой камеры.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Разработка мультимедийных приложений с использованием библиотек OpenCV и IPP: Задача детектирования объектов на изображениях и методы ее решения // НОУ ИНТУИТ. - URL: https://www.intuit.ru/studies/courses/10622/1106/lecture /18020?page=4 (дата обращения: 26.02.2018).
2. Анализ движения в задачах видеонаблюдения // Техническое зрение. -URL: http://wiki.technicalvision.ru/index.php?title=Анализ_движения_в_задачах_видеонаб людения&о!Ш=896 (дата обращения: 26.02.2018).
3. Свёрточная нейронная сеть // Википедия. Дата обновления: 11.01.2018. - URL: http://ru.wikipedia.org/?oldid=90226289 (дата обращения: 26.02.2018).
4. Juergen Schmidhuber Deep Learning in Neural Networks: An Overview // Neural Networks.
- Jan 2015. - Vol. 61. - P. 85-117.
5. Lima J.P., Simoes F., Uchiyama H., Teichrieb V., MarchandE., et al.: Depth-assisted rectification of patches using rgb-d consumer devices to improve real-time keypoint matching // In: Int. Conf. on Computer Vision Theory and Applications, Visapp 2013. - P. 651-656.
6. Lima J.P., Teichrieb V., Uchiyama H., Marchand E., et al. Object detection and pose estimation from natural features using consumer rgb-d sensors: Applications in augmented reality // In: IEEE Int. Symp. on Mixed and Augmented Reality (doctoral symposium), ISMAR' 12. - P. 1-4.
7. Lima J.P., Simoes F., Uchiyama H., Teichrieb V., Marchand E. Depth-assisted rectification for real-time object detection and pose estimation.
8. Harris C., Stephens M. A combined corner and edge detector // Alvey vision conference.
- Manchester: The Plessey Company, 1988. - Т. 15. - P. 147-151.
9. Rosten Edward and Drummond Tom Machine learning for high-speed corner detection // European Conference on Computer Vision (ECCV). - Graz, 2006. - Vol. 9. - P. 430-443.
10. Lowe David G. Distinctive image features from scale-invariant keypoints // International journal of computer vision. - Springer Netherlands, 2004. - 2: Vol. 60. - P. 91-110.
11. Berkmann J., Caelli T. Computation of surface geometry and segmentation using covariance techniques // Pattern Analysis and Machine Intelligence // IEEE Transactions on 16 (11), 1994.
- P. 1114-1116.
12. Brockett R. Robotic manipulators and the product of exponentials formula. // International Symposium on Mathematical Theory of Networks and Systems. - 1984. - P. 120-127.
13. Rublee Ethan, et. al. ORB: an efficient alternative to SIFT or SURF // International Conference on Computer Vision (ICCV). - Barcelona: IEEE, 2011.
14. Bay H., Ess A., Tuytelaars T., Van Gool L. Speeded-up robust features (surf) // Computer vision and image understanding. - 2008. - Vol. 110 (3). - P. 346-359.
15. Calonder M., Lepetit V., Strecha C., and Fua P. Brief: Binary robust independent elementary features. // European Conference on Computer Vision. - 2010. - P. 778-792.
16. Lee Wonwoo, Park Nohyoung and Woo Woontack Depth-assisted Real-time 3D Object Detection for Augmented Reality // International Conference on Artificial Reality and Telexistence (ICAT). - Osaka, 2011. - Vol. 21. - P. 126-132.
17. Rosten, Edward; Tom Drummond. Fusing points and lines for high performance tracking // IEEE International Conference on Computer Vision. 2. - IEEE, 2005. - P. 1508-1511.
18. Rosin P.L. Measuring corner properties // Computer Vision and Image Understanding. - 1999.
- Vol. 73 (2). - P. 291-307.
19. Everingham M, Zisserman A., Williams C., Van Gool L. The PASCAL Visual Object Classes Challenge 2006 (VOC2006). [Report]. - 57 p.
20. Labbe M. and Michaud F. Memory management for real-time appearance-based loop closure detection // in Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. - 2011. - P. 1271-1276. (IEEE Xplore).
21. Labbe M. and Michaud F. Appearance-Based Loop Closure Detection for Online Large-Scale and Long-Term Operation // in IEEE Transactions on Robotics. - 2013. - Vol. 29, no. 3.
- P. 734-745, (IEEE Xplore).
22. Ильченко А.В., Пьявченко А.О. Проблемы построения системы технического зрения мобильного робота на основе инфракрасного 3D-датчика глубины окружающего пространства // Сб. трудов XIII Всероссийской научн. конф. мол. уч., асп. и студ. «Информационные технологии, системный анализ и управление (ИТСАиУ-2015)». - Ростов-на-Дону: Изд-во ЮФУ, 2016. - Т. 3. - C. 50-60.
23. Пьявченко А.О., Переверзев В.А., Ильченко А.В. Технология SLAM и методологические проблемы ее реализации в робототехнике // Сб. трудов XIV Всероссийской научн. конф. мол. уч., асп. и студ. «Информационные технологии, системный анализ и управление (ИТСАУ-2016)». - Ростов-на-Дону: Изд-во ЮФУ, 2016. - Т. 2. - C. 345-351.
REFERENCES
1. Razrabotka mul'timediynykh prilozheniy s ispol'zovaniem bibliotek OpenCV i IPP: Zadacha detektirovaniya ob"ektov na izobrazheniyakh i metody ee resheniya [Development of multimedia applications using OpenCV and IPP libraries: The task of detecting objects on images and methods for solving it], NOU INTUIT [NEU INTUIT]. Available at: https://www.intuit.ru/studies/courses/10622/1106/lecture /18020?page=4 (accessed 26 February 2018).
2. Analiz dvizheniya v zadachakh videonablyudeniya [Motion analysis in video surveillance problems], Tekhnicheskoe zrenie [Technical vision]. Available at: http://wiki.technicalvision.ru/ in-dex.php?title=Analiz_dvizheniya_v_zadachakh_videonablyudeniya&oldid=896 (accessed 26 February 2018).
3. Svertochnaya neyronnaya set' [Convolutional Neural Network], Vikipediya. Data obnovleniya: 11.01.2018 [Wikipedia contributors. Last changes: 11.01.2018]. Available at: http://ru.wikipedia.org/?oldid=90226289 (accessed 26 February 2018).
4. Juergen Schmidhuber Deep Learning in Neural Networks: An Overview, Neural Networks, Jan 2015, Vol. 61, pp. 85-117.
5. Lima J.P., Simoes F., Uchiyama H., Teichrieb V., MarchandE., et al.: Depth-assisted rectification of patches using rgb-d consumer devices to improve real-time keypoint matching, In: Int. Conf. on Computer Vision Theory and Applications, Visapp 2013, pp. 651-656.
6. Lima J.P., Teichrieb V., Uchiyama H., Marchand E., et al. Object detection and pose estimation from natural features using consumer rgb-d sensors: Applications in augmented reality, In: IEEE Int. Symp. on Mixed and Augmented Reality (doctoral symposium), ISMAR'12, pp. 1-4.
7. Lima J.P., Simoes F., Uchiyama H., Teichrieb V., Marchand E. Depth-assisted rectification for real-time object detection and pose estimation.
8. Harris C., Stephens M. A combined corner and edge detector, Alvey vision conference. Manchester: The Plessey Company, 1988, Vol. 15, pp. 147-151.
9. Rosten Edward and Drummond Tom Machine learning for high-speed corner detection, European Conference on Computer Vision (ECCV). Graz, 2006, Vol. 9, pp. 430-443.
10. Lowe David G. Distinctive image features from scale-invariant keypoints, International journal of computer vision. Springer Netherlands, 2004. 2: Vol. 60, pp. 91-110.
11. Berkmann J., Caelli T. Computation of surface geometry and segmentation using covariance techniques // Pattern Analysis and Machine Intelligence, IEEE Transactions on 16 (11), 1994, pp. 1114-1116.
12. Brockett R. Robotic manipulators and the product of exponentials formula, International Symposium on Mathematical Theory of Networks and Systems, 1984, pp. 120-127.
13. Rublee Ethan, et. al. ORB: an efficient alternative to SIFT or SURF, International Conference on Computer Vision (ICCV). Barcelona: IEEE, 2011.
14. Bay H., Ess A., Tuytelaars T., Van Gool L. Speeded-up robust features (surf), Computer vision and image understanding, 2008, Vol. 110 (3), pp. 346-359.
15. Calonder M., Lepetit V., Strecha C., and Fua P. Brief: Binary robust independent elementary features, European Conference on Computer Vision, 2010, pp. 778-792.
16. Lee Wonwoo, Park Nohyoung and Woo Woontack Depth-assisted Real-time 3D Object Detection for Augmented Reality, International Conference on Artificial Reality and Telexistence (ICAT). Osaka, 2011, Vol. 21, pp. 126-132.
17. Rosten, Edward; Tom Drummond. Fusing points and lines for high performance tracking, IEEE International Conference on Computer Vision. 2. IEEE, 2005, pp. 1508-1511.
18. Rosin P.L. Measuring corner properties, Computer Vision and Image Understanding, 1999, Vol. 73 (2), pp. 291-307.
19. Everingham M, Zisserman A., Williams C., Van Gool L. The PASCAL Visual Object Classes Challenge 2006 (VOC2006). [Report], 57 p.
20. Labbé M. and Michaud F. Memory management for real-time appearance-based loop closure detection, in Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, 2011, pp. 1271-1276. (IEEE Xplore).
21. Labbé M. and Michaud F. Appearance-Based Loop Closure Detection for Online Large-Scale and Long-Term Operation, in IEEE Transactions on Robotics, 2013, Vol. 29, No. 3, pp. 734-745, (IEEE Xplore).
22. Il'chenko A.V., P'yavchenko A.O. Problemy postroeniya sistemy tekhnicheskogo zreniya mobil'nogo robota na osnove infrakrasnogo 3D-datchika glubiny okruzhayushchego prostranstva [The constructing's problems of a mobile robot's computer vision system based on an infrared 3D depth sensor of the environment], Sb. trudovXIII Vserossiyskoy nauchn. konf. mol. uch., asp. i stud. «Informatsionnye tekhnologii, sistemnyy analiz i upravlenie (ITSAiU-2015)» [Proceedings of the XIII All-Russian Scientific Conference of junior scientists, postgraduate students and students. «Information technology, systems analysis and management (ITSAaM-2015)»]. Rostov-on-Don: Izd-vo YuFU, 2016, Vol. 3, pp. 50-60.
23. P'yavchenko A.O., Pereverzev V.A., Il'chenko A.V. Tekhnologiya SLAM i metodologicheskie problemy ee realizatsii v robototekhnike [SLAM technology and methodological problems of its application in robotics], Sb. trudovXIV Vserossiyskoy nauchn. konf. mol. uch., asp. i stud. «Informatsionnye tekhnologii, sistemnyy analiz i upravlenie (ITSAU-2016)» [Proceedings of the XIV All-Russian Scientific Conference of junior scientists, postgraduate students and students. «Information technology, systems analysis and management (ITSAaM-2016)»]. Rostov-on-Don: Izd-vo YuFU, 2016, Vol. 2, pp. 345-351.
Статью рекомендовал к опубликованию д.т.н., профессор В.П. Карелин.
Пьявченко Алексей Олегович - Южный федеральный университет; е-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: +78634371656; кафедра вычислительной техники; к.т.н.; доцент.
Ильченко Артем Владимирович - e-mail: [email protected]; тел.: +79081866792; кафедра вычислительной техники; аспирант.
Pyavchenko Aleksey Olegovich - Southern Federal University; е-mail: [email protected];
44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +78634371656; the department of computer engineering; cand. of утп. sc.; associate professor.
Ilchenko Artem Vladimirovich - e-mail: [email protected]; phone: +79081866792; the department of computer engineering; postgraduate student.
УДК 007.52:004.896:004:94
С.В. Кулешов, А.А. Зайцева
ВАРИАНТЫ РЕАЛИЗАЦИИ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ АВТОВЗЛЕТА И АВТОПОСАДКИ БАС*
Ключевой целью исследования является разработка и тестирование подхода к реализации системы автовзлета и автопосадки беспилотной авиационной системы (БАС) мультироторного или вертолетного типа на основе системы технического зрения (СТЗ). Актуальность исследования обусловлена современными требованиями к БАС, в том числе необходимостью повышения автономности управления такими системами в режиме стабилизации полета. В процессе анализа существующего состояния исследований в данной области выявлено, что наибольшую заинтересованность в развитии технологий БАС проявляют государственные ведомства и службы, функции которых связаны с охраной, контролем и мониторингом объектов, в том числе с ликвидацией чрезвычайных ситуаций, а также компаний, деятельность которых связана с получением пространственных данных. Для достижения поставленной в исследовании цели решаются следующие задачи: анализ существующих систем автовзлета-автопосадки без применения систем глобального позиционирования; сравнение различных вариантов компоновки и взаимного расположения компонентов системы между летательным аппаратом и посадочной площадкой; разработка
* Работа выполнена в рамках реализации Государственного задания на 2018 г. № 0073-2018-0002.
