CC BY
79
УДК 621.3
DOI: 10.17586/0021-3454-2017-60-9-858-862
ЛОКАЦИЯ МОБИЛЬНОГО РОБОТА С ИСПОЛЬЗОВАНИЕМ СТРУКТУРНОГО АНАЛИЗА ИЗОБРАЖЕНИЙ
М. И. Евстигнеев, Ю. В. Литвинов, В. В. Мазулина, М. М. Чащина
Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: makcim269@mail.ru
Рассматривается алгоритм визуальной навигации автономного мобильного робота и определения его местоположения в условиях неопределенности внешней среды с использованием системы технического стереозрения. Алгоритм сопоставления изображений трехмерных сцен основан на сравнении локальных изображений.
Ключевые слова: мобильный робот, техническое зрение, навигация, бортовой комплекс управления, обработка информации
Использование мобильных роботов для обследования определенных пространств диктует необходимость применения дальномеров и систем технического зрения. Однако информацию о дистанции до препятствия невозможно получить по фотоизображению [1—3]. Также существуют проблемы оценки рабочего пространства в целом, локализации в нем мобильного робота и картографирования среды, что необходимо для построения пути движения робота. Это связано с тем, что при наблюдении предметов с разных позиций их изображения различаются [1—3].
Для преодоления этих сложностей в задаче автоматической навигации робота могут быть эффективно использованы алгоритмы, позволяющие обрабатывать фрагменты изображений объектов, которые мало изменяются в зависимости от ракурса. На основе таких алгоритмов возможно создание достаточно точной карты глубины изображения для построения эффективной траектории. Концепция технического зрения дает возможность определять положение робота в пространстве, а также обнаруживать препятствия неизвестной формы без предустановленной карты территории. Использование системы видеокамер позволяет находить границы объектов и вычислять расстояние до них [4, 5].
Стандартными проблемами объектно-ориентированной автоматической обработки изображений являются определение границ объектов, препятствий и стандартных образов. Наиболее трудная проблема — исследование изображений в условиях априорной неопределенности внешней среды. Применение для решения этой проблемы многоцелевых способов структурного анализа позволяет значительно уменьшить вычислительную нагрузку в процессе обработки информации и повысить эффективность работы мобильного робота в ситуациях малой предсказуемости и ограниченных вычислительных ресурсов [6].
В классической концепции при сопоставлении изображений, полученных роботом из разных позиций, выбранные фрагменты изображений сравниваются и коэффициент отклонения определяется с помощью нормированной суммы квадратной разности [7, 8]:
п2
Z
с=■
gi - gi go - go
n °0
п
где go и g1 — значения интенсивности фрагментов изображений; g1, go, а! и а0 — стандартные средние отклонения интенсивности; п — число пикселов в каждом фрагменте.
Это выражение имеет нулевое значение при идеальном соответствии фрагментов изображений и более высокие значения при увеличении разницы. Лучшее (наименьшее) значе-
ние С принимается как соответствие, если оно лежит ниже порогового значения, устанавливаемого вручную. Данная мера нормализована по отношению к общим изменениям интенсивности изображения, так как дает улучшенное согласование для длительных периодов времени, в течение которых функционирует система технического зрения робота.
Необходимо иметь в виду, что при работе с двумя видеокамерами условия освещенности могут изменяться, и в режиме стереозрения изображения будут несколько отличаться.
На рис. 1 показаны положения робота, где к' — вектор из центра системы технического зрения к локальному признаку объекта в момент его обнаружения, к — вектор из центра системы технического зрения при другом положении мобильного робота.
Фрагмент изображения, как ожидается, будет видимым, если соотношение длин |к|/|к'| «1,
ментов двух исследуемых изображений, должны быть удалены. Небольшая ошибка при определении местоположения объекта на каждом шаге, в том числе в результате дискретизации, может привести к значительным погрешностям. Важно, чтобы основные ориентиры являлись стационарными объектами.
Известные методы глобального описания изображений, применяемые при локализации мобильных роботов и построении карты местности, позволяют судить об общей структуре изображений и могут быть эффективно использованы при сравнении изображения с существующей в памяти робота выборкой [9]. Однако указанные методы мало чувствительны к аффинным преобразованиям, что не позволяет использовать их для локализации робота в пространстве.
Алгоритмы, основанные на локальных признаках, описывают отдельные выбранные фрагменты изображения и содержат информацию только о них [10, 11]. Одним из недостатков данных алгоритмов является большое количество выявляемых ключевых точек. При наличии ракурсных или яркостных искажений, а также аберраций объектива подавляющая часть сопоставлений является ошибочной [6, 12].
Для повышения точности корректной локализации робота предлагается сопоставления локальных признаков агрегировать в группы. Количество ошибочных сопоставлений можно уменьшить, учитывая пространственное положение больших групп локальных признаков (агрегированных групп ключевых точек). Корректные сопоставления локальных признаков будут подвергаться взаимным аффинным преобразованиям. Затем, с учетом достаточно больших групп ключевых точек, возможна эффективная оценка траектории мобильного робота. Также, используя только агрегированные группы, можно получить эффективную оценку динамической среды.
При оценивании перемещения мобильного робота из предыдущего положения в текущее осуществляется анализ двух стереоизображений и одновременный поиск на них ключевых точек. Так как параметры стереокамер априори известны, учитывая эпиполярную геометрию, можно восстановить координаты ключевых точек.
Рис. 1
Локальные признаки, которые не совпадают в пределах фраг-
Задача отслеживания траектории движения мобильного робота из одного положения в другое сводится к оцениванию аффинных преобразований систем координат двух множеств ключевых точек. Положение мобильного робота определяется относительно начальных координат и ориентиров, найденных при его передвижении.
На рис. 2 показаны результаты сопоставления изображений объемных предметов при агрегации ключевых точек. По сравнению с базовым подходом предложенный способ имеет лучшую производительность и эффективен при использовании в недетерминированной изменяемой среде.
Рис. 2
Для исследования возможностей работы алгоритмов и оценки их эффективности при перемещении мобильного робота между двумя точками на площадке 5x5 м с расположенными на ней препятствиями без предварительного картографирования были составлены серии снимков. Для сравнения разных алгоритмов использовались такие характеристики, как отклонение от эталонной траектории, длина траектории и время выполнения задания. Для нахождения ключевых точек использовался алгоритм SURF.
Метод распознавания препятствий Дескриптор Отклонение от эталонной траектории, м Длина траектории, м Время выполнения задания, с
УЗ-датчики SURF 0,30 4,19 42
Эпиполярная геометрия SURF 0,26 4,07 31
Агрегирование ключевых точек SURF 0,17 3,06 19,9
Результаты экспериментов показывают повышение эффективности выполнения заданий мобильным роботом в случае использования разработанного модифицированного метода агрегированных ключевых точек, основанного на анализе локальных признаков изображений. Помимо этого, возможно улучшение результатов за счет определения и удаления фрагментов изображения, неустойчивых к ракурсным искажениям.
СПИСОК ЛИТЕРАТУРЫ
1. Евстигнеев М. И., Литвинов Ю. В., Мазулина В. В., Мищенко Г. М. Алгоритмы управления четырехколесным роботом при движении по пересеченной местности // Изв. вузов. Приборостроение. 2015. Т. 58, № 9. С. 738—741.
2. Евстигнеев М. И., Гао Л., Литвинов Ю. В., Лазаревич А. А., Мазулина В. В., Мищенко Г. М., Фролов С. В., Фролов С. Н., Организация движения мобильного робота в заданную точку с учетом препятствий // Материалы X МНПК „Наука и технологии: шаг в будущее —2014". Прага, 2014. Т. 34. С. 40—45.
3. Караваев Ю. Л., Трефилов С. А. Дискретный алгоритм управления по отклонению мобильным роботом с омниколесами // Нелинейная динамика. 2013. Т. 9, № 1. С. 91—100.
4. Литвинов Ю. В., Мазулина В. В., Фролов С. Н., Салмыгин И. П., Бушуев А. Б. Использование веб-камеры для обнаружения препятствий на пути движения мобильного робота // Системы обработки информации. Информационные проблемы теории акустических, радиоэлектронных и телекоммуникационных систем. 2013. № 7 (114). С. 24—26.
5. García M. A., Solanas A. 3D simultaneous localization and modeling from stereo vision // Intern. Conf. on Robotics and Automation. 2004. Vol. 1. P. 847—853.
6. Малашин Р. О. Сопоставление изображений трехмерных сцен с помощью кластеризации сопоставленных локальных признаков посредством преобразования Хафа // Оптич. журн. 2014. Т. 81. № 6. С. 34—42.
7. Dissanayake G., Newman P., Clark S., Durrant-Whyte H. F., Csorba M. A solution to the simultaneous localization and map building (SLAM) problem // IEEE Transact. On Robotics and Automation. 2001. Vol. 17, N 3. P. 91—110.
8. Liu Yang, Zhang Hong. Visual loop closure detection with a compact image descriptor // Proc. of the Intern. Conf. on Intelligent Robots and Systems (IROS). 2012. P. 1051—1056.
9. David L. Object recognition from local scale-invariant features // Proc. of the Intern. Conf. on Computer Vision. 1999. P. 38—39.
10. Ortiz R., Vandergheynst P. FREAK: Fast retina keypoint // Proc. of the 25th IEEE Conf. on Computer Vision and Pattern Recognition. 2012. P. 510—517.
11. Csurka G., Dance C., Fan L., Willamowski J., Bray C. Visual categorization with bags of keypoints // ECCV Workshop on Statistical Learning for Computer Vision. 2004. Vol. 1, N 22. P. 1—22.
12. Lowe D. Distinctive image features from scale-invariant keypoints // Intern. Journal of Computer Vision. 2004. Vol. 60, N 2. P. 91—110.
Сведения об авторах
Максим Игоревич Евстигнеев — аспирант; Университет ИТМО; кафедра систем управления и информатики; E-mail: makcim269@mail.ru Юрий Володарович Литвинов — канд. техн. наук, доцент; Университет ИТМО; кафедра систем управления и информатики; E-mail: yurl13@yandex.ru Вероника Васильевна Мазулина — аспирант; Университет ИТМО; кафедра систем управления и информатики; E-mail: nikasummit@rambler.ru Мария Максимовна Чащина — студентка; Университет ИТМО; кафедра систем управления и инфор-
матики; E-mail: marichaschina@mail.ru
Рекомендована кафедрой Поступила в редакцию
систем управления и информатики 21.03.17 г.
Ссылка для цитирования: Евстигнеев М. И., Литвинов Ю. В., Мазулина В. В., Чащина М. М. Локация мобильного робота с использованием структурного анализа изображений // Изв. вузов. Приборостроение. 2017. Т. 60, № 9. С. 858—862.
MOBILE ROBOT LOCATION USING STRUCTURAL ANALYSIS OF IMAGES M. I. Evstigneev, Yu. V. Litvinov, V. V. Mazulina, M. M. Chashchina
ITMO University, 197101, St. Petersburg, Russia E-mail: makcim269@mail.ru
An algorithm for visual navigation of autonomous mobile robot and determination of its position in uncertain environment using computer vision system is considered. The algorithm employs comparison of three-dimensional scene images based on comparison of the local images.
Keywords: mobile robot, machine vision, navigation, onboard control complex, information progressing
Data on authors
Maxim I. Evstigneev — Post-Graduate Student; ITMO University, Department of Computer
Science and Control Systems; E-mail: makcim269@mail.ru
Yury V. Litvinov — PhD, Associate Professor; ITMO University, Department of Computer
Science and Control Systems; E-mail: yurl13@yandex.ru
Veronika V. Mazulina — Post-Graduate Student; ITMO University, Department of Computer
Science and Control Systems; E-mail: nikasummit@rambler.ru
Mariya M. Chashchina — Student; ITMO University, Department of Computer Science and
Control Systems; E-mail: marichaschina@mail.ru
For citation: Evstigneev М. I ., Litvinov Yu. V., Mazulina V. V., Chashchina M. M. Mobile robot location using struc-
tural analysis of images. Journal of Instrument Engineering. 2017. Vol. 60, N 9. P. 858—862 (in Russian).
DOI: 10.17586/0021-3454-2017-60-9-858-862
