CC BY
0
Актуальные проблемы авиации и космонавтики - 2022. Том 1
УДК 004.932.2
АЛГОРИТМ ПОДХОДА СХВАТА НА ОСНОВАНИИ ИЗОБРАЖЕНИЯ ОБЪЕКТА
Я. Е. Шумилина, А.О. Панаськов Научный руководитель - В. А. Левко
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: yana.shum@gmail.com
В статье рассмотрен алгоритм нахождения объектов заданной формы на изображении, вычисления их положений относительно заданной точки пространства.
Ключевые слова: алгоритм, OpenCV, подход схвата
GRASP APPROACH ALGORITHM BASED ON OBJECT IMAGE
Y. E. Shumilina, A. O. Panaskov Scientific supervisor - V. A. Levko
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation E-mail: yana.shum@gmail.com
The article considers an algorithm for finding objects of a given shape in an image, calculating their positions relative to a given point in space.
Keywords: algorithm, OpenCV, grasp approach.
Применение на международной космической станции (МКС) автономных роботов в космосе в будущем только увеличится. В августе 2019 года на станции прошел проверку робот FEDOR, а в августе 2021 года на МКС были успешно проведены первые испытания Интегрированной системы автономного и адаптивного ухода НАСА (ISAAC) [1]. Полная автономность роботов не может существовать без систем очувствления. Один из способов получения информации - использование камер для последующего распознавания элементов и областей интереса.
В данной работе мы предлагаем алгоритм распознавания на изображении прямоугольных объектов и вычисление варианта подхода манипулятора для их схвата.
Перед началом поиска объектов интереса необходимо откалибровать камеру с помощью паттерна и линейки для последующего вычисления соотношения пикселей к длине.
После калибровки манипулятор выходит в точку над предметами интереса и в режиме реального времени ведет фотофиксацию недетерминированной среды. В ходе фотофиксации, каждое полученное изображение обрабатывается подпрограммой. Происходит запуск подпрограммы для обработки полученной информации. Программа, использующая в качестве математического аппарата библиотеку OpenCV [2], каждое полученное изображение переводит цветовое пространство BGRв HSV. Далее подпрограмма фильтрует преобразованное изображение для выделения элементов на фото в соответствии с заданной интенсивностью пикселей элементов интереса и фона. После этого подпрограмма вызывает процедуру поиска контуров (рис. 1), для каждого полученного контура определяемего
Секция «Технологические и мехатронные системы is производстве ракетно-космической техники»
площадьи тем самым, зная площадь искомых объектов, отсеиваем все конторы меньше заданных [3].
Рис. 1. Первоначальная фотография и изображение после нахождения контура
Далее нам необходимо определить ориентацию объектов интереса относительно положения схвата. Для этого нам необходимо найти линию прямоугольника, которая образует с осью x (ось схвата) изображения наименьший острый угол. Далее определяем координаты центров объектов интереса сначала относительно осей изображения, а потом, зная координаты схвата с учетом данных о калибровке камеры, определяем координаты вектора подхода схвата. Зная координаты объектов интереса и соответственно сторон прямоугольников описывающих их вычислим угол ротации схвата по следующей формуле:
180 ( хгх2 +У1У2 \ angle а =-х arccos '
п +У12 х V*! +у22/
где Х1, у1 -координаты единичного вектора оси х, х2, у2- координаты вектора стороны объекта интереса. На рис. 2 (справа) представлены углы поворота каждого прямоугольника и расстояние от центра схвата до центров объектов интереса.
Рис. 2. Фильтрация изображения (слева), получившееся изображение (справа)
Актуальные проблемы авиации и космонавтики - 2022. Тома 1
В результате был разработан следующий алгоритм:
1. Инициализация камеры. Здесь происходит калибровка камеры, получение изображения.
2. Фильтрация изображения по граничным условиям в цветовом пространстве HSV.
3. Поиск контуров. Для поиска контуров мы воспользовались цепным кодом Фримена.
4. Определяем контуры, в которые могут быть вписаны прямоугольники.
5. Определяем координаты вершин каждого прямоугольника, вычисляем площади полученных прямоугольников.
6. Отсеиваем прямоугольники с площадью меньше заданной.
7. Для оставшихся прямоугольников определяем их углы поворота относительно схвата манипулятора.
8. Определяем координаты центров прямоугольников относительно схвата манипулятора.
9. Выбираем ближайший объект и производим над ним заданное действие.
10. Цикл повторяется, пока не достигнуто условие его окончания.
Разработанный алгоритм подхода схвата на основании изображения объекта предполагает возможность смещения центра схвата относительно системы координат изображения, дает возможность оценить расстояния до нескольких объектов для оптимизации задачи, позволяет определить угол поворота объекта относительно положения губок схвата. Тем самым данный алгоритм позволяет манипулятору, оборудованному системой технического зрения, ориентироваться в режиме реального времени в постоянно изменяющейся недетерминированной среде для выполнения различного рода задач по оптимальному маршруту.
Библиографические ссылки
1. Meet ISAAC, Integrating Robots with the Space Stations of the future [Электронныйресурс]. URL: https://www.nasa.gov/feature/ames/meet-isaac (дата обращения: 11.03.2022)
2. Howse J., Minichino J.Learning OpenCV 4 Computer Vision with Python 3 / Packt Publishing, 2020. - 352 p.
3. J. Park, K. M. M. Chisty, J. Lee, Y. An and Y. Choi, "Image Retrieval Technique Using Rearranged Freeman Chain Code," 2011 First International Conference on Informatics and Computational Intelligence, 2011, pp. 283-286, DOI: 10.1109/ICI.2011.54.
© Шумилина Я. Е., Панаськов А. О., 2022
