CC BY
0
МОДЕЛИРОВАНИЕ СИСТЕМЫ УПРАВЛЕНИЯ РОБОТА-РОКЛЫ
Леус А.В.Гаврилов Д.А.2, Татаринова Е.А.3, Холодняк И.В.4, Агафонов С.А.5, Водичев Н.А.6, Усков А.И.7, Пяточкин В.С.8
Ключевые слова: переработка визуальной информации, навигация, ориентирование, оптические метки, алгоритм декодирования, алгоритм поиска меток, эксперимент.
Аннотация
Цель работы: создание эффективного программного обеспечения управления автономной навигацией автоматического робота-роклы.
Методы: системный анализ; математическое, компьютерное 3D и натурное моделирование; модифицированный метод цифровой стабилизации изображения на основе алгоритма Канаде-Лукаса-Томази.
Результаты: решена задача позиционирования и навигации робота-роклы на плоскости с помощью ориентирования по оптическим меткам; разработаны специальные метки с закодированными числами; создан макет складского помещения с картой координат всех меток; разработан негабаритный макет робота-роклы, разработан алгоритм определения координат, проведены эксперименты по проверке возможности позиционирования макета робота-роклы на плоскости с помощью ориентирования по оптическим меткам, разработано программное обеспечение управления макетом робота-роклы в виде независимого программного модуля, который можно встраивать в систему управления реальных роботов.
ЕРЫ: ЖБЮР
Введение
Автономные роботы-роклы (погрузчики-перевозчики) предназначены для проведения такелажных работ в транспортно-складских комплексах, в различных хранилищах (закрытых и открытых) промышленных и торговых организаций. Роботы-роклы представляют собой современные автоматические агрегаты, предназначенные для автономного точного перемещения и складирования грузов в промышлен-
ных условиях. Программное обеспечение системы управления автоматическим роботом-роклой должно создаваться на базе высоких технологий, робототехники, технического зрения и интеллектуальных алгоритмов для обеспечения универсального и надежного решения задач для различных складских операций [1, 12].
Область применения автономных роботов-рокл достаточно широка [10]. Беспилотные роботы незаменимы в сфере логистики и в работе современных гибких автоматизированных комплексов (систем)
' Леус Андрей Владимирович, кандидат технических наук, ведущий научный сотрудник лаборатории цифровых систем специального назначения Московского физико-технического института (МФТИ), г. Москва, Российская Федерация.
E-mail: [email protected]
2 Гаврилов Дмитрий Александрович, доктор технических наук, директор Физтех-школы радиотехники и компьютерных технологий МФТИ, г. Москва, Российская Федерация.
E-mail: [email protected]
3 Татаринова Елена Александровна, кандидат технических наук, аналитиклаборатории цифровых систем специального назначения МФТИ, г. Москва, Российская Федерация.
E-mail: [email protected]
4Холодняк Иван Витальевич, аспирант МФТИ, г. Москва, Российская Федерация.
E-mail: [email protected]
5Агафонов Сергей Алексеевич, студент 4 курса МФТИ, г. Москва, Российская Федерация.
E-mail: [email protected]
6 Водичев Никита Алексеевич, программист лаборатории цифровых систем специального назначения МФТИ, г. Москва, Российская Федерация.
E-mail: [email protected]
7 Усков Анатолий Игоревич, инженер лаборатории цифровых систем специального назначения МФТИ, г. Москва, Российская Федерация.
E-mail: [email protected]
8Пяточкин Вадим Сергеевич, студент 4 курса МФТИ, г. Москва, Российская Федерация.
E-mail: [email protected]
[9], их использование позволяет осуществлять оптимизированную погрузку и разгрузку товаров [13]. Роботы-роклы находят применение в сфере производства для доставки материалов на производственные линии и автоматизированной транспортировки готовой продукции. Автоматические роклы востребованы в сфере оптовой и розничной торговли для ускорения процессов комплектации и сортировки заказов, а также бесперебойного пополнения запасов на полках.
Основные принципы работы системы управления роботом-роклой включают следующие:
- оптико-электронная подсистема (ОЭС) должна без помощи оператора осуществлять сбор информации об окружающей обстановке в режиме реального времени [11, 14]; для создания ОЭС используются различные камеры и датчики [8]; ОЭС приобретает роль «органов зрения», для реализации которых необходимы эффективные алгоритмы [2, 3, 6];
- основными задачами алгоритмов технического зрения являются получение и обработка визуальной информации; одним из наиболее перспективных методов обработки визуальной информации является использование для этих целей искусственных нейронных сетей [4, 12];
- современные алгоритмы планирования траектории и навигации позволяют формировать путь робота для оптимального перемещения без столкновений с учетом наличия различных препятствий, а также обеспечивают эффективную и безопасную работу [3, 7].
1. Постановка задачи
Для достижения поставленной цели работы выполнен выбор способа навигации автоматической роклы, реализована навигация по оптическим меткам.
Основным назначением программного обеспечения (ПО) управления автономной навигацией автоматической роклы является перемещение грузов по складскому помещению. Конструктивное исполнение и состав прототипа ПО управления автономной навигацией автоматической роклы обеспечивают выполнение следующих функций: ориентация в пространстве складского помещения без помощи оператора, идентификация объектов для перемещения, управление при перемещении грузов в рамках складского помещения.
Состав системы управления автономной навигацией автоматической роклы включает следующие ключевые элементы:
микрокомпьютер — предназначен для управления роботизированной платформой, прием и исполнение команд, полученных с главного компьютера;
плата камеры — для записи видеопотока, ориентированного на метки, расположенные на потолке;
веб-камера — для записи видеопотоков, ориентированных на распознавание: (а) палеты (заполненная
грузом платформа или поддон), (б) линий разметки макета складского предприятия;
ультразвуковой дальномер — для определения препятствий на пути;
сервопривод — для подъема погрузочных палет-ных вил;
моторы с энкодерами (преобразователи угловых перемещений) — для перемещения;
алгоритм декодирования — по меткам-мишеням расшифровывает информацию, содержащуюся в оптической метке;
алгоритм поиска собственной координаты и вектора ориентации погрузчика по любым двум найденным меткам — распознает на изображении метки, рассчитывает центры и координаты меток для определения местоположения робота и его угла поворота относительно горизонтальной оси;
алгоритм стабилизации видео — осуществляет захват пары кадров, оценку движения между ними и корректировку движения.
Система управления построена на базе Arduino Nano9, Raspberry Pi10 и персонального компьютера. Arduino Nano контролирует сервопривод, считывает показания дальномера и сенсорной кнопки. Raspberry Pi считывает показания энкодеров, управляет двигателями, а также передает видеопоток с камер. Персональный компьютер осуществляет расчеты, связанные с навигацией, компьютерным зрением, осуществляет взаимодействие роботов. В качестве операционной системы используется связка Ubuntu 20.0411 и ROS2 foxy12.
Требуется разработать прототип программного комплекса управления автономной навигацией автоматического робота-роклы, обеспечивающий навигацию и наведение на палету, обнаружение препятствий и случайных объектов на пути следования роклы, которыми могут быть люди, другие роклы, грузы или иные объекты.
2. Формально-математический аппарат решения задачи навигации
Алгоритм декодирования меток-мишеней
В качестве навигационной системы использованы потолочные оптические метки, имеющие ряд преимуществ:
1. Низкая стоимость: для навигации роботу необходима только одна камера.
2. Непрерывное и однозначное определение координат робота. Рокла не может «заблудиться» в одинаковых рядах, если на складе отсутствуют области без разметки, так как в любой точке склада робот видит хотя бы две метки.
9 URL: https://docs.arduino.cc/hardware/nano
10 URL: https://www.raspberrypi.com/
11 URL: https://releases.ubuntu.com/20.04/
12 URL: https://robostack.github.io/foxy.html
3. Долговечность и простота установки. Потолочные метки не стираются и не загрязняются, установка не требует структурных изменений склада.
Для ориентира робота-роклы были выбраны круглые метки-мишени собственной кодировки на основе кода Хемминга13. Известные QR-коды, а также различные штрихкоды не нашли применения из-за достаточно трудоемких алгоритмов, которые излишни для решения поставленной задачи. Внешний вид меток-мишеней представлен на рис. 1.
Рис. 1. Внешний вид мишеней для ориентирования
В качестве преимуществ выбранного решения для ориентира макета робота можно выделить следующие: круг симметричен, можно найти центр, что позволяет осуществлять достаточно легкую расшифровку.
Каждая круглая метка-мишень радиусом R содержит 3 окружности на расстоянии 0^, 0,7R и R, определяющих три пояса — внутренний, средний и внешний. Внешнему поясу соответствует граница метки-мишени, среднему — ее битовый код, внутренний пояс определяет стартовый бит.
Число кодируется по коду Хэмминга14. Код Хэммин-га является самоконтролирующимся кодом, т. е. кодом, позволяющим автоматически обнаруживать ошибки при передаче данных. Алгоритм позволяет закодировать информационное сообщение определённым образом и после передачи (например, по сети) определить, появилась ли какая-то ошибка в этом сообщении, и при возможности восстановить исходное сообщение. Для кодировки использован простой алгоритм Хемминга, позволяющий исправлять одну ошибку. Основными преимуществами выбранного способа кодировки являются простота реализации и эффективность использования ресурсов. Относительно небольшое использование дополнительных битов позволяет снизить нагрузку на систему и уменьшить объем передаваемых данных, что позволяет использовать код Хэмминга в различных системах и устройствах.
Код Хэмминга представляет собой систематический код, имеющий большую относительную избыточность, нежели код с проверкой на четность, и предназначен либо для исправления одиночных ошибок, либо для исправления одиночных и обнаружения без
исправления двойных ошибок. п-значный код Хэмминга имеет т информационных разрядов и к контрольных. Для каждого блока такой длины возможны П= т+к различных комбинаций, содержащих ошибку. Число контрольных разрядов должно удовлетворять соотношению: к > log2(и + 1), отсюда: т < п — 1о§2(и + 1).
Поиск собственной координаты и вектора ориентации погрузчика по любым двум найденным меткам
Для определения собственного местоположения роботу достаточно двух меток, по их относительному расположению вычисляется координата и направление движения. Каждая метка представляет собой уникальную комбинацию, которая соответствует её координате в трехмерном пространстве. Каждый сегмент внешнего радиуса определяет бит, белый сегмент во внутреннем радиусе определяет начало шифра. Погрешность определения координаты составляет менее 1 см, угла направления — менее 1 градуса.
Исходные данные:
(Л-УД (х2,у2), Ос,ус) — предсказанные координаты (в пикселях) первой и второй меток и середины расстояния между их центрами на изображении соответственно; (Х^, У^), (Х2, У2) — реальные координаты (в см) первой и второй меток соответственно; К — коэффициент перевода из координат изображения в реальные координаты.
Расчёт угла между системами координат реальности и изображения осуществляется с помощью выражений:
- угол ар в координатах изображения:
„ (Уг - У^
ар = агсЬд I-
\х2 _
- угол аг в реальных координатах:
- итоговый угол:
arctg
Х2 ~ Х1
п
г р 2
Расчёт угла между векторами а и Ь осуществляется с помощью выражений:
- вектор а между центром и первой меткой:
а = (хс -х1,ус -у1);
- вектор Ь между двумя метками:
Ь = (х2 -х1,у2 у±).
По теореме косинусов угол между а и Ь:
13 Блейхут Р. Теория и практика кодов, контролирующих ошибки. М. : Мир, 1986. 576 с.
14 Там же.
у = arccos
I Cïy Öy
\a\\b\
Для определения единичного вектора и направления угла используются следующие выражения: - длина вектора а в координатах изображения:
а = ^{х1-хс)2 + (у±-ус)2;
- длина вектора Ь в реальных координатах:
b = j(x2-x1y + (y2-Y1y)
- единичный вектор:
(Х2 — х± Y2 — Y1
b b
Определение знака поворота осуществляется с помощью третьей компоненты векторного произведения:
sign(a) = sign((X2 - X^{YC - Y±) --(Y2-Y1)(XC-X1)).
С помощью матрицы поворота рассчитываются координаты центра в реальности. Если знак поворота положительный, то берется матрица поворота для правой тройки и наоборот:
Хс = Х1+ х' cos у + у'; Yc = Y1 + х' sin у Ту' cos у.
Поиск меток на видеоизображении
Для поиска меток на видеоизображениях использован детектор на основе нейронной сети YOLO (You Only Look Once — Ты Смотришь Только Один Раз)15. Все изображение с помощью сетки разбивается на ячейки размера 5х S. После этого для каждой ячейки предсказываются два показателя: ограничительные рамки (bounding boxes) и вероятности нахождения в них нужного объекта (confidence). Размер (bw,bfl) и положение (bx, ¿^^ограничительных рамок вокруг объекта на изображении вычисляются по формулам:
bx = tffe) + сх; Ьу = ff(ty) + су)
К = Pwetw; К = pheth, где tx, ty, tw, tfr — предсказанные координаты центра рамки; сх, Су — координата верхней левой точки рамки; pw, Ph — ширина и высота рамки соответственно; 0"(tx), — «оценка доверия» (вероятность попадания искомого объекта внутрь предсказанной рамки).
Стабилизация изображения
Для стабилизации видео выполняется захват пары кадров, оценка движения между ними и корректировка движения. Для определения смещения на кадре определяются наиболее выделяющиеся точки (области) — это области с большим количеством углов [5].
Алгоритм производит анализ матриц Гессе и выбирает точки, в которых детерминант матрицы Гессе, так называемый гессиан, достигает экстремума. Градиент в каждой точке вычисляется с помощью фильтров Ха-ара [15]. Интегральное представление изображения, обеспечивающее эффективное вычисление фильтров Гессе и Хаара, — это матрица, размер которой совпадает с размером исходного изображения, а элементы вычисляются по формуле:
11{х,у) = £ /(¿,у), ¿=о,у=о
где /(¿,/) — яркость пикселя с координатами (¿,у) исходного изображения; II (х, у) — яркость пикселя с координатами (х, у) интегрального изображения.
Матрица Гессе для двумерной функции и ее детерминант вычисляются следующим образом:
Я(/(х,у)) =
det(H) =
Значение гессиана используется для нахождения локального минимума или максимума яркости изображения. В этих точках значение гессиана достигает экстремума.
Отслеживание выделяющихся точек в следующем кадре осуществляется с помощью алгоритма Канаде-Лукаса-Томази16 [2].
Изображения представляются в виде:
]{х) = 1{х,у,г + т) = = 1{х - \,у -Т[,г) = 1{х -
Количество движения й = Г|) называется смещением точки (х, у) за время т. Новый кадр можно описать как ]{х) = 1(х — (Г) + п(х), где п(х) — шумовая составляющая. В задаче требуется минимизировать шумы, поэтому вектор ([ должен выбираться так, чтобы ошибка была минимальна, причем ошибка £ определяется как
где Ш — рассматриваемая область изображения; № — весовая функция, которая может определяться как 1 или как распределение Гаусса.
Если смещение d достаточно мало, то !{х — (!) = !{х) = д • й, и ошибка будет определяться как
16
Lucas B. D., Kanade T. An iterative image registration technique
15 Redmon J., Farhadi A. YOLO: Real-Time Object Detection. 2015. URL: with an application to stereo vision // Int. Jt. Conf. Artif. Intell. 1981.
http://pjreddie.com/darknet/yolo/ (дата обращения: 06.02.2021). Vol. 130. No. 5. Pp. 674-679.
s = I [/(х) — g • d) — J(x)]2wdx =
№
= I (.Ь — д • d)2wdx,
где ¡1 = !(х) -](х) ;д = — градиенты
изображения.
В соответствии с требованием минимизации ошибки рассмотрим производную ошибки по смещению. В минимуме функции ошибки ее производная будет равна нулю:
I
w
(h — д • d)gwdx = О,
так как (д • d)g = (gg^)d и d считается константой, получаем:
| J gTwdx gjd= J / w
hgwdx
Рис. 2. Внешний вид макета складского помещения
Таблица 1
Технические характеристики макета склада
Наименование Значение
Размер, м 2,44 X 2,44
Высота, м 1,2
Для проверки возможности управления манипуляциями разработан негабаритный макет робота-роклы. С помощью направленной вверх камеры осуществляется обнаружение и считывание оптических меток. Боковые камеры осуществляют поиск грузов и чтение напольной разметки, задняя камера предназначена для поиска препятствий. С помощью сигнализатора установки груза осуществляется контроль установки груза на палету.
Данное уравнение представляет собой систему двух уравнений с двумя неизвестными, решив которую, мы получим значение величины смещения.
3. Создание макета робота-роклы
Макет предназначен для проверки возможности позиционирования робота-роклы на плоскости с помощью ориентирования по оптическим меткам. Для отработки решения был создан макет-площадка (рис. 2) в масштабе 1:10, имитирующий складское помещение площадью 600 м2 с высотой потолков около 12 м (табл. 1).
Рис. 3. Внешний вид макета робота-роклы
Данные, полученные с камер, поступают в блок обработки данных, после чего результаты поступают в блок управления, в котором формируются управляющие сигналы для системы управления макета робота. Видеопоток с четырех камер передается по Wi-Fi на персональный компьютер, где происходят ресур-созатратные вычисления для компьютерного зрения и построения карт для робота с использованием Nav2. Каждое палетное место имеет уникальный номер, состоящий из номера ряда и номера палеты в ряду. Робот способен самостоятельно перевезти палету с одного места на другое.
Корпус макета автоматической роклы смоделирован и распечатан на 3D принтере в масштабе 1:10 (рис. 3). Колеса роклы снабжены энкодерами, имеется подъемник на сервомоторе, сенсорная кнопка на подъемнике, монитор состояния, ультразвуковой дальномер и 4 камеры.
4. Экспериментальные исследования
Проведены натурные эксперименты по проверке возможности позиционирования макета робота-роклы на плоскости с помощью ориентирования по оптическим меткам. Идея эксперимента состояла в том, чтобы проверить возможность точной навигации без использования методов SLAM (англ. simultaneous localization and mapping — одновременная локализация и построение карты) [16] и испытать позиционирование робота на плоскости с помощью ориентирования по оптическим меткам.
Эксперимент 1. На начальном этапе обнаружение меток осуществлялось через незакрепленную камеру. Результаты эксперимента 1 представлены на рис. 4.
Рис. 4. Результаты эксперимента 1
Цифрами на графике указаны значения погрешности определения координат на каждом шаге перемещения.
Результаты эксперимента 1 показали, что алгоритм работает в целом верно, но точность позиционирования недостаточно высока. Средняя погрешность определения координат составила 2,53 см.
Эксперимент 2. Эксперимент выполнялся на макете робота-роклы с закрепленной камерой. В процессе тестирования осуществлялось совершенствование алгоритма определения координат. Результаты эксперимента 2 представлены на рис. 5.
Средняя погрешность определения координаты составила 0,17 см.
Координата, си
200
160
120
80
40
0,09
0,34
/ 0,ЗУ\ / \
0,01 0,10у 0,15 4 \ 0,20 ^ 0.15 0,34
0,02*" 0,08 "0,05 „ N^0,(14/
0,06 0,12 "" - 0,00
2 3 6
-Рассчитанная координата по оси абсцисс Реальная координата по оси абсцисс
8 9 10
-Рассчитаннаякоордината по оси ординат ■ Реальная координата по оси ординат
Перемещение, шаг
Рис. 5. Результаты эксперимента 2
Заключение
Таким образом, разработан прототип программного комплекса управления автономной навигацией автоматического робота-роклы, обеспечивающего движение робота по оптическим меткам без помощи оператора.
Обоснован выбор способа навигации макета автоматической роклы, реализована навигация по оптическим метками, разработан алгоритм поиска собственной координаты и вектора ориентации ро-клы по любым двум найденным меткам, выполнена предметная модификация метода цифровой стабилизации изображения на основе алгоритма Канаде-Лукаса-Томази. Созданы и закодированы круглые метки-мишени. Для проверки возможности позиционирования робота на плоскости с помощью ориентирования по оптическим меткам разработаны и соз-
даны макеты складского помещения и негабаритный макет робота-роклы.
Проведены эксперименты по проверке возможности позиционирования макета робота-роклы на плоскости с помощью ориентирования по оптическим меткам. В процессе тестирования прототипа программного комплекса управления автоматической роклой для перемещения грузов по складу осуществлялось совершенствование алгоритма определения координат. Проведенные эксперименты показали, что разработанный прототип программного комплекса обеспечивает достаточно точное ориентирование по оптическим меткам.
Разработанный прототип программного комплекса управления автономной навигацией макета автоматического робота-роклы представляет собой независимый программный модуль, который можно встраивать в систему управления реальных роботов-рокл.
Рецензент: Омельченко Виктор Валентинович, доктор технических наук, профессор, заслуженный деятель науки и техники РСФСР, советник секретариата научно-технического совета ВПК «НПО Машиностроения», г. Москва, Российская Федерация. E-mail: [email protected]
Литература
1. Багутдинов Р. А. Принцип разработки алгоритмического обеспечения системы технического зрения роботов // Наукоемкие технологии в космических исследованиях Земли. 2017. Т. 9. № 5. С. 66—71.
2. Бурый А. С. Информационно-математическое обеспечение контроля качества компьютерных программ // Правовая информатика. 2019. № 2. С. 15—24. DOI: 10.21681/1994-1404-2019-2-15-25 .
3. Гаврилов Д. А. Интеллектуальные программно-аппаратные решения для автоматизированных оптико-электронных систем реального времени // Правовая информатика. 2021. № 3. С. 14—24. DOI: 10.21681/1994-14042021-3-14-24 .
4. Гаврилов Д. А. Нейросетевой алгоритм автоматического обнаружения и сопровождения объекта интереса в видеосигнале // Тр. 16-й Нац. конф. по искусственному интеллекту (24—27 сентября 2018 г.). В 2-х т. Т. 2 / ФИЦ ИУ РАН. М. : РКП, 2018. С. 188—190.
5. Гаврилов Д. А., Ивкин А. В., Щелкунов Н. Н. Система тестирования алгоритмов стабилизации видеоизображений, функционирующих в режиме реального времени // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2018. № 6. С. 22—36.
6. Гаврилов Д. А., Ловцов Д. А. Автоматизированная переработка визуальной информации с помощью технологий искусственного интеллекта // Искусственный интеллект и принятие решений. 2020. № 4. С. 33—46.
7. Гаврилов Д. А., Ловцов Д. А. Автоматизированная оптико-электронная система наземно-космического мониторинга для систем безопасности реального времени // Вопросы кибербезопасности. 2020. Т. 39. № 5. С. 41—47.
8. Гаврилов Д. А., Татаринова Е. А., Фортунатов А. А., Буздин В. Э., Учаев Д. В., Учаев Дм.В., Михайлов И. М., Терен-тьев М. В., Щелкунов Д. Н., Мурхиж Я., Поткин О. А. Разработка прототипа многофункциональной оптико-электронной системы кругового обзора для обеспечения визуального ориентирования беспилотных транспортных средств // Научное приборостроение. 2023. Т. 33. № 3. С. 37—48.
9. Канарейкин П. Н., Гнеденко Б. В., Мортвичев В. Н., Кобзарь В. А., Воронин В. Н., Ловцов Д. А. Автоматизированный участок механической обработки деталей: А. С. № 1238946 Би // Б. И. 1986. № 23. С. 43.
10. Кондратьев В. В., Пивоваров И. О., Горбачев Р. А., Матюхин В. В., Корнев Д. А., Гаврилов Д. А., Татаринова Е. А., Буздин В. Э., Михайлов И. М., Поткин О. А. Перспективы применения искусственного интеллекта в прикладных бизнес-задачах // Доклады РАН. Математика, информатика, процессы управления. 2022. Т. 508. № 1. С. 41 —49.
11. Ловцов Д. А., Гаврилов Д. А. Моделирование оптико-электронных систем дистанционно пилотируемых аппаратов : монография. М.: Технолоджи-3000, 2019. 164 с.
12. Ловцов Д. А., Гаврилов Д. А., Татаринова Е. А. Эффективная автоматизированная переработка визуальной информации в оптико-электронной системе наземно-космического мониторинга // Профессорский журнал. Сер. Технические науки. 2019. № 3. С. 26—40.
13. Николюкин М. C., Обухов А. Д., Алексеев В. В. Моделирование поддержки принятия решений в системе управления складским комплексом // Правовая информатика. 2023. № 3. С. 54—64. EDN: KQBVSP.
14. Преображенский Н. Б., Холопов Ю. А., Гаврилов Д. А. Эффективная реализация и контроль интервалов времени в специализированных цифровых системах // Журнал радиоэлектроники. 2019. № 8. С. 11. DOI: 10.30898/1684-1719-2019-8-12 .
15. Bay H., Essa A., Tuytelaars T., Van Gool L. Speeded-Up Robust Features (SURF). Computer Vision and Image Understanding. 2008. Vol. 110. № 3. Pp. 346—359.
16. Mur-Artal R., Tardos J. D. Visual-Inertial Monocular SLAM With Map Reuse. IEEE Robot. Autom. Lett. 2017. Vol. 2. № 2. Pp. 796—803.
MODELLING A ROBOTIC PALLET TRUCK CONTROL SYSTEM
Andrei Leus, Ph.D. (Technology), Leading Researcher at the Laboratory of Special Purpose Digital Systems of the Moscow Institute of Physics and Technology (MIPT), Moscow, Russian Federation. E-mail: [email protected]
Dmitrii Gavrilov, Dr.Sc. (Technology), Director of the Phystech School of Radio Engineering and Computer Technology of the Moscow Institute of Physics and Technology (MIPT), Moscow, Russian Federation. E-mail: [email protected]
Elena Tatarinova, Ph.D. (Technology), Analyst at the Laboratory of Special Purpose Digital Systems of the Moscow Institute of Physics and Technology (MIPT), Moscow, Russian Federation. E-mail: [email protected]
Ivan Kholodniak, Ph.D. student at the Moscow Institute of Physics and Technology (MIPT), Moscow,
Russian Federation.
E-mail: [email protected]
Sergei Agafonov, 4th year student at the Moscow Institute of Physics and Technology (MIPT), Moscow,
Russian Federation.
E-mail: [email protected]
Nikita Vodichev, Programmer at the Laboratory of Special Purpose Digital Systems of the Moscow Institute of Physics and Technology (MIPT), Moscow, Russian Federation. E-mail: [email protected]
Anatolii Uskov, Engineer at the Laboratory of Special Purpose Digital Systems of the Moscow Institute of Physics and Technology (MIPT), Moscow, Russian Federation. E-mail: [email protected]
Vadim Piatochkin, 4th year student at the Moscow Institute of Physics and Technology (MIPT), Moscow,
Russian Federation.
E-mail: [email protected]
Keywords: visual information processing, navigation, orientation, optical marks, decoding algorithm, mark search algorithm, experiment.
Abstract
Purpose of the paper: developing efficient software for autonomous navigation control of an automated robotic pallet truck (RPT).
Methods used: system analysis, mathematical, 3D computer simulation and full-scale modelling, modified method of digital image stabilisation based on the Kanade-Lucas-Tomasi (KLT) algorithm.
Study findings. The problem of positioning and navigating a RPT on a plane was solved using orientation by optical marks. Special marks with encoded numbers were developed. A warehouse model was set up, with a map of coordinates for all marks. An off-size model of an RPT was made, and an algorithm for determining coordinates was developed. Experiments were carried out checking the feasibility of positioning the RPT model on the plane using orientation by optical marks. A software package for RPT model control was developed in the form of an independent software module which can be built-in into existing robot control systems.
References
1. Bagutdinov R. A. Printsip razrabotki algoritmicheskogo obespecheniia sistemy tekhnicheskogo zreniia robotov. Naukoemkie tekhnologii v kosmicheskikh issledovaniiakh Zemli, 2017, t. 9, No. 5, pp. 66-71.
2. Buryi A. S. Informatsionno-matematicheskoe obespechenie kontrolia kachestva komp'iuternykh programm. Pra-vovaia informatika, 2019, No. 2, pp. 15-24. DOI: 10.21681/1994-1404-2019-2-15-25 .
3. Gavrilov D. A. Intellektual'nye programmno-apparatnye resheniia dlia avtomatizirovannykh optiko-elektronnykh sistem real'nogo vremeni. Pravovaia informatika, 2021, No. 3, pp. 14-24. DOI: 10.21681/1994-1404-2021-3-14-24 .
4. Gavrilov D. A. Neirosetevoi algoritm avtomaticheskogo obnaruzheniia i soprovozhdeniia ob"ekta interesa v videosignale. Tr. 16-i Nats. konf. po iskusstvennomu intellektu (24-27 sentiabria 2018 g.). V 2-kh t., t. 2. FITs IU RAN. M. : RKP, 2018, pp. 188-190.
5. Gavrilov D. A., Ivkin A. V., Shchelkunov N. N. Sistema testirovaniia algoritmov stabilizatsii videoizobrazhenii, funkt-sioniruiushchikh v rezhime real'nogo vremeni. Vestnik MGTU im. N.E. Baumana, ser. Priborostroenie, 2018, No. 6, pp. 22-36.
6. Gavrilov D. A., Lovtsov D. A. Avtomatizirovannaia pererabotka vizual'noi informatsii s pomoshch'iu tekhnologii iskusstvennogo intellekta. Iskusstvennyi intellekt i priniatie reshenii, 2020, No. 4, pp. 33-46.
7. Gavrilov D. A., Lovtsov D. A. Avtomatizirovannaia optiko-elektronnaia sistema nazemno-kosmicheskogo monitoringa dlia sistem bezopasnosti real'nogo vremeni. Voprosy kiberbezopasnosti, 2020, t. 39, No. 5, pp. 41-47.
8. Gavrilov D. A., Tatarinova E. A., Fortunatov A. A., Buzdin V. E., Uchaev D. V., Uchaev Dm.V., Mikhailov I. M., Terent'ev M. V., Shchelkunov D. N., Murkhizh Ia., Potkin O. A. Razrabotka prototipa mnogofunktsional'noi optiko-elektronnoi sistemy krugovogo obzora dlia obespecheniia vizual'nogo orientirovaniia bespilotnykh transportnykh sredstv. Nauchnoe priborostroenie, 2023, t. 33, No. 3, pp. 37-48.
9. Kanareikin P. N., Gnedenko B. V., Mortvichev V. N., Kobzar' V.A., Voronin V.N., Lovtsov D. A. Avtomatizirovannyi uchas-tok mekhanicheskoi obrabotki detalei: A. S, No. 1238946 SU. B. I. 1986, No. 23, p. 43.
10. Kondrat'ev V. V., Pivovarov I. O., Gorbachev R. A., Matiukhin V. V., Kornev D.A., Gavrilov D. A., Tatarinova E. A., Buzdin V. E., Mikhailov I. M., Potkin O.A. Perspektivy primeneniia iskusstvennogo intellekta v prikladnykh biznes-za-dachakh. Doklady RAN. Matematika, informatika, protsessy upravleniia, 2022, t. 508, No. 1, pp. 41-49.
11. Lovtsov D. A., Gavrilov D. A. Modelirovanie optiko-elektronnykh sistem distantsionno pilotiruemykh apparatov : monografiia. M.: Tekhnolodzhi-3000, 2019. 164 s.
12. Lovtsov D. A., Gavrilov D. A., Tatarinova E. A. Effektivnaia avtomatizirovannaia pererabotka vizual'noi informatsii v optiko-elektronnoi sisteme nazemno-kosmicheskogo monitoringa. Professorskii zhurnal. Ser. Tekhnicheskie nauki, 2019, No. 3, pp. 26-40.
13. Nikoliukin M. C., Obukhov A. D., Alekseev V. V. Modelirovanie podderzhki priniatiia reshenii v sisteme upravleniia sk-ladskim kompleksom. Pravovaia informatika, 2023, No. 3, pp. 54-64. EDN: KQBVSP.
14. Preobrazhenskii N. B., Kholopov Iu.A., Gavrilov D. A. Effektivnaia realizatsiia i kontrol' intervalov vremeni v spetsializ-irovannykh tsifrovykh sistemakh. Zhurnal radioelektroniki, 2019, No. 8, p. 11. DOI: 10.30898/1684-1719-2019-8-12 .
15. Bay H., Essa A., Tuytelaars T., Van Gool L. Speeded-Up Robust Features (SURF). Computer Vision and Image Understanding, 2008. Vol. 110, No. 3. Pp. 346-359.
16. Mur-Artal R., Tardós J. D. Visual-Inertial Monocular SLAM With Map Reuse. IEEE Robot. Autom. Lett., 2017. Vol. 2, No. 2. Pp. 796-803.
