ПОДДЕРЖКА СРЕДСТВ АВТОНОМНОЙ НАВИГАЦИИ МОБИЛЬНОГО РОБОТА С ПОМОЩЬЮ ВНУТРЕННЕЙ МОДЕЛИ НА НЕЙРОННОЙ СЕТИ

Шмалько Елизавета Юрьевна; Прокопьев Игорь Витальевич; Дивеев Асхат Ибрагимович

Поддержка средств автономной навигации мобильного робота с помощью внутренней модели на нейронной сети

Е.Ю. Шмалько, И.В. Прокопьев, А.И. Дивеев

Аннотация—Автономная навигация является одной из ключевых задач при разработке систем управления реальными автономными мобильными роботами. Основным источником информации о местоположении робота является его сенсорная система. Однако, у любой сенсорной системы есть слабые места. В связи с этим возникает необходимость поддержки навигационной системы каким-то образом, не зависящим от показаний датчиков. В работе представлена разработанная технология определения положения мобильного робота в автономном режиме на основе внутренней модели. Подход предполагает использование на борту точной модели реального робота, идентифицированной нейронной сетью. В условиях современных вычислительных мощностей получение такой модели значительно проще, чем аналитическое ее выведение. При этом в модели учитываются различные динамические свойства модели, которые трудно учесть вручную. При идентификации предложено использовать смешанный подход, когда кинематическая часть модели робота считается известной, а динамические свойства модели идентифицируются нейронной сетью. Имея довольно точную модель на борту, робот корректирует свое положение, определенное с помощью датчиков, в соответствии с со своим положением, полученным с помощью нейросетевой модели. В случае сбоев в работе датчиков или их отключении, робот может некоторое время продолжить автономное выполнение поставленной задачи. В экспериментальной части рассматривается задача об автономном движении мобильного робота по заданной траектории.

Ключевые слова—автономная навигация, локализация, идентификация, нейронная сеть, машинное обучение, мобильный робот.

I. Введение

В настоящее время существует довольно много видов навигации автономных беспилотных роботов. Спутниковая навигация, безусловно, является наиболее приоритетным способом. Однако он также имеет ряд ограничений по применимости. Например, в помещении

Статья получена 15 ноября 2022.

Елизавета Юрьевна Шмалько, к.т.н., с.н.с., Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия (e-mail: e.shmalko@gmail.com).

Игорь Витальевич Прокопьев, д.т.н., в.н.с., Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия (e-mail: fvi2014@list.ru).

Асхат Ибрагимович Дивеев, д.т.н., профессор, г.н.с., Федеральный исследовательский центр «Информатика и управление» Российской академии наук, Москва, Россия (e-mail: aidiveev@mail.ru).

спутниковый сигнал обычно не достигает устройств через бетонные и металлические конструкции, а зачастую просто не хватает уровня точности для определения местоположения. Так как пространство внутри зданий ограничено относительно небольшими площадями, возможно использование таких инструментов навигации, как триангуляция [1], навигация по различным маркерам типа QR-кодов [2, 3], штрих-кодов [4], ArUco меток [4, 5, 6], навигация SLAM [7, 8, 9], а также комбинации вышеперечисленных методов.

В незнакомых или малоизученных пространствах наиболее перспективной из упомянутых технологий является метод навигации SLAM [10]. Этот метод можно использовать в неподготовленном и неизвестном роботу помещении для создания карты и последующего ее использования. В настоящее время эта концепция широко используется в области робототехники для решения задач автономного движения [11, 12, 13]. Согласно SLAM, роботу необходимо знать свое местоположение в каждый момент времени, и далее постепенно сканируя окружающее пространство с помощью датчиков, робот составляет таким образом карту местности. Карта строится по мере того, как робот исследует новые области.

Основным источником информации о местоположении робота является одометрия, полученная тем или иным способом (колеса, компьютерное зрение, IMU или их комбинация). Однако у любой сенсорной системы есть слабые места. Так, например, камеры могут выйти из строя при изменении освещения, или может произойти пробуксовка колес, вызывающая ошибку одометрии.

В связи с этим возникает необходимость поддержки навигационной системы каким-то образом, не зависящим от показаний датчиков. Этим и объясняется актуальность данного исследования.

В статье предлагается использовать модельную навигацию в качестве параллельной системы. В этом случае одна система может корректировать свои значения относительно другой.

Получение математической модели объекта управления часто занимает много времени, а иногда даже невозможно традиционными методами. Для построения математической модели робота используются законы теоретической механики и вручную осуществляются необходимые преобразования.

Следует отметить, что аналитический вывод уравнений динамики робота в большинстве случаев не позволит точно определить некоторые параметры модели, например, коэффициенты трения подвижных частей робота или моменты инерции вращающихся конструкций. Таким образом, аналитический вывод уравнений механики позволяет строить модели с точностью до значений некоторых параметров, однако не всегда позволяет учитывать необходимые динамические свойства.

Ввиду увеличения разнообразия и чрезвычайно сложного характера объектов управления, в том числе многообразия современных робототехнических комплексов, все большую актуальность приобретает задача идентификации, которая позволяет построить математическую модель объекта управления, имея входные и выходные данные о системе. Проведение экспериментов с целью выявления соответствия математической модели реальному объекту является необходимым этапом решения задачи идентификации.

Идентификация нелинейной системы представляет особый интерес, так как большинство реальных систем имеют нелинейную динамику. И если раньше идентификация модели системы заключалась в подборе оптимальных параметров для выбранной структуры, то появление современных методов машинного обучения открывает более широкие перспективы и позволяет автоматизировать сам процесс идентификации. Так что этот процесс также должен быть автоматизирован и, следовательно, должен рассматриваться как задача машинного обучения.

Современным методом идентификации

математической модели робота является использование искусственных нейронных сетей. Для этого необходимо в зависимости от предполагаемой сложности модели робота выбрать структуру и тип нейронной сети, затем в зависимости от решаемой задачи подобрать набор управлений и построить обучающую выборку. Далее необходимо обучить нейронную сеть, чтобы полученная нейронная сеть реагировала на управляющие воздействия так же, как реальный объект. Именно такой подход представлен в данной статье и применен в описываемых экспериментах для мобильного робота.

Далее в статье представлена математическая постановка задачи идентификации модели. Предлагается универсальный подход к ее решению на основе современных методов машинного обучения с использованием нейронных сетей. В качестве примера представлено решение навигационной задачи мобильного колесного робота на основе предложенного подхода с использованием его идентифицированной модели. Для обучения нейронной сети используется обучающий набор, учитывающий особенности движения колесного робота, в том числе пробуксовку колес.

II. Постановка задачи идентификации объекта

УПРАВЛЕНИЯ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТЬЮ

В задаче идентификации математическая модель объекта управления не известна полностью или

частично, но у исследователя есть реальный объект управления или его физический симулятор. В этом случае реальный объект управления или макет физического симулятора является неизвестной функцией. Пространство входных векторов этой функции есть пространство допустимых управлений для этого объекта.

Пусть заданы некоторые функции управления как функции времени

где u' Е U £ Rm. j=l,...,K, U — компактное множество, учитывающее ограничения на управление, t+ — предельное значение времени.

Функции управления v-'(t). j = 1,..., К. следует выбирать так, чтобы можно было определять динамические свойства объекта управления.

Для получения обучающей выборки необходимо провести натурные эксперименты. В эксперименте объект оказывается под воздействием заданного управления и-' (■), / = 1,... ,К и в определенные моменты времени t¡ = i At фиксируется состояние объекта управления x(t¡), ¿ = 0.,..... D}. где D¡ -количество временных интервалов эксперимента с управлением о'(-). j = 1,..., К.

Обучающая выборка для искусственной нейронной сети представляет собой набор хранимых значений векторов управления и состояния в определенные моменты времени

Ti = (JÍ = №(tiU4ti). ti = íüt};: i = 0.....Dj-). (2)

Входной вектор для искусственной нейронной сети является элементом обучающей выборки y(t,) = Т,!, í= 1.....-1/6 {1; А'}.

Выходной вектор искусственной нейронной сети z(t¡ ) должен совпадать с вектором пространства состояний в следующий момент времени х-* (t¡+1)

z<A) = fv,v(y(t,-)), i = 0.....А - W е {1; К}. (3)

где fViV(yft,)) — функция, описываемая искусственной нейронной сетью.

Целевым функционалом оптимизации процесса машинного обучения искусственной нейронной сети является

/с - Z?=iZ£¡; V(t¡+i) - z<A)H . (4)

В этом случае обученная нейронная сеть представляет собой аппроксимацию математической модели объекта управления в виде системы конечно-разностных рекуррентных уравнений.

Если интервал времени At выбран достаточно малым, то можно использовать искусственную нейронную сеть как функцию аппроксимации правых частей системы обыкновенных дифференциальных уравнений в форме Коши. Для этого необходимо определить скорость

изменения переменных состояния для каждого момента времени

i = о.....Dj — 1, /=1...../Г

Если в качестве выходного вектора при обучении нейронной сети используется вектор скоростей (5), то математическая модель объекта управления имеет следующий вид

<Л+1> ~ <А) + Atfj«н ix-'(V), u' (tiXtj. (6)

Важным этапом идентификации системы является определение типа используемой модели, поскольку подавляющее большинство методов реализуют так называемую параметрическую идентификацию [14]. Сначала выбирается определенная структура модели, которая считается подходящей для описания данного объекта. Далее проводится идентификационный эксперимент, в котором измеряются входной и выходной сигналы, а затем метод идентификации реализует настройку параметров модели в соответствии с некоторыми адаптивными законами, так что отклик модели на входной сигнал примерно соответствует реакции реальной системы на одно и то же входное воздействие. Чаще всего для идентификации объектов используют линейные системы [15], так как для них легко определить влияние различных входных сигналов на выходные. Хотя линейные модели привлекательны по многим причинам, они имеют свои ограничения, тем более что все физические системы в той или иной степени нелинейны, и во многих случаях линейные модели не подходят для представления этих систем. В связи с этим в настоящее время наблюдается значительный интерес к методам идентификации нелинейных систем, особенно с использованием методов машинного обучения на основе нейронных сетей [16,17,18].

Нейронные сети, будучи универсальным аппроксиматором, предоставляют мощный инструмент для идентификации нелинейных систем. Ввиду широкого распространения и доступности программного обеспечения нейронные сети приобрели огромную популярность. Разработаны и комбинированные подходы, основанные, например, на эталонной модели [19,20].

В настоящей работе также используется комбинированный подход на основе эталонной модели. Далее продемонстрируем описание подхода в приложении для идентификации модели мобильного робота.

III. Описание объекта управления

В качестве объекта управления взят колесный мобильный робот, изображенный на рис.1.

Рис.1. Объект управления

В работе используется смешанный подход к идентификации, когда часть модели объекта известна на основе физических законов, а другая часть определяется нейронной сетью, обученной на основе специально сформированной обучающей выборки.

Модель движения робота описывается системой дифференциальных уравнений:

х = V соб(6), у = Т75т(6),

' = (7)

где х, у, в определяют состояние объекта, V. ы -управляющие сигналы.

Управление роботом осуществляется с помощью двух сигналов: заданной линейной скорости и" и заданной угловой скорости иш. В модели (7) предполагается, что управляющие сигналы полностью напрямую передаются в систему V = исо = иш. На самом деле наблюдается совсем другая картина: во-первых, скорости не могут меняться бесконечно быстро, и система всегда имеет определенную динамику, а во-вторых, как правило, на более низком уровне присутствует некий регулятор, непосредственно управляющий напряжением, подаваемым на моторы. Поэтому для адекватного описания модели движения робота мы ввели в систему (7) два дополнительных уравнения, описывающих динамику объекта:

где , — неизвестные функции, подлежащие идентификации.

Различные факторы, такие как трение колес о поверхность, инерция, неравномерное распределение массы робота, не позволяют записать функции , /ш в явном виде.

Для численной реализации задачи идентификации уравнение (8) представляется в конечно-разностной форме с шагом по времени

Для идентификации системы использовалась аппроксимация функции р параметрической функцией

. Нейросетевая функция обучения с параметрами ф принимает на вход текущее состояние робота, вектор управления и шаг по времени, а на выходе выдает состояние робота в следующий момент времени:

(10)

Параметры ф должны быть подобраны таким образом, чтобы траектория движения объекта, описываемая системой уравнений (9) с моделью (10), повторяла реальную траекторию движения робота как можно точнее.

IV. Идентификация модели нейронной сетью

Для обучения нейронной сети был выбран принцип обучения с учителем, при котором нейронная сеть обучается на наборе данных «вход — эталонный выход», а затем проверяется на наборе проверочных и тестовых данных, не попавших в обучающую выборку.

Для сбора данных было реализовано несколько запусков робота под различными типами управления. На рис.2-5 показаны примерные траектории и выборочные контрольные данные.

С. 5

—2.0

-3-5 ■ - ground truth - trajectory

- Ь -4

х

Рис.2. Пример траектории из обучающей выборки

_linear velocity and control

2-й 1.5

L> ">

0.0

0(3 x "j SO 75 ID.Q 17.5 15.C 175 JO О

t №

Рис.3. Пример управления для обучающей выборки

В качестве обучающей модели (10) была выбрана искусственная нейронная сеть с архитектурой многослойный персептрон. Для обучения нейронной сети использовался фреймворк PyTorch. Была выбрана нейронная сеть с 3 слоями, со 128 нейронами на всех скрытых слоях, функцией активации RELU и алгоритмом оптимизации ADAM.

Для оценки качества полученной модели оценивалась точность предсказания траектории движения моделью на наборах данных, не вошедших в обучающую выборку. Нейронная сеть получает на вход начальное состояние системы и управляющий вектор для тест-драйва. Как и на этапе обучения, прогнозируется траектория движения робота. Для сравнения прогнозируемой и фактической траекторий использовалась метрика ATE (absolute translation error):

где N — количество точек траектории; _гг. yf — фактические координаты точки траектории; xt. yt — координаты прогнозируемой точки траектории.

Для оценки качества предсказанного угла использовалась метрика MAE (mean absolute error):

МАЕ = — уии-'fl

где yawt — фактическое значение угла, ynwt — прогнозируемое значение угла.

Результаты моделирования системы с обученной нейронной сетью представлены на рис.4-7. Как видно из представленных графиков, робот справляется с задачей следования по заданной траектории даже в сложной среде с сильными уклонами поверхности.

3

2

? 1 ■S

О

-2

Рис.4. Траектория движения задана зелеными точками на расстоянии 30 см. Траектория робота обозначена красной линией.

х[т]

Рис.5. Траектория движения задана зелеными точками на расстоянии 20 см. Траектория робота обозначена красной линией.

Далее на рис.6 показана траектория движения робота по сложной реальной траектории роботоцентра ФИЦ ИУ РАН. Траектория сложна тем, что кроме поворотов на плоскости, в ней имеются перепады высот (въезд на горку и спуск с нее). Как видно из приведенных графиков, мобильный робот успешно справляется с поставленной задачей на основе обученной модели.

х[т]

Рис.6. Траектория движения робота (красная линия) в сложной среде Робототехнического центра ФИЦ ИУ РАН.

Рис.7. Робототехнический центр ФИЦ ИУ РАН.

V. ЗАКЛЮЧЕНИЕ

В работе представлен подход к локализации мобильного робота на основе внутренней модели, идентифицированной нейронной сетью.

Представленные результаты показывают, что робот автономно и точно справляется с задачей следования по различным траекториям. Полученную нейросетевую модель можно использовать как самостоятельный метод локализации или как вспомогательный алгоритм коррекции положения в случае выхода из строя датчиков и камер.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Библиография

[1] Sharp, N., Soliman, Y., Crane, K. (2019). Navigating intrinsic triangulations. ACM Transactions on Graphics (TOG), 38, 1 - 16.

[2] Z. Li and J. Huang, (2018) Study on the use of Q-R codes as landmarks for indoor positioning: Preliminary results," 2018 IEEE/ION Position, Location and Navigation Symposium (PLANS), pp. 1270-1276, doi: 10.1109/PLANS.2018.8373516.

[3] Novoselov, S., Sychova, O. and Tesliuk, S. (2019). Development of the Method Local Navigation of Mobile Robot a Based on the Tags with QR Code and Wireless Sensor Network, 2019 IEEE XVth International Conference on the Perspective Technologies and Methods in MEMS Design (MEMSTECH), pp. 46-51, doi: 10.1109/MEMSTECH.2019.8817405.

[4] Zhou, C. and Liu, X. (2016) The Study of Applying the AGV Navigation System Based on Two Dimensional Bar Code," 2016 International Conference on Industrial Informatics - Computing Technology, Intelligent Technology, Industrial Information Integration (ICIICII), pp. 206-209, doi: 10.1109/ICIICII.2016.0057.

[5] Sani, M.F. and Karimian, G. (2017). Automatic navigation and landing of an indoor AR. drone quadrotor using ArUco marker and inertial sensors, 2017 International Conference on Computer and Drone Applications (IConDA), pp. 102-107, doi: 10.1109/IC0NDA.2017.8270408.

[6] Marut, A., Wojtowicz, K. and Falkowski, K. (2019) ArUco markers pose estimation in UAV landing aid system, 2019 IEEE 5th International Workshop on Metrology for AeroSpace (MetroAeroSpace), pp. 261-266, doi: 10.1109/MetroAeroSpace.2019.8869572.

[7] Tian, W., Chen, D., Yang, Z. and Yin, H. (2020) The application of navigation technology for the medical assistive devices based on Aruco recognition technology, 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 28942899, doi: 10.1109/IR0S45743.2020.9341231.

[8] Geng, Ke, Chulin, N.A., (2017). UAV Navigation Algorithm Based on Improved Algorithm of Simultaneous Localization and Mapping with Adaptive Local Range of Observations. Herald of the Bauman

Moscow State Technical University. Series Instrument Engineering. 10.18698/0236-3933-2017-3-76-94.

[9] Dae Hee Won, Sebum Chun, Sangkyung Sung, Taesam Kang and Young Jae Lee (2008) Improving mobile robot navigation performance using vision based SLAM and distributed filters, 2008 International Conference on Control, Automation and Systems, pp. 186-191, doi: 10.1109/ICCAS.2008.4694547.

[10] Cheeseman P., Smith R., Self M. (1987) A stochastic map for uncertain spatial relationships. 4th Int. Symp. on Robotic Research, pp. 467-474.

[11] Lu, F., Milios, E. (1997) Globally Consistent Range Scan Alignment for Environment Mapping. Autonomous Robots,4(4):333-349.

[12] Biswas J., Veloso M. Depth camera based indoor mobile robot localization and navigation. IEEE Int. Conf. on Robotics and Automation, 2012, pp. 1697-1702. DOI: 10.1109/ICRA.2012.6224766

[13] Tu, Y., Huang, Z., Zhang, X., Yu, W., Xu, Y., Chen, B. (2015). The Mobile Robot SLAM Based on Depth and Visual Sensing in Structured Environment. In: Kim, JH., Yang, W., Jo, J., Sincak, P., Myung, H. (eds) Robot Intelligence Technology and Applications 3. Advances in Intelligent Systems and Computing, vol 345. Springer, Cham.

[14] Zeng, R., Kang, Y., Yang, J., Zhang, W. and Wu, Q. (2018). Terrain Parameters Identification of Kinematic and Dynamic Models for a Tracked Mobile Robot, 2018 2nd IEEE Advanced Information Management, Communicates, Electronic and Automation Control Conference (IMCEC), pp. 575-582, doi: 10.1109/IMCEC.2018.8469223.

[15] Cox, P., Toth, R. (2021) Linear parameter-varying subspace identification: A unified framework Automatica. 123. 109296. 10.1016/j.automatica.2020.109296.

[16] De Le' on, C.L.C.-D. et al. (2022). Parameter Identification of a Robot Arm Manipulator Based on a Convolutional Neural Network, IEEE Access, vol. 10, pp. 55002-55019, doi: 10.1109/ACCESS.2022.3177209.

[17] Ge, W., Wang, B. and Mu, H. (2019). Dynamic Parameter Identification for Reconfigurable Robot Using Adaline Neural Network, 2019 IEEE International Conference on Mechatronics and Automation (ICMA), pp. 319-324, doi: 0.1109/ICMA.2019.8816533.

[18] Liu, G.P. (2012). Nonlinear identification and control: a neural network approach. Springer Science & Business Media.

[19] Williams G. et al. (2016) Aggressive driving with model predictive path integral control 2016 IEEE International Conference on Robotics and Automation (ICRA)), p. 1433-1440.

[20] Shmalko, E., Rumyantsev, Y., Baynazarov, R., Yamshanov, K. (2021). Identification of Neural Network Model of Robot to Solve the Optimal Control Problem. Informatics and Automation, 20(6), 12541278. https://doi .org/10.15622/ia.20.6.3

Support for autonomous navigation of mobile robot based on its internal neural network model

E.Yu. Shmalko, I.V. Prokopiev, A.I. Diveev

Annotation— Autonomous navigation is one of the key tasks in the development of control systems for real autonomous mobile robots. The main source of information about the location of the robot is its sensory system. However, any sensory system has weaknesses. In this regard, there is a need to support the navigation system in some way that does not depend on the readings of the sensors. The paper presents the developed technology for determining the position of a mobile robot in an autonomous mode based on an internal model. The approach involves using on board an exact model of a real robot identified by a neural network. Under the conditions of modern computing power, obtaining such a model is much easier than its analytical derivation. At the same time, the model takes into account various dynamic properties of the model, which are difficult to take into account manually. When identifying, it is proposed to use a mixed approach, when the kinematic part of the robot model is considered known, and the dynamic properties of the model are identified by a neural network. Having a fairly accurate model on board, the robot adjusts its position determined by the sensors in accordance with its position obtained using the neural network model. In case of failures in the operation of the sensors or their disconnection, the robot can continue the autonomous execution of the task for some time. In the experimental part, the problem of autonomous movement of a mobile robot along a given trajectory is considered.

Keywords— autonomous navigation, localization, identification, neural network, machine learning, mobile robot.

Библиография

[1] Sharp, N., Soliman, Y., Crane, K. (2019). Navigating intrinsic triangulations. ACM Transactions on Graphics (TOG), 38, 1 - 16.

[2] Z. Li and J. Huang, (2018) Study on the use of Q-R codes as landmarks for indoor positioning: Preliminary results," 2018 IEEE/ION Position, Location and Navigation Symposium (PLANS), pp. 1270-1276, doi: 10.1109/PLANS.2018.8373516.

[3] Novoselov, S., Sychova, O. and Tesliuk, S. (2019). Development of the Method Local Navigation of Mobile Robot a Based on the Tags with QR Code and Wireless Sensor Network, 2019 IEEE XVth International Conference on the Perspective Technologies and Methods in MEMS Design (MEMSTECH), pp. 46-51, doi: 10.1109/MEMSTECH.2019.8817405.

[4] Zhou, C. and Liu, X. (2016) The Study of Applying the AGV Navigation System Based on Two Dimensional Bar Code," 2016 International Conference on Industrial Informatics - Computing Technology, Intelligent Technology, Industrial Information Integration (ICIICII), pp. 206-209, doi: 10.1109/ICIICII.2016.0057.

[5] Sani, M.F. and Karimian, G. (2017). Automatic navigation and landing of an indoor AR. drone quadrotor using ArUco marker and inertial sensors, 2017 International Conference on Computer and Drone Applications (IConDA), pp. 102-107, doi: 10.1109/IC0NDA.2017.8270408.

[6] Marut, A., Wojtowicz, K. and Falkowski, K. (2019) ArUco markers pose estimation in UAV landing aid system, 2019 IEEE 5th

International Workshop on Metrology for AeroSpace (MetroAeroSpace), pp. 261-266, doi:

10.1109/MetroAeroSpace.2019.8869572.

[7] Tian, W., Chen, D., Yang, Z. and Yin, H. (2020) The application of navigation technology for the medical assistive devices based on Aruco recognition technology, 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 28942899, doi: 10.1109/IR0S45743.2020.9341231.

[8] Geng, Ke, Chulin, N.A., (2017). UAV Navigation Algorithm Based on Improved Algorithm of Simultaneous Localization and Mapping with Adaptive Local Range of Observations. Herald of the Bauman Moscow State Technical University. Series Instrument Engineering. 10.18698/0236-3933-2017-3-76-94.