CC BY
82
19. Kuliev E., Kureichik V., Kureichik V. Monkey search algorithm for ece components partitioning // Journal of Physics: Conference Series, International Conference Information Technologies in Business and Industry 2018 - Enterprise Information Systems, 2018, pp. 042026.
20. Bova V.V., Kravchenko Y.A., Kureichik V.V. Development of distributed information systems: ontological approach, Advances in Intelligent Systems and Computing, 2015, Vol. 349, pp. 113-122.
Статью рекомендовал к опубликованию к.т.н., доцент С.Г. Буланов.
Кулиев Эльмар Валерьевич - Южный федеральный университет; e-mail: ekuliev@sfedu.ru; г. Таганрог, Россия, тел.: 88634371651; кафедра систем автоматизированного проектирования; доцент.
Запорожец Дмитрий Юрьевич - e-mail: duzaporozhets@sfedu.ru; тел.: 88634371651; кафедра систем автоматизированного проектирования; доцент.
Кравченко Юрий Алексеевич - e-mail: yakravchenko@sfedu.ru; тел.: 88634371651; кафедра систем автоматизированного проектирования; доцент.
Семенова Марина Максимовна - e-mail: bogomolova@sfedu.ru; тел.: 88634371651; кафедра систем автоматизированного проектирования; студент.
Kuliev Elmar Valerievich - Southern Federal University; e-mail: ekuliev@sfedu.ru; Taganrog, Russia; phone: +78634371651; the department of computer aided design; associate professor.
Zaporozhets Dmitriy Yurievich - e-mail: duzaporozhets@sfedu.ru; phone: +78634371651; the department of computer aided design; associate professor.
Kravchenko Yuriy Alekseevich - e-mail: yakravchenko@sfedu.ru; phone: +78634371651; the department of computer aided design; associate professor.
Semenova Marina Maximovna - e-mail: bogomolova@sfedu.ru; phone: +78634371651; the department of computer aided design; student.
УДК 004.896 DOI 10.18522/2311-3103-2021-6-99-114
А.К. Фархуд
УПРАВЛЕНИЕ МОБИЛЬНЫМ РОБОТОМ С ПРИМЕНЕНИЕМ
НЕЙРОННОЙ СЕТИ ДЛЯ ПЛАНИРОВАНИЯ ДВИЖЕНИЯ В НЕКАРТОГРАФИРОВАННОЙ СРЕДЕ С ПРЕПЯТСТВИЯМИ
В данной работе применяется нейронная сеть глубокого обучения специальной структуры, которая позволяет мобильному роботу перемещаться без столкновения с препятствиями в неизвестной среде. Основными проблемами, на решение которых направлены усилия исследователей в области нейросетевых планировщиков движения, являются повышение производительности нейронных сетей, оптимизация их структуры и автоматизация процессов обучения. Основным результатом данной статьи является новый итерационный алгоритм разработки обучающего набора. На первой итерации разрабатывается стартовый обучающий набор и производится начальное обучение нейронной сети. В следующих итерациях обученная на предыдущем этапе нейронная сеть используется в качестве фильтра для следующих обучающих наборов. Фильтр выбирает траектории с коллизиями, обусловленными ошибками нейронной сети. В процессе обучения количество сверточных и полностью связанных слоев итеративно увеличивается. Таким образом, предложенный алгоритм позволяет разработать как обучающий набор, так и архитектуру нейронной сети. Выполняется сравнение результатов обучения для отфильтрованных и нефильтрованных наборов. Подтверждена высокая эффективность фильтрации, в результате которой изменяется распределение примеров в обучающей выборке. Алгоритм может быть использован для разработки блока планирования системы управления мо-
бильными наземными роботами. В статье приводится пример обучения нейронной сети в среде моделирования Matlab. В примере проведено пять итераций обучения, в ходе которых достигнута точность более 90 %. Данная точность получена с использованием набранной статистики по движению мобильного робота в случайно генерируемой среде. Плотность заполнения среды препятствиями составляла до 40 %, что соответствует городским условиям. Проведено сравнение нейросетевых планировщиков, обученных с помощью предложенной итерационной процедуры и при обычном обучении. Сравнение показало, что применение итерационной процедуры повышает точность планирования до 12 - 15 %. При этом исходный объем обучающей выборки уменьшается в несколько раз за счет применяемой фильтрации.
Мобильный робот; планирование траектории; нейронная сеть; машинное обучение; глубокий обучения; архитектура сверточной нейронной сети.
A.K Farhood
CONTROL OF A MOBILE ROBOT ON BASE OF NEURAL NETWORK FOR THE PATH PLANNING IN UNMAPPED OBSTRUCTED ENVIRONMENT
In this work, a neural network of deep learning of a special structure is used. The neural network allows a mobile robot to move without encountering obstacles in an unknown environment. The main problems that the efforts of researchers in the field of neural network traffic planners are aimed at solving are improving the performance of neural networks, optimizing their structure and automating learning processes. The main result of this article is a new iterative algorithm for developing a training set. At the first iteration, the initial training set is developed and the initial training of the neural network is performed. In the following iterations, the neural network trained at the previous stage is used as a filter for the following training sets. The filter selects trajectories with collisions caused by neural network errors. During the learning process, the number of convolutional and fully connected layers increases iteratively. Thus, the proposed algorithm makes it possible to develop both a training set and a neural network architecture. Training results are compared for filtered and unfiltered sets. The high efficiency offiltering has been confirmed, as a result of which the distribution of examples in the training sample changes. The algorithm can be used to develop a planning block for a mobile ground control system. The article provides an example of training a neural network in a Matlab modeling environment. In the example, five iterations of training were carried out, during which an accuracy of more than 90% was achieved. This accuracy was obtained using the collected statistics on the movement of the mobile robot in a randomly generated environment. The density of filling the environment with obstacles was up to 40%, which corresponds to urban conditions. The comparison of neural network planners trained using the proposed iterative procedure and with conventional training is carried out. The comparison showed that the use of an iterative procedure increases the accuracy ofplanning up to 12-15%. At the same time, the initial volume of the resulting sample is reduced several times due to the applied filtering.
Mobile robot; path planning; neural network; machine learning; deep learning; structure of neural network.
Введение. В последнее время широкое распространение получили системы планирования пути, базирующиеся на нейронных сетях [1, 2], которые являются эффективным средством адаптации. В этой связи нейронные сети применяются для планирования пути в неопределенной среде.
В работе [3] исследована проблема планирования движения группы роботов в некартографированной среде с препятствиями. Однако нейронная сеть не планирует полностью движение, а только настраивает коэффициенты системы управления. Это одно из частых применений нейронных сетей в адаптивных системах. При этом группа роботов прибывает в целевую область, поддерживая заданный строй и устраняя возникающие коллизии. В указанной статье рассмотрена ситуация, когда строй задан заранее, а движение осуществляется на плоскости.
В работе [4] исследуется проблема обследования неопределенной среды группой роботов. Децентрализованный нейросетевой алгоритм планирует совокупность траекторий движения группы роботов, основываясь на попарных коммуникациях. Разработанные алгоритмы реализованы в симуляционной среде, которая моделирует процесс обследования области природного бедствия группой роботов. Преимущества предложенного подхода демонстрируется путем численных экспериментов.
В работе [5] решается задача группового преследования убегающего объекта. Разработанная авторами нейронная сеть решает задачу построения траекторий преследования группы, учитывая ограничения и запаздывания в каналах связи. При этом нейронная сеть осуществляет прогнозирование положения убегающего объекта. Данный подход исследуется методами численного моделирования.
Авторы статьи [6] решают задачу группового детектирования и слежения за людьми и животными. Используемая нейронная сеть глубокого обучения осуществляет как распознавание и трекинг, так и планирование движения отдельного робота. Разработанная система исследована как численными методами, так и с помощью натурных экспериментов.
В работе [7] рассмотрена децентрализованного система управления роботизированным складом, которая включает в себя две нейронные сети. Первая из этих нейронный сетей классифицирует состояние среда по пяти классам. Вторая нейронная сеть детектирует ошибки при планировании. Таким образом, нейронные сети являются в данной системе составными компонентами, погруженными в структуру конечного автомата.
Авторы [8] исследуют проблему планирования движения строя группы роботов. При этом под строем понимается оптимальное в смысле заданного критерия заполнение определенной заранее фигуры на плоскости. Для решения данной задачи применяется рекуррентная нейронная сеть. Задача формирования строя, решаемая нейронной сетью, формулируется в виде проблемы выпуклой оптимизации по негладкому критерию. Предложенная система исследуется как методами численного моделирования, так и с помощью натурного эксперимента.
В работе [9] представлена система управления движения колесного мобильного робота в неопределенной среде. Нейронная сеть глубокого обучения осуществляет в данной системе управления планирования маршрута робота. Предложена новая каскадная структура нейронной сети, в которой в различных ситуациях за-действуются различные каскады для планирования траектории. Такая декомпозиция позволяет упростить структуру нейронной сети и процесс ее обучения. Результаты разработки подтверждаются методами численного моделирования и натурными экспериментами.
В статье [10] представлено исследование, посвященное применению нейронных сети для навигации мобильных роботов в частично неизвестной среде. Для решения данной задачи используется две нейронные сети для планирования траектории, свободной от столкновений. Первая нейронная сеть находит свободное пространство, используя сенсорные данные, а другая нейронная сеть находит безопасную траекторию, обеспечивая обход ближайшего препятствия.
В работе [11] решается задача одновременной локализации, картографирования и планирования пути на базе нейронной сети. При ее решении устраняются накапливаемые ошибки, вызванные погрешностями одометрии и неточной линеаризацией нелинейной функции SLAM. В указанной работе применяется нейронная сеть специальной структуры, которая позволяет мобильному роботу перемещаться без столкновения с препятствием в неизвестной среде.Как указывалось ранее, нейронные сети широко используются в гибридных системах управления. Так в [12]
представлена гибридная система, включающая нейронную сеть и алгоритм искусственных потенциальных полей, которые решают задачу планирования пути для группы роботов. Применение гибридного алгоритма позволяет получить гладкие траектории движения. В работе [13] также представлен гибридный подход к планированию пути, который базируется на применении нейронной сети и нечеткой логики, что позволяет использовать преимущества обоих подходов. Рассмотрена задача планирования траекторий группы роботов в среде со случайным расположением статичных препятствий. Показано, что применение гибридной схемы дает преимущества относительно не гибридных подходов. Авторы [14] также предложили гибридный подход для планирования пути мобильных роботов, сочетающий нечеткую логику с нейронной сетью. Нейронная сеть позволяет эффективно находить оптимальное количество активируемых нечетких правил, что сокращает число вычислений и позволяет работать планировщику в реальном времени.
Значительное число работ направлено на повышение эффективности процесса обучения и производительности нейронных сетей, выполняющих задачи планирования пути мобильных роботов. В работе [15] представлен метод автоматизированного обучения нейронной сети для планирования траекторий. Основная идея заключается в том, что при изменении сложности среды, количество слоев нейронной сети автоматически изменяется, что позволяет автоматически подобрать структуру сети, соответствующую сложности решаемой задачи. В работах [16-18] также рассматривается задача автоматизации процесса обучения нейронной сети. В указанные работах представлена итерационная процедура. В работе [23] исследуется проблема повышения производительности нейронных сетей при решении задач навигации мобильных роботов. Предложена модификация базовой нейронной сети, которая позволяет ускорить сходимость нахождения пути робота, движущегося в статической и динамической среде. В предлагаемом подходе применен ускоренный запуск нейронов на основе стратегии динамического порогового значения.
Несмотря на то, что во многих сферах практическое применение нейронные сетей ограничено, в силу сложности доказательства устойчивости таких систем, области применения ИНС постоянно растут. Они находят применение в задачах навигации морских роботов [19, 24], наземных роботов [20], шагающих роботов [21], роботов-манипуляторов [22] и беспилотных комплексов воздушного базирования [24].
В данной работе рассматривается метод планирования, базирующийся на использовании нейронной сети. Предлагается использовать нейронную сеть, которая обучается на примерах известных методов планирования пути, но осуществляет не полный расчет траектории движения, а только расчет текущего направления движения робота. Выдвигается гипотеза о том, что совокупность признаков для планирования направления движения, которую кодирует нейронная сеть при обучении, в вычислительном плане окажется менее затратной, чем вычисления в соответствии с известными алгоритмами поиска пути. Это позволит эффективно использовать нейросетевой планировщик в некартографированных или динамических средах, когда маршрут необходимо перестраивать в зависимости от ситуации.
Как известно [25] машинное обучение включает в себя методы контролируемого обучения, неконтролируемое обучение и обучение с подкреплением. При контролируемом обучении в нейронная сеть настраивается таким образом, чтобы наиболее точно повторять алгоритм, использующийся в качестве учителя. В такой постановке нейронная сеть может иметь преимущества перед остальными методами планирования только в вычислительной эффективности. При неконтролируемом обучении и обучении с подкреплением возможно решение задач, которые не решаются другими методами.
При обучении часть выборки от 70 до 90 % предъявляется нейронной сети. Оставшаяся часть выборки не предъявляется и используется при тестировании.
Особое внимание в последнее время уделяется глубокому обучению, которое заключается в применении нейронных сетей с большим число скрытых слоев. Глубокое обучение, предъявляя значительные требования к вычислительным ресурсам, позволяет решать разнообразные задачи в области обработки сигналов и изображений [26, 27], распознавания объектов [28], распознавание речи [29].
Значительное снижение вычислительных затрат при обучении и функционировании нейронных сетей возможно при использовании сверточных сетей [30]. Архитектура сверточной нейронной сети включает входной слой, множество свер-точных слоев, слои подвыборки и выходные полносвязные слои.
Таким образом, основными проблемами, на решение которых направлены усилия исследователей в области нейросетевых планировщиков движения, являются повышение производительности нейронных сетей, оптимизация их структуры и автоматизация процессов обучения. при применении нейронных сетей являются проблемами определения оптимальной для поставленной задачи структуры нейронной сети и создание обучающей выборки.
В части применения обучающихся и самообучающихся систем, основными направлениями исследований являются:
1) Разработка методов и алгоритмов выбора рациональной структуры нейронной сети, соответствующей решаемым задачам;
2) Автоматизация процесса обучения и формирование необходимой и достаточной выборки для обучения нейронной сети.
В данной работе проводится разработка метода, позволяющего получить нейронную сеть и создать обучающую выборку, которые позволят решать задачу планирования пути робота.
Формулировка задачи разработки нейросетевого планировщика движения. Рассматривается карта плоской среды, включающая в себя известные препятствия. Пример такой среды показан на рис. 1. Препятствия на карте обозначены красными прямоугольниками, начальная точка обозначена черной точкой, а целевая точка - черной звездой. При отсутствии карты среды она строится на основе данных системы технического зрения, как показано на рис. 2. При этом препятствия на карте достраиваются по их видимой части в соответствии с описанием, представленным в работах [16-18].
В обоих случаях отличий в процедуре обучения робота нет.
5 10 15 20 25 30
Рис. 1. Пример карты для обучения нейросетевого планировщика
В ходе исследования в качестве учителя используется алгоритм D*, который позволяет эффективно перестраивать маршрут. При необходимости, вокруг препятствий могут создаваться области с повышенной опасностью, на которые накла-
дываются штрафы при планировании с использованием алгоритма Б*. Например, на рис. 3. представлен пример карты, на которой каждое препятствие окружено зонами, движение в которых штрафуется. При этом, при удалении от препятствия значение штрафов уменьшается.
Для нейронной сети карта среды подается в виде цветного изображения. Математически это означает, что на нейронную сеть подаются 3 матрицы, как показано на рис. 4. В первой матрице задаются занятые и свободные для движения ячейки. Вторая матрица содержит текущее положение робота, а третья матрица -целевой положение.
Рис. 3. Представление препятствий с учетом штрафов на движении непосредственно вблизи этих препятствий
Задача обучения нейронной сети классифицировать подаваемое на нее изображение на девять классов, восемь из которых соответствует направлению движения, как показано на рис. 5, а девятый класс соответствует отсутствию пути в целевую точку. При этом направление движения определяется алгоритмом D*.
Возможная вычислительная эффективность при использовании нейронной сети базируется на двух моментах:
1) при обучении на нейронную сеть подается карта среды и только текущее направление движения, вычисляемое алгоритмом Б*, а не вся траектория движения;
2) нейронная сеть, в силу своей структуры хорошо подходит для параллельной обработки, в отличие от итерационных процедур оптимизации, которые требуют последовательных вычислений при попятном движении от целевой точки к начальной точке.
Итерационный метод обучение нейронной сети. Предлагаемый метод обучения нейронной сети базируется на схеме, включающей создание предварительной обучающей выборки и итерационной процедуры создания структуры нейронной сети и финальной обучающей выборки.
i-th column
Рис. 2. Представление видимой части карты ячейками
Процесс создания предварительной обучающей выборки представлен на рис. 6 Генератор карты создает моделируемую среду в виде матрицы с препятствиями, положением робота и целевой точкой. Карта поступает в алгоритм Б*, который определяет класс перемещения в соответствии с секторами, показанными на рис. 5. Карта вместе с заданным классом перемещения поступает в генератор размеченных сцен, который создает изображения, помещаемые в предварительную выборку.
Рис. 4. Представление карты для нейронной сети
Рис. 5. Классификация среды по направлениям движения
Рис. 6. Процесс создания предварительной выборки
На каждой итерации выбирается часть подвыборки и осуществляется стандартный процесс обучения с учителем, представленный на рис. 7. В ходе обучения из подвыборки, которая является частью предварительной выборки, генерируются примеры для обучения, которые поступают в нейронную сеть. Выход нейронной сети сравнивается с классом, определенным Б* и на основании полученной ошибки осуществляется настройка весовых коэффициентов нейронной сети.
Рис. 7. Процесс обучения нейронной сети
В процессе первой итерации подвыборка формируется из предварительной выборки случайным образом. При этом выбранные для обучения примеры помечаются, чтобы повторно не добавляться в обучающую подвыборку на последующих итерациях. В процессе последующих итераций осуществляется дополнение обучающей подвыборки путем фильтрации с использованием обученной на предыдущей итерации нейронной сети. Данный процесс представлен на рис. 8.
Класс из Р*
Предварительная выборка
Обученная нейронная сеть Вычисление ошибки
Классы совпадают ¡=¡+1
¡=¡+1
Запись в псдвыборку
Компаратор
Классы не совпадают
Рис. 8. Процесс фильтрации обучающих примеров
Описанная итерационная процедура обучения описывается следующей последовательностью шагов.
1) На к-й итерации генерируется пример Рк1. Рассматривается сеть со структурой
2) Каждый пример Рк1 является помеченным, т. е. для него известно правильное решение, сгенерированное алгоритмом Б*.
3) Если к>1, то пример Рк1 подается на обученную на предыдущем шаге нейронную сеть МЫы. Если выход нейронной сети совпадает с решением, сгенерированным алгоритмом Б*, то такой пример не добавляется в обучающую подвыбор-ку. В противном случае пример Рк1 записывается в обучающую подвыборку.
4) Проводится обучение нейронной сети NN в соответствии с процедурой обучения, представленной на рис. 8.
5) Если точность обучения нейронной сети NN на шаге к не увеличивается по сравнению с шагом к-1, то структура нейронной сети усложняется путем добавления числа слоев, ширины фильтров и пр.
6) Итерации продолжаются до тех пор, пока не достигается требуемая точность обучения.
Данная процедура фильтрации примеров обусловлена тем фактом, что обучающая выборка должна содержать достаточное для обучения нейронной сети число обучающих примеров, которые характеризуют различные ситуации. При
случайном генерировании разные ситуации могут появляться с разной частотой. Например, для среды с заполнением препятствиями 20-40 %, примеры, в которых робот двигается в узких проходах, возникают примерно в 10 раз реже, чем примеры, в которых робот двигается с последовательным обходом одного-двух препятствий. Аналогично дело состоит и при формировании обучающей выборки экспериментальным методом. Поэтому при случайном формировании обучающей выборки она будет содержать большие число часто встречающихся ситуаций, и значительно меньшее число редко встречающихся ситуаций. Однако, для обучения нейронной сети необходимо некоторое достаточное для обучения сети число примеров, характеризующих ситуацию, независимо от того, насколько часто она встречается на практике.
В этой связи накопление редких ситуаций возможно либо за счет их создания при участии оператора, либо за счет значительного увеличения обучающей выборки. Автоматизированное создание образцов для обучения - это сложный, сложный и трудоемкий процесс, особенно при большом разнообразии возможных ситуаций. Он связан с большим объемом не автоматизированной работы. Контроль накопления обучающей выборки также осуществляется вручную. Случайное накопление обучающей выборки приводит к значительному увеличению обучающей выборки.
Рассмотренная на рис. 8, процедура позволяет в автоматическом режиме отобрать те примеры, которые необходимы для достижения заданной точности. Эффект действия описанной процедуры фильтрации представлен на рис. 9, на котором приведена диаграмма распределения примеров в зависимости от расстояния до препятствия для среды, заполненной препятствиями до 30 %, при объеме выборки 45 000 примеров.
Среднеквадратичное отклонение числа ситуаций от среднего значения, равного 9000 для случайной и фильтрованной выборки равны:
Из рис. 9 хорошо видно, что фильтрация заметно изменяет распределение примеров в зависимости от расстояния до препятствия.
Аналогичный результат обнаружен и рассмотрении распределения числа примеров, в зависимости от направления движения, как следует из рис. 10.
Распределение примеров по расстоянию до препятствий
15
■ Случайная выборка • Фильтрованная выбор»
14
г
2
Л
Ё
Рис. 9. Влияние фильтрации на распределение обучающих примеров по расстоянию до препятствий
В данном случае такая ситуация объясняется особенностями используемого как учитель планировщика D*, который в неопределенных ситуациях отдает предпочтения движению по направлениям «Вперед», «Назад», «Влево» и «Вправо» по отношению к движению по диагоналям. Также существенное влияние оказывает тот факт, что ситуации, когда пути в целевую точку не существует, встречаются достаточно редко. Из рис. 10 видим, что включение процедуры фильтрации кратно увеличивает число ситуаций, в которых робот должен двигаться вдоль диагональных направлений. Особенно сильно увеличивается число примеров, в которых нет пути из текущего положения робота в целевую точку. В случайной выборке число таких примеров равно около 200, а в фильтрованной - около 2800.
Рис. 10. Влияние фильтрации на распределение обучающих примеров по направлению движения
Таким образом, предложенная итерационная процедура фильтрации обучающей выборки позволяет сформировать обучающие примеры таким образом, чтобы число обучающих примеров, характеризующих различные ситуации, было достаточным. При этом вся процедура проводится автоматически.
Численное исследование. Проведено численное исследование предложенного итерационного алгоритма с использованием комплекса Matlab. В ходе исследования решалась задача обучения нейронной сети планировать маршрут таким же образом, что и алгоритм «учителя», в качестве которого выбран D*.
Начальный вариант фильтрации выбран таким образом, при возникновении коллизии в фильтруемую выборку подается точка траектории, которая предшествовала коллизии, т.е. в которой нейронная сеть неправильно классифицировала ситуацию. Такой способ фильтрации оказался не эффективным, т.к. неверное решение, которое привело к коллизии, могло быть принято не непосредственно перед коллизией, а ранее. В этой связи процедура фильтрации примеров для обучения была модифицирована таким образом, чтобы при возникновении коллизии в обучающую выборку добавлялись карты с положением робота во всех точках его траектории. Это позволяет существенно повысить успешность достижения цели.
На первой итерации использована нейронная сеть NN1, включающая входной слой, 4 скрытых сверточных слоя с 16 фильтрами и 2 полносвязных слоя, содержащих 16 и 9 нейронов. Полносвязный слой с 9 нейронами является выходным слоем сети. Все скрытые слои применяют функцию активации ReLU, которая обеспечивает наиболее быстрое обучение. На первой итерации использована выборка, состоящая из 1000 изображений для каждого класса (всего 9 000 примеров). В качестве метода обучения используется стохастических градиентный поиск со сглаживанием (sgdm).
Результаты обучения нейронной сети с применением процедуры фильтрации и без нее представлены в табл. 1, в которой представлен объем выборки, оценка точности, полученная непосредственно при обучении и частота успешного (без коллизий) достижения цели, полученная путем моделирования движения робота с нейросетевым планировщиком. При моделировании дополнительно сгенерирована независимая выборка объемом 2000 тестовых ситуаций. При этом, на каждой карте нейронная сеть принимает решение о требуемом направлении движения несколько десятков раз, т. е. всего классифицируются десятки тысяч ситуаций. На первой итерации фильтрация выборки не производилась, поэтому в ней нет разделения точность при обычной и отфильтрованной выборках.
Таблица 1
Результаты обучения при точечном добавлении примеров
Итерация Объем выборки Оценка точности, % Частота успешного достижения %
1 1000 - -
2 4000, фильтрованная 79 50
4000, обычная 83 43
3 10000, фильтрованная 84 79
10000, обычная 88 70
4 12000, фильтрованная 89 85
12000, обычная 93 75
5 13000, фильтрованная 94 92
13000, обычная 96 80
Оценка точности работы сети на первой итерации не проводилась. На второй итерации с помощью сети NN1 произведена фильтрация выборки, в которую добавлялись только те ситуации, в которых возникали коллизии. При объем созданной выборки равен 36 000 примеров, по 9 000 примеров для каждого класса. При этом получено, что оценка точности для нейронной сети, обученной с использованием процедуры фильтрации, составила 79 %. Для сравнения, оценка точности, полученная при обучении нейронной сети с той же структурой, составила 83 %. Однако при моделировании движения выяснилось, что частота успешного достижения цели для нейронной сети, обученной с использованием фильтрации, составляет 50 %, а для нейронной сети, обученной без фильтрации выборки - 43 %. Этот факт объясняется тем, что при оценке точности стандартными средствами обучения в МаНаЪ используется часть обучающей выборки. Так как обучающие выборки в двух описанных случаях разные по сложности, то сравнивать их друг с другом не корректно. Именно для этого в качестве критерия успешности использована частота достижения цели без коллизий. При этом для проверки успешности обучения сетей использована специальная тестовая выборка, которая отличается от случайной тем, что в ней отсутствуют примеры, в которых между начальным положением робота и целью нет ни одного препятствия. Отсутствие таких ситуаций в обучающей выборке обусловлено тем, что в них не нужна нейронная сеть.
Типовой результат моделирования при планировании маршрута с использованием нейронной сети NN1 представлен на рис. 11, на котором зелеными точками показан маршрут, проложенный Б*, черными точками - маршрут, проложенный нейронной сетью NN1, а сплошной линией - траектория движения робота. Из рис. 11 видим, что имеются коллизии.
Рис. 11. Планирование маршрута нейронной сетью NN1
На третьей итерации обучается нейронная сеть NN2, которая включает входной слой, 5 сверточных слоев с 32 фильтрами и 3 полносвязных выходных слоя, содержащих 32, 16 и 9 нейронов. Объем выборки составил 90000 примеров - по 10000 примеров для каждого класса. Частота достижения целевой точки без коллизии составила 79 % для нейронной сети, обученной на отфильтрованной базе, и 70 % - для той же нейронной сети, но обученной на обычной выборке.
Результаты моделирования обученной сети NN2 представлены на рис. 12 из которого видно, что коллизии отсутствуют, однако имеются небольшие отклонения от оптимальной траектории, что приводит к увеличению ее длины.
х, m
5 10 15 20 25 30
Рис. 12. Планирование маршрута нейронной сетью NN2
На четвертой итерации нейронная сеть NN2 использована для отбора примеров обучающей выборки. Обучаемая сеть NN3 включает входной слой, 9 скрытых сверточных слоев с 40 фильтрами и 3 полносвязных выходных слоя, содержащих 32, 16 и 8 нейронов. Частота достижения целевой точки без коллизии составила 85 % для нейронной сети, обученной на отфильтрованной базе, и 75 % - для той же нейронной сети, но обученной на обычной выборке.
На пятой итерации нейронная сеть NN3 использована для фильтрации обучающей выборки. Обучается сеть NN4, которая включает входной слой, 10 скрытых сверточных слоев с 40 фильтрами и 3 полносвязных выходных слоя, содержащих 32, 16 и 8 нейронов. Частота достижения целевой точки без коллизии составила 92 % для нейронной сети, обученной на отфильтрованной базе, и 80 % -для той же нейронной сети, но обученной на обычной выборке.
На рис. 13 представлен процесс обучения нейронной сети при числе эпох обучения 16 и параметре МшВа1сЬ817е=128.
Таким образом, из табл. 1 видно преимущество применения фильтрации при формировании обучающей выборки, которое заключается в повышении точности принятия решений на основе нейронной сети. При этом вычислительная сложность нейронной сети не увеличивается, т.к. изменяется только содержание обучающей выборки. Полученная в результате разница в точности составила 12 %.
На рис. 14 представлены результаты моделирования обученной нейронной сети NN4 в процессе планирования пути робота к целевой точке. Видно, что нейронная сеть планирует маршрут без коллизий и достаточно близко к Б*. При этом отличия в траекториях не приводят к увеличению длины планируемого пути.
Рис. 13. Процесс обучения нейронной сети
5 10 15 20 25 30
Рис. 14. Планирование маршрута нейронной сетью NN4
Отметим, что при отсутствии фильтрации частота успешного достижения целевой точки 92 % достигается нейронной сетью NN4 при объеме обучающей выборки 25000 примеров для каждого класса, т.е. снижение размера обучающей выборки составляет более чем в 2 раза.
Также было проведено сравнение времени расчета траектории движения с помощью нейронной сети и алгоритма D*. При этом использовался стандартный персональный компьютер с процессором Intel Core 2,9 ГГц с оперативной памятью 8 Гбайт. При использовании карты проходимости получено среднее время расчета траектории 0,025 с для нейронной сети и 0,33 с для алгоритма D*. Отметим, что данное преимущество получено без использования параллельных вычислений, которые имеют высокую эффективность в случае нейронных сетей.
Заключение. В данной статье предложен метод планирования траектории робота, отличающийся использованием нейронной сети, вырабатывающей текущее направление движения. В результате обучения нейронной сети она повторяет траек-
торию, формируемую алгоритмов D, но без непосредственного расчета всей траектории движения. Как показали численные исследования, метод позволяет сократить время планирования по сравнению с D*, в среднем на 30 % для рассмотренной среды. Этот эффект достигается в неопределенных и динамических средах.
Также в данной работе предложен новый метод итерационного обучения нейронной сети. Данный метод позволяет на каждой последующей итерации отобрать только те ситуации, в которых нейронная принимает неверные решения. Предложенный метод позволяет уменьшить объем обучающей выборки до 40 %, а также сократить время создания обучающей выборки за счет высокой степени автоматизации.
Acknowledges. Research is supported by Russian Science Foundation (grant 16-19-00001), and was executed in Southern Federal University.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Madan M. Gupta, Liang Jin, Noriyasu Homma. Static and Dynamic Neural Networks: From Fundamentals to Advanced Theory // John Wiley & Sons. - New Jersey, 2003.
2. LeCun Ya., Yoshua B., and Geoffrey H. Deep learning // Nature. - 2015. - Vol. 521.7553.
- P. 436-444.
3. Yu J., Ji J., Miao Z., Zhou J. Neural network-based region reaching formation control for multi-robot systems in obstacle environment // Neurocomputing. - 2019. - Vol. 333. - P. 11-21.
4. GengM., Xu K., Zhou X., Ding B., Wang H., Zhang L. Learning to cooperate via an attention-based communication neural network in decentralized multi-robot exploration // Entropy.
- 2019. - Vol. 21 (3).
5. Agrawal P., Agrawal H. Adaptive algorithm design for cooperative hunting in multi-robots // International Journal of Intelligent Systems and Applications. - 2018. - Vol. 10 (12). - P. 47-55.
6. Price E., Lawless G., Ludwig R., Martinovic I., Bulthoff H.H., Black M.J., Ahmad A. Deep Neural Network-Based Cooperative Visual Tracking Through Multiple Micro Aerial Vehicles // IEEE Robotics and Automation Letters. - 2018. - Vol. 3 (4). - P. 3193-3200.
7. Martínez-García E.A., Torres-Córdoba R., Carrillo-Saucedo V.M., López-González E. Neural control and coordination of decentralized transportation robots // Proceedings of the Institution of Mechanical Engineers. Part I: Journal of Systems and Control Engineering. - 2018. - Vol. 232 (5). - P. 519-540.
8. Wang Y., ChengL., Hou Z.-G., Yu J., TanM. Optimal Formation of Multirobot Systems Based on a Recurrent Neural Network // IEEE Transactions on Neural Networks and Learning Systems. - 2016. - Vol. 27 (2). - P. 322-333.
9. Pshikhopov V., Medvedev M., Vasileva M. Neural network control system of motion of the robot in the environment with obstacles // Lecture Notes in Computer Science. - 2019.
- Vol. 11606. - P. 173-181.
10. Janglova D. Neural networks in mobile robot motion // Int J Adv Robot Syst. - 2004. - No. 1.
- P. 15-22.
11. Li Q.L., Song Y., Hou Z.G. Neural network based Fast SLAM for automobile robots in unknown environments // Neurocomputing. - 2015. - Vol. 165. - P. 99-110.
12. Na Y.K., Oh S.Y. Hybrid control for autonomous mobile robot navigation using neural network based behavior modules and environment classification // Aut Robots. - 2003. - Vol. 15.
- P. 193-206.
13. Pothal J.K., Parhi D.R. Navigation of multiple robots in a highly clutter terrains using adaptive neuro-fuzzy inference system // Robotics and Automation. - 2015. - Vol. 72. - P. 48-58.
14. Abu Baker A. A novel mobile robot navigation system using neuro-fuzzy rule-based optimization technique // Res J Appl Sci Eng Technol. - 2012. - Vol. 4 (15). - P. 2577-2583.
15. Qiao J., Fan R., Han H., Ruan X. Q-learning based on dynamical structures neural network for robot navigation in unknown environment // Advances in Neural Network. - 2009. - Vol. 553.
- P. 188-196.
16. Medvedev M., Kadhim A., Brosalin D. Development of the Neural-Based Navigation System for a Ground-Based Mobile Robot // 2021 7th International Conference on Mechatronics and Robotics Engineering, ICMRE 2021. - 2021. - P. 35-40, 9384825.
17. Medvedev M., Pshikhopov V. Path Planning of Mobile Robot Group Based on Neural Networks // Lecture Notes in Artificial Intelligence. - 2020. - P. 51 -62.
18. Гайдук А.Р., Мартьянов О.В., Медведев М.Ю., Пшихопов ВХ., Хамдан Н., Фархуд А. Нейросетевая система управления группой роботов в неопределенной двумерной среде // Мехатроника, автоматизация, управление. - 2020. - Т. 21 (8). - С. 470-479.
19. Pal P.K., Kar A. Sonar-based mobile robot navigation through supervised learning on a neural net // Aut Robots. - 1996. - No. 3. - P. 355-734.
20. Medina-Santiago A., Campus-Anzueto J.L., Vazquez-Feijoo J.A., Hernandez-de- Leon H.R., Mota-Grajales R. Neural control systems in obstacle avoidance in mobile robots using ultrasonic sensors // J Appl Res Technol. - 2014. - No. 2. - P. 104-110.
21. Syed U.A., Kunwar F., Iqbal M. Guided autowave pulse coupled neural network (GAPCNN) based real time path planning and an obstacle avoidance scheme for mobile robots // Robot Autonom Syst. - 2014. - Vol. 62. - P. 474-486.
22. Sun C., He W., Ge W., Chang C. Adaptive neural network control of biped robots // IEEE Transactions on Systems, Man, and Cybernetics: Systems. - 2017. - Vol. 47 (2). - P. 315-326.
23. Sun C., He W., Hong J. Neural network control of a flexible robotic manipu- lator using the lumped spring-mass model // IEEE Transactions on Systems, Man, and Cybernetics: Systems. - 2018. - Vol. 47 (8). - P. 1863-1874.
24. Zhu D., Tian C., Sun B., Luo C. Complete coverage path planning of autonomous underwater vehicle based on GBNN algorithm // J Intell Robot Syst. - 2018. - P. 1-13.
25. Zhang C., Hu H., Wang J. An adaptive neural network approach to the tracking control of micro aerial vehicles in constrained space // Int J Syst Sci. - 2017. - Vol. 48 (1). - P. 84-94.
26. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. - СПб.: Изд-во Питер, 2018.
27. Hyansu B., Gidong K., Jonguk K., Dianwei Q., Sukgyu L. Multi-Robot Path Planning Method Using Reinforcement Learning // Applied Sciences. - 2019. - Vol. 9 (15). - P. 30-57.
28. Визильтер Ю.В., Вишняков Б.В., Выголов О.В., Горбацевич В.С., Князь В.А. Технологии интеллектуальной обработки информации для задач навигации и управления беспилотными летательными аппаратами // Тр. СПИИРАН. - 2016. - Т. 45. - C. 26-44.
29. Redmon J., Divvala S., Farhadi A. You Only Look Once, Unified, Real-Time Object Detection // Computer Vision Pattern Recognition. - 2015.
30. Белоруцкий Р.Ю., Житник С.В. Распознавание речи на основе сверточных нейронных сетей // Вопросы радиоэлектроники. - 2019. - № 4. - C. 47-52.
REFERENCES
1. Madan M. Gupta, Liang Jin, Noriyasu Homma. Static and Dynamic Neural Networks: From Fundamentals to Advanced Theory, John Wiley & Sons. New Jersey, 2003.
2. LeCun Ya., Yoshua B., and Geoffrey H. Deep learning, Nature, 2015, Vol. 521.7553, pp. 436-444.
3. Yu J., Ji J., Miao Z., Zhou J. Neural network-based region reaching formation control for multi-robot systems in obstacle environment, Neurocomputing, 2019, Vol. 333, pp. 11-21.
4. Geng M., Xu K., Zhou X., Ding B., Wang H., Zhang L. Learning to cooperate via an attention-based communication neural network in decentralized multi-robot exploration, Entropy, 2019, Vol. 21 (3).
5. Agrawal P., Agrawal H. Adaptive algorithm design for cooperative hunting in multi-robots, International Journal of Intelligent Systems and Applications, 2018, Vol. 10 (12), pp. 47-55.
6. Price E., Lawless G., Ludwig R., Martinovic I., Bulthoff H.H., Black M.J., Ahmad A. Deep Neural Network-Based Cooperative Visual Tracking Through Multiple Micro Aerial Vehicles, IEEE Robotics and Automation Letters, 2018, Vol. 3 (4), pp. 3193-3200.
7. Martínez-García E.A., Torres-Córdoba R., Carrillo-Saucedo V.M., López-González E. Neural control and coordination of decentralized transportation robots, Proceedings of the Institution of Mechanical Engineers. Part I: Journal of Systems and Control Engineering, 2018, Vol. 232 (5), pp. 519-540.
8. Wang Y., ChengL., Hou Z.-G., Yu J., TanM. Optimal Formation of Multirobot Systems Based on a Recurrent Neural Network, IEEE Transactions on Neural Networks and Learning Systems, 2016, Vol. 27 (2), pp. 322-333.
9. Pshikhopov V., Medvedev M., Vasileva M. Neural network control system of motion of the robot in the environment with obstacles, Lecture Notes in Computer Science, 2019, Vol. 11606, pp. 173-181.
10. Janglova D. Neural networks in mobile robot motion, Int JAdv Robot Syst., 2004, No. 1, pp. 15-22.
11. Li Q.L., Song Y., Hou Z.G. Neural network based Fast SLAM for automobile robots in unknown environments, Neurocomputing, 2015, Vol. 165, pp. 99-110.
12. Na Y.K., Oh S.Y. Hybrid control for autonomous mobile robot navigation using neural network based behavior modules and environment classification, AutRobots, 2003, Vol. 15, pp. 193-206.
13. Pothal J.K., Parhi D.R. Navigation of multiple robots in a highly clutter terrains using adaptive neuro-fuzzy inference system, Robotics and Automation, 2015, Vol. 72, pp. 48-58.
14. Abu Baker A. A novel mobile robot navigation system using neuro-fuzzy rule-based optimization technique, Res JAppl Sci Eng Technol, 2012, Vol. 4 (15),ppP. 2577-2583.
15. Qiao J., Fan R., Han H., Ruan X. Q-learning based on dynamical structures neural network for robot navigation in unknown environment, Advances in Neural Network, 2009, Vol. 553, pp 188-196.
16. Medvedev M., Kadhim A., Brosalin D. Development of the Neural-Based Navigation System for a Ground-Based Mobile Robot, 2021 7th International Conference on Mechatronics and Robotics Engineering, ICMRE 2021, 2021, pp. 35-40, 9384825.
17. Medvedev M., Pshikhopov V. Path Planning of Mobile Robot Group Based on Neural Networks, Lecture Notes in Artificial Intelligence, 2020, pp. 51-62.
18. GaydukA.R., Mart'yanov O.V., MedvedevM.Yu., Pshikhopov V.Kh., Khamdan N., FarkhudA. Neyrosetevaya sistema upravleniya gruppoy robotov v neopredelennoy dvumernoy srede [Neural network control system for a group of robots in an indefinite two-dimensional environment], Mekhatronika, avtomatizatsiya, upravlenie [Mechatronics, automation, management], 2020, Vol. 21 (8), pp. 470-479.
19. Pal P.K., Kar A. Sonar-based mobile robot navigation through supervised learning on a neural net, Aut Robots, 1996, No. 3, pp. 355-734.
20. Medina-Santiago A., Campus-Anzueto J.L., Vazquez-Feijoo J.A., Hernandez-de- Leon H.R., Mota-Grajales R. Neural control systems in obstacle avoidance in mobile robots using ultrasonic sensors, J Appl Res Technol., 2014, No. 2, pp. 104-110.
21. Syed U.A., Kunwar F., Iqbal M. Guided autowave pulse coupled neural network (GAPCNN) based real time path planning and an obstacle avoidance scheme for mobile robots, Robot Autonom Syst, 2014, Vol. 62, pp. 474-486.
22. Sun C., He W., Ge W., Chang C. Adaptive neural network control of biped robots, IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2017, Vol. 47 (2), pp. 315-326.
23. Sun C., He W., Hong J. Neural network control of a flexible robotic manipu- lator using the lumped spring-mass model, IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2018, Vol. 47 (8), pp. 1863-1874.
24. Zhu D., Tian C., Sun B., Luo C. Complete coverage path planning of autonomous underwater vehicle based on GBNN algorithm, JIntell Robot Syst, 2018, pp. 1-13.
25. Zhang C., Hu H., Wang J. An adaptive neural network approach to the tracking control of micro aerial vehicles in constrained space, Int J Syst Sci., 2017, Vol. 48 (1), pp. 84-94.
26. Nikolenko S., Kadurin A., Arkhangel'skaya E. Glubokoe obuchenie. Pogruzhenie v mir neyronnykh setey [Deep learning. Immersion in the world of neural networks]. Saint Petersburg: Izd-vo Piter, 2018.
27. Hyansu B., Gidong K., Jonguk K., Dianwei Q., Sukgyu L. Multi-Robot Path Planning Method Using Reinforcement Learning, Applied Sciences, 2019, Vol. 9 (15), pp. 30-57.
28. Vizil'ter Yu.V., Vishnyakov B.V., Vygolov O.V., Gorbatsevich V.S., Knyaz' V.A. Tekhnologii intellektual'noy obrabotki informatsii dlya zadach navigatsii i upravleniya bespilotnymi letatel'nymi apparatami [Intelligent information processing technologies for navigation and control of unmanned aerial vehicles], Tr. SPIIRAN [Proceedings of SPIIRAN], 2016, Vol. 45, pp. 26-44.
29. Redmon J., Divvala S., Farhadi A. You Only Look Once, Unified, Real-Time Object Detection, Computer Vision Pattern Recognition, 2015.
30. Belorutskiy R.Yu., ZhitnikS. V. Raspoznavanie rechi na osnove svertochnykh neyronnykh setey [Speech recognition based on convolutional neural networks], Voprosy radioelektroniki [Radio electronics issues], 2019, No. 4, pp. 47-52.
Статью рекомендовал к опубликованию д.т.н., профессор С.Г. Капустян.
Фархуд Азхар Кадим - Южный федеральный университет; e-mail: farhud@sfedu.ru;
г. Таганрог, Россия; тел.: 89613176539; аспирант.
Azhar Kadhim Farhood - Southern Federal University; e-mail: azhar.kadhum@stu.edu.iq;
Taganrog, Russia; phone: +79613176539; postgraduate student.
