CC BY
126
Ъ&ошьыо QjrAQngj
Уфа : УГАТУ, 2012_Sri_Sri_Т. 16, №3(48). С. 56-62
АВТОМАТИЗАЦИЯ И УПРАВЛЕНИЕ ТЕХНОЛОГИЧЕСКИМИ ПРОЦЕССАМИ И ПРОИЗВОДСТВАМИ
УДК 004.896
Р. А. Мунасыпов, С. С. Москвичев
МЕТОДИКА СИНТЕЗА СТРАТЕГИИ ДВИЖЕНИЯ АВТОНОМНОГО МОБИЛЬНОГО РОБОТА НА ОСНОВЕ ЭВОЛЮЦИОННЫХ ПРОЦЕССОВ
Статья посвящена разработке и исследованию методики синтеза стратегии движения (походки) автономного мобильного робота с применением эволюционных методов и алгоритмов. Показано, что поэтапная эволюция морфологии робота на стадии синтеза системы управления при определенных условиях способствует выработке более эффективной итоговой стратегии движения. Эволюционная робототехника; автономные мобильные роботы; интеллектуальные роботы
ВВЕДЕНИЕ
Эволюционная робототехника (англ. Developmental Robotics) - сравнительно новая область интеллектуальной робототехники, основанная на эволюционных процессах, происходящих в живой природе. Ее возникновение связано, в первую очередь, с такими направлениями исследований, как реактивная и поведенческая робототехника, системы управления на основе архитектуры поглощения и гибридных архитектур, системы «агент - среда» [1, 2]. Основной задачей эволюционной робототехники является синтез более эффективных робототех-нических систем, способных к автономной эволюции в процессе работы без участия человека-оператора [3]. Кроме того, исследование эволюционных процессов и механизмов поведения и обучения с использованием интеллектуальных робототехнических систем позволяет глубже понять аналогичные процессы в живых системах [3, 4]. Таким образом, эволюционная робототехника является междисциплинарной областью, связанной как с искусственным интеллектом и робототехникой, так и с эволюционной биологией [4].
1. Обучение и эволюция интеллектуальных роботов
Одним из важных этапов разработки интеллектуального робота является фаза предварительного обучения (настройки параметров) интеллектуальной САУ на тех задачах, которые предстоит решать роботу в процессе эксплуатации. Обучение может проводиться как в режиме «с учителем», так и в режиме «с подкреплени-
Контактная информация: 8(347)272-74-65 Работа выполнена при финансовой поддержке РФФИ (гранты № 11-08-00871_а, 11-08-97063_р_поволжье_а).
ем», в зависимости от поставленных целей. Кроме того, может применяться методика последовательного усложнения решаемых задач в процессе обучения с целью выработки более универсальной стратегии поведения робота (с повышенной адаптивностью и / или отказоустойчивостью) [5].
Данный подход предполагает коррекцию условий среды на различных этапах настройки САУ робота (например, предварительное обучение задачам навигации в условиях помещений, а затем обучение в условиях открытой местности). Однако, как показали исследования, последовательное усложнение решаемых задач на этапе настройки может касаться не только внешней среды, но и конструкции самого робота [6, 7].
Постепенное изменение морфологии является наиболее ярким проявлением эволюционных процессов в живых организмах. Это касается как филогенетических (развитие биологического вида во времени), так и онтогенетических (индивидуальное развитие организма на протяжении жизни) изменений. Что касается применения эволюционных методов в робототехнике, лишь недавно идея морфологической эволюции нашла свое применение в данной области [7, 8,
9].
Эволюция морфологии роботов может заключаться в постепенном усложнении манипу-ляционных устройств на начальных этапах настройки, в увеличении числа степеней свободы, в расширении диапазонов датчиков и исполнительных механизмов и т. д. [10] Роль таких изменений в обретении моторных навыков была продемонстрирована на примере гуманоидного робота с 12 степенями свободы, в подвешенном состоянии обучаемого движению типа «маятник». Было показано, что при введении биомеханических ограничений (сокращение числа
степеней свободы путем фиксации отдельных сервомоторов) на самых начальных этапах обучения робот впоследствии обучается более эффективному маятниковому движению [10]. Это может быть объяснено тем, что на начальных фазах эксперимента, когда число степеней свободы робота ограничено, пространство состояний также невелико, и поиск решения длится сравнительно недолго по сравнению с поиском в полном пространстве состояний (когда активны все 12 степеней свободы). Последующее постепенное включение сервомоторов в работу требует лишь дообучения нейросетевой САУ, параметры которой к этому моменту уже близки к оптимальным благодаря предшествующим фазам [8, 10].
Таким образом, элемент морфологической эволюции в процессе обучения робота может способствовать достижению роботом более эффективного движения, равно как и сокращению временных затрат на обучение САУ [8].
2. ВЛИЯНИЕ МОРФОЛОГИЧЕСКИХ ИЗМЕНЕНИЙ НА ЭВОЛЮЦИОННЫЙ ПРОЦЕСС
Для исследования влияния морфологических изменений на скорость обретения автономным роботом моторных навыков был предложен эксперимент, в котором мобильные шагающие роботы под управлением нейросетевой (НС) САУ обучались движению к источнику света [8]. Для настройки параметров НС использовался генетический алгоритм (ГА), при этом обучение осуществлялось в несколько этапов. На начальном этапе были введены ограничения на диапазон движений горизонтально расположенных ног (педипуляторов), равно как и на длину самих педипуляторов, тело же робота представляло собой конструкцию из нескольких взаимно подвижных сегментов. Таким образом, конструкция робота была приближена к форме земноводных или рептилий, обладающих короткими (или полностью отсутствующими) конечностями и использующих для перемещения все тело [11]. На последующих этапах эволюции производилось изменение морфологии робота: длина ног была увеличена, диапазон их движения расширен, а их положение относительно тела изменено так, что они могли принимать более активное участие в перемещении робота. На конечном этапе роботу была придана окончательная форма, а ногам - вертикальное положение (рис. 1).
Данная последовательность фаз обучения является отражением естественных процессов в живой природе, в частности, обретения первы-
57
ми земноводными способности к перемещению по твердому субстрату, а также онтогенетического развития организмов млекопитающих от начальных стадий до взрослых [11, 12].
ш
->■
Рис. 1. Фазы морфологической эволюции робота
2.1. Методика исследования
Для постановки эксперимента была синтезирована трехмерная виртуальная физическая модель робота в среде Ргаш8йск8, позволяющей также моделировать эволюционные процессы и нейросетевые алгоритмы (рис. 2) [13].
Рис. 2. Среда физического и эволюционного моделирования Framsticks
Модель робота представляет собой трех-звенную шестиногую конструкцию (гексапод), на каждом звене установлено по две ноги. Выбор шестиногой конфигурации обусловлен тем, что это одна из наиболее популярных схем для шагающих мобильных роботов, кроме того, данная конструкция обладает статической устойчивостью и позволяет достичь достаточно высокой скорости при условии синхронности движений всех ног [14, 15].
Звенья, составляющие тело робота, подвижно связаны между собой приводами и обладают двумя степенями свободы, что позволяет им поворачиваться друг относительно друга в горизонтальной плоскости (угол поворота [-45°, 45°]) и вращаться вдоль оси позвоночника (угол поворота [-45°, 45°]). Ноги, расположенные по бокам каждого из сегментов, имеют по две степени свободы - в горизонтальной плоскости (угол поворота [-45°, 45°]) и в вертикальной
(угол поворота [-45°, 45°]). На роботе установлено 6 двоичных тактильных датчиков (по одному на каждой ноге), гироскоп (2 степени свободы) и фотодатчик, по которому определялось расстояние до цели (источника света).
В качестве НС была выбрана рекуррентная полносвязная сеть с 9 нейронами во входном слое (по числу датчиков) и 16 нейронами в выходном (по числу степеней свободы), передаточная функция нейронов - сигмоида. Данная конфигурация показала хорошие результаты в задачах обучения мобильных шагающих роботов [8, 16]. Границы диапазона значений сигналов на синапсах в данной конфигурации не играют существенной роли. В процессе обучения НС использовался генетический алгоритм с числом индивидов в популяции равным 100, без кроссовера, с вероятностью мутации каждого гена 0,02. Функцией пригодности служило расстояние от фотодатчика робота до источника света.
Для определения наилучших параметров ГА была проведена серия экспериментов (рис. 3). При числе индивидов <50 алгоритм достигал минимума за сравнительно небольшое время (200-400 шагов), однако вероятность попадания в локальный минимум (ситуация, в которой робот совершает асинхронные движения, не способствующие выработке походки) была крайне высока из-за ограниченного генетического разнообразия. Таким образом, было выбрано число индивидов, равное 100, как обеспечивающее достаточное разнообразие генотипов и способствующее достижению оптимума за приемлемое время.
20 60 100 140 180 220 260 300
Рис. 3. Среднее время работы ГА до достижения минимума в зависимости от числа индивидов в популяции
Каждому индивиду было отведено 1000 единиц времени (шагов симулятора), в течение которых ему необходимо было достичь источника света, расположенного в 5 метрах от точки старта. Пройденное расстояние служило оценкой пригодности индивида. Как только один из индивидов достигал источника света, ГА завершал работу (достигнут оптимум), а общее время, прошедшее с момента начала работы алгоритма служило оценкой эффективности применяемого эволюционного механизма в целом.
2.2. Постановка эксперимента
Для определения влияния морфологических изменений на ход эволюционного развития автономного робота было предложено несколько вариантов эксперимента, предполагающих тот или иной вид эволюционных изменений, вносимых в конструкцию робота (рис. 4).
Базовый алгоритм (без эволюции)
В базовой схеме эксперимента эволюционных изменений не производилось - с самого начала робот обладал максимальным числом степеней свободы и максимальным диапазоном движения конечностей (рис. 4, а). Настройка параметров НС осуществлялась с помощью ГА: после каждой итерации алгоритма новая полученная НС загружалась в виртуальную модель робота, и проверялась ее пригодность для решения поставленной задачи (движение к источнику света) в течение 1000 единиц времени (шагов симулятора). Как только один из индивидов достигал цели, НС считалась обученной, и алгоритм завершал работу.
Параметрическая эволюция
В данной схеме были внесены параметрические ограничения в модель робота - диапазон движения конечностей в вертикальной плоскости на начальных этапах развития был существенно ограничен (рис. 4, б). Затем осуществлялось постепенное их расширение без внесения изменений в конструкцию (топологию) робота.
Эволюционирующий по данной схеме робот проходил четыре фазы развития: «плоская» фаза, в которой его ноги располагались горизонтально и способны были двигаться лишь в горизонтальной плоскости; две промежуточные фазы, в которых максимально возможный угол между конечностями и поверхностью составлял 23,5° и 45°, соответственно; «взрослая» фаза, в которой ноги располагались вертикально и обладали максимальной подвижностью.
а Без эволюционных изменений и
б. Параметрическая эволюция О
в. Топологическая эволюция V
г. Параметрическая и топологическая эволюция V
-^ Фаза 1 Фаза 2 Фаза 3 Фаза 4
Рис. 4. Сценарии морфологической эволюции робота
В первой фазе осуществлялась настройка параметров НС «с нуля». Как только один из индивидов достигал цели, НС считалась обученной, и ГА завершал работу. Во второй фазе осуществлялось дообучение той же НС в более сложных условиях, требующих координации движений конечностей робота. ГА осуществлял настройку параметров НС до тех пор, пока вновь не было достигнуто оптимальное поведение робота. Ход третьей и четвертой фаз аналогичен, при этом четвертая фаза является финальной («взрослой») стадией развития робота, аналогичной базовой схеме.
Топологическая эволюция
В данной схеме обучение нейросетевой САУ робота с помощью ГА осуществлялась аналогично на протяжении четырех фаз, однако вместо параметрических ограничений была изменена топология робота (рис. 4, в): в первой фазе у робота полностью отсутствовали конечности, и движение к источнику света могло быть достигнуто только за счет синхронных движений сегментов тела робота. Во второй фазе робот обладал конечностями, длина которых составляла 1/4 от максимальной; в третьей фазе длина конечностей составляла 1/2 от максимальной; в четвертой фазе конечности имели максимальную длину.
5000
4000 3000 2000
1000 0
а б в г
Рис. 5. Время настройки НС в различных сценариях эволюции: а - без эволюционных изменений; б - параметрическая эволюция; в - топологическая эволюция; г -параметрическая и топологическая эволюция
Параметрическая и топологическая эволюция
В данной схеме робот подвергался как изменению топологии (длины конечностей), так и изменению параметров (диапазонов их движений) (рис. 4, г). В первой фазе конечности отсутствовали; во второй и третьей фазах робот обладал конечностями сокращенной длины, способными двигаться в ограниченном диапазоне; в последней фазе конечности имели максимальную длину и подвижность.
3. АНАЛИЗ РЕЗУЛЬТАТОВ
По каждой из приведенных схем было проведено 25 экспериментов; средние значения времени, затраченного на настройку каждой НС от нуля до финальной стадии, приведены на рис. 5 для каждого из вариантов.
Во всех случаях, когда в процесс обучения вносились морфологические изменения, наблюдалось существенное падение значения функции пригодности для данной НС (рис. 6). Это может объясняться тем, что после завершения очередной фазы эволюции в каждой следующей фазе физические параметры робота значительно отличались от предыдущих, и соответствие между движениями и сенсорными данными было существенно иным. Это приводило к ухудшению показателей качества управления НС вплоть до временной неспособности робота к передвижению. В процессе дообучения, однако, робот очень быстро (часто спустя всего несколько итераций алгоритма) вновь становился мобильным (рис. 7).
Внесение параметрических изменений в процесс эволюции робота (рис. 4, б) может оказать существенное замедляющее воздействие на него. Это может быть связано с тем, что наличие конечностей, не участвующих в передвижении, в начальных фазах только мешает выработке эффективной стратегии движения, снижая мобильность робота.
100
80 60 40 20
1 ^ 2
2 ^ 3
3 ^ 4
Рис. 6. Значение функции пригодности после изменения топологии робота (в % от оптимума)
Топологические изменения (рис. 4, в) также не способствуют эффективному движению на ранних этапах обучения, хоть и не оказывают существенного подавляющего воздействия. Первая фаза в данной схеме соответствует безногой конфигурации и требует значительного времени на выработку стратегии движения. Од-
нако благодаря небольшому числу степеней свободы (в отсутствие конечностей оно равно шести), пространство состояний оказывается достаточно малым, чтобы алгоритм был в состоянии найти оптимум за требуемое время.
1200 1000 800 600 400 200 0
I-1
1
2
3
4
Рис. 7. Среднее время настройки НС в каждой из четырех фаз эволюции (параметрической + топологической); средняя длительность 2-й фазы ничтожна по сравнению с остальными
Во второй фазе (наличие ног 1/4 длины от максимальной) дообучение НС происходит крайне быстро, поскольку робот по-прежнему использует для движения сегменты тела, и наличие укороченных конечностей не оказывает существенного влияния на эффективность движения.
В третьей фазе возникает необходимость овладения моторикой конечностей, которые, будучи в пассивном состоянии, лишь усложняют задачу (подобно ранним фазам параметрической эволюции). После того, как контроль над конечностями установлен, переход к финальной фазе требует меньших временных затрат (к этому моменту робот уже обладает стратегией походки, и увеличение длины конечностей не оказывает существенного влияния на результат).
Совмещенная схема параметрической и топологической эволюции (рис. 4, г) приводит к наилучшим результатам и способствует более ранней выработке эффективной походки, чем базовый алгоритм. Это связано, с одной стороны, с отсутствием мешающих конечностей в первой фазе эволюции, с другой - с отсутствием необходимости поддерживать равновесие вплоть до последней фазы (расположение ног под углом к земле способствует поддержанию статической устойчивости).
0
ВЫВОДЫ
Полученные результаты свидетельствуют о том, что имеется непосредственная связь между изменениями морфологии автономного мобильного робота и ходом эволюции его нейро-сетевой САУ. В частности, последовательное усложнение морфологии робота в процессе настройки НС может способствовать более быстрому обретению роботом требуемого поведения. Данный сценарий является в некоторой степени аналогом эволюционных процессов, происходящих в живой природе (филогенез и онтогенез) [3, 4]. Когда же речь идет об эволюционных методах и алгоритмах в робототех-нических системах, то, как правило, имеется в виду настройка параметров интеллектуальных систем управления (таких, как НС-регуляторы), в то время как топология робота остается фиксированной. В связи с этим наиболее приспособленными для морфологических эволюционных процессов представляются реконфигури-руемые многомодульные робототехнические системы как обладающие наибольшей гибкостью и адаптивностью.
Следует также отметить дальнейшие возможные направления исследований в данной области:
• сложность робототехнических систем. В данной статье задача эволюции рассматривалась на примере моделей 16-степенных мобильных роботов. Поскольку реальные роботы (особенно гуманоидные и биомиметические) могут содержать в несколько раз большее число степеней свободы, равно как и произвольный набор датчиков, задача обучения таких сложных систем является пропорционально более сложной с вычислительной и других точек зрения;
• исследования на реальных роботах. Поскольку физическая среда и ее компьютерные модели, даже наиболее совершенные, все же обладают рядом различий (в первую очередь, масштабом факторов неопределенности), в дополнение к исследованиям на виртуальных компьютерных моделях необходимы эксперименты по моделированию эволюционных процессов на физических робототехнических системах.
СПИСОК ЛИТЕРАТУРЫ
1. Brooks R. Intelligence without representation // Artificial Intelligence. Elsevier, 1991. Vol. 47. P. 139160.
2. Brooks R., Stein L. Building brains for bodies // Autonomous Robots. Springer, 1994. Vol. 1. P. 7-25.
3. Nolfi S., Floreano D. Evolutionary Robotics: The Biology, Intelligence, and Technology of Self-Organizing Machines. Cambridge, MA, USA: MIT Press/Bradford Books, 2000. 336 p.
4. Weng J. Developmental robotics: Theory and experiments // International Journal of Humanoid Robotics. World Scientific, 2004. Vol. 1, № 2. P. 199-236.
5. Dorigo M., Colombetti M. Robot shaping: developing autonomous agents through learning // Artificial Intelligence. Elsevier, 1994. Vol. 71, № 2. P. 321-370.
6. Bongard J. Behavior chaining: incremental behavioral integration for evolutionary robotics // Artificial Life XI: Proceedings of the Eleventh International Conference on the Simulation and Synthesis of Living Systems (Winchester, UK, August 5-8, 2008). Cambridge, MA, USA: MIT Press, 2008. P. 64-71.
7. Lund H., Hallam J., Lee W.-P. Evolving robot morphology // Proceedings of the IEEE Fourth International Conference on Evolutionary Computation. Indianapolis, IN, USA: IEEE Press, 1997. P. 197-202.
8. Bongard, J. Morphological change in machines accelerates the evolution of robust behavior // Proceedings of the National Academy of Sciences. National Academy of Sciences, 2011. Vol. 108, № 4. P. 12341239.
9. Moskvichev S. S., Munasypov R. A. Morphological aspect of developmental robotics // Проблемы управления и моделирования в сложных системах: Матер. XIII Международн. конф. (Самара, 15-27 июня 2011 г.). Самара: Самарск. науч. центр РАН, 2011. С. 237-240.
10. Lungarella M., Berthouze L. Adaptivity through physical immaturity // Proceedings of the Second International Workshop on Epigenetics Robotics (Edinburgh, Scotland, August 10-11, 2002). LUCS, 2002. P. 79-86.
11. Шишкин М. А. Морфология древних земноводных и проблемы эволюции низших тетрапод. М.: Наука, 1973. 260 с.
12. Шишкин М. А. Эволюция как эпигенетический процесс // Современная палеонтология. М.: Недра, 1988. С. 142-169.
13. Komosinski M., et al. The Framsticks system: Versatile simulator of 3D agents and their evolution // Kybernetes. 2003. Vol. 32, № 1/2. P. 156-173.
14. Saranli U., Buehler M., Koditschek D. RHex: A simple and highly mobile hexapod robot // The International Journal of Robotics Research. Sage Publications, 2001. Vol. 20, № 7. P. 616-631.
15. Шахмаметьев Т. Р. Принципы построения системы управления реконфигурируемого мобильного робота // Актуальные проблемы науки и техники: Матер. 5-й Всероссийск. зимн. шк. аспирантов и молодых ученых (Уфа, 17-20 февраля 2010 г.). Уфа: УГАТУ, 2011. С. 348-351.
16. Bongard J. Morphological and environmental scaffolding synergize when evolving robot controllers: artificial life/robotics/evolvable hardware // Proceedings of the 13th annual conference on Genetic and evolutionary computation (GECCO '11) (Dublin, Ireland, July 12-16, 2011). New York, NY, USA: ACM, 2011. P. 179-186.
ОБ АВТОРАХ
Мунасыпов Рустэм Анварович, проф. каф. техн. кибернетики. Дипл. инженер электрон. техн. (УАИ, 1982). Д-р техн. наук по сист. анализу, управл. и обр. информации (УГАТУ, 2003). Иссл. в обл. интеллект. и адаптивн. систем управления сложн. динамич. объектами.
Москвичев Сергей Сергеевич, асп. каф. техн. кибернетики. Магистр техники и технологий по интеллект. системам (УГАТУ, 2008). Иссл. в обл. интеллект. и эволюц. робототехники, систем искусств. интеллекта.
