CC BY
349
5. Скобелев П.О. Интеллектуальные системы управления ресурсами в реальном времени: принципы разработки, опыт промышленных внедрений и перспективы развития // Приложение к теоретическому и прикладному научно-техническому журналу «Информационные технологии». - 2013. - № 1. - С. 1-32.
Статью рекомендовал к опубликованию д.т.н., профессор В.А. Виттих.
Аксёнов Олег Юрьевич - Научно-исследовательский центр Ракетно-космической обороны 4 ЦНИИ Минобороны России; e-mail: skobelev@smartsolutions-123.ru; 129345, г. Москва, ул. Осташковская, 12А; тел./факс: 84991841900; начальник центра; д.т.н.; профессор.
Морозов Сергей Петрович - старший научный сотрудник; к.т.н.
Убоженко Дмитрий Юрьевич - начальник управления; к.т.н.; доцент.
Федюнин Василий Николаевич - научный сотрудник.
Дедус Федор Флоренцевич - Федеральная служба по оборонному заказу; г. Москва, Уланский пер., 16; зам. директора; к.т.н.
Скобелев Пётр Олегович - Научно-производственная компания «Сетецентрические платформы»; e-mail: skobelev@smartsolutions-123.ru; 443013, г. Самара, Московское шоссе, 17, (ТОЦ «Вертикаль»), офис 1201; тел./факс: 88462793779; генеральный конструктор; д.т.н.
Майоров Игорь Владимирович - e-mail: imayorov@smartsolutions-123.ru; старший разработчик.
Ларюхин Владимир Борисович - e-mail: laryukhin@smartsolutions-123.ru; директор по разработкам.
Aksyonov Oleg Yur'evich - The 4th Central Research Institute of the Russian Defense Ministry; e-mail: skobelev@smartsolutions-123.ru; 12A, Ostashkovskaya street, Moscow, 129345, Russia; fax/phone: + 74991841900; dr. of eng. sc.; director; professor.
Morozov Sergey Petrovich - senior researcher; cand. of eng. sc.
Ubozhenko Dmitri Yur’evich - managing director; cand. of eng. sc.; associate professor. Fedyunin Vasily Nikolaevich - researcher.
Dedus Fedor Florencevich - Federal Service for Defense Contracts; 16, Ulansky per., Moscow, Russia; deputy director; cand. of eng. sc.
Skobelev Petr Olegovich - Software Engineering Company «Network-centric platforms», Ltd; e-mail: skobelev@smartsolutions-123.ru; 443013, 17 Moscovskoe Shosse, office center “Vertikal”, office 1201, Samara, Russia; phone/fax: + 78462793779; director; professor.
Mayorov Igor Vladimirovich - e-mail: imayorov@smartsolutions-123.ru; senior researcher.
Laryukhin Vladimir Borisovich - e-mail: laryukhin@smartsolutions-123.ru; director of developments.
УДК 004.5:004.9:007.52
С.В. Манько, Р.И. Александрова, С.А.К. Диане
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС ДЛЯ МУЛЬТИАГЕНТНЫХ РОБОТОТЕХНИЧЕСКИХ СИСТЕМ
Предложены принципы построения человеко-машинного интерфейса для мультиа-гентных робототехнических систем (МАРС). Разработка удобных и эффективных средств оперативного управления группой роботов предполагает обеспечение комплексной автоматизации и интеллектуализации процессов информационной подготовки МАРС к
решению требуемых прикладных задач и контроля их выполнения. Кроме того, в процессе разработки необходимо использовать унифицированные программно-аппаратные средства в целях поддержки различных стратегий группового управления в МАРС с централизованной, децентрализованной и смешанной архитектурой. В этой связи немаловажным является аспект, связанный с обеспечением модульности аппаратно-программного обеспечения. В работе обоснована структура программно-алгоритмических средств для оперативного описания и постановки прикладных задач группе автономных роботов. Показано, что в состав функциональных блоков человеко-машинного интерфейса для мультиагентных робототехнических систем наряду со средствами ввода/вывода информации должны входить подсистемы формирования сценарной модели последовательности выполняемых операций, выбора состава автономных агентов, а также виртуального моделирования процесса выполнения прикладной задачи. В подтверждение адекватности предложенного подхода приводятся результаты моделирования мультиагентной робототехнической системы в режиме управления посредством интеллектуального человеко-машинного интерфейса.
Автономный робот; мультиагентная робототехническая система; человеко-машинный интерфейс.
S.V. Manko, R.I. Alexandrova, S.A.K. Diane MAN-MACHINE INTERFACE FOR MULTIAGENT ROBOTIC SYSTEMS
The article offers creation principles of man-machine interface for multiagent robotic systems (MARS). Development of user-friendly and efficient tools for robot group control involves providing integrated automation and intellectualization of information processes in MARS deployment. In addition, it is necessary to use standardized software and hardware in order to support different strategies in MARS control with a centralized , decentralized or mixed architecture. In this regard, an important aspect is related to the maintenance of hardware and software modularity. In this paper, the software structure is proved for applied tasks description and their staging to a group of autonomous robots. It is shown that the composition of the functional blocks of man-machine interface for multi-agent robotic systems, along with the means of input/output subsystem should include subsystem of scenario formation, subsystem for autonomous agents selection, as well as subsystem for task execution simulation. To confirm the adequacy of the proposed approach, simulation results of MARS intelligent man-machine interface are shown.
Autonomous robot; multiagent robotic system; man-machine interface.
Введение. Результаты научно-исследовательских и опытно-конструкторских работ, активно ведущихся во всем мире в области мультиагентных робототехнических систем (МАРС), убедительно свидетельствуют о возможности их создания и перспективности применения для широкого круга приложений в военном деле, сельском хозяйстве, строительстве и множестве других сфер. При этом основные усилия отечественных разработчиков концентрируются вокруг проблем распределения заданий и планирования взаимодействий в группе роботов, организации информационного обмена, обобщения сенсорной информации и т.д. [1-9]. Совершенно очевидно, что эффективность применения МАРС будет во многом определяться возможностями средств человеко-машинного интерфейса по оперативной постановке решаемых прикладных задач и контролю их выполнения оператором.
Принципы построения человеко-машинного интерфейса для мультиагентных робототехнических систем. Экстремальность условий и среды функционирования МАРС является одной из характерных особенностей подавляющего большинства областей их прикладного применения [1, 2], включая оборонную сферу, сельское хозяйство, строительство, горное дело и т.д. При этом работа оператора зависит от его физического состояния, которое сопряжено с дефицитом времени на постановку задачи, наличием стресса, наступлением усталости, с негативным влиянием климатических и погодных условий.
Другие факторы, определяющие специфику практического применения МАРС, связаны с выбором их состава и структуры под решение конкретной прикладной задачи. Так, например, в зависимости от особенностей рассматриваемых приложений оперативное формирование мультиагентной системы может осуществляться в соответствии с централизованной, децентрализованной или смешанной структурой с объединением в составе группировки автономных роботов различных типов и назначения наземного, воздушного, а в некоторых случаях и надводного или подводного базирования.
В данной связи, организация человеко-машинного интерфейса должна предусматривать не только обеспечение возможностей полномасштабной информационной подготовки МАРС к выполнению требуемых задач и последующего контроля ее функционирования, но и интеллектуальную поддержку действий оператора.
Таким образом, в основу общей концепции построения универсального человеко-машинного интерфейса для управления МАРС положены четыре основные принципа:
1) комплексной автоматизации процессов информационной подготовки МАРС к решению требуемых прикладных задач и контроля их выполнения;
2) унификации программно-аппаратных средств;
3) интеллектуализации процессов принятия решений на всех этапах информационной подготовки МАРС к решению требуемых прикладных задач и контроля их выполнения;
4) модульности программно-алгоритмического обеспечения.
Реализация предусматривает разработку следующего набора программноалгоритмических средств:
♦ оперативной постановки и описания условий выполнения прикладной задачи, решаемой с помощью МАРС;
♦ выбора структуры и состава, а также оценки численности МАРС, необходимых для выполнения поставленной задачи;
♦ анализа выполнимости поставленной задачи по результатам оперативного моделирования МАРС с учетом выбранных параметров комплектования;
♦ оперативного приема и передачи данных по каналам беспроводной сетевой связи между пультом оператора и МАРС;
♦ оперативного контроля выполнения поставленной задачи и текущего состояния отдельных роботов, действующих в составе мультиагентной системы.
В свою очередь, второй принцип предполагает, что функциональные возможности интерфейса должны обеспечивать поддержку различных стратегий группового управления в МАРС с централизованной, децентрализованной и смешанной архитектурой.
Третий принцип обусловливает применение современных методов и технологий искусственного интеллекта для представления и обработки экспертных знаний по обоснованному выбору состава и структуры МАРС, а также стратегий и алгоритмов группового управления роботами в зависимости от особенностей задач их прикладного применения, описываемых оператором с использованием средств человеко-машинного интерфейса.
И, наконец, четвёртый принцип предполагает, что унификация средств интеллектуального человеко-машинного интерфейса, используемого на всех этапах информационной подготовки МАРС к выполнению требуемых задач (с учетом многообразия допустимых постановок), может и должна обеспечиваться за счет модульного построения программно-алгоритмического обеспечения.
Сформированные принципы по существу регламентируют обобщенную структуру интеллектуального человеко-машинного интерфейса для МАРС различных типов и назначения. Как показано на рис. 1, ее состав включает следующие основные модули:
♦ описания и постановки прикладной задачи;
♦ описания условий выполнения поставленной задачи;
♦ выбора структуры, состава и оценка численности МАРС;
♦ виртуального моделирования МАРС и оценка реализуемости поставленной задачи с передачей исходных данных на выполнение;
♦ контроля выполнения поставленной задачи в режиме моделирования МАРС на основе использования телеметрических данных о ее функционировании;
♦ контроля выполнения поставленной задачи с отображением на цифровой карте текущего положения роботов;
♦ контроля поэтапного выполнения поставленной задачи с отображением завершения отдельных операций в рамках установленного сценария;
♦ контроля состояния отдельных роботов, функционирующих в составе МАРС.
Наличие фундаментальных и прикладных заделов по ключевым аспектам рассмотренной концепции позволяет реализовать интеллектуальный человекомашинный интерфейс для автономных роботов и мультиагентных робототехнических систем.
Программно-алгоритмические средства человеко-машинного интерфейса для оперативного описания и постановки прикладных задач группе автономных роботов. Важнейшая особенность разработки человеко-машинного интерфейса для управления МАРС связана с обеспечением адекватности инструментальных средств оперативного описания и постановки прикладных задач, с одной стороны, моделям и алгоритмам планирования действий и распределения заданий с другой.
Рис. 1. Обобщенная структура интеллектуального человеко-машинного интерфейса в составе МАРС
Планирование целесообразных действий МАРС для целого ряда приложений осуществляется на основе анализа сценария поэтапной реализации решаемой прикладной задачи. Соответствующая сценарная модель строится в виде сети типовых конечных автоматов, структура взаимосвязей и состояние которых отражают логику следования и стадию выполнения необходимых технологических операций. При этом выявление доступных для исполнения операций осуществляется по мере очередности завершения предыдущих (рис. 2), обеспечивая возможность формирования заданий для интеллектуальных автономных роботов, действующих в составе мультиагентной системы [3, 4].
исполнения
операция доступна для исполнения
Рис. 2. Контроль за выполнением поставленной прикладной задачи по установленному сценарию
Так, типовой элемент для описания технологической операции в составе сценарной модели выполнения решаемой прикладной задачи может быть представлен конечным автоматом вида
К° ={ и°, Х°, У°, /°, Н° }, (1)
где и° = ( и°, и°, и° ) - входной алфавит; и° - входной сигнал о наличии невыполненных операций, предшествующих данной; и° - входной сигнал об отсутствии невыполненных операций предшествующих данной; и° - входной сигнал о завершении данной конкретной операции; Х° =( х°, х°, х° ) - алфавит состояний; х° - состояние «операция не выполнена»; х° - состояние «операция передана на выполнение»; х° - состояние «операция выполнена»; У° =( у°,у°,у° ) - выходной алфавит; у° - выходной сигнал, подтверждающий, что операция на°
ходится в состоянии «не выполнена»; у - выходной сигнал, подтверждающий, что операция передана на выполнение; у - выходной сигнал, подтверждающий, что операция выполнена; у°, Ъ° - функции переходов и выходов, задаваемые табл. 1.
Диаграмма переходов конечного автомата (1), как типового элемента модели выполнения решаемой прикладной задачи по установленному сценарию, показана на рис. 3.
Таблица 1
Диаграмма переходов конечного автомата, как типового элемента модели выполнения решаемой прикладной задачи по установленному сценарию
—^-^-Состояния Входы xO x0 XlO А
O O O O
U0 X0 x1 X2
O O O O
u x1 x1 X2
O O O O
U2 X0 2 2
Выходы Ус° y° У!
Модель выполнения решаемой прикладной задачи, сформированная в виде древовидной иерархической сети конечных автоматов вида (1), позволяет обеспечить не только контроль последовательно-параллельной очередности следования технологических операций в соответствии с априорно установленным сценарием, но и выдачу текущих заданий по его реализации силами имеющихся агентов.
Последующее распределение заданий в составе МАРС осуществляется исходя из условий обоснованного выбора исполнителей по критериям достаточности имеющихся, минимизации расходуемых или максимизации остающихся ресурсов [3].
Удобной формой представления сценарных моделей являются графы, узлы которых ставятся в соответствие отдельным операциям или этапам, а дуги определяют требуемый порядок их следования.
и°о, и°1, и0г
Рис. 3. Диаграмма переходов автомата, контролирующего выполнение операции в составе сценария решения поставленной прикладной задачи
В этой связи, функциональные возможности человеко-машинного интерфейса по обеспечению ввода всей совокупности исходных данных для постановки прикладной задачи группе автономных роботов (а также последующего контроля за ходом и результатами ее решения) должны предусматривать создание сценарных графов с указанием параметров выполнения необходимых «технологических» операций:
где V = | vi /1 = 1,2,...,п }- множество вершин, соответствующих тем «технологическим» операциям или этапам, выполнение которых обеспечивает решение требуемой прикладной задачи; О = { ^, р, ^ /1 = 1,2,..., п } - множество комплектов данных, ассоциируемых с вершинами графа и характеризующих имена, наборы параметров и статус выполнения соответствующих «технологических» операций или подзадач; и = { ^ /] = 1,2,...,т } - множество дуг связей между верши-
нами, регламентирующих порядок выполнения соответствующих «технологических» операций.
В состав комплекта данных, ассоциируемых с каждой из вершин сценарного графа (2), включается показатель статуса, выступающего в роли индикатора текущего состояния технологической операции:
В общем случае изменение статуса технологических операций (3) осуществляется на основе интерпретации данных, сообщаемых автономными агентами по мере их проведения. Полученные значения показателя статуса позволяют обеспечить обновление текущего состояния сценарной модели, используемой для планирования заданий по выполнению поставленной прикладной задачи. В то же время маркировка соответствующих узлов сценарного графа с учетом показателей статуса обусловливает возможность графического отображения хода и результатов реализации формируемых планов на мониторе оператора.
В свою очередь, такой элемент комплекта данных, как имя (или идентификатор типа) операции, не только определяет команду на ее выполнение, но и может быть использован как условие по выбору соответствующего робота на этапе формирования состава МАРС:
циально выполняемых р-м типом робота и определяющих его функциональные возможности.
Автоматизация процесса построения сценарного графа с возможностью указания параметров выполнения отдельных операций осуществляется с помощью средств графического и текстового редактирования, включаемых в состав человеко-машинного интерфейса для реализации режима оперативной постановки прикладной задачи группе роботов. При этом интерактивный ввод исходной информации сопровождается заполнением априорно зарезервированного массива памяти в соответствии с определенной структурой представления данных.
Такая структура, вариант которой приведен на рис. 4, должна однозначно отражать особенности поставленной прикладной задачи, выступая в качестве конструктивной основы для формирования ее сценарной модели.
(2)
0, - если операция не выполнена;
£г = <{ 0.5, - если операция передана на выполнение;
1, - если операция выполнена
(3)
Таким образом, сценарная модель прикладной задачи, создаваемая автоматически по исходным описаниям оператора, представляет собой сеть типовых конечных автоматов, логика построения и функционирования которой позволяет обеспечить не только оперативный контроль и планирование хода и порядка проведения необходимых технологических операций, но и решение вспомогательных вопросов по обоснованию численности требуемых исполнителей [3-5].
Апробация предложенного подхода к построению интеллектуального человеко-машинного интерфейса в составе МАРС потребовала разработки соответствующего комплекса программно-инструментальных средств, функциональная структура которого приведена на рис. 5 и включает следующие основные модули:
Рис. 4. Структура представления данных, регламентирующих постановку прикладной задачи в виде сценарного графа
♦ ввода/вывода графической, текстовой и других видов информации с/на консоли оператора;
♦ формирования сценарной модели прикладной задачи;
♦ базы данных по моделям автономных роботов;
♦ выбора и оценки численности автономных агентов (включаемых в состав МАРС для совместного выполнения поставленной прикладной задачи);
♦ планирования действий и распределения заданий (в составе МАРС);
♦ моделирования МАРС;
♦ картографической базы данных;
♦ интерпретации данных о состоянии автономных агентов;
♦ подготовки и обработки сообщений, передаваемых или поступающих по каналам беспроводной сетевой связи с автономными роботами при выполнении поставленной прикладной задачи в составе МАРС;
♦ супервизора, обеспечивающего логический контроль и диспетчеризацию работы модулей в составе системы человеко-машинного интерфейса.
Передача / прием данных по каналам связи с МАРС
Рис. 5. Функциональная структура программно-алгоритмического обеспечения человеко-машинного интерфейса в составе МАРС
Следует отметить, что выбор и оценка численности автономных роботов в составе мультиагентной группировки, планирование целесообразных действий и распределение заданий по их выполнению осуществляется на основе соответствующих алгоритмов анализа сценарной модели поставленной прикладной задачи [3-5].
Подсистема моделирования МАРС может формироваться на основе использования различных средств разработки приложений в области трехмерной графики и виртуальной реальности, включая такие системы как РобСим 5 [10] или открытые программные библиотеки (и их расширения) типа OpenGL [11], OGRE [12] и т.д. При этом возможности подсистемы моделирования МАРС используются в двух целях:
♦ для оперативной оценки реализуемости поставленной прикладной задачи с учетом выбранных в качестве исполнителей автономных агентов, а также особенностей среды и рельефа местности, отображаемым в среде виртуальной реальности в соответствии с указанным фрагментом цифровой карты;
♦ для контроля действий автономных агентов в ходе их совместного функционирования при выполнении поставленной задачи.
В последнем случае моделирование МАРС осуществляется на основе телеметрических данных, поступающих по каналам беспроводной сетевой связи и характеризующих текущее состояние агентов.
Подсистема подготовки и обработки сообщений обеспечивает преобразования форматов данных, передаваемых и принимаемых по каналам беспроводной сетевой связи с МАРС.
Подсистема интерпретации данных о состоянии агентов обеспечивает обобщение и анализ поступающей информации в целях формирования объективной картины о функционировании МАРС, текущих результатах выполнения поставленной прикладной задачи с учетом изменения статуса технологических операций в ходе их проведения.
Опытная версия человеко-машинного интерфейса для постановки прикладных задач и контроля их выполнения группой автономных роботов прошла тестовые испытания (рис. 6), подтвердив работоспособность и эффективность на примерах моделирования МАРС различных типов и назначения.
б
Рис. 6. Использование средств человеко-машинного интерфейса для постановки прикладной задачи группе роботов (а) и контроля их функционирования в ходе ее выполнения (б)
а
Заключение. Активизация поисковых исследований, проводимых в России на протяжении ряда последних лет по тематике мультиагентных робототехнических систем по инициативе отдельных научных коллективов и организаций, позволила накопить определенный фундаментальный и прикладной задел, необходимый для дальнейшего развития данной предметной области. Соответствующие результаты, накопленные в МГТУ МИРЭА, ЮФУ, МГТУ «Станкин» и других научных центрах страны, связаны с разработкой методов и алгоритмов группового управления роботами, планирования их целесообразного поведения, оперативного формирования и распределения заданий, кооперативного картографирования, а также организации человекомашинного интерфейса. Полученные решения и приобретенный опыт представляют собой объективные предпосылки для создания макетных и опытных образцов муль-тиагентных робототехнических систем различных типов и назначения.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Макаров И.М., Лохин В.М., Манько С.В., РомановМ.П., Крюченков Е.Н., Кучерский Р.В., Диане С.А.К. Мультиагентные робототехнические системы: примеры и перспективы применения // Мехатроника, автоматизация, управление. - 2012. - № 2. - C. 22-32.
2. Макаров И.М., Лохин В.М., Манько С.В., Романов М.П. Принципы построения и проблемы разработки мультиагентных робототехнических систем // Мехатроника, автоматизация, управление. - 2012. - № 3. - C. 11-16.
3. Макаров И.М., Лохин В.М., Манько С.В., РомановМ.П., Крюченков Е.Н., Кучерский Р.В., Худак Ю.И. Модели и алгоритмы планирования действий и распределения заданий в мультиагентных робототехнических системах // Мехатроника, автоматизация, управление. - 2012. - № 5. - C. 44-50.
4. Лохин В.М., Манько С.В., РомановМ.П., Диане С.А.К. Способы представления знаний и особенности функционирования мультиагентных робототехнических систем // Мехатроника, автоматизация, управление. - 2014. - № 1. - C. 36-39.
5. Лохин В.М., Манько С.В., Романов М.П., Диане С.А.К., Трипольский П.Э., Карпов С.А. Модели и алгоритмы оценки численности состава мультиагентных робототехнических систем // Мехатроника, автоматизация, управление. - 2014. - № 3.
6. Каляев И.А., Гайдук А.Р., Капустян С.Г. Распределенные системы планирования действий коллективов роботов. - М.: Янус-К, 2002. - 292 с.
7. Каляев И.А. Метод коллективного управления группой объектов // Мехатроника, автоматизация, управление. - 2003. - № 3.
8. КаляевИ.А., Капустян С.Г. Проблемы группового управления роботами // Мехатроника, автоматизация, управление. - 2009. - № 6.
9. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. - М.: Эдуториал УРСС, 2002. - 352 с.
10. Программный комплекс для моделирования роботов и робототехнических систем Дин-Софт РобСим 5 / http://robsim.dynsoft.ru/working.php.
11. Графическая библиотека OpenGL / http://www.rsdn.ru/article/opengl/ogltut2.xml.
12. OGRE http://ru.wikipedia.org/wiki/OGRE.
Статью рекомендовал к опубликованию д.т.н., профессор О.С. Колосов.
Манько Сергей Викторович - Московский государственный технический университет МИРЭА; e-mail: cpd@mirea.ru; 119454, г. Москва, пр-т. Вернадского, 78; тел.: 84954349232; кафедра проблем управления; д.т.н.; профессор.
Диане Секу Абдель Кадер - кафедра проблем управления; ассистент.
Александрова Римма Ивановна - кафедра проблем управления; вед. электроник.
Manko Sergey Viktorovich - Moscow State Technical University of Radioengineering, Electronics and Automation; e-mail: cpd@mirea.ru; 78, Vernadsky ave., Moscow, 119454, Russia; phone: 84954349232; the department of control engineering; dr. of eng. sc.; professor.
Diane Sekou Abdel Kader - the department of control engineering; assistant.
Aleksandrova Rimma Ivanovna - the department of control engineering; leading electronic.
