CC BY
50
УДК 004.81
А. А. Харламов, К. В. Ермишин
Харламов А. А., доктор технических наук, профессор кафедры прикладной и экспериментальной лингвистики факультета английского языка МГЛУ; Институт высшей нервной деятельности и физиологии РАН; e-mail: kharlamov@analyst.ru
Ермишин К. В., аспирант кафедры «Робототехнические системы» факультета «Робототехника и комплексная автоматизация» Московского государственного технического ун-та им. Н. Э. Баумана; e-mail: konstantin.ermishin@gmail.com
РЕЧЕВОЙ ДИАЛОГ С КОЛЛОБОРАТИВНЫМ РОБОТОМ НА ОСНОВЕ МНОГОМОДАЛЬНОЙ СЕМАНТИКИ
В данной работе описывается система управления автономного мобильного сервисного робота с использованием человеко-машинного диалога для управления роботом естественным для человека образом при помощи синтактических конструкций, задающих последовательность определенных действий. Рассматривается система управления мобильного сервисного робота, выполняющего транспортно-логистические операции в общественном учреждении в непосредственном контакте с большим количеством окружающих людей. Предлагаемый в работе подход к диалоговому управлению роботом на основе многомодального представления зоны функционирования робота, позволяет не только упростить процесс задания последовательности рабочих операций, но и повысить степень безопасности окружающих людей, объектов и самого робота в процессе выполнения возложенных на него сервисных задач.
Ключевые слова: коллаборативные роботы; автономная навигация мобильного робота; поиск пути; гибридная карта проходимости; безопасность движения мобильного робота; многомодальная модель мира; семантическая сеть; речевой диалог.
Kharlamov A. A.
D.Sc. (Techn.), Professor Department of Applied and Experimental Linguistics, Institute of Applied and Methematical Linguistics, Faculty of the English Language, MSLU; kharlamov@analyst.ru
Ermishin K. V.
Postgraduate Stident, Department of Robotics and Complex Automation, Bauman Moscow State Technical University; e-mail: konstantin.ermishin@gmail.com
VOICE DIALOGUE WITH A COLLABORATIVE ROBOT DRIVEN BY MULTIMODAL SEMANTICS
The paper describes the control system of an autonomous mobile service robot using a human-machine dialogue to control the robot in a way natural for human with the help of syntactic structures that define the sequence of certain actions. The interaction with the robot by means of natural language in the formation of target designations is provided by the multimodal representation of the working area in the form of a hybrid map of the surrounding space with highlited work areas and locations of key objects complemented by a set of semantic relations that characterize features of the robot operation and impact of the environmental changes on its operation. The article discusses the control system of the mobile service robot, performing transport and logistics operations in a public place in direct contact with lots of people around. The proposed approach to the dialoque control of the robot based on the multimodal representation of the robot operation area not only simplifies the process of determining the sequence of operations, but also enhances the level of safety for other people, objects and the robot itself in the process of fulfilling its service tasks.
Key words: collaborative robots, autonomous navigation of a mobile robot, path searching, hybrid terrain map, safety of movements of a mobile robot, multimodal model of the world, semantic network, voice dialogue.
Введение
В настоящее время начинается широкое применение сервисной робототехники [4; 5]. В отличие от промышленных роботов, как правило, автономно функционирующих без участия человека, сервисные роботы чаще всего применяются при решении коллаборативных задач, выполняемых совместно с человеком-компаньоном. Совместная работа с ним не предполагает снижения степени автономности сервисного робота, напротив, выдвигает ряд особых требований по обеспечению безопасности рабочего процесса и упрощению способов человеко-машинного взаимодействия.
Поэтому система управления робота должна не только обеспечивать выполнение возложенных на нее функций, но и адаптивно реагировать на изменение окружающей обстановки и поступающие от человека-компаньона команды. В этой связи система управления должна обладать возможностью одновременного сопоставления и анализа большого объема различной информации - параметров выполнения сервисных операций, изменения окружающей обстановки и ее влияние на работу робота, а также поступающих от человека-компаньона заданий. При этом степень адаптивности робота напрямую зависит от способности системы управления робота комплексно
оценивать рабочую ситуацию и формировать наиболее актуальное управляющее задание.
Сложность анализа информации заключается в разнообразии используемых данных, описывающих рабочую задачу. Например, для задания маршрута движения мобильного робота используется геометрическое описание рабочей зоны в виде массива координат, описывающих разрешенные и запрещенные для движения области. Объекты, с которыми взаимодействует робот, описываются с помощью координат рабочей зоны, а также с помощью параметров, характеризующих свойства объекта и ряд возможных операций над ними. В свою очередь, команды человека-компаньона задаются в виде набора инструкций на естественном языке, характеризующих действия, место его осуществления и объект, над которым нужно произвести заданное действие. Как правило подобного рода данные редко связаны друг с другом, что снижает эффективность оценки рабочей ситуации и затрудняет коллаборативное взаимодействие человека и робота.
Использование многомодальной семантики, включающей помимо плана помещения также семантическую сеть, характеризующую связи объектов, и зрительные образы объектов, позволяет организовать эффективное управление роботом, сопровождающееся зрительным контролем выполнения задания [8]. Эффективность управления значительно возрастает в случае введения в контур управления диалога [7].
В работе представлена система управления автономного мобильного сервисного робота, осуществляющего коллаборативное взаимодействие с человеком-компаньоном посредством речевого диалога на подмножестве естественного языка и выполняющего транспортно-логистические операции в учреждении общественного питания при вероятном контакте с посетителями или окружающими объектами. Особенностью системы управления является возможность ведения роботом интеллектуального диалога в процессе получения и выполнения задания. Ведение интеллектуального диалога возможно с использованием многомодальной модели мира робота, включающей план помещения, семантическую сеть, описывающую вещный мир робота во взаимосвязях его составляющих объектов, и дополненную визуальной информацией об окружающих робота объектах. Особенностью использования такой модели мира является объединение разномодальных представлений модели натягиванием семантической сети на план помещения, что позволяет удобно ее (модель мира)
Г.
визуализировать, что, в свою очередь, эргономично с точки зрения хранения этой информации в памяти человека-компаньона.
Система управления мобильного сервисного робота
В работе рассматривается процесс усовершенствования системы управления мобильного сервисного робота ОБУБ, предназначенного для транспортировки грузов из основного зала ресторана в технические помещения.
В работе использовался мобильный робот ОБУБ (см. рис. 1) представляющий собой шасси дифференциального типа, оснащенное сканирующим лазерным дальномеров Нокиуо иТМ-30ЬХ, системой управления на базе одноплатного компьютера ОВЯОГО-Хи4 и программно-аппаратного комплекса 8Т-ЯоЪо1;1с8 для автономной навигации ^^^ _ внутри помещений.
Р I' - Функционирование робота осущест-
вляется во взаимодействии с человеком-компаньоном, обслуживающим зал ресторана, осуществляющим управление роботом посредством речевых команд естественного языка и загружающим в робот подносы с посудой, перевозимые в технические помещения.
Помимо взаимодействия с человеком-компаньоном, в процессе работы робот взаимодействует с окружающими людьми (посетителями ресторана и обслуживающим персоналом), обнаруживая их на своем пути и планируя маршрут с целью обеспечения безопасности движения. Поскольку движение робота осуществляется в стесненных условиях - среди постоянно передвигающихся в непосредственной близости людей, система управления робота учитывает оценку окружающей обстановки при формировании взаимодействия с ней.
Система управления мобильного сервисного робота представляет собой двухуровневую архитектуру, состоящую из базового блока и блока расширения (см. рис. 2). Базовый блок системы управления отвечает за управление движением мобильного робота -
Рис. 1. Мобильный сервисный робот OBYS
осуществляет сбор и анализ сенсорной информации, формирование карты рабочей зоны, локализацию робота и окружающих объектов, планирование маршрута и управление движением робота.
Рис. 2. Архитектура системы управления мобильного сервисного робота
Блок расширения системы управления обеспечивает механизм коллаборативного взаимодействия робота с человеком-компаньоном посредством блока диалога на естественном языке, с помощью которого человеком-компаньоном формируется последовательность рабочих задач робота. При формировании задачи на естественном языке их описание связано с топографическим описанием рабочей зоны, указанием геометрических координат на плане помещения или каких-либо объектов и действий с ними. Например, задача - «двигаться в техническое помещение» связывает геометрические координаты целевой точки с топографической картой плана помещения. С другой стороны, задача «остановиться в зале ресторана для загрузки груза» связывает топографический план помещения с множеством возможных парковочных мест, а также текущее положение робота и комплексную оценку рабочей зоны, учитывающей положение окружающих объектов, перемещение людей и безопасность движения робота.
Блок расширения системы управления осуществляет корректирующее воздействие на работу базового блока за счет планирования маршрута движения робота на основании анализа данных гибридной карты рабочей зоны.
«Гибридная» карта окружающего пространства
Безопасное передвижение мобильного сервисного робота и эффективное взаимодействие с человеком-компаньоном возможно за счет использования многомодального представления окружающего пространства в виде многослойной карты рабочей зоны робота (см. рис. 3).
4(4111» -4 ЫЫНЬЛ ЯКШ N1]
д*нннл <«нгир« нр "г
тьл^рв* 1шы
чсттш !*■
[•игла ланшроымн
Рис. 3. Многомодальное представление рабочей зоны
Окружающее пространство представляется в виде совокупности топографического плана, зон безопасности и зон ограничения движения, локальной карты на основе показаний бортовых сенсорных систем робота [8]. Топографический план представляет собой геометрический план помещения, размеченный на зоны, подразделяющиеся на зоны ограничения движения, и зоны, связанные с выполнением рабочих операций. Комплексирование информации от множества различных локальных карт, получаемых на основании показаний бортовых сенсорных систем, используется для уточнения состояния окружающей обстановки. Например, карта, полученная от лазерного сканирующего дальномера, используется для локализации робота на топографическом плане, а карта, полученная с помощью массива сонаров, расположенных по периметру робота, позволяет оценивать наличие объектов вокруг робота в процессе его движения [2]. В результате оценка изменения состояния рабочей зоны в совокупности с поставленной задачей, позволяет формировать последовательность
безопасных маневров робота для движения в быстро меняющихся стесненных условиях.
Планирование маршрута движения робота осуществляется с помощью гибридной карты, представляющей собой искусственно созданную карту проходимости, полученную за счет комплексирования отдельных карт-слоев многомодальной модели окружающего пространства. Планирование маршрута с использованием гибридной карты проходимости обеспечивает возможность расчета оптимального маршрута для текущей обстановки, а также автоматическое и безопасное избегание столкновений с препятствиями.
В отличие от применения различных алгоритмов объезда препятствий, планирование маршрута по гибридной карте проходимости обеспечивает гарантированную сходимость процесса движения в целевую точку.
Формирование заданий роботу
Многомодальная модель мира робота
Эффективная реализация речевого диалога становится возможной благодаря введению в контур управления многомодальной модели мира робота, которая формируется на основе многомодальной семантики. Использование по отдельности модулей технического зрения, речевого ввода-вывода, сетевых и онтологических представлений мира робота не позволяют эффективно использовать всю имеющуюся в распоряжении робота информацию для решения сервисных задач. Включение в контур управления речевого диалога с роботом в этом случае оказывается неинтеллектуальной процедурой, позволяющей фактически решать только задачу речевого управления.
Объединение представлений всех этих модальностей в единую многомодальную семантическую сеть кардинальным образом меняет ситуацию: отдельные компоненты представления дополняют друг друга, позволяя реализовать интеллектуальный диалог. Модель мира робота включает в себя: (1) семантическую сеть [6], вершинами нижнего уровня которой являются объекты помещений, в которых работает робот, связанные с вершинами верхнего уровня - соответствующими этим помещениям; (2) видеоряды объектов (фотографии или специальные графические метки, однозначным образом маркирующие объект), находящихся в помещениях, связанные с вершинами
нижнего уровня; (3) речевые образы обозначений этих объектов, которые используются для речевого описания объектов.
Семантическая сеть, описывающая модель мира робота, проецируется на план помещения, включающий координаты объектов, на нем изображенных (см. рис. 4). Такое представление оказывается удобным для его визуализации человеку-компаньону, и естественно и эргономично для его запоминания и хранения в памяти человека-компаньона.
Поскольку диалог касается в основном вопросов перемещения, шаблоны диалога исчерпывают вопросы перемещения из исходной точки помещения в целевую. И та, и другая - это точки того или иного помещения, помеченные их координатами. Блок планирования маршрута, используя планы помещений гибридной карты, формирует наиболее эффективные пути перемещения мобильного сервисного робота.
Формирование управляющих заданий для робота осуществляется с помощью блока планирования задач на основании информации о текущей востребованности сервисных задач, полученного целеуказания от человека-компаньона и состояния окружающей обстановки.
г
\
(
Рис. 4. Семантическая сеть, спроецированная на план помещения Диалог с роботом
Управляющие задания в целом сводятся к перемещению из точек дислокации в залах ресторана, через коридор, в техническую зону и обратно, а также - перемещение между точками дислокации в залах ресторана, т. е. задания относительно простые. Им соответствует несколько программ перемещения, в которых в процессе диалога могут меняться конкретные параметры.
Шаблон диалога в этом случае чрезвычайно прост: «(Вася), отвези (подносы)»; «Мне приехать назад?»; «Да, (к) столу № 6 (в) «зале № 1». И подобные команды, вопросы и ответы.
Диалог позволяет ввести координаты целевой точки, и / или исходной и целевой точек. В процессе перемещения могут возникать коллизии, которые разрешаются заданием вопроса человеку-компаньону. Это можно сделать на расстоянии, поскольку используется Ы1ие1»о1;Ь-гарнитура. Эти коллизии могут касаться как возникновения непредвиденных препятствий на пути следования робота, так и других непредвиденных ситуаций. В крайних случаях робот может вызвать к себе человека-компаньона, который берет инициативу в свои руки.
Речевой ввод-вывод
Для реализации речевого диалога с роботом используется система покомандного распознавания речи [3]. Для работы используется микрофон фиксированной гарнитуры, что улучшает качество распознавания, и позволяет также выводить речевые сообщения робота на телефон этой гарнитуры. Речевой вывод - просто воспроизведение ответов, записанных заранее в память системы.
Заключение
В работе описывается мобильный интегральный сервисный робот, включающий в свою архитектуру модули навигации, управления, представления модели мира и реализации диалога. Использование всей доступной сенсорной информации, представленной в интегральной форме в виде многомодальной модели мира, позволяет реализовать эффективный интеллектуальный речевой диалог человека-компаньона с роботом в процессе выполнения рабочих заданий как в процессе постановки задачи, так и в процессе их выполнения, преимущественно в моменты возникновения нештатных ситуаций, значительно упрощая работу человека-компаньона с роботом. При наличии
подсистемы речевого интеллектуального диалога работать с роботом
может неквалифицированный сотрудник, что играет немалую роль
с точки зрения рентабельности использования сервисных роботов.
СПИСОК ЛИТЕРАТУРЫ
1. Ермишин К. В., Воротников С. А. Мультиагентная сенсорная система сервисного мобильного робота // Вестник МГТУ им. Н. Э. Баумана. Сер. Приборостроение. - Вып. 6. - 2012. - С. 50-59.
2. Жонин А. А., Каргин Д. Н., Сергиевский Н. А., Харламов А. А. Модель мира робота на основе сенсорики блоков навигации, технического зрения и речевого диалога: тр. Междунар. молодежной конф. «Информационные системы и технологии». - М., 2012. - С. 68-69.
3. Потапова Р. К., Потапов В. В. Речевая коммуникация: От звука к высказыванию. - М. : Языки славянских культур, 2012. - 464 с.
4. Потапова Р. К. Речевое управление роботом. - М. : КомКнига, 2005. -328 с.
5. Харламов А. А. Нейросетевая технология представления и обработки информации (естественное представление знаний). - М. : Радиотехника, 2006. - 89 с.
6. Cuayahuitl Heriberto, Dethlefs Nina, Richter Kai-Florian, Tenbrink Thora, Bateman John: A Dialogue System for Indoor Wayfinding Using Text-Based Natural Language // International Journal of Computational Linguistics and Applications. - 2010. - V 1, 1-2. - P. 285-304.
7. Lim Gi Hyun, Suh Il Hong, Suh Hyowon: Ontology-Based Unified Robot Knowledge for Service Robots in Indoor Environments // Transactions on IEEE Systems, Man and Cybernetics, Part A: Systems and Humans. - 2011. -V. 41, 3. - P. 492-509. (2011)
