CC BY
171
ИНФОРМАЦИОННО-УПРАВЛЯЮЩИЕ СИСТЕМЫ X
УДК 004.896
система интеллектуального управления мобильным информационно-справочным роботом
М. В. Прищепа,
аспирантка В. Ю. Будков, аспирант А. Л. Ронжин,
доктор техн. наук, доцент
Санкт-Петербургский институт информатики и автоматизации РАН
Проанализирован круг проблем, возникающих при разработке обслуживающих информационных роботов. Предложена модель интеллектуального управления мобильной информационной системой на базе многомодального интерфейса, обеспечивающего естественное человекомашинное взаимодействие.
Ключевые слова — робототехника, системы интеллектуального управления, человекомашинное взаимодействие, мобильные подвижные системы.
Введение
В настоящее время наибольшее распространение получили промышленные роботы, которые применяются на заводах, фабриках и иных производствах. Также разрабатываются различные военные роботы, большинство из которых представляют собой беспилотные летательные, подводные и наземные аппараты. Кроме того, особое внимание ученых и инженеров направлено на развитие обслуживающих роботов, предоставляющих ассистивные, информационные, обучающие и развлекательные услуги, например роботы-няньки, роботы-уборщики и др. [1]. В данной статье описаны результаты исследования по разработке информационно-справочного мобильного робота с интеллектуальным управлением на основе многомодального пользовательского интерфейса, который обеспечивает естественное взаимодействие клиентов с информационной системой.
Данный класс роботов предназначен для использования в музеях, выставочных и торгово-развлекательных комплексах в качестве гида и для предоставления посетителям различной полезной информации, например о тематике выставки, ее участниках, плане помещений, а также оказывает помощь в поиске нужного места или объекта. Современные обслуживающие роботы должны обеспечивать пользователю возможность интуитивного управления, их функ-
ции должны быть простыми и очевидными настолько, чтобы человек мог управлять ими без знания специальных команд или принципа работы, кроме того, система должна быть робастна к ошибкам в действиях пользователя. Изучение различных комбинаций многомодальных интерфейсов помогает разрешить фундаментальные вопросы человекомашинного взаимодействия и способствует созданию новых прикладных моделей в области безопасности, медицины, робототехники, логистики и других научных направлений.
Анализ требований к мобильному информационному роботу
Несмотря на то что концепция «робота-по-мощника» сформировалась уже несколько десятилетий назад, широкого распространения на рынке обслуживающие роботы пока не получили [1]. Основными сдерживающими причинами являются высокая стоимость, сложность интеграции, минимизации и совмещения всех компонентов в одном мобильном комплексе. Существуют проблемы в организации самостоятельной работы таких систем и в увеличении срока их работоспособности в автономном режиме.
Также имеется ряд недостатков в способах взаимодействия между человеком и системой, системой и окружающей средой. В последнее деся-
тилетие за рубежом активно проводятся исследования и разработки принципиально нового поколения обслуживающих информационных роботов с многомодальным пользовательским интерфейсом [2]. Это системы массового обслуживания, которые могут автоматически определять присутствие пользователя-клиента и общаться с ним естественным образом. Ввод информации может осуществляться как путем нажатия кнопок или сенсорного экрана, так и голосом или даже жестами. Такая система, как правило, обладает знанием о своем пространственном положении, а также планировке здания и использует эти данные при указании пользователю интересующего направления.
При разработке мобильного «робота-помощ-ника» должен быть учтен ряд важных аспектов [1]. Во-первых, следует учитывать реальные потребности пользователей. Во-вторых, разработки должны вестись сразу на трех уровнях: технологии, необходимые для базовой конфигурации системы и использующиеся во всех приложениях; контекстно-зависимые технологии, которые могут быть адаптированы к большинству потребностей пользователей; персонифицированные технологии, разработанные в соответствии с требованиями конкретных пользователей. В-третьих, предложенные решения должны отличаться гибкостью, простотой пользования, надежностью и способностью к самовосстановлению, равно как функциональностью и адаптивностью.
При сопоставлении различных функциональных возможностей предлагаемых сегодня решений следует различать развлекательные системы, системы-помощники для людей с ограниченными возможностями и информационные системы, предназначенные для оповещения населения и предоставления различного рода услуг [3, 4]. Развлекательные системы, такие как японский гуманоидный миниробот ^ОВОТ, имеют минимальный набор функций и простейший интерфейс, основанный на управлении с компьютера или дистанционного пульта. Голосовое управление такими системами заключается в стандартном наборе команд, заранее включенных производителем. Системы-помощники имеют более широкий набор функций и выполняются в различных вариантах в зависимости от прикладной области. Широкое распространение получили роботы-животные; одним из наиболее популярных является японский робот Раго, предназначенный для лечения умственно и физически неполноценных пациентов. Он оснащен различными датчиками, реагирующими на прикосновения, освещенность, температуру и положение человека. Раго различает голосовые команды, узнает хозяина и выражает свои эмоции посредством движе-
ний и различных звуков. Также существуют роботы гуманоидного типа (такие как REEM-B, R100, Domo, STAIR, Twendy-One и др.), предназначенные для выполнения роли сиделки для пожилых людей, способные переносить предметы, передвигаться по помещению, следовать за хозяином, а в случае надобности помогать хозяину подняться с кресла. Такие системы обладают достаточно развитым голосовым интерфейсом, что позволяет пользователям общаться с роботами и управлять ими вербально.
Информационно-справочные системы (такие как SuperDroid RP2W) в основном предназначены для предоставления сведений об услугах и товарах различного вида. Подобные системы обладают минимальным набором функций, главный упор в их конструктивной части сделан на визуализацию предоставляемой информации. Они оснащены мультимедийным оборудованием и способны выполнять базовый набор команд, предусмотренных производителем. Иногда они имеют голосовой интерфейс с ограниченным словарем, могут автономно передвигаться по помещению, составляя карту местности, а также обладают стандартным набором датчиков для передвижения или обнаружения пользователей. Существующие информационные роботы различаются не только функциональными возможностями, но и уровнем коммуникации, связи с внешним миром, осведомленности о предпочтениях посетителей и способности к самообучению. От простейших систем, оснащенных механизмами включения/выключения, делается переход к сложным комплексным системам, способным интерпретировать поведение людей и отвечать их запросам.
Программно-аппаратные средства информационного робота
Наличие многомодального пользовательского интерфейса является отличительной характеристикой разрабатываемого мобильного информационно-справочного робота. Разработанные ранее технологии обработки аудио- и видеосигналов были адаптированы для применения на подвижной платформе в условиях, приближенных к реальной эксплуатации. Следует отметить, что системы распознавания речи, а также слежения за объектами по аудиовизуальной активности должны быть робастны по отношению к фоновым помехам и нестационарным шумам. Наиболее важные технологии, которые применены в мобильном роботе, это: локализация источников звука, автоматическое распознавание речи, идентификация диктора по речи, определение положения и слежение за подвижным объектом и лицом человека, аудиовизуальный синтез русской
речи «виртуальная говорящая голова» [5, 6]. Интеграция указанных технологий в рамках единого программно-аппаратного комплекса, оснащенного подвижной платформой с сенсорными датчиками препятствий, позволяет роботу перемещаться в пространстве и вести вербальный диалог с посетителями.
Аппаратная часть информационного робота состоит из двух основных компонентов: подвижной платформы и информационной сенсорной стойки. Общий вид мобильного информационного робота представлен на рис. 1. Компоновочная схема шасси платформы состоит из двух ведущих и двух флюгерных колес, что позволяет роботу двигаться в двух направлениях (вперед-назад), а также разворачиваться вокруг своей оси. Ультразвуковые и инфракрасные датчики, расположенные по внешней окружности платформы, служат для предотвращения столкновений с препятствиями при передвижении робота. Система управления приводами колес и обработки показаний датчиков установлена на бортовом компьютере информационной стойки, которая также оснащена встроенным Wi-Fi адаптером, двумя сенсорными мониторами, двумя массивами микрофонов, четырьмя веб-камерами, динамиками. Бортовой компьютер и остальные устройства подключены через источник бесперебойного питания к собственному аккумулятору.
■ Рис. 1. Общий вид информационного мобильного робота
С помощью видеокамер робот может следить за движущимися объектами и находить лица людей. Массивы микрофонов используются для локализации источников звука, распознавания речи, а также для идентификации посетителей. Обрабатывая поступающие потоки данных от гетерогенных сенсоров, система управления вырабатывает команды исполнительным устройствам и приложениям, обеспечивающим информационную поддержку пользователей.
Особенности системы управления роботом в торговом центре
Одной из наиболее актуальных областей применения информационных роботов считаются торговые комплексы (ТК) [7]. Покупателям с каждым годом становится все сложнее ориентироваться в новых все расширяющихся комплексах, а непривычная новизна робота привлекает посетителей, поэтому его применение в рекламных целях весьма эффективно. Способность вести естественный диалог, перемещаться вместе с посетителем и учитывать его предпочтения является основным достоинством мобильного информационного робота.
Для формализации задачи интеллектуального управления информационным роботом была предложена концептуальная модель, включающая следующие основные сущности: зону обслуживания, объект, робота, посетителя, запрос, архив, режим работы, алгоритмическую базу (рис. 2). Предложенная модель служит основой для навигации робота в ТК, а также обработки голосовых запросов посетителей, интересующихся определенным товаром или магазином.
Основная информация, необходимая роботу о зоне обслуживания ТК, содержит карту допустимых маршрутов, место парковки, часы работы и список объектов: магазины, кинотеатры, кафе и другие точки интереса (points-of-interest — POI), в описании которых задаются их названия, расположение в комплексе, список предлагаемых услуг или товаров, рекламные ролики, параметры соединения с представителем объекта.
Множество режимов работы информационного робота включает: диалог с посетителем; сопровождение посетителя; движение с выводом рекламы; движение на парковку (рис. 3). В каждом из режимов рассчитывается свой маршрут передвижения и способ взаимодействия с посетителями. Также на выбор режима и изменение маршрута влияет возникновение динамических препятствий и состояние аккумуляторных батарей робота. При появлении посетителя в зоне речевого диалога производится аудиовизуальный синтез приветствия и запрашивается название инте-
№ Б, 2010
■ Рис. 2. Концептуальная модель системы управления информационным роботом
Г
Низкий заряд ■аккумулятора
с п(5етителем 1— РОІ выбран
Ґ Движение на парковку I и остановка
ТК начал работу Л Движение >
^ * —N с выводом^— Р01
I рекламы )
Сопровождение посетителя I
^_______________у Посетитель
в зоне диалога
достигнут -
■ Рис. 3. Логическая модель выбора режимов работы информационного робота
ресующего РО1, после чего робот сопровождает посетителя до нужного места и вновь переходит в режим рекламирования. При составлении маршрутов и модели диалога была проанализирована выложенная в Интернет карта торгового комплекса «МЕГА» в Санкт-Петербурге.
В ходе взаимодействия с посетителем формируется его профиль, включающий основные
внешние данные и предпочтения в выборе товаров и магазинов. В разработанной модели диалога с посетителем основной целью является определение наименования РО1 или названия товара, поэтому структура допустимых фраз была составлена в виде грамматики, представленной на рис. 4. Фраза может содержать только название РО1 (элементы множеств $shop_list, $саГе_^^
О
$шИеге_Ьиу
Где купить
Где продается
Где приобрести
$шИеге_:Н^
Где найти
Мне нужно
Где находится
Магазин
$goods_list
Аксессуары
Белье
Косметика
$8Иор_1Ів1
Бюстье
Оби
Медиамаркт
О
Кафе
$са£е_1ів1
Макдоналдс
Сабвей
Сбарро
$єегуісе___Ііє!
Кинотеатр
Банк
Банкомат
■ Рис. 4. Схема распознавания ключевых фраз пользователей информационного робота
$seгvice_list), название товара (элементы множества $goods_list) или название с дополнительными словами «магазин», «кафе», а также вступительными оборотами с глаголами «купить», «приобрести», «найти» и другими (элементы множеств $wheгe_buy, $wheгe_find).
Если пользователь во фразе указал название РО1, то производится определение его местоположения, расчет маршрута и последующее движение робота к месту входа в интересующую РО1. Если пользователь указал некоторый товар/услугу, то происходит поиск объектов, в которых продается данный товар, после чего список всех удовлетворяющих поиску объектов выводится на экран, где посетителю предлагается выбрать один. После выбора пользователем робот переходит в режим его сопровождения. Собранная в ходе движения и взаимодействия робота с посетителями информация о проделанных маршрутах, выполненных заданиях, предпочтениях пользователей архивируется для дальнейшей оптимизации системы управления роботом.
Заключение
Проектирование мобильных систем-помощников является новой научной парадигмой в области информационных технологий и актуальной научно-практической задачей. Разрабатываемый
Литература
1. Breazeal C. et al. Humanoid robots as cooperative partners for people // Intern. J. of Humanoid Robots. 2004. Vol. 1. N 2. P. 1-34.
2. Fritsch J. et al. Multi-modal anchoring for human-robot-interaction // Robotics and Autonomous Systems. 2003. Vol. 43. P. 133-147.
3. Fong T., Nourbakhsh I., Dautenhahn K. A survey of socially interactive robots // Robotics and Autonomous Systems. 2003. Vol. 42. P. 143-166.
4. Green S., Billinghurst X., Chen M., Chase G. Human-robot collaboration: A literature review and augmented reality approach in design // Intern. J. of Advanced Robotic Systems. 2008. Vol. 5. N 1. P. 1-18.
информационно-справочный робот представляет собой мобильную подвижную систему, которая содержит сеть интеллектуальных аппаратно-программных модулей, активационных устройств, мультимедийных средств и аудиовизуальных сенсоров. Основная задача робота — обеспечение пользователей необходимой справочной информацией и сервисами на основе автоматического анализа окружающей обстановки. Осведомленность системы о предпочтениях пользователя помогает более точно предсказать намерения и потребности человека. Наличие пользовательского многомодального интерфейса позволяет перевести взаимодействие человека с машиной на новый уровень и обеспечить понятный и доступный интерфейс любой категории пользователей.
Анализ реальных диалогов, способов взаимодействия с роботом и учет персонифицированных данных позволят выявить шаблоны поведения и предпочтений основных групп пользователей, сценариев человекомашинных взаимодействий и наиболее актуальные команды, которые следует генерировать и выполнять автоматически, что будет способствовать повышению эффективности взаимодействия человека с мобильным роботом.
Работа выполнена в рамках ФЦП «Научные и научно-педагогические кадры инновационной России» (ГК N° П876), а также поддержана КНВШ Администрации Санкт-Петербурга.
5. Ронжин А. Л., Карпов А. А., Кагиров И. А. Особенности дистанционной записи и обработки речи в автоматах самообслуживания // Информацион-но-управляющие системы. 2009. № 5. С. 32-38.
6. Карпов А. А., Ронжин А. Л. Многомодальные интерфейсы в автоматизированных системах управления // Изв. вузов. Приборостроение. 2005. Т. 48. № 7. С. 9-14.
7. Kanda T. et al. An Affective Guide Robot in a Shopping Mall // Human-Robot Interaction 2009: Proc. of 4th ACM/IEEE Intern. Conf., Mar. 11-13, 2009, San Diego, USA. P. 173-180.
