CC BY
87
УДК 004.5
А.Л. Ронжин, А.А. Карпов
Проектирование интерактивных приложений c многомодальным интерфейсом*
Рассматриваются основные типы ограничений, влияющих на организацию человеко-машинного взаимодействия и конфигурирование программно-аппаратных решений при проектировании многомодальных интерфейсов интерактивных приложений. Ключевые слова: многомодальный интерфейс, интерактивные приложения, окружающее интеллектуальное пространство, распознавание речи.
С усложнением и увеличением функциональности систем средства человеко-машинного взаимодействия становятся узким местом из-за того, что не могут обеспечить интерактивный диалог с пользователем с необходимой эффективностью и естественностью [1]. В отличие от традиционных интерфейсов на основе клавиатуры и мыши или одномодаль-ных интерфейсов, многомодальные системы обеспечивают более гибкое использование потоков информации. Это дает возможность человеку выбирать наиболее удобный способ передачи/приема информации.
В зависимости от использованных входных и выходных модальностей выделяют несколько основных типов многомодальных интерфейсов (речь+жесты, речь+чтение по губам, направление взгляда+указание+речь и т.д.). Также выделяют интерактивные и неинтерактивные многомодальные приложения [2]. В неинтерактивных приложениях процесс выполнения задачи определен заранее, и пользователь не может на него повлиять, например при автоматическом транскрибировании записей (заседаний, семинаров), автоматическом индексировании мультимедийных данных (радио, телевизионных новостей) [3]. Напротив, в интерактивных приложениях пользователь в ходе диалога с машиной получает необходимый ему сервис и сам определяет ход работы приложения. Примерами таких приложений являются интерактивное телевидение, справочные диалоговые системы, управление техническими системами, информационная поддержка совещаний [4].
Проектирование многомодальных интерактивных приложений
При построении многомодального интерактивного приложения необходимо определить: 1) кто его будет использовать; 2) какие возможности имеют клиентские устройства; 3) в каких условиях будет проходить взаимодействие; 4) какой тип сервиса будет предоставлять приложение. Организовать взаимодействие представляется возможным только в том случае, если клиентские устройства находятся в зоне взаимодействия с пользователем и связи с информационно-телекоммуникационными сервисами, а их пользовательские интерфейсы соответствуют физическим возможностям и предпочтениям пользователя и могут обеспечить коммуникацию в текущих условиях окружающего пространства для решения актуальных целей пользователя.
Для формализации и решения задачи построения многомодального интерактивного приложения была предложена концептуальная и теоретико-множественная модель, включающая следующие элементы:
- множество целей пользователей P = {pi,i е N},N = {1,...n}, на удовлетворение которых направлено множество сервисов S = {sg,gеM},M = {1,...m} , использующих информационно-коммуникационные ресурсы R = {rfe ,k е C},C = {1,...с};
- множество устройств, доступных пользователю: D = {db ,b е H},H = {1,...h};
- множество моментов времени T = {t} ;
- множество преобразований W = {Wf ,f е O},O = {1,...о} , выполняемых в ходе предоставления сервиса;
- множество потоков искусственных AS = {asq,q е E},E = {1,...е} и естественных сигналов NS = {nsa,a е U},U = {1,...ы} , использующихся при распознавании входных IM = {IM1, IM2,.. .IMNim } и синтезе выходных модальностей OM = {OM1, OM2,.. .OMNom };
*Работа выполнена в рамках ФЦП «Научные и научно-педагогические кадры инновационной России» (ГК №П2360, №П2579) и гранта РФФИ № 10-08-00199-а.
- множество вариантов многомодальных интерфейсов, строящееся путем целенаправленного перебора возможных комбинаций входных и выходных модальностей: NM = {1М1ОМь1М1ОМ2,...,1М^М^М,...,ШМшOMNoм ,...,1М1...ШМшOMl...ОМ^М};
- множество допустимых системотехнических решений Да, включающее в себя
множества математических моделей MM, методов MO, алгоритмов АЬ, аппаратно-программных реализаций АР многомодальных интерактивных приложений, представленное в следующем виде: Да = |а = 1тт,то,а1,ар | тт е ММ, то е МО,а1 е АЬ,ар е АР} .
Учитывая, что в интерактивных системах обработка сигналов должна проводиться в режиме, близком к реальному времени, исходное множество преобразований W должно
удовлетворять: W(а): А3(а) х ^(а) х Т ^ А^а) х ^(а).
Также введены четыре вида ограничений (характеристик), влияющих на процессы организации взаимодействия: 1) ограничения на способы ввода и вывода со стороны пользователя, связанные с его/ее навыками использования клиентских устройств, информационных технологий, личными предпочтениями и психофизическими ограничениями: иС = {и) ,г е X}; 2) ограничения на способы ввода и вывода со стороны клиентского устройства, связанные с размерами, вычислительными и сетевыми возможностями, а также аппаратной частью, реализующей сенсорные и мультимедийные функции устройства: DC = {DCj,] е Y}; 3) множество ограничений среды, в которой планируется организовать
взаимодействие, это: уровень шумов, физические параметры атмосферы, тип помещения, число пользователей, расстояние между пользователем и клиентским устройством, наличие доступа к сетевым ресурсам и др: ЕС = {ЕС^,к е Z} ; 4) наконец, ограничения самих сервисов, связанные с предметной областью и типом обрабатываемых информационно-коммуникационных ресурсов: SC = ,1 е V} .
Для формирования множества допустимых системотехнических решений Да вводятся
соответствующие подмножества декартовых произведений исходных множеств, определяющих все потенциальное пространство проектных альтернатив:
FUC С Ра х Sа х Да х Ба х ASа х ^а; Б С Ра х Sа х Rа х Ба х ASа х NSа;
FEíC С Ра х Sа х Да х Ба х ASа х NSа; F^CC С Ра х Sа х Да х Ба х ASа х NSа . Таким образом, задача проектирования многомодального интерфейса сводится к поиску конструктивных путей формирования множества допустимых системотехнических решений Да , удовлетворяющих ограничениям иС,ВС,ЕС,БС :
/„а „а ла „а„„а „„а \
\Р1 ^ Л г а^у ■ ф(а): FUaC П FDac) П FEaC П FSC) ^ Вт
Ж(а): AS(а) х NS(а) х Т ^ AS(а) х NS(а) I
Дгез = '-»ГУ
где элементы множеств Вт ,ВЛ принимают значения {0,1} . Выбор полной комбинации модальностей, допустимых в проектируемом приложении, будет определяться следующим образом: Д^8 = {©а№М)¥(а) :©а(NM)хД^8 }, где ©а(NM) - множество комбинаций модальностей. На основе разрабатываемого подхода производился обоснованный выбор
конкретных вариантов реализаций отображений ф(а) , ^(а). Окончательное решение о структуре и функциях многомодального интерфейса и программно-аппаратном обеспечении, необходимом для его реализации, принималось с учетом стоимостных затрат.
Многомодальные приложения в интеллектуальном зале
На основе предложенного методологического и математического обеспечения проектирования многомодальных интерактивных приложений и конфигурирования программно-аппаратных ресурсов были разработаны приложения, относящиеся к различным классам интерактивных информационно-управляющих сервисов: справочный многомодальный киоск [5], интеллектуальный зал.
Разработанный интеллектуальный зал представляет собой распределённую систему, которая содержит сеть интеллектуальных программных модулей, активационных устройств, мультимедийных средств и аудиовизуальных сенсоров (рис. 1). Среди наиболее
важных примененных технологий следует отметить автоматическое распознавание речи, идентификацию диктора, локализацию источников звука, определение положения и слежение за подвижным объектом и лицом человека, определение позы человека. Кроме того, в разработанных интерактивных приложениях используется технология аудиовизуального синтеза русской речи «говорящая голова», созданная в ходе совместных проектов с ОИПИ НАН Беларуси и университетом Западной Богемии.
Основная задача зала - обеспечение участников совещания или лекции необходимыми сервисами на основе автоматического анализа текущей ситуации. Осведомлённость зала о пространственном положении участников, их текущих действиях, роли в текущем мероприятии и их предпочтениях помогает более точно предсказать намерения и потребности участников. Применение многомодального пользовательского интерфейса, использующего речь, движения, позы и жесты участников для выявления их потребностей, обеспечивает естественный способ взаимодействия с интеллектуальным залом.
L1- группа света 1
L2- группа света 2
L3- группа света 3
L4- группа света 4
R1 - привод штор
R2- привод экрана
Активаторы
Приложения
СИСТЕМА УПРАВЛЕНИЯ ИНТЕЛЛЕКТУАЛЬНЫМ ЗАЛОМ
Слежение за подвижным объектом
Слежение за лицом человека
Детектор
позы человека
Локализация источников звука
Дистанционное распознавание речи
Идентификация диктора
# W X X
Cam1_Cam2 СатЗ Сат4 Сат5
Сатб ■ ■ ■ Сат15
J
М1.М2.МЗ.М4 М5.М6.М7.М8 М9.М10.М11.М12
Видеосенсоры Аудиосенсоры
Рис. 1. Технологическая инфраструктура интеллектуального зала
Дистанционное распознавание голосовых команд, записанных с использованием массивов микрофонов, позволяет управлять освещением, шторами, проекционным экраном, поворотом камер и более сложными приложениями, например телевизором, радио-, аудио-, видеоплеером. Реализованы многомодальные приложения «Справочная СПИИРАН», предлагающее в интерактивном режиме информацию о сотрудниках института, научных подразделения и текущих мероприятиях, и «Карта Санкт-Петербурга», где посредством голосового дистанционного запроса производятся поиск улицы и вывод на экран сенсорного монитора интересующего участка карты города. Приложение «Умная доска» позволяет делать рукописные записи на сенсорной плазменной панели и с помощью голосовых команд управлять графическим интерфейсом. В приложении «Монитор состояния зала» на экран выводится информация о состоянии оборудования, пространственном положении пользователей, их речевой активности, а также реализовано сенсорное управление оборудованием.
Заключение
Разработка сети интеллектуальных залов позволит организовать совещания для участников, разделенных пространством, будет способствовать повышению сотрудничества между различными коллективами, позволит сократить расходы на транспорт и обслуживающий персонал, повысит качество образования за счет автоматизированного непрерывного контроля над каждым участником. Изучение различных комбинаций многомодальных интерфейсов для управления оборудованием интеллектуального зала помогает разрешить фундаментальные вопросы человеко-машинного взаимодействия и является богатейшим ресурсом для новых прикладных моделей в области безопасности, медицины, робототехники, логистики и других научных направлений.
Литература
1. Юсупов Р.М. От умных приборов к интеллектуальному пространству / Р.М. Юсупов, А.Л. Ронжин. - Вестник Рос. академии наук: научный и общественно-политический журнал. - 2010. - Т. 80, вып. 1. - C. 45-51.
2. Quickset: Multimodal interaction for distributed applications. Proceedings of the Fifth ACM International Multimedia Conference / P.R. Cohen, M. Johnston, D. McGee et al. -New York: ACM Press, 1997. - P. 31-40.
3. Tranter S. An Overview of Automatic Speaker Diarization Systems // S. Tranter, D. Reynolds. - IEEE Trans. ASLP. - 2006. - Vol. 14, № 5. - P. 1557-1565.
4. Akker R. Supporting Engagement and Floor Control in Hybrid Meetings / R. Op den Akker, D. Hofs, H. Hondorp et al. // Springer. - 2009. - LNAI 5641. - P. 276-290.
5. Ронжин А.Л. Исследование многомодального человеко-машинного взаимодействия на базе информационно-справочного киоска / А.Л. Ронжин, А.А. Карпов // Информационно-измерительные и управляющие системы. - 2009. - Т. 7, № 4. - С. 22-26.
Ронжин Андрей Леонидович
Канд. техн. наук, доцент, зав. лабораторией речевых и многомодальных интерфейсов, Учреждение Российской академии наук,
Санкт-Петербургский институт информатики и автоматизации РАН
Тел.: (812-3) 28-70-81
Эл. адрес: ronzhin@iias.spb.su
Карпов Алексей Анатольевич
Канд. техн. наук, сотр. лаборатории речевых и многомодальных интерфейсов, Учреждение Российской академии наук,
Санкт-Петербургский институт информатики и автоматизации РАН
Тел.: (812-3) 28-70-81
Эл. адрес: karpov@iias.spb.su
A.L. Ronzhin, A.A. Karpov
Development of interactive applications with multimodal interface
Main types of constraints influenced on arrangement of human-machine interaction and configuration of hardware-software complexes at development of multimodal interfaces of interactive application are considered.
Keywords: multimodal interface, interactive applications, ambient intelligent space, speech recognition.
