Методы анализа контекста приложений в мобильных гетерогенных устройствах Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.5

С.В. Глазков, А.Л. Ронжин

Методы анализа контекста приложений в мобильных гетерогенных устройствах

Рассмотрены способы формализации и анализа контекста приложений, исполняемых на мобильных гетерогенных устройствах. Проанализированы типы контекста и встроенные средства современных мобильных устройств, снабжающих контекстно-осведомленные приложения данными, необходимыми для извлечения контекстной информации и классификации текущей ситуации в физическом и виртуальном окружении.

Ключевые слова: контекстно-осведомленные приложения, окружающее интеллектуальное пространство, мобильные гетерогенные устройства.

Задача проектирования контекстно-осведомленных приложений

Способность приложений анализировать текущие условия эксплуатации, в том числе, текущее состояние пользователя, физического окружения, вычислительных ресурсов, и динамически адаптировать сценарий взаимодействия с пользователем является одним из главных требований при разработке интеллектуальных мобильных приложений. Для его выполнения необходимо, чтобы и пользователь, и приложение извлекали и обрабатывали контекстную информацию «всегда и везде» [1]. Отсюда возникает фундаментальная проблема, связанная с неоднозначностью контекстной информации, получаемой от тысяч различных приложений, участвующих в обслуживании пользователей. Решение этой проблемы зависит от эффективности методов объединения и распределения контекстной информации между множествами приложений и пользователей.

Кроме того, извлеченная контекстная информация в большинстве случаев неоднозначна и гетерогенна. Например, положение пользователя может быть определено посредством видеокамер, датчиков давления, встроенных в пол, локализацией бейджа с RFID меткой, дальномерами и другими способами. Каждый из перечисленных вариантов использует собственный набор программно-аппаратного обеспечения и обладает различными характеристиками по точности и скорости определения положения объекта. При определении контекста более высокого уровня (например, не положения пользователя, а его текущей деятельности в этом месте) неоднозначность может увеличиваться.

Следовательно, проблема неоднозначности контекста должна решаться на двух уровнях. Во-первых, необходимо минимизировать неоднозначность данных, полученных от многочисленных сенсоров, использующихся одним приложением в одном и том физическом и вычислительном окружении. Во-вторых, при объединении и формировании высокоуровневой контекстной информации, используемой множеством приложений и пользователей, следует учитывать динамику изменения физических условий и гетерогенность доступных вычислительных и сетевых ресурсов, участвующих в реализации интеллектуальных сервисов.

При построении многомодальных интерфейсов к приложениям, ориентированных на использование в мобильных устройствах, необходимо учитывать следующие аспекты: 1) данные, полученные от различных сенсоров, имеющих различную степень точности и разброса параметров, содержат информацию, передаваемую различными естественными модальностями; 2) обработку данных необходимо вести в режиме, приближенном к реальному времени, чтобы обеспечить интерактивность и удобство пользовательского интерфейса; 3) ситуация постоянно меняется вместе с данными, поступающими от различных сенсоров. При описании концептуальной модели контекста широко используют следующие сущности [1-4]: атрибуты контекста, состояние контекста, пространство ситуации. Введем обозначения перечисленным понятиям.

Атрибут контекста щ может представлять любой тип данных, используемых при описании и анализе контекстной информации. Атрибут контекста обычно связан с определенным датчиком или другим источником регистрации окружающей ситуации, выдающим данные с некоторой степенью точности и дискретизации во времени, поэтому значение атрибута контекста в момент времени t обозначим Щ. Например, атрибутом контекста будут являться показания датчика освещенности «0,5 лк» смартфона пользователя в определенный момент времени.

Состояние контекста Cj может быть описано текущими значениями параметров окружающего физического и виртуального пространства, в котором осуществляется взаимодействие пользователя с некоторым приложением. Таким образом, для описания текущего состояния окружающего пространства пользовательского приложения в момент времени j необходимо знать значения М атрибутов, которые характеризуют состояние контекста данного приложения: Cj = (a^,а2,...,аМ).

Например, некоторым состоянием контекста будет являться набор текущих показаний датчика освещенности «0,5 лк», GPS приемника «долгота: 30°16'25.02"E, широта: 59°56'10.77"N, скорость 42 км/ч», системы радиосвязи Bluetooth: «On», позволяющих предположить, что состояние контекста: «пользователь находится в некотором транспортном средстве».

Пространство ситуации Si, представляющее отдельную реальную ситуацию, возникающую при взаимодействии пользователя с компьютерным приложением, может быть представлено набором допустимых диапазонов значений (ч,Т2,...,М) атрибутов контекста (01,02,...,аМ) :

Si = (al1 ,a’j2,...,аМ ). Допустимый диапазон значений атрибута ar определяется как множество

элементов V, которое удовлетворяет предикату Р : аГ = V|P(V).

Для описания пространства любой универсальной ситуации Su в теории пространств контекста [2] предложено использовать набор из всех возможных атрибутов: (al1 ,...,a’jN ), где N>М .

Чтобы учесть важность каждого атрибута контекста для данной ситуации, введено множество весов

N

(w\,w2,...,wn), где ^Wi =1. Тогда универсальную ситуацию можно описать как множество пар:

i=0

атрибут контекста и его вес, т.е.: Su = (w^a^ ,W2a22,...,wnoN ).

Для того чтобы оценить принадлежность состояния контекста некоторому пространству контекста или наличие определенной ситуации, необходимо ввести метрику подобия атрибутов контекста. Также следует учесть, что атрибуты контекста могут принимать как числовые, так и нечисловые значения, например атрибут местоположение: «на улице», «в машине», «на остановке»

и т.д. Поэтому в работе [2] степень различия некоторого атрибута аг и среднего значения этого атрибута aV е аГ из допустимого диапазона данного пространства контекста вычисляется следующим образом:

Diff (ai ,aV ) = <

0,аг е аг для всех типов атрибутов,

(аГ — аГ )2,аГ € аГ, для числовых атрибутов,

1,аг € аг, для нечисловых атрибутов.

Для оценки вхождения состояния С^ в пространство ситуации осуществляется оценка

( М

близости по всем атрибутам: Sim(Ct;,Si) =

X(1-Diff (ai ,aV )) Vi=i

/N. В случае использования

взвешенных оценок ^ важности атрибутов контекста а формула оценивания близости будет иметь

(М \

следующий вид: Sim(C‘j, Si ) =

/ N.

Е(1- (а? ,аГ))

V*=1 )

Пока не существует универсального подхода к определению контекста и формированию управляющих воздействий на основе анализа текущего контекста в интеллектуальном зале совещаний [3]. Более сложной задачей являются регистрация атрибутов и анализ контекста приложений, исполняемых на мобильном устройстве, вследствие динамичности изменения окружающей обстановки. Среди существующих подходов можно выделить два класса систем, направленных на решение этой задачи: 1) системы, основанные на правилах, описывающих определенный набор действий для всех вариантов контекста, предусмотренных системой; 2) обучающиеся системы, основанные на нейронных сетях, динамических байесовских сетях, марковских моделях и т.д.

Выше были рассмотрены средства представления контекста, однако пока нет общепринятого мнения о типах и количествах пространств контекста и их атрибутах. Например, в работе [5] для определения контекста использовалось местоположение пользователя, данные об окружающей среде, данные о пользователе и время. В [4] Dey описывает контекст как эмоциональное состояние пользователя, фокус его внимания, положение и ориентацию, дату и время, объекты и людей в окружении пользователя. Три различные категории контекста были предложены в [6]: (1) текущий (местоположение, ориентация, температура, уровень шума, профиль телефона, уровень заряда батареи и др.); (2) исторический (например, предыдущее местоположение, предыдущие настройки устройств); (3) обоснованный (движение, точка назначения, погода, расписание, деятельность пользователя, формат контента, отношения и т. д.).

Три базовые сущности: человек, физическая и информационная среда - были рассмотрены в работе [7] в рамках двух типов контекстов : 1) интерактивный контекст, описывающий ситуации взаимодействия между людьми; 2) контекст окружающей среды, представляющий текущие установки и параметры программно-аппаратного обеспечения конференц-зала. В работе используется предположение, что контекст мероприятия имеет иерархическую структуру, поэтому для его представления применяется древовидная структура. Изменение положения пользователя (стоит/сидит), его местоположение, направление лица, мимика, жесты, смена дикторов и другие события анализируются для прогнозирования контекста. Сеть на основе конечного автомата была использована для классификации наиболее значимых действий участников. Этапу классификации предшествует параметрическая обработка сигналов и выделение отличительных признаков, по которым осуществляется оценка принадлежности контекста тому или иному классу. Причем выбор способа параметрического представления сигнала зависит не только от типа сигнала, но и от типа прикладной задачи [8]. Для определения наличия участников в зале и анализа их поведения применяется широкий спектр программно-аппаратных средств аудио - и видеообработки [9].

Специфика разработки контекстно-осведомленных приложений для мобильных устройств, а также анализ наиболее распространенных пользовательских сервисов приведены в работе [10]. В следующем разделе рассмотрим средства современных мобильных устройств, связанных с вводом/выводом данных и регистрацией других параметров, анализ которых позволяет определить текущее состояние контекста приложений, выполняемых в текущий момент на клиентском устройстве.

Средства регистрации атрибутов контекста в мобильных устройствах

Спецификой контекстно-осведомленных приложений для мобильных устройств является высокая динамичность параметров окружающей обстановки. В отличие от приложений, исполняемых на персональных компьютерах или стационарных системах, параметры физического и виртуального окружения изменяются в течение взаимодействия с пользователем. Пользователь может идти или двигаться в транспортном средстве, вследствие чего меняются и физические параметры среды и доступные средства связи к другим окружающим устройствам.

В данном исследовании изучение методов анализа контекста и создание контекстно -осведомленного приложения ведется с целью разработки системы поддержки проведения распределенных мероприятий в интеллектуальном пространстве [11]. Для разработки и тестирования системы была использована линейка современных мобильных коммуникаторов и планшетных компьюте -ров, в том числе: Samsung Galaxy Tab 10.1 P7500 32Gb, Apple iPad 2 32Gb Wi-Fi + 3G, Apple iPhone 4S 16Gb, Apple iPhone 4 16Gb, Nokia N9 16Gb, Sony Ericsson Xperia S, Samsung GT-N7000 Galaxy Note. Использованные устройства имеют различные операционные системы и аппаратные встроенные средства. На рис. 1 представлен полный список средств, которые применяются при взаимодействии с пользователями и другими устройствами. Всего выделено пять групп средств, ориентированных на ввод и вывод данных, связь с внешними устройствами, определение физических параметров окружающей среды и местоположение устройства.

Каждое из устройств имеет свои параметры, которые в конечном итоге являются атрибутами контекста. Например, для дисплея значения разрешения экрана и ориентация экрана будут использоваться как атрибуты контекста, для динамиков - громкость, число каналов, частота дискретизации аудиосигнала и другие параметры. В качестве примера рассмотрим технические средства из приведенной на рис. 1 классификации, имеющиеся в коммуникаторе Sony Ericsson Xperia S, а также их некоторые параметры: 1) средства вывода данных: дисплей (размер: 4.3"; разрешение: 720x1280), динамики (поддерживаемые форматы: MPEG-1/2/2.5, AAC, AAC+, eAAC+, AMR-NB, AMR-WB, Linear PCM 16bit и др.); 2) средства ввода данных: сенсорный экран (клавиатура QUERTY, функция

Multitouch, распознавание рукописных жестов); тыловая видеокамера (разрешение: 12 млн пикс., частота: 30 кадров в секунду, формат видеозаписи: Full HD (1080p)); фронтальная камера (разрешение: 1.3 млн пикс.) микрофон (частота дискретизации 48 кГц, форматы аудиозаписи: AMR-NB, AMR-WB, AAC-LC); 3) средства связи: Wi-Fi (стандарты: 802.11b/g/n, Wi-Fi; шифрование: WEP, TKIP, AES; скорость передачи данных: 72 Mbit/s), Bluetooth 3.0, 3G, EDGE, HSDPA, HSUPA, GPRS, IrDA; 4) датчики: акселерометр, гироскоп, датчик освещенности, датчик близости; 5) средства навигации: GPS, ГЛОНАСС, A-GPS, компас.

При разработке универсального контекстно-осведомленного приложения извлечение значений атрибутов контекста от приведенных на рис. 1 встроенных средств мобильных устройств, представляет определенную сложность, что связано с гетерогенностью программно-аппаратного обеспечения. Для разных операционных систем существуют свои программные средства, также не у всех мобильных устройств встроены все указанные датчики и средства связи, ввода/вывода данных. На данный момент были проанализированы средства Android API, позволяющие разрабатывать пользовательские приложения под операционную систему Android. В частности, классы Display, Touch, MotionEvent, Camera, AudioRecord, Net, Bluetooth, Location, Os содержат функции, необходимые для работы с устройствами, приведенными на рис. 1. В целом было собрано порядка 50 функций, обеспечивающих считывание

Средства регистрации атрибутов контекста приложений мобильных устройств

более 200 параметров, которые следует использовать в качестве атрибу -тов контекста. Формализация атрибутов контекс -та и оценивание принадлежности состояния кон -текста некоторому пространству контекста или наличие определенной ситуации будут проводиться с учетом формул, приведенных в предыдущем разделе ^ис- 1- Средства регистрации атрибутов контекста

Также следует отметить, что параметры некоторых устройств недоступны с помощью средств Android API, и для их чтения необходимо разрабатывать собственные функции. Например, для того чтобы определить или изменить яркость экрана (в диапазоне значений от минимального 0 до максимального 255), необходимо обратиться к конфигурационному файлу экрана, расположенного в: /sys/class/leds/lcd-backlight. Программные средства проектирования пользовательских приложений в других операционных системах обладают своими возможностями и ограничениями, поэтому на следующем этапе исследования для обеспечения кроссплатформенности и учета аппаратной гетерогенности будут разработаны программные модули для нескольких базовых мобильных операционных систем для доступа к встроенным средствам мобильных устройств, предоставляющих данные для анализа контекста.

Заключение

На данном этапе исследования рассмотрены методы анализа контекстной информации и проанализированы возможные средства для извлечения атрибутов контекста в современных мобильных устройствах. Выделено 5 групп средств, отвечающих за регистрацию контекстной информации. Для операционной системы Android были проанализированы базовые классы Display, Touch, MotionEvent, Camera, AudioRecord, Net, Bluetooth, Location, Os, содержащие функции, необходимые для работы с встроенными устройствами. В целом было собрано порядка 50 функций, обеспечивающих считывание более 200 параметров, которые следует использовать в качестве атрибутов контекста. Последующая работа будет направлена на создание кроссплатформенных программных средств обслуживания встроенных средств мобильных устройств, обеспечивающих клиентское приложение данными о текущей ситуации в физическом и виртуальном окружении.

Работа выполнена в рамках гранта РФФИ № 10-08-00199 и гранта Президента РФ (МД-501.2011.8).

Литература

1. Roy N. Context-aware resource management in multi-inhabitant smart homes: A nash H-leaming based approach / N. Roy, A. Roy, S. Das // Pervasive and Mobile Computing Journal. - 2006. - Vol. 2, Issue 4. Nov. - P. 372-404.

2. Padovitz A. Towards a Theory of Context Spaces / A. Padovitz, S. Loke, A. Zaslavsky // In Proceedings of the Second IEEE Annual conference on pervasive computing and communications workshop. -Orlando, USA, 2004. - P. 38-42.

3. Boytsov A. Extending context spaces theory by proactive adaptation / A. Boytsov, A. Zaslavsky // NEW2AN/ruSMART 2010, LNCS 6294 / S. Balandin et al. (Eds.). - Berlin: Springer, 2010. - P. 1-12.

4. Dey A. A Conceptual Framework and a Toolkit for Supporting the Rapid Prototyping of Context-Aware Applications / A. Dey, D. Salber, G. Abowd // The Human-Computer Interaction. - 2001. - Vol. 16 (2-4). - P. 97-166.

5. Morse D. Enhanced reality fieldwork using hand-held computers in the field / D. Morse, N. Ryan, J. Pascoe // Life Sciences Educational Computing. - 1998. - Vol. 9 (1). - P. 18-20.

6. Moltchanov B. Context-Awareness Enabling New Business Models in Smart Spaces / B. Mol-tchanov, C. Mannweiler, J. Simoes // NEW2AN/ruSMART 2010, LNCS 6294 / S. Balandin et al. (Eds.). -Berlin: Springer, 2010. - P. 13-25.

7. Dai P. Audio-Visual Fused Online Context Analysis Toward Smart Meeting Room / P. Dai, L. Tao, G. Xu // UIC 2007, LNCS 4611 / J. Indulska et al. (Eds.). - Berlin: Springer, 2007. - P. 868-877.

8. Мещеряков РВ. Сегментация и параметрическое описание речевого сигнала / РВ. Мещеряков, В.П. Бондаренко, А.А. Конев // Изв. вузов. Приборостроение. - 2007. - Т. 50, № 10. - С. 3-7.

9. Ронжин Ал.Л. Система аудиовизуального мониторинга участников совещания в интеллектуальном зале / Ал.Л. Ронжин, Ан.Л. Ронжин // Доклады ТУСУРа. - 2011. - № 1 (22), ч. 1. - С. 153-157.

10. Extensible architecture for context-aware mobile web applications / J. Espada, R. Crespo, O. Martinez, C. Bustelo, J. Lovelle // Expert Systems with Applications. - 2012. - Vol. 39. - P. 9686-9694.

11. Ронжин А.Л. Технологии поддержки гибридных e-совещаний на основе методов аудиовизуальной обработки / А.Л. Ронжин, В.Ю. Будков // Вестник компьютерных и информационных технологий. - 2011. - № 4. - С. 31-35.

Глазков Сергей Викторович

Аспирант лаб. речевых и многомодальных интерфейсов

Санкт-Петербургского института информатики и автоматизации Российской академии наук (СПИИРАН)

Тел.: 8 (812) 328-70-81

Эл. почта: glazkov@iias.spb.su

Ронжин Андрей Леонидович

Д-р техн. наук, доцент, зав. лаб. речевых и многомодальных интерфейсов, СПИИРАН

Тел.: +7-911-253-24-32

Эл. почта: ronzhin@iias.spb.su

Glazkov S.V, Ronzhin An.L.

Methods of context analysis of applications for mobile heterogeneous devices

Approaches to formalization and analysis of applications context, which are performed on mobile heterogeneous devices, are considered. Context types and embedded means of modern mobile devices, which provide context-aware application by the data required for extraction of context information and classification of the current situation in physical and virtual environments, are described. Aspects arisen during the development of automatic video recording system of events in intelligent meeting room are considered. The proposed monitoring system of meeting participants is implemented for recording of the current situation and extends possibilities to automate audio-, video and presentation equipment control.

Keywords: context-aware applications, ambient intelligent space, mobile heterogeneous devices.