CC BY
69
УДК 004.946
метод адаптивного представления интерактивных электронных сред с погружением
О. В. Мухина,
ассистент А. В. Никитин,
канд. техн. наук, доцент
Санкт-Петербургский государственный университет аэрокосмического приборостроения
Предложен новый способ адаптации содержимого сцены интерактивной электронной среды с погружением к особенностям пользователя (знания, навыки, сенсорика, моторика и др.), позволяющий повысить эффективность взаимодействия пользователя с прикладной системой, ориентированной на решение определенного класса задач.
Ключевые слова — адаптация, интерактивность, погружение, электронные среды.
Введение
Повышение эффективности деятельности пользователя связано с такими факторами, как непосредственное взаимодействие с объектом деятельности, вовлечение в рабочий процесс всех органов чувств и моторики человека, а также поддержка совместной работы.
Одно из перспективных решений, реализующее вышеуказанные свойства, — создание интерактивных электронных сред с погружением (ИЭСП), поддерживающих погружение человека в определенную среду и участие в событиях этой среды с учетом его индивидуальных особенностей — перцептивных, двигательных, познавательных, личностных и др. [1].
Как правило, ИЭСП ориентированы на массовую аудиторию, поэтому не поддерживают веду-
■ Сравнение гипермедиа и ИЭСП
щий канал восприятия конкретного пользователя и его полное сенсорное погружение. Частично эти проблемы решают путем равномерной нагрузки одной и той же семантикой используемых в ИЭСП каналов восприятия, а также восполнения недостающих каналов за счет синестезии. Однако принципиальное увеличение функциональных возможностей ИЭСП связано с их индивидуализацией на основе адаптации. Адаптивные ИЭСП — это новое направление исследований в области перспективных информационнокоммуникационных технологий.
Основные методы адаптации разработаны для гипермедиа-систем и представлены в работах П. Брусиловского [2, 3]. Адаптивные гипермедиасистемы отражают некоторые характеристики пользователя в модели пользователя и применяют эту модель для адаптации различных визу-
Характеристика Технологии
Гипермедиа ИЭСП
Общее представление Страница 3D-пространство
Медиа-контент Текст, изображение, анимация, звук, видео 3D-модели и связанные с ними текст, изображение, анимация, звук, видео
Структурная организация Граф страниц 3D-пространство или граф 3D-пространств
Навигация Гиперсвязи Перемещения в 3D-пространстве (обход, облет, телепортация за счет гиперсвязей)
Дополнительные свойства Заполнение форм и др. Манипуляции 3D-объектами (выделение, перемещение и др.) Мультимодальность
альных и других аспектов системы к нуждам пользователя. В адаптивной гипермедиа может быть адаптировано как содержание очередной страницы (адаптивное представление), так и ссылки с очередной страницы (адаптивная поддержка навигации). Адаптивная гипермедиа нашла широкое применение в онлайновых информационных системах, системах оперативной помощи, поисковых системах, в компьютерном обучении [4] и др.
Имеются существенные отличия ИЭСП от гипермедиа-систем (таблица), что обусловливает разработку соответствующих методов адаптации.
В настоящее время активно обсуждаются различные подходы и разрабатываются новые методы адаптации 3D-Web-сайтов к пользователю. В настоящее время активно обсуждаются различные подходы и разрабатываются новые методы адаптации 3D-Web-сайтов к пользователю, в частности персонализация контента для электронной коммерции [5, 6] и виртуальных музеев [7], навигации [8, 9], и представления контента [10].
Тем не менее, проблема управления ИЭСП в зависимости от поведения пользователя при решении поставленной задачи остается не достаточно исследованной.
Описание предлагаемого метода адаптивного представления сцены ИЭСП
Основным функционально-структурным элементом ИЭСП является мультимодальная сцена (в простейшем случае — хотя бы трехмерная с шестью степенями свободы). Применительно к ИЭСП основная идея адаптивного представления состоит в том, чтобы адаптировать содержание сцены, с которой взаимодействует пользователь в процессе решения некоторой задачи, к его текущим характеристикам — уровню знаний, целям, умениям, сенсорике, моторике и др.
Предполагается, что адаптация предназначена для поддержки пользователя только в случае, если он не справляется с решаемой задачей самостоятельно.
Обобщенная схема метода адаптации сцены приведена на рисунке.
Таким образом, модель адаптации можно представить как
МА = (С, ИП, МД, МП, МУС).
Рассмотрим компоненты модели более подробно. Сцена (С) представляет собой 3D-пространство с шестью степенями свободы и состоит из объектов, камер и источников освещения, которые име-
■ Схема метода адаптации сцены ИЭСП
ют определенные характеристики и поведение, заданные решаемой задачей.
Взаимодействие пользователя со сценой определяется сценарием решаемой задачи и осуществляется через интерфейс пользователя (ИП), который обеспечивает отображение состояний среды и регистрацию действий пользователя. ИП реализуется технически с использованием средств доступа к ИЭСП (в минимальной вариации это монитор, мышь, клавиатура), через которые пользователь осуществляет взаимодействие со сценой.
Модуль диагностики (МД) определяет некоторые характеристики пользователя в процессе решения задачи (выполнения задания), например время реакции, степень выполнения и др., на основе анализа которых принимается решение о запуске механизма адаптации. Эти первичные параметры взаимодействия преобразуются в логические данные для занесения в модель пользователя.
Модель пользователя (МП) предназначена для хранения характеристик пользователя. В общем случае она может быть задана оверлейной моделью [2], при графовом описании которой вершины представляют собой некоторые концепты предметной области, где решаются задачи, а ребра — отношения между концептами. В случае запуска адаптации МП определяет, что должно быть изменено в сцене, а также в сценарии решения задачи.
Модуль управления сценой (МУС) изменяет характеристики и поведение компонентов сцены, определенных МП, например делает видимый объект невидимым или наоборот, включает или отключает освещение, изменяет ракурс или ориентацию камеры, меняет поведение какого-либо объекта и т. п. Как правило, реализуется средствами платформы, на которой разработано приложение.
Пример реализации предлагаемого подхода
Одним из примеров использования подхода является экспериментальная ИЭСП для преподавания русского языка как иностранного, разработанная специалистами ГУАП и преподавателями филологического факультета СПбГУ [1].
Приложение предназначено для повышения языковой компетентности обучаемых за счет участия их в ориентированных на изучение языка игровых ситуациях, представленных в форме ИЭСП на платформе Virtools, а также для демонстрации возможностей альтернативных систем образования и развития новых форм сетевого общения, обучения и работы.
Приложение включает набор интерактивных трехмерных моделей зданий СПбГУ (здания Двенадцати коллегий, здания спецфакультета), некоторых помещений (деканат, библиотека, музей, коридор и др.), прилегающей территории и персонажей с анимациями (ходьба, бег, жесты, мимика и др.), представляющих пользователей и управляемых ими. На базе моделей реализованы различные учебные ситуации, например: «На экскурсии по университету», «В библиотеке», «В музее университета», «В деканате» и др.
Используются следующие режимы индивидуальной или групповой работы:
— лекция — пассивный просмотр аудиовизуального обучающего ролика, демонстрирующего, как правило, диалог и поведение персонажей на заданную тему внутри модели университета;
— практика — свободное перемещение по модели;
— контроль — пользователь, управляя персонажем, отвечает на контрольные вопросы.
Активное участие пользователей в виртуальной среде (передвижение, аудирование, чтение, ответная поведенческая реакция на вопросы и задания, указание и др.) реализуется в режимах практика и контроль, в которых пользователь от пассивного восприятия переходит к активным действиям в ИЭСП. Именно в этих режимах возможна реализация алгоритма адаптации.
Рассмотрим формирование модели адаптивного представления сцены за счет изменения уровня ее детализации на примере режима контроля для ситуации «Экскурсия по университету».
Пользователю последовательно выдаются контрольные задания, например:
• подойдите к памятнику М. В. Ломоносову;
• пройдите в библиотеку;
• зайдите в деканат;
• подойдите к мемориальной доске А. Блоку и т. п.
Каждому заданию соответствует компонент сцены, представляющей 3D-модель университета.
Пользователь, управляя персонажем от 1-го или 3-го лица, должен выполнить задание за отведенное для него время, которое, например, пропорционально расстоянию от текущего положения пользователя в модели до искомого объекта.
Механизм адаптации срабатывает в случае, если пользователь по каким-либо причинам (закончилось отведенное время, не знает местоположение объекта и др.) не выполнил задание.
Задача адаптивного представления сцены заключается в управлении уровнем детализации сцены в зависимости от поведения пользователя при выполнении задания. Предполагается, если пользователь не может найти требуемый объект в сцене, то в качестве помощи в его нахождении сцена упрощается, например, незначимые объекты удаляются, некоторые заслоняющие искомый объект элементы сцены становятся прозрачными, меняются характеристики и поведение каких-либо объектов и т. п.
Модель пользователя в данном случае будет представлять собой связный граф, вершины которого — объекты сцены, которые необходимо найти, а ребра — отношения типа «состоит из», «входит в», «видимость» и др. Каждая вершина метится вектором, включающим значения двух параметров — достиг или нет пользователь данного объекта, а также затраченное время.
Если пользователь не нашел заданный объект, то в соответствии с принятым правилом детализации сцены (в нашем случае — высокий и низкий) запрещается доступ на определенное время к вершинам графа, соответствующим высокому уровню детализации, и генерируется новый перечень вопросов, соответствующий оставшимся непройденным объектам сцены, относящимся к низкому уровню.
Приведем алгоритм управления уровнем детализации сцены в зависимости от поведения пользователя при выполнении задания.
Шаг 1. Пользователь получает задание 1 (например, подойдите к мемориальной доске А. Блоку), соответствующее сцене с высоким уровнем детализации.
Шаг 2. По истечении отведенного на ответ времени или выполнении пользователем поставленной задачи ИП передает первичные характеристики (время реакции, достигнут или нет объект) в МД.
Шаг 3. МД обрабатывает полученную информацию и формирует логические данные Я^ (оценка/рейтинг, время) для передачи в МП.
Шаг 4. В МП записываются полученные логические данные. При Я^ = 1 пользователь переходит к следующему заданию. При Я^ = 0 считаем, что пользователь не справился с заданием, и на основе МП определяются компоненты сцены для
уменьшения уровня детализации сцены для конкретной ситуации и задания.
Шаг 5. МУС на платформе Virtools генерирует сцену с уровнем детализации, определенным МП (например, делает объекты видимыми или не видимыми для пользователя).
Шаг 6. Пользователю дается возможность выполнить то же задание, но в сцене с новым уровнем детализации.
Предлагаемый метод использовался также в интерактивных электронных технических руководствах для обслуживания и ремонта корабельных комплексов при трехмерном моделировании сборки/разборки судовых агрегатов.
Литература
1. Архитектура виртуальных миров / Под ред. М. Б. Игнатьева, А. В. Никитина, А. Е. Войскунского. — ГУАП. СПб., 2009. — 238 с.
2. Brusilovsky P. Adaptive Hypermedia // User Modeling and User-Adapted Interaction. 2001. http:// www.springerlink.com/content/ln3j16077v24k774/ fulltext.pdf (дата обращения: 15.11.2009).
3. Brusilovsky P. Methods and techniques of adaptive hypermedia. 1996. http://www.springerlink.com/ content/x33q23n15373k164/fulltext.pdf (дата обращения: 15.11.2009).
4. Зайцева Л. В. Модели и методы адаптации в системах компьютерного обучения // Тр. Х Всерос. науч.-метод. конф. «Телематика 2003», Санкт-Петербург, 14-17 апреля 2003 г./ СПбГИТМО. СПб., 2003. Т. 2. С.502-503.
5. Chittaro L., Ranon R. New Directions for the Design of Virtual Reality Interfaces to E-Commerce Sites: Proc. of the 5th Intern. Conf. on Advanced Visual Interfaces (AVI 2002), Trento, Italy: ACM Press, 2002. P. 308-315.
6. Chittaro L., Ranon R. Adding Adaptive Features to Virtual Reality Interfaces for Ecommerce: Proc. of the 1st Intern. Conf. on Adaptive Hypermedia and
Заключение
Предложен метод адаптивного представления сцены, отличающийся от известных возможностью изменять характеристики и поведение объектов сцены ИЭСП в зависимости от особенностей поведения пользователя в процессе решения поставленной задачи.
Практическая ценность от реализации метода заключается в предоставлении помощи пользователю при решении задачи, а также индивидуализации процесса его взаимодействия с приложением, разработанным в форме ИЭСП.
Adaptive Web-based Systems (AH 2000), Trento, Italy. Berlin: Springer-Verlag, 2000. P. 86-97.
7. Chittaro L., Ranon R., Ieronutti L. Guiding Visitors of Web3D Worlds through Automatically Generated Tours: Proc. of the 8th Intern. Conf. on 3D Web Technology (Web3D 2003), St. Malo, France: ACM Press, 2003. P. 85-91.
8. Hughes S., Brusilovsky P., Lewis M. Adaptive navigation support in 3D ecommerce activities: Proc. of Workshop on Recommendation and Personalization in eCommerce at the 2nd Intern. Conf. on Adaptive Hypermedia and Adaptive Web-Based Systems (AH 2002), Malaga, Spain, 2002. P. 132-139.
9. Celentano A., Pittarello F. Observing and Adapting User Behavior in Navigational 3D Interfaces: Proc. of Intern. Conf. on Advanced Visual Interfaces (AVI 2004), Gallipoli, Italy: ACM Press, 2004. P. 275-282.
10. Dos Santos C. T., Osorio F. S. An Intelligent and Adaptive Virtual Environment and its Application in Distance Learning: Proc. of Intern. Conf. on Advanced Visual Interfaces (AVI 2004), Gallipoly, Italy: ACM Press, 2004. P. 362-365.
йи^ 17
