CC BY
82
Educational Technology & Society 10(4) 2007
ISSN 1436-4522
Архитектуры презентационной системы образовательного насыщенного мультимедиа контента
Д. А. Быстров Лаборатория систем мультимедиа Марийский государственный технический университет, Йошкар-Ола, Россия
bvstrodim@mail. га
АННОТАЦИЯ
В работе представлен подход к реализации презентационной системы насыщенного мультимедиа контента ЭОР. Неэффективность простых электронных форм представления учебного материала требует использования новых форм образовательного мультимедиа контента. Представленная презентационная система позволяет в полной мере использовать в обучении такие педагогические инструменты, предоставляемые компьютером, как: мультимедиа, интерактивность, моделирование. Рассмотрены вопросы разработки архитектуры презентационной системы и технические особенности ее реализации. Приводится пример создания ЭОР на основе насыщенного мультимедиа контента.
Ключевые слова
мультимедиа, презентационная система, электронные образовательные ресурсы
1. Введение
Создание образовательного мультимедиа контента для современных электронных образовательных ресурсов (ЭОР) требует новых форм представления учебных материалов. Это обусловлено тем, что простые электронные формы представления учебного материала в виде статических гипертекстовых документов с иллюстрациями неэффективны в процессе обучения [1]. Кроме того, в [2] указывается, что учащиеся «поколения видеоигр» ориентированы на восприятие высоко-интерактивной, мультимедиа насыщенной обучающей среды. Новая форма ЭОР обеспечивает высокий уровень мотивации и дает возможность реализовать активные формы обучения.
Выразительные возможности ЭОР нового поколения обусловлены большим набором разнообразных типов медиа компонентов, имеющихся в распоряжении разработчиков, и высоким уровнем интерактивности и моделинга, позволяющих вовлекать учащихся в процесс обучения. Мультимедиа контент, обладающий подобными свойствами, получил название - насыщенный мультимедиа контент.
Мультимедиа системы, которые могут быть использованы для поддержки процесса активного обучения, привлекают в последнее время повышенное внимание. Для построения таких систем, с одной стороны необходимо создавать красочный, привлекающий внимание учащихся мультимедиа контент, - с другой нужно обеспечить высокий уровень интерактивности и моделинга.
2. Насыщенный мультимедиа контент в ЭОР
Каждый тип медиа компонентов (текст, изображение, анимация, видео и т.п.) имеет свои презентационные свойства, определяющие их динамические качества, пространственно-временные характеристики и способы визуального представления. Для создания презентационной системы важно иметь точное представление о компонентном составе мультимедиа контента, который она должна воспроизводить.
Моделирование компонентного состава позволит задать презентационные возможности презентационной системы и разработать ее архитектуру.
Для построения компонентной модели насыщенного мультимедиа контента был выбран объектно-ориентированный подход. Это позволило каждый тип медиа компонентов описать классом, для которого определяются список атрибутов, описывающих свойства объектов этого класса, и список методов, задающих набор производимых над этими объектами операций. Эта модель позволяет не только определить список свойств и методов для каждого класса, но и выявить взаимосвязи между классами. Каждый медиа компонент относится к одному из классов, представленных в таблице 1, они делятся:
• на визуальный ряд - класс Visual, который инкапсулирует свойства и методы, необходимые для отображения медиа компонента на экране,
• звуковой ряд - класс Audial,
• медиа компонент, реализованный с помощью внешних программ и библиотек - класс ProgramMeduim.
Таблица 1
Medium Абстрактный медиа компонент
Visual Визуальный ряд
Text Символьная информация: текст и числа
Image Растровая графика: реалистичные и синтезированные
статичные изображения
Dynamical Динамический видимый медиа компонент
Video Реалистичные динамические изображения
Animation Синтезированные динамические изображения
Object3D Основанный на сетчатой модели трехмерный объект
Character Человекоподобный трехмерный объект
ProgramVisual Видимый медиа компонент из внешней библиотеки
Audio
Sound Реалистичный / синтезированный звук
ProgramAudio Звуковой медиа компонент из внешней библиотеки
ProgramMedium Абстрактный медиа компонент из внешней библиотеки
В процессе презентации насыщенного мультимедиа контента медиа компоненты визуального ряда служат для формирования изображения на экране монитора, а медиа компоненты звукового ряда используются для создания аудио эффектов. При этом воспроизводимые и отображаемые в каждый момент времени медиа компоненты составляют некоторую небольшую часть контента.
Задача презентационной системы правильно и с требуемой скоростью воспроизводить насыщенный мультимедиа контент. Для этого данные отображаемых и воспроизводимых в этот момент времени медиа компонентов должны находиться в оперативной памяти. Моделирование презентационной структуры насыщенного мультимедиа контента предоставит механизмы структуризации контента, позволяющие определить какие медиа компоненты необходимо загрузить в оперативную память в каждый момент времени.
Основным структурным элементом модели презентационной структуры насыщенного мультимедиа контента является композиция, представляющая собой презентационный сегмент, который объединяет определенное множество медиа компонентов. Чтобы явно определить множество загружаемых одновременно медиа компонентов, в предлагаемой модели презентационной структуры насыщенного мультимедиа контента введен структурный элемент сцена. Сцена - это множество композиций, медиа компоненты которых должны быть загружены в память компьютера одновременно.
3. Архитектура презентационной системы насыщенного мультимедиа контента
Презентационная система - это программная среда, предназначенная для воспроизведения насыщенного мультимедиа контента. Чтобы разработать архитектуры презентационной системы, необходимо определить ее функциональные возможности.
Презентационная система должна предоставлять возможность загрузки описания сцены, представляющего собой файл, в котором сохранена иерархическая структура презентационных сегментов и медиа компонентов. В результате чего в оперативной памяти должна быть построена иерархия презентационных сегментов сцены и созданы объекты для медиа компонентов.
Медиа компоненты создаются на основе мультимедиа данных, сохраненных на внешнем носителе информации. Для отображения и воспроизведения медиа компонентов необходимо, чтобы их мультимедиа данные были загружены в оперативную память. Таким образом, презентационная система должна предоставить возможность загрузки мультимедиа данных, в результате чего они должны быть декодированы и преобразованы во внутренний формат в соответствии с моделью компонентного состава.
Два основных назначения презентационной системы - это отображение и воспроизведение медиа компонентов визуального ряда и воспроизведение медиа компонентов звукового ряда. При этом эти операции должны быть управляемыми.
Таблица 2.
Требования Описание
Загрузка описания сцены Считывание описание сцены в оперативную память.
Построение объектной модели сцены Построение иерархии презентационных сегментов сцены в соответствии с моделью презентационной структуры контента; создание объектов для медиа компонентов в соответствии с моделью компонентного состава.
Загрузка мультимедиа данных медиа компонентов Считывание мультимедиа данных для медиа компонентов сцены в оперативную память; их декодирование и преобразование во внутренний формат в соответствии с моделью компонентного состава.
Отображение и воспроизведение медиа компонентов визуального ряда Обеспечение отображения и воспроизведения медиа компонентов визуального ряда в соответствии с моделью компонентного состава.
Воспроизведение медиа компонентов звукового ряда Обеспечение воспроизведения медиа компонентов звукового ряда в соответствии с моделью компонентного состава.
Управление воспроизведением и отображением МК Предоставление возможности выполнения дискретных и длительных операций над медиа компонентами в соответствии с моделью синхронизации и интерактива.
Обработка событий синхронизации Обеспечение обработки событий синхронизации, возникающих в результате выполнения длительных операций над медиа компонентами в соответствии с моделью синхронизации и интерактива.
Обработка событий интерактива Обеспечение обработки событий интерактива, возникающих в результате действий пользователя, в соответствии с моделью синхронизации и интерактива.
Для того чтобы в полной мере использовать динамику насыщенного мультимедиа контента, презентационная оболочка должна предоставлять возможность обработки событий синхронизации. Кроме того, чтобы создавать
высоко интерактивные ЭОР, презентационная оболочка должна обеспечить обработку событий интерактива.
В таблице 2 в обобщенном виде представлены требования к функциональным возможностям презентационной системы насыщенного мультимедиа контента.
При проектировании сложных мультимедиа приложений, каким является презентационная система насыщенного мультимедиа контента, используют принципы компонентной архитектуры [3]. Приложение, построенное по такой архитектуре, делят на отдельные программные модули, взаимодействующие между собой через строго определенные программные интерфейсы.
При разработке мультимедиа продуктов исследователи предлагают различные варианты разбиения на программные компоненты. Например, в [5] описана реализация плеера для отображения мультимедиа контента в формате MPEG-4. Этот плеер разделен на два программных компонента:
• Scene manager - производит обработку описания сцены, создает геометрию трехмерных объектов, текстуры и материалы, производит расчет анимации объектов;
• Renderer - обеспечивает отображение и воспроизведение медиа компонентов.
Доставка, загрузка и распаковка медиа данных в этом проекте возложена на MPEG-4 Software Development Kit [6].
Использование всего двух программных компонентов облегчает реализацию их взаимодействия. С другой стороны, они значительны по своей функциональности, что усложняет их внутреннюю структуру.
В виду того, что НМК по своим характеристикам подобен современным играм, при разработке архитектуры презентационной системы необходимо рассмотреть структуру игровых движков.
Рис. 1. Архитектура игрового движка
На рис. 1 представлена программная архитектура игрового движка,
предложенная J. Plummer [7]. Проанализировав большое количество электронных игр, он предлагает разбить игровой движок на программные компоненты следующим образом:
• GameData - обеспечивает доступ к данным об объектах игрового мира.
• Graphics - обеспечивает отображение графики;
• Audio - воспроизводит звук;
• User interface - отвечает за формирование пользовательского интерфейса и обработку действий пользователя;
• Game logic - содержит логику игры;
• AI - реализует искусственный интеллект;
• Physics - позволяет рассчитать перемещение объектов игрового мира с учетом законов физики.
В этой программной архитектуре прослеживается четкое разделение на три основные части:
• модель игрового мира и его объектов;
• визуализация графики, воспроизведение звука и отображение, пользовательский интерфейс;
• управление ходом игры: игровая логика, искусственный интеллект.
Такой подход соответствует широко известному шаблону проектирования
программных систем MVC - Model-View-Controller (Модель-Представление-Контролер). Использование этого шаблона позволяет гибко модифицировать и настраивать разработанную программную систему. Данный подход может быть использован при разработке архитектуры презентационной системы. Однако использовать в неизменном виде архитектуру игрового движка для разработки презентационной системы насыщенного мультимедиа контента является нецелесообразным, так как здесь присутствует ряд функциональных блоков, необходимых для реализации игры, но ненужных для создания ЭОР (например, Game logic и AI).
Идея шаблонного (паттерного) проектирования возникла у архитектора Кристофера Александра. Он говорил: «Любой паттерн описывает задачу, которая снова и снова возникает в нашей работе, а также принцип ее решения, причем таким образом, что это решение можно потом использовать миллион раз, ничего не изобретая заново» [8]. Применительно к проектированию программного обеспечения эта идея заключается в том, что не нужно решать каждую новую задачу с нуля. Вместо этого следует стараться повторно воспользоваться теми решениями, которые оказались удачными в прошлом. Отыскав хорошее решение один раз, можно прибегать к нему снова и снова [9]. Благодаря этому разработанная архитектура становится более гибкой, элегантной, что облегчает ее реализацию и упрощает отладку.
Шаблон проектирования MVC - Model-View-Controller (Модель-Представление-Контролер) хорошо зарекомендовал себя при проектировании архитектуры сложных приложений, которые обеспечивают отображение постоянно меняющихся данных сложной структуры [10]. Это шаблон проектирования прекрасно подходит для разработки архитектуры мультимедиа продуктов [4]. Презентационная система насыщенного мультимедиа контента должна обеспечить отображение и воспроизведение сложно-структурированной разнотипной информации, и при этом обеспечить поддержку интерактива, поэтому для разработки архитектуры презентационной оболочки использован шаблон проектирования MVC.
В соответствии с шаблоном проектирования MVC выделены программные компоненты, выполняющие роли: «Модель», «Представление» и «Контроллер», и разработана базовая архитектура презентационной оболочки. Она представлена на рис. Ошибка! Источник ссылки не найден. в виде UML-диаграммы компонентов.
Программный компонент, используемый в роли «Модель», был назван «Менеджер сцен». Он обеспечивает выполнение одного функционального требования, описанного в таблице 2: построение объектной модели сцены.
; МОДОЛЬ
Я
Менеджер
сцен
Контроллер| J[ Script Машциг
dp Менеджер гЧ скриптов
I Medium
Ж--------
Представление
ftR со derM anageH
Менеджер графики
jjf
mjTKManager
Менеджер
звука
Рис. 2. иМЬ-диаграмма компонентов презентационной оболочки в соответствии с шаблоном проектирования МУС
Роль «Представления» выполняют программные компоненты «Менеджер графики» и «Менеджер звука». Разделение представления между двумя менеджерами обусловлено принципиально разными средствами отображения и воспроизведения медиа компонентов визуального ряда и звукового ряда. Эти программные компоненты обеспечивают выполнение следующих функциональных требований:
• отображение и воспроизведение медиа компонентов визуального ряда -Менеджер графики;
• воспроизведение медиа компонентов звукового ряда - Менеджер звука.
Программный компонент, исполняющий роль «Контроллера», изменяет
состояние медиа компонентов в процессе воспроизведения и отображения НМК. Этот программный компонент назван «Менеджером скриптов». Он выполняет следующие функции:
• управление воспроизведением и отображением МК;
• обработка событий синхронизации;
• обработка событий интерактивна.
Взаимодействие с файловой системой выходят за рамки шаблона проектирования МУС, поэтому выделенный с его помощью набор программных компонентов не обеспечивает выполнение двух функциональных требований:
• загрузка описания сцены;
• загрузка мультимедиа данных медиа компонентов.
Выполнение этих функций было возложено на программный компонент названный «Менеджером ресурсов».
Кроме того, в момент начала работы презентационной системы насыщенного мультимедиа контента необходимо выполнить процедуры по созданию основного окна приложения, инициализации всех менеджеров, их настройке и налаживанию связей между ними. Эти функции выполняет «Менеджер приложения».
Таким образом, определены все программные компоненты - менеджеры -презентационной системы насыщенного мультимедиа контента и их функции. Так как презентационная система построена по принципам компонентной архитектуры, каждый ее менеджер представляет собой отдельный программный модуль. Эти менеджеры, в соответствии с принципами компонентной архитектуры, взаимодействуют между собой через строго определенные программные интерфейсы. Программный интерфейс - это абстрактная спецификация услуг, предоставляемых менеджером [11]. Ниже представлен список менеджеров презентационной системы насыщенного мультимедиа контента и указаны реализуемые ими программные интерфейсы:
• Менеджер приложения - выполняет инициализацию всех менеджеров. Он не реализует ни один интерфейс, зато взаимодействует с другими менеджерами через их интерфейсы;
• Менеджер сцен - строит и поддерживает объектную модель сцены. Он реализует интерфейсы: ISceneManager и 1МеШиш;
• Менеджер графики - обеспечивает отображение и воспроизведение медиа компонентов визуального ряда. Он реализует интерфейс IRenderManager;
• Менеджер звука - отвечает за воспроизведение медиа компонентов звукового ряда. Он реализует интерфейс ISoundManager;
• Менеджером скриптов - обеспечивает управление процессом воспроизведения и отображения НМК. Он реализует интерфейс IScriptManager;
• Менеджером ресурсов - выполняет функции, связанные с чтением описания сцены и мультимедиа данных с диска. Он реализует интерфейсы: IResourceManager и ГО^оште.
Рис. 3. иМЬ-диаграмма компонентов презентационной системы насыщенного
мультимедиа контента
Разработанная архитектура презентационной системы насыщенного мультимедиа контента представлена на рис. 3 в виде ЦМЬ-диаграммы компонентов. На этой диаграмме менеджеры отображены в виде компонентов. Каждый интерфейс соединен сплошной линией с менеджером, который его реализует, и пунктирной стрелкой с менеджерами, которые его используют.
Интерфейс ISceneManager, реализуемый Менеджером сцен, предназначен для управления его работой. В частности, через него Менеджер приложения передает Менеджеру сцен идентификатор стартовой сцены. Используя его, Менеджер сцен обращается к Менеджеру ресурсов, чтобы получить описание сцены. Затем Менеджер сцен строит объектную модель сцены. Для каждого медиа компонента сцены создается объект, который реализует интерфейс ШМіит. Ссылка на этот интерфейс передается менеджерам, исполняющим роли представления и контроллера: Менеджеру графики, Менеджеру звука и Менеджеру скриптов через соответствующие интерфейсы. Таким образом, Менеджер сцен выполняет функцию построения объектной модели сцены.
Интерфейс ШМіит позволяет получать и изменять состояние медиа компонента. Кроме того, он позволяет получить ссылки на интерфейсы, обеспечивающие доступ к свойствам медиа компонентов.
Менеджер графики и Менеджер звука, используя интерфейс ІМеШит, получают доступ к характеристикам медиа компонентов и отображают или воспроизводят их. Таким образом, Менеджеры графики и Менеджеры звука в роли «Представления» выполняют функции отображения и воспроизведения медиа компонентов визуального и звукового рядов.
В процессе воспроизведения медиа компонентов менеджеры графики и звука генерируют события синхронизации, используя интерфейс ІМеШит. Эти события Менеджером сцен преобразуются в вызовы соответствующих функций-обработчиков, которые передаются Менеджеру скриптов через реализуемый им интерфейс IScriptManager. Выполняя заданную функцию-обработчик, Менеджер скриптов через интерфейс IMedium изменяет состояние медиа компонентов сцены.
Аналогичным образом обеспечивается обработка событий интерактива. В результате, Менеджер скриптов обеспечивает выполнение функциональных требований по управлению воспроизведением медиа компонентов и обработке событий синхронизации и интерактива.
Таким образом, предлагаемая архитектура презентационной системы насыщенного мультимедиа контента, построенная на основе шаблона проектирования МУС, обеспечивает выполнение всех функциональных требований. Это дает возможность использовать презентационную систему для создания широкого класса ЭОР.
5. Пример использования
На основе презентационной системы насыщенного мультимедиа контента в Лаборатории систем мультимедиа создан ЭОР «Практикум электромонтера», который предназначен для использования в системе начального профессионального образования при подготовке учащихся по рабочей профессии «Электромонтер по ремонту и обслуживанию электрооборудования». Насыщенный мультимедиа контент ЭОР обеспечивает получение знаний, умений и практических навыков по надзору, уходу, монтажу, дефектации и ремонту электрооборудования.
Рис. 4. Учебный фрагмент практикума и теоретический и справочный материал
Богатые выразительные возможности расширенного набора медиа компонентов насыщенного мультимедиа контента используются в практикумах (рис. 4) для демонстрации необходимых типовых действий при электромонтажных работах. Для этого используются фото и видеосъемки соответствующего оборудования, инструментов и процессов в сочетании с моделями электротехнического оборудования и аппаратуры, представленных средствами компьютерной анимации и графики. Кроме того, каждый учебный фрагмент
содержит ссылки на теоретическии и справочный материал, соответствующий данному учебному разделу.
Используя возможности обработки событий интерактива и синхронизации, реализовано моделирование действий обучаемого в реальных условиях монтажа, эксплуатации и ремонта электроустановок. При выполнении интерактивных учебных заданий (рис. 5) учащиеся получают практические навыки за счет взаимодействия с интерактивной образовательной средой. Выполняя учебное задание, учащийся манипулирует на экране двух- и трехмерными объектами, выбирает правильный ответ из набора предложенных._________________________________
Лдмяниорагааг
i:
1 V* Ш
» V
Рис. 5. Учебные задания
Презентационные возможности системы позволили создать трехмерного анимированного персонажа - интерфейсного агента «Мастер». Агент дает необходимые рекомендации по ходу выполнения учебного задания и сообщает о неправильных действиях учащегося.
Создание ЭОР на основе представленной презентационной системы позволяет в полной мере использовать в обучении такие педагогические инструменты, предоставляемые компьютером, как: мультимедиа, интерактивность, моделирование. Это позволяет существенно повысить эффективность учебного процесса, так как новые формы представления учебных материалов обеспечивают активные формы обучения.
Литература
1. [Anderson T. et al., 2004] Anderson T., Elloumi F., «Theory and Practice of Online Learning» // Athabasca University, 2004.
2. [Prensky М., 2000] Prensky М. «Digital Game-Base Learning» // McGraw-Hill, 2000.
3. [Spalter A. M., 2007] Spalter A. M., «Problems with Using Components in Educational Software» // Brown University, 2007 / http ://www .siggraph. org/s2007/downloads/spalter.pdf
4. [Garrido A. et al., 1996] Garrido, A., Rossi G., «A framework for extending Object-Oriented Applications with Hypermedia Functionality» // The New review of Hypermedia and Multimedia / Taylor Graham, vol 2, 1996 - 25-41.
5. [Celakovski S. et al., 2006] Celakovski S., Preda M., Kalajdzlski S., Davcev D., Preteux F., «MPEG-4 3D Graphics: from specifications to the screen». Proceedings 10th WSEAS International Conference on Communications, Vouliagmeni, Greece,(CDROM), juillet 2006
6. [Folea O. et al., 2005] Folea O., Preda M., Preteux F., «MPEG-4 SDK: from specifications to real applications» // 9th WSEAS International Conference on Communications, Athens, Greece, July 14-16 , 2005
7. [Plummer J. et al., 2004] Plummer J., «A Flexible and Expandable Architecture for Electronic Games». Vol. Master. Thesis. Arizona State University, Phoenix (2004)
8. [Alexander C. et al., 1997] Alexander C., Ishikawa S., Silverstein M., «A Pattern Language» // Oxford University Press, 1977.
9. [Гамма Э. и др., 2001] Гамма Э., Хелм Р., Джонсон Р., Влиссидес Дж., «Приемы объектно-ориентированного проектирования. Паттерны проектирования» // СПб: Питер, 2001. — 368 с.: ил., ISBN 5-272-00355-1
10. [Стелтинг С. И др., 2002] Стелтинг С., Маасен О., «Применение шаблонов Java» // Вильямс, 2002. - 576 стр., с ил.; ISBN 5-8459-0339-4, 0-1309-3538-7
11. [Оберг Р., 2000] Оберг Р., «Технология COM+. Основы и программирование» // М.: Издательский дом "Вильямс", 2000. - 480 с.
