CC BY
237
УДК 378.16:681.3
В.В. Романенко
Виртуальный ассистент для студента дистанционной формы обучения
Предлагается создание виртуальной среды общения для студентов дистанционной формы обучения как средства для обеспечения обратной связи с преподавателем, в частности, создание виртуального ассистента, помогающего в усвоении учебного материала. Определена структура и функции интеллектуальной программной системы, играющей роль такого ассистента. Рассмотрены программные решения для создания виртуального ассистента, в том числе компоненты для синтеза речи и анимации лицевой мимики.
Ключевые слова: система дистанционного образования, виртуальная реальность, интеллектуальная программная система, синтез речи, анимация лицевой мимики.
Задача повышения качества дистанционного образования. В настоящее время происходит постоянное увеличение числа студентов, получающих образование дистанционно. При этом остро встает проблема обеспечения качества такого образования, т.к. материально-технической базы зачастую не хватает или она несовместима с условиями системы дистанционного образования (СДО).
Помимо качества комплексного учебно-методического программного обеспечения (КУМПО), перед студентами, обучающимися дистанционно, остро стоит еще одна проблема: снижение мотивации к обучению. Каждый семестр они получают контрольные и лабораторные работы, по которым обязаны отчитаться, после чего фрагментарно изучают минимум учебного материала, достаточный лишь для выполнения этих работ. То есть студент находится в изоляции, обучение перестает им восприниматься как непрерывный и цельный процесс, где полученные знания необходимо активно применять на практике, где видна взаимосвязь дисциплин и получаемые знания базируются на изученном ранее материале, где с помощью анализа проблемы с точки зрения различных дисциплин возможен синтез нового варианта ее решения, и т.д. Этому также способствует отсутствие возможности частого общения с преподавателем [1]. В итоге падает успеваемость, многие студенты отчисляются, да и в целом бросают учебу чаще, чем студенты традиционных форм обучения [2].
Повышению мотивации студентов к обучению посвящено множество работ отечественных и зарубежных исследователей. Во многих российских вузах полагают, что этому будет способствовать Болонский процесс. Считается, что такие нововведения, как система академического рейтинга и т.п., повышают мотивацию студентов к активной и равномерной учебной работе. Но некоторые двигаются дальше, осознавая необходимость внедрения новых технологий обучения (например, группового проектного обучения, ГПО) и системы адекватного поощрения инициативных студентов, а также обеспечения постоянной связи обучаемого с преподавателем (и даже создание среды общения) и более активного использования 1Т-технологий [3].
Функции виртуального ассистента. Некоторые из этих задач можно решить путем создания виртуального ассистента. Виртуальный ассистент - это интеллектуальная программная система, предназначенная для извлечения из базы знаний учебных материалов и предоставления их студенту в удобной для него форме. Имеются также виртуальные ассистенты для преподавателей, помогающие им наполнять учебную базу знаний, но здесь речь идет об ассистенте для студента.
В отличие от стандартных компьютерных учебных программ, в которых форма подачи материала жестко фиксирована и заложена на этапе их проектирования, виртуальный ассистент может генерировать новые виды учебных материалов, основываясь на имеющейся базе знаний (БЗ). Например, если в БЗ имеется специальным образом размеченная лекция (т.е. текстовый материал, в котором тегами выделена структура, а также единицы учебного материала - формулы, теоремы, определения и т.п.), то на ее основе можно генерировать (рис. 1):
- гипертекстовое представление этого материала со ссылками на другие материалы из базы знаний;
- мультимедиа-материалы, включая презентации с аудиосопровождением, видеолекции с виртуальным лектором, 3Б модели описываемых устройств и процессов и т.д.;
- различные виды контроля знаний (тестовые вопросы, контрольные работы и т.п.);
- тренажеры и т. д.
Рис. 1. Схема взаимодействия виртуального ассистента с пользователем учебной программы
При этом важно, что студент может сам выбирать более удобную для него форму представления материала, а также траекторию обучения, либо оптимальную траекторию обучения выбирает ассистент, основываясь на результатах изучения предыдущих дидактических единиц.
При создании видеолекций текст может читать виртуальный диктор, а студенту можно предоставить возможность выбора диктора и его виртуального окружения из нескольких вариантов. Если в тексте лекции встречаются рисунки, таблицы, формулы и т.п., они могут быть визуализированы лектором на виртуальной же «классной доске».
Виртуальных персонажей можно использовать и в других целях. Например, для студентов вуза можно организовать виртуальную приемную, где он может общаться с преподавателями и сотрудниками учебного заведения, а также получать различную информацию. Можно организовывать виртуальные учебные аудитории для проведения занятий и общения студентов и преподавателей друг с другом.
Синтез речи. Запись лекции голосом преподавателя может присутствовать в базе знаний, однако зачастую исходными данными для лекции является только текст, поэтому необходимо решать задачу синтеза голоса по тексту (TTS - Text-To-Speech). В настоящее время существует довольно много так называемых «речевых движков» (Speech Engine), или голосовых синтезаторов, предназначенных для преобразования текста в звук речи. У каждого голосового синтезатора есть набор «голосов», которыми он может говорить. В целом для осуществления синтеза речи необходимы три компонента:
1. Голосовой синтезатор.
2. Подключаемая к нему библиотека с требуемым голосом.
3. Программа-оболочка для ввода текста и преобразования его в речь.
К сожалению, подавляющее большинство имеющихся разработок - зарубежные, поэтому русских «голосов» для них мало, а те, что есть, разрабатываются по остаточному принципу. Как следствие, они обеспечивают менее качественный синтез речи, чем, например, английские «голоса». Это касается как технических характеристик получаемого звукового потока (частота дискретизации), так и правильности синтезируемой речи. Конечно, большинство голосовых синтезаторов поддерживают подключение дополнительных словарей, где можно указать правила произношения некоторых сложных слов, но в целом проблему это не решает.
Мощность персональных компьютеров и сложность голосовых синтезаторов за последние годы растет в геометрической прогрессии, поэтому использовать разработки даже трех- или четырехлетней давности (например, голос «Катерина» компании Nuance, голоса «Дмитрий» и «Ольга» компании Loquendo) не имеет никакого смысла. Новые синтезаторы обеспечивают гораздо лучшее качество речи. Это, например, голос «Алена» компании Acapela Group (www.acapela-group.com), или разработки отечественной компании «Центр речевых технологий» (или ЦРТ, www.speechpro.ru).
Для включения компонентов синтеза речи в состав обучающей программы нужны только первые два компонента - речевой движок и подключаемый голос. Роль оболочки в этом случае играет сама учебная программа (или, если быть точнее, виртуальный ассистент). Для унификации подключения речевых движков к программам, использующим синтез речи, компания Microsoft разработала
спецификации SpeechAPI (SAPI). Они описывают ряд процедур и структур данных, которые должны поддерживаться совместимыми голосовыми синтезаторами. Практически все современные голосовые движки поддерживают SAPI 4.0 или SAPI 5.0. Благодаря этому, можно легко поменять используемый учебной (или любой другой) программой голос диктора или даже речевой синтезатор, если это потребуется.
Анимация виртуальных персонажей. Если учебная программа предполагает сопровождение аудиопотока изображением виртуального лектора, то для этого необходимо решить еще одну задачу -создание анимированного персонажа диктора.
Чаще всего персонаж создается не полностью. Для чтения лекции достаточно анимировать голову диктора и верхнюю часть тела. Самой сложной является лицевая анимация, т.к. лицо человека может принимать очень большое количество различных выражений при произнесении речи и отражении эмоций.
Существуют готовые решения для синхронизации движения губ виртуального персонажа со звуковой дорожкой. Такая технология называется lip-sync. Часть из них является надстройками для таких известных пакетов ЭБ-моделирования, как 3DS Max и Maya компании Autodesk, Poser компании Smith Micro Software и т.п. Другие являются самостоятельными продуктами, например: Facial Studio и другие продукты компании Di-O-Matic (www.di-o-matic.com), LifeStudio:HEAD компании
LifeMode Interactive (www.lifemi.com) и т.д. Часть из них имеют SKD, что позволяет использовать их анимационные движки в сторонних программах [4].
На рис. 2 изображен пример виртуального персонажа в программе LifeStudio:HEAD. На задний план можно поместить любое изображение или видеоролик.
Однако одной технологии lip-sync недостаточно. Чтобы персонаж выглядел более естественно, необходима дополнительная анимация - улыбок, движения бровей, моргания век, поворотов головы и т.п. Большинство программ для речевой анимации позволяют управлять также и остальной анимацией лица. Некоторые программы создают лицевую анимацию автоматически, основываясь на анализе звукового тракта.
Иногда требуется, чтобы виртуальный лектор имел внешность, схожую с реальным преподавателем. Поэтому существуют инструменты (это также модули расширения или самостоятельные программы), позволяющие по фотографиям человека или по изображению с видеокамеры сделать 3 D-модель его головы и затем импортировать ее в программу лицевой анимации. Это, например, серия продуктов proFACE компании famous3D, уже упомянутая программа Facial Studio и т.д.
Если необходима полная анимация персонажа, то в дополнение к лицевой анимации модель дополняется скелетной анимацией тела и конечностей. Это может потребоваться, например, если лектор перемещается в виртуальном окружении, подходит к «доске» или каким-то учебным стендам и т.п. Опять же существуют готовые модули скелетной анимации для 3DS Max, Maya и Poser.
Интерактивные помощники. Как было сказано выше, виртуальных персонажей можно использовать для чтения лекций. Но и в других видах учебного материала (тренажерах, тестах и т.д.) виртуальный диктор может выступать в роли советчика. Такую роль играет, например, помощник в пакете Microsoft Office (по умолчанию используется персонаж-скрепка, но можно выбрать и другой из имеющихся персонажей). Используя технологию Microsoft Agent 2.0, можно добавлять подобных помощников в любую программу, а MS Agent SDK позволяет осуществлять выбор персонажа или создание нового, включать различные эффекты анимации персонажа, выводить подсказки (рис. 3) и даже произносить их, синтезируя голос при помощи SAPI (естественно, при наличии установленного голосового синтезатора) [5].
В качестве интерактивного помощника можно использовать и виртуального лектора. Таким образом, обеспечивается преемственность - один и тот же персонаж читает студенту лекции, дает оценку знаний, а также делает подсказки при выполнении тренажеров и т.п.
Рис. 2. Виртуальный персонаж в программе LifeStudio:HEAD
Рис. 3. Использование интерактивного помощника в учебной программе
Виртуальная среда общения. Как уже было сказано выше, если поместить в виртуальную среду персонажей, соответствующих студентам и преподавателям, получится полноценная среда общения. В принципе она может обладать некоторыми элементами виртуальной реальности.
Чем можно заменить такую среду общения? Теоретически для этого подходят сервисы видеотелефонии типа Scype или системы телеконференций (наподобие Cisco TelePresence). Однако бесплатными такие решения являются в основном для частного использования, когда двое собеседников общаются друг с другом. Корпоративные же решения для телеконференций платные. Тем более, они мало подходят для проведения лекций, т. к. ее участники не находятся в едином окружении. Кроме того, виртуальная реальность предоставляет больше возможностей для демонстрации различных видов учебного материала.
У видеотелефонии есть и другие недостатки, которые касаются материально-технической базы вузов и студентов. Далеко не все рабочие места оснащены Web-камерами и не всегда пропускная полоса интернет-соединения позволяет транслировать видеопоток, особенно если одновременно общается несколько человек. Кроме того, сетевой трафик не всегда является безлимитным. В случае же использования виртуальной среды общения передача большого объема данных и специальное оборудование не требуются.
Нельзя также не упомянуть о вселенной Second Life (secondlife.com). Это виртуальное пространство, являющееся «двойником» реального мира. Все персонажи Second Life управляются живыми людьми. В этой виртуальной вселенной они могут заниматься тем же, чем и в реальной жизни, - работать, ходить в гости и по магазинам, заниматься творчеством и т.д. Многие компании, а также государственные и учебные заведения имеют свои представительства в Second Life. В виртуальных университетах уже сейчас можно посещать виртуальные лекции.
Недостаток Second Life состоит в том, что клиент этой программы представляет собой отдельное приложение, а не интегрирован в браузер. До недавнего времени практически не было стандартных технологий представления трехмерных сцен в интернет-браузерах. Существует язык VRML (Virtual Reality Modeling Language) [6], но распространен он до сих пор слабо, а возможности его ограничены. Имеются технологии 3D для flash-анимации - Papervision3D (www.papervision3d.org), Sandy 3D (sandy.riaforge.org). Но технология Adobe Flash постепенно уходит в прошлое, на ее место претендует новый стандарт HTML5 со своими средствами обработки графики и мультимедиа. Поэтому, возможно, скоро мы увидим мир Second Life прямо в браузере. Тем более, что консорциум Khronos Group, отвечающий в настоящее время за выработку новых стандартов API OpenGL, разрабатывает стандарт WebGL (khronos.org/webgl). Он позволит отображать все возможности графики OpenGL в окне браузера, поддерживающего HTML5.
Литература
1. Monteiro L. Motivation and E-Leaming - Personal Reflections. - Lisbon: Kluwer Academic Publishers, 2003 [Электронный ресурс]. - Режим доступа: http://www.teachingenglish.org.uk/articles/ motivation-e-learning-personal-reflections, свободный (дата обращения: 24.05.2010).
2. Могилева В.Н. Особенности когнитивных процессов дистанционного обучения. - М.: Тезисы
докладов конференции RELARN, 2003 [Электронный ресурс]. - Режим доступа:
http://www.relam.ru/conf/conf2003/section4/4_30.html, свободный (дата обращения: 24.05.2010).
3. Сокова Г. А. Об опыте использования проектной методики на уроках английского языка // Иностранные языки в школе. - 2002. - № 4. - С. 53-55.
4. Солодчук В. Программа моделирования лиц LifeStudio:HEAD Pro // Мир ПК. - 2003. - № 9. -
С.138-145.
5. Федоров А. Microsoft Agent 2.0 // КомпьютерПресс. - 1999. - №7. - С. 69-79.
6. Coors V Using VRML As An Interface to the 3D Data Warehouse / V. Coors, V. Jung // Symposium on the Virtual Reality Modeling Language (VRML03). - Monterey, 2003. - P. 121-140.
Романенко Владимир Васильевич
Доцент каф. автоматизированных систем управления ТУСУРа
Тел.: 8-382-2-41-35-06
Эл. почта: [email protected]
Romanenko V.V.
Virtual assistant for the student in e-learning system
It is proposed to create a virtual communication environment for students in e-learning system as means to provide feedback with a teacher, in particular - the creation of a virtual assistant who helps gives pedagogical aid. The structure and function of the intellectual software system, which plays the role of the assistant, is defined. We also considered software solutions for creating a virtual assistant, including components for speech synthesis and facial animation.
Keywords: e-learning, virtual reality, intelligent software system, speech synthesis, facial animation.
