CC BY
124
УДК 004.05 + 004.588 ББК 32.973.26-018.2
ОЦЕНКА КАЧЕСТВА ЭЛЕКТРОННЫХ ОБУЧАЮЩИХ СИСТЕМ
1 2 Воробкалов П. Н. , Камаев В. А.
(Волгоградский Государственный Технический Университет, Волгоград)
В статье проанализированы существующие подходы к оценке качества электронных обучающих систем. Описан «многослойный» подход к оценке качества электронных обучающих систем и способ моделирования процесса обучения. Предложен метод оценки качества, использующий моделирование процесса обучения, и критерии оценки качества. Описана модель процесса обучения, основанная на расширенных цветных стохастических сетях Петри. Метод реализован в автоматизированной системе оценки качества «QuAdS». Показаны результаты апробации разработанного метода и критериев качества. Авторы высказывают мнение, что использование моделирования процесса обучения для оценки качества позволяет экспертам идентифицировать и устранять недостатки электронной обучающей системы на всех этапах ее жизненного цикла.
Ключевые слова: управление качеством, оценка качества, электронные обучающие системы, адаптивные обучающие системы.
1 Павел Николаевич Воробкалов, аспирант кафедры «САПР» (pavor84@mail.ru).
2 Валерий Анатольевич Камаев, доктор технических наук, профессор, зав. кафедрой «САПР» (cad@vstu.ru, тел. (8442) 24-81-00).
1. Введение
Электронные обучающие системы широко применяются в образовании. Результат обучения с помощью таких систем в большой степени зависит от качества этих систем. Поэтому, одной из важнейших задач в данной области является создание средств, которые бы позволили оценить качество электронного обучения для того, чтобы обеспечить обучаемых качественными учебными материалами.
Электронная обучающая система представляет обучающие материалы пользователю и затем оценивает его знания. Адаптивная обучающая система - это электронная обучающая система, которая учитывает некоторые характеристики каждого обучаемого и, затем, строит стратегию обучения индивидуально для него. Изменения, вносимые адаптивной системой в процесс обучения, могут затрагивать как порядок обучающих концептов (тем), так и содержимое каждой страницы, поэтому качество процесса обучения напрямую зависит от моделей, методов и механизмов адаптации, используемых в системе. Добавление механизмов адаптации в обучающую систему делает ее более сложной, а результаты обучения могут быть неудовлетворительными. Поэтому проблемы оценки качества электронных обучающих систем, выбора механизмов адаптации, поиска причин низкой эффективности обучения актуальны для разработчиков таких систем.
2. Существующие исследования
Существует два подхода к оценке качества электронных обучающих систем: подход к оценке качества «в целом» и «многослойный» подход.
Подход «в целом» основан на рассмотрении системы в виде «черного ящика» и оценке значений общих критериев качества (производительность, безопасность и т.д.). Результат применения данного подхода - свертка критериев, так что по данному
значению сложно обнаружить конкретные причины низкого качества и недостатки системы. Поэтому после применения подхода «в целом» необходим дальнейший анализ результатов. Современный процесс разработки электронных обучающих систем ведется согласно спиральной модели жизненного цикла программного обеспечения, в которой начальные стадии, такие как анализ и проектирование, играют значительную роль. Неполное выполнение задач разработки на каждом витке спирали приводит к недостаткам системы на разных архитектурных уровнях. Использование подхода «в целом» приемлемо на стадии полной завершенности системы, но во время разработки системы применение его затруднено.
Новый, «многослойный» подход, который предназначен для оценки качества электронных обучающих систем, предложен в [3]. Данный подход позволяет производить оценку качества электронных обучающих систем на различных стадиях их жизненного цикла. Процесс человеко-машинного взаимодействия в электронной обучающей системе в «многослойном» подходе разделяется на несколько шагов (также называемых слоями), которые оцениваются в отдельности. Могут быть выявлены следующие преимущества использования «многослойного» подхода: он предоставляет данные о функционировании отдельных компонентов системы; может быть использован на различных стадиях разработки системы. Недостатками, которые могут затруднить применение «многослойного» подхода, являются зависимость от внутренних механизмов оцениваемой системы и сложность интерпретации значений критериев качества с точки зрения преподавателя.
3. Моделирование процесса обучения
Цель «многослойного» подхода - представить систему в виде «белого ящика», чтобы выявить причины различных адаптационных решений, принятых обучающей системой. Но подобная декомпозиция не показывает деталей процесса обучения,
и каждый раз при применении «многослойного» подхода становится необходимым дополнительный анализ поведения электронной обучающей системы. Под процессом обучения мы подразумеваем процесс взаимодействия между обучаемым и электронной обучающей системой. Для обеспечения оценки качества необходима разработка модели процесса обучения для широкого класса электронных обучающих систем, включающего адаптивные системы.
С прагматической точки зрения именно результат обучения и является главным критерием качества системы. Если студенты имеют недостаточное знание обучающего курса после обучения в электронной обучающей системе, то данная система должна быть оценена как система с низким качеством. Поэтому статистика обучения должна быть отражена в модели процесса обучения. Модель также должна поддерживать моделирование процесса обучения студента, чтобы помочь эксперту при анализе адаптационных решений системы.
Для модели процесса обучения выбраны следующие два параметра:
- уровень знаний обучаемого;
- длительность обучения.
Под уровнем знаний мы подразумеваем текущий уровень знаний обучаемого, который должен измеряться электронной обучающей системой во время процесса обучения. Длительность обучения показывает, насколько эффективно тратится время на обучение.
Большинство современных электронных обучающих систем используют семантические сети для представления предметной области. Поэтому использование сети для моделирования процесса обучения должно упростить интерпретацию результатов моделирования. Нами были проанализированы различные модели, которые могут быть интерпретированы как сеть: конечные автоматы, цепи Маркова, сети Петри. В результате выбор был сделан в пользу раскрашенных стохастических сетей Петри по следующим причинам:
- сеть Петри является событийной моделью, поэтому может легко представить такие события, как изучение концепта или выполнение тестового задания;
- модель на основе сети Петри может быть легко расширена;
- визуализация процесса моделирования на основе сети Петри может помочь эксперту в анализе процесса обучения;
- позиции, переходы и дуги сети Петри могут быть интерпретированы в контексте процесса обучения.
Данные, собранные электронной обучающей системой в ходе тестирования групп обучаемых, используются в качестве исходных для модели. Позиция сети Петри интерпретируется как концепт предметной области. Перемещение меток показывает прогресс пользователей в изучении курса. Каждый переход соответствует шагу обучающего процесса. Срабатывание перехода интерпретируется как выполнение какого-либо обучающего задания. Говоря «обучающее задание», мы имеем в виду любой тип заданий, которые пользователь должен закончить в течение обучающего процесса: выполнение тестов и упражнений.
При моделировании сложных обучающих процессов, включающих взаимодействие студентов, мы используем компоненту Identity цвета метки сети Петри для идентификации роли каждого из студентов. Для представления уровня знаний пользователя сеть Петри была расширена нами с помощью атрибута «уровень знаний». Он позволяет отслеживать результаты обучаемого на каждом шаге моделирования процесса обучения. Метки разделены на два класса: метки первого класса находятся в позициях, соответствующих изучаемым в настоящее время концептам -“Current”; метки второго класса расположены в позициях, изученных ранее - “Learned” (см. рис. 1). Класс метки определяется полем Kind. Данные расширения сети Петри позволяют видеть, какие концепты уже изучены и какие изучаются в любой момент процесса обучения для каждого обучаемого. Количество меток класса “Learned” в концепте соответствует числу попыток
iG3
прохождения теста, контролирующего знания по данному концепту.
Каждому переходу сопоставлены две случайные переменные: время срабатывания перехода, изменение уровня знания обучаемого после перехода. Данные величины определяются по статистическим данным о процессе обучения, собранным в рассматриваемой электронной обучающей системе. Предполагается, что собранные данные являются адекватными. Так, например, измерение времени обучения системой должно производится только с учетом времени активной работы в системе,
т.е. когда пользователь периодически выполняет различные действия (перемещает курсор мыши, прокручивает текст).
Переход должен иметь только одну входную позицию и две или более выходных позиций. Одна из выходных позиций всегда соответствует единственной входной позиции и необходима нам для помещения в нее метки при изучении. Остальные выходные позиции соответствуют альтернативам развития процесса обучения. Метка, соответствующая изучаемому в текущий момент времени концепту, помещается в одну из данных позиций случайным образом. Таким образом, учитывается статистическое распределение вероятностей различных альтернатив обучающего процесса.
4. Оценка качества
Предлагаемый метод оценки качества электронных обучающих систем включает в себя следующие шаги:
- расчет априорных критериев качества электронной обучающей системы;
- анализ результатов априорной оценки качества и внесение соответствующих изменений в электронную обучающую систему;
- сбор данных об обучении студентов с использованием электронной обучающей системы;
- построение модели процесса обучения на основе собранных данных;
- идентификация концептов обучающего курса с недостаточным уровнем качества;
- расчет комплексных параметров качества идентифицированных концептов и поиск причин недостаточного качества;
- модификация обучающего курса;
- тестирование модифицированного обучающего курса и верификация изменений.
Нами разработан набор критериев для оценки модели процесса обучения, построенной для электронной обучающей
системы. Данные критерии могут быть разделены на три группы: критерии, основанные на количественных характеристиках графа сети Петри; критерии, основанные на статистических атрибутах переходов стохастической сети Петри; критерии, основанные на результатах моделирования с использованием полученной модели процесса обучения. на количественных характеристиках графа сети Петри включают в себя следующие:
- число позиций сети Петри;
- число переходов сети Петри;
- число дуг сети Петри;
- число всех возможных маршрутов;
- отношение числа всех возможных маршрутов к числу позиций;
- связность сети Петри.
Критерии, основанные на статистических атрибутах переходов стохастической сети Петри:
- средний уровень знания концептов;
- интегрированность концепта в обучающий курс;
- степень связности между концептами обучения.
Критерии, основанные на результатах моделирования с использованием полученной модели процесса обучения:
- средний уровень знаний студентов;
- процент правильных адаптационных решений.
Метод инвариантен по отношению к внутренним механизмам оцениваемой электронной обучающей системы. Ограничения метода следующие: оцениваемая система должна использовать сетевую модель в качестве модели предметной области, что характерно для естественно-научных и технических дисциплин; система должна сохранять время обучения каждого концепта и уровень знаний для каждого студента.
Процесс определения концептов курса с недостаточным качеством показан на рис. 2. Переходы в модели упорядочиваются по возрастанию отношения «изменение уровня знаний»/«время обучения» (уровень знаний измеряется по 100-бальной шкале). Переходы с минимальным значением отношения считаются
проблемными. Для устранения проблем в обучении должно быть произведено улучшение соответствующих концептов. После исправления ошибок новая тестовая группа может изучить только ту часть курса, которая содержит модифицированные концепты. Результаты обучения определяют новые значения атрибутов переходов. Если новые результаты выше прежних, то мы можем предсказать, что результаты всего процесса обучения в целом также будут выше.
лкци)
Концепты
низкого
качества
Ь: ЛКЦЬ).О(Ь) Ь: ЛКЩзШЬ)
Г)(Ь) - 311
§ Г] 25
155/
ЛКЦЬ) 71
В(Ь) ~ 271
лкии) 80
щи) - 275
лкци) 82
О(Ь) - 273
лкци) 85
о(Ь) " 255
Рис. 2. Процесс идентификации концептов обучающего курса с недостаточным качеством
5. Апробация
Нами была произведена апробация разработанного метода оценки качества как на разрабатываемых электронных обучающих системах, так и находящихся в эксплуатации [4].
Априорные критерии могут быть применены на ранних стадиях разработки системы, поэтому для их апробации нам была необходима информация о процессе разработки какой-либо электронной обучающей системы. Апробация априорных кри-
териев произведена в ходе разработки адаптивной системы, основанной на сети Бейеса [1], которая была разработана на кафедре САПР Волгоградского государственного технического университета (Россия).
Набор характеристик в модели обучаемого и набор технологий адаптации были использованы для измерения адекватности модели обучаемого. Влияние каждой характеристики было оценено, и в результате выявлена неполнота разработанной модели на основе сети Бейеса. Для предоставления недостающей информации об обучаемом определенный набор характеристик был дополнительно включен в модель.
Оценка чувствительности модели обучаемого к уровню знаний показала, что модель, основанная на сети Бейеса, учитывает стабильность результатов обучаемого во время процесса адаптации. При росте стабильности результатов обучения влияние последующих оценок обучаемого снижается. Если обучаемый показывает нестабильные результаты, модель вновь становится чувствительной. Данный факт показывает, что модель Бейеса корректно обрабатывает противоречивые данные.
Моделирование процесса обучения может быть произведено, когда система уже полностью реализована. Для апробации модели процесса обучения мы разработали автоматизированную систему оценки качества QuAdS. С ее помощью мы оценили электронную обучающую систему САЬМАТ [5] (один из авторов имел возможность в ходе проекта ТЕМР^ в Калидонском университете г. Глазго, Шотландия, совместно с Катрин Хартманн произвести оценку данной системы) и адаптивную обучающую систему «ЛИЛ!» [2].
Обучающий курс «Статистика» для специальностей медицины и биологии содержит 10 концептов (см. статистику обучения в таблице 1). Оценка качества обучающего курса «Статистика» показала, что оценки студентов по последним трем темам ниже, чем по остальным, поскольку они слабо связаны с ними, т.е. нами были найдены приоритетные для внесения изменений и улучшения темы курса.
Таблица 1. Уровень знаний обучающего курса «Статистика» студентов в системе СЛЬМЛТ (число студентов - 151)
Концепт Средняя оценка (максимум 100)
T01 93
T02 94
T03 71
T04 81
T05 78
T06 95
T07 87
T08 69
T09 75
T10 69
Для апробации критериев качества механизмов адаптации нами была использована свободно распространяемая обучающая система «AHA!». Обучающий курс «Теоретические основы автоматизированного управления», разработанный на кафедре САПР Волгоградского государственного технического университета, был реализован в виде адаптивного обучающего курса в системе «AHA!». Информация о процессе обучения хранится в системе «AHA!» в открытом формате, так что на ее основе мы смогли построить модель процесса обучения. Затем каждая стратегия адаптации в модели процесса обучения была проанализирована. Выполненный анализ позволил изменить обучающий курс таким образом, чтобы исключить обучающие стратегии с низким качеством.
6. Выводы и перспективы исследования
Предложенный метод оценки качества электронных обучающих систем, использующий моделирование процесса обучения, и разработанные критерии качества электронных обучаю-
щих систем могут быть использованы в процессе проектирования и разработки таких систем, а также при сертификации. Метод охватывает широкий класс электронных обучающих систем, основанных на сетевых моделях. Модель обучающего процесса может помочь эксперту произвести анализ процесса электронного обучения и обнаружить ошибки в обучающем курсе. Метод и критерии оценки качества успешно применены для оценки качества существующих и разрабатываемых электронных обучающих систем.
В рамках последующей работы планируется расширение множества критериев качества и создание среды разработки электронных обучающих систем с интегрированными средствами оценки качества.
Литература
1. ШАБАЛИНА О. А. Модель пользователя для изучения языков программирования в адаптивной обучающей системе // Вестник компьютерных и информационных технологий. - 2005. - №2. - C. 36-39.
2. DE BRA, P., The Design of AHA! // Proceedings of the ACM Hypertext Conference, Odense, Denmark. - 2006. - P. 133.
3. KARAGIANNIDIS, C., SAMPSON, D., BRUSILOVSKY, P., Layered Evaluation of Adaptive and Personalized Educational Applications and Services // AIED 2001 Workshop on Assessment Methods in Web-based Learning Environments & Adaptive Hypermedia. - 2001. - P. 21-29.
4. VOROBKALOV, P. N., KAMAEV, V. A., Quality estimation of e-Learning systems // Methodologies and Tools of the Modern (e-) Learning: International Book Series “Information Science and Computing”. Supplement to International Journal “Information Technologies and Knowledge”. - 2008. - Vol. 2. -P. 25-30.
5. CALMAT website. - URL: http://www.calmat.gcal.ac.uk (дата обращения 07.08.08).
ESTIMATING THE QUALITY OF E-LEARNING SYSTEMS
Pavel Vorobkalov, Volgograd State Technical University, Volgograd, CAD department, post-graduate student (pavorS4@mail.ru).
Valerij Kamaev, Volgograd State Technical University, Volgograd, Doctor of Science, professor, chief of CAD department (cad@vstu.ru, (S442)24-S1-00).
Abstract: Existing approaches to e-learning systems quality estimation are analyzed. The “layered” approach for e-learning systems quality estimation enhanced with learning process modeling and simulation is presented. The method of quality estimation using learning process modeling and quality criteria are suggested. The learning process model based on extended colored stochastic Petri net is described. The method was implemented in the automated system of e-learning systems “QuAdS” quality estimation. Results of approbation of the method developed and quality criteria are presented. We argue that using learning process modeling for quality estimation simplifies identifying lacks of an e-learning system for an expert.
Keywords: quality management, quality estimation, e-learning, adaptive learning systems.
Статья представлена к публикации членом редакционной коллегии М. В. Губко
