CC BY
116
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
УДК 004.822 Дата подачи статьи: 14.05.15
DOI: 10.15827/0236-235X.111.175-179
АВТОМАТИЗАЦИЯ ОЦЕНКИ ЗНАНИЙ СТУДЕНТОВ В СИСТЕМЕ ЭЛЕКТРОННОГО ОБУЧЕНИЯ ECOLE
(Работа выполнена при государственной финансовой поддержке ведущих университетов Российской Федерации, субсидия 074-U01)
Д.И. Муромцев, к.т.н., доцент, [email protected];
Ф.А. Козлов, аспирант, [email protected] (Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики,
Кронверкский просп., 49, г. Санкт-Петербург, 197101, Россия)
В статье описывается новый подход к автоматизированному анализу знаний и рейтингов студентов системы электронного обучения ECOLE (Enhanced Course Ontology for Linked Education) с использованием статистических методов и семантических технологий. ECOLE является системой электронного обучения, функционал которой основан на использовании онтологий и семантических технологий. Описанный в статье подход дает возможность, используя неявные связи между объектами онтологий в системе, производить оценку знаний студентов по определенным предметным терминам, предметным областям и учебным курсам. Данные оценки позволят студентам осуществлять мониторинг своей успеваемости и корректировать процесс обучения. Оценка знаний студентов по предметным терминам складывается из предопределенных наборов метрик и алгоритмов. В статье рассматривается понятие значения предметного термина в образовательном процессе. Значение и оценка знания предметного термина позволяют рассчитывать рейтинг знания студентами предметных областей и учебных курсов.
Ключевые слова: экспертная система, система электронного обучения, семантические сети, образование, онтологии, наполнение онтологий, оценка знаний.
Повторное использование учебных материалов сетевых образовательных ресурсов является одним из наиболее перспективных подходов для разработки систем электронного обучения. Технологии Semantic Web [1] и Linked Data [2] позволяют системам обмениваться данными в сети с использованием онтологий и уникальных идентификаторов ресурсов URI (Uniform Resource Identifier). Системы с помощью данных технологий могут интегрировать и адаптировать данные из сторонних источников. Формальное описание данных и семантические связи между объектами дают возможность осуществлять сложный анализ данных системы. В системах электронного обучения использование данных в формате RDF (Resource Description Framework) позволяет представлять структуру курса как набор связей и объектов, таких как курс, лекция, модуль и тест [3]. Система ECOLE является системой электронного обучения, функционал которой основан на использовании онтологий и семантических технологий [4]. В системе ECOLE студенты могут проходить курсы, изучать предметные области, используя лекции и литературу, и проверять свои знания с помощью учебных тестов и практик. Действия студентов в системе записываются в онтологии с помощью статистического модуля и связываются с другими объектами образовательного процесса. Хранение данных системы в онтологиях позволяет анализировать данные, используя прямые и косвенные связи между объектами.
Обзор аналогов. Семантические технологии широко используются в образовательных ресурсах в большинстве развитых стран. Наиболее извест-
ный проект в области связанных данных - инициатива Linked Universities (альянс европейских университетов, распространяющих свои данные, программы, курсы и учебные материалы в формате Linked Data). Другой пример успешного использования семантических технологий в системе дистанционного обучения - Open University. Это исследовательский университет дистанционного обучения с более чем 240 тысячами студентов.
Семантические технологии используются в прикладных образовательных системах. Одной из таких систем является SlideWiki [5]. Это образовательная платформа, позволяющая составлять курсы на основе презентаций. Платформа реализует возможность повторного использования данных созданных курсов при составлении нового курса.
Цели и задачи. Система ECOLE производит автоматическую агрегацию и гармонизацию учебных материалов из открытых, опубликованных источников. Автоматическое наполнение системы может повлиять на качество учебных материалов и учебных курсов. Одной из ее задач является анализ качества учебных курсов. Система предоставляет преподавателям необходимую информацию для внесения корректировок в учебный курс с целью повышения качества образовательного процесса. Полученная системой статистика по деятельности студентов в системе, такая как прохождение лекций, ответы на вопросы тестов и результаты практических работ, позволяет оценивать знания студентов по предметным терминам и областям в режиме реального времени. На основе данной оценки студенты и преподаватели могут осуществлять мониторинг процесса обучения.
175
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
Основной целью настоящей работы является разработка нового подхода к автоматизированной оценке знаний студентов в системе электронного обучения на основе семантических технологий. Для этого необходимо разработать онтологическую модель оценки знаний студентов и интегрировать ее в онтологическую модель системы ECOLE, а также выполнить расчеты рейтинга знания студентом предметного термина на основе прохождения лекций и тестов, значения (важности) предметного термина в процессе образования, рейтинга знания студентом предметной области на основе значения и рейтинга знания предметных терминов.
В данной работе рассматриваются проблемы оценки знаний студентов, являющейся значительной частью учебного процесса [6-9]. Предложенный подход основывается на расчете оценки знаний с помощью предопределенного набора метрик и семантических технологий.
Модель данных
Онтологическая модель системы ECOLE. В основе модели данных системы ECOLE лежит модульная онтология, включающая следующие модули:
- модуль учебных материалов - онтология, описывающая отношения между курсами, модулями, лекциями, тестами, практиками и предметными терминами;
- модуль тестов - онтология, описывающая содержание тестов, вопросы, ответы, варианты тестов;
- модуль деятельности и результатов студента в системе обучения - онтология, позволяющая хранить статистику по действиям студентов в системе и результаты обучения студентов, включая правильные и неправильные ответы на тесты, прохождение лекций и результаты экзаменов.
Модуль учебных материалов основан на онтологиях верхнего уровня, рекомендованных к использованию при описании учебных материалов. При разработке данного модуля использовались онтологии AIISO (The Academic Institution Internal Structure Ontology), BIBO (The Bibliographic Ontology) и MA-ONT (The Ontology for Media Resources). Модуль учебных материалов - это связующее звено для всех модулей разработанной онтологии. Одной из главных особенностей онтологии является возможность прямого и косвенного междисциплинарного связывания объектов в курсах.
Модуль оценки знаний студентов в онтологической модели системы. Для реализации методов автоматизированной оценки рейтингов и знаний студентами предметных терминов и областей необходимо разработать и интегрировать в онтологическую модель системы модуль оценки зна-
ний студентов. Это онтология, которая позволяет хранить автоматически вычисленные оценки знаний студентов по определенным концептам и предметным областям. Онтологическая модель модуля оценки знаний студентов представлена на рисунке.
Онтология модуля содержит класс Rate (Оценка) и 5 подклассов, которые описывают следующие разновидности оценки:
- Lecture Term Rate - оценка предметного термина в контексте лекций;
- Test Attempt Term Rate - оценка предметного термина в контексте прохождения одного теста;
- Average Test Term Rate - средняя оценка предметного термина за все тесты;
- Total Term Rate - общая оценка предметного термина;
- Domain Rate - оценка предметной области.
Каждый из классов оценки обладает возможностью хранения цифрового значения оценки value. Также онтология позволяет связывать объекты оценок с объектами студентов из модуля деятельности и результатов студента в системе обучения и объекты тестов из модуля тестов с объектами терминов из модуля учебных материалов. Разработанная онтология дает возможность добавлять новые классы оценок для хранения новых метрик при изменении алгоритмов расчета оценок.
Метод
Подход к автоматизированному анализу знаний и рейтингов студентов системы электронного обучения основан на семантическом анализе действий студентов в системе электронного обучения в проекции образовательного процесса и учебных материалов. Целью подхода является автоматизированный вывод рейтинга знаний студента по определенной предметной области учебной дисциплины. Рейтинг знания предметной области зависит от рейтингов входящих в нее предметных терминов. Расчет рейтинга знания предметного термина зависит от метрик оценки действий студента в системе. Набор метрик может варьироваться в зависимости от возможных действий студентов в системе, структуры онтологии и необходимой точности вычислений. В предложенном подходе используются метрики знакомства с термином и проверки знания термина с помощью тестов. Расчет рейтинга знаний предметной области производится с учетом значения (важности) предметных терминов в образовательном процессе.
Рейтинг знания термина, как и рейтинг знания предметной области, варьируется от 0 до 1. Метрика знакомства с термином является бинарной и обозначает факт изучения студентом предметного термина с использованием теоретического материала. В разработанном подходе изучением пред-
176
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
Calculated Based on
k for test / l attempt rang ^
-subclass-
domain
-domain-
domain
Calculated of field
I
range
subclass-^
Field Subject
k Rank ^ ^ Field J [ Area J
subclass—I
|
Subject ^
^ Area ^ у Term J
Average Test Term Rank
-range-
Ш
Value
П
subclass-
domain-
B
Based on terms ranks
range
domain-
domain , Ki
J [ Rank J
domain ----subclass-
domain
Calculated for student
subclass!
L
range
Final
Term Rank
-----z-----
-range
Calculated of term
Lecture Term Rank
-domain
domain
I Lecture I
Has personal Based Based
k ranks k on ranks J on lecture
range ___I
Онтологическая модель оценки знаний студентов The ontology model for student knowledge assessment
метного термина является завершение студентом лекции, связанной с данным термином в системе электронного обучения. Изучить предметный термин студент может только один раз. В разработанном подходе данная метрика составляет 15 % от общего рейтинга знаний предметного термина.
Метрика проверки знания предметного термина с помощью тестов основана на статистическом анализе правильных и неправильных ответов студента на задания учебных курсов, которые связаны с данным термином. В разработанном подходе данная метрика составляет 85 % от общего рейтинга знаний предметного термина. Метрика рассчитывается как нижняя граница доверительного интервала Вильсона для параметра Бернулли по количеству правильных и неправильных ответов, используя формулу
Р + 2n z'-T2 ± zi-a2^
R =
Р(1 - Р) | Z1-w2 n 4n2
1 + “ Z1-a/2
n
где z1-a/2 - квантиль от l-a/2 от стандартного
1
нормального распределения; p - доля правильных ответов; n - общее количество ответов.
Сумма двух полученных метрик для предметного термина в соответствии с их долями является общим рейтингом знания предметного термина. Предметные области и предметные термины в соответствии с разработанной моделью не зависят от учебных материалов и могут повторно использоваться во множестве учебных курсов. Связи между терминами, описывающие необходимость одного термина для изучения другого, позволяют рассчитать значение предметного термина в образовательном процессе. Чем больше предметных терминов, для изучения которых необходим определенный термин, тем выше значение данного термина. При расчете учитывается количество терминов на разных уровнях зависимости. Уровнем зависимости является глубина косвенной зависимости одного термина от другого через набор терминов. Например, на втором уровне находятся термины, зависимые от предметных терминов, зависимых от рассматриваемого предметного термина. Значение термина рассчитывается с исполь-
177
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
зованием трех уровней зависимости по формуле
1
Wt = — + £~j , где n - количество терминов, свя-
e k=1 e
занных с данным термином на каждом уровне за-
1
висимости; k - номер зависимого уровня;
e
3
константное значение термина.
Итоговый рейтинг знания студентом предметной области учебной дисциплины рассчитывается как сумма рейтингов предметных терминов, входящих в предметную область. При расчете необходимо учитывать относительное значение термина в предметной области. Для этого необходимо рассчитать суммарное значение предметной об-
ю
ласти, используя формулу Wf = £ Wt, где Wt -
n=1
значение предметного термина; n - количество терминов в предметной области.
Относительное значение термина в предметной
W
области рассчитывается по формуле Dt = —-, где
Wf
Wt - значение термина; Wf - значение предметной области.
Рейтинг предметной области является суммой рейтингов предметных терминов в соответствии с
ю
их относительными значениями: R = £ RD , где
n=1
Rt - рейтинг термина; Dt - относительное значение термина в предметной области.
Представленный подход позволяет производить автоматизированную оценку знания студентами предметных областей. Поддержка набора метрик позволяет системе варьировать алгоритмы расчета оценки, добавляя, изменяя и удаляя необходимые метрики. Помимо оценки предметных областей, данный подход можно применять к любым объектам образовательного процесса, напрямую или косвенно связанным с предметными терминами. Подход позволяет производить оценку учебных курсов и специальностей.
Результаты
Модуль автоматического расчета оценки и рейтинга знаний студента по предметным терминам и областям был разработан на языке Python и интегрирован в систему электронного обучения ECOLE с использованием Django Web Framework [10]. Работа модуля применена при прохождении студентами курса «Интеллектуальные системы». В результате работы модуля было рассчитано значение для предметных терминов из области «Экспертные системы». В данный момент в предметной области содержатся 43 термина. Десять терминов с наибольшим значением представлены в таблице. Полученные результаты демонстрируют значение предметных терминов в образо-
вательном процессе. Для изучения предметных терминов одной области могут потребоваться знания терминов другой предметной области. Таким образом, значения терминов не зависят от предметных областей, к которым данные термины относятся. Расчеты показывают, что базовые понятия в предметной области не являются самыми важными в ней.
Значения предметных терминов области «Экспертные системы»
The subject terms for “Expert systems” field
Предметный термин Значение
Инженерия знаний 3,749703
Знания 1,796706
Извлечение знаний 1,796706
Рабочая память 1,706427
Представление (репрезентация) знаний 1,606853
Процесс разрешения конфликтов 1,374309
Язык представления знаний 1,191552
Экстенсионал 1,169817
Интенсионал 1,169817
Интуитивные знания 1,169817
При прохождении студентом лекций и тестов модуль рассчитывает рейтинги предметных терминов и областей в соответствии с разработанными методами. В результате студенту демонстрируется список предметных областей и терминов с оценками.
В заключение отметим, что в статье был описан новый подход к анализу и автоматизированной оценке знаний и рейтингов студентов в системах электронного обучения. Он основан на анализе косвенных связей в онтологии системы с использованием технологий Semantic Web и Linked Data. Подход позволяет студентам получать оценку своих знаний по предметным терминам и областям в режиме реального времени. На основе полученных оценок студент может корректировать процесс своего обучения и повторно изучать определенные учебные материалы.
В будущем планируется проведение экспериментов на большом количестве студентов с целью анализа точности работы подхода. Из результатов текущего исследования следует, что двух метрик недостаточно для получения точной оценки знаний студента. В дальнейших работах планируется включение в алгоритм вычисления оценки знаний дополнительных метрик, таких как количество попыток сдачи теста, срок сдачи теста, количество повторений теоретического материала, время чтения теоретического материала. Расчет значения термина также может быть улучшен с использованием более сложных связей между терминами. Данные связи могут быть получены путем включения в онтологию системы внешних наборов данных с готовыми таксономиями.
178
Программные продукты и системы /Software & Systems
№ 3 (111), 2015
На основе предложенного подхода в системах электронного обучения может быть разработан набор дополнительного функционала, основанного на интеллектуальной обработке информации. На основе оценок студентов может быть реализована рекомендательная система, которая поможет студентам в поиске подходящих учебных материалов, дополнительных учебных курсов, лабораторий, исследовательских проектов и вакансий.
Внешний интерфейс системы ECOLE доступен по адресу http://ecole.ifmo.ru, а разработанные онтологии - по адресу https://github.com/ailabitmo/ linked- learning-datasets.
Литература
1. Berners-Lee T., Hendler J., Lassila O. The semantic web. Scientific American, 2001, vol. 284, no. 5, pp. 28-37.
2. Bizer C., Heath T., Berners-Lee T. Linked data-the story so far, 2009, 420 p.
3. Klyne G., Carroll J.J. Resource description framework
(RDF): Concepts and abstract syntax. 2006, 60 p.
4. Parkhimovich O., Mouromtsev D., Kovrigina L., Kozlov F. Linking e-learning ontology concepts with NLP algorithms. Open Innovations Association (FRUCT16), 2014, Proc. 16th Conf. IEEE, 2014, pp. 60-65.
5. Khalili A. et al. SlideWiki: elicitation and sharing of corporate knowledge using presentations. Knowledge Engineering and Knowledge Management, Springer Berlin, Heidelberg, 2012, pp. 302-316.
6. O'Donnell E., Sharp M., Wade V., and O'Donnell L. Personalised E-Learning: The Assessment of Students Prior Knowledge in Higher Education. Handbook of Research on Education and Technology in a Changing Society, 2014, pp. 744-755.
7. Cisar S.M. et al. Computer adaptive testing of student knowledge. Acta Polytechnica Hungarica, 2010, vol. 7, no. 4, pp. 139-152.
8. Rafferty A.N., Davenport J., Brunskill E. Estimating Student Knowledge from Paired Interaction Data. Proc. EDM, 2013, 4 p.
9. Gierlowski K., Nowicki K. A novel architecture for elearning knowledge assessment systems. Intern. Journ. of Distance Education Technologies (IJDET). 2009, vol. 7, no. 2, pp. 1-19.
10. Holovaty A., Kaplan-Moss J. The definitive guide to Django: Web development done right. Apress, 2009, 536 p.
DOI: 10.15827/0236-235X.111.175-179 Received 14.05.15
AUTOMATION OF STUDENT KNOWLEDGE ASSESSMENT IN THE ECOLE ELEARNING SYSTEM
(The work has been done with state financial support of the leading Russian Universities, subsidy no. 074-U01) MuromtsevD.I., Ph.D. (Engineering), Associate Professor, [email protected];
Kozlov F.A., Postgraduate Student, [email protected] (The National Research University of Information Technologies, Mechanics and Optics,
Kronverksky Ave. 49, St. Petersburg, 197101, Russian Federation)
Abstract. The paper concerns assessment of students' knowledge based on their learning results in ECOLE system. ECOLE system is an online eLearning system, whose functionality is based on ontologies and semantic technologies. Students' activity in the system is collected and analysed automatically in the system to give students recommendations on subject terms, concepts or domains they know excellent or poor, to advise them which educational program to choose and which scientific activities in the university are close to the courses they passed best. The system's educational content comes from various sources: linked open data, tests published on the Web, video lectures and tests manually uploaded by the university staff. ECOLE system allows interlinking subject terms from different courses and domains and calculates several educational rates: subject term knowledge rate, total subject term knowledge rate, domain knowledge rate and subject term significance rate. All of these rates are used to give recommendations for a student about the activities he has to undertake to pass a course successfully. A term knowledge rate is calculated using predefined sets of metrics and algorithms. The paper describes the concept of subject term importance in the learning process. Term importance and a total subject term knowledge rate allow calculating the student’s knowledge rates for different subject fields and learning courses.
Keywords: Semantic Web, Linked Data, Linked Learning, terminology extraction, education, educational ontology population, eLearning system, knowledge rating, RDF, OWL.
References
1. Berners-Lee T., Hendler J., Lassila O. The semantic web. Scientific American. 2001, vol. 284, no. 5, pp. 28-37.
2. Bizer Ch., Heath T., Berners-Lee T. Linked data-the story so far. 2009, 420 p.
3. Klyne Gr., Carroll J.J. Resource description framework (RDF): Concepts and abstract syntax. 2006, 60 p.
4. Parkhimovich O., Mouromtsev D., Kovrigina L., Kozlov F. Linking e-learning ontology concepts with NLP algorithms. Proc. of IEEE 16th Conf. on Open Innovations Association (FRUCT16). 2014, pp. 60-65.
5. Khalili A. SlideWiki: elicitation and sharing of corporate knowledge using presentations. Knowledge Engineering and Knowledge Management. Springer Berlin Heidelberg Publ., 2012, pp. 302-316.
6. O'Donnell E., Sharp M., Wade V., and O'Donnell L. Personalised E-Learning: The Assessment of Students Prior Knowledge in Higher Education. Handbook of Research on Education and Technology in a Changing Society. 2014, pp. 744-755.
7. Cisar S.M. Computer adaptive testing of student knowledge. Acta Polytechnica Hungarica. 2010, vol. 7, no. 4, pp. 139-152.
8. Rafferty A.N., Davenport J., Brunskill E. Proc. EDM Estimating Student Knowledge from Paired Interaction Data. 2013, 4 p.
9. Gierlowski K., Nowicki K. A novel architecture for e-learning knowledge assessment systems. International Journal of Distance Education Technologies (IJDET). 2009, vol. 7, no. 2, pp. 1-19.
10. Holovaty A., Kaplan-Moss J. The definitive guide to Django: Web development done right. Apress, 2009, 536 p.
179
