CC BY
4УДК 378.018.43
Адаптация системы дистанционного обучения на основе статистической обработки результатов работы пользователей
Наумов А.В.*, Мартюшова Я.Г.**
Московский авиационный институт (национальный исследовательский университет),
Волоколамское шоссе, 4, Москва, 125993, Россия *e-mail naumovav@mail.ru **e-mail ma1554@mail.ru
Статья поступила 16.12.2019
Аннотация
Рассматриваются средства статистического анализа работы систем дистанционного обучения, направленные на адаптацию процесса формирования индивидуальных заданий пользователя с целью создания его индивидуальной траектории обучения и контроля компрометации ответов. Используются средства квантильного анализа и известные логистические модели вероятности правильного ответа пользователя на задание, используемые для пересчета уровня сложности заданий на основе статистики ответов пользователей.
Ключевые слова: обучающая система, статистический анализ, обратная связь, компрометация ответов.
Труды МАИ. Выпуск № 109 DOI: 10.34759/^-2019-109-21
Введение
Современные системы дистанционного обучения (СДО) как правило разрабатываются в рамках парадигмы адаптивного тестирования [1, 2]. На основе принципа обратной связи, то есть реакции на статистическую информацию о работе пользователей системы, производится корректировка контента системы, позволяющая максимально учесть индивидуальные особенности обучаемого. С этой целью используются различные вероятностные модели: логистическая модель Раша [3] вероятности правильного ответа пользователя на задание системы, лог-нормальная модель времени ответа пользователя на задание Ван дер Линдена [4], и др. Управляют контентом СДО, в частности, в целях его адаптации, различные электронные управляющие оболочки или компьютерные среды [5,6]. В системе дистанционного обучения математическим дисциплинам CLASS.NET [7], разработанной на кафедре «Теория вероятностей и компьютерное моделирование» Московского авиационного института, разработан в среде приложений пакет программ, реализующих математические алгоритмы поддержки функционирования и адаптации контента СДО [8-18]. В данной работе рассмотрим два алгоритма из указанного пакета: алгоритм определения компрометации ответов пользователя системы и один из алгоритмов формирования индивидуальной траектории обучаемого на основе пересчета уровней сложности заданий с использованием статистики работы пользователей СДО.
Контроль компрометации пользователем заданий
Для обнаружения несанкционированного использования учетной записи пользователя СДО (например, подмены пользователя, или использования им несанкционированной информации об ответах на задания) могут быть использованы различные методы, как визуальные, связанные с контролем его антропометрических данных [19], так и алгоритмические, основанные на обработке статистики работы пользователя в системе, которые в отличие от визуальных могут контролировать получение пользователем несанкционированных подсказок. Один из алгоритмических методов основан на использовании вероятностной модели времени ответа пользователя на задание системы. В СДО МАИ CLASS.NET используются лог-нормальная модель распределения времени ответа пользователя [2] и модель гамма-распределения [14]. Рассмотрим подробнее модель, предложенная голландским учёным Вимом Ван дер Линденом (Wim Van der Linden) [2], который выбрал в качестве распределения времени ответа пользователя лог-нормальное распределение. Согласно этой модели, логарифм времени ответа 7¿y пользователя j на задачу i имеет нормальное распределение:
In Tij = \i + ßi + Tj + £ij)
к
M
i = 1,...,/; j = 1,...,],
¿=i
j=i
где
Труды МАИ. Выпуск № 109 001: 10.34759/^-2019-109-21
1 - временной параметр, общий по всем задачам в базе задач и всем
пользователям;
( - временной параметр, индивидуальный для задачи /;
Ту - временной параметра, индивидуальный для пользователя _/;
£ Iу - случайное отклонение;
02 - дисперсия случайного отклонения;
/ - количество пользователей, зарегистрированных в СДО; I - общее количество задач в базе.
Логарифм времени ответа является случайной величиной и включает несколько структурных компонентов: общий параметр ¡1, индивидуальные параметры задачи и студента (( и Ту) и случайное отклонение, которое имеет нормальное распределение. Параметры модели являются неизвестными и подлежат оценке, например, методом максимального правдоподобия или методом наименьших квадратов. Для оценки параметров используется статистическая информация, накопленная СДО в виде реализации выборки времени, которые затрачивали пользователи на решаемые задачи:
¿¿у, I = 1 ,. . .,1 ; ) — 1 ,. . .,/ .
Метод максимального правдоподобия позволяет получить оценки параметров рассматриваемой модели в следующем виде:
А — --1,
т; — 1 ¡¡,
Заметим, что в условиях формирования каждому пользователю индивидуального задания из общего контента системы, имеющаяся в распоряжении статистика является весьма разряженной, так как каждый пользователь решает не весь спектр задач. При этом, приведенные выше оценки могут быть модифицированы следующим образом:
1 — ■
~ Е £ п (.
А —-;--1,
л
^ е|7 -1 п (Г/) Л ——1
где - число пользователей, решавших г-ю задачу, 1у - число задач, решенных пользователем у; £/, г = 1,1- - реализация выборки времен, затраченных у-ым
пользователем на решение задач в его индивидуальном задании, , / = 1, J г -
реализация выборки времен затраченных на г-ю задачу пользователями, ее решавшими.
Таким образом, рассмотренная математическая модель позволяет строить прогноз времени, которое затратит пользователь для ответа на предложенную задачу теста, которую он еще не решал.
Данная модель была проверена на соответствие реальным данным СДО
Труды МАИ. Выпуск № 109 001: 10.34759/^-2019-109-21
CLASS.NET, по результатам проверки был сделан вывод о соответствии
экспериментальных данных и теоретической модели.
Будем называть задание скомпрометированным, если для ответа на него студент использовал запрещенные материалы (в частности, готовый ответ, полученный от других пользователей), либо помощь эксперта. Алгоритм выявления скомпрометированных задач основан на сравнении наблюдаемого времени ответа пользователя и прогнозного времени ответа и имеет следующий вид:
1) получить указанным выше способом оценки параметров Д, А, т<г;
2) использовать в качестве распределения прогнозного времени ответа пользователя у на задачу / следующую модель:
1п Ти ( Д + Д + а2) ;
3) выбрать левосторонний доверительный интервал для случайной величины
где в качестве левой границы выступает квантиль уровня распределения этой случайной величины (а - уровень доверительной вероятности, выбираемый администратором СДО);
4) если реализация логарифма времени ответа попала в критическую область, администратору СДО выдается сигнал о возможной компрометации задачи.
В качестве реакции на скомпрометированное задание можно предложить пользователю другую задачу того же типа, или же понаблюдать за дальнейшей его траекторией обучения, и, в случае повторения подобных сигналов, предпринять
Труды МАИ. Выпуск № 109 Б01: 10.34759/^-2019-109-21
административные действия, например, побеседовать в рамках очного тестирования.
Формирование индивидуальной траектории обучения пользователя
Модель Раша вероятности правильного ответа пользователя у на задачу I имеет вид [1]:
Р ( 0 § л ^ ехр - § } ,
где - уровень сложности задания, - уровень способности пользователя СДО (уровень подготовки). В этой модели предполагается, что при изменении уровня подготовки пользователя от -да до +да вероятность его правильного ответа изменяется от 0 до 1, а при изменении сложности задания от -да до +да вероятность правильного ответа уменьшается от 1 до 0. Параметры модели 0 ¡, б^ могут быть оценены с помощью метода максимального правдоподобия, что требует разработки специальных методов решения соответствующих оптимизационных задач. Исследованию этого вопроса посвящены работы [10, 12, 15 - 17]. После оценки параметров их можно привести путем нормировки к любой шкале (например, от 0 до 5). Оба оцененных параметра позволяют корректировать индивидуальную траекторию обучения пользователя.
Рассмотрим сначала корректировку индивидуальной траектории пользователя с
помощью пересчета уровня сложности заданий. Как правило, индивидуальная
траектория обучения складывается из заданий пользователю, формируемых по
каждому последовательно изучаемому разделу, что сводится к решению следующей
задачи целочисленного математического программирования [8,11,13,14]:
7
Труды МАИ. Выпуск № 109 Б01: 10.34759/^-2019-109-21
X* = Аг g т 1 п х | с — б Тх | ,
при наборе ограничений
б и х = 1с, с — б ТХ < £, С — бТХ > —£.
В приведённой задаче п - общее количество задач текущего раздела в базе данных контента в базе, - вектор из единиц размерности , - требуемое
число задач в индивидуальном задании, - вектор, в котором - оцененная
сложность задачи , - требуемая суммарная сложность индивидуального задания, выбираемая администратором, - допустимые границы изменения сложности - вектор, определяющий набор задач раздела в индивидуальном задании (х; = 0 , если 1-е задача раздела не попадает в индивидуальное задание пользователя, и х I = 1 , если попадает).
Как правило, пользователь работает с СДО в группе других пользователей, обучаемых по одним и тем же учебным планам. Если другие пользователи, решая некоторую задачу, допустили ошибки, причиной которых послужило отсутствие в их предыдущей траектории обучения необходимых для решения этой задачи разделов, то уровень сложности этой задачи будет расти. При этом, последние два ограничения не позволят, в итоге, рассматриваемой задаче войти в формируемое для очередного пользователя индивидуальное задание, и его индивидуальная траектория обучения будет скорректирована.
Труды МАИ. Выпуск № 109 Б01: 10.34759/^-2019-109-21
С другой стороны, важным параметром рассматриваемой выше
оптимизационной задачи является уровень сложности индивидуального задания пользователя, выбор которого существенно влияет на его индивидуальную траекторию обучения. Одним из способов выбора администратором СДО уровня с является ранжирование пользователя по группам успеваемости на основе постоянного пересчета уровня его способностей по результатам выполнения им задания из очередного раздела СДО. Простейшим алгоритмом выбора дальнейшей индивидуальной траектории обучения пользователя является выбор параметра тем больше, чем больше полученная оценка параметра . Однако выбор этого алгоритма на самом деле является серьезной дидактической задачей, допускающей и другие решения.
Таким образом, приведённые выше математические модели позволяют эффективно адаптировать СДО под текущий контингент пользователей и формировать их индивидуальные траектории обучения.
Заключение
В работе на основе аппарата квантильного анализа и теории оптимизации, предложены алгоритмы адаптации СДО с целью повышения эффективности ее использования в образовательном процессе. Вероятностные модели времени ответа пользователя на задачу и правильности ответа пользователя, позволии предложить алгоритм компрометации задания пользователем и алгоритм последовательной корректировки индивидуальной траектории пользователя, которые являются частью
Труды МАИ. Выпуск № 109 DOI: 10.34759/trd-2019-109-21
математического аппарата адаптации СДО, позволяющие сделать ее использование в
образовательном процессе более гибким и эффективным.
Работа выполнена при поддержке РФФИ (проект 18-07-00617-А).
Библиографический список
1. Наумов А.В., Сай Кхин Аунг Тинт. Об адаптации обучающих систем переподготовки молодых специалистов на предприятиях авиационного комплекса // Труды МАИ. 2011. № 42. URL: http://trudymai.ru/published.php?ID=24321
2. Кибзун А.И., Мартюшова Я.Г., Мхитарян Г.А, Наумов А.В., Рыбалко А.А. Архитектура и технологии адаптации СДО МАИ как комплекса электронных учебников по математическим дисциплинам // Современные информационные технологии и ИТ-образование. 2016. Т. 12. № 3, Ч. 2. С. 68 - 74.
3. Rasch G. Probabilistic models for some intelligence and attainment tests, Chicago, The University of Chicago Press, 1980, 199 p.
4. Wim J. van der Linden. A Lognormal Model for Response Times on Test Items // Journal of Educational and Behavioral Statistics, 2006, vol. 31, no. 2, pp. 181 - 204.
Труды МАИ. Выпуск № 109 DOI: 10.34759/trd-2019-109-21
5. Наумов А.В., Рыбалко А.А. Модель обеспечения отказоустойчивости
контейнерных виртуальных сервисов в центрах обработки данных // Труды МАИ. 2017. № 97. URL: http://trudymai.ru/published.php?ID=87356
6. Сологуб Г.Б. Компьютерная среда создания систем имитационного тестирования знаний // Труды МАИ. 2010. № 38. URL: http: //www. mai.ru/science/trudy/
7. Наумов А.В., Джумурат А.С., Иноземцев А.О. Система дистанционного обучения математическим дисциплинам CLASS.NET // Вестник компьютерных и информационных технологий. 2014. № 10. С. 36 - 40.
8. Наумов А.В., Мхитарян Г.А. О задаче вероятностной оптимизации для ограниченного по времени тестирования // Автоматика и телемеханика. 2016. № 9. С. 124 - 135.
9. Кибзун А.И., Панарин С.И. Формирование интегрального рейтинга с помощью статистической обработки результатов тестов // Автоматика и телемеханика. 2012. № 6. С. 119 - 139.
10. Кибзун А.И., Иноземцев А.О. Оценивание уровней сложности тестов на основе метода максимального правдоподобия // Автоматика и телемеханика. 2014. № 4. С. 20 - 37.
11. Наумов А.В., Иноземцев А.О. Алгоритм формирования индивидуальных заданий в системах дистанционного обучения // Вестник компьютерных и информационных технологий. 2013. № 6. С. 46 - 51.
Труды МАИ. Выпуск № 109 DOI: 10.34759/trd-2019-109-21
12. Кибзун А.И., Жарков Е.А. Программный комплекс по оценке уровней сложности
заданий и подготовленности студентов // Вестник компьютерных и информационных технологий. 2017. № 7. С. 52 - 58.
13. Наумов А.В., Мхитарян Г.А., Черыгова Е.Е. Стохастическая постановка задачи формирования теста заданного уровня сложности с минимизацией квантили времени выполнения // Вестник компьютерных и информационных технологий. 2019. № 2. С. 37 - 46.
14. Босов А.В., Мхитарян Г.А., Наумов А.В., Сапунова А.П. Использование гамма-распределения в задаче формирования ограниченного по времени теста // Информатика и ее применение. 2019. Т. 13. № 4. С. 12 - 18.
15. Кибзун А.И., Жарков Е.А. Два алгоритма оценивания уровней сложности тестов // Автоматика и телемеханика. 2017. № 12. С. 84 - 99.
16. Кибзун А.И., Панарин С.И. Формирование интегрального рейтинга с помощью статистической обработки результатов тестов // Автоматика и телемеханика. 2012. № 6. С. 119 - 139.
17. Кибзун А.И., Панарин С.И. Стохастический подход к управлению модифицируемостью системы дистанционного обучения // Вестник компьютерных и информационных технологий. 2010. № 12. С. 40 - 49.
18. Панарин С.И. Повышение эффективности обучения студентов аэрокосмических
специальностей с помощью специализированного рейтинга // Труды МАИ. 2011. № 44.
URL: http: //trudymai. ru/published.php?ID=25191
Труды МАИ. Выпуск № 109 DOI: 10.34759/trd-2019-109-21
19. Волков С.С. Подход к решению задачи идентификации личности с помощью
метода газоразрядной визуализации // Труды МАИ. 2019. № 104. URL:
http://trudymai.ru/published.php?ID= 102198
