CC BY
33
Наука к Образование
МГТУ им. Н.Э. Баумана
Сетевое научное издание
Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 11. С. 528-541.
Б01: 10.7463/1115.0817917
Представлена в редакцию: Исправлена:
© МГТУ им. Н.Э. Баумана
УДК 519.6
Контроль уровня учебных достижений путем мониторинга поведенческих факторов в системе электронного обучения
Косоногова М. А.1*
09.10.2015 24.10.2015
тагшако ьошз £ОУаьс@ атзД.сот
белгородский государственный технологический университет
им. В.Г. Шухова, Белгород, Россия
Проведен обзор моделей контроля уровня учебных достижений, которые применяются в системах электронного обучения. Модифицирован классический подход по применению модели контроля, основанной на методологии Г. Раша. Модифицированный подход, во-первых, учитывает поведенческие факторы при измерении уровня учебных достижений; во-вторых, позволяет включить в математическую модель Г. Раша переменные немонотонного характера. Под поведенческими факторами понимаются действия, совершаемые обучающимися при работе в системе электронного обучения. Результаты, изложенные в статье, обладают практической применимостью к измерению уровня учебных достижений в процессе электронного обучения.
Ключевые слова: модель контроля, модель Г. Раша, поведенческие факторы, немонотонные индикаторы
Введение
В настоящее время на международных форумах и конференциях, посвященных тенденциям в образовании, самой обсуждаемой является технология адаптивного электронного обучения на основе больших данных [1]. Данная образовательная технология предполагает использовать различные метрики, чтобы понять, как обучающийся взаимодействует с учебным контентом, и в соответствии с этим давать рекомендации по продвижению обучения. В статье предлагается в качестве метрик использовать поведенческие факторы - действия, совершаемые обучающимися при работе в системе электронного обучения.
Появление новых образовательных технологий требует совершенствования модельного обеспечения систем электронного обучения. Одним из ключевых процессов функционирования обучающей системы является контроль усвоения порций учебного контента. Под моделью контроля понимается процедура оценивания (измерения) уровня учебных достижений (подготовленности) испытуемого. Формально, модель контроля -одна или несколько функциональных зависимостей, устанавливающих связь результата выполнения контрольных заданий с текущим уровнем учебных достижений обучающегося и характеристиками заданий [2]. Известны два семейства моделей контроля
- CTT-модели, которые разрабатываются в рамках классической тестологии (Classical Test Theory), и IRT-модели из современной теории моделирования и параметризации педагогических тестов (Item Response Theory). В соответствии с CTT-моделями измерения уровня учебных достижений эмпирический тестовый балл равен сумме неизвестного истинного тестового балла и ошибки измерения. В IRT-моделях уровень учебных достижений принимается за латентную переменную, которая описывается набором измеряемых индикаторов - тестовых заданий. Другими словами, в классической тестологии первичный балл испытуемого рассматривается как мера уровня учебных достижений, в рамках второго подхода - как проявление уровня достижений. IRT-подход признан более адекватным с точки зрения действительности [2-4]. Семейство IRT-моделей представлено однопараметрической моделью Г. Раша, двух- и трехпараметрической моделью А. Бирнбаума, четырехпараметрической моделью В. Аванесова. Однако доказано, что практической применимостью для измерений обладает только модель Г. Раша [5-7].
В свете технологии адаптивного обучения на основе больших данных существующее представление о моделях контроля уровня учебных достижений выглядит ограниченным. Поэтому актуальным является совершенствование теоретических взглядов в области моделей контроля, используемых в системах электронного обучения.
В статье решается задача построения модели контроля, учитывающей не только результаты выполнения тестовых заданий, но и поведенческие факторы. Для этого модифицирован подход к использованию однопараметрической модели Г. Раша, основанной на логистической функции. Классическая модель Г. Раша исключает использование немонотонных индикаторов учебных достижений. Однако некоторые поведенческие факторы имеют как раз немонотонный характер. Для снятия этого ограничения вводится способ разработки их монотонных эквивалентов на основе аппарата нечетких множеств. Таким образом, впервые рассматривается вопрос применения теории нечетких множеств в рамках теории IRT.
1. Построение модели контроля, учитывающей поведенческие факторы
Цель работы состоит в построении модели контроля, связывающей результат выполнения контрольных заданий и поведенческие факторы с текущим уровнем учебных достижений обучающегося и характеристиками заданий, в терминах современной теории педагогических измерений (IRT). Для этого необходимо разработать формализованное описание уровня учебных достижений.
Уровень учебных достижений является латентным качеством личности и не может быть измерен непосредственно. Пусть «уровень учебных достижений» («уровень подготовленности») @ - латентная переменная, которая проявляется через набор некоторых индикаторов. Количественной мерой любой латентной переменной является логит - формальная единица измерения в рамках теории IRT [8]. В классическом случае кортеж индикаторов составляют результаты выполнения набора тестовых заданий. Предлагается дополнить кортеж, добавив замеры действий испытуемых, связанных с
использованием системы электронного обучения. Сформированный кортеж измеряемых индикаторов для интегральной оценки уровня учебных достижений имеет вид
Р:<У1 1 ■ .,Уис,У21, .■ -,УгI >, (!)
где У1 1, . . . ,У1 ^ - блок индикаторных переменных с результатами выполнения тестовых заданий; У г 1 , .■ ■ ,У гI - блок поведенческих факторов; к - число тестовых заданий; I -число поведенческих факторов.
Набор индикаторов первого блока варьируется на каждом шаге обучения в зависимости от профиля обучающегося и результатов предыдущего шага его траектории обучения. В контексте исследования, поведенческие факторы характеризуют действия, совершаемые испытуемыми при работе в системе электронного обучения. Для вычисления уровня учебных достижений интерес представляют численные характеристики элементов поведения пользователя: длительность изучения теоретического материала, количество обращений к глоссарию и другим видам помощи (табл. 1).
Таблица 1. Поведенческие индикаторы уровня учебных достижений
Индекс Индикаторная переменная Направление влияния на уровень подготовленнос ти
21 количество пропусков заданий теста
22 количество смены варианта ответа в пределах теста
23 время обращения к учебному материалу при прохождении тестового контроля
24 глубина просмотра структуры учебного материала при прохождении тестового контроля
25 просмотр всех мультимедийных фрагментов, предложенных для освоения учебного материала на 5-м шаге обучения
26 бездействие в системе на 5-м шаге обучения
27 показатель отказа прохождения теста
28 количество подходов, за которое был пройден 5-й шаг обучения
29 количество обращений к внешним программам при прохождении тестового контроля ^
210 время, затраченное на прохождение тестового контроля на Б-м шаге и
211 время, затраченное на изучение блоков учебной информации на Б-м шаге обучения и
212 количество обращений к глоссарию во время изучения учебного материала и
213 количество обращений к системе подсказок во время изучения учебного материала и
214 количество обращений к другим ресурсам во время изучения учебного материала и
Предполагается, что система электронного обучения путем скрытого программного мониторинга собирает статистику о действиях /-го пользователя, заполняя на каждом 5-м шаге обучения кортеж индикаторов (1).
Каждой индикаторной переменной сопоставлено направление ее влияния на значение латентной переменной (табл. 1, последний столбец). Влияние может быть прямым ( Т), обратным ( X ) или немонотонным ( Т I). Больший первичный балл за выполнение тестового задания соответствует большему значению уровня
учебных достижений , поэтому имеет место прямая зависимость между индикаторами-заданиями и латентной переменной :
задания .
Зависимость (2) свидетельствует о строго монотонном характере индикаторных переменных, описывающих результаты выполнения заданий, предъявляемых в ходе тестового контроля знаний. В свою очередь, направление влияния индикаторов, учитывающих поведенческие факторы, не так очевидно. Психолого-педагогическое обоснование и анализ статистических данных, накопленных в ходе программного мониторинга, позволяют сделать вывод о нестрого монотонном и немонотонном характере ряда индикаторов из набора поведенческих факторов. Например, ситуация «обучающийся очень быстро ответил на тестовые задания», или наоборот, «обучающийся затратил максимальное время на прохождение тестового контроля», не свидетельствует в пользу высокого уровня текущих учебных достижений. Тогда блок поведенческих факторов целесообразно разбить на две категории и , где - число
строго монотонных индикаторов, которые могут быть использованы в модели Раша без дополнительных преобразований, из общего числа I поведенческих факторов.
На 5-м шаге обучения результат мониторинга каждого измеряемого индикатора из кортежа (1) описывается вероятностной моделью Г. Раша [3]
где х - градация индикаторной переменной; х¿у - отклик /-го обучающегося на у'-й индикатор; Р{х^у = х} - вероятность выбора /-м обучающимся варианта х у'-го индикатора; - уровень трудности индикаторной переменной; - относительный уровень трудности -й градации -го индикатора, или приращение уровня учебных достижений, необходимое для перехода от одной градации к другой; - индексная переменная, принимающая все варианты у'-го индикатора.
В качестве у'-х индикаторов в модели измерения (3) используются поведенческие факторы, что является модификацией традиционного подхода по использованию математической модели Г. Раша при измерении уровня учебных достижений испытуемых.
Модель контроля (3) напрямую использует не значения индикаторных переменных, зафиксированные путем программного мониторинга действий испытуемого, а их
'х =0
(3)
градации. Поэтому исходные данные, собранные в ходе скрытого мониторинга предварительно дискретизируются и представляются в порядковой шкале.
Вопросы дискретизации строго монотонных индикаторных переменных подробно рассмотрены в работах [3, 9], где предлагается использовать следующие формулы:
х = ( ^ •У1<УГХ. (4)
m —1, У] = у™ах,
тах_ min
s t ер = --J—. (5)
т
Здесь х - градация строго монотонной индикаторной переменной; уу - значение строго
монотонной индикаторной переменной, ) = 1, 1 уу - минимальное значение индикаторной переменной из всего набора статистики; - максимальное значение
индикаторной переменной ; - шаг разбиения диапазона изменения индикаторной переменной у у на т уровней дискретизации.
Подготовительным этапом для использования модели контроля (3) является проведение обучения множества испытуемых по предопределенным траекториям для накопления статистики об индикаторах уровня учебных достижений. Результаты тестового контроля и мониторинга поведенческих факторов составляют двумерную матрицу , измерениями которой являются испытуемые и индикаторы учебной деятельности. Матрица результатов используется для:
• определения параметров дискретизации, участвующих в формулах (4), (5);
• для определения вида и настройки коэффициентов функций принадлежности, описывающих немонотонные и нестрого монотонные индикаторные переменные;
• для измерения уровня трудности тестовых заданий.
Немонотонный и нестрого монотонный характер данных вызывает сложности при использовании классической модели Раша: способ дискретизации таких данных должен учитывать, что они характеризуются неоднозначным направлением влияния на изменение латентной переменной «уровень текущих учебных достижений». В связи с этим, далее предложен способ включения в состав модели (3) индикаторов немонотонного характера, который заключается в разработке строго монотонных эквивалентов для поведенческих факторов немонотонного (нестрого монотонного) характера. При наличии строго монотонных эквивалентов их дискретизация может проводиться по схеме, использующей формулы (4), (5).
2. Включение в состав математической модели Г. Раша индикаторов
немонотонного характера
Неоднозначное направление влияния немонотонного (нестрого монотонного)
индикатора на значение латентной переменной предлагается
формализовать на основе аппарата нечетких множеств. Для создания функций
принадлежности, описывающих поведенческие факторы немонотонного (нестрого монотонного) характера, использован статистический подход [10]. Следствием замены
на является то, что большему значению функции принадлежности
соответствует большее значение измеряемой латентной переменной, и наоборот. Такой характер влияния, в свою очередь, приемлем при использовании модели Г. Раша.
Способ включения в состав вероятностной модели Раша индикаторов немонотонного (нестрого монотонного) характера состоит в следующем. Все индикаторы задают на нечетких множествах. Метод построения функций принадлежности на основе статистических данных предполагает наличие списка индикаторов с их количественными показателями частоты встреч для конкретных групп обучающихся. Диапазон изменения каждого из индикаторов разбивается на т' фиксированных интервалов. После мониторинга действий в системе обучающихся определяется, что в интервале немонотонного (нестрого монотонного)
индикатора зафиксированы раз показатели уровня учебных достижений
обучающихся. Степень принадлежности fijw некоторого значения вычисляется как отношение числа его попаданий в интервал шкалы индикатора к максимальному для этого значения числу попаданий по всем интервалам индикатора:
9m ах = maxw c;w, w = 1, т1J = h + 1 , Z, (6)
Mjw = w = 1 , hi 1 J = 1 + 1 , h. (7)
cjmax
Способ включения в состав математической модели Г. Раша индикаторов немонотонного характера описан на примере индикатора «время, затраченное на прохождение тестового контроля на 5-м шаге обучения» (табл. 1). Этот индикатор задан тремя нечеткими множествами Луд щ ^ / Лу ,m j ^ ^ ^ е / Лу, j ow - оптимальное время тестового
контроля для обучающихся с высоким / средним / низким первичным баллом (у = 1 0 ). В качестве статистических данных о времени, затрачиваемом на прохождение тестирования, были использованы данные о результатах тестового контроля 1159 студентов непрофильных специальностей БГТУ им. В.Г. Шухова по теме «Введение в MS Excel 2010» в рамках дисциплины «Информатика», зафиксированные в период 2013-2015 гг. Контрольное время тестирования составило 15 минут. В экспериментальную выборку было занесено 1159 значений индикатора «время, затраченное на прохождение тестового контроля». Каждому из них был сопоставлен признак группы обучающегося «high», «middle» или «low», исходя из балла за тестовый контроль. Целью эксперимента было выявить, каково направление влияния времени прохождения тестирования на уровень учебных достижений.
Шкала [0;15] (в минутах) рассматриваемого индикатора была разбита на восемь фиксированных интервалов. Определено, что по интервалу шкалы раз
зафиксировано значение индикатора, относящееся к группе «high», «middle» или «low» (табл. 2).
Таблица 2. Количество попаданий значений индикатора у 2 1 о в определенный интервал с учетом группы
подготовленности
Время прохождения тестирования > 00:00 -01:52 01:52 -03:45 03:45 -05:37 05:37 -07:30 07:30 -09:22 09:22 -11:15 11:15 -13:07 13:07 -15:00
Группа «low» 14 14 11 9 6 5 5 2
Группа «middle» 24 52 82 90 125 173 189 190
Группа «high» 3 5 19 33 38 15 4 1
Значения Цущ () = 1 0 ) функций принадлежности, рассчитанные по формулам (6), (7), приведены в табл. 3.
Таблица 3. Значения функций принадлежности, описывающих индикатор у 2 i о
Время прохождения тестирования > 00:00 -01:52 01:52 -03:45 03:45 -05:37 05:37 -07:30 07:30 -09:22 09:22 -11:15 11:15 -13:07 13:07 -15:00
Aio,low 1 1 0,786 0,643 0,429 0,357 0,357 0,143
AlO,middle 0,126 0,274 0,432 0,474 0,658 0,911 0,995 1
AlO,high 0,079 0,132 0,5 0,868 1 0,395 0,105 0,026
Вид экспериментальных функций принадлежности нечетких множеств Aiо,higп, Aiо,middle, Aiо, low приведен на рис. 1.
Q:OQ Q:Q2 0:05 OiGS 0:11 0:14- 0:17
Рис. 1. Функции принадлежности, описывающие индикатор «время, затраченное на прохождение тестового
контроля»
Вид функций принадлежности подтверждает выдвинутую гипотезу о немонотонном направлении влияния рассматриваемой индикаторной переменной на уровень подготовленности. Для аналитического описания выявленных зависимостей предлагается использовать ряд стандартных функций принадлежности [11]. Подбор параметров
производился путем аппроксимации экспериментальных данных ), минимизируя сумму квадратов разностей (табл. 4 - 6). Наборы функций принадлежности для каждого нечеткого множества закладываются в систему электронного обучения.
Таблица 4. Подбор функции принадлежности, описывающей нечеткое множество А10^дН
Функция принадлежност и Аналитический вид функции принадлежности Значения параметро в 2 квадратов разностей
Симметричная гауссовская , Л Г-(У2/-М)21 ¡даиззтЛУгз.М.о) = ехр ^ _ ^ М = 8,4 а = 0,4 0,019
Обобщенная колокообразная [дЬе11п^{У2]'а> Ь, (¿) - 2.ь 1+ а а = 2,6 Ъ = 1,7 а = 8,3 0,017
Треугольная Ьг1тг(у2].а.Ь,(1) = < ' 0, У2} < а, Ь-а й - У 21 а_ь1,Ь<у21<с1, , 0, у2] > й а = 2,5 Ъ = 9,2 а = 12,6 0,040
Значения сумм квадратов разностей свидетельствуют, что наиболее адекватными имеющимся экспериментальным данным оказались обобщенная колокообразная и симметричная гауссовская функции принадлежности. Эти стандартные функции можно считать эквивалентными для описания рассматриваемого индикатора «время прохождения тестового контроля». Экспериментальную функцию принадлежности второго нечеткого множества ^ю,т1йй1е можно задать с использованием стандартных Б-образных функций. Значения параметров для них приведены в табл. 5. Таблица 5. Подбор функции принадлежности, описывающей нечеткое множество Л10,т^ге
Функция принадлежност и Аналитический вид функции принадлежности Значения параметро в 2 квадратов разностей
Б-образные 0, у^ < а, п (У2]~а^2 Ь + а V Ь-д ) 2 ' (Ъ-у2]Д а + Ь 1-2ЛЬ-а) ■ 2 , 1- У2} > Ъ а = 0,0 Ъ = 14,6 0,06
Лш/2(У27-.а,Ь) = < 0, у2} < а, 1 1 / у2,- — Ь \ 2 + 2СОЗ\ь-а 1, у2] > Ъ а = 0,0 Ъ = 14,3 0,04
В случае, когда индикатор у2 1о «время, затраченное на прохождение тестового контроля» описывается нечетким множеством А1^ ^ щ ^ или А10т1 ге, имеет место прямое влияние монотонных эквивалентов этих индикаторов на интегральное значение уровня подготовленности. Другими словами, большему значению д (у210) соответствует большее значение ( (д (у2 10 ) ) , где д (у2 10 ) - степень принадлежности одному из нечетких множеств.
При использовании нечеткого множества А1^[ои, для описания рассматриваемого индикатора наблюдается обратное направление влияния: большему значению д(у210) монотонного эквивалента индикатора соответствует меньшее значение измеряемой латентной переменной ( «уровень подготовленности». При этом экспериментальные данные в аналитическом виде описываются стандартной z-образной функцией принадлежности. Подобранные параметры сплайн-функций приведены в табл. 6.
Таблица 6. Подбор функции принадлежности, описывающей нечеткое множество А10 г о ш
Функция принадлежност и Аналитический вид функции принадлежности Значения параметро в 2 квадратов разностей
z-образные (сплайн-функции) 1, < а, „ „ (У2}~а\2 „ „ Ь + а 1 \ ь — а ) 2 ' /Ь - у2Д а + Ъ 2\ь-а)' 2 0, у2] > Ь а = 0,0 Ъ = 19,8 0,05
/гш/2(У27.а,Ь) = < 1, у2} < а, 1 1 (у 2} — Ъ \ 2+2С°5\ъ-а о, У2] > Ь 0,0 Ъ = 19,8 0,03
Полученные результаты используются следующим образом. На каждом шаге обучения для /-го испытуемого в качестве монотонного эквивалента индикатора «время прохождения тестового контроля» выбирается одно из приведенных нечетких множеств в зависимости от текущего уровня учебных достижений. Для значения индикатора , полученного в ходе программного мониторинга, вычисляется значение д (у 210) . Шкала монотонного эквивалента [0;1] разбивается в данном случае на десять уровней дискретизации. В формулы (4), (5) подставляется значение функции принадлежности выбранному нечеткому множеству для определения градации немонотонной индикаторной переменной у 210. Аналогичным образом производится обработка значений
остальных немонотонных индикаторов. Проградуированные значения индикаторов используются в модели контроля уровня учебных достижений (3).
На рис. 2 - 4 представлены результаты аппроксимации экспериментальных данных в графическом виде, соответствующие табл. 4 - 6.
Рис. 2. Результаты аппроксимации функции принадлежности, описывающей нечеткое множество «оптимальное время тестового контроля для обучающихся с высоким первичным баллом»
Рис. 3. Результаты аппроксимации функции принадлежности, описывающей нечеткое множество «оптимальное время тестового контроля для обучающихся со средним первичным баллом»
Рис. 4. Результаты аппроксимации функции принадлежности, описывающей нечеткое множество «оптимальное время тестового контроля для обучающихся с низким первичным баллом»
Накапливая статистические данные в процессе электронного обучения, предполагается периодически производить параметрическую и структурную адаптацию начальных функций принадлежности немонотонных индикаторов по способу, описанному в разделе 2.
Заключение
Рассмотрена задача контроля уровня учебных достижений в системах электронного обучения. Разработана модель контроля в терминах методологии Г. Раша, отличающаяся, во-первых, использованием поведенческих факторов при измерении уровня учебных достижений, во-вторых, способом их обработки. Способ обработки базируется на использовании аппарата нечетких множеств, позволяя ввести монотонные эквиваленты немонотонных (нестрого монотонных) поведенческих факторов. Набор используемых при этом нечетких множеств и стандартных функций принадлежности расширяем, что повышает гибкость настройки модели контроля уровня учебных достижений.
Настоящая статья является попыткой развития теоретических взглядов в области модельного обеспечения систем электронного обучения, в частности моделей контроля учебных достижений. Описанный в статье подход применим в ситуациях самостоятельной работы обучающихся с учебным контентом, когда необходимо организовывать автоматический подбор следующего фрагмента траектории обучения на основе достигнутого уровня учебных достижений.
Работа выполнена в рамках проекта КБМБЕ157714Х0135
Список литературы
1. Чеботарь Н. EdCrunch: Как это было. 2014 // Edutaineme: сайт проекта. Режим доступа: http://www.edutainme.ru/post/edcrunch-kak-eto-bylo/ (дата обращения 23.09.2015).
2. Карпенко А.П., Добряков А.А. Модельное обеспечение автоматизированных обучающих систем. Обзор // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2011. №7. DOI: 10.7463/0715.0193116
3. Маслак А.А. Измерение латентных переменных в социальных системах. Славянск-на-Кубани: Издат. центр КубГУ, 2012. 432 с.
4. Wilson M. Constructing Measures: An Item Response Modeling Approach. Mahwah, New Jersey: Lawrence Erlbaum associates, 2005. 288 p.
5. Ким В.С. Анализ результатов тестирования в процессе Rasch measurement // Педагогические измерения. 2005. № 4. С. 39-45.
6. Ким В.С. Тестирование учебных достижений: монография. Уссурийск: Изд-во УГПИ, 2007. 214 с.
7. Елисеев И.Н. Математические модели и комплексы программ для автоматизированной оценки результатов обучения с использованием латентных переменных: дис. ... докт. техн. наук. Новочеркасск, 2013. 371 с.
8. Andrich D. Advanced Social and Educational Measurement. Murdoch University, Perth, Western Australia, 2001. 128 p.
9. Поздняков С.А. Метод и алгоритмы измерения латентных переменных при управлении в образовательных системах: дис. ... канд. техн. наук. Курск, 2009. 168 с.
10. Орлов А.И. Нечисловая статистика. М.: МЗ-Пресс, 2004. 513 с.
11. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику. 6. Модели функций принадлежности // MATLAB.Exponenta: сайт. Режим доступа:
http://matlab.exponenta.ru/fuzzylogic/book1/6.php (дата обращения 02.09.2015).
Science^Education
of the Bauman MSTU
Science and Education of the Bauman MSTU, 2015, no. 11, pp. 528-541.
DOI: 10.7463/1115.0817917
Received: 09.10.2015
Revised: 24.10.2015
ISS N 1994-0408 © Bauman Moscow State Technical Unversity
Academic Achievements Control by Monitoring Behavioral Factors in E-learning System
M. A. Kosonogova1' 'marinak o sono govascig gmail.com
Belgorod State Technological University named after V.G. Shukhov,
Belgorod, Russia
Keywords: control model, G. Rasch model, behavioral factors, non-monotonic indicators
A control model is one or more functional relationships to tie student's measureable parameters and test tasks to the assessment of the outcomes achieved. The control models are used to measure the level of academic achievements.
The article surveys the academic achievement control models used in e-learning systems. It discusses a G. Rasch technique, which allows tracking the academic progress within the scope of the Item Response Theory. In traditional interpretation the G. Rasch model links the level of academic achievements and the level of the test task difficulties to the probability of their correct execution. This approach has been modified. A modified approach, firstly, takes into account the behavioral factors in measuring the level of achievements; secondly, it enables to include nonmonotonic variables in a mathematical G. Rasch model. Behavioral factors are thought of as acts committed by students when working in the e-learning system, for example, access to prompt messages (or tooltips), preview of browsing fragments of the learning content, skip of test tasks, etc. The article introduces quantitative metrics of these factors based on the fuzzy sets. Experiments are conducted to confirm a non-monotonic nature of the impact some behavioral factors have on the level of academic achievements.
The results presented in the article are of practical application to measuring the level of academic achievements during e-learning process. Obtaining the objective quantitative assessments of academic achievements allows proceeding to the adaptive learning organization.
The work is fulfilled within the framework of the Project RFMEF157714X0135.
References
1. Chebotar' N. EdCrunch: Kak eto bylo [EdCrunch: As was the case]. 2014. Edutaineme: website. Available at: http://www.edutainme.ru/post/edcrunch-kak-eto-bylo/ , accessed 23.09.2015. (in Russian).
2. Karpenko A.P., Dobryakov A.A. Modelling support of the learning systems. The review. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2011, no. 7. DOI: 10.7463/0715.0193116 (in Russian).
3. Maslak A.A. Izmerenie latentnykh peremennykh v sotsial'nykh sistemakh [Measurement of latent variables in social systems]. Slavyansk-on-Kuban, Kuban State University Publ., 2012. 432 p. (in Russian).
4. Wilson M. Constructing Measures: An Item Response Modeling Approach. Mahwah, New Jersey, Lawrence Erlbaum associates, 2005. 288 p.
5. Kim V.S. Analysis of test results during the Rasch measurement. Pedagogicheskie izmereniya = Education Measurement, 2005, no. 4, pp. 39-45. (in Russian).
6. Kim V.S. Testirovanie uchebnykh dostizhenii [Testing of educational achievements]. Ussuriisk, Ussuriysk State Pedagogical Institute Publ., 2007. 214 p. (in Russian).
7. Eliseev I.N. Matematicheskie modeli i kompleksy programm dlya avtomatizirovannoi otsenki rezul'tatov obucheniya s ispol'zovaniem latentnykh peremennykh. Dokt. diss. [Mathematical models and program complexes for automated assessment of learning outcomes with latent variables. Dr. diss.]. Novocherkassk, 2013. 371 p. (in Russian, unpublished).
8. Andrich D. Advanced Social and Educational Measurement. Murdoch University, Perth, Western Australia, 2001. 128 p.
9. Pozdnyakov S.A. Metod i algoritmy izmereniya latentnykh peremennykh pri upravlenii v obrazovatel'nykh sistemakh. Kand. diss. [Method and algorithms of measurement of latent variables in the management of educational systems. Cand. diss.]. Kursk, 2009. 168 p. (in Russian, unpublished).
10. Orlov A.I. Nechislovaya statistika [Non-numeric statistic]. Moscow, MZ-Press Publ., 2004. 513 p. (in Russian).
11. Shtovba S.D. Vvedenie v teoriyu nechetkikh mnozhestv i nechetkuyu logiku. 6. Modeli funktsiiprinadlezhnosti [Introduction to the theory of fuzzy sets and fuzzy logic. 6. Models of membership functions]. MATLAB.Exponenta: website. Available at: http://matlab.exponenta.ru/fuzzylogic/book1/6.php , accessed 02.09.2015. (in Russian).
