CC BY
20
Алгоритмы управления процессом контроля уровня
знаний
Маслякова Ирина Николаевна старший преподаватель кафедры «высшая математика» Российский экономический университет имени Г.В.Плеханова, Стремянный пер.д.36, Москва, 117997, (499)-237-0530 maslyakova.in@rea.ru
Статья написана в рамках выполнения научно-практической разработки по теме: «Разработка учебно-практического симулятора с тремя уровнями сложности по дисциплине "Теория вероятностей и математическая статистика" на основе кейсов с
открытым контентом»
Аннотация
Оценка качества обучения лежит в основе сразу нескольких процессов: управление качеством обучения, управление обучением, как процессом освоения знаний и других. В рамках статьи рассматривается байесовский подход в оценке уровня качества знаний на основе модели Бирнбаума. Предложен алгоритм контроля уровня подготовки обучаемого, построенный с учетом его ответов на предыдущих шагах теста.
Assessment of the quality of training is the basis for several processes: quality management training, management training as the process of learning and other. In this paper, a Bayesian approach is considered in assessing the level of knowledge quality based on the Birnbaum model. The algorithm for controlling the training level of the trainee is constructed, taking into account his answers at the previous steps of the test.
Ключевые слова
тестирование уровень знаний, оценивание, модель Бирнбаума training, level of knowledge, estimation, Birnbaum model
Введение
Результаты данной работы опираются на современную теорию тестов, которая в зарубежной литературе имеет название IRT (Item Response Theory). В основе этой
ех
теории лежит логистическая функция вида у = х+ , которая до 30-х годов прошлого века широко применялась в биологии для моделирования прироста биомассы. Затем появились первые исследования в теории тестирования и попытки проанализировать ответы тестируемых с точки зрения оценки уровня знаний, первые визуализации таких исследований выявили ряд характерных кривых, хорошо описываемых логистической функцией.
Оценка качества обучения лежит в основе сразу нескольких процессов. В их числе стимулирование учебной деятельности обучаемого, управление собственно качеством обучения, управление обучением как процессом освоения знаний и других.
Помимо целей, которые ставятся перед процедурой оценивания качества обучения, а точнее, уровня знаний обучаемого, получение достоверных оценок
осложняется влиянием многих неопределенных и случайных факторов. Поэтому в общем случае оценка является случайной величиной со своими вероятностными характеристиками.
Проведённый в работах [1; 2] анализ статистических процедур оценивания, использующих байесовский подход к определению уровня знаний обучаемого, позволяет сделать следующие выводы.
1. Оценка качества обучения или уровня знаний обучаемого характеризует его способность решать определенный круг задач с определенным качеством.
2. Выполнение промежуточного тестирования реализует процедуру рекуррентного оценивания уровня знаний обучаемого на подмножествах задач меньшей размерности. В результате промежуточного тестирования определяется апостериорная плотность распределения уровня знаний обучаемого на момент проведения промежуточного тестирования.
3. Результаты промежуточного тестирования в общем случае должны корректироваться при окончательном оценивании уровня знаний обучаемого с учетом временного интервала между промежуточным и окончательным оцениванием.
Процедура байесовского оценивания предполагает задание начального априорного распределения оцениваемой случайной величины уровня знаний обучаемого. В случае отсутствия какой-либо информации в работе [3] предложено использовать в качестве начального априорного распределения равномерное распределение на интервале [0, 1]. Вместе с тем априорное распределение уровня знаний обучаемого может быть получено на основе результатов промежуточного контроля, результатов тестирования, выполненных ранее, а также на основе статистических данных о распределении соответствующих показателей, характерных для данной категории обучаемых и данной области знаний.
Апостериорная плотность распределения уровня подготовки согласно формуле Байеса будет равна
_ у]-1(в)тт(щ]1в,Ш])
Р1(в\м)
где ф)-г(6) - априорная плотность распределения уровня знаний обучаемого перед началом выполнения j-го задания, мм^ - результат выполнения j-го задания, который является случайной бинарной величиной, принимающей значения {0,1}, л(№]\в, - условная вероятность результата выполнения м^ ]-го задания с уровнем сложности ш при условии, что уровень знаний обучаемого равен 6, - априорная вероятность результата мм^ задания с уровнем сложности ш . В соответствие с формулой полной вероятности
л(м]\а>]) = I л(м]\в,Ш])(р]-1(в)с1в
■1о
При бинарном показателе качества условная вероятность результата равна
Р(в,ш1), ш]=1,
\ ]\ и ^1-р(в,ш1),ш1 = 0
п - - и _ р!Й Через Р(в,ш1) обозначена вероятность правильного выполнения задания с уровнем сложности обучаемым с уровнем подготовки 6.
Поэтому для апостериорной плотности распределения уровня подготовки можем записать в этом случае
РЛвю=р1-Ав!Р('ш
п(ш1)
в случае успешного выполнения j-го тестового задания и
если тестируемый не выполнил j-е тестовое задание. Здесь
л(ш]) = [ (р]_1(в)Р(в,ш])йв
}о
Используя явный вид зависимости для Р(в,ш]) в случае модели Бирнбаума
•1 - ()а Р(е,ш) = (1-е)а + (1-о)а соотношения для апостериорной плотности распределения уровня подготовки можно переписать в виде
Ф](е\™] = 1) =
ного ответа обуч
ср](е\м] = о) =
к(л>] = 1\ш]) •1 - е)а + •1- ш)а
в случае правильного ответа обучаемого и
д>]-1(е)__(1 - ()а
п(ш] = оЦ-) •1 - е)а + •1- ш)а
в случае неверного ответа, где
у i л Г1 •1-^)а ЛШ: = 1\Ш:] = I 7--т-;-^-•Ф]_л(е)йе
у ] 1 ]1 )0 (1 - е)а + (1 - ш)а у
В качестве априорного распределения на j-м шаге тестирования (при у > 1) принимается апостериорная плотность распределения, полученная при предыдущем тестировании, т.е. р]_1(е) = Ф]_1(е\1), если (¡-1)-е задание выполнено, ир]_1(е) = р]-1(е\0), если (¡-1)-е задание не выполнено.
При известной плотности распределения уровня знаний обучаемого можно вычислить математическое ожидание рассматриваемой случайной величины, а также ее дисперсию. Кроме того, можно получить интервальные оценки математического ожидания уровня знаний обучаемого.
Использование байесовской процедуры оценивания плотности распределения уровня знаний обучаемого не требует использования дополнительных предположений о законе распределения этой случайной величины для получения интервальных оценок.
Адаптивное тестирование уровня подготовки в случае непрерывного показателя качества выполнения тестовых заданий
Адаптивным тестированием уровня подготовки будем называть способ контроля уровня подготовки обучаемого, при котором процедура выбора и предъявления ему очередного тестового задания на ^+1)-м шаге тестирования определяется ответами обучаемого на предыдущих t шагах теста. Рассмотрим вопрос об управлении процессом оценивания.
Пусть на п-м шаге тестирования получена оценка вп уровня знаний обучаемого. Требуется определить, какой степени сложности задание необходимо предъявить обучаемому на следующем шаге тестирования.
Будем предполагать, что оценка е>п+1 на п+1 шаге является некоторой функцией оценки вп, вычисленной по результатам предыдущих испытаний
(тестирований) и значения показателя качества ответа шп+1, полученного в результате ответа на вопрос с уровнем сложности шп+1 на п+1 шаге:
вп+1 = ^ (@п, Шп+1, Мп+1 )
Будем предполагать, что качество ответа обучаемого определяется бинарным показателем «правильно - неправильно», причем ш = 1 в случае правильного ответа и ш = 0 - в случае неправильного. Вероятность правильного ответа (ш = 1) на вопрос с уровнем сложности ю обучаемым, уровень знаний которого равен 6, равна р(ш,в). Соответственно вероятность неправильного ответа (ш = 0) равна ц(ш,в) = 1-р(ш,в).
Выбор уровня сложности вопроса будем осуществлять из следующих соображений. Выбор уровня сложности вопроса на п+1 шаге целесообразно осуществлять таким образом, чтобы ожидаемый ответ имел максимальную степень неопределенности.
Количество информации измеряется величиной
1(ш, в) = -^Рп (ш, в)1п(рп(ш, в))
1=о
С учетом того, что качество ответа измеряется бинарной величиной и вероятность правильного ответа равна
Р1(ш,в) = п(ш,в) = ^1а-Ш)а (1)
Имеем
1(ш, в) = - (п(ш, в)1п(п(ш, в)) + (1 - п(ш, в))1п(1 - п(ш, в)))
Можно доказать следующее:
Если вероятность правильного ответа имеет вид (1), то уровень сложности вопроса ю, обеспечивающий максимум энтропии I (ш, в), равен 6.
Данный результат определяет стратегию рекуррентного оценивания уровня знаний обучаемого.
Если после на некотором шаге получена оценка уровня знаний обучаемого вп, то для уточнения этой оценки обучаемому следует предложить задание с уровнем сложности шп+1 = вп. Предположим, что рекуррентная оценка уровня знаний обучаемого на каждом шаге тестирования вычисляется в классе линейных оценок, т.е. относительно функции С(вп, шп+1, шп+1) будем предполагать, что она имеет вид
С(в,ш,ш) = в + у(ш - р(ш, в)),
где 0 < у < 1 - некоторый параметр. Тогда в случае бинарного показателя качества процедура рекуррентного оценивания принимает вид
вп+1 = вп + уп+1 (шп+1 - ^п+Ъ вп)) (2)
где шп+1 - показатель качества ответа обучаемого на задание, предложенное на (п+1)-м шаге тестирования, а уп+1 - некоторый положительный коэффициент. В случае оценивания по бинарной шкале «правильно - неправильно» показатель качества ответа принимает два значения: ноль или единица. В выражении (2) показатель качества ответа априорно является случайной величиной. Поэтому априорно и значение вп+1 оценки уровня знаний обучаемого на (п+1)-м шаге тестирования является случайной величиной.
Заметим, что такая стратегия не зависит от величины корректирующего параметра у в случае, если коррекция оценки осуществляется по линейному закону.
Литература
1. Мочалина Е.П., Маслякова И.Н., Иванкова Г.В., Татарников О.В. Совместное оценивание уровня подготовки и сложности задания. // Сборник трудов Международной научной конференции под эгидой премьер-министра РА О.Абраамяна «Образование, наука и экономика в вузах и школах. Интеграция в международное образовательное пространство». - Горис, 2015. -С. 147-152.
2. Мочалина Е.П. Маслякова И.Н. Модель оценивания уровня знаний студента. // Вестник Российского экономического университета им.Г.В.Плеханова. 2015. № 4.С. 63.
3. Баранов Н.А., Маслякова И.Н. Статистические процедуры оценивания уровня знаний. М.: ВЦ РАН, 2009.
