CC BY
14
зование: Международный научный журнал для европейской интеллектуальной элиты. - София, 2008. № 2. С. 16-25.
5. Григорьев С. И. К вопросу о базовых критериях качества образования и ключевых социальных компетенциях в современной России // Вестник Учебно-методического объединения вузов России по образованию в области социальной работы. 2006. № 2. С. 19-28.
6. Зимняя И. А. (ред.). Становление ключевых социальных компетентностей на разных уровнях образовательной системы (дискутивная характеристика как база оценивания). - М.: Исследовательский центр проблем качества подготовки специалистов. 2006. 82 с.
7. Талызина Н. Ф. Управление процессом усвоения знаний (психологические основы). 2-е изд. - М.: МГУ, 1984. 344 с.
Selective plans of computer monitoring of quality of education
Valentin Viktorovich Nechaev, professor of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
Alexandr Petrovich Sviridov, professor of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
Alisa Viktorovna Bogoradnikova, teaching assistant of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
Viktor Mihaylovich Panchenko, professor of the Departmen, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
The paper presents single-stage, two-stage and sequential plans of computer monitoring of educational quality and their main characteristics which are necessary for solving analysis tasks and plans synthesis.
Key words: teacher, trainee, knowledge control, quality of education, competence.
УДК 378:004
ОДНОСТУПЕНЧАТЫЕ ПЛАНЫ ДВУХБАЛЛЬНОГО КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ ПО АЛЬТЕРНАТИВНОМУ ПРИЗНАКУ: АНАЛИЗ И СИНТЕЗ
Валентин Викторович Нечаев, профессор кафедры,
e-mail: nechaev@mirea.ru, Александр Петрович Свиридов, профессор кафедры, e-mail: prof_sviridov@mail.ru, Алиса Викторовна Богорадникова, ассистент кафедры, e-mail: bogoradnikova@mirea.ru, Борис Борисович Чумак, доцент кафедры, e-mail: chumak@mirea.ru Московский технологический университет (МИРЭА), https://www.mirea.ru
В статье рассмотрены способы анализа и синтеза одноступенчатых планов компьютерного контроля знаний, наиболее широко представленных в системах электронного и дистанционного образования.
Ключевые слова: обучаемый; педагог; контроль знаний; оценка ответов; оперативная
характеристика. D0I; 10.21777/2312-5500-2017-1-22-29
Задача двухбалльного контроля знаний (ДКЗ) при использовании одноступенчатого плана состоит в принятии решения о том, достаточна или нет подготовка обучаемого или достигнута или нет цель обучения.
22 Образовательные ресурсы и технологии ^2017'1 (18)
Пример 1. Обучаемый отвечает на выборку из п = 10 вопросов (задач). Если число неправильных ответов т не больше двух (с = 2), то он получает оценку «зачтено», или «сдал». Этот план контроля знаний сокращенно можно обозначить так: (10.2). Рассмотрим основные характеристики такого плана.
1.1.Оперативная характеристика
Оперативная характеристика (ОХ) представляет зависимость вероятности получения положительной оценки от действительной вероятности Р неправильного ответа на вопрос/задачу. Предположим, что ответы обучаемого оцениваются безошибочно. В этом случае обучаемый получает положительную оценку с вероятностью:
Р{т < с)= ГП,С(Р) =^ст=0 Р\п,т),
где Р*(п, т) - вероятность того, что при ответе на выборку из п вопросов обучаемый допустит т ошибок, или в случае биномиального распределения Ы(п, Р) числа неправильных ответов на выборку вопросов:
т *
(Р) = Гш=о CZ1 Рт(1
pyn-m = Bi(c| n, p)
(1)
для n > 0 и 0 < с < п.
A.B. Богорадникова
Ln,c (P(a)) =
Биномиальная модель (1) была предложена независимо друг от друга А. Свиридовым (1968, 1974, 1981 гг.), Лордом и Новиком (1968 г.), Клауером, Фрикке, Шотом (1978 г.), Фишером (1974 г.) и Мильманном (1972 г.) в предположении, что ответы обучаемого оцениваются безошибочно. Эта модель нашла затем подтверждение в работе Н. Н. Моисеева (2001 г.). Биномиальная модель для общего случая оценки ответов с искажениями была развита в работах А. П. Свиридова (1968, 1972, 1974, 1981 гг.).
В случае обобщенного биномиального распределения получаем [1-4]:
где Р(а) = (P1(a), P2(a), ..., Pn(a))' - матрица-столбец вероятностей неправильного ответа на первый, второй, ..., n-й вопрос для обучаемого со степенью компетенции a, zt - ответ на i-й вопрос: zi = 1 при правильном и zi = 0 при неправильном ответе.
Запись Тп,с*(Р) для ОХ означает, что ОХ зависит от параметров п и с и рассматривается как функция вероятностей неправильных ответов.
Оперативная характеристика при распознавании истинности ответов с искажениями
При ККЗ, когда истинность ответов обучаемого оценивается с искажениями, вместо действительной вероятности Р неправильного ответа фиксируется вероятность
Р = АР).
При использовании выборочного способа ввода ответов эту зависимость можно аппроксимировать прямой линией:
Р = Р{ 1-р,
(2)
где - математическое ожидание числа ответов, которыми сопровождаются вопросы/задачи.
Если при этом справедливо биномиальное распределение В1(п, Р), то имеет место
следующее фундаментальное соотношение:
Р(т < с) = Ьп,*(Р) = 2^=0 С™ РШ(1 - Р)" = Б1(с| п, Р), (3)
или
¿п,с(Р) = ^п,с*(Р), (4)
где Ьпс*(Р) - ОХ простого плана контроля знаний при безошибочном распознавании истинности ответов.
Отметим, что связь (4) между ОХ плана контроля знаний при наличии и отсутствии искажений в оценке ответов справедлива для всех версий планов.
Возможны три случая:
• искажения неправильных ответов преобладают;
• искажения неправильных и правильных ответов уравновешиваются;
• искажения правильных ответов преобладают.
В первом случае:
Р < Р и, соответственно, ОХ Ьпс(Р) сдвигается вправо относительно Ьпс*(Р): Ь„,с(Р) > ¿п,с*(Р).
Во втором случае:
Р = Р и Ь„с(Р) = ¿п,с*(Р).
В третьем случае:
Р > Р и ОХ сдвигается влево относительно Ьп,с*(Р): Ьпс(Р) < Ь„с*(Р).
ОХ можно определить и так:
Ь„,с*(Р) = 1 - 1р (с + 1, п - с) = /1_р(п - с, с + 1), где 1р (с + 1, п - с) - табулированная неполная бета-функция.
Ее таблицы составлены для с + 1 < п - с. При с + 1 > п - с следует использовать
связь
1Р(п - с, с + 1) = 11-Р (с + 1, п - с).
Для определения ОХ в случае биномиального распределения (1) или (3) можно использовать номограммы Ларсона (1967 г.). Они отображают связь между вероятностями Р или Р неправильного ответа, приемочным числом с, объемом выборки п и соответствующей вероятностью Ьпс*(Р) или Ьп,с(Р).
Пример 2. Студент не усвоил 40% учебного материала (Р = 0,4). Двухбалльный ККЗ проводится с помощью интеллектуальной обучающей системы по плану (2), причем искажения в оценке ответов отсутствуют. Чему равна вероятность получения положительной оценки этим студентом?
Решение. Подставив Р = 0,4 в (1), получаем: ¿Щ2*(Р = 0,4) = Б1(2| 10; 0,4) = 0,167.
Пример 3. Как изменится вероятность положительной оценки при проведении ККЗ по тому же плану, когда контроль проводится другой обучающей системой, допускающей искажения при оценке ответов? Предположим, что между вероятностями Р и Р имеет связь (2) с £ = 4.
Решение. Из (2) для Р = 0,4 имеем: Р = 0,4(1 - 0,25) = 0,30. Подставим это значение Р в (3). получаем: ¿Щ2(0,4) = ЬЩ2*(0,3) = Б1(2| 10; 0,3) = 0,382.
1.2. Риски недооценки и переоценки знаний
Часто целесообразно установить два граничных значения Р1 и Р2 и использовать следующее правило принятия гипотез Н1 и Н2:
Р < Р1 ^ Н1,
Р1 < Р < Р2 ^ зона безразличия между Н1 и Н2. (5)
Р > Р2 ^ Н2.
Аналогично статистическому контролю качества продукции назовем величины Pi и Р2 соответственно границей приема (AQL-acceptable quality level) и границей отклонения (LTPD = lot tolerance percent defective oder, RQL = rejectable quality level).
Вследствие выборочного характера процесса контроля при Р < Р1 обучаемый может быть недооценен, а другой обучаемый в случае Р > Р2 - переоценен. На основе (5), (6) можно определить риски недооценки и переоценки знаний при контроле по простому (одноступенчатому) плану при безошибочной оценке истинности ответов:
а* = 1 - P(m < c/P = Pi) = 1 - L„,c*(Pi), (6)
ß* = P(m > c/P = P2) = L„,c*(P2) или в случае биномиального распределения Bi(n, P) числа неправильных ответов:
а* = 1- Гт=0 CJT Pjn(l-P1)n-m, (7)
ß*= Гт=0 C? P2m(l-P2)n-m.
При наличии искажений в распознавании истинности ответов и справедливости биномиального распределения Bi(n, Р) следует:
а = 1 - L„,c(P1) = 1 - Ln,c*(P1) = 1- Гт=о C™ РГ(1- Pi)n-m (8)
ß = 1 - L„,c(P2) = L„,c*(p2) = Zm=o C™ Р?(1 - P2)n-m
Ниже предположим справедливость соотношений
0 < P1 < P2 < 1 и 1 > 1 - а > 0,5 > ß > 0.
Пример 4. Дано: n = 10; с = 2; P1 = 0,2; P2 = 0,3. Определить риски недооценки и переоценки знаний при отсутствии и наличии искажений в оценке ответов. Для ККЗ подготовлена программа контроля. Каждый вопрос или задача сопровождается в среднем четырьмя ответами (S = 4): один ответ правильный, три других - неправильные. Связь Р = f(P) аппроксимируется прямой линией (2) с S = 4.
Решение. Определим сначала риски недооценки и переоценки знаний в случае безошибочного распознавания истинности ответов. Подставив Р1 = 0,2 и Р2 = 0,3 в (7), (8), получаем: а* = 0,323, ß* = 0,382. Из (2) при S = 4 следует: Р1 = 0,15, Р2 = 0,225. Подставив эти значения Р1 и Р2 в (8) получаем: а = 0,180, ß = 0,602.
1.3. Реализация психометрической функции педагога
При двухбалльном контроле знаний опенка как случайная переменная принимает два значения: у = 1 и у = 0 с вероятностями L(P) и 1 - L(P) (при наличии искажений в распознавании истинности ответов) и с вероятностями L*(P) и 1 - L*(P) (в случае безошибочной оценки ответов). В силу этого реализации психометрической функции педагога (эксперта) посредством интеллектуальной обучающей или поддерживающей системы при отсутствии и наличии искажений в оценке ответов обучаемого можно определить так:
M*(y/P) = L*(P), M(y/P) = L(P),
т. е. реализация психометрической функции при ККЗ совпадает с ОХ.
1.4. Синтез плана по двум точкам оперативной характеристики. Безошибочное распознавание ответов
Необходимо так определить объем выборки и приемочное число с, чтобы соответствующая ОХ проходила примерно через две заданные точки. Для этой цели представим требования к ОХ следующим образом:
Ln,c*(P) > 1 - а* для всех Р < Рь
Ь„,*(Р) < в* для всех Р > Р2, (9)
где Р1 и Р2 - границы выставления оценок «зачтено» и «не зачтено», а а и в - риски недооценки переоценки знаний обучаемого.
Условия (9) эквивалентны следующим условиям для двух точек ОХ:
Ь*(Р{) > 1- а* и Ь*(Р2) < в*, (10)
ибо ОХ Ь*(Р) - монотонно убывающая функция относительно Р.
Если установить Ь*(Р\) = 1 - а* и £*(Р2) = в*, то ОХ должна пройти через две точки (Р1, 1- а*) и (Р2, в*). На основе условий (10) синтезируется план (п, с).
Решение для ОХ биномиального типа
Численное решение задачи в этом случае существенно упрощается на основе обратной функции Б-распределения [2-5]. Условие (10) можно преобразовать в равносильные условия
с+1
=-;—Л——Л-, (11)
с+1+(п-с)р-1(а*;2(п-с),2(с+1))
р _ (с+1)Р-1(1-р*;2(с+1),2(п-с)) (12)
2 п-с+(с+1)Р-1(1-р*;2(с+1),2(п-с)) ' ^ '
где - квантиль Б-распределения: ^(1 - а*; 2(п - с), 2(с + 1)) - квантиль уровня (1 - а*) со степенями свободы 2(п - с) и 2(с + 1) и ^(1 - в*; 2(с + 1), 2(п - с)) - квантиль уровня (1 - в*) со степенями свободы 2(с + 1) и 2(п - с).
Распознавание ответов с искажениями
Условия для двух точек ОХ имеют вид
Ь„,с(Р1) > 1 - а и Ь„с(Р2) < в- (13)
Если установить Ьп^с(Р 1) = 1 - а и Ьпс(Р2) = в, ОХ Ьпс(Р) пройдет через две точки (Р1, 1 - а) и (Р2, в). Эти условия (13) относительно ОХ Ьпс(Р) при наличии искажений в распознавании ответов и учете связи (4) равносильны условиям относительно ОХ Рп,с*(Р) при безошибочном распознавании ответов:
Ь„/(Р1) > 1 - а и Ьп/( Р2) < в. (14)
Отсюда следует:
1) для определения эквивалентного и 8-эквивалентного простого плана (п*, с*) контроля знаний при наличии искажений в распознавании ответов необходимо сначала рассчитать значения Р1 и Р2 по заданным значениям Р1 и Р2 на основе (2),
2) полученные значения Р1 и Р2 вместо Р1 и Р2 подставляются в неравенства (11), (12) для ОХ биномиального типа.
Таким образом определяется эквивалентный или 8-эквивалентный план (п*, с*) контроля знаний при наличии искажений в оценке ответов. Следует отметить, что эквивалентный или 8-эквивалентный план (п*, с*) компенсирует искажения при оценке ответов относительно ОХ.
Разработаны способы синтеза одноступенчатого плана ККЗ при отсутствии и наличии ошибок в измерении признаков и аппроксимации биномиального распределения х2-распределением, Б-распределением и нормальным распределением [1-3].
Планы (п, с) и (п*, с*), рассчитываемые для контроля знаний при наличии и отсутствии искажений в оценке ответов, эквивалентны по двум точкам ОХ: при одинаковых значениях Р1 и Р2 они обеспечивают одни и те же риски недооценки и переоценки знаний. Синтез простого плана контроля знаний в случае биномиальной ОХ на основе неравенств (11), (12) сопряжен с относительно большими вычислительными затратами. Для графоаналитического определения приближенного решения можно использовать номограммы Ларсона [1-3].
Аппроксимация биномиального распределения нормальным
При пР(1 - Р) > 9 для аппроксимации ОХ Ь*п с (Р) можно использовать нормальное распределение в виде
г+П с*-'пР
¿',с( Р ) = (15)
где Ф(.) - стандартное нормальное распределение N(0; 1). Отсюда можно определить 50%-ю точку ОХ:
, /с+0,5-пр\ _ - _ с+0,5
Ф = ПРИ ро.5 = — (16)
т. е. Р0,5 = (с + 0,5)/п - хорошая оценка для 50%-й точки ОХ Ь*пс(Р). При Р < Р0,5 обучаемый с большей вероятностью получает оценку «зачтено» («сдал»), а при Р > Р0 5 -наоборот, «не зачтено» («не сдал»). На основе (15) получаем
1 - а* = Ф [(с + 0,5 - пР1)\^пР1{1-Р1)],
в* = Ф [(с + 0,5 - пР2):7ПР2(1-Р2)]
или
с = п^+ ^а-^^^+^СПУ^^ ^ — 0,5, (17)
п- , (18)
где Ф-1(а*), Ф-1(1-а) и Ф-1(в*) - квантили стандартного нормального распределения уровней а, 1 - а и р.
Таким образом, получены соотношения для синтеза простого плана контроля знаний при безошибочной оценке ответов. Они могут быть использованы и при наличии искажений в оценке ответов. В этом случае в полученные соотношения (17), (18) вместо значений Р1 и Р2 следует подставлять значения Р1 и Р2. Таким образом можно определить простой план ККЗ при наличии искажений в оценке ответов, эквивалентный или 8-эквивалентный плану контроля знаний с безошибочной оценкой ответов.
2. Графический анализ и синтез одноступенчатого плана двухбалльного компьютерного контроля знаний на основе номограмм Ларсона
Графический анализ одноступенчатого плана двухбалльного (компьютерного) контроля знаний
Для определения значения ОХ (вероятности получения оценки «зачтено») для студента со степенью неподготовленности Р или Р проводится прямая линия между точкой Р или Р на левой шкале номограмм Ларсона и точкой пересечения кривых п и с для плана (п, с) до пересечения с правой шкалой. По этой точке пересечения и определяется значение ОХ [1-3].
Пример 5. Дано: п = 10, с = 2, Р = 0,4. Определить значение ОХ (т. е. вероятность получения оценки «зачтено»).
Решение. Проводим прямую линию между точкой Р = 0,4 на левой шкале и точкой пересечения кривых п = 10 и с = 2 для плана (10, 2) до пересечения с правой шкалой. По этой точке пересечения находим: Ь*102(Р = 0,4) = 0,18.
Пример 6. Пусть ККЗ проводится по тому же плану (10, 2), что и в примере 5. Однако для контроля используется программа КХ с выборочным способом ввода ответов, причем среднее число ответов при одном правильном ответе равно 4: £ = 4. Определить значение ОХ Ь(Р = 0,4).
Решение. Из (2) при S = 4 получаем: Р = 0,4(1 - 1/4) = 0,3. Проводим прямую линию между точкой Р = 0,3 на левой шкале и точкой пересечения кривых n = 10 и с = 2 для плана (10, 2) до пересечения с правой шкалой. По ней определяем: L*102 (P = 0,4) = ГЩ2(Р = 0,3) = 0,36.
Графический синтез простого плана компьютерного контроля знаний
Он может быть осуществлен на основе номограмм Торндайка и Ларсона [1-3]. В случае номограмм Ларсона (рис. 1) при отсутствии искажений в оценке ответов через точки Р = Р1 на левой шкале и G = 1- а* на правой шкале проводится одна прямая, а другая прямая проводится через точки Р2 на левой шкале и G = в* на правой шкале. Параметры n и с плана контроля знаний определяются по точке пересечения двух прямых.
*
Пример 7. Даны требования к плану контроля: Р1 = 0,2; а = 0,3; Р2 = 0,3; в* = 0,35. Из номограммы Ларсона получаем: n = 12, с = 3.
Пример 8. Даны те же условия Р1 = 0,2; а = а* = 0,3; Р2 = 0,3; в = в* = 0,35. Каждый вопрос в среднем сопровождается четырьмя возможными ответами (S = 4), один из которых правильный. Между вероятностями Р и Р имеет место связь (2).
Решение. На основе (2) имеем: Р1 = 0,15; Р2 = 0,225. Из номограммы Ларсона следует: n = 18, с = 3.
Простые планы (12.3) и (18,3) (примеры 7 и 8) эквивалентны с точки зрения рисков недооценки и переоценки знаний. Подобно теории кодирования выполнение требований к контролю знаний при переходе от безошибочной оценки ответов к оценке ответов с искажениями может быть достигнут путем введения избыточности (увеличения числа задаваемых вопросов/задач).
3. Усеченный одноступенчатый план контроля знаний с ограничением по числу неправильных ответов
Если обучаемый допускает с + 1 ошибку при ответе на ri (ri < n) вопросов при применении плана (n, с), то контроль знаний можно прекратить и остальные n - ri вопросов не задавать, ибо он все равно получит оценку «не зачтено» («не сдал»). Соответствующий план контроля знаний назовем усеченным одноступенчатым планом и обозначим (n, c)a (semicurtailed inspection). Действительные затраты на контроль или случайное число вопросов/задач, предлагаемых обучаемому, принимает значения
, _(i, если mt — 1 < с при i = с + 1,..., n, п ~ ( n, если mn <с,
где mt - число неправильных ответов на i вопросов. При больших значениях Р достигается большая экономия времени контроля.
Математическое ожидание числа ri при применении плана (n, с)а зависит, естественно, от вероятности Р неправильного ответа и может быть названо средним объемом проверки (ASN = average sample number) при плане (n, с)а В случае биномиального распределения Bi(n, Р) числа неправильных ответов и отсутствии искажений в оценке ответов оно определяется так [1-3]:
5t(c| п,Р) =£ С™ Рт(1 - Р)п-т
Рис. 1. Номограммы Ларсона
( п, где Р = 0,
т,т=jcii+(„_£il)i;АР) -^^РЧ1 - РГ- где 0 <Р <1.
Для граничных значений Р = 0 и Р = 1 имеем: М*(и'/0) = n и М*(и'/1) = с + 1.
В случае ККЗ с искажениями в оценке ответов обучаемого вместо действительной вероятности Р фиксируется вероятность Р. Средний объем проверки М(п'/Р) определяется при этом на основе связи
М(п'/Р) = М*(п'/Р ), (20)
аналогичной связи (4) между OX L(P) и L*^). Связь (20) между средними объемами проверки справедлива для всех планов с искажениями в оценке ответов и без искажений.
Литература
1. Свиридов А. П. Статистическая теория обучения. - М.: РГСУ, 2009. 570 с.
2. Свиридов А. П. Rechnergestützte Kenntnis-Prüfung: zur Modellierung der Mensch-MenschBeziehungen (Компьютерный контроль знаний: к моделированию отношений человек - человек). - Duesseldorf: Superbrain-Verlag, 2006. 434 с.
3. Свиридов А. П. Стандартизированные методы на примере контроля и диагностирования знаний: монография. - М.: РГСУ, 2011. 294 с.
4. Сигов А. С., Коршунов С. В., Нечаев В. В., Свиридов А. П. Единая система кадрового обеспечения сферы информатизации России (концептуальные основы) // «Э» и «М» Еврообра-зование: Международный научный журнал для европейской интеллектуальной элиты. - София, 2008. № 2. С. 16-25.
5. Богорадникова А. В., Нечаев В. В., Панченко В. М., Шмелева Д. В. Модельное представление количественной оценки качества конструируемых ответов в компьютерных обучающих системах // Современные информационные технологии и ИТ-образование. 2016. Т. 12. № 2. С.114-118.
One-stage plans of two-point scale computer knowledge control by alternative attribute: analysis and synthesis
Valentin Viktorovich Nechaev, professor of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
Sviridov A.P., professor of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
Bogoradnikova A.V., teaching assistant of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
^umak B.B., associate professor of the Department, Federal State Budget Educational Institution of Higher Education «Moscow Technological University» (MIREA)
The article presents methods of analysis and synthesis of one-stage plans of computer knowledge control, which are mostly presented in e-learning and distance education.
Key words: trainee, teacher, knowledge control, answer rating, operational characteristics.
