CC BY
27
УДК 378.146: 519.67
ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ СОСТОЯТЕЛЬНОСТИ ОЦЕНОК ЛАТЕНТНЫХ ПАРАМЕТРОВ МОДЕЛИ РАША
И.Н. Елисеев, к.т.н. (Южно-Российский государственный университет экономики и сервиса,
г. Шахты, еъпфр^и.ги)
Состоятельность оценок максимального правдоподобия латентных параметров «трудность задания» теста Р* и «уровень подготовки» студента 9* однопараметрической дихотомической модели Раша при неограниченно возрастающем объеме выборки студентов N и числе заданий теста L подтверждена результатами вычислительного эксперимента. Показано, что предельные значения оценок латентных параметров достигаются при N=1500 и L=1500 и с дальнейшим ростом М, L практически не изменяются. Предложен метод калибровки заданий теста по матрицам результатов тестирования ограниченного объема, позволяющий существенно снизить ее погрешность.
Исследования выполнялись на основе вычислительного эксперимента. В первой его части исследовалась зависимость оценок максимального правдоподобия латентных параметров Р* и 9* от размера матрицы результатов
тестирования. Предполагалось, что распределения оценок Р* и 9* являются нормальными. На основе
дихотомической матрицы ответов размером 60х49 и предложенного автором алгоритма были сформированы нормативные дихотомические матрицы результатов тестирования размером от 501x500 до 2505x2505. Затем они обрабатывались, данные обработки представлялись графически. Анализировались и сравнивались между собой
оценки латентных параметров 9*(к\к = 1,5 , 1 = 1, Мк) , а также Р*(т) (т = 1,5, ] = 1,Ьт ).
Во второй части вычислительного эксперимента полученные на моделях матриц ответов результаты проверялись на реальной матрице результатов тестирования М1 размером 51x50. Модели нормативных матриц ответов формировались с использованием статистических параметров распределения статистик Р* и 9*, рассчитанных по
матрице М1. Полученные оценки латентных параметров 9*(к) и Р*(т) сравнивались с соответствующими значениями
оценок параметров Р* и 9* матрицы М1.
Ключевые слова: дихотомическая матрица, модель матрицы, тест, состоятельность оценок, задание теста, латентный параметр, модель Раша.
EXPERIMENTAL STUDY OF AN ESTIMATOR CONSISTENSY RELATED TO THE RASH MODEL LATENCY FEATURES Eliseev I.N., Ph.D. (South-Russian State University of Economics and Service, Shakhty, [email protected]) Abstract. Consistency of an estimator of the maximum likelihood related to latency features «task severity» of the test P* and «preparation level» of a student 0* in one-parameter dichotomous Rash model when the amount of selected students
N and number of the test task L grows without limitation, is supported by computing experiment. It is shown that extreme values of latency features are achieved when N=1500 and L=1500, and they stay stable with following growth of N, L. They offer calibration technique to calibrate test tasks by test resulting matrix of limited amount, which significantly reduces its measure of inaccuracy.
The study was performed based on computation experiment. First part of the study examined dependence of the maximum likelihood related to latency features P* and 0* from matrix size of the test results. It was assumed that estimate distribution P* and 0* was normal. Based on dichotomous result matrix with dimensions of 60x49 and provided algorithm, the
author formed reference dichotomous resulting matrix of tests with dimensions of 501 x500 to 2505x2505. Then they were processed and the data was presented in graphic form. Data was analyzed and latency features were compared among themselves 0*(k)(k = 15~, i = 1N) , and P*(m) (m = 15, j = 1,Lm ) as well.
In the second part of the computing experiment, results received from the result matrix model were checked upon M1 real test result matrix with dimensions of 51x50. Reference result matrix models were formed using statistic parameters of statistics distribution P* and 0*, calculated with M1 matrix. Resulting estimation of latency features 0*(k) and P*(m) were
compared against proper estimations of P* and 0* of Ml matrix.
Keywords: dichotomizing matrix, matrix model, test, solvency of estimations, test's task, latent parameter, Rush's model.
Независимая оценка качества образования с помощью современных контрольно-оценочных средств базируется на использовании однопараметрической дихотомической модели Раша [1]
Ра = -
1 + е
Д-Р;
где ei - уровень подготовки i-го
студента; в - трудность j-го задания теста; p-- -
е
вероятность правильного выполнения /-м студентом --го задания. Точность расчета латентных параметров 0, (I = 1. N ) зависит от того, насколько точно известны значения латентных параметров в-(у = 1, Ь), где N - число студентов, участвующих в тестировании; Ь - число заданий используемого при этом теста. Чем точнее определены значения в-, тем качественнее (с меньшей погрешностью) будут рассчитаны значения в/ латентного параметра «уровень подготовки» студента. Оценки р*
и 0* латентных параметров /;, и 0, рассчитываются по результатам тестирования, которые представляются в виде дихотомической матрицы ответов Х=(Ху) [1]. Расчет оценок осуществляется численными методами на основе итерационных выражений [1, 2], полученных с использованием метода максимального правдоподобия.
Важным требованием к оценкам максимального правдоподобия (3* и 0* латентных параметров
однопараметрической дихотомической модели Раша является наличие у них свойства состоятельности [3].
Состоятельность оценок (3* (j = l,L) при неограниченном возрастании объема выборки участников тестирования N и конечном числе одинаковых по трудности (в=0) заданий теста Ь доказана теоретически [4]. Затем было установлено, что оценки максимального правдоподобия р* и 0*
латентных параметров однопараметрической дихотомической модели Раша являются состоятельными при N^-1» и Ь^да.
Целью данной работы является экспериментальная проверка состоятельности оценок максимального правдоподобия 0*, р* латентных параметров однопараметрической дихотомической модели Раша при неограниченно возрастающем объеме выборки студентов N и числе заданий теста Ь.
Проверка проводилась на основе вычислительного эксперимента. В первой его части исследовалась зависимость оценок максимального правдоподобия латентных параметров «трудность задания» теста р* и «уровень подготовки» студента
9* от размера матрицы результатов тестирования (матрицы ответов). Предполагалось, что распределения оценок р* и 9* являются нормальными.
В качестве их параметров были приняты значения, полученные при обработке модели нормативной дихотомической матрицы ответов размером 60x49 (первая строка таблицы 1). С их использованием на основе методики моделирования дихотомических матриц ответов, изложенной в [5], и созданного на ее основе алгоритма формировались мо-
дели дихотомических матриц размером 501x500, 1002x1000, 1503x1500, 2004x2006 и 2505x2505. Затем они обрабатывались программным комплексом RILP-1M [6], анализировались и сравнивались между собой оценки латентных параметров
(к = 1,5 , / = м=501, №=1002, N¡=1503,
№,=2004, Ж5=2505) и р
■(т)
(от = 1,5, )= 1 Ьт
^=500, Ь2=1000, Ь3=1500, Ь4=2006, Ь5=2505) при одинаковых значениях р, и р-, где р, — доля верных ответов /-го виртуального студента на все задания виртуального теста, соответствующего исходной модели матрицы; р/ — доля верных ответов всех виртуальных студентов на ,-е виртуальное задание этого же теста. Анализ полученных данных начинался со сравнения статистических параметров, характеризующих распределения оценок: выборочных средних 9(к-1, р(т) и оценок стандартных
„ *(к) *(т)
отклонений стеч и стр( ), которые представлены в
таблице 1 в строках со 2-й по 6-ю. Из сравнения видно, что значения параметров достаточно близки, поэтому можно считать представительство результатов тестирования виртуальных студентов с разным уровнем подготовки и результатов выполнения виртуальных заданий с разным уровнем трудности во всех моделях матриц примерно одинаковым, что является свидетельством их нормативности.
Таблица 1
Статистические параметры моделей матриц ответов
Размер матрицы 9, логит * логит Р, логит * логит
60x49 0,043 1,33234 0,000 1,42348
501x500 0,047 1,41256 0,000 1,45031
1002x1000 0,051 1,44373 0,000 1,46848
1503x1500 0,046 1,40319 -0,003 1,40221
2004x2006 0,042 1,40026 -0,002 1,415
2505x2505 0,042 1,40048 -0,002 1,40784
Различия между собой кривых р (9*(к)), полученных при разных значениях Л/. (к = 1. 5 ). и кривых pj (р*(т)), рассчитанных при различных значениях Ьт (т = 1, 5 ), наиболее заметны на краях диапазонов изменения оценок 9* и р*. На рисунке (а) представлены кривые р (9*(к)) для интервала изменения 9*( к) от 2 до 3 логит, а на рисунке (б) - для интервала от минус 3 до минус 4 логит. Из рисунка (а) видно, что значения 9*(к), соответствующие одному и тому же значению р/, тем больше, чем меньше размер матрицы. Наибольшие расхождения наблюдаются для значений 9*(к), рассчитанных по матрицам 501x500 (кривая 1) и
3, 4,
1, 2
2,8 3
в, логит
-500
-1000
-1500 -2000
2500
а) Р, (9*(к)) в диапазоне изменения вот 2 до 3 логит
0,10,
1, 2 "■* 0,08
— 0,07
0,06
4— 0,05
3, 4, 5 0,04
0,03
0,02
0,01
500
-1000
-1500
2000
2500
б) р (9*(к)) в диапазоне изменения 9 от -3 до -4
0,20 0,18 0,16 0,14 0,12 0,10 0,08 0,06 0,04 0,02 0,00
2
1
3, 4, 5
500
э*( т) л
2,5 -1000
3
-1500
3,5 4
р, логит
2000
2500
в) Рj (Р*( ) в диапазоне изменения в от 2 до 4 логит
Зависимости для моделей матриц разного размера:
1 - 501x500; 2 - 1002x1000; 3 - 1503x1500;
4 - 2004x2006; 5 - 2505x2505
2004x2006 (кривая 4). Например, при р,=0,86 эти различия составляют 2 %. Из рисунка (а) видно также, что значения 9*(3), 9*(4) и 9*(5) (кривые 3, 4, 5) практически одинаковы. Данный результат позволяет сделать вывод о том, что оценки латентных параметров 9*(к) достигают своих предельных значений при размере матрицы результатов тестирования 1500x1500 и при его дальнейшем увеличении не изменяются. Анализ различий
оценок 9*(к) в диапазоне от минус 3 до минус 4
логит (рис. (б)) показывает, что по сравнению с рисунком (а) характер поведения оценок не меняется: для одинаковых р, большим по модулю значениям 9*(к) соответствуют матрицы меньших размеров. Иначе говоря, крутизна кривых Р (9*(к)) возрастает с увеличением размера матрицы.
На рисунке (в) изображены кривые р (Р*(т))
для моделей матриц разных объемов, позволяющие судить о зависимости оценок латентного параметра «трудность задания» Р*(т) от размера
матрицы. Как и для оценок 9*(к), при N ¿>1500
Р*(т)
*( ) достигают своих предельных значений и с дальнейшим увеличением Ы, Ь не изменяются.
Таким образом, делаем следующие выводы:
1) с ростом объема выборки студентов N и числа заданий теста Ь оценки латентных параметров стремятся к предельным значениям, что является свидетельством их состоятельности;
2) оценки латентных параметров достигают предельных значений при N=1500 и ¿=1500 и с дальнейшим ростом N, Ь не изменяются, что позволяет говорить об их несмещенности;
3) с увеличением размера матрицы крутизна кривых р (9*(к)) и р . (Р*(т)) увеличивается.
Во второй части вычислительного эксперимента полученные на моделях матриц ответов результаты проверялись на реальной матрице результатов тестирования ограниченного объема, в качестве которой использовалась матрица ответов М1 размером 51x50. Анализ гистограмм оценок латентных параметров 9* (/ = 1,51) и Р* (у = 1,50),
рассчитанных с помощью программного комплекса RILP-1M, показал, что их распределения не противоречат гипотезе о нормальном законе распределения с параметрами тв=0,447 логит, св=0,85293 логит, дар=0,000 логит, ср=0,80755 логит. С использованием этих статистических параметров были сформированы 4 модели нормативных дихотомических матриц ответов [5]: М2 -503x503,М3 - 1003x1000,М4 - 1505x1507 и М5 -2003x2006 в предположении нормального распределения значений оценок латентных параметров
9*(к) и Р"
'(т)
рассчитанных по этим моделям мат-
риц. В процессе обработки сформированных моделей матриц наряду с оценками латентных параметров 9*(к) и Р*(т) находились их выборочные
средние арифметические 9(к), и оценки
.*( к)
*( т)
Р
ст„(т). Норматив-
стандартных отклонений ст^
ность исследуемых моделей матриц подтверждается данными таблицы 2.
р
0,92
0,90
0,88
0,86
0,84
0,82
0,80
2
2,2
2,4
2,6
р
-4
-3,8
-3,6
-3,4
-3,2
-3
в
р
2
во вторых столбцах таблиц 3, 4, значения оценок 9*( к) и р*(т) - в столбцах 3-6.
По долям верных ответов р/ первого столбца таблицы 3 находились соответствующие им значения р{(к) (/ = 1, N, к = 1,4) для каждого из четырех массивов, полученных по сформированным моделям матриц М2-М5. По значениям р\к) определялись значения 9*(к), которые заносились в столбцы с 3-го по 6-й таблицы 3, а затем сравнивались с оценками 9* и между собой. Анализ по-
Таблица 3
Зависимость оценок 9*(к) от размера модели матрицы
р/ 9(м 1), логит 9(м 2), логит 9(м3), логит 9(м4), логит 9(м 5), логит Лм 1) , логит „(м 4) , логит V
0,300 -0,960 -0,958 -0,966 -0,969 -0,964 0,329 0,059 5,58
0,740 1,193 1,19 1,188 1,189 1,187 0,339 0,062 5,47
0,540 0,196 0,187 0,183 0,181 0,182 0,304 0,055 5,53
0,540 0,196 0,187 0,183 0,181 0,182 0,304 0,055 5,53
0,500 0,012 0,004 -0,001 0,002 -0,001 0,303 0,055 5,51
0,560 0,289 0,279 0,275 0,276 0,275 0,304 0,056 5,43
0,580 0,382 0,373 0,368 0,372 0,37 0,306 0,056 5,46
0,460 -0,172 -0,179 -0,185 -0,185 -0,184 0,304 0,055 5,53
0,420 -0,359 -0,374 -0,37 -0,37 -0,369 0,307 0,056 5,48
0,660 0,767 0,76 0,756 0,756 0,756 0,317 0,058 5,47
0,860 2,026 2,051 2,035 2,039 2,034 0,420 0,078 5,38
0,520 0,104 0,086 0,091 0,092 0,091 0,303 0,055 5,51
0,600 0,476 0,467 0,463 0,463 0,464 0,308 0,056 5,50
0,460 -0,172 -0,179 -0,185 -0,185 -0,184 0,304 0,055 5,53
0,560 0,289 0,279 0,275 0,276 0,275 0,304 0,056 5,43
0,280 -1,071 -1,077 -1,064 -1,077 -1,074 0,336 0,061 5,51
0,400 -0,454 -0,468 -0,464 -0,464 -0,465 0,310 0,056 5,54
0,340 -0,750 -0,761 -0,758 -0,76 -0,758 0,319 0,058 5,50
0,720 1,081 1,076 1,074 1,076 1,073 0,332 0,061 5,44
0,960 3,441 3,451 3,468 3,477 3,501 0,729 0,127 5,74
0,820 1,706 1,716 1,709 1,714 1,711 0,382 0,071 5,38
0,720 1,081 1,076 1,074 1,076 1,073 0,332 0,061 5,44
0,480 -0,080 -0,097 -0,093 -0,094 -0,092 0,304 0,055 5,53
0,380 -0,551 -0,563 -0,561 -0,563 -0,56 0,312 0,057 5,47
0,640 0,668 0,66 0,656 0,66 0,657 0,313 0,057 5,49
0,800 1,566 1,567 1,566 1,571 1,568 0,368 0,068 5,41
0,580 0,382 0,373 0,368 0,372 0,37 0,306 0,056 5,46
0,640 0,668 0,66 0,656 0,66 0,657 0,313 0,057 5,49
0,380 -0,551 -0,563 -0,561 -0,563 -0,56 0,312 0,057 5,47
0,480 -0,080 -0,101 -0,093 -0,094 -0,092 0,304 0,055 5,53
0,680 0,869 0,862 0,861 0,861 0,859 0,321 0,058 5,53
0,640 0,668 0,66 0,656 0,66 0,657 0,313 0,057 5,49
0,740 1,193 1,19 1,188 1,189 1,187 0,339 0,062 5,47
0,880 2,213 2,243 2,226 2,23 2,226 0,447 0,082 5,45
0,440 -0,265 -0,282 -0,277 -0,277 -0,277 0,306 0,056 5,46
0,560 0,289 0,279 0,275 0,276 0,275 0,304 0,056 5,43
0,380 -0,551 -0,563 -0,561 -0,563 -0,56 0,312 0,057 5,47
0,540 0,196 0,187 0,183 0,181 0,182 0,304 0,055 5,53
0,700 0,973 0,967 0,964 0,967 0,964 0,326 0,059 5,53
0,740 1,193 1,19 1,188 1,189 1,187 0,339 0,062 5,47
0,480 -0,080 -0,101 -0,093 -0,094 -0,092 0,304 0,055 5,53
0,380 -0,551 -0,563 -0,561 -0,563 -0,56 0,312 0,057 5,47
0,660 0,767 0,76 0,756 0,756 0,756 0,317 0,058 5,47
0,540 0,196 0,187 0,183 0,181 0,182 0,304 0,055 5,53
0,600 0,476 0,467 0,463 0,463 0,464 0,308 0,056 5,50
0,480 -0,080 -0,101 -0,093 -0,094 -0,092 0,304 0,055 5,53
0,520 0,104 0,086 0,091 0,092 0,091 0,303 0,055 5,51
0,640 0,668 0,66 0,656 0,66 0,657 0,313 0,057 5,49
0,680 0,869 0,862 0,861 0,861 0,859 0,321 0,058 5,53
0,680 0,869 0,862 0,861 0,861 0,859 0,321 0,058 5,53
0,780 1,434 1,434 1,429 1,434 1,434 0,357 0,066 5,41
Таблица 2
Статистические параметры матриц ответов, моделирующих матрицу М1
Матрица 9 , логит * Ст0, логит р , логит * СТр , логит
51x50 0,447 0,85293 0,000 0,80755
503x503 0,466 0,86995 -0,009 0,82472
1003x1000 0,463 0,86537 -0,009 0,80942
1505x1507 0,464 0,86266 -0,009 0,81924
2003x2006 0,466 0,85647 -0,009 0,81161
Значения латентных параметров 9* (/= 1,51) и р* (-= 1, 50) исходной матрицы М1 представлены
лученных данных подтверждает полученные в первой части вычислительного эксперимента выводы: оценки латентных параметров 9*(к) стремятся к предельным значениям, которые достигаются при N, Ь > 1500. Отличия их от исходных оценок 9* для большинства заданий (исключая из
рассмотрения оценки |9*|< 0,1 логит) составляют
от 1 до 5 %, но могут достигать и 8 %. В столбцах 7 и 8 таблицы 3 показаны погрешности расчета оценок максимального правдоподобия латентных параметров модели Раша для исходной матрицы
ответов М1 и для модели матрицы ответов М4 размером 1505x1507, а в столбце 9 - кратность отношения погрешностей. Видно, что погрешность расчета значений оценок 9* по матрице М4 снижается более чем в 5 раз. Таким образом, моделирование реальной матрицы ответов позволяет уточнить значения оценок латентных параметров 9* и не менее чем в 5 раз снизить погрешность их расчета.
Аналогичный анализ оценок латентных параметров Р* (табл. 4), выполненный по описанной
Таблица 4
Зависимость оценок Р*(т) от размера модели матрицы М1
Р] п(Ы1) Р , логит ЫЫ 2) Р , логит ЫЫ 3) Р , логит ЫЫ 4) Р , логит ЫЫ 5) Р , логит о(Ы 1) £р , логит о(Ы 4) £р , логит V
0,470588 0,554 0,587 0,587 0,589 0,589 0,3 0,056 5,36
0,72549 -0,674 -0,662 -0,665 -0,662 -0,657 0,33 0,062 5,32
0,509804 0,374 0,412 0,408 0,408 0,409 0,299 0,056 5,34
0,686275 -0,464 -0,445 -0,446 -0,447 -0,445 0,318 0,059 5,39
0,862745 -1,611 -1,624 -1,622 -1,62 -1,617 0,419 0,078 5,37
0,705882 -0,567 -0,551 -0,554 -0,551 -0,549 0,324 0,06 5,40
0,411765 0,828 0,867 0,863 0,863 0,864 0,305 0,056 5,45
0,882353 -1,798 -1,818 -1,818 -1,814 -1,812 0,446 0,083 5,37
0,705882 -0,567 -0,551 -0,554 -0,551 -0,549 0,324 0,06 5,40
0,431373 0,735 0,773 0,769 0,772 0,773 0,303 0,056 5,41
0,686275 -0,464 -0,445 -0,446 -0,447 -0,445 0,318 0,06 5,30
0,588235 0,014 0,041 0,04 0,042 0,044 0,303 0,056 5,41
0,372549 1,017 1,059 1,051 1,052 1,055 0,311 0,057 5,46
0,392157 0,922 0,963 0,959 0,958 0,958 0,307 0,057 5,39
0,352941 1,115 1,148 1,15 1,151 1,15 0,314 0,058 5,41
0,54902 0,195 0,228 0,223 0,226 0,227 0,3 0,056 5,36
0,666667 -0,365 -0,341 -0,348 -0,343 -0,341 0,314 0,059 5,32
0,784314 -1,023 -1,027 -1,024 -1,018 -1,016 0,355 0,068 5,22
0,490196 0,464 0,495 0,496 0,497 0,5 0,3 0,056 5,36
0,490196 0,464 0,495 0,496 0,497 0,5 0,3 0,056 5,36
0,764706 -0,901 -0,899 -0,896 -0,895 -0,891 0,345 0,065 5,31
0,627451 -0,172 -0,151 -0,148 -0,147 -0,146 0,307 0,057 5,39
0,54902 0,195 0,228 0,223 0,226 0,227 0,3 0,056 5,36
0,411765 0,828 0,867 0,863 0,863 0,864 0,305 0,056 5,45
0,784314 -1,023 -1,027 -1,024 -1,018 -1,016 0,355 0,068 5,22
0,54902 0,195 0,228 0,223 0,226 0,227 0,3 0,056 5,36
0,254902 1,651 1,686 1,678 1,679 1,679 0,344 0,057 6,04
0,431373 0,735 0,773 0,769 0,772 0,773 0,303 0,056 5,41
0,431373 0,735 0,773 0,769 0,772 0,773 0,303 0,056 5,41
0,803922 -1,153 -1,148 -1,153 -1,154 -1,148 0,367 0,056 6,55
0,411765 0,828 0,867 0,863 0,863 0,864 0,305 0,056 5,45
0,745098 -0,785 -0,778 -0,775 -0,774 -0,773 0,337 0,063 5,35
0,647059 -0,267 -0,24 -0,247 -0,246 -0,242 0,31 0,056 5,54
0,803922 -1,153 -1,148 -1,153 -1,154 -1,148 0,367 0,056 6,55
0,607843 -0,079 -0,054 -0,056 -0,053 -0,049 0,305 0,057 5,35
0,392157 0,922 0,963 0,959 0,958 0,958 0,307 0,057 5,39
0,411765 0,828 0,867 0,863 0,863 0,864 0,305 0,056 5,45
0,862745 -1,611 -1,624 -1,622 -1,62 -1,617 0,419 0,078 5,37
0,647059 -0,267 -0,24 -0,247 -0,246 -0,242 0,31 0,056 5,54
0,72549 -0,674 -0,662 -0,665 -0,662 -0,657 0,33 0,062 5,32
0,411765 0,828 0,867 0,863 0,863 0,864 0,305 0,056 5,45
0,431373 0,735 0,773 0,769 0,772 0,773 0,303 0,056 5,41
0,705882 -0,567 -0,551 -0,554 -0,551 -0,549 0,324 0,06 5,40
0,588235 0,014 0,041 0,04 0,042 0,044 0,303 0,056 5,41
0,588235 0,014 0,041 0,04 0,042 0,044 0,303 0,056 5,41
0,470588 0,554 0,587 0,587 0,589 0,589 0,3 0,056 5,36
0,470588 0,554 0,587 0,587 0,589 0,589 0,3 0,056 5,36
0,509804 0,374 0,412 0,408 0,408 0,409 0,299 0,056 5,34
0,529412 0,285 0,32 0,315 0,316 0,317 0,299 0,056 5,34
0,745098 -0,785 -0,778 -0,775 -0,774 -0,773 0,337 0,063 5,35
схеме, также подтверждает полученные в первой части вычислительного эксперимента выводы. За счет моделирования матрицы ответов значения оценок латентных параметров р* могут быть
уточнены на 1-10 %, в отдельных случаях - на 16 %, а погрешность их расчета снижена в 5 и более раз.
На основе полученных результатов предложен следующий метод расчета оценок латентных параметров «трудность задания» р* (метод калибровки заданий) и «уровень подготовки» студента 9* по матрицам результатов тестирования ограниченного объема:
1) обрабатывают дихотомическую матрицу результатов тестирования ограниченного объема NHxЬH программными средствами, базирующимися на использовании теории латентных переменных и однопараметрической дихотомической модели Раша;
2) выявляют тип и параметры распределений оценок латентных переменных 9* и р* ;
3) формируют модель матрицы ответов размером 1500x1500 по найденным значениям параметров распределения оценок 9* и р*;
4) обрабатывают модель найденной матрицы; сверяют параметры распределений полученных статистик 9*(к) и р*(т) с параметрами распределений оценок 9* и р* исходной матрицы ответов;
если параметры сильно различаются, повторяют пункты 3 и 4 до тех пор, пока эти различия не станут приемлемыми;
5) по значениям долей pi верных ответов студентов на все задания и долей pj верных ответов всех студентов на задания теста, которые соответствуют найденным оценкам 9* и р* , находят наиболее близкие к ним значения pj0 и pj0, рассчитанные по сформированной модели дихотомической матрицы1500x1500;
6) выбирают из массивов значений 9*(к) и
Р
■О)
е;( к) i
J0 по значениям pi0 и pj0
оценки 9* и р'
(¡ = \Жн, У = И н);
7) принимают найденные оценки 9*0(к), р*(0т) и погрешности их расчета в качестве значений ла-
тентных параметров 9„ в- и погрешностей их расчета.
Таким образом, результаты вычислительного эксперимента подтверждают полученный теоретическим путем вывод о состоятельности оценок максимального правдоподобия латентных параметров в «трудность задания» теста и 9,- «уровень подготовки» студента при больших объемах выборки студентов N и большом количестве заданий
теста Ь. Установлено, что оценки 9*, р* достига-
е*
р;о при
ют своих предельных значении №=¿=1500.
Предложенный метод калибровки заданий теста по матрицам результатов тестирования ограниченного объема позволит существенно повысить ее точность и снизить погрешности оценки результатов образовательной деятельности.
Литература
1. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000. 168 с.
2. Елисеев И.Н. Теоретические основы алгоритма расчета латентных переменных программным комплексом RILP-1M // Программные продукты и системы. 2011. № 2 (94). С. 67-71.
3. Елисеев И.Н., Шрайфель И.С. Доказательство несостоятельности стандартных оценок латентных параметров дихотомической модели Раша // Изв. вузов: Электромеханика, 2012. № 1. С. 85-96.
4. Елисеев И.Н., Шрайфель И.С. Модель оценивания латентных параметров дихотомической модели Раша // Изв. вузов. Северо-Кавказский регион: Технические науки. 2011. N° 6. С. 37-46.
5. Елисеев И.Н. Модель дихотомической матрицы результатов тестирования // Программные продукты и системы. 2011. № 3. С. 80-86.
6. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1 // Программные продукты и системы. 2009. № 2. С. 178-181.
References
1. Neyman Yu.M., Khlebnikov V.A., Vvedenie v Teoriju Modelirovaniya i Parametrizacii Pedagogicheskikh Testov (Introduction to the Theory of modeling and parameterization of educational tests), Moscow, 2000, 168 p.
2. Eliseev I.N., Programmnye Produkty i Sistemy, 2011, no. 2 (94), pp. 67-71.
3. Eliseev I.N., Shrajfel I.S., Izvestiya Vuzov, Elektromekha-nika, 2012, no. 1, pp. 85-96.
4. Eliseev I.N., Shrayfel I.S., Izvestiya Vuzov. Severo-Kav-kazskiy Reg., Tekhnicheskie Nauki, 2011, no. 6, pp. 37-46.
5. Eliseev I.N., Programmnye Produkty i Sistemy,
no. 3, pp. 80-86.
6. Eliseev I.N., no. 2, pp. 178-181.
Programmnye Produkty i Sistemy,
2011, 2009,
Уважаемые коллеги!
Редакция работает над проектом нового электронного рецензируемого международного научно-практического журнала «Программные продукты, системы и алгоритмы» (www.swsys-web.ru). Принимаем заявки на публикацию.
НИИ «Центрпрограммсистем»,
170024, г. Тверь,
пр-т 50 лет Октября, д. 3а
Телефон: (4822) 39-91-49 Сайт: www.swsys.ru E-mail: [email protected]
