Оценка точности определения латентных параметров в новой модели тестирования Текст научной статьи по специальности «Компьютерные и информационные науки»

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

УДК 519.85:004.421

ОЦЕНКА ТОЧНОСТИ ОПРЕДЕЛЕНИЯ ЛАТЕНТНЫХ ПАРАМЕТРОВ В НОВОЙ МОДЕЛИ ТЕСТИРОВАНИЯ

© 2012 г. А.П. Попов

Южный федеральный университет, Southern Federal University

Ростов-на-Дону Rostov-on-Don

Подробно описана процедура вычисления латентных параметров в новой модели процесса тестирования. Значения латентных параметров получаются из системы нормальных уравнений правдоподобия, а теорема Рао - Крамера - Фреше позволяет найти асимптотически точные значения среднеквадратичных отклонений латентных параметров. Сравнение эмпирических и теоретических оценок точности вычисления латентных параметров приводит к заключению о грубом характере теоретических оценок.

Ключевые слова: модель процесса тестирования; процедура вычисления латентных параметров и оценка точности вычислений.

The procedure of latent parameters calculations in framework of new model of testing process is described in details. The values of latent parameters are obtained from the system of normal equations of likelihood, and Rao - Cramer - Freshet theorem allows finding asymptotically exact values of latent parameters mean-square deviations. The comparison of empirical and theoretical estimations of precisions of latent parameters calculations leads to conclusions about rough character of theoretical estimations.

Keywords: model of testing process; procedure of latent parameters calculations and estimation of calculations precisions.

В работе [1] впервые была описана новая модель тестирования, в которой предполагается, что поиск решения тестовых заданий является однородным во времени стохастическим процессом. Из этого предположения следует, что распределение времени поиска решения тестовых заданий совпадает с гамма-распределением

f (а, X, t) =е^X . (1)

^ ' Г(а)

Входящие в формулу (1) параметры а и X интерпретируются как трудность задания и уровень подготовленности испытуемого.

Созданная на основе новой модели система компьютерного тестирования «АЛЬФА» фиксирует не только правильность решения тестовых заданий, но и время, затраченное на решение каждого задания. После завершения сессии компьютерного тестирования формируются два массива, содержащие правильность решения тестовых заданий и время их решения. Процедура обработки данных, основанная на принципе максимального правдоподобия, позволяет найти наиболее вероятные значения латентных параметров модели. Логарифмическая функция правдоподобия в данном случае равна

п N , >

L(а,X,0 = 1п^(аг,X;,)) , (2)

г=1 у=1

где п - число заданий в индивидуальных тестах; N -число студентов, принявших участие в сессии тестирования; Ху и - правильность и время решения 1-го тестового заданияу-м студентом.

Необходимые условия максимума функции (2) приводят к системе нормальных уравнений правдоподобия, из которой и определяются наиболее вероятные значения латентных параметров модели:

1 N

у(аг) = — ЪХгу 1п(XД;) г = 1,2,...п ; (3)

^г У=1

ЕХг, уаг

XJ = ^- У = . (4)

/г, у

1=1

В формулах (3) - (4) введено обозначение N для общего числа студентов, верно решивших 1-е задание, и использовано стандартное обозначение у(а) для пси - функции Эйлера.

Система уравнений (3) - (4) допускает решение методом итераций, причем, как показал опыт, для достижения точности решения порядка е ~ 0,1 % обычно достаточно 10 - 20 итераций. Проблема выбора стартовых значений латентных параметров обсуждалась ранее в работах [1 - 4].

При реализации итерационной процедуры возникает задача вычисления функции, обратной к пси-функции. Нами были получены формулы, обеспечивающие точность вычисления обратной пси-функции не ниже 0,5 % при любых значениях аргумента:

V-1 (ß) =

ß 3e~3ß +2 24 640

ß 1 e eß +—

—+-, ß>0;

1

1

1-ß 3840

f

8325 9644

-T +-T

3097

(1-ß)2 (1-ß)3 (1-ß)4

ß< 0.

^(е^к = 1,2,...«+ж.

Опуская детали вычислений, приведем окончательный результат:

'К-) =

(

\

NV'(ai Н Pi Д(уМа-),

i = 1,2,..., n ; (6)

CT

j = 1,2,..., N . (7)

Входящая в выражения (6), (7) величина Д равна

д=1 -А е

(у) i=1 V'(a,-)

(8)

Результаты обработки данных используются при определении рейтинга, который для каждого испытуемого рассчитывается как суммарная трудность верно решенных заданий:

У j =

i=1

j = 1,2,...,N .

(5)

h,i =-

5 2 L '

30k 56,

k,l = 1,2,..., n + N .

В формулы (6) - (8) входит также ожидаемое среднее значение рейтинга испытуемых

(ii

Е рЛ

Затем для удобства сравнения оценка (5) приводится к 100-балльной шкале нормировкой на лучший результат в группе.

Для оценки точности определения латентных параметров модели воспользуемся теоремой Рао - Крамера - Фреше [5].

Теорема Рао - Крамера - Фреше:

1) решение уравнений правдоподобия единственно, а оценки латентных параметров, полученные на их основе, состоятельны;

2) распределение оценок максимального правдоподобия асимптотически нормально;

3) при больших объемах выборки матрица дисперсии D(0) латентных параметров модели асимптотически совпадает с обратной матрицей информации по Фишеру.

По определению, матрица информации по Фишеру с точностью до знака совпадает с усредненной матрицей вторых производных от логарифмической функции по латентным параметрам

В работе [4] рассматривается естественное обобщение модели тестирования, в рамках которого вероятности верного решения тестовых заданий также можно считать латентными параметрами модели. Принцип максимального правдоподобия позволяет получить простые формулы, как для оценки самих вероятностей, так и для оценки их среднеквадратичных отклонений:

Ы-

р, = — г = 1,2,...,п ;

i = 1,2,

(9)

Здесь введены единые обозначения и сквозная нумерация для всех латентных параметров: если 1 < к < п, то параметр 9к = ак, если же п+1 < к < п+Ы, то параметр 9к = 1к-п.

Среднеквадратичное отклонение латентных параметров модели можно рассчитать по формуле

В работах [1 - 4] были проверены теоретические положения, лежащие в основе новой модели тестирования. В частности, получила подтверждение гипотеза о распределении времени поиска решения тестовых заданий и гипотеза об аддитивности трудности составных тестовых заданий. Здесь мы впервые обсуждаем имеющую важное практическое значение проблему воспроизводимости результатов обработки данных тестирования, а также корректность различных методов оценки их точности и достоверности.

В июне 2010 г. в Институте экономики ЮФУ было проведено тестирование студентов второго курса вечернего отделения по дисциплине «Методы анализа и обработки данных». Тестирование было разбито на две сессии, в первой из которых приняли участие 40 студентов отделения ВБУ, а во второй - 35 студентов отделения ВФК (результаты обработки данных обеих сессий приведены в таблице).

1

1

+

i=1

n

Результаты обработки данных двух сессий тестирования

№ ТЗ Результаты обработки данных 1-й сессии Результаты обработки данных 2-й сессии

а о(а) Р °(Р) а о(а) Р °(Р)

1 1,63 0,24 0,73 0,07 1,88 0,28 0,69 0,07

2 1,78 0,31 0,43 0,08 2,07 0,36 0,43 0,08

3 2,60 0,41 0,45 0,08 2,78 0,42 0,46 0,08

4 1,55 0,25 0,60 0,08 1,75 0,26 0,63 0,08

5 2,60 0,45 0,35 0,08 2,53 0,46 0,34 0,08

6 2,12 0,60 0,13 0,05 1,90 0,56 0,11 0,05

7 1,16 0,29 0,25 0,07 1,67 0,34 0,20 0,06

8 1,23 0,25 0,38 0,08 1,24 0,27 0,34 0,08

9 1,05 0,34 0,15 0,06 1,02 0,35 0,14 0,06

10 1,05 0,20 0,48 0,08 1,13 0,23 0,46 0,08

11 1,40 0,29 0,33 0,07 1,66 0,36 0,26 0,07

12 1,55 0,29 0,40 0,08 1,55 0,32 0,37 0,08

13 1,24 0,27 0,33 0,07 1,31 0,34 0,37 0,07

14 1,18 0,26 0,33 0,07 0,99 0,24 0,31 0,07

Как видно из данных таблицы, значения трудности и вероятности верного решения тестовых заданий, найденные в процессе обработки данных обеих сессий тестирования, неплохо согласуются друг с другом, что может служить еще одним аргументом в пользу адекватности предлагаемой нами модели тестирования. Вместе с тем в большинстве случаев эти значения отличаются друг от друга заметно слабее, чем следует из априорных оценок (6) и (9). Возможно, это означает, что априорные оценки точности определения латентных параметров модели, полученные на основе теоремы Рао - Крамера - Фреше, слишком грубы, и нуждаются в уточнении.

Поступила в редакцию

Литература

1. Попов А.П., Богомолов А.А., Попова Л.А. Новая математическая модель тестирования // Наука и образование. 2005. № 3. C. 221.

2. Попов А.П. Новое направление в компьютерном тестировании // Математическое моделирование и информационные технологии : сб. науч. статей / ЮРГТУ (НПИ). Новочеркасск, 2007. С. 179.

3. Попов А.П. Новое направление в теории тестирования // Изв. ЮФУ. Педагогические науки. 2008. № 1 - 2. С. 24.

4. Попов А.П., Попова Т.Ю., Акулов С.Ю. О принципиально новом направлении в теории тестирования // Грани познания: электронный журн. ВГПУ. 2009. №4(5). URL: http: // www.grani.vspu.ru.

5. Фаддеева Л.Н., Жуков Ю.В., Лебедев А.В. Теория вероятностей и математическая статистика. М., 2006. 336 с.

3 ноября 2011 г.

Попов Александр Петрович - канд. физ.-мат. наук, доцент, Южный федеральный университет. Тел. (863) 250-7874. E-mail: nanosys@mail.ru

Popov Alexander Petrovich - Candidate of Physics-Mathematics Sciences, assistant professor, Southern Federal University. Ph. (863) 250-78-74. E-mail: nanosys@mail.ru