CC BY
32
Рогозов Юрий Иванович - Технологический институт федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге; e-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 88634371787; кафедра системного анализа и теле; ; . . .; .
Свиридов Александр Славьевич - e-mail: [email protected]; кафедра системного анализа и телекоммуникаций; к.т.н.; доцент.
Rogozov Yury Ivanovich - Taganrog Institute of Technology - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: [email protected]; 44, Nekrasovsky, Taganrog, 347928, Russia; phone: +78634371787; the department of system analysis and telecommunications; head the department; dr. of eng. sc.; professor.
Sviridov Alexander Slavevich - e-mail: [email protected]; the department of system analysis and telecommunications; cand. of eng. sc.; associate professor.
УДК 519.85:004.421
АЛ. Попов
ИМИТАЦИЯ ПРОЦЕССА ТЕСТИРОВАНИЯ
Дано краткое описание основных принципов и предположений, на которых основана новая модель тестирования [1]. В рамках модели поиск решения тестового задания трактуется как однородный во времени (тассоновский) стохастический процесс, а время решения тестового задания является случайной величиной, подчиняющейся гамма-распределению. Рассматриваются типичные результаты сравнения эмпирических распре, , , -. ,
согласуются друг с другом, но иногда это согласие нарушается. Ясно, что расхождение между теоретическими и эмпирическими распределениями вызвано малым объемом ста.
, .
этих экспериментов позволяют дать рекомендации, которые должны учитываться в практике компьютерного тестирования.
Время поиска решения; тестовые задания; однородный во времени стохастический процесс; сравнение эмпирических и теоретических распределений времени поиска решения; стати; ; .
A.P. Popov IMITATION OF TESTING PROCESS
There is given a short description of main principles and assumptions on which the new model of testing is based [1]. In the framework of model the search of test tasks solution is interpreted as time homogenous (Poisson's) stochastic process, and the time of test tasks solutions is random variable submitted to gamma distribution. There are considered the typical results of comparison of empirical distributions of times necessary for test tasks solutions with dependences predicted by theory. As a rule, empirical and theoretical distributions are in a good agreement each one to other but sometimes the agreement is broken up. Is clear the divergences between empirical and theoretical distributions are caused by small volumes of statistical data. This statement gets the full confirmation in series of statistical experiments, where the testing process is imitated. The results of these experiments allow one to give some recommendations which must be taken into account in practice of computer testing.
Times of search of solutions; test tasks; time homogenous stochastic process; comparison of empirical and theoretical distributions of time of search of solutions; statistical experiments; imitations of process of computer testing; the practical recommendations.
Введение. В работе [1] описана принадлежащая автору новая модель тестирования, в которой поиск решения тестовых заданий трактуется как однородный во времени стохастический процесс. При этом время поиска верного решения тестового задания оказывается случайной величиной, которая подчиняется хорошо известному в теории вероятностей гамма-распределению [6-7]:
/ (а,Л,! ) = е~Х ‘ X. (1)
Г (а )
В рамках модели безразмерный параметр а интерпретируется как трудность , -циируется с уровнем подготовленности испытуемого.
Результаты эмпирической проверки адекватности модели. Новая модель прошла всестороннюю проверку [1-5], подтвердившую ее адекватность. В частности, проверялось согласие эмпирических распределений времени, затрачиваемого на поиск верного решения тестовых заданий, с предсказываемой теорией зависимостью (1).
Г рафики на рис. 1 получены в результате обработки данных сессии компьютерного тестирования по психологии, в котором участвовали 64 студента факультета МИиФ ПИ ЮФУ. Согласие теории с эмпирическими данными далеко не всегда проступает явно, что может вызвать сомнения в справедливости предлагаемой . , было решено провести целенаправленный статистический эксперимент, имитирующий процесс тестирования.
Рис. 1. Распределение времени решения ТЗ в тестах по психологии:
1) а=5,61; 1=0,163 с1; 2) а=4,14; 1=0,148 с1; 3) а=4,55; 1=0,143 с1;
4) а=3,59; 1=0,159 с1
Имитация процесса тестирования. Здесь описаны результаты имитации процесса тестирования в случае, когда тест состоит из единственного задания трудности , . экспериментах использовался генератор последовательностей псевдослучайных величин, подчиняющихся гамма-распределению из пакета МаШсаіі
1-й эксперимент. Время поиска решения тестового задания в генерируемой
последовательности подчинено гамма-распределению с параметрами а=2,5;
Х=0,025 с-1. Длина последовательности совпадает с числом испытуемых, и в данном эксперименте Ь=25.
2-й эксперимент. Время поиска решения тестового задания в генерируемой
последовательности подчинено гамма-распределению с параметрами а=2,5;
=0,025 -1. , -
ном эксперименте Ь=100.
Рис. 2. Распределение времени решения ТЗ в 1-м эксперименте:
1) а=2,71; 1=0,0244 с1; 2) а=3,82; 1=0,0400 с1; 3) а=2,08; 1=0,0181 с1 4) а=2,37; 1=0,0247 с1
Используя известные формулы [7] для математического ожидания и среднеквадратичного отклонения случайной величины, подчиняющейся гамма-распределению, можно оценить параметры эмпирического распределения, используя заранее вычисленные значения выборочного среднего и выборочного среднеквадратичного отклонения:
а =
7(<)
л=-
{<)
а
(>)
(2)
Именно эти оценки приведены в подписях к рис. 2 и 3.
Параметры псевдослучайных последовательностей (ПСП), генерируемых в обоих статистических экспериментах, совпадают, но число испытуемых, участвующих во 2-м эксперименте, в 4 раза больше. Это приводит к тому, что во 2-м эксперименте эмпирические и теоретические распределения времени поиска ре. 2- -тические распределения почти не отличаются и от исходного гамма-распределения
, (
). , 2-оценки параметров ПСП существенно меньше отклоняются от значений, заданных в настройках генератора. На рис. 4 и 5 показано распределение оценок параметров ПСП, полученных в результате многократного (10 000 раз) повторения статисти. -борочные средние и выборочные среднеквадратичные отклонения этих оценок.
. 3. 2- :
1) а=2,706; 1=0,0295 с1; 2) а=2,509; 1=0,0225 с1; 3) а=2,939; 1=0,0291 с1;
4) а=2,908; 1=0,0286 с1
. 4. ,
повторении статистического 1-го эксперимента
Выборочные средние и выборочные среднеквадратичные отклонения оценок параметров ПСП, полученных при многократном повторении статистического 1-го эксперимента: аср = 2,81; а(а) = 0,93; Хср = 0, 0285 с"1; а(Х) = 0,0101 с"1.
.
. 5. ,
2-
Выборочные средние и выборочные среднеквадратичные отклонения оценок , 2-эксперимента: аср = 2,58; а(а) = 0,42; Хср = 0, 0259 с-1; а(Х) = 0,0045 с-1.
Для объяснения результатов, полученных в статистических экспериментах, воспользуемся общим принципом математической статистики, полная и строгая , - , 20-века в работах Р. Фишера.
Принцип максимального правдоподобия. Согласно этому принципу наиболее вероятные значения параметров распределения определяются из условия максимума функции правдоподобия.
Функция правдоподобия по Фишеру в нашем случае совпадает с вероятностью появления на выходе генератора данной конкретной псевдослучайной после:
^ (а, Л ) = П/ (а, А ) .
(3)
1=1
На практике, однако, удобнее иметь дело с логарифмической функцией прав:
N
Ь (а,Л) = 1п F (а, Л) = ^ / [а,Л, гі).
(4)
і=і
(4) (1) -
распределения позволяет получить явное выражение для логарифмической функции правдоподобия в рассматриваемом нами конкретном случае:
л а
Ь(а,Л) = «1п ТГ7-, +1(-1)1п(о)-Л,1).
Чі(а ) У 1=1
(5)
(5) -
( ): дт м
— = У 1п [Лг^ - Ищ(а) = 0, да м (6)
. а
74 = - у =0.
дЛ Л £ -1
пригодному для непосредственных численных расчетов:
1 N
¥(а) - 1п (а)=^ у1п
V
и
(7)
Л = а
Согласно известной теореме Рао-Крамера-Фреше [8-9] оценки максимального правдоподобия параметров ПСП состоятельны, их распределение асимптоти, -.
Матрица информации по Фишеру, с точностью до знака, равна усредненной матрице вторых производных от логарифмической функции правдоподобия по :
( 1 Л
¥'(а) -
I = N
(8)
Л
1 а
\ Л Л2 у
(8),
среднеквадратичных отклонении параметров:
а
У(Л) = Л\~1
У>(а)
(9)
^(ау/'(а) -1 ) У ' \ N(ау/'(а) -1)
(7)
позволяет получить точечные оценки параметров. Вычислив затем среднеквадра-(9) , -
но найти также и интервальные оценки параметров ПСП.
, ,
(7), , -
скими оценками (2). Как показала практика, а также статистические эксперименты, нет достаточных оснований для того, чтобы отдать предпочтение какой-то одной из этих оценок.
Оценки среднеквадратичного отклонения (9) параметров ПСП оказываются заниженными в сравнении с выборочными оценками.
Например, в условиях 1-го статистического эксперимента расчет среднеквад-
(9)
о(а) = 0,67; а(Х) = 0,0074 с-1, что заметно меньше ранее найденных выборочных оценок о(а) = 0,93; а(Х) = 0,0101 с-1.
2-
значениям о(а) = 0,33; а(Х) = 0,0037 с-1, что также несколько ниже выборочных оценок о(а) = 0,42; а(Х) = 0,0045 с-1.
. 4-5 -
, , также графики нормальных распределений, средние значения и среднеквадратичные отклонения которых совпадают с выборочными оценками. В соответствии с - - , -проксимацией эмпирических распределений при большой длине генерируемых , , , -нии. При числе испытуемых N = 25 различие между эмпирическим и нормальным распределением видно, что называется, невооруженным глазом, в частности, эм-
пирическое распределение отличается ярко выраженной асимметрией. Но уже при числе испытуемых N=100 эмпирическое распределение практически ничем не отличается от нормального распределения.
. -висит от объема статистической выборки, т.е. от числа испытуемых, участвующих . -вующих в тестировании студентов, их общее количество должно быть не менее 100. , -тирование следует проводить лишь по тем дисциплинам, которые читаются в ,
.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. По пов АЛ., Богомолов А А., Попова Л.А. Новая математическая модель тестирования // Наука и образование. - 2005. - № 3. - С. 221.
2. Попов АЛ. Новое направление в теории тестирования // Известия ЮФУ. Педагогические науки. - 2008. - № 1-2. - С. 24.
3. . ., . . .
о распределении времени решения тестовых заданий // Материалы НМК СИТО 2009.
- Ростов-на-Дону, 17-18 апреля 2009 г. - Ростов-на-Дону, 2009. - С. 234-235.
4. . ., . ., . . . -
//
2009. - Ростов-на-Дону, 17-18 апреля 2009 г. - Ростов-на-Дону, 2009. - С. 25-27.
5. . ., . ., . .
тестирования // Грани познания: электронный журнал ВГПУ. - 2009. - № 4 (5). URL: http: // www.grani.vspu.ru.
6. Гнеденко Б.В. Курс теории вероятностей. - М., 1988. - 448 с.
7. . ., . ., . ., . . -
ятностей и математической статистике. - М., 1985. - 640 с.
8. . ., . ., . . -стика. - М., 2006. - 336 с.
9. . ., . ., . . -
ческая статистика. - М., 1991. - 400 с.
Статью рекомендовал к опубликованию д.т.н., профессор АЛ. Чернухин.
Попов Александр Петрович - Педагогический институт федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет»; e-mail: [email protected]; 344068, г. Ростов-на-Дону, ул. Криворожская, 57, кв. 20; тел.: +79094412895; отдел контроля качества образования;
.
Popov Alexander Petrovich - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: [email protected]; 57, ap. 20, Krivorozhskaya street, Rostov-on-Don, 344068, Russia; phone: +79094412895; the department of education quality control; chief.
