CC BY
14
О возможности создания системы компьютерного тестирования в России
Попов Александр Петрович (nanosys@mail.ru)
Педагогический институт Южного федерального университета, г. Ростов-на-Дону
Аннотация
Предлагается проект создания единой системы компьютерного тестирования, основанной на современных сетевых технологиях.
Отметим сразу, что в докладе речь пойдет лишь о предпосылках для создания единой системы компьютерного тестирования. Вместе с тем, эти предпосылки настолько реальны, что при благоприятном стечении обстоятельств единая система компьютерного тестирования в России может быть создана менее чем за полгода.
В настоящее время лишь ЕГЭ может служить примером системы тестирования, охватывающей территорию всей России. Подчеркнем, примером, но не образцом. Для подобного критического отношения к ЕГЭ имеются, по меньшей мере, два веских основания:
1. Совершенно неприемлемый в современных условиях архаичный способ проведения ЕГЭ -бланочная форма тестирования, рассылка заданий почтой, сбор и вновь отправка почтой бланков с ответами в Центр обработки данных тестирования, где информация с бланков считывается сканерами, и лишь затем поступает на обработку.
2. Отсутствие какой-либо открытой информации об используемой в ЕГЭ модели тестирования и о методах обработки данных, что вызывает серьезные сомнения в достоверности результатов ЕГЭ.
Вместе с тем, имеются предпосылки и возможности для создания единой современной системы компьютерного тестирования, которая могла бы взять на себя функции контроля качества образования в высших и средних учебных заведениях страны.
Начнем с того, что уже сейчас в России существует и действует мощная инфраструктура, созданная в Росаккредагентстве для проведения аккредитационного тестирования и интернет-экзамена ФЭПО. Многоканальная система связи, две серверные площадки (собственная и арендуемая у «Ин-формики»), автоматизированная система приема и обработки данных - все это, вместе взятое, может служить технической основой при создании единой системы компьютерного тестирования. Однако технологии тестирования, используемые при аккредитации вузов и проведении интернет-экзамена, обладают рядом особенностей, которые не позволяют использовать эти технологии в качестве базовых при создании единой системы компьютерного тестирования.
Прежде всего, сама система аккредитационного тестирования и связанная с нею система интернет-экзамена ФЭПО изначально создавались не как средство тестирования студентов, а как средство оценки качества образовательного процесса в высших учебных заведениях. Поэтому задача определения трудности тестовых заданий в системе ФЭПО не только не решается, но даже и не ставится, а без более или менее объективной оценки трудности тестовых заданий нельзя обойтись при определении рейтинга студентов, прошедших тестирование.
Кроме того, выбранный в качестве критерия оценки качества образовательного процесса пятидесятипроцентный порог оказывается во всех отношениях слишком жестким, в частности, он лишает систему гибкости, не позволяя адаптировать ее к реально сложившемуся в большинстве высших учебных заведений уровню подготовленности студентов.
Полноценная система компьютерного тестирования должна содержать модуль обработки данных, основанный на той или иной теоретической модели тестирования. Долгое время в теории и практике тестирования доминирующее положение занимали параметрические модели тестирования, прежде всего, модель Раша [1]. Однако критический анализ этих моделей [2-3] показал их внутреннюю противоречивость, что не позволяет использовать их в качестве теоретической основы тестирования.
Начиная с 2005 года, в работах автора [4-7] последовательно развивалась принципиально новая модель тестирования. В отличие от параметрических моделей тестирования, в новой модели поиск решения тестового задания рассматривается как протекающий во времени реальный процесс. Модель основана на предположении о том, что поиск решения тестового задания является пуассоновским процессом, и распределение времени поиска верного решения тестового задания описывается гамма-распределением:
Г(аЛЛ) = • 1. (1)
Г (а)
В рамках модели безразмерный параметр а отождествляется с трудностью тестового задания, а параметр 1, имеющий размерность обратного времени, - с уровнем подготовленности испытуемого.
Опишем основанную на предлагаемой модели процедуру обработки, позволяющую по результатам тестирования оценить сложность тестовых заданий и уровень подготовленности испытуемых.
Введем следующие обозначения: N - число студентов, принявших участие в сессии тестирования; п - число заданий в индивидуальных тестах; - время, затраченное ]-м студентом на выполнение 7-го задания; с - функция, принимающая значение 1 или 0 в зависимости от того, правильно или неправильно ]-й студент выполнил 7-е задание.
Латентные параметры модели определяются из условия максимума логарифмической функции правдоподобия:
1и(^(а, 1)) = £ £ с. 1п(/(а,, 1, )) . (2)
7 = 1 ] = 1
Необходимые условия максимума функции (2) приводят к системе нормальных уравнений правдоподобия:
£с,. .)
у(а ) = —-—- 7 = 1,2, к п (3)
1. = - ] = 1,2, к N . (4)
. п
£с. А ]
7=1
Г'(а) N
В уравнение (3) входит пси-функция Эйлера у (а) =-, и введено обозначение N¡ = £с < для
Г (а) ]=1 ^
числа студентов, верно решивших 7-е задание.
Уравнения (3-4) допускают решение методом итераций, и как показал опыт, точность решения порядка 0,1 % достигается при 10-25 итераций.
После обработки данных сессии тестирования определяется рейтинг всех испытуемых, как суммарная сложность верно выполненных заданий:
У] »£ с,а ] = 1,2, к N . (7)
7=1
В отличие от параметрических моделей, новая модель тестирования допускает прямую опытную проверку. Далее приведены результаты подобной проверки на примере тестирования по элементарной математике, в котором приняли участие 145 студентов факультета математики, информатики и физики ПИ ЮФУ. Индивидуальные тесты по данной дисциплине содержали 20 заданий.
Начнем со сравнения эмпирического распределения времени решения заданий с теоретической зависимостью (1). Результаты сравнения для 6 произвольно выбранных тестовых заданий показаны на рисунке 1.
Как видно, эмпирические распределения более чем удовлетворительно совпадают с теоретической зависимостью.
Перейдем теперь к проверке гипотезы аддитивности трудности тестовых заданий, суть которой заключается в предположении, что трудность сложного задания, составленного из нескольких простых, получается суммированием трудностей составляющих его заданий. После довольно длительного периода проб и ошибок, нам, в конце концов, удалось найти метод проверки гипотезы, основанный на идее виртуального тестирования. Как «проводится» подобное тестирование? После окончания сессии тестирования по данной дисциплине и полной обработки данных, вся дальнейшая работа носит чисто виртуальный характер. Выбирается произвольная пара заданий, и к исходному тесту добавляется сложное задание, составленное из этой пары. Добавленное задание считается решенным, если решены составляющие его задания, а время решения получается суммированием времени решения составляющих его заданий.
0 50 100 150 200 250 300 350 400 450 500
№ 5. р = 0,372 а = 3,33 г = 142,7 с
ср.
/ л
/ \
п \
\
\ N
0 50 100 150 200 250 300 350 400 450 500
№ 10. р = 0,586 а = 2,44 г = 97,4 с
ср.
¡1
\
л
\ ч
0 50 100 150 200 250 300 350 400 450 500 № 13. р = 0,455 а = 2,30 г = 78,3 с
ср.
0 50 100 150 200 250 300 350 400 450 500 № 19. р = 0,421 а = 2,48 г = 80,9 с
ср.
Рис. 1. Распределение времени верного решения тестовых заданий
Трудность добавленного задания оценивается двумя независимыми способами: суммированием трудности составляющих его заданий и по результатам обработки данных виртуального тестирования.
На рисунке 2 представлены результаты сравнения двух оценок трудности составных тестовых заданий: по оси абсцисс откладывается оценка х, полученная прямым суммированием трудностей исходных заданий, а по оси ординат - оценка у, полученная в результате обработки данных виртуального тестирования.
Уравнение регрессии в канонической форме:
0.01
0.01
0.008
0.008
0.006
0.006
0.004
0.004
0.002
0.002
* - 6'7359 = 0,9598 ■ ^ - 6'6398. (8)
2,2245 2,0112
Значение коэффициента корреляции очень близко к 1, что указывает на тесную корреляционную связь между двумя независимыми оценками трудности составных заданий.
Запишем уравнение регрессии в виде линейной зависимости:
у = ах + Ь . (9)
При уровне значимости а = 0,05 и числе степеней свободы п = 210 можно воспользоваться асимптотическим значением коэффициента Стьюдента tn-21-а = 1,96, и найти доверительные интервалы для коэффициентов линейной зависимости:
а = 1,0616 ± 0,0422= Ь -0,3127 ± 0,2927. (10)
Поскольку значения коэффициентов а = 1 и Ь =0 попадают в данный доверительный интервал, гипотезу об аддитивности трудности составных заданий можно считать статистически обоснованной с надежностью не ниже 1 -а = 0,95.
Детальная проверка модели [8-10] показала ее адекватность. Созданный в результате длительной и напряженной работы [11-13] современный комплекс компьютерного тестирования состоит из редактора баз тестовых заданий, web-приложения, предназначенного для проведения сессий компьютерного тестирования в режиме онлайн и модуля обработки данных, основанного на новой модели тестирования. Именно этот комплекс мы готовы на определенных условиях передать в полное распоряжение Росаккредагентства в качестве ядра единой системы компьютерного тестирования.
Рис. 2. Регрессионная зависимость между двумя оценками трудности составных заданий
=10- Литература
1. Rasch G. Probabilistic Model for Some Intelligence and Attainment Tests. Chicago: Univ. of Chicago Press, 1980.
2. Попов А.П. Критический анализ параметрических моделей Раша и Бирнбаума // Инновационные методы и средства оценки качества образования: материалы 4-й НМК. М.: Изд-во МГУП, 2006. С. 231-235.
3. Попов А.П. О параметрических моделях тестирования // Инновационные методы и средства оценки качества образования: материалы 6-й НМК. М.: Изд-во МГУП, 2008. С. 122-128.
4. Попов А.П., Богомолов А.А., Попова Л.А. Новая математическая модель тестирования // Наука и образование. 2005. № 3. С. 221-228.
5. Попов А.П., Богомолов А.А., Попова Л.А. Поиск решения как однородный во времени случайный процесс. Новая математическая модель тестирования // Инновационные методы и средства оценки качества образования: материалы 4-й НМК. М.: Изд-во МГУП, 2006. С. 236-247.
6. ПоповА.П. Новое направление в теории тестирования // Известия ЮФУ. Педагогические науки. 2008. № 1-2. С. 24-31.
7. Попов А.П., Попова Т.Ю., Акулов С.Ю. О принципиально новом направлении в теории тестирования // Грани познания: электронный журнал ВГПУ. № 4(5), Ноябрь 2009. www.grani.vspu.ru.
8. Попов А.П., Акулов С.Ю., Попова Т.Ю. Адекватность новой модели тестирования. Проверка гипотезы об аддитивности трудности тестовых заданий // СИТО 2009. Ростов-на-Дону, 2009. С. 25-27
9. Попов А.П., Попова Т.Ю. Адекватность новой модели тестирования. Проверка гипотезы о распределении времени решения тестовых заданий // СИТО 2009. Ростов-на-Дону, 2009. С. 234-235.
10. Попов А.П., Попова Т.Ю., Манаенкова О.Н. Определение рейтинга студентов по результатам компьютерного тестирования // СИТО 2010. Ростов-на-Дону, 2010. С. 260-261.
11. Богомолов А.А., Попов А.П. Комплекс программ компьютерного тестирования Credit // Известия ЮФУ. Педагогические науки. 2008. № 1-2. С. 168-172.
12. Попов А.П., Богомолов А.А., Харебин Д.А. Проект создания единой системы компьютерного тестирования. Смешанное и корпоративное обучение // Сборник трудов II Всероссийского научно-методического симпозиума. Ростов-на-Дону, 2008. С. 140-143.
13. Попов А.П., Железняк Е.Ю., Зыкова О.И. Современный комплекс компьютерного тестирования // СИТО 2010. Ростов-на-Дону, 2010. С. 262-264.
Моделирование процессов купли-продажи
Родыгин Евгений Федорович (rodygin_evgeny@mail.ru)
ГОУВПО «Марийский государственный университет», г. Йошкар-Ола
Аннотация
Исследование направлено на изучение процессов «купли-продажи» с точки зрения теории вероятностей и математической статистики. Основное содержание статьи: рассмотрение моделирования процессов с ценными бумагами.
Моделирование в науке как этап анализа процесса необходим для оценки его состояния и оптимизации. На сегодняшний день во многих отраслях различные процессы подвергаются тщательному анализу, исследуются объективные и субъективные причины исследуемых процессов и влияние их на развитие той или иной области. Дальнейшее рассмотрение и глубокое изучение какого-либо процесса могут привести к новым результатам и достижениям, которые позволят внести огромный вклад в общую копилку знаний науки. Полученные в ходе изучения выводы могут привести к использованию новых процессов в дальнейшем на практике и дадут возможность внедрять их в автоматизацию производства.
Одним из самых распространенных и часто используемых на практике методом является математическое моделирование. Его применение позволяет количественно, а впоследствии и качественно, оценить возможности модернизации и оптимизации того или иного процесса. Математическое моделирование процессов определенной науки строится на основе теоретических знаний в данной области изучения. Оно тесно связано с проведением компьютерного эксперимента (моделирования) для анализа предполагаемых результатов и решений задач и подтверждения их необходимости в человеческой жизни, что позволяет обосновать необходимость модернизации и оптимизации какого-либо процесса.
Использование метода математического моделирования в различных областях знаний предоставило нам возможность применить его при исследовании статистических данных процессов «купли-продажи» акций. Фондовый рынок (или рынок ценных бумаг) связан с продажей и покупкой таких ценных бумаг, как акции, облигации. Бизнес и его развитие предполагают выработку определенной стратегии для получения прямой или косвенной выгоды предприятия или определенного физического лица, обладающего ценными бумагами.
Рассматривая процессы изменения цен на определенные акции, понимаем, что их течение во времени заранее предсказать в точности невозможно. Наличие случайных факторов, воздействующих на ход указанного процесса, определяет данную неопределенность. Построение стохастических моделей, основанных на теории случайных процессов, позволяет описать подобные процессы. Стохастические модели находят применение в самых различных областях знаний и сферах человеческой деятельности, включая финансы и экономику.
Построение математической модели и более детальное изучение данных процессов обусловлено периодическим возникновением кризисных явлений в финансах и экономике. Задача построения более адекватных моделей с точки зрения определенных вероятностных характеристик, математических
