CC BY
64
Туровская А.О. Модели и процедуры измерения и оценивания результатов критериально-ориентированного..
Literature
1. Alexandrov, J. I. Learning and memory: system prospect// Simonov second readings / Ed. I.A Shevlev, etc. - Moscow, 2004. - P. 3-51.
2. Anisov, A. M. Properties of time // Logic researches. Fascicle 8. — Moscow, 2001. — P. 5-25.
3. Ashmarin, I. P., Kruglikov, R. I. Peptide, training, memory (polyfunctionality principle) // Neurochemistry, 1983. — book 2. — № 3.
4. Batuev, A. S. Physiology of the high nervous activity and sensing systems : Textbook for high schools. — St.-Petersburg, 2005.
5. Verbitsky, A. A. Active training in the high school: the contextual approach. — Moscow, 1991.
6. Verbitsky, A. A. New educational paradigm and contextual training. — Moscow, 1999.
7. Grechenko, T. N, Sokolov, E. N. Neurophysiology of memory and training // Mechanisms of memory. — Leningrad, 1987. — P. 132-171.
8. Grechenko, T. N. Psychophysiology of memory // Bases of psychophysiology / Under the editorship of J. M. Aleksandrov. — Moscow, 1997.
9. Danilova, N. N. Psychophysiology : Textbook for high schools. / N.N. Danilova — M, 2004.
10. Kiseleva, O. O. Time and pedagogical reality // the Person in pedagogy and psychology. — Petropavlovsk-Kamchatka, 2001.
11. Kozyrev, N. A. About possibility of the experimental research of time properties / Kozirev N.A. The favor works. — Leningrad, 1991.
12. Maklakov, A. G. General Psychology : Textbook for high schools. — St.-Petersburg, 2004.
13. Rean, A. A, Bordovskaja, N. V., Ro%um, S. I. Psychology and pedagogy. — St.-Petersburg, 2008.
14. Smirnov, V. M, Budilina, S. M. Physiology of sensing systems and higher nervous activity : Manual for students of high educational institutions. — Moscow, 2003.
15. Strelnikova, J. J., Solntsev, V. O. Anatomy of central neural systems: Manual. — St.-Petersburg,
2009.
16. Ukhtomsky, A. A. Dominant. — St.-Petersburg, 2002.
17. Grzywacz, N. M., Burgi, P. Y. Toward a biophysically plausible bidirectional Hebbian rule / / Neural Comput. — 1998, Apr.1; 10 (3). — P. 499-520.
18. Mark, R. Sequental biochemical steps in memory formation: evidence from the use of metabolic inhibitors / / Brain mechanisms in memory and learning: from the single neuron to man / Ed. / M.A.B. Brazier. — N.Y., 1979. — P. 197-215.
19. Nader, K Response to Arshavsky: Challenging the old views // TINS. 2003. — V 26. — P. 466-468.
20. Squire, Larry R., Kandel, Eric R. Memory: From Mind to Molecules Publisher: W H. Freeman Company Pub. — January 1998. — P.19
1 Работа выполнена при поддержке Российского гуманитарного научного фонда (РГНФ), грант 08-06-00799а.
2 Синапс (от греч. synapsis — контакт) — это специализированные структурные соединения между клетками (в данном случае — нейронами), обеспечивающие возбуждающие, тормозные и трофические влияния между ними.
3 Медиатор — химическое вещество (ацетилхолин, норадреналин, серотонин, дофамин, g-аминомасляная кислота и др.), образующееся в теле нейрона или в нервном окончании, необходимое для передачи сигнала в синапсах.
4 Нейропептид — химическое вещество белковой природы, синтезируемое в нейроне.
УДК 371.322.8 А.О. Туровская*
Модели и процедуры измерения и оценивания результатов критериально-ориентированного тестирования
В статье рассмотрены недостатки существующих методов оценки результатов критериально-ориентированного педагогического контроля знаний и предложены модели и процедуры, обеспечивающие объективность, дифференцированность и критериальную валидность оценки результатов тестирования знаний.
Ключевые слова: критериально-ориентированное тестирование, педагогическое измерение и оценивание результатов, независимые и вложенные тестовые задания.
* Туровская, Алиса Олеговна, младший научный сотрудник ЗАО "Фирма "Пассат"; г. Санкт-Петербург, ул. Разводная, д. 15, тел. (812) 427-20-21.
* Turovskaya, Alisa, Junior colleague of "Passat Firm" JSC (Scientific and Manufacturing Company «Passat», closed-type JSC), Sankt-Petersburg, Razvodnaya, 15.
Психология
A.O. Turovskaya*. Model and procedures of measurement and estimation of results of the criterion-referenced testing.
In article lacks of existing methods of an estimation of results of the criterion-referenced pedagogical control of knowledge are considered and models and the procedures providing objectivity, distinctiveness and concurrent validity estimations of results of testing of knowledge are offered.
Keywords: the criterion-referenced testing, pedagogical measurement and the estimation of the results independent and enclosed test task.
Педагогическое тестирование определяется как «один из наиболее стандартизованных и объективных методов контроля и оценивания знаний, умений и навыков испытуемого, который лишен таких традиционных недостатков других методов контроля знаний, как неоднородность требований, субъективность экзаменаторов, неопределенность системы оценок и т.п.» [1].
Однако указанное положение об объективности педагогического тестирования не может быть полностью распространено на критериально-ориентированные тесты, позволяющие оценить уровень подготовленности (учебных достижений) испытуемых в конкретной предметной области по не связанному с процедурой тестирования внешнему критерию. Так, из основных форм закрытых тестовых заданий в современных компьютерных системах тестирования (КСТ) объективно оцениваются только задания в форме «одиночный выбор», когда испытуемый должен выбрать один вариант ответа из нескольких предложенных. В остальных формах заданий процедура объективного измерения результатов тестирования заменяется процедурой субъективной идентификации этих результатов по правилам, установленным преподавателем или разработчиком теста. К таким формам закрытых критериально-ориентированных тестовых заданий относятся:
1) форма «множественный выбор», когда испытуемый должен выбрать несколько вариантов ответа из нескольких предложенных;
2) форма «соответствие», когда тестируемому нужно упорядочить два списка таким образом, чтобы они соответствовали друг другу;
3) форма «упорядоченный список», когда тестируемому нужно упорядочить список в определенном порядке.
Для формы «множественный выбор» В.С. Аванесов в [2] рекомендует за полностью правильное решение дать три балла, за каждую ошибку снимать один балл. Если ошибок больше трех, то давать 0 баллов. М.Б. Челышкова [3] рекомендует за полностью выполненное задание с выбором нескольких верных ответов давать 1 балл и 0 баллов за хотя бы один неверный ответ. В.Ю. Переверзев в [4] описывает метод «частичного балла» (partial credit), в котором за каждый правильно выбранный ответ дается 1 балл, за неправильно выбранный ответ — 0 баллов. Штрафные баллы в этом методе не предусмотрены. По мнению В.С. Кима [5], использование заданий с выбором одного верного ответа предпочтительней, и лучше заменять одно задание с выбором нескольких верных ответов на несколько заданий с выбором одного верного ответа. Аналогичные рекомендации имеют место и в отношении тестовых заданий в формах «соответствие» и «упорядоченный список».
Для устранения указанных выше недостатков процедур измерения результатов критериально-ориентированного тестирования в КСТ предлагается использовать данные теории распознавания образов [6]. Приступая к изложению предлагаемых методов измерения и оценивания результатов выполнения критериально-ориентированных тестов в формах «множественный выбор», «соответствие» и «упорядоченный список», необходимо отметить, что как перечисленные формы закрытых тестовых заданий, так и производные от них формы, как показано в [9], могут быть сведены к двум базовым формам: множество (неупорядоченное множество) элементов или список (упорядоченное множество). Поэтому дальнейшее описание предлагаемых процедур измерения и оценивания результатов критериально-ориентированного тестирования приводится в отношении последних двух базовых форм тестовых заданий.
Постановка задачи оценки ответа типа «Множество». Пусть дано множество МО (рис. 1), характеризующие ответ испытуемого, и множество Мэ, характеризующие эталонный ответ.
С д/' ( K=Л/ пМ. V J
Рис. 1. Диаграмма Эйлера-Венна для множеств V, M , МЭ
Туровская А.О. Модели и процедуры измерения и оценивания результатов критериально-ориентированного.
Пусть для Мр М, выполнено условие
_ (М0сК)л(Мэ_ЕК) __(1)
где: V- {й.} (/= 1,у; V < оо), М0 = {а,}(/ = \,п, п < у), Мэ = {<з,}(/ = 1 ,т,т<\).
Требуется оценить ответ испытуемого в традиционной 4-балльной шкале.
Решение задачи. Оценим расстояние г между множествами М0 и Мэ. Для этого введем следующую метрику: 1) г = [0,1]; 2) г = 0, если М0 и Мэ состоят из одних и тех же элементов, т.е. эквивалентны М0 □ Мэ (если М0 = 0 и Мэ = 0,то М0 □ Мэ); 3) г = 1, если МопМэ=0;4)О<г<1, если М0 п Мэ * 0.
Тогда расстояние между М0 и Мэ может быть определено как
1 * , *
г = г =1--= 1--;
МН 1 7 5
/ М + П-Л г ^
г = 0 при т-п~ 0
где: /4 - число элементов в подмножестве АТ = М0 (Л Мэ (число одинаковых элементов в М() и Мд), I — п + т — к — число элементов в подмножестве Ь =М0 иМэ (общее число неповторяющихся элементов подмножеств М0 и М,^.
В теории системно-информационного анализа [7] введено понятие неупорядоченности как меры различия какого-либо выбранного параметра х. в отношении эталона порядка х , которая стремится к нулю при х.—>х . Оценка (2) соответствует этому понятию, что позволяет организовать процедуру оценивания измеренных результатов по схеме, предложенной А.Н. Печниковым в [8]:
1. Абсолютная неупорядоченность ответа испытуемого оценивается как:
Ч = * (3)
2. Рассчитывается оценка испытуемого в традиционной 4-балльной шкале:
5
^ = 1о§2
Че,Р, + ЯР2 + ЧуогРъ '
(4)
где: qв — величина q, соответствующая оценке «отлично»; q — величина q, соответствующая оценке «неудовлетворительно»; S = 25^ = 32^ — коэффициент, адаптирующий количественное выражение балла оценки к традиционной 4-балльной шкале; р1,р2,р) — ОД — логические операторы (Д = 1 при ^ < qв■p2 = 1 при q^! <ц< р} = 1 при q >
В области определения оценки г < г < г формула (4) примет вид:
(5)
Применение формул (2-5) обеспечивает возможность настройки балла оценки на систему предпочтений преподавателя за счет изменения q¡¡ или
Постановка задачи оценки ответа типа «Список». Пусть выборочные ответы Х0 вида «Список» и соо тветствующий им эталон Хэ определены на исходном множестве V следующим образом:
Г = ХэиМ;
(Хэ={а],а2,...,ап...,ак})л
Хэ=рк =
^ 1, 2, ..., /,..., к ^
МФр'
'11
1, 2, ..., и,..., 5 |
(/ = 1, Л);
(и = 1,5)
(6)
Необходимо определить оценку ЛГ(Х0, X^ ответа X испытуемого в традиционной 4-балльной шкале.
Решение задачи. Для решения подобных задач применяется метод Кендалла [6], который обеспечивает получение оценок г — [0,1], соответствующих понятию расстояния (но работоспособен только при одинаковых числе и номенклатуре элементов в списках), и метод Фора (работоспособен при любом наборе элементов, но неоднозначен и исключает нормирование оценок, т.е. их представление в традиционной 4-балльной шкале). Предлагается метод, базирующийся на модели (2) оценки ответа типа «Множество», методе Кендалла и процедуре создания пустых элементов, применяемой в методе Фора.
В соответствии с (6) список Х0 может содержать элементы вида Ьи, на которых не может быть определено отношение порядка. Поэтому в общем случае расчет оценки ЛГ(Х(), Х.^ предлагается производить в четыре этапа.
Этап 1. Оценка неупорядоченности q¡ (X , Х.^) ответа испытуемого (списка Х0) относительно эталона (списка Х^) по номенклатуре элементов. Списки ХГ) и Хэ рассматриваются как неупорядоченные множества, а неупорядоченность их номенклатуры оцешгвается по формулам (2, 3).
Этап 2. Оценка неупорядоченности (Х(), Х^) ответа испытуемого (списка Х(>) относительно эталона (списка Х,^ по упорядоченности элементов.
Психология
В соответствии с (6) списки Х() и X. имеют вид
X0={afbt},- (7)
1, k —
0' = U), (8)
Хэ=Рк =
Kat,a2,...,ar..,akJ
где: i = 0,t(t<k), u = 0,g(g<s).
Произведем в списке Х0 замену всех элементов вида bи на пустой элемент 1 (процедура, применяемая в методе Фора), обладающий свойством
Va( еХ0->а,=А. (9)
В случае к < п — t + ¿дополним список X, элементами ..., д, равными 1, а в случае к> п — t + J — список Х0 элементами д..., ае равными L Списки Х() и Х0 примут вид перестановок, которые имеют одинаковый состав элементов, а значит, могут быть корректно оценены по методу Кендалла:
1. Определяются коэффициенты сравнения:
+1 при хи>х,к
ЛИ~] при *»<х*, где / < к. (10)
0 при хи=х1к
2. Рассчитывается расстояние (нормированная оценка Кендалла):
Г = --■ (11)
2 п(п-\)ик v 7
Оценка rJX(), Х;)) по формуле (11) формально и по смыслу соответствуют понятию 1геупорядоченности, откуда в соответствии с (3) q2(X0, X^ = г .
Этап 3. Оценка общей неупорядоченности q — f (qp q^ ответа испытуемого (списка X) относительно эталонного ответа (списка Х^.
Общая неупорядоченность ответа вида «Список» определяется как
q = 1 - (1 - qX 1- q). _ ^ (12)
Этап 4. Определение оценки выборочного ответа типа «Список» в традиционной 4-балльной шкале. Оценка рассчитывается путем подстановки в (4, 5) значения q, определенного по (12).
Список литературы
1. ОСТ Т 1.1. Педагогические тесты, термины и определения. Отраслевой стандарт (первая редакция). — М.: Министерство образования РФ, 2001. — 13 с. (с сайта http://bank.orenipk.ru/).
2. Аванесов, B.C. Форма тестовых заданий. — М.: Центр тестирования, 2005. — 156 с.
3. Чеяъшкова, М.Б. Теория и практика конструирования педагогических тестов : учебное пособие. - М.: Логос, 2002. - 432 с.
4. Переверзев, В.Ю. Технология разработки тестовых заданий : справочное руководство. — М.: Е-Медиа, 2005. - 265 с.
5. Ким, В. С. Тестирование учебных достижений: монография. — Уссурийск: 11здательство УГПИ, 2007.-214 с.
6. Фор, Л. Восприятие и распознавание образов / пер. с фр. / под ред. Г.П. Катыса. — М.: Машиностроение, 1989. — 272 с.
7. Горский, Ю.М. Системно-информационный анализ процессов управления. — Новосибирск: Наука. Сиб. отд-ние, 1988. — 268 с.
8. Печников, А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. — Петродворец: ВВМУРЭ, 1995. — 326 с. (с сайта http:// pedlib.ru/).
9. Карпова, II.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах : дис. ... канд. техн. наук. — М.: МГИЭМ, 2002. — 239 с.
Literature
1. Pedagogic tests, terms and definitions. Branch standard (the first edition)) — Moscow, 2001.
2. Avanesov, V. S. Form of test tasks - Moscow, 2005.
3. Tchelyshkova, M. B. Theory and practice of pedagogical tests constructing. — Moscow, 2002.
4. Perever^ev, V. J. Technology of test tasks constructing. — Moscow, 2005.
5. Kim, V..S. Testing of study achievements. — Ussurijsk, 2007.
6. For, A. Perception and recognition of images. — Moscow, 1989.
7. Gorsky, J.M. System and information analysis of processes of control. — Novosibirsk, 1988.
8. Pechnikov, A.N. Theoretic fundamentals of psychological and pedagogical constructing of automated educational systems. — Petergof, 1995.
9. Karpova, LP. Research and constructing of knowledge control subsystem in allocated automated educational systems. — Moscow, 2002.
