Процедура интерактивного парного тестирования Текст научной статьи по специальности «Науки об образовании»

УДК 371.274/.276 ББК Ч402.812.4

ГСНТИ 14.01.77

Код ВАК 13.00.08

Кондурар Марина Викторовна,

аспирант, Тольяттинский государственный университет; 445667, г. Тольятти, ул. Белорусская, 14; e-mail: conmary@yandex. ru.

ПРОЦЕДУРА ИНТЕРАКТИВНОГО ПАРНОГО ТЕСТИРОВАНИЯ

КЛЮЧЕВЫЕ СЛОВА: качество обучения; педагогическое тестирование; метод парных сравнений; матрица парных сравнений; коэффициент рассогласования.

АННОТАЦИЯ. Описывается процедура проведения интерактивного парного тестирования. Данная процедура предлагается в качестве одной из форм тестирования группы учащихся и ранжирования в рамках группы по уровню компетентности с точки зрения заданной компетенции.

Condurar Marina Viktorovna,

Post-graduate Student; Togliatti State University, Togliatti (Russia)

THE PROCEDURE PAIR INTERACTIVE TESTING

KEY WORDS: quality of education; pedagogical testing; the method of paired comparisons; the matrix of pairwise comparisons; the coefficient mismatch.

ABSTRACT. This article is devoted to the description of the procedure of the interactive pair-wise testing. The study lets us offer this procedure as one of the forms of the test group of students and ranking of this group in the level of their competency in the framework of the given competence.

О

дним из основных средств контроля качества обучения является тестирование. Тестовый метод имеет ряд несомненных преимуществ перед другими педагогическими методами контроля качества обучения: высокую научную обоснованность теста, технологичность, точность измерений, наличие одинаковых для всех испытуемых правил проведения испытаний и интерпретации результатов, хорошую сочетаемость метода с современными образовательными технологиями [1. С. 1].

Тесты являются наиболее эффективной и объективной формой оценивания знаний, умений и навыков, позволяющей выявлять не только уровень учебных достижений, но и структуру знаний, степень ее отклонения от нормы по профилю ответов учащихся на тестовые задания [4]. Связь контроля знаний и обучения всегда была прочной, что приводит к периодическому переосмыслению, а затем и изменению контрольнооценочной системы в образовании. Контроль, оценка и обучение рассматриваются как взаимосвязанные и взаимопроникающие составляющие единого образовательного процесса. Если задания теста подобраны корректно и достаточно полно отображают планируемую содержательную структуру изучаемого и контролируемого материала, то возможно ранжировать школьников по уровням подготовленности: чем меньше пробелов в ответах ученика на тестовые задания, тем лучше структура его знаний, чем выше его тестовый балл, тем выше качество его подготовленности.

Можно также отметить, что результаты тестового контроля позволяют оценить и качество работы педагога: если тестовый

балл в основном отражает способности и степень прилежания учащегося, то структура знаний в значительной мере характеризует особенности организации учебного процесса (умение преподавателя организовать процесс обучения, выбрать оптимальную методику, доступно изложить выбранный материал, оптимально использовать методы и средства обучения, применять индивидуальный подход к каждому студенту в отдельности и группе в целом и др.).

Существует множество вариантов тестовых заданий. Наиболее быстрыми для проверки и оценивания являются задания с выбором ответа из нескольких предложенных вариантов. Важно выяснить, почему каждый учащийся выбрал именно этот ответ, в чем ученик был прав или ошибался, каких знаний ему не хватило для правильного ответа. В процессе такой работы знания учащихся углубляются, исчезает психологическое напряжение при работе с тестом, возникает потребность в добывании знаний, желание пройти следующее тестирование с достижением ожидаемого результата. При периодическом использовании различных видов такого контроля появляется возможность сопоставлять результаты, тест может стать основой динамического мониторинга учебных достижений школьников и индивидуализации обучения [4].

В отличие от других измерительных инструментов (контрольных заданий, письменных работ, опросов, анкет и др.), тест включает в свой состав следующие системообразующие элементы [2. С. 3]:

1) специально разработанные задания;

2) варианты ответов;

© Кондурар М. В., 2013

3) эталон (правильный ответ, контролируемые понятия для всего теста в целом);

4) правила применения эталонов;

5) систему организации испытания;

6) систему обработки и анализа результатов;

7) систему оценок за выполнение каждого задания.

Обратим внимание на последние три пункта. Недавно получили распространение педагогические измерители — тесты, построенные по математическим моделям. Данный вид тестирования должен состоять из инструкции по процедуре тестирования, бланков ответов, технологии обработки результатов и методики шкалирования [3. С. 2].

Есть ряд способов проведения оценки результатов тестирования [5]:

1. Суммарный балл.

2. Метод парных сравнений.

3. Компонентный анализ базовой таблицы оценок знаний.

4. Многомерное шкалирование.

Опишем методику применения второго способа [6]. На первом этапе следует определить количество испытуемых М. Пусть М = 15. Допустим, что проводится стандартная контрольная работа, состоящая из пяти заданий. Если все задания одинковы по сложности, то количество баллов будет равно количеству правильно выполненных заданий, иначе необходимо присвоить заданиям весовые коэффициенты и начислять баллы исходя из этих данных.

На следующем этапе проводится парное тестирование и строится матрица парных сравнений А по следующему принципу: для каждого элемента таблицы вычисляется отношение ау, которое получается делением количества правильных решений 1-го ученика на количество правильных решений ^го ученика. Например, ау = 4/5, а а^ = 5/4, при этом аи = 1. Приведем пример получаемой матрицы (см. табл.).

Таблица. Матрица парных сравнений для 15 испытуемых

Испытуемые Количество баллов Испытуемые

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1 7 1,17 0,70 1,00 0,78 0,88 1,00 1,17 1,75 0,78 0,10 1,40 0,88 1,00 0,88

2 6 0,86 0,60 0,86 0,67 0,75 0,86 1,00 1,50 0,67 0,20 1,20 0,75 0,86 0,75

3 10 1,43 1,67 1,43 1,11 1,25 1,43 1,67 2,50 1,11 0,30 2,00 1,25 1,43 1,25

4 7 1,00 1,17 2,33 0,78 0,88 1,00 1,17 1,75 0,78 0,40 1,40 0,88 1,00 0,88

5 9 1,29 1,50 3,00 1,29 1,13 1,29 1,50 2,25 1,00 0,50 1,80 1,13 1,29 1,13

6 8 1,14 1,33 2,67 1,14 0,89 1,14 1,33 2,00 0,89 0,60 1,60 1,00 1,14 1,00

7 7 1,00 1,17 2,33 1,00 0,88 0,88 1,17 1,75 0,78 0,70 1,40 0,88 1,00 0,88

8 6 0,86 1,00 2,00 0,86 0,86 0,75 0,86 1,50 0,67 0,80 1,20 0,75 0,86 0,75

9 4 0,57 0,67 1,33 0,57 0,67 0,50 0,57 0,67 0,44 0,90 0,80 0,50 0,57 0,50

10 9 1,29 1,50 3,00 1,29 2,25 1,13 1,29 1,50 2,25 1,00 1,80 1,13 1,29 1,13

11 10 1,43 1,67 3,33 1,43 1,11 1,25 1,43 1,67 2,50 1,11 2,00 1,25 1,43 1,25

12 5 0,71 0,83 1,67 0,71 0,50 0,63 0,71 0,83 1,25 0,56 1,20 0,63 0,71 0,63

13 8 1,14 1,33 2,67 1,14 1,60 1,00 1,14 1,33 2,00 0,89 1,30 1,60 1,14 1,00

14 7 1,00 1,17 2,33 1,00 0,88 0,88 1,00 1,17 1,75 0,78 1,40 1,40 0,88 0,88

15 8 1,14 1,33 2,67 1,14 1,14 1,00 1,14 1,33 2,00 0,89 1,50 1,60 1,00 1,14

По матрице парных сравнений А вычисляются весовые коэффициенты каждого участника, которые показывают относительные уровни компетентности. Процедура вычисления весовых коэффициентов включает в себя несколько этапов.

1. Матрица А нормируется по следующему образцу: А = [ау] ® N = [пу] (деление всех элементов матрицы на сумму по данному столбцу,

м

ПИ = ац1 2 а

2. Вычисляются промежуточные значения весовых коэффициентов (среднее значение элементов в соответствующей строке нормированной матрицы,

1 м ■2

1 2 Л

1 = 77 2Щг )

м г=1

3. Определяется коэффициент рассогласованности С1 матрицы А. Используются следующие формулы:

Г

м

- М

,=1 м -1

4. Вычисляется стохастический коэффициент рассогласованности, который зависит только от порядка матрицы и оценивает рассогласованность случайно сгенерированной матрицы:

„ 1,795м - 2,35б)

*1 = ------------- .

1 м - 0,75

5. Вычисляется относительный коэффициент рассогласования Ск, который возрастает до 1 при росте рассогласованности матрицы А и снижается до 0 при ее стремлении к согласованной матрице:

(0,055 0,048 0,084 0,06 0,079 0,07 0,063 0,056

Относительный коэффициент рассогласования составляет 0,048.

Алгоритм повышения степени согласованности матрицы парных сравнений

включает следующие пункты:

1. Исходная матрица парных сравнений А = А0; вычисленный вектор весовых коэффициентов (ш1)7 = (Ш1,Ш2,..., Шп); Ся(А)>0.1; к=1 (номер итерации).

2. Построить согласованную матрицу В порядка п для вектора шк:

В =

Ъч =-

3. Построить «среднегеометрическую» матрицу Ак = Б порядка п:

сл = ^ .

6. Если значение Ря < 0,1, то матрица считается достаточно согласованной и полученные промежуточные значения весовых коэффициентов принимаются как результат тестирования. В противном случае выполняется процедура редукции матрицы парных сравнений, минимально снижающая контрастность исходной матрицы парных сравнений и приводящая ее к достаточно согласованному виду. В ходе редукции вычисляются также соответствующие весовые коэффициенты.

В нашем случае весовые коэффициенты выглядят так:

0,04 0,087 0,089 0,049 0,078 0,067 0,077^

4. Вычислить вектор весовых коэффициентов шк по матрице Б = Ак и Ся(Б).

5. Если Ся(Б) > 0,1, то (А:=Б), иначе (В:=Б); к:=к+1; перейти к п. 3.

6. Если |Ся(Б) - 0,11 > 0,01, то перейти к п. 2, иначе Асоглас = Б.

Полученная матрица представляет собой матрицу парных сравнений, достаточно близкую к исходной матрице А и при этом достаточно согласованную для того, чтобы служить основанием при определении вектора весовых коэффициентов ш.

По полученным весовым коэффициентам определяется ранг каждого участника тестирования, по которому можно определить баллы для каждого студента.

Б = Л

к ■

,]а,ф

УЪЧ

(0.055 0.048 0.084 0.06 0.079 0.07 0.063 0.056 0.04 0.087 0.089 0.049 0.078 0.067 0.077Ї [ 12 14 3 10 4 7 9 11 15 2 1 13 5 8 6 )

Полученные баллы легко трансформи- шкалу оценок и так же просто применимы в

руются в привычную для нас пятибалльную модульно-рейтинговой системе оценок.

ЛИТЕРАТУРА

1. БЕЛОУС В. В., ДОМНИКОВ А. С., КАРПЕНКО А. П. Тестовый метод контроля качества обучения и критерии качества образовательных тестов. Обзор // Наука и образование. 2011. № 4. иИЬ: http://technomag.edu.ru/doc/l8474i.html (дата обращения: 23.10.2012).

2. БИЙМУРСАЕВА Б. М., ЖУНУСАКУНОВА А. Д. Сущность педагогического теста // Проблемы и перспективы развития образования (II) : материалы Междунар. заоч. науч. конф. (Пермь, 2012 г.). иИЬ: http://www.moluch.ru/conf/ped/archive/58/2253/ (дата обращения: 23.10.2012).

3. БОДРОВА Т. Ю. Концептуальные основы педагогического тестирования и его использование на уроках РКИ / / Актуальные вопросы современной педагогики (II) : материалы междунар. заоч. науч. конф. (Уфа, 2012 г.). иИЬ: http://www.moluch.ru/conf/ped/archive/60/2500/ (дата обращения: 23.10.2012).

4. ЕФРЕМОВА Н. Ф. Тестовый контроль в образовании. иЯЬ: http://lib.rus.ec/b/365539/read (дата обращения: 27.11.2012).

5. КОРОСОВ А. В. Принципы подготовки теста : электронное издание. Петрозаводск, 2008. иИЬ: http://korosov.narod.ru/ #_Технология_образования (дата обращения: 23.10.2012).

6. ЯРЫГИН А. Н., ЯРЫГИН О. Н. Относительное ранжирование интеллектуальных компетентностей с помощью интерактивных парных сравнении / / Вектор науки / ТГУ (Тольятти). 2011. № 2 (16).

с. 413-417.

Статью рекомендует д-р пед. наук, проф. А. Н. Ярыгин