CC BY
135
УДК 378.147
Елизарова Екатерина Юрьевна
Старший преподаватель кафедры математики и математического образования, Нижегородский государственный педагогический университет им. Козьмы Минина, Elizarova-EU@yandex.ru, Нижний Новгород
компьютерная обработка и анализ результатов тестирования при обучении студентов
по направлению «педагогическое образование»
Аннотация. Сложность и многогранность проблем оценивания в сфере образования, широкое использование тестов в школьной и вузовской практике обусловили актуальность проблемы подготовки будущего учителя, владеющего теоретическими основами тестирования, имеющего представление о средствах оценивания результатов обучения, о способах измерения учебных достижений обучаемых с помощью математической обработки результатов тестирования. Отсутствие в реальной практике однозначного механизма оценивания результатов обучения на основе традиционных средств контроля приводит к субъективизму, несопоставимости оценок и, как следствие, к их девальвации. Принципиальные изменения сложившейся практики оценивания возможны только на основе перехода от субъективного оценивания к объективному измерению знаний обучаемых, к обработке результатов с помощью математических методов (системный анализ, теория больших чисел, статистические показатели) и компьютерных технологий (компьютерные программы: StatSoft Statistica, MS Excel). Анализ объекта, способов и инструментов измерения позволил выделить ключевое понятие - тестовое задание, а также связанные с ним аналитические характеристики (индекс трудности и надежности и т. п.) и геометрические способы представления и описания (форма «решаемость задания», геометрический образ задания). Применение описанных методик анализа способствует эффективности практической работы в области тестирования.
Ключевые слова: матрица ответов, индекс трудности, коэффициент корреляции, геометрический образ задания, гистограмма распределения результатов тестирования, MS Excel, StatSoft Statistica.
В последние годы большое внимание уделяется вопросам контроля знаний обучающихся, оцениванию результатов обучения как в средней школе, так и в высших учебных заведениях. Контроль результатов обучения - лишь часть учебного процесса. Главное в этом процессе - познание школьниками и студентами нового материала, усвоение его, саморазвитие, самооценка своей деятельности. В настоящее время функции образования меняются. Вместе с тем меняются формы и средства обучения. Одним из наиболее интересных современных средств оценивания результатов обучения является тест.
Составление качественных тестов предоставлено высококвалифицированным научно-педагогическим коллективам, которые должны в совершенстве владеть основами тестологии, уметь учитывать психологические, физиологические, возрастные и прочие особенности учащихся, хорошо представлять дальнейшую процедуру математиче-
ской статистической обработки результатов. Поэтому одной из важных задач вуза, обучающего студентов по направлению «Педагогическое образование», является подготовка специалистов в области педагогических измерений по вопросам теории и практики использования педагогических тестовых материалов в сфере образования.
Как известно, вычислительная техника с каждым годом оказывает все большее влияние на все этапы проведения тестов - от разработки и конструирования тестов до их проведения, от подсчета баллов до оперативного сообщения результатов и их интерпретации. Однако анализ целей использования компьютера при изучении тем курса, выбор программного обеспечения, отражающего содержание модулей, которое будет доступно и интересно обучаемым, позволяет констатировать, что особенно эффективным и наглядным становится применение компьютера на стадии предъявления тестов, обработки и интерпретации результатов те-
стирования.
Рассмотрим одну из методик обработки и представления результатов тестирования, проводимого при обучении студентов-математиков.
I. Построение матрицы ответов по эмпирическим данным тестирования. Получение статистических характеристик теста.
Номера или фамилии испытуемых для определенности вводим в столбец, а итоги тестирования по каждому испытуемому -в соответствующую строку. Отметим, что результаты тестирования рассматриваются по дихотомической шкале: 1 балл ставится при правильном ответе на тестовое задание, 0 баллов - при неправильном ответе.
Анализ матрицы ответов может осуществляться в двух направлениях: получение статистических характеристик при анализе матрицы по вертикали (по столбцам) и по горизонтали (по строкам).
1. Анализ матрицы ответов по столбцам.
Среди характеристик тестирования выберем следующие показатели:
- сумма (Я') - число правильных ответов на'-е задание;
- процент выполнения задания (Я / п х 100 %, где п - число испытуемых);
- доля правильных ответов (р) на '-е задание (вычисляется по формуле Р' = Щ/п, где п - число испытуемых);
- доля учащихся, неверно выполнивших '-е задание вычисляется по формуле
& =1- Р'.
Показатель & является важной статистической характеристикой '-го задания, которая называется индексом трудности. Определение индекса трудности является обязательным требованием к тестовым заданиям. Если не известна эмпирическая мера трудности, то задание трудно назвать тестовым. Это связано с тем, что в педагогическом тесте задания должны быть упорядочены по степени возрастания трудности [1, с. 165].
Отметим, что задания, индекс трудности которых меньше 20 % или больше 80 %, либо исключаются из теста, либо дорабатываются, поскольку в первом случае тестовые задания являются легкими для большинства учащихся, а во втором случае задания окажутся слишком трудными (их решат меньше 20 % учащихся). Однако в критериально-ориентированных тестах, направленных,
например, на усвоение способов решения типовых задач, задания с высоким и низким индексом трудности могут быть оставлены в тесте. Они позволят выявить типы задач, с которыми справляются большая (меньшая) часть учащихся, и внести коррективы в процесс обучения по результатам тестирования [3, с. 32]. Таким образом, требование известной трудности задания является системообразующим признаком тестового задания.
2. Анализ матрицы по строкам.
Для анализа рассмотрим ряд характеристик:
- сумма баллов за тест для каждого испытуемого;
- средний балл (М), который равен частному суммы баллов за тест каждого испытуемого и n, где n - число испытуемых);
- мода (Мо) - наиболее часто повторяющийся элемент. Подсчитывается, например, с помощью функции «МОДА» в MS Excel от суммы баллов по каждому испытуемому в формате «=МОДА^2^23)»;
- медиана (Ме) - значение признака у средней единицы ряда, записанного в возрастающем (убывающем порядке); значение медианы может быть найдено в табличном редакторе MS Excel с помощью функции «МЕДИАНА» в формате «=МЕДИАНА^2±23)»;
- Y max и Y min - это максимум и минимум значения суммы баллов по каждому испытуемому;
- размах баллов (RA), равен разности Y max и Y min;
- процент набранной суммы баллов по отношению к максимально возможному количеству баллов;
- ранг - место каждого испытуемого. Функция «Ранг» в MS Excel может быть использована для подсчета данного признака.
На основе полученных данных определяем коэффициент трудности теста (Т) как разность максимальной суммы баллов за тест и среднего арифметического значения суммы первичных баллов. Величина дисперсии (Dj) по результатам выполнения j-го задания определяется по формуле Dj = (qjpj) и может говорить о коэффициенте надежности гомогенного теста. Дисперсия распределения баллов за тест Dy (функция «ДИСП» в табличном редакторе MS Excel) и величина стандартного отклонения Sy (функ-
ция «СТАНДОТКЛОН» от столбца «сумма баллов» в MS Excel) определяются как мера рассеивания индивидуальных баллов за тест вокруг среднего арифметического баллов.
Одними из важных характеристик при анализе заданий теста являются коэффициент корреляции и критерий надежности теста.
Оценка надежности теста проводится по коэффициенту Кьюдера Ричардсона, вычисляемому по формуле:
К =
Z pjij m (1 - j^-),
m -1
D„
Rjy = M i - M •
Ф jk
Pjk - PjPk
JpjjiJk
где т - число заданий в тесте, - дисперсия распределения баллов за тест [6, с. 176].
При проверке тестовых свойств заданий в качестве критерия также используется бис-сериальный коэффищент корреляции. Его вычисляют по формуле:
^ ^ п(3 -1)
где М, - среднеерифметическое по всему тесту для испытуемых, получивших 1 балл за у-е задание, М° - среднекрифметическое по всему тесту для испытуемых, получивших 0 баллов за у-е задание, п1 - число испытуемых, попучивших 1 балл за у-е задание, п0 - чиело испытуемых, неверно выполнив-шихв'-е задание, п = 1,2...2а [6, с. 174].
Подсчитывая коэффициенты корреляции пе каждому заданию, можно сделать выводы о качестве тестовых заданий. Отметим, что нижняя граница взлючения задания в тест составлязт Щу >0,2. Чем выше знзчение R/у, тем больше вероятность превоащения задания в тестовей форме в тестоеое задание. Если коэффициент корреляции равен нулю или принимает отрицательные знпчения, то это свиуетельетвует об атсутстеии у задано-я необходимых системных свойств, присущих тестовому заданию. Если значение коэффициента находится в интервале от 0,2 до 0,5, то для решения вопроса о включенои задания нужно проанализировать другие характеристики, нппример, мер, трудновти, мер)? корреляции с другими заданиями.
Если найти (Я)у)2 и умножить это число на 100 %, то полуучим значение коэффициента детерминации [1, с. 170-М71].
Вычисление коэффициента корреляции между Пвумя оаданиями теста оеуществля-ется по формуле:
где рд - доля испытуемых, верно выполнивших оба задания, p. - доля испытуемых, верно выполнивших j-е задание, pk - доля испытуемых, верно выполнивших k-е задание, qj - доля испытуемых, неверно выполнивших j-е задание, qk - доля испытуемых, неверно выпо лнивших k-е задание.
Отметим, что ф.к = ф. тогда таблица результатов вычисле ний коэффициента корреляции в ММ S Excel будет симметрична относительно главно й диагонали.
При анализе таблицы можно сделать выводы на основе следующего замечания: если ф. <0, то связи между заданиями нет. В итоговом тесте стремятся к невысокому положительному коэффициенту ф-к, т. е. ф,т е (0; 0,3). Для тематического теста характерна оысокая корреляция между заданиями [8, с. 313].
Отметим, чтобы получить описательную статистику числовых перемен-ных, можно воспользоваться программой по статистической обрпботке данных StatSoft Statistica (Статистика) [2]. Для этого можно щелкнуть в диалоге Basic Statistic на кнопке «Statistics...» (Статистика) значок Descriptive Statistics. Откроется дкалоговое окно «Descriptive StatisiiKs» (Десксиптивные статистики).
В группе Advanced можно выбрать следу-ю щие характеристики:
- MeOian (Медиана);
- Mode (Мода);
- Frequency (Частота);
- Sum (Сумма);
- Minimum (Минимум): наименьшее значение;
- Maximum (Максимум): наиОольшее значение;
- Range (Размах);
- Variance (Дисперсия);
- SCd. deviation (Стандартное отклонение).
II. Графическая интерпретация результатов тестирования.
Выделим (формы представления результатов, доступные в режиме анализа заданий.
1. Форма «Решаемость заданий» - это карта коэффициентов решаемости по заданиям (темам) теста. Коэффициент решаемости вычисляется как отношение суммы бал-
0"!
Рис. 1. Геометрический образ задания
лов по данному заданию, полученной всеми тестируемыми, к максимально возможному количеству баллов за тест. Например, максимально возможное количество баллов за тест - 20; число правильных ответов на второе задание равно 7, значит, коэффициент решаемости второго задания равен 0,35, т. е. К2 = 7/20 = 0,35.
Форму «Решаемость заданий» можно представить в программе StatSoft Statistica. Для этого выделяется в таблице исходных данных строка коэффициентов решаемости заданий Kj. С помощью команды Graphs (Graphs of Block Data - Line Plot: Block Rows) на панели инструментов в программе StatSoft Statistica создаем поле с искомым графиком.
Отметим, что для большей наглядности форма «Решаемость заданий» для нескольких вариантов может быть сведена в одно графическое поле.
Анализируя форму «Решаемость заданий», можно определить номера заданий, вхадящих в зону «легких» и «трудных» заданий, долю заданий, составляющих зону «средних заданий».
2. Геометрический образ задания.
Для построения геометрического образа задания нужно определить вероятность выполнения каждого j-го задания как отношение числа учащихся, верно выполнивших j-е задание к числу учащихся, получивших Y баллов за это задание.
Приведем пример геометрического образа пятого задания, построенног с помощью команд меню Graphs - Graphs of Block Data -Line Plot: Block Rows в программе StatSoft Statistica (рис. 1).
Специалисты, анализируя геометрический образ задания, дают педагогическую, тесто-логическую и статистическую интерпретацию [3; 4; 7; 9; 10]. Нанфимер, по рисунку 1 можно сформулировать ряд выводов:
- задание плохо сформулировано, поэтому о правильном отввте можно только догадываться, при его выполнении ошибаются и слабые, и сильные учащиеся;
- задание требует доработки для внесения большей ясности в его смысл;
- график имеет высокую нрутизну, что означает высокую дифференцирующую способность задания ;
4
Гистограмма распределения тестирования (1 вариант)
3
2
15 25 35 45 55 Процент выполнения теста
65
0
5
5
Рис. 2. Гистограмма распределения результатов тестирования
- задание средней сложности, т. к. с ним справляются учащиеся, получившие наименьшее и наибольшее количество баллов за тест.
Гистограмма распределения результатов тестирования.
Для построения гистограммы в матрице ответов выделяем столбец «процент суммы баллов по отношению к максимально возможному количеству баллов». Выбираем команды «Graphs - Histograms». После этого в разделе Voriables (Переменные) устанавливаем имя столбца таблицы «%». Нажимаем кнапки «ОК». После внесения соответствующих заголовков получаем следующую диа-громму (рис.2) .
Таким образом, применение описанных методик анализа результатов тестирования при обучении студентов по направлению «Педагогическое образование» позволит сформировать у будущего учителя теоретико-методологические основы тестирования: способы обработки результатов с помощью математических методов с последующим определением характеристик точности и надежности полученных результатов. Применение компьютерных программ (на-
пример, StatSoft Statistica, MS Excel) при анализе результатов тестирования позволяет' не только быстро получить статистические показатели, наглядные геометричеикие образы, но и соединяет теоретические знания и практические навыки студентов в единое процессе учебной деятельности.
Библиографический список
1. АвонесоиД С. Композиция тестовых задк-ний. Учебная книга. - 3-е изд., доп. - М.: Центр тестирования, 2002. - 240 с.
2. Боровиков В. Statistica: искусство анализа данных на компьютере. - СПб.: Питер, 2003. -344 с.
3. Майоров А. Н. Теория и практика создания тесткв для сисеемы обиазования. - Ми Интреллект-центр, 2001. - 296 с.
4. Михайлов Д. В. Фтрмирование смысловых эталонов и интерпретация результатов открытый тксиов в сислемах контроля знаний // Вестник Новгородского гос. ун-та им. Я. Мудрого. -2011. - № 65. - С. 83-87.
5. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей, 2000. - 168 с.
6. Сидоренко Е. В. Методы математической обработки в психологии. - СПб.: Речь, 2003. - 350 с.
7. Сосницкий В. Н., Потанин Н. И. Вероятностный подход к анализу успеваемости студентов // Народное образование. - 2014. - № 8. -С. 734-738.
8. Челышкова М. Б. Теория и практика конструирования педагогических тестов. - М.: Логос, 2002. - 432 с.
9. Челышкова М. Б. Разработка педагогических тестов на основе современных математических моделей. - М.: Исследовательсктй центр, 1995. - 245 с.
10. Steven J. Osterlind. Constructing test items: Multiple-Choise. Constructed-Response, Performance, and Other Formats. - Columbia: University of Missouri, 2004. - 221 p.
Elizarova Ekaterina Yurevna
Senior Lecturer of the Department of mathematics and mathematics education, Nizhny Novgorod State Pedagogical University named after Kozma Minin, Elizarova-EU@yandex.ru, Nizhny Novgorod
computer processing and analysis of test results for students in the direction of "teacher education"
Abstract. The complexity and diversity of problems of assessment in education, the widespread use of tests in school and University practice, led to the urgency of the problem of training future teachers, strong theoretical foundations of testing understanding of ways of assessing learning outcomes, methods of educational measurement educational achievements of learners by means of mathematical processing of results of testing. The lack in actual practice, a clear mechanism of assessment of learning outcomes based on the traditional means of control leads to subjectivism, the non-comparability of assessments and, consequently, to their devaluation. A fundamental change in the established practice of evaluation is only possible on the basis of the transition from subjective to objective evaluation measurement of students knowledge, to the processing of results with the help of mathematical methods of system analysis, the theory of large numbers, statistics and computer technology (computer programs: StatSoft Statistica, MS Excel). The analysis of the answers to the questions: what, what and how to measure, using what tools, how to evaluate the accuracy of the measurement, etc., allowed us to identify a key concept - test task, and the associated analytical characteristics (index of difficulty, the correlation coefficient etc.) and geometrical methods of representation and description (solutions form, geometrical image of test item, histogram of the distribution of test results). The application of the described methods of analysis and presentation of results of testing equip future teachers with modern methods and effective means of practical work in the field of testing.
Keywords: matrix of responses, the difficulty index, the correlation coefficient, geometric image of test item, the histogram of the distribution of test results, MS Excel, StatSoft Statistica.
Поступила в редакцию 30.04.2015
