CC BY
33
L4QQ/J
УДК 37
СОВРЕМЕННЫЕ МЕТОДЫ АВТОМАТИЗИРОВАННОЙ ОБРАБОТКИ ДАННЫХ ТЕСТИРОВАНИЯ
Р. Б. Тагиев, А. А. Тулаев
Донской государственный технический
университет, Ростов-на-Дону, Российская
Федерация
r-tagievv@yandex.ru
Al-tylaev@yandex.ru
Программно-инструментальные средства и информационные технологии расширяют возможности эффективного использования данных образовательной статистики для управления качеством обучения, расширяя возможности использования надежной информации о состоянии управляемых объектов.
Ключевые слова: аналитика, независимое тестирование, эвалюация, образовательная логистика, управление качеством обучения, контроль.
UDC 37
MODERN METHODS OF AUTOMATED PROCESSING OF TEST MATERIALS
R.B. Tagiev, A.A.Tulaev
Don State Technical University, Rostov-on-Don, Russian Federation
r-tagievv@yandex.ru Al-tylaev@yandex.ru
Abstract. Software tools and information technologies extend the capabilities of the efficient use of statistical indicators of education performance management training , empowering the use of reliable information on the state of the managed object .
Keywords: analyst , independent testing , evaluation, educational logistics, quality management training, monitoring.
Введение. В последние два десятилетия в отечественном образовании стал широко использоваться тестовый метод оценки качества подготовленности обучающихся. В педагогике и психологии тестированием (от англ. test) называется экспериментальный метод, основанный на стандартизированных заданиях, которые позволяют измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого [1]. В широкой интерпретации термин тестирование включает в себя тестовый метод, результат тестирования и интерпретацию результатов тестирования. Кроме того широко используются принципы эвалюации как метода комплексного подхода к планированию, разработке и применению оценочных механизмов в образовании.
Виды контроля знаний в эволюции.
1. Традиционный контроль. Для оценивания знаний испытуемых обращаются к таким методам контроля, как контрольная работа, коллоквиум, реферат, эссе и т.д. Педагог составляет различные варианты заданий, после проведения контроля проверяет и оценивает итоговые результаты работы испытуемых, возможен и устный опрос.
2. Контроль с использованием средств на бумажных носителях. В этом случае для контроля используют заранее подготовленные бланки, содержащие контрольные задания
L4QQ/J
(квазитесты). Испытуемые заполняют бланки, решая задания и отвечая на вопросы. Преподаватель проверяет работы, используя специальные трафареты и таблицы ответов.
3. Контроль с применением программных методов. В этом случае, получив от педагога индивидуальный комплект заданий, обучающийся выполняет их и заносит в программу номер варианта и полученный ответ по каждому заданию, а устройство выполняет проверку ответов, высчитывает баллы и выставляет оценку за работу.
4. Компьютерный тестовый контроль. Здесь контроль знаний обеспечивают специальные компьютерные программы, в которых осуществляется формирование, вообще говоря, индивидуального набора тестовых заданий каждому обучающемуся. Вывод заданий осуществляется на экран монитора. По окончании тестирования выдаются анализ ответов, результирующая оценка, обеспечивается хранение результатов контроля и данных о подготовленности испытуемых.
5. Удаленный контроль. Введение этого метода контроля знаний обусловлено, обширным употреблением в процессе обучения возможностей сети Internet. Отличительными особенностями удаленного контроля знаний является свобода выбора темпа тестирования, его времени и места, по сути это возможности самоконтроля [4].
При тестировании очень важно знать писхометрические свойства педагогического измерителя. Основными характеристиками, которые могут быть получены при внедрении и обработке итоговых результатов тестирования являются: уровень сложности тестовых заданий, дискриминативность, корреляция заданий, дисперсия, надежность, валидность и корреляция теста в целом [2, 3]. В связи из обширного числа громоздких формул и многих промежуточных расчетов возникает необходимость автоматизации вычислений основных статистических характеристик теста с использованием соответствующих программно-инструментальных средств.
Как один из методов диагностики и пригодности тестирование нуждается в выявлении качества выполнения возложенных на него селективных функций. "Разложенные" по жизненному циклу тестов - его конструированию, проведению контроля и выставлению оценки. Определенные характеристики теста могут дать возможность пронаблюдать, на каком этапе он в большей степени обретает или утрачивает смысл, над каким звеном его внедрения в практику разработчикам предстоит еще поработать.
В качестве признанных для оценки качеств тестов выступает ряд критериев, которые характеризуют его добротность. Определяя одинаковые критерии для всех психологических методов диагностики, исследователи выделяют сравнимый пятиэлементный ряд характеристик оценочных инструментов: надежность, валидность, объективность, экономичность.
Математико-статистический анализ качества тестов и тестовых заданий на основе классической теории тестов. Математико-статистическая обработка обычно проводится с помощью специального программного обеспечения, но хотя бы один раз ее стоит проделать вручную, чтобы понять смысл некоторых показателей качества теста. Рассмотрим ее последовательные этапы.
Если за каждый верный ответ на задание испытуемому выставлять 1 балл, а за неверный
ответ или пропуск задания - 0 баллов, то табель ответов студента будет иметь вид последовательности из единиц и нулей (дихотомическое оценивание). Поскольку каждая единица или нуль появляются в результате взаимодействия испытуемого с заданием, то наиболее адекватной формой представления наблюдаемых результатов выполнения теста служит дихотомическая матрица, прямоугольная таблица, сводящая воедино профили ответов студентов и профили заданий теста (столбцы состоят из оценок всех студентов по каждому заданию теста) [7].
Пример матрицы наблюдаемых результатов, полученной при выполнения N (К= 10) студентами п (п = 10) заданий теста при дихотомических оценках (1 или 0) по заданиям приведен в табл. 1.
Таблица 1.
Матрица первичных результатов тестирования.
Номера испытуемых / Номера заданий / Индивидуальные баллы (множество х,)
1 2 3 4 5 6 7 8 9 10
1 1 1 1 1 1 1 0 0 0 0 6
2 1 1 0 0 0 0 0 0 0 0 2
3 0 0 0 0 0 0 1 0 0 1
4 1 1 0 1 1 1 1 1 1 1 9
5 1 0 1 0 1 1 0 0 0 0 4
6 1 1 1 0 0 0 0 1 0 0 4
7 1 1 1 1 0 1 0 0 0 0 5
8 1 1 1 1 0 0 0 0 0 0 4
9 1 1 1 1 1 1 1 1 1 0 9
10 1 1 1 1 1 0 1 0 0 0 6
Число правильных ответов (множество У¡) 9 3 7 6 5 5 3 4 2 1 50
Справа в вертикальном столбце находятся индивидуальные баллы студентов XI (1 = 1, 2, ..., К), получаемые сложением единиц по горизонтали в каждом профиле ответов. Сложение единиц в столбцах по профилям ответов на п заданий теста позволяет получить числа У| ( = 1, 2, ..., 1), соответствующие количеству правильных ответов на каждое задание. С помощью матрицы можно выполнить ряд расчетов, интерпретация результатов которых позволяет сделать важные выводы относительно качества заданий теста и получить достаточно точные оценки параметров подготовленности испытуемых в том случае. Для анализа, как правило, используют упорядоченную матрицу, которая не только ранжирует задания по нарастанию трудности, но и баллы испытуемых располагает по убыванию или нарастанию сверху вниз [6].
L4QQ/J
Одним из инструментов автоматизированной обработки является программный комплекс Iteman. С его помощью можно провести анализ заданий тестов, рассчитать такие параметры как: надежность; коэффициенты трудности заданий; нормальность распределения; средний бал по тесту; средний бал по каждому заданию; стандартное отклонение и др. Iteman представляет собой программную платформу, которая автоматизирует создание аналитических отчетов на основе классической теории тестирования. Мощный, но гибкий, он существенно экономит время анализа, позволяя оценить качество тестовых заданий и тестов в целом путем изучения их психометрических характеристик.
Программа Iteman состоит из 4 этапов, позволяющих получать визуальную информацию в окнах: files, input format, output options и scoring options. В окне Files нам будет необходимо заполнить три обязательных поля: 1) Data matrix File - матрица, представляющая текстовый документ с ответами каждого испытуемого на вопросы теста; 2) Item control file - текстовый файл, содержащий номера вопросов, количество вариантов ответов, ключи к заданиям, а так же возможность проводить анализ данного вопроса или нет; 3) Output file - здесь нужно указать путь к файлу отчета в формате PTF.
Рассмотрим, что представляет собой матрица и control file. Матрица - это текстовый документ, в котором первый столбик - номера испытуемых, против каждого испытуемого дается строка с цифрами - ответы по вопросам. Control file - текстовый документ состоит из столбцов: Item - номер вопроса, количество вариантов ответа, правильный ответ; Positive affect - тема вопроса; Y-включать ли вопрос в анализ: R-тип вопроса. После обработки данных получают выходные результаты (рис. 1.).
Рис. 1. Общий балл для заданных пунктов.
Программа дает распределение результатов на шкале баллов в виде гистограммы, на которой можно анализировать нормальность распределения. Видно, что немного имеют место отклонения в начале и конце шкалы, но в целом приведенное распределение очень близко к нормальному.
кчоо/л
Заключение. Статистические методы оценки качества тестов являются эффективным способом получения психометрических характеристик заданий и интерпретации их пригодности. Использование этих средств позволяет создавать качественные и, что важно, надежные тесты. В работе рассмотрены возможности только одной программы, но арсенал современных статистических методов гораздо богаче. Освоение и применение таких программ позволит исследователям в области педагогических наук расширить применение тестовых технологий в соответствующих предметных областях, повысить уровень обоснованности научных результатов по качеству используемых педагогических измерителей.
Библиографический список.
1. Ермолаев О.Ю. Математическая статистика для психологов. Учебник / О. Ю. Ермолаев -2-е изд. испр. / О. Ю. Ермолаев. - М.: Московский психолого-социальный институт. Флинта, 2003. - 336 с.
2. Ефремова Н.Ф. Тестовый контроль в образовании: учеб. пособие. - М.: Университетская книга. Логос. 2007. - 386 с.
3. Крамер Д. Математическая обработка данных в социальных науках: современные методы: учеб. для студ. высших учеб. заведений / Дункан Крамер; пер. с англ. И. В. Тимофеева, Я. И. Киселевой; науч. - М.: Издетельский центр «Академия», 2007. - 288 а
4. Наследов А. Д. Математические методы психологического исследования. Анализ и интерпретация данных. Учебное пособие / А. Д. Наследов. - СПб.: Речь, 2004. - 392 с.
5. Новиков Д.А. «Статистические методы в педагогических исследованиях (типовые случаи)». - М.: МЗ-Пресс, 2004. - 67 с.
6. Остапенко Р. И. Математические основы психологии: учебно-методическое пособие для студентов и аспирантов психологических и педагогических специальностей вузов / Р. И. Остапенко. - Воронеж.: ВГПУ, 2010. - 76 с.
7. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учеб пособие. - М.: Университетская книга. Логос. 2002. - 432 с.
