CC BY
89
ИЗВЕСТИЯ
Ф
ПГПУ
IZVESTIA
ПЕНЗЕНСКОГО ГОСУДАРСТВЕННОГО ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА имени В. Г. БЕЛИНСКОГО
PENZENSKOGO GOSUDARSTVENNOGO
PEDAGOGICHESKOGO UNIVERSITETA
IMENI V.G. BELINSKOGO
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
PHYSICAL AND MATHEMATICAL SCIENCES
№26 2011
ИМ. В. Г. БЕЛИНСКОГО
№26 2011
Дрождин В. В., Павкина Е. А., Яремко О. Э. — Определение оценок тестовых заданий // Известия ПГПУ им. В. Г. Белинского. 2011. № 26. С. 386—391. — Разработан способ оценки ответов на тестовые задания на основе эффективного процесса конструирования ответа, обеспечивающий высокую точность оценивания уровня знаний, умений и навыков обучаемых. Предложенный способ автоматического вычисления баллов позволяет объективно сравнивать обучаемых не по ответам на одни и те же тестовые задания, а по объему и сложности выполненных ими заданий.
Ключевые слова: автоматизированная система контроля знаний, тестовое задание, тип тестового задания, оценка ответа, качество контроля знаний
Drozhdin V. V., Pavkina E. A., Yaremko O.E. — The estimation of test tasks // Izv. Penz. gos. pedagog. univ. im.i V. G. Belinskogo. 2011. № 26. P. 386—391. — It is suggested the way of estimation of test answers on the basis of effective process of answer’s constructing, which provides high accuracy of measuring the level of knowledge, abilities and skills. The proposed way of automated calculation of points allows the objective comparing of students not by the replies to the same test tasks but by the value and difficulty of the made items.
Keywords: the automated system of knowledge control, a test task, the type of test task, the estimation of reply, the quality of knowledge control
Автоматизированный контроль знаний является неотъемлемой частью современного образования.
От качества контроля знаний обучаемых напрямую зависит качество обучения, так как именно контроль является основным фактором, мотивирующим к непрерывному и глубокому изучению учебного материала [1].
Для качественного автоматизированного контроля знаний, оценки уровня умений и навыков обучаемых, а также для сокращения времени тестирования (за счет уменьшения количества заданий в тесте) целесообразно использовать широкий набор типов тестовых заданий (ТЗ) [2-4].
Выделим следующие типы ТЗ:
1. закрытые ТЗ:
- с одиночным выбором;
- с множественным выбором;
2. открытое ТЗ;
3. ТЗ на упорядочивание;
4. ТЗ на соответствие двух множеств:
- полное соответствие типа 1 : 1;
- частичное соответствие типа 1:1;
- полное соответствие типа 1 : М;
- частичное соответствие типа 1 : М;
- полное соответствие типа М : М;
- частичное соответствие типа М : М;
5. ТЗ на подстановку:
- однократная полная подстановка;
- однократная частичная подстановка;
- множественная полная подстановка;
- множественная частичная подстановка;
6. ТЗ на конструирование:
- конструирование из всех элементов;
- конструирование из части элементов;
7. ТЗ на реконструирование.
Качественные оценочные тесты должны учитывать не только изучаемый материал, но и хорошо согласованы со способностями каждого обучаемого. Поэтому необходимо разработать согласованную систему оценивания тестов и тестовых заданий, включающую оценку сложность ТЗ разных типов и частично правильные ответы обучаемых [5].
Оценку знаний обучаемого будем формировать на основе эффективного процесса конструирования ответа. Для этого учитывается только минимальный набор действий, необходимых для построения полного ответа на ТЗ.
В качестве эталонной единицы работы используем элементарное решающее действие. Элементарным решающим действием (ЭРД) будем называть установление одной связи между двумя элементами или отнесение одного элемента к одному классу.
Приведем аналитические зависимости вычисления количества ЭРД, которые необходимо выполнить при ответе на ТЗ в соответствии с его типом.
Количество ЭРД для ТЗ с одиночным выбором вычисляется по формуле:
Б = N
где N - число предложенных вариантов ответа.
Количество ЭРД для ТЗ с множественным выбором вычисляется по формуле:
Б = 2 * N
где N - число предложенных вариантов ответа; 2 - коэффициент, учитывающий разбиение N вариантов на два класса.
Для открытого ТЗ сложно задать формулу вычисления количества ЭРД. Поэтому целесообразно вначале принять количество ЭРД, соответствующее трем баллам. Более точная балльная оценка ТЗ будет получена в процессе адаптации системы по результатам тестирования.
Количество ЭРД для ТЗ на упорядочивание вычисляется по формуле:
Б = 1/2 * ^ - 1) * N
где N - число элементов в упорядочиваемой последовательности; N > 2, так как вероятность угадывания последовательностей из одного и двух элементов является достаточно большой.
Количество ЭРД для ТЗ на полное соответствие типа 1 : 1 вычисляется по формуле:
Б = 1/2 * N * ^ + 1);
где N - число элементов в одном множестве.
Количество ЭРД для ТЗ на частичное соответствие типа 1 : 1 вычисляется по формуле:
Б = N * К - 1/2 * К * (К - 1);
где N - число элементов в большем множестве; К - число элементов в меньшем множестве.
Количество ЭРД для ТЗ на полное соответствие типа 1 : М вычисляется по формуле:
Б = N * К;
где N - число элементов в первом множестве; К - число элементов во втором множестве.
Количество ЭРД для ТЗ на полное соответствие типа М : М вычисляется по формуле:
Б = 1,5 * N * К;
где N - число элементов в первом множестве; К - число элементов во втором множестве; 2 -коэффициент, учитывающий принятие решения о распределении элементов как одного, так и другого множества.
Количество ЭРД для ТЗ на однократную полную подстановку вычисляется по формуле:
Б = N * К = N2;
где N - число вставляемых элементов; К - число мест для вставки; N = К - условие корректности.
Количество ЭРД для ТЗ на конструирование из всех элементов вычисляется по формуле:
Б = 2 * N * К;
где N - число элементов для конструирования; К - число мест в конструкции; N = К > 2 - условие корректности.
Количество ЭРД для сложных ТЗ равно сумме ЭРД простых ТЗ. Поэтому можно комбинировать ТЗ любых типов. Однако целесообразно учитывать два условия:
- эффективно комбинировать простые ТЗ примерно равной сложности;
- учитывая ограничение на максимальную сложность ТЗ, в сложном ТЗ могут участвовать только задания небольшой или средней сложности.
Теперь можно определить максимальные расчетные баллы за выполнение тестовых заданий. Для определенности будем считать, что максимальный балл за выполнение ТЗ (Б’тах) равен 10 баллам, хотя это значение может быть любым другим. В
В качестве эталонного максимально сложного задания примем ТЗ, требующее для формирования ответа выполнения Б’тах = 100 ЭРД. Такой сложностью будут обладать ТЗ на конструирование из 7 элементов, на множественное соответствие между множествами из 8 элементов. Поэтому на один зачетный балл будет приходиться ЭРД:
а = Б’тах / Б’тах = 100 / 10 = 10.
Тогда максимальный зачетный балл, который может быть получен за полностью правильный ответ, для каждого тестового задания будет вычисляться по формуле:
Бшаж — Б / а + Ь
где Б - количество ЭРД, необходимых для построения ответа на ТЗ; Ь = 0.1 * к - дополнительный балл за объем ТЗ, косвенно учитывающий сложность изложения задания; к - количество слов в ТЗ длиной более трех символов.
Таким образом, расчетные максимальные баллы за выполнение ТЗ определяются объемом работы, которую должен выполнить обучаемый при формировании ответов на ТЗ. Универсальность и элементарность работы, принятой в качестве эталона формирования ответов на ТЗ позволяет констатировать высокую объективность оценок и хорошую согласованность всех тестовых заданий независимо от их типов.
Улучшение формальных оценок, т.е. получение более высоких баллов по результатам ответов, возможно только одним единственным способом: реальным знанием учебного материала и высокими интеллектуальными способностями по формулированию ответов за меньшее количество переборов вариантов.
Теперь можно определить зависимости для вычисления количества зачетных балов по результатам ответов на ТЗ разных типов.
При вычислении зачетных баллов учитываются как правильные, так и неправильные варианты ответов (причем неправильные варианты понижают зачетный балл).
Количество зачетных баллов за ответ на ТЗ с одиночным выбором вычисляется по формуле:
{Итах, если выбран верный вариант;
0, если выбран неверный вариант.
Количество зачетных баллов за ответ на ТЗ с множественным выбором вычисляется по формуле:
И = Р И ;
и — N ' итах1
где Р - количество верно выбранных и верно невыбранных вариантов ответа; N - число предложенных вариантов ответа.
Количество зачетных баллов за ответ на ТЗ по упорядочиванию вычисляется по формуле:
и = к и ;
и — N ' итах1
где N - число элементов в упорядочиваемой последовательности; Ь = Ьх + Ь + Ьз + ... + Ьт - т + 1; Ьх, Ь2, ..., Ьт - число элементов в первой, второй, ..., т правильно упорядоченной последовательности; т - число правильно упорядоченных последовательностей; Ь > 2 - условие учета правильных последовательностей, так как вероятность угадывания последовательностей из одного и двух элементов является достаточно большой.
Учет полностью и частично правильных ответов позволяет более точно выявлять область знаний обучаемого и давать более точные рекомендации по освоению материала.
Рассчитав максимальные баллы для различных типов ТЗ при разном числе вариантов ответа, можно отметить, что каждый тип ТЗ имеет свой интервал сложности. Например, ТЗ с одиночным выбором с 4, 5 и 6 вариантами ответа будут иметь соответственно максимальные баллы 0.4, 0.5 и 0.6, ТЗ с множественным выбором с теми же вариантами ответов будут иметь интервал сложности от 0.8 до 1.2, а ТЗ на полное соответствие типа М : М имеют интервал сложности от 1.8 до 5.4. С другой стороны определенному интервалу сложности будут соответствовать несколько типов ТЗ разной размерности в зависимости от многообразия вариантов конструирования ответа. Это позволяет формировать тесты, согласованные по сложности со способностями конкретного обучаемого, используя ТЗ разных типов, содержащие определенное количество элементов для построения ответа.
Для формирования теста выбор ТЗ осуществляется на основе следующих исходных данных: раздел, тема, сложность оцениваемых заданий, средний балл (Бср), определяющий уровень способностей обучаемого (вычисляется по результатам предыдущего тестирования и в дальнейшем корректируется) и требований студента, выражающих степень знания ими контролируемого материала и сдвигающих интервал сложности тестовых заданий на ±0.5 балла.
Оптимальным целесообразно считать выбор ТЗ со сложностью из интервала [Бср ± 1]. Если тестовых заданий требуемой сложности недостаточно, то интервал может быть расширен до [Бср ± 2]. Учитывая, что Бср является вещественным числом в интервале от 1 до 9 и корректируется по результатам каждого аттестационного тестирования, то система автоматизированного контроля знаний будет формировать уникальную последовательность тестов для каждого обучаемого, что обеспечит необходимое статистическое разнообразие тестовых заданий и высокую точность оценки знаний, умений и навыков обучаемых.
Зачитываемыми целесообразно считать ответы на ТЗ и пройденные тесты, по которым набрано не менее 70% от максимальных расчетных баллов. При этом заданиями нормальной сложности для обучаемого будут такие ТЗ, за которые он получает примерно 85% от Бтах. Тогда ТЗ, за которые обучаемый получает более 90% от максимальных расчетных баллов будут более легкими, а ТЗ, за которые обучаемый получает 70-80% от Бтах будут более сложными. ТЗ, за которые обучаемый получает 30-70% от Бтах будут составлять область неопределенности, не позволяющую принять надежного решения о знании и незнании данного учебного материала обучаемым, а ТЗ, за которые обучаемый получает 0-30% от Бтах будут составлять область незнания.
Зачет тестов при наборе не менее 70% от максимальных расчетных баллов свидетельствует как о высоком качестве и надежности системы автоматизированного контроля знаний (точности получаемых оценок), так и о вполне приемлемой сложности индивидуальных тестов (зачитываются тесты от 70%, а не только близкие к 100% Бтах), используемых для контроля знаний, умений и навыков обучаемых.
Предложенная система оценки знаний обучаемых ориентирована на многократное использование каждым обучаемым в процессе освоения учебного материала. Это позволяет на основе анализа последовательности тестов, пройденных одним обучаемым, выявлять динамику его обучения и уровень освоения учебного материала. Например, если уровень сложности ТЗ Бср остается постоянным, это свидетельствует о стабильности усвоения материала обучаемым и его нежелании совершенствоваться. При увеличении сложности ТЗ Бср можно утверждать - обучаемый регулярно занимается, прикладывает большие усилия для освоения учебного материала, что повышает его уровень знаний и умений. Колебания уровня сложности говорит о нестабильном обучении, если осуществляется контроль учебного материала из одного раздела, либо о сложности определенных тем, если осуществляется контроль учебного материала из разных разделов.
Таким образом, автоматизированный контроль знаний, умений и навыков обучаемых может быть не только эффективным (одновременное тестирование большого числа обучаемых с быстрым получением результатов тестирования и их анализа), но и комфортным (соответствие тестов способностям обучаемых), объективным (обеспечение статистического разнообразия ТЗ), надежным (зачитываются ТЗ и тесты, по которым набрано 70-100% от Бтах) и качественным (автоматическая поддержка Бср способностям конкретно обучаемого). Высокое качество системы и достоверность получаемых оценок знаний, умений и навыков обучаемых являются самым мощным стимулом к освоению учебного материала и познанию в целом.
ЛИТЕРАТУРА
1. Тягунова Т. Н. Философия и концепция компьютерного тестирования. М.: МГУП, 2003. 246 с.
2. Аванесов В. С. Форма тестовых заданий: учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. М.: “Центр тестирования”, 2005. 156 С.
3. Красильникова В. А. Теория и технологии компьютерного обучения и тестирования. М.: Дом педагогики, ИПК ГОУ ОГУ, 2009. 33 с.
4. Дрождин В. В., Павкина Е. А. Повышение эффективности компьютерного контроля знаний обучаемых // Проблемы информатики в образовании, управлении, экономике и технике. Пенза: ПДЗ, 2010. С. 138-140.
5. Дрождин В. В., Павкина Е. А. Концептуальные основы автоматизированной оценки знаний, умений и навыков обучаемых // Проблемы информатики в образовании, управлении, экономике и технике. Пенза: ПДЗ, 2011. С. 132-135.
