CC BY
50
УДК 378
Анохин М.Г
V
Тестирование как
Павлютенкова М.Ю. фактор повышения
качества знаний
Ведущие ученые кафедры политологии и политического управления РАГС при Президенте РФ дают квалифицированные рекомендации преподавателям вузов по подготовке и использованию тестов в процессе обучения студентов.
Ключевые слова: Тестирование. Требования к тестовым заданиям. Требования к технологиям компьютерного тестирования. Примеры тестовых заданий.
Anohin M.A.
Tests as a factor of
Pavlyutenkova M.Y. increasing of knowledge
quality
The leading scientists of political management in RAGS gives qualified recommendations to the teachers of high education organizations and using tests in process of studying.
Key words. Tests. Requirements to the test-tasks. Requirements to the techniques of testing with the help of computers. Examples of tasks.
Обучение - это, как правило, работа с группой, а оценивать знания необходимо у каждого студента в отдельности и достаточно часто, чтобы иметь представление об усвоении материала, вносить коррективы в учебный процесс. В этом помогает тестирование1. Кафедра политологии и политического управления РАГС - активный участник инновационных подходов в обучении.
Любой тест состоит из тестовых заданий; последние представляют не совокупность произвольно объединенных заданий, а систему. Тест, как система, обладает составом, целостностью и структурой.
Составляющие теста: Задания. Правила их применения. Оценки за выполнение каждого задания. Рекомендации по интерпретации тестовых результатов.
Целостность означает взаимосвязь заданий, их принадлежность общему изме-
ряемому фактору. Каждое задание теста выполняет отведенную ему роль, и потому ни одно из них не может быть изъято из теста без потери качества измерения.
Структура теста образует способ связи заданий между собой. В основном это так называемая факторная структура, в которой каждое задание связано с другими через общее содержание и общую часть вариации тестовых результатов.
Проявлению системного качества теста способствует и единая дисциплинарная общность заданий, реализующая идею измерения подготовленности студентов по одной определенной учебной дисциплине.
Время нередко называется в качестве другого системообразующего фактора. Действительно, одно из соображений, положенных в основу создания тестов - иметь инструмент быстрой и относительно точной
Михаил Григорьевич Анохин - доктор политических наук, профессор кафедры политологии и политического управления Российской академии государственной службы при Президенте РФ.
Марианна Юрьевна Павлютенкова - кандидат политических наук, доцент кафедры политологии и политического управления Российской академии государственной службы при Президенте РФ.
№ 1(2) 2007 Г.
оценки большого количества студентов. Требование экономии времени становится естественным в общественных процессах, каковым является образование.
Одно из актуальных направлений современной организации тестового контроля -это индивидуализация контроля, приводящая к значительной экономии времени тестирования. Контроль ведется с помощью заранее ранжированных по трудности заданий.
Другая сторона вопроса заключается в том, что от времени тестирования существенно зависит качество результатов. Каждый тест имеет оптимальное время тестирования, уменьшение или превышение которого снижает качественные показатели теста. Оптимальное время тестирования определяется эмпирически.
Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебного курса; остальное содержание в тест не должно включаться. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют. Внеучеб-ное содержание в тест не включается.
Содержание теста проходит экспертизу в учебно-методической комиссии кафедры, у сертифицированных тестологов, которые призваны дать ответ на главный вопрос -можно ли с помощью предложенных заданий корректно оценить содержание, уровень и структуру знаний студента. При оценке содержания теста всегда возникают вопросы о цели теста, его содержании и качестве.
Анализ содержания заданий, а следовательно, и теста в целом позволяет определить знания, умения,навыки и представления, требуемые для правильного выполнения задания. При применении заданий в тестовой форме для аттестации выпускников образовательных учреждений важно иметь такие задания, которые позволяют делать вывод о минимально допустимой компетентности выпускников.
Качество теста традиционно сводится к определению меры его надежности и вопросам валидности полученных результатов, как и объективным, качественным можно назвать только тот метод измере-
ния, который обоснован научно и способен дать требуемые результаты.
В западной литературе2 традиционно рассматривается два основных критерия качества: валидность и надежность.
Валидность означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование. Валидность зависит от качества заданий, их числа, от степени полноты и глубины охвата содержания учебной дисциплины (по темам) в заданиях теста.
Критериями отбора содержания тестового материала являются: значимость, научная достоверность, соответствие содержания теста уровню современного состояния науки, репрезентативность, возрастающая трудность учебного материала, вариативность и системность содержания.
Эффективным можно назвать тест, который лучше, чем другие тесты, измеряет знания испытуемых интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, и все это - по возможности в комплексе.
С понятием "эффективность" сопряжено и близкое к нему по содержанию понятие "оптимальность". Последнее трактуется как наилучшее из возможных вариантов с точки зрения удовлетворения нескольким критериям, взятым поочередно или вместе.
Эффективный тест не может состоять из неэффективных заданий. В таком случае естественно поставить вопрос о признаках, которые отличают эффективное задание от неэффективного. С точки зрения содержания эффективное задание проверяет важный элемент содержания учебной дисциплины, который нередко называют ключевым для требуемой структуры знаний испытуемых. В тест соответственно включаются только такие задания, которые эксперты признают в качестве ключевых элементов изучаемой учебной дисциплины.
В определении эффективности теста обращается внимание на два ключевых элемента - это число заданий теста и уровень подготовленности испытуемых.
Если из какого-либо теста с большим числом заданий сделать оптимальный выбор меньшего числа, то может образоваться система, не уступающая заметно по своим свойствам тесту со сравнительно большим числом заданий. Тест с меньшим
числом заданий в таком случае можно называть сравнительно более эффективным.
Легко понять практическую бесполезность того, чтобы давать слабым испытуемым трудные задания; большинство испытуемых, вероятнее всего, не сумеют правильно на них ответить. Так же обстоит дело и с легким тестом: его бесполезно (неэффективно) давать знающим испытуемым, потому что здесь высока вероятность теперь уже правильных ответов, и потому практически все испытуемые получат по тесту одинаково высокий балл. И в том, и в другом случае испытуемые не будут различаться между собой.
Измерение, таким образом, не состоится по причине несоответствия уровня трудности теста уровню подготовленности. Из этих соображений легко вывести, что самый эффективный тест - это тест, точно соответствующий по трудности заданий уровню подготовленности испытуемых.
Стремительное развитие информационно-коммуникационных технологий привело к тому, что появилась возможность осуществлять тестирование с применением персонального компьютера.
В целях осуществления единой политики Государственной инспекции Минообра-зования России в области конструирования профессиональных компьютерных тестов и получения объективных оценок уровня знаний, умений и навыков(достижений) были разработаны требования к программно-дидактическим тестам, тестовым заданиям и технологиям компьютерного тестирования. Требования призваны способствовать обеспечению заданного качества программно-педагогических тестовых заданий, тестов и технологии компьютерного тестирования, используемых в процессе дидактической оценки степени обученности тестируемых. Они основываются на положениях законов Российской Федерации "Об образовании", "Об обеспечении единства измерений" и "О стандартизации", нормативных документов Госстандарта России и Международных стандартов IMS.
Экспертные комиссии по аттестации и аккредитации образовательных организаций для проведения компьютерного тестирования применяют тесты, утвержденные Учеб-
но-методическими объединениями (УМО). Выработанные требования способствуют унификации компьютерных дидактических тестов и технологий компьютерного тестирования с сохранением возможности для УМО самостоятельного выбора, дополнения тестовых заданий и совершенствования технологий тестирования, отражающих специфические возможности образовательных организаций. Они используются экспертными комиссиями, экспертами и разработчиками тестовых материалов в процессе создания баз тестовых заданий для оценки качества образования выпускников3.
Базовыми требованиями к содержанию тестов являются:
1. Соответствие требованиям Государственных образовательных стандартов (ГОС).
2. Ориентация на высокие технологии тестовых проверок.
3. Соответствие тестов требованиям ГОС определяется содержанием задач, включенных в цели конкретной образовательной программы.
4. Преемственность тестов по отношению к требованиям Государственных образовательных стандартов обеспечивается в содержании баз тестовых заданий и композиций тестов.
5. Соответствие количества тестовых заданий в базах данных достигается путем согласования содержания тестов с объемом разделов конкретных учебных дисциплин, валидностью тестовых композиций и верностью оценки.
6. Ориентация на высокие технологии тестирования реализуется путем создания качественного механизма оценки, введения режима адаптивного тестирования и применения интернет-технологий.
Требования к программно-дидактическим тестовым заданиям:
• Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного заключения.
• Следует избегать тестовых заданий, которые требуют развернутых выводов.
• Основные термины тестового задания должны быть явно и ясно определены.
• В тестовом задании определяющий признак должен быть необходимым и достаточным.
114
№ 1(2) 2007 г.
• Тестовые задания должны быть прагматически корректными и рассчитаны на оценку остаточных знаний выпускников. Тестовые задания должны формулироваться в виде кратких суждений.
• При конструировании тестовых заданий необходимо применять четыре формы их представления, а также графические компоненты с целью рационального предъявления содержания учебного материала.
• Количество слов в тестовом задании не должно превышать 10-12.
• Среднее время ответа испытуемого на тестовое задание не должно превышать 1,5 минуты.
Требования к содержанию базы тестовых заданий (БТЗ):
1. Каждая БТЗ должна сопровождаться спецификацией со следующей информацией: содержательная часть, качественные показатели и характеристики тестовых заданий. К содержательной части БТЗ относятся: цели применения теста, предметная область, авторский коллектив, структура и спецификация теста; даты сертификации и утверждения базы тестовых заданий УМО. К качественным показателям относятся: валидность, количество заданий в различной форме. К физическим характеристикам теста следует отнести: физическое расположение теста, объем памяти носителя теста, наименование и размер файла (файлов), необходимого^) для проведения тестирования.
2. Тематическое содержание БТЗ определяется ГОС.
3. Композиции тестов формируются из базы тестовых заданий. Рекомендуется использовать в тесте задания, представленные в различных тестовых формах. Тест должен содержать не менее 60 тестовых заданий для математических и естественнонаучных дисциплин, не менее 100 для гуманитарных дисциплин (примерно один тест на час занятий). БТЗ должна пройти экспериментальную проверку, на основании которой будут определены ее показатели валидности и верности оценивания, зафиксированные в сопроводительной к тесту документации.
Требования к технологиям компьютерного тестирования:
1. Процесс тестирования должен обеспечивать:
• дружественность интерфейса к испытуемому;
• возможность инициирования диалога со стороны студента, самостоятельного регулирования темпа процесса тестирования;
• возможность возврата к ранее пропущенным тестовым заданиям;
• регистрацию результатов, ведение протокола заключений испытуемых;
• оценку достижений испытуемых по результатам тестирования, наличие гибкой шкалы оценивания и автоматическое вычисление результата тестирования.
2. Среда тестирования должна обеспечивать:
• возможность обновления содержания тестовых заданий;
• автоматическую распечатку результатов тестовых проверок;
• возможность формирования тестов с учетом требований ГОС к уровню обучен-ности выпускников.
3. Студенты должны быть заранее ознакомлены с типовыми формами тестовых заданий, порядком работы в конкретной системе тестирования не позднее чем за две недели до начала испытаний.
Осуществление контроля за соблюдением выполнения требований к программно-дидактическим тестам, тестовым заданиям и технологиям компьютерного тестирования:
1. Требования к содержанию программно-дидактических тестов, тестовых заданий и технологий компьютерного тестирования применяются для вновь разрабатываемых систем и процедур тестирования.
2. Государственные комиссии, применяющие компьютерные тесты и технологии, должны проводить тестовые проверки испытуемых в соответствии с настоящими требованиями.
3. Организация контроля за соблюдением настоящих требований осуществляется Центром тестирования профессионального образования.
Требования к составлению тестовых заданий:
1. Тестовое задание должно быть представлено в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования тестового утверждения.
2. Содержание задания должно отвечать требованиям ГОС.
3. Следует избегать вводных слов или предложений.
4. Содержание тестового задания НЕ должно содержать повторов, двойных отрицаний и сленга.
5. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.
6. Формулировка тестового задания должна быть выражена в повествовательной форме (вопрос исключается).
7. В формулировке ТЗ не должно быть повелительного наклонения (выберите, вычислите, укажите и т.д.).
8. Ответ на поставленный вопрос не должен зависеть от предыдущих ответов студента.
9. Ни в тексте, ни в ответах не должно быть подсказок.
10. Программно-дидактическое тестовое задание может быть представлено в одной из следующих 4-х стандартизированных форм:
• открытой;
• закрытой (с выбором одного или нескольких заключений);
• на установление правильной последовательности;
• на установление соответствия.
11. Форма ТЗ должна быть узнаваемой и нетребоватьдополнительных пояснений по способу ввода тестируемым заключения.
12. Требования к заданиям закрытого типа:
а) не должно быть заведомо ложных, а
также явно выделяющихся, обособленных
ответов. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов, целесообразно применять правдоподобные ошибочные варианты, взятые из опыта;
б) в заданиях закрытого типа дистракторы (варианты ответов) не должны начинаться или заканчиваться повторяющимися словами или выражениями. Количество дистракторов в задании должно находиться в пределах от 4 до 6;
в) недопустимы ответы типа: все вышеперечисленное верно, все указанные ответы неверны и т.д.;
г) лучше "длинный" вопрос и "короткие" ответы,чем наоборот;
д) количество слов в формулировках тестового задания должно быть разумно целесообразным;
е) в заданиях закрытого типа из 5 ответов должно быть 2, 3 или 4 правильных.
14. Задания на установление соответствия и правильной последовательности должны начинаться со слов:
Соответствие (а не установить соответствие)
Последовательность (а не установить последовательность)
Примеры тестовых заданий
1. Открытая форма.
Предметом политологии является...
2. Закрытая форма.
Особенность президентской республики:
1. наличие парламента
2. отсутствие поста президента
3. парламент может объявить президенту импичмент
4. правительство формируется парламентским большинством
5. президент играет второстепенную политическую роль
3. Установление соответствия
1. регулирующая ♦ касается управления, координа-ции поведения индивидов и групп
2. экстракционная ♦ связана с распределением политической системой благ, услуг, других знаков отличия
3. дистрибутивная ♦ обеспечивает способность системы черпать из внутренней или внешней среды ресурсы для функционирования
4. реагирующая ♦ с ее помощью система "отвечает" на импульсы, идущие от среды
5. символизирующая ♦ связана с потребностью в легитимности и поддержке, со способностью системы развивать популярные убеждения и мифы
♦ с ее помощью система обеспечивает производство правил
№ 1(2) 2007 Г.
Соответствие между функциями политической системы и их содержанием:
4. Установление правильной последовательности
Последовательность этапов процесса политико-административного управления:
♦ Контроль за выполнением управленческих решений
♦ Выработка "правил игры"
♦ Реализация управленческих решений
♦ Принятие управленческих решений
Опыт показывает, что наличие и использование тестов в читаемых курсах позволяют сделать контроль системным,
обратную связь "студент - преподаватель" - более эффективной, иметь более точную картину усвоения знаний студентами, делают процесс обучения более результативным.
1 Королев М.Ф., Романькова Н.В. Задачи кафедры вуза в обеспечении качества обучения. // Обеспечение качества обучения государственных и муниципальных служащих Российской Федерации. Выпуск 9. М., 2005. С. 9.
2 См.: Аванесов В.С. Научные основы тестового контроля знаний. М.: Иссл. центр, 1994.
3 См.: Материалы Центра тестирования профессионального образования - www.ast-centre.ru
