CC BY
121
О. А. Максимова
ТЕХНОЛОГИЯ КОМПЛЕКСНОЙ ЭКСПЕРТИЗЫ КАЧЕСТВА ТЕСТОВЫХ МАТЕРИАЛОВ ДЛЯ КОНТРОЛЯ УЧЕБНЫХ ДОСТИЖЕНИЙ
ОБУЧАЮЩИХСЯ
Работа представлена Центром оценки качества образования Томского областного института повышения квалификации работников образования.
Научный руководитель - кандидат технических наук, доцент О. Е. Пермяков
Статья посвящена рассмотрению актуальной проблемы обеспечения мониторинга качества образования надежными и валидными тестовыми измерителями. Важным условием повышения качества тестовых материалов является проведение экспертизы качества на этапе их разработки. В качестве решения проблемы предлагается применение системы комплексной экспертизы качества тестовых материалов, состоящей из четырех основных этапов. Даются теоретическое обоснование и общее описание системы комплексной экспертизы.
Ключевые слова: тест, тестовое задание, комплексная экспертиза качества тестовых материалов, эксперт.
The relevant problem of providing the monitoring of education quality with reliable and valid test measuring instruments is considered in the article. One of the requisite conditions to improve the quality of test materials is to carry out the quality control of the materials during the development stage. The complex system of the test materials quality control is proposed as a decision of this issue. Four stages of this system are described in the article. The theoretical base and common description of the complex examination system are given.
Key words: test, test task, complex examination of test materials quality, expert.
Процесс повышения качества профессионального образования затрагивает все уровни образовательной деятельности. В контексте мировых тенденций к обеспечению качества высшего профессионального образования особую значимость приобрела проблема разработки и внедрения внутривузовских систем оценки качества образования. Ориентация на овладение базовыми профессиональными компетенциями влечет за собой и изменения во внутри-вузовской контрольно-оценочной системе. В рамках инновационной деятельности тестирование является одним из эффективных видов контроля качества учебных достижений студентов.
Современное педагогическое тестирование представляет собой комплекс стандар-
тизованных методов измерения индивидуальных образовательных достижений. Эффективность применяемой системы контроля зависит не только от объективных и надежных технологий, но и от качества и эффективности применяемых контролирующих материалов. В этой связи проблема обеспечения систем контроля качества образования надежными и валидными тестами приобрела особую актуальность. Решение данной проблемы видится в применении системы комплексной экспертизы качества тестовых материалов на этапе их разработки. При этом нужно особо отметить, что под тестовыми материалами понимаются педагогические средства, представляющие собой стандартизированную систему калиброванных заданий специфи-
Технология комплексной экспертизы качества тестовых материалов для контроля учебных.. .
ческой формы, позволяющие надежно и объективно оценить качество подготовки обучающихся и выразить результат в числовом эквиваленте . При этом качество тестовых материалов оценивается через соответствие характеристик тестовых заданий и тестов совокупности требований к качеству тестовых материалов.
Совокупность требований формируется через внутренние и внешние свойства, характеризующие конкретный тест. Применение квалиметрического и системного подходов позволило выявить ряд специфических свойств, присущих тестовым материалам. С позиций квалиметрического подхода тестовые задания (ТЗ) и тест в целом детализируют в логике системо-деятельно-стного подхода требования к результатам подготовки обучающихся, которые выступают в качестве базы сравнения при оценке индивидуальных образовательных достижений. С позиций системного подхода тест рассматривается как система, состоящая из подсистем - тестовых заданий, обладающий рядом свойств, характерных для системы в целом: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность.
Целостность теста характеризуется рядом свойств и особенностей. Многогранность целостности отражается наличием у теста общей цели - гарантии оценки качества подготовки обучающихся - и характеризуется дифференциацией, интеграцией и асимметрией тестовых заданий, решающих различные задачи для достижения заданной цели.
Неаддитивность означает появление нового качества теста как системы, возникающее в результате интеграции ТЗ в единое целое. При этом интеграция ТЗ во многом определяется их совместимостью - взаимосвязанностью внутри теста в логике совместимости самого теста с элементами других систем, входящих в систему обучения:
• требованиями образовательного стандарта (ОС) и образовательной программы
к содержанию и результатам подготовки обучающихся;
• программой и кодификатором учебной дисциплины;
• другими контролирующими (оценочными) материалами (контрольными заданиями, опросниками, заданиями на выполнение лабораторных работ и пр.).
При успешной интеграции ТЗ тест проявляет свойство синергизма, что означает однонаправленность действий тестовых заданий и теста в целом.
Эмерджентность означает появление у теста эмерджентных свойств, которые не присущи составляющим ее элементам - ТЗ.
Обособленность теста как системы заключается в некоторой его изолированности от взаимодействия с другими контролирующими (оценочными) материалами в общей иерархии построения системы обучения, контроля и оценки образовательных достижений обучающихся.
Адаптивность - свойство теста как системы - характеризуется возможностью применения теста в изменяющихся внешних и внутренних условиях вследствие коррекций
в целях обучения и содержания учебных 2
дисциплин .
Таким образом, чтобы оценить все внутренние и внешние свойства тестового материала, необходимо проводить комплексную экспертизу их качества. Под комплексной экспертизой качества тестовых материалов понимается процесс системного исследования характеристик ТЗ и теста в целом совокупностью приемов и методов комплексного измерения и оценивания с целью получения итогового заключения о соответствии или несоответствии критериям и показателям качества.
Система комплексной экспертизы качества тестовых материалов обладает следующими признаками:
1) многокритериальное оценивание тестовых материалов и его компонентов (элементов);
2) совместная и многоаспектная деятельность специалистов в составе рабочей группы. Рабочая группа формируется из специалистов разного профиля: разработчики тестовых материалов, эксперты-предметники, тестологи, методисты, организаторы тестирования;
3) разделение функций и объектов исследования между специалистами рабочей группы в соответствии с их специальными знаниями;
4) формирование сбалансированной системы критериев и показателей качества тестовых материалов и определение их нормативных значений:
5} совместнее обобщение результатов экспертизы, полученных на разных этапах проведения оценивания, формулирование итогового заключения и определение перечня мероприятий по дальнейшей доработке и корректировке тестовых материалов.
Основными задачами комплексной экспертизы качества тестовых материалов являются:
1) оценка качества спецификации тестового материала:
2) оценка степени соответствия тестового материала целям обучения и содержанию учебной дисциплины, требованиям образовательной программы и ОС;
3) оценка соответствия формы, содержания (значения, смысла) морфологических (слово, символ, знак) и синтаксических (выражения, обороты) единиц тестового задания форме и содержанию аналогичных единиц, использованных (используемых) при изложении данной учебной дисциплины;
4) сбор необходимой информации о качестве тестовых материалов для постановки целей и решения задач стандартизации баз тестовых материалов.
В результате применения алгоритмической декомпозиции системы комплексной экспертизы качества тестовых материалов было выделено четыре основных технологических этапа:
1) предварительная экспертиза;
2)внутренняя экспертиза;
3) тестологическая экспертиза;
3
4) комплексная экспертиза .
Главная задача этапа предварительной
экспертизы - отбор тестовых материалов, отвечающих формальным требованиям теста. Основными критериями оценивания на данном этапе являются: наличие спецификации, длина и формулировка тестового суждения, наличие инструкции по выполнению задания, правильного ответа и вариантов ответов (дистракторов).
На этапе внутренней экспертизы качества тестовых материалов осуществляется экспертное оценивание содержательной валидности. Учитывая тот факт, что содержание тестового материала, по сути своей, слабо формализуемая информация, для оценивания качества необходимо использовать методы экспертного оценивания. На этом этапе для оценивания содержательной валидности привлекаются специально подготовленные специалисты в предметной области - эксперты. Существенным недостатком работы экспертов является субъективность их оценок. Это обусловлено тем, что у каждого специалиста свои представления о «правильности» контроля знаний. Поэтому с целью снижения доли субъективизма в оценивании качества тестовых материалов рекомендуется формирование групп экспертов количеством не менее пяти и использование современных методов поддержки принятия решений на основе экспертного оценивания.
Проведение тестологической экспертизы качества тестовых материалов направлено на оценивание функциональной ва-лидности, определение статистических норм показателей качества тестового материала, выявление необходимого времени и правил участия (пользования справочными материалами и пр.) обучающихся в процедуре тестирования.
На заключительном этапе проводится комплексное оценивание качества тестовых
материалов. Данный этап оказывается наиболее сложным в методическом плане, так как необходимо соотнести атрибутивные показатели - результаты экспертного оценивания - с количественными показателями, полученными на этапе тестологиче-ской экспертизы с целью определения характеристики интенсивности проявленного признака качества.
Таким образом, применение комплексной экспертизы тестовых материалов позволит повысить качество применяемых педагогических тестовых измерителей. При этом эффективность проведения комплексной экспертизы зависит от соблюдения последовательности технологических этапов и участия в ней высококвалифицированных специалистов в области педагогических измерений.
ПРИМЕЧАНИЯ
1 Ефремова Н. Ф. Современные тестовые технологии в образовании. Ростов н/Д., 2001.
- Пермяков О. Е., Максимова О. А. Формализация экспертного оценивания качества тестовых материалов с позиций системного подхода // Вестник педагогических инноваций. 2006. № 3 (7).
Пермяков О. Е., Максимова О. А. Общие подходы к стандартизации тестовых заданий и тестов в электронных банках данных // Развитие тестовых технологий в России. Тезисы докладов IX Всероссийской научно-методической конференции 27-28 ноября. М.: Федеральный центр тестирования, 2007.
