CC BY
66
Н. И. Мовчан, Р. Ф. Бакеева, В. Ф. Сопин
РАЗРАБОТКА И ВНЕДРЕНИЕ ТЕСТОВЫХ МАТЕРИАЛОВ В ПРАКТИКУ ПРЕПОДАВАНИЯ ДИСЦИПЛИНЫ «АНАЛИТИЧЕСКАЯ ХИМИЯ И ФИЗИКО-ХИМИЧЕСКИЕ МЕТОДЫ АНАЛИЗА»
Ключевые слова: аналитическая химия, тестовый контроль знаний.
Разработаны и апробированы на массиве студентов численностью более 100 человек пакеты тестовых заданий по отдельным темам дисциплины «Аналитическая химия и физико-химические методы анализа». Проведен сравнительный анализ различных форм тестовых заданий при их аналогичном содержании на результаты тестирования. Статистическая обработка ответов испытуемых показала, что созданные пакеты отвечают требованиям, предъявляемым к тестовым материалам, и могут быть рекомендованы в качестве дифференцирующего средства контроля знаний студентов в тематическом контроле.
The test tasks packages on some teams of subjects of discipline "Analytical chemistry and physicist-chemical methods of analysis" on the array of students more than 100 persons have been designed and approved. The benchmark analysis of influence of the type of test tasks at their similar contents on results of testing was conducted. Statistical processing of the student’s answers has shown that created packages meet the demands to test material. They can be recommended as differentiating facility of checking the knowledge’s of students in thematic examination.
Реализация Национальной системы оценки качества образования в России ставит задачу осуществления квалиметрического мониторинга качества образования [1]. Многочисленные публикации по проблеме качества образования позволяют выделить ряд компонентов образовательного процесса, определяющих его качество: цель, которая достигается в результате деятельности учебного заведения; содержание, которое определяется учебными планами, программами и рекомендуемой учебно-методической литературой; образовательные технологии, направленные на эффективное достижение поставленной цели; квалифицированные научные и педагогические кадры и, конечно, результаты образовательной деятельности. Все перечисленные компоненты образовательного процесса являются объектами квалиметрии и могут быть измерены при проведении мониторинга качества образовательной деятельности, как в рамках отдельного учреждения, так и системы в целом. Но необходимой основой квалиметрического подхода в образовании является наличие государственных образовательных стандартов и типовых рабочих программ, которые содержат общие требования и могут рассматриваться как предпосылка вариативности для конкретной образовательной системы с учетом ее специфики, ценностно-целевых установок, технического и кадрового потенциалов. Наиболее полное отражение квалиметри-ческих принципов таких как объективность, оперативность, возможность шкалирования результатов образовательной деятельности достигаются применением педагогического тестирования [2].
Анализ публикаций показывает, что на современном этапе развития системы образования России созданы материально-технические условия для широкого и активного применения средств информатизации в учебных целях, что обеспечило предпосылки к использованию автоматизированных средств тестового контроля знаний обучаемых на всех этапах. В данном контексте разработка и внедрение в учебный процесс вуза тестовых материалов приобретает особую актуальность, поскольку позволяет рассматривать их как стандартизованный инструмент при измерении качества знаний обучающихся и как элемент рейтинговой системы объективного оценивания.
Тестирование как стандартизованная процедура объективного измерения и контроля знаний учащихся получила широкое распространение в системе среднего образования и начинает развиваться в области высшего образования [3], в том числе и на кафедре «Аналитической химии, сертификации и менеджмента качества» Казанского государственного технологического университета (КГТУ).
Обычно, любой вид проверки или испытаний называют тестированием. В переводе с английского языка тест означает проба, испытание. Тест педагогический представляет собой совокупность тестовых заданий, позволяющих по результатам их выполнения объективно измерить уровень подготовленности испытуемых по конкретным разделам определенной области знания. Тест представляет собой конечную, репрезентативную выборку из генеральной совокупности калиброванных тестовых заданий [4]. Тестирование как метод контроля и оценки качества образования, служит средством управления качеством образования, решения различных дидактических задач (изучения нового материала, закрепление, совершенствование и применение знаний, обобщение и систематизация, развития способностей), а также подготовки, организации измерения, контроля, анализа, оценивания учебных достижений [5].
Материалы, контролирующие образовательный процесс, могут рассматриваться как измерительные инструменты (тесты) только при наличии у них ряда необходимых стандартных свойств и характеристик, учитываемых в процессах разработки и применения тестов [6]. Тесты должны отвечать определенным требованиям, главные из которых - адекватность (валидность), определенность, простота, однозначность и надежность [3,6]. Практическая важность многих подобных свойств является следствием того факта, что тест есть некоторая выборка заданий из предметной области, определенной Государственными образовательными стандартами.
В настоящее время на кафедре аналитической химии, сертификации и менеджмента качества КГТУ курс «Аналитическая химия и физико-химические методы анализа» проходят студенты 41 специальности дневной формы обучения. Практически для всех направлений подготовки дипломированного специалиста, содержание названного курса сформулировано в Государственном образовательном стандарте в следующей форме: «Аналитическая химия и элементный, молекулярный, фазовый анализ; качественный анализ; методы разделения и концентрирования веществ; методы количественного анализа (гравиметрический анализ, титриметрический анализ, кислотно-основное, окислительновосстановительное, осадительное и комплексонометрическое титрование); физикохимические методы анализа: оптические методы анализа, электрохимические методы анализа, хроматографический анализ». Рабочие программы кафедры отражают вышеозначенное содержание курса в виде лекций, лабораторных занятий и самостоятельной работы студентов.
С целью создания тестовых материалов, в полной мере отвечающих перечисленным требованиям, опираясь на рекомендации [7] на кафедре «Аналитической химии, сертифи-
кации и менеджмента качества» была отработана и использована технология формирования тестов, которая включает следующие этапы:
1) отбор учебного материала дисциплины «Аналитическая химия и физикохимические методы анализа», подлежащего тестовому контролю с учетом должного уровня его усвоения;
2) выделение в соответствии с рабочей программой дисциплины основных тем для проведения рубежного контроля знаний;
3) формулировка заданий в тестовой форме по каждой теме;
4) экспертиза тестовых вопросов преподавательским коллективом и корректировка заданий с учетом полученных замечаний;
5) эмпирическая проверка (апробация) «сырых тестов» в студенческих группах;
6) статистический анализ результатов тестирования и отбраковка невалидных тестовых заданий и заданий с низкой различающей способностью на основании рассчитанных метрологических статистических критериев;
7) сортировка тестовых вопросов по мере возрастания сложности заданий и формирование тематического теста;
8) создание параллельных вариантов тестов, их апробация на массиве обучаемых, численностью не менее 100 человек;
9) статистический анализ результатов тестирования параллельных вариантов тестов с коррекцией тестовых заданий;
10) применение разработанных тестов в учебном процессе при рубежном контроле знаний;
В соответствии с содержанием Государственных образовательных стандартов на кафедре АХСМК КГТУ разработаны пакеты тестовых заданий по основным содержательным линиям дисциплины «Аналитическая химия и ФХМА»: качественный химический анализ, кислотно-основное, окислительно-восстановительное и комплексонометрическое титрование, оптические методы анализа, потенциометрия, хроматография. Первоначальный вариант тестовых заданий по каждой теме химических методов анализа состоял из 55 вопросов. При составлении теста были использованы задания открытой формы, содержащие инструкцию «дополнить», а также задания закрытой формы: на выбор правильного ответа, на соответствие между группами понятий и на установление правильной последовательности. Наборы тестовых заданий были апробированы на массиве студентов численностью более 100 человек. Статистическая обработка результатов тестирования проводилась по методике, изложенной в работе [8,9], которая позволила оценить валидность и различающую способность каждого отдельного задания. В результате отбраковки невалидных заданий количество вопросов в каждом пакете практически сократилось вдвое, что, как показала практика, соответствует оптимальному времени проведения тестирования (30-40 минут). При этом использование методики статистической обработки результатов позволило по каждой теме сформировать систему тестовых заданий возрастающей сложности, имеющих коэффициенты валидности в интервале от 0,3 до 0,8. По результатам тестирования были построены гистограммы распределения числа студентов, получивших определенный тестовый балл по числу баллов. Аппроксимирующие кривые полученных гистограмм приближаются к нормальному закону распределения случайных величин, причем коэффициент надежности тестов превышает значение 0.87, что свидетельствует о достаточно хорошей сбалансированности системы тестовых заданий. Сумма баллов, набранных студентом при тестировании, хорошо коррелирует с его успеваемостью по названному курсу, которая оценивалась преподавателями по традиционной методике.
Нами было проведено исследование влияния формы тестовых заданий на результаты тестирования. С этой целью были разработаны два гомогенных пакета тестовых заданий по теме «Кислотно-основное титрование», состоящих из 32 параллельных вопросов. В первом пакете задания были сформулированы в открытой форме, во втором - в закрытой форме. Пакеты тестовых заданий были апробированы на студентах 3-го курса 1, 4, 5, 6, 7 и 10 факультетов по завершении изучения названной темы. Тестирование проводилось в письменной форме на массиве студентов численностью 282 человека (172 студента по открытой форме тестовых заданий и 110 - по закрытой) в аудиторное время в течение 40 мин. Для исключения механического запоминания правильных ответов и исключения списывания разработаны 6 вариантов каждого пакета тестовых заданий.
о
<и
Г
Я
Е
О
М
160
140
120
100
80
60
40
20
О
1 I I I I I I I I I I I I I I
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 Порядковый номер вопроса а
т
о
е-
<и
И
3
К
л
4
<и
Я
*
О
ч
о
к
о
<Б
Я
Я
Е
О
м
120 П 100 80 -60 -40 20 -0
11111
3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 Порядковый номер вопроса б
Рис. 1 - Зависимость числа положительных ответов студентов на данное задание от сложности тестового задания: а - в открытой форме, б - в закрытой форме
13356450
Форма тестового задания оказывает сильное влияние на результат тестирования. Это наглядно видно на рис.1, где показано распределение положительных ответов студентов в зависимости от сложности тестового задания. В случае использования открытой формы тестовых заданий прослеживается достаточно четкая линейная зависимость, которая характеризуется Гнт = 0,925. На рис.1б та же зависимость имеет ступенчатый вид, что согласуется с Гнт = 0,725. Таким образом, применение тестовых заданий закрытой формы дает менее надежный результат. Понятно, что вероятность правильного ответа возрастает в том случае, если тестовое задание сформулировано в закрытой форме, а это в свою очередь определяет и меньшую различающую способность соответствующего вопроса. Это подтверждается и результатами статистической обработки полученных данных с использованием программ Ы8 Ехе1 по описанной в работах [8, 9] методике. Повторно были выявлены и отбракованы задания, не отвечающие требованиям по таким показателям, как надежность, валидность и различающая способность, оставшиеся тестовые вопросы ранжированы по мере возрастания их сложности.
Окончательный вариант пакета тестовых заданий в открытой форме, состоящий из 26 вопросов, имеет коэффициент надежности 0,88, значение биссериального коэффициента для всех вопросов превышает 0,4, а различающая способность более 0,33. Частота распределения баллов приближается к закону нормального распределения Гаусса. Отклонения в точности измерения суммы баллов не превышает (при Р = 0,95) 4,2 балла. Таким образом, пакет тестовых заданий отвечает всем требованиям, предъявляемым к тестовым материалам, и может быть рекомендован в качестве дифференцирующего средства контроля знаний студентов по названной теме.
Скорректированный пакет тестовых заданий в закрытой форме также содержит 26 вопросов, но имеет значительно меньшую надежность (0,73), валидность ^ыв> 0,2) и различающую способность тестовых заданий (рС5 > 0,2), доверительный интервал для полученного балла (при Р = 0,95) также составляет ± 4,2. Однако вид гистограммы распределения несколько отличается от нормального.
Полученные результаты прогнозируемы и объяснимы. Известно, что всю возможную структуру деятельности человека можно представить в виде следующих четырех последовательных уровней усвоения, отражающих развитие опыта учащегося в данном предмете в процессе обучения и характеризующих способность личности к решению задач различной сложности (I уровень- репродуктивное узнавание, II уровень - репродуктивное алгоритмическое действие, III уровень - продуктивное эвристическое действие, IV уровень - продуктивное творческое действие) [10,11].
Понятно, что задания, сформулированные в закрытой форме, уже содержат определенную подсказку, содержащуюся в одном из предложенных ответов, и предполагают проверку знаний только на первом уровне усвоения. Этот фактор позволяет объяснить повышенный средний балл закрытой формы тестовых заданий по сравнению с открытой формой. С целью повышения требований к уровню знаний обучающихся до продуктивного эвристического действия в пакет тестов закрытой формы были введены задания в виде элементарных задач в 1 - 2 арифметических действия, предполагающие применение известных формул и алгоритмов решения для поиска правильного ответа. К сожалению, как показал опыт, этот прием не всегда позволяет добиться требуемого результата, поскольку зачастую в поиске правильного ответа студенты обращаются не к решению (из-за отсутствия соответствующих знаний), а к простому угадыванию. Именно этот факт и определяет меньшую различающую способность тестовых заданий, сформулированных в закрытой форме, и меньшую надежность таких тестов.
Следует отметить, что при переходе от открытой к закрытой форме изменяется уровень восприятия содержания вопроса, что находит отражение в положении задания в упорядоченной матрице (чем больше порядковый номер тестового задания, тем оно сложнее для студента).
Для выяснения степени усвоения темы «Кислотно-основное титрование» мы провели анализ содержания и степени сложности тестовых вопросов. С этой целью все исходные тестовые задания поделили на 3 группы: 1 - легкие задания, занимающие с 1 по 10 места в ранжированной матрице, на которые в открытой форме ответили от 93 до 55% (в закрытой - от 93 до 79%) опрошенных; 2 - трудные задания, занимающие с 23-го по 32-е места (в открытой форме правильно отвечают от 32 до 14%, в закрытой - от 49 до 17% опрошенных); 3 - задания средней сложности, куда вошли все оставшиеся вопросы.
Оказалось, что независимо от формы к трудным заданиям следует отнести вопросы, связанные с выбором индикатора и областью перехода окраски индикатора. Плохо усвоен раздел по титрованию многопротонных кислот. Студенты затрудняются отвечать на вопросы: какое соединение образуется в результате титрования, сколько скачков наблюдаются на кривой титрования, чему равна молярная масса эквивалента вещества в случае применения того или иного индикатора. Трудными оказались задания, связанные с метрологической обработкой результатов анализа и применением теории Бренстеда - Лоури.
Хорошо усвоены студентами основные понятия, термины и определения кислотно-основной титриметрии: титрант, скачок титрования, показатель титрования кислотноосновного индикатора, рН раствора, точка эквивалентности.
Проведенный анализ результатов тестирования позволил скорректировать процесс обучения и уделить больше внимания рассмотрению сложных для студенческого восприятия вопросов данной темы.
Несмотря на выявленные недостатки пакета тестовых заданий закрытой формы, считаем, что данный пакет может быть рекомендован в качестве контролирующих тестов на узнавание при недифференцированном зачете по названной теме дисциплины, если в результате тестирования студент правильно отвечает на 70-75% поставленных вопросов. Интерес к внедрению пакетов закрытых тестовых заданий в учебный процесс в настоящее время обусловлен, прежде всего, возможностями компьютеризации процесса тестирования. Применение тестовых технологий с использованием ПЭВМ имеет ряд преимуществ по сравнению с традиционными методами контроля и оценки знаний, поскольку позволяет экономить как аудиторное время, необходимое для проведения опроса, так и время, затрачиваемое преподавателем на проверку студенческих ответов; обладает большей объективностью (при выставлении оценки исключается влияние личных взаимоотношений преподавателя и студента); способствует выявлению пробелов в структуре знаний студентов и позволяет своевременно скорректировать учебный процесс для повышения уровня усвоения материала. Кроме того, тестирование дает возможность контролировать самостоятельную работу студента, что особенно важно при дистанционном обучении. Например, организовать и провести входной контроль знаний студентов заочной формы обучения перед допуском к выполнению практикума.
Безусловно, разработка систем тестовых заданий - процесс достаточно трудоемкий и в научном, и в методическом плане, однако компьютерное тестирование, кроме решения уже приведенных учебно-педагогических задач позволят обеспечить наиболее полное соответствие уровня знаний учащихся требованиям образовательного стандарта, стандартизовать сам технологический процесс контроля и оценки знаний и приблизить его к европейской системе.
Литература
1. Рекомендации международного семинара «Интеграция российской высшей школы в общеевропейскую систему высшего образования: Проблемы и перспективы» www.
spbu.ru.//News/edusem/metod.htm.
2. Исаев, В.А. Квалиметрическое обеспечение образовательной системы педагогическая проблема. Развитие квалиметрии человека и образования / В.А. Исаев, Е.Ю. Игнатьева. - М.: Исследовательский центр проблем качества подготовки специалистов, 1999. - 174 с.
3. Аванесов, В.С. Научные основы тестового контроля знаний / В.С. Аванесов. - М.: Исследовательский центр, 1994. - 135 с.
4. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения. http://schoois.tsu.ru.
5. Пак, М. С. Тестирование в управлении качеством химического образования: монография / М.С. Пак, М.К. Толетова. - СПб.: Издательство РГПУ им. А.И. Герцена, 2002. - 113 с.
6. Приказ Мин. Образования РФ № 1122 от 17.04.2000. О сертификации качества педагогических тестовых материалов.
7. Конструирование заданий для тестовых форм контроля знаний памятка для преподавателей и аттестационных комиссий. 1998-2002 Отдел Международных связей. [email protected].
8. Матушанский, Г.У. Тестовый контроль знаний в вузе. Курс лекций / Г.У. Матушанский. - Казань: Изд-во Казан. гос. технол. ун-та, 1993. - 34 с.
9. Мовчан, Н.И. Тестирование как элемент стандартизации контроля знаний студентов в курсе «Аналитическая химия и физико-химические методы анализа»/ Н.И. Мовчан [и др.] // Вестник Каз. технолог. ун-та. - 2003. - № 1. - С. 421-427.
10. Беспалько, В.П. Теория учебника Дидактический аспект / В.П. Беспалько. - М.: Педагогика, 1998. - 160 с.
11. Беспалько, В.П. Слагаемые педагогические технологии / В.П. Беспалько. - М.: Педагогика, 1985. - 190 с.
© Н. И. Мовчан - канд. хим. наук, доц. каф. аналитической химии, сертификации и менеджмента качества КГТУ; Р. Ф. Бакеева - д-р хим. наук, профессор той же кафедры; В. Ф. Сопин - д-р хим. наук, проф., зав. каф. аналитической химии, сертификации и менеджмента качества КГТУ.
