CC BY
204
Н. И. Мовчан, Р. Ф. Бакеева, Г. У. Матушанский,
В. Ф. Сопин
ТЕСТИРОВАНИЕ КАК ЭЛЕМЕНТ СТАНДАРТИЗАЦИИ КОНТРОЛЯ ЗНАНИЙ СТУДЕНТОВ В КУРСЕ «АНАЛИТИЧЕСКАЯ ХИМИЯ И ФИЗИКО-ХИМИЧЕСКИЕ МЕТОДЫ АНАЛИЗА»
Разработаны тестовые материалы для контроля знаний студентов по теме «Кислотно-основное титрование» в курсе «Аналитическая химия и ФХМА», которые апробированы на массиве студентов численностью более 100 человек. Статистическая обработка результатов тестирования показала, что тестовые материалы надежны, валидны как по концепции, так и по различающей способности, хорошо коррелируют с общей успеваемостью студентов и могут быть использованы в качестве контролирующих материалов в рубежном контроле знаний.
В рамках решения проблемы корректировки знаний возникает необходимость в разработке педагогических материалов, позволяющих обеспечить высокую объективность и эффективность контроля знаний студентов в соответствии с требованиями государственных образовательных стандартов (ГОСов) по тому или иному предмету. Таким требованиям наиболее полно удовлетворяет дидактическое тестирование, основанное на определенной таксонометрической модели уровней обученности и классификаторе знаний и способностей В.8..Б1оша, дополненное В.С. Аванесовым [1].
Материалы, контролирующие образовательный процесс, могут рассматриваться как измерительные инструменты (тесты) только при наличии у них ряда необходимых стандартных свойств и характеристик, учитываемых в процессах разработки и применения тестов. Наибольшее распространение на практике получили четыре основные формы [2]. Исторически первой считается форма заданий, где есть готовые ответы, из которых один обычно бывает правильным, а остальные неправильные. Задания такой формы начали применяться с начала 20-х годов и получили название закрытых. Инструкция к выполнению заданий этой формы: обвести кружком (или ввести) правильный номер ответа. В настоящее время становятся популярными открытые задания. Инструкция к заданиям этой формы: дополнить его. Отвечая на каждое задание, испытуемый дописывает ответ в месте прочерка посредством дополнения одного или нескольких ключевых слов. После дополнения предложение становится сконструированным в утвердительной форме. Третьей формой тестовых заданий являются задания на соответствие, появившиеся недавно. Суть их заключается в необходимости установить соответствие элементов одного множества элементам другого множества. При этом каждому элементу первого множества соответствует только один элемент второго множества. Четвертая форма тестовых заданий - это задания на установление правильной последовательности. Они служат для проверки последовательности действий, процессов, операций, вычислений и т. д.
В течение последних десяти лет в РФ проводилось централизованное тестирование школьников и выпускников общеобразовательных учреждений по разным предметам, однако в вузах тестирование как общепризнанная форма контроля знаний используется в основном на этапе вступительных экзаменов. Разработка и применение
тестов в учебном процессе высшей школы носит в основном инициативный характер. Анализ публикаций показывает, что в настоящее время вопросы разработки и внедрения тестов в процесс обучения в вузах России весьма актуальны, что обусловлено рядом преимуществ внедрения новых педагогических технологий.
Целью данной работы являлась разработка тестовых заданий на тему "Методы кислотно-основного титрования" по курсу "Аналитическая химия и физико-химические методы анализа", читаемому на кафедре АХСМК для студентов 1, 4, 5, 6, 7 и 10 факультетов дневной формы обучения. Для составления валидных и надежных заданий, в полной мере отражающих содержание названного раздела дисциплины, мы обратились к изучению учебных планов выпускных специальностей КГТУ и рабочих программ кафедры АХСМК и их соответствию требованиям ГОСов.
Сегодня на кафедре АХСМК изучают дисциплину "Аналитическая химия и физико-химические методы анализа" студенты 41 специальности дневной формы обучения (табл.1). Как оказалось, практически для всех направлений подготовки дипломированного специалиста, по которым осуществляется обучение на кафедре АХСМК КГТУ, содержание курса "Аналитической химии и физико-химических методов анализа" сформулировано в ГОСе в следующей форме: "Аналитическая химия и элементный, молекулярный, фазовый анализ; качественный анализ; методы разделения и концентрирования веществ; методы количественного анализа (гравиметрический анализ, титриметрический анализ, кислотно-основное, окислительно-восстановительное, осадительное и комплексонометрическое титрование); физико-химические методы анализа: оптические методы анализа, электрохимические методы анализа,
хроматографический анализ". Практически для большинства перечисленных направлений по названному курсу отводится 238 часов.
Анализ учебных программ на кафедре АХСМК показал, что разработано 4 варианта рабочих программ по "Аналитической химии и физико-химическим методам анализа", в которых предусмотрен различный объем учебного материала и соответственно разное количество лекционных, семинарских, лабораторных часов и часов для самостоятельной работы студентов. Раздел "Кислотно-основное титрование", по которому разрабатывался пакет тестовых заданий, для большинства специальностей представлен в рабочей программе по дисциплине «Аналитическая химия и физико-химические методы анализа» в объеме 7 (из 36) лекционных часов и включает рассмотрение следующих теоретических вопросов:
Количественный анализ: основные понятия. Типы аналитических реакций,
применяемых при количественном анализе: кислотно-основные, окислительно-
восстановительные, комплексообразования, осаждения. Способы выражения концентраций: массовая, объемная, молярная. Молярная масса эквивалента. Нормальная концентрация. Титр. Классификация методов анализа по количеству определяемого вещества. Пределы обнаружения. Результаты анализа: точные и приближенные числа, статистическая обработка (2ч.).
Основы титриметрии: Общая характеристика титриметрического метода анализа; анализируемый раствор и титрант; соотношение эквивалентов; точка эквивалентности; индикаторы; конечная точка титрования; индикаторная ошибка; основные расчетные формулы (1ч.).
Кислотно-основное титрование: кислоты и основания по Бренстеду; ионное произведение воды, кислотность и основность, их характеристики; зависимость величины pH от концентрации (активности) для сильных и слабых кислот (оснований); константы
ионизации и значение pH многопротонных кислот; буферные растворы; изменение значений pH в процессе титрования сильных и слабых кислот. Кривые титрования кислот основаниями и оснований кислотами; скачок титрования; факторы, влияющие на величину и положение скачка титрования; индикаторы кислотно-основного метода. Титрование многопротонных кислот. Возможности раздельного титрования. Роль неводных растворителей в титриметрии (4ч.).
В результате проработки теоретического материала, который дается на лекциях, закрепляется на лабораторных занятиях и при выполнении домашнего расчетного задания, а также исходя из навыков и умений, которые должны приобрести студенты при выполнении практических работ, были сформированы тестовые задания. Первоначальный пакет тестовых заданий состоял из 55 вопросов, из которых 22 задания представляли собой задания закрытой формы и имели от 3 до 8 вариантов ответов, 29 заданий - открытой формы, требовали от студента однозначного ответа и 4 задания на соответствие.
Сформированный набор тестовых заданий к разделу "Кислотно-основная титриметрия" был подвергнут эмпирической проверке на студентах II курса (объем выборки 105 человек). Тестирование проводилось в течение 1 часа в студенческих подгруппах 4 и 5 факультетов численностью по 10-16 человек в аудиторное время. С целью экономии времени на проверку студенческих ответов был разработан проверочный лист преподавателя. Правильный ответ оценивался 1 баллом, неправильный - 0 баллов.
Результаты тестирования были занесены в двумерную таблицу, где по горизонтали расположены тестовые задания (]=1^т), а по вертикали - испытуемые(1=1^п). Клетки таблицы представляют собой значения Ху, которые при правильном решении 1-го испытуемого ]-го задания равны 1, а при неправильном решении - 0. Последний столбец таблицы представляет собой индивидуальный балл 1-го испытуемого (Х|), а строка К] -количество правильных ответов на ]-е задание. В нижней правой ячейке отмечали контрольную сумму: п п
Е Х1 = Е К],
1=1 1=1
которая выполняется при любых п и т (в нашем случае контрольную сумма составляет 1303 при п=105, т=55).
После двойного упорядочивания матрицы результатов тестирования по числу правильных ответов К] (от легкого задания к сложному) и по индивидуальному баллу испытуемых Х| (от сильного учащегося к слабому) в таблицу ввели вспомогательный столбец Х|2 и дополнительные строки:
К п - К
О, = п-К , Р; = , я
_ _ ; я = -----;
; ; , 4 п , п ,
где О; - количество неправильных ответов; Р; - относительная частота правильных
ответов; Я; - относительная частота неправильных ответов.
Характеристику Р; называют также мерой трудности задания, но чем больше
значение Р;, тем более легким будет ]-е задание. Ха рактеристика Я; - мера легкости
задания, но чем больше значение Я;, тем более трудное ]-е задание. С помощью пакета
М8 Ехеї 97 были рассчитаны значения этих характеристик (£Р;=19.05, £ Я; =35.94).
Таблица 1 - Перечень специальностей, учебные программы которых предусматривают изучение дисциплины "Аналитическая химия и физико-химические методы анализа” в КГТУ
Факультет Номер направле- Номер и название специальности
1 ні) я 3
Инженерный химикотехнологический институт (1 факультет) 655300 655000 655300 655100 655300 651700 656600 655300 655300 251100 - Химия и технология органических соединений азота. 250100 - Химическая технология органических веществ. 251200 - Химическая технология полимерных композиций, порохов и твердых ракетных топлив. 250500 - Химическая технология высокомолекулярных соединений. 251300 - Технология энергонасыщенных материалов и изделий. 071000 - Материаловедение и технология новых материалов. 320700 - Охрана окружающей среды и рациональное использование природных ресурсов. 330200 - Инженерная защита окружающей среды 251400 - Технология пиротехнических средств. Автоматизированное производство химических предприятий.
Факультет нефти и нефтехимии (4 факультет) 655000 655400 250100 - Химическая технология органических веществ. 250400 - Химия природных энергоносителей и углеродных материалов. 251800 - Основные процессы химических производств и химическая кибернетика. 072000 - Стандартизация и сертификация (по отраслям) 340100 - Управление качеством
Факультет пищевых технологий (10 факультет) 655500 655700 655100 655900 655800 655900 655600 655800 655700 655600 070100 - Биотехнология. 271400 - Технология продуктов детского и функционального питания. 250600 - Технология переработки пластических масс и эластомеров. 072500 - Технология и дизайн упаковочного производства. 271300 - Пищевая инженерия малых предприятий. 270900 - Технология мяса и мясных продуктов. 270300 - Технология хлеба и мучных, кондитерских и макаронных изделий. 170600 - Машины и аппараты пищевых производств. 270800 - Технология консервов и пищевых концентратов. 270500 - Технология бродильных производств и виноделие
Окончание табл. 1
1 2 3
Институт полимеров (5 факультет) 655100 655000 250500 - Химическая технология высокомолекулярных соединений (250501 - Технология пластических масс). 250600 - Технология переработки пластических масс и эластомеров (250603 - Технология полимерных пленочных материалов). 250600 - Технология переработки пластических масс и эластомеров. 250500 - Химическая технология высокомолекулярных соединений (250503 - Технология синтетического каучука). 250500 - Химическая технология высокомолекулярных соединений (250511 - Каталитические технологии в полимерной химии). 250600 - Технология переработки пластических масс и эластомеров (250607 - Технология и товароведение полимерных материалов и изделий). 250100 - Химическая технология органических веществ (250107 - Технология косметических средств). 250100 - Химическая технология органических веществ. 250400 - Химическая технология природных энергоносителей и углеродных материалов.
Факультет химических технологий (6 факультет) 654900 250200 - Химическая технология неорганических веществ. 250800 - Химическая технология тугоплавких и неметаллических материалов. 250300 - Технология электрохимических производств
Институт легкой промышленности (7 факультет) 656100 655100 281000 - Технология кожи и меха. 250500 - Химическая технология высокомолекулярных соединений (250506 - Технология лакокрасочных композиционных материалов и покрытий).
Основной характеристикой качества тестовых материалов является их надежность, которая связана с точностью педагогических измерений. Среди большого количества методов по определению надежности теста наибольшее распространение получил метод Дж.Ф.Кудера и М.В.Ричардсона, согласно которому
т
Е РЯ]
Гнт =1^(1 - ).
т -1 Э2
т
Здесь Гнт- надежность теста, Е Р^ - суммарная дисперсия заданий теста.
]=1
Выборочную дисперсию тестовых баллов обучаемых рассчитывали по формуле
п
\2
Е (х- х)2
1=1
ЭХ - .
х п -1
Надежность нашего теста Гнт =0.88, суммарная дисперсия заданий 10.84, среднее значение
2
19.05, а дисперсия оценок испытуемых Эх =82.28. Дисперсия погрешности измерения теста,
рассчитанная по формуле Э§ = • (1 - Гнт), имеет значение Э§ =9.87.
Доверительный интервал для тестового балла 1-го испытуемого рассчитывали по формуле Х; ± ta(f) • Эе , где - квантиль распределения Стьюдента; f = п -1 - число
степеней свободы; а = 1 - Р - уровень значимости; Р - доверительная вероятность. Для приведенного случая доверительный интервал при заданной вероятности Р = 0.95 составил ± 13.02.
Одним из основных критериев качества тестовых материалов является валидность. Валидность (или адекватность) педагогического теста - это его способность измерять педагогические характеристики личности. Она имеет несколько составляющих, первая из которых - валидность задания по концепции, то есть их адекватность концепции описанного знания контролируемой дисциплины.
Существует несколько методов определения валидности заданий по концепции. Среди них был выбран метод корреляции ]-го задания с суммарным баллом, характеризующим знание дисциплины, раздела или темы. В качестве меры валидности был использован биссериальный коэффициент корреляции Кв|э :
р = МВ - МН
КВ1Э =—~^
Эх
где Мв - средний арифметический балл по всему тесту у испытуемых, успешно
ответивших на ]-е задание; Мн - средний арифметический балл по всему тесту у испытуемых, не ответивших на ]-е задание.
В нашем случае для корректного определения показателя валидности Кв|э был установлен порог, равный 0.4. При Кв|б >0,4 есть все основания считать задание "работающим", т.е. балл по заданию коррелирует с общим баллом по предмету. При значении Кв|б £ 0.4 задание можно считать "неработающим", и его следует удалить из теста. Применив это правило к полученной матрице, к невалидным заданиям можно отнести 11 заданий, которые были нами отброшены. После этого в пакете тестов осталось 44 задания, которые были подвергнуты вторичной статистической обработке. В результате
т
коэффициент надежности составил 0.89, суммарная дисперсия заданий Е Р]Я] =922,
]=1
Хср=16.75, дисперсия оценок испытуемых Эх =74.31 и дисперсия погрешности измерения теста Э|=8.17.
Второй составляющей валидности теста является различающая способность теста, которая может быть тем выше, чем меньше одинаковых оценок получают по нему испытуемые. В классической теории тестирования дифференцирующая способность заданий должна аппроксимироваться нормальным законом распределения. Это означает, что число испытуемых, получивших средний балл, максимально. Данное число должно уменьшаться в обе стороны от среднего балла, причем кривая уменьшения должна соответствовать плотности распределения нормального закона [3].
В педагогическом тестировании существует метод Девиса, приближенно оценивающий различающую способность ]-го задания:
Роэ] = Р1 ] - РХ],
где Р1 - относительная доля 27% лучших испытуемых, правильно ответивших на ]-е задание; РХ] - относительная доля 27% худших испытуемых, правильно ответивших на ]-е задание.
Для различающей способности Роэ был установлен порог, равный 0.33. При Роэ<0.33 можно говорить о том, что ]-е задание плохо различает хороших и плохих испытуемых и претендует на исключение из теста. После такой отбраковки невалидных заданий количество неправильных позиций уменьшилось до 32, и матрица приобрела более правильный профиль. По скорректированной матрице результатов тестирования была построена гистограмма распределения баллов, вид которой приближается к нормальному виду распределения случайных величин.
Таким образом, полученный пакет тестовых заданий по названной теме отвечает всем требованиям, предъявляемым к тестовым материалам при их сертификации [4], и может быть рекомендован в качестве контролирующих материалов при рубежном контроле знаний.
Несомненно, использование тестовых форм контроля знаний в процессе обучения в высшей школе перспективны, поскольку результаты тестирования легко подвергаются обработке, и, кроме того, эта форма контроля является наиболее надежной и объективной. По результатам тестирования можно выявить не только общий индекс успеваемости группы, но также и индивидуальный индекс успеваемости каждого отдельного студента. Тесты не дают возможности студентам найти ответ поверхностным путем, а заставляют его мобилизовать свои знания, память, умение сопоставлять и анализировать факты для нахождения правильного ответа. Кроме того, результаты тестирования чрезвычайно полезны для самооценки преподавателя, так как позволяют выявить пробел знаний и недостаточность усвоения важного материала в определенных разделах, что, в свою очередь, служит отправным моментом в организации дополнительных и факультативных занятий со студентами, а также в правильном построении лекционного курса.
Литература
1. Аванесов В.С. Композиция тестовых заданий. М.: Адепт, 1998. 271 с.
2. МатушанскийГ.У. Тестовый контроль знаний в вузе: Курс лекций КГТУ. 1993. 34 с.
3. Беспалько В.П. Слагаемые педагогических технологии. М.: Педагогика. 1985. 190 с.
4. Приказ Министерства образования РФ № 1122 от 17.04.2000. «О сертификации качества педагогических тестовых материалов».
© Н. И. Мовчан - канд. хим. наук, доц. каф. аналитической химии, сертификации и менеджмента качества КГТУ; Р. Ф. Бакеева - д-р хим. наук, проф. той же кафедры; Г. У. Матушанский - д-р пед. наук, проф., зав. каф. педагогики высшей школы КГЭУ; В. Ф. Сопин - д-р хим. наук, проф., зав. каф. аналитической химии, сертификации и менеджмента качества КГТУ.
