CC BY
65
УПРАВЛЕНИЕ, ИНФОРМАТИКА И ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
УДК 658.562 + 378
Н. И. Мовчан, Е. В. Максимкина, В. Ф. Сопин
ПЕДАГОГИЧЕСКИЙ ТЕСТ КАК СТАНДАРТИЗОВАННЫЙ ИНСТРУМЕНТ
ОБЕСПЕЧЕНИЯ РЕЗУЛЬТАТИВНОЙ РАБОТЫ СМК ВУЗА
Ключевые слова: педагогический тест, потенциометрия, СМК вуза.
В работе обсуждаются результаты апробации набора тестовых заданий по теме «Потенциометрия», которая изучается студентами технологического профиля в рамках дисциплины «Аналитическая химия и ФХМА». По итогам статистической обработки матрицы тестирования 103 студентов получен валидный и надежный пакет тестовых заданий, который рекомендован для внедрения в учебный процесс кафедры АХСМК в качестве стандартизованного измерительного инструмента контроля знаний студентов с целью обеспечения результативной работы системы менеджмента качества вуза.
Кeywords: pedagogical test, potentiometry, quality management system.
The paper discusses the result of approbation of tests on potentiometry, which is studied by students of technological profile within the “Analytical chemistry and physical and chemical methods of analysis ” course. After the statistical treatment of the 103 students test matrix valid and reliable test set, that is recommended to be introduced in learning process of the Department of Analytical Chemistry, Quality Standartisation and Management as standardized students knowledge quality control instrument to ensure the effective work of the HEI quality management system, was obtained.
В настоящее время понятие качество проникает во все сферы деятельности человека. Сфера образования не является исключением. Деятельность вузов сейчас осуществляется в условиях жесткой конкуренции, поэтому определяющим фактором при выборе вуза абитуриентами является качество оказываемых им образовательных услуг.
Под качеством высшего образования (как результата, как процесса), в широком смысле слова понимается соответствие его многообразным потребностям, требованиям и нормам. Требования и нормы оформляются в виде стандартов и других нормативных документов, утверждаемых на различных уровнях компетентными органами. В сфере высшего образования работают ГОС ВПО (государственные образовательные стандарты высшего профессионального образования), которые включают перечень знаний, умений, навыков и компетенций, которыми должен овладеть выпускник вуза по каждому образовательному направлению и специальности. Для достижения поставленной цели ГОС ВПО регламентируют перечень изучаемых дисциплин, соответствующий объем часов учебного времени и краткое описание учебного материала, включенного в каждую дисциплину. В соответст-
вии с ГОС ВПО каждый вуз разрабатывает для выпускной специальности «Учебный план», выполняющий роль стандарта образовательного учреждения, в соответствии с которым ведется процесс обучения студентов с 1 по 5 курс с указанием последовательности изучения дисциплин, отведенного для них времени и формы завершения изучения дисциплины (экзамен, зачет). В него также включены время и объем прохождения различных практик. В «Учебном плане» идет и закрепление ведения дисциплин за отдельными кафедрами. На основании «Учебного плана» на кафедрах за каждой дисциплиной закрепляется ведущий лектор, обязанностью которого является разработка «Рабочей программы», которая рассматривается на заседании кафедры и учебно-методической комиссии, согласовывается с деканом и учебно-методическим центром университета и утверждается проректором по учебной работе. «Рабочая программа» содержит перечень тем, рассматриваемых в рамках лекций по данной дисциплине с кратким описанием их содержания, а также перечень тем практических занятий и лабораторных работ рамках отведенного времени. Таким образом, «Рабочую программу по дисциплине» также можно рассматривать как стандарт, утвержденный на уровне образовательного учреждения. Существует и еще более низкий уровень стандартизации образовательного процесса - уровень кафедры, где утверждаются экзаменационные билеты, по которым осуществляется рубежный контроль знаний студентов после прохождения дисциплины. Рубежный контроль знаний в виде экзамена характеризует качество усвоения дисциплины и отражает результат образовательного процесса уже на выходе (по завершении изучения определенной дисциплины). В соответствии с идеологией менеджмента качества любой процесс должен быть управляем (т.е. необходим постоянный мониторинг состояния процесса на отдельных стадиях его осуществления для оперативного принятия управленческих решений), только в этом случае можно обеспечить качество продукции, а, следовательно, необходимы и надежные стандартизованные методы контроля качества на каждой стадии производственного процесса. В вузе таким стандартизованным инструментом контроля качества образовательной деятельности является тематический педагогический тест, который, как инструментальное средство контроля знаний, позволяет проводить измерения с заданной точностью и надежностью.
Современное педагогическое тестирование представляет собой комплекс стандартизованных методов измерения тех латентных (то есть, недоступных для непосредственного наблюдения) параметров человека, которые определяют его уровень подготовленности и соответствие образовательным стандартам в конкретной области знаний. В настоящее время, тестирование, как способ оценки знаний, приобретает все большую популярность, что обусловлено рядом преимуществ, среди которых можно выделить:
- объективность оценивания, независимость оценки от субъективных факторов, и, прежде всего, от сложившихся личных взаимоотношений между преподавателем и студентом;
- технологичность и быстроту проведения контроля знаний, позволяющих осуществлять непрерывный мониторинг учебного процесса и обеспечить ритмичность работы студентов в течение семестра;
- снижение вероятности получения студентом случайной оценки, поскольку задания теста должны охватывать практически весь рассматриваемый материал (по теме, разделу, дисциплине), что, в свою очередь, исключает возникновение конфликтных ситуаций при выводе итоговой оценки;
- большую по сравнению с традиционной системой оценивания дифференцирующую способность;
- возможность проведения студентом самоконтроля и самооценки;
- демократичность и открытость контроля;
- простоту и легкость автоматизации процесса контроля знаний с помощью ПЭВМ.
Кроме того, анализ результатов тестирования позволяет сделать выводы об усвоении учебного материала студентами и необходимости проведения корректирующих мероприятий с целью повышения результативности образовательного процесса. Перечисленные преимущества обуславливают актуальность и практическую значимость разработки и внедрения тестовых материалов в учебный процесс вузов.
На кафедре аналитической химии, сертификации и менеджмента качества (АХСМК) КГТУ в рамках общих профессиональных дисциплин для студентов 1,4,5,6 и 7 факультетов преподается курс «Аналитическая химия и ФХМА», который изучается студентами в течение двух семестров: в первом - «Химические методы анализа», во втором -«Физико-химические методы анализа». На протяжении последних семи лет на кафедре ведется активная методическая работа по созданию и внедрению в практику преподавания названной дисциплины тестовых материалов [1, 2]. К настоящему времени весь учебный материал «Химических методов анализа» нашел отражение в 4 пакетах тестовых заданий по темам «Качественный химический анализ», «Основы титриметрии. Кислотно-основное титрование», «Окислительно-восстановительное титрование» и «Комплексонометрия». Учебный материал физико-химических методов представлен тремя темами: «Оптические методы анализа: молекулярная абсорбционная спектроскопия», «Хроматография» и «Электрохимические методы анализа: потенциометрия», из которых знания только по первой теме обеспечены тестовыми материалами. В данной публикации изложены основные результаты апробирования и статистической обработки набора тестовых заданий по теме «Потенциометрия».
На основании изучения содержания ГОС ВПО, рекомендованных учебников по аналитической химии и методических пособий, разработанных на кафедре АХСМК, был сформирован набор тестовых заданий (в 2-х вариантах), состоящий из 40 вопросов, сформулированных в виде заданий выбора. Предпочтение данной форме тестовых заданий было отдано в связи с простотой и технологичностью обработки результатов тестирования, чего нельзя сказать о тестовых заданиях со свободным конструированием ответов. Кроме того, наборы ответов к заданиям выбора можно рассматривать как средство диагностики, поскольку в число дистракторов можно включать наиболее часто встречающиеся при изучении учебного материала ошибки. Выявление причин возникновения таких «слабых мест» позволяет внести соответствующие коррективы в процесс обучения. Более того, по мнению А. А. Аванесова [3], работа с тестом выбора является эффективным средством развития мышления, поскольку она складывается из операций сравнения и поиска альтернатив.
Разработанные наборы тестовых заданий прошли рецензирование преподавателей и были апробированы на массиве студентов 3-го курса общей численностью 103 человека. Тестирование проводилось в течение 60 минут в студенческих группах 1, 4, 5 и 6 факультетов. Правильный ответ оценивался 1 баллом, неправильный - 0 баллов. Полученный в результате тестирования массив данных был занесен в двумерные таблицы, где по горизонтали расположены номера тестовых заданий, по вертикали - испытуемые. Матрица тестирования подверглась ранжированию по сумме правильных ответов на отдельный вопрос теста и по суммарному баллу каждого испытуемого. В результате все студенты, представленные в матрице, оказались расположенными в последовательности «от сильного - к слабому», а тестовые задания «от простого - к трудному».
Теоретически, частота появления определенной суммы баллов должна подчиняться закону нормального распределения Гаусса [4]. С применением программы «Статистика»
была построена соответствующая гистограмма частоты появления суммы баллов. Вид гистограммы приближается к нормальному закону распределения случайных величин, что говорит об адекватности пакета тестовых заданий содержанию изучаемого учебного материала. Однако, коэффициент надежности теста (гнт), рассчитанный с использованием метода Дж. Ф. Кудера и М. В. Ричардсона по формуле:
т
2>у<7у
Гнт /77-1 ^ ' (1)
(где т - число заданий в тесте; Р] и Ц] - относительная частота правильных и неверных ответов на ]-ый вопрос; - выборочная дисперсия тестовых баллов обучаемых), имеет
сравнительно низкое значение, равное 0,645.
Надежность теста может быть повышена путем удаления из матрицы невалидных заданий и тестовых вопросов с плохой различающей способностью. Под валидностью задания по концепции понимают адекватность задания концепции описанного знания контролируемой дисциплины. Для валидных заданий должна наблюдаться корреляция ]-го задания с суммарным баллом студента, характеризующим знание дисциплины, раздела или темы. В качестве меры валидности используют биссериальный коэффициент корреляции (^вз):
МВ -МН I--------
Яшз =-----о----ЛР; <7/ , (2)
^ X
где Мв - средний арифметический балл по всему тесту у испытуемых, успешно ответивших на ]-е задание и М н - средний арифметический балл по всему тесту у испытуемых, не ответивших на]-е задание.
Задания с низкими значениями биссериального коэффициента (Явз < 0,25) следует исключить из теста, таковых оказалось 14 вопросов.
Расчет различающей способности тестовых заданий (рсэ), проведенный по формуле:
Рсэ = РЛ - рх], (3)
где рЛ] и рх] - относительная доля 27% лучших и худших испытуемых, правильно ответивших на ]-е задание, показал, что выявленные ранее невалидные задания обладают и плохой различающей способностью (рсэ < 0,25), т.е. задание не позволяет отличить сильных студентов от слабых, и его следует удалить из теста.
Таким образом, при исключении невалидных заданий, обладающих одновременно и плохой различающей способностью, в пакете тестовых заданий осталось 26 вопросов, причем коэффициент надежности теста увеличился до 0,680, что не в полной мере соответствует понятию надежного теста. Свой вклад в ненадежность теста могут вносить и некоторые студенты, аномальные результаты тестирования которых обусловлены вероятностью угадывания правильного ответа или списывания у соседей. С целью выявления таких студентов для каждого /-го испытуемого был рассчитан индекс настороженности Сато (С/):
с, ^-----------, (4)
Е*,- Е*/
/=1 у = /77+1 X/
где Ц - значение в тестовой таблице у /-го испытуемого по у-му заданию (0 или 1); ^ -
число правильных ответов по у-му заданию; х/ - сумма баллов по тестированию у /-го испытуемого.
Чем ближе значение индекса настороженности к единице, тем меньше доверия вызывает результат тестирования студента. Как показали расчеты, индекс настороженности студентов оказался небольшим, очевидно, преподаватели проявили чудеса бдительности, не допустив списывания. По данному показателю (С/ > 0,3) из матрицы тестирования были исключены только 10 студентов. Обработка результатов тестирования привела к матрице, состоящей из 93 студентов и 26 вопросов, характеризующейся коэффициентом надежности 0,753. Таким образом, был получен пакет тестовых заданий, состоящий из 26 валидных вопросов, обладающих хорошей различающей способностью и расположенных по мере возрастания трудности задания. Однако коэффициент надежности теста остался недостаточным. Поэтому в пакет оставшихся тестовых заданий были включены 7 дополнительных вопросов. Новый пакет тестовых заданий в двух вариантах был апробирован в 3-х студенческих группах, списочный состав которых включал 33 человека. Аналогично вышеизложенным действиям результаты тестирования были подвергнуты статистическому анализу, который позволил исключить из пакета 10 невалидных заданий и вопросов, плохо различающих сильных и слабых студентов, а также четырех испытуемых, результаты которых вызвали недоверие. В результате был получен пакет тестовых заданий, состоящей из 23 вопросов, с коэффициентом надежности теста, равным 0,840, при этом проверка показала, что гистограмма частоты появления суммы тестовых баллов в полной мере соответствует нормальному закону распределения случайных величин (рис.1).
Рис. 1 - Гистограмма частоты распределения тестовых баллов для скорректированного пакета тестовых заданий, включающего 23 вопроса
Таким образом, статистический анализ результатов тестирования студентов по последнему пакету заданий позволяет отнести его к третьему классу надежности и рекомендовать для внедрения в учебный процесс кафедры. Для проверки валидности теста результаты тестирования студентов по теме «Потенциометрия» были сопоставлены с другими показателями, такими как текущий и итоговый (включающий экзамен) рейтинг тех же студентов в предыдущем семестре при прохождении химических методов анализа, соответствующие зависимости представлены на рис.2. Анализ данных позволяет сделать вывод о наличии корреляции тестовых баллов с итоговым (включающим экзамен) рейтингом студентов (коэффициент корреляции составляет величину равную 0,647), чего нельзя сказать о взаимосвязи тестовых баллов с текущим рейтингом учащихся (г = 0,382). Отсутствие однозначной корреляции между баллами по тесту и текущим рейтингом учащихся, вероятнее всего, связано с некоторым перевесом рейтинговой оценки в сторону завышения баллов за практическую составляющую дисциплины, когда присутствие на занятиях, выполнение лабораторных работ и сдача предусмотренных учебным планом домашних расчетных заданий обеспечивают гарантированное получение зачета, невзирая на частичное (а иногда и полное) отсутствие теоретических знаний, не говоря об умении применять эти знания в каких-либо заданных конкретных условиях или модельных ситуациях.
Рис. 2 - Корреляция тестовых баллов с текущим рейтингом (1) и итоговым рейтингом за семестр, включая экзамен (2)
Представленные данные подтверждают, что разработанный пакет тестовых заданий по теме «Потенциометрия» адекватно отражает знания студентов и может служить в качестве стандартизованного измерительного средства контроля знаний.
С целью выявления трудностей в освоении студентами учебного материала названной темы и совершенствования методики преподавания дисциплины, что составляет неотъемлемую часть системы менеджмента качества вуза, был проведен анализ содержания тестовых вопросов, отбракованных в процессе статистической обработки данных, и знания, продемонстрированные студентами при тестировании. Материал, изложенный в 40 вопросах первоначального теста, можно подразделить по 8 содержательным линиям, которые представлены в табл. 1. Количество вопросов по каждому разделу отражает
объем учебного материала, предусмотренного учебным планом дисциплины, и его практическую значимость для формирования у студентов профессиональных компетенций.
Таблица 1 - Количество вопросов в пакете тестовых заданий по отдельным разделам темы «Потенциометрия»
Раздел Количество вопросов Осталось от
в исходном пакете ТЗ после стат. отбраковки исходного варианта, %
кол-во % кол-во %
1 - Теоретические основы по-тенциометрии 8 20 6 23,1 75
2 - Индикаторные электроды 6 15 3 11,5 50
3 - Электроды сравнения 5 12,5 4 15,4 80
4 - Выбор электродов 5 12,5 2 7,7 40
5 - Ионометрия 4 10 3 11,5 75
6 - ПМ титрование 8 20 6 23,1 75
7 - Методы количественного ПМ анализа 2 5 1 3,9 50
8 - Задачи 2 5 1 3,9 50
Всего 40 100 26 100 65
В результате статистической обработки матрицы тестирования, из которой были отбракованы невалидные задания и вопросы с плохой различающей способностью, наибольшему секвестированию подвергся раздел 4 (табл. 1), связанный с выбором электродов. Очевидно, этот факт можно объяснить неумением студентов применять на практике (в конкретных условиях, для достижения определенной поставленной цели) тех теоретических положений потенциометрии, которые усвоены студентами достаточно хорошо (раздел 1). Выбор электродов напрямую взаимосвязан с вопросами 2 раздела, где рассматриваются виды и типы индикаторных электродов, их устройство и принципы работы, возможности и ограничения их применимости. Этот раздел также плохо усвоен студентами, поскольку при проверке валидности заданий из него пришлось удалить половину вопросов из-за отсутствия корреляции между «силой» студента (по его сумме тестовых баллов) и трудностью задания, определяемого суммой правильных ответов всех студентов по этому вопросу. Сделанные заключения об усвоении студентами отдельных разделов учебного материала дисциплины подтверждаются данными вычисления отношения доли правильных ответов, полученных при тестировании на все вопросы данного раздела, к доле этих вопросов во всем пакете тестовых заданий (табл. 2).
Таблица 2 - Отношение доли правильных ответов к доле вопросов по отдельным разделам* темы
Раздел Доля правильных ответов, % Отношение доли правильных ответов к доле вопросов
в исходном пакете (40 вопросов) после стат. отбраковки (26 вопросов) в исходном пакете (40 вопросов). после стат. отбраковки (26 вопросов)
1 29,7 31,0 1,48 1,34
2 12,1 9,7 0,80 0,84
3 10,8 14,1 0,86 0,92
4 8,1 4,9 0,64 0,63
5 11,2 12,0 1,12 1,04
6 18,6 21,3 0,93 0,92
7 6,8 5,4 1,36 1,39
8 2,8 1,7 0,56 0,45
* Нумерация и содержание разделов соответствуют таблице 1.
Анализ данных табл.2 позволяет заключить, что наиболее полно студентами освоены разделы 1 и 7 («Теоретические основы потенциометрии» и «Методы количественного ПМ анализа»). Вопросы этих разделов можно отнести к наиболее простым (легким), поскольку на них получено наибольшее число правильных ответов, включая как сильных, так и слабых студентов. Менее усвоены разделы 5 - «Ионометрия» и 6 - «ПМ титрование». Вопросы данных разделов занимают среднюю позицию и позволяют провести градацию сильных и слабых студентов (т.к. сильные студенты, в основном, отвечают на представленные в данных разделах вопросы, а слабые - не отвечают). Тестовые задания по разделам классификации электродов на индикаторные и электроды сравнения и их устройству (разделы 2,3) представляются студентам достаточно сложными, но наиболее проблемными остаются вопросы применимости полученных знаний и умений для выбора электродов при потенциометрических определениях тех или иных объектов (4 раздел). В процессе тестирования студенты продемонстрировали и слабое умение решения аналитических задач, связанных с простейшими расчетами и обработкой полученных экспериментальных данных потенциометрических определений (8 раздел). Из проведенного анализа результатов тестирования вытекает необходимость более детального освещения проблемных (с точки зрения усвоения учебного материала) вопросов как при чтении лекций, так и при выполнении лабораторного практикума, но особое внимание следует уделить организации самостоятельной работы студентов через систему творческих индивидуальных заданий, моделирующих, например, задачи контроля качества новой продукции, поставленной на производство, или контроля технологического процесса в привязке к специализации студентов. Именно такая профессиональная направленность изучения дисциплин естественно-научного цикла, сочетающаяся с организацией системы текущего контроля работы студентов в виде тестирования с последующим анализом его результатов и коррекцией образовательного процесса,
может стимулировать качественное и ритмичное выполнение учащимися учебной программы и способствовать формированию профессиональных компетенций у выпускников вузов.
Таким образом, внедрение педагогического тестирования в учебный процесс вуза позволяет не только систематично, быстро и объективно проводить мониторинг знаний студентов, но и оперативно управлять процессом передачи и усвоения знаний, что, по сути, и является одной из основных задач системы менеджмента качества вуза.
Литература
1. Мовчан, Н.И. Стандартизация образовательного процесса посредством внедрения тестовых технологий»// Н.И. Мовчан, Р.Ф. Бакеева, В.Ф. Сопин // Вестник Казанского технол. ун-та. - 2004. - № 12. - С.296-302.
2. Мовчан, Н.И. Разработка и внедрение тестовых материалов в практику преподавания дисциплины «Аналитическая химия и физико-химические методы анализа»// Н.И. Мовчан, Р.Ф. Бакеева, В.Ф. Сопин // Вестник Казанского технол. ун-та. - 2008. - № 6. - Ч. II. - С. 73-79.
3. Аванесов, В.С. Классы и виды тестов. / В.С. Аванесов. Вып.14, ч.2/2.
http://www.usatic.narod.ru
4. Матушанский, Г.У. Тестовый контроль знаний в ВУЗе: Курс лекций Г.У. Матушанский. - Казань: Изд-во Казан. гос. технол. ун-та, 1993. - 36 с.
© Н. И. Мовчан - канд. хим. наук, доц. той же кафедры, nimov@mail.ru; Е. В. Максимкина - студ. КГТУ; В. Ф. Сопин - д-р хим. наук, проф., зав. каф. аналитической химии, сертификации и менеджмента качества КГТУ.
