CC BY
70
Н. И. Мовчан, Р. Ф. Бакеева, В. Ф. Сопин
СТАНДАРТИЗАЦИЯ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА ПОСРЕДСТВОМ ВНЕДРЕНИЯ
ТЕСТОВЫХ ТЕХНОЛОГИЙ
Разработаны и апробированы на массиве студентов численностью более 200 человек пакеты тестовых заданий по отдельным темам дисциплины «Аналитическая химия и физико-химические методы анализа». Установлено, что форма тестового задания оказывает сильное влияние на результаты тестирования. Статистический анализ студенческих ответов показал, что созданные пакеты тестовых заданий отвечают требованиям, предъявляемым к тестовым материалам, и могут быть рекомендованы в качестве дифференцирующего средства контроля знаний студентов в тематическом контроле. Внедрение педагогического тестирования в образовательный процесс вузов позволят стандартизовать сам технологический процесс контроля и оценки знаний и приблизить его к европейской системе, что в настоящее время приобретает особую актуальность в связи с присоединением России к Болонской декларации по высшему образованию.
19 июня 1999 года министрами 29-ти европейских стран подписана Болонская декларация. Ее конечным итогом должен стать единый образовательный стандарт для всех стран и, соответственно, взаимное признание образовательных дипломов [1]. В сентябре 2003 г. в Берлине состоялось совещание министров образования стран Европы, на котором Россия присоединилась к Болонской декларации по высшему образованию. Цель Болон- ского процесса - добиться «гармонизации» европейских систем образования, за счет взаимообогащения этих систем превратить Европу в притягательный ареал для тех, кто хочет получить высококачественное образование. Средства достижения целей - распространение двухступенчатой системы высшего образования: бакалавриат и магистратура, введение системы зачетных единиц, разработка систем обеспечения качества, взаимное признание документов об образовании и т.д. [2]. Зачетные единицы, или кредиты - это условные единицы, для «измерения» трудоемкости дисциплины, курса, их удельного веса в общей системе подготовки. В настоящее время в дипломе выпускника вуза фигурирует название дисциплины, количество часов и оценка. В скором будущем, как отмечают авторы выше названной публикации, должно быть оценено, сколько кредитов «стоит» курс. Благодаря кредитам студент может в одном университете зачесть курс, пройденный в другом. Существует европейская система перезачета кредитов (ЕСТ8). Благодаря такой системе кредиты могут учитываться во всех странах общеевропейского пространства высшего образования.
В рамках этой системы можно в одном университете «взять» один курс, в другом - другой. Системы обеспечения качества должны быть как на уровне вузов, так и на национальном и европейском уровне. На европейском уровне контроль за выполнением условий Болонской конвенции осуществляет Европейская сеть обеспечения качества в высшем образовании (РЛ'КЗА). Национальные системы контроля за качеством высшего образования должны включать в себя оценку программ вузов, в том числе и внутреннюю, внешние отзывы, оценку со стороны студентов и систему аккредитации и сертификации.
Реализация Национальной системы оценки качества образования в России ставит задачу осуществления квалиметрического мониторинга качества образования [3]. В качестве объектов квалиметрии выделяются следующие компоненты: учебные планы, программы и учебники как определяющие содержание образования, образовательные технологии, педагогические кадры, результаты образования. К квалиметрическому обеспечению, по сравнению с традиционными методами диагностики, предъявляются особые требования: объективность, оперативность, возможность соотнесения результатов диагностики с измерительными шкалами. Квал и метрическое обеспечение связано с такими педагогическими категориями как: цель, содержание, результат образования. Основа квалиметрического подхода - наличие требований образовательных стандартов. Но решение проблемы квалиметрического обеспечения должно строиться с учетом ценностно-целевых установок конкретной образовательной системы, материально-технического и кадрового потенциала, принятой образовательной концепции и т.д. Образовательный стандарт рассматривается как предпосылка вариативности отдельной образовательной системы при условии обеспечения качества образования. Научную основу разработки квалиметрического обеспечения составляют достижения и аппарат квалиметрии. В качестве основных технологий при этом используются экспертные и социологические методы, педагогическое и психолог ическое тестирование [4].
Активное использование образовательными учреждениями средств информатизации обеспечило предпосылки к созданию и использованию автоматизированных тестовых средств контроля знаний обучаемых на всех этапах обучения. В данном контексте разработка и внедрение в учебный процесс вуза тестовых материалов приобретает особую актуальность, поскольку позволяет рассматривать их как стандартизованный инструмент при измерении качества знаний обучающихся.
Обычно, любой вид проверки или испытаний называют тестированием. В переводе с английского языка тест означает проба, испытание. На языке науки тестирование - это исследовательский метод, в основе создания и использования которого лежат определенные правила. Тест - это задания стандартной формы, по результатам выполнения которых можно судить о психофизических и личностных характеристиках, а также о знаниях, умениях, навыках испьпуемого [5]. Тест педагогический - совокупность тестовых заданий, позволяющая по результатам их выполнения объективно измерить уровень подготовленности испытуемых по конкретным разделам определенной области знания. Тест представляет собой конечную, репрезентативную выборку из генеральной совокупности калиброванных тестовых заданий [6]. Тестирование - метод контроля и оценки качества образования, служит средством управления качеством образования, решения различных дидактических задач (изучения нового материала, закрепление, совершенствование и применение знаний, обобщение и систематизация, развития способностей), а также подготовки, организации измерения, контроля, анализа, оценивания учебных достижений [7]. В настоящее время тестирование как стандартизованная процедура объективного измерения и контроля знаний учащихся получила широкое распространение в системе среднего образования и начинает развиваться в области высшего образования [8], в том числе и на кафедре «Аналитической химии, сертификации и менеджмента качества» КГТУ.
Материалы, контролирующие образовательный процесс, могут рассматриваться как измерительные инструменты (тесты) только при наличии у них ряда необходимых стандартных свойств и характеристик, учитываемых в процессах разработки и применения тестов [9]. Практическая важность многих подобных свойств является следствием того факта.
что тест есть некоторая выборка заданий из предметной области, определенной Государственными образовательными стандартами.
Тесты должны отвечать определенным требованиям, главные из которых - адекватность (валидность), определенность, простота, однозначность и надежность [10]. Под адекватностью, или валидностью, теста понимают точное соответствие содержания задаваемых тестом заданий смыслу и содержанию выявляемого признака. Так, если речь идет о тестировании деятельности, то такую валидность следует назвать функциональной. Оценка функциональной валидности теста может быть осуществлена путем теоретического анализа или экспериментально. Другая сторона валидности теста содержательная; под ней понимают соответствие теста содержанию опыта, усвоенного данным индивидом. Содержательно валиден такой тест, с помощью которого предъявляемые задания на деятельность (по ее содержанию и качеству) безусловно, выполнимы учащимся на основе предшествующего обучения. Валидность означает пригодность тестовых результатов для достижения той цели, ради чего проводилось тестирование. Валидность зависит от качества заданий, их числа, от степени полноты и глубины охвата содержания учебной дисциплины (по темам) в заданиях теста. Кроме того, валидность зависит также от баланса и распределения заданий по трудности, от метода отбора заданий в тест из общего банка заданий, от интерпретации тестовых результатов, от организации сбора данных, от подбора выборочной совокупности испытуемых [11].
При конструировании тестов необходимо добиться их определенности для учащихся. Важно, чтобы, читая тест, учащийся хорошо понимал, какую деятельность он должен выполнять, какие знания продемонстрировать и в каком объеме.
Требование простоты теста может быть «расшифровано» как необходимость иметь в тесте возможно более четкую и прямолинейную формулировку задания на деятельность. Для этого задание теста должно быть ограничено одной задачей.
Требование однозначности теста означает, что качество его выполнения учащимися должно оцениваться одинаково различными экспертами, т.е. в тестах должны быть выделены некоторые единицы, позволяющие вести их уверенную обработку и счет, чтобы получать вполне определенный результат. Вот почему разработка теста не заканчивается формулировкой задания на деятельность, а обязательно предполагает создание эталона, определяющего систему измерения и оценки качества деятельности, выполненной учащимися по тесту.
Требование надежности теста заключается в обеспечении устойчивости последовательных результатов тестирования одного и того же испытуемого.
С целью создания тестовых материалов, в полной мере отвечающих перечисленным требованиям, на кафедре «Аналитической химии, сертификации и менеджмента качества» была использована технология формирования тестов, включающая следующие этапы [12]:
1) отбор учебного материала дисциплины «Аналитическая химия и физикохимические методы анализа», подлежащего тестовому контролю с учетом должного уровня его усвоения;
2) выделение в соответствии с рабочей программой дисциплины основных тем для проведения рубежного контроля знаний;
3) формулировка заданий в тестовой форме по каждой теме;
4) экспертиза тестовых вопросов преподавательским коллективом и корректировка заданий с учетом полученных замечаний;
5) эмпирическая проверка (апробация) «сырых геСшв» ь студенческих 1руппах,
6) статистический анализ результатов тестирования, на основании метрологических статистических критериев отбраковка невалидных тестовых заданий и заданий с низкой различающей способностью;
7) сортировка тестовых вопросов по мере возрастания сложности заданий и формирование тематического теста;
8) создание параллельных вариантов тестов, которые используются в учебном процессе при тематическом контроле знаний.
Для определения влияния формы тестовых заданий на результаты тестирования нами разработаны два пакета гомогенных тестовых заданий по теме «Кислотно-основное титрование», состоящие из 32 идентичных по содержанию вопросов. В первом пакете задания были сформулированы в открытой форме, когда ответы даются самими испытуемыми, во втором - в закрытой форме, когда учащемуся необходимо выбрать один или несколько правильных ответов из предложенных. Пакеты тестовых заданий были апробированы на студентах 3-го курса 1, 4, 5, 6, 7 и 10 факультетов при рубежном контроле по завершении изучения темы. Тестирование проводилось в письменной форме на массиве студентов численностью 282 человека (172 студента по открытой форме тестовых заданий и 110 - по закрытой) в аудиторное время в течение 40 мин.
Как и следовало ожидать, форма тестового задания оказывает сильное влияние на результат тестирования. Это наглядно видно на рис.1, где показано распределение положительных ответов студентов в зависимости от сложности тестового задания. В случае использования открытой формы тестовых заданий прослеживается достаточно четкая линейная зависимость, которая характеризуется гнт = 0,925. На рис. 16 та же зависимость имеет ступенчатый вид, что согласуется с гнт = 0,725. То есть применение тестовых заданий закрытой формы дает менее надежный результат. Вполне понятно, что вероятность правильного ответа возрастает в том случае, если тестовое задание сформулировано в закрытой форме, а это в свою очередь определяет и меньшую различающую способность соответствующего вопроса.
Результаты тестирования подверглись статистической обработке с использованием программ MS Exel по описанной в работах [13.14] методике, выявлены и отбракованы задания, не отвечающие требованиям по таким показателям, как надежность, валидность и различающая способность, оставшиеся тестовые вопросы ранжированы по мере возрастания их сложности. Проведен анализ отбракованных вопросов. Сформированы скорректированные пакеты тестовых заданий.
Окончательный вариант пакета тестовых заданий в открытой форме, состоящий из 26 вопросов, имеет коэффициент надежности 0,88, значение биссериального коэффициента для всех вопросов превышает 0,4, а различающая способность более 0,33. Частота распределения баллов приближается к закону нормального распределения Гаусса. Отклонения в точности измерения суммы баллов не превышает (при Р = 0.95) 4,2 балла. Таким образом, пакет тестовых заданий отвечает всем требованиям, предъявляемым к тестовым материалам, и может быть рекомендован в качестве дифференцирующего средства контроля знаний студентов по названной теме.
Скорректированный пакет тестовых заданий в закрытой форме также содержит 26 вопросов, но имеет значительно меньшую надежность (0,73), валидность (Rbis> 0,2) и различающую способность тестовых заданий (pcs > 0,2), доверительный интервал для полученного балла (при Р = 0.95) составляет ± 4,2. Вид гистограммы распределения отличается от нормального распределения.
а
-*т*Г"ОгО'00'\С')1ЛОО —
(N1 ^ ГУ,
I
Порядковый номер вопроса б
Рис. 1 - Распределение положительных ответов студентов в зависимости от сложности тестового задания: а - в открытой форме, б - в закрытой форме
Полученные результаты прогнозируемы и объяснимы. Известно, что всю возможную структуру деятельности человека можно представить в виде следующих четырех последовательных уровней усвоения, отражающих развитие опыта учащегося в данном предмете в процессе обучения [15] и характеризующих способность личности к решению задач различной сложности:
I уровень- репродуктивное узнавание. Алгоритмическое действие: заданы исходные и конечные продукты алгоритмической ориентировочной основы деятельности (ООД), известной учащемуся из предшествующего обучения. Учащийся способен лишь узнавать ранее изученные факты, понятия, законы, теории и способы деятельности. При усвоении учебного материала на этом уровне учащийся выполняет деятельность по воспроизведению информации только в том случае, если ему предлагается намек или подсказка в закрытой форме.
II уровень - репродуктивное алгоритмическое действие. Заданы лишь исходные продукты известной учащемуся ООД. Учащийся умеет выполнять учебно-познавагельную деятельность без инструкций и подсказки, самостоятельно по памяти может воспроизводить необходимую информацию.
III уровень - продуктивное эвристическое действие. ООД учащемуся известна в виде обобщенной методики построения алгоритма. Учащийся умеет применять знания для решения типовых задач по образцу. В результате деятельности добывает сведения ранее ему неизвестные, но использует при этом известные методы поиска ответа.
IV уровень - продуктивное творческое действие. Действие в проблемной ситуации - исследовательская деятельность: ООД учащемуся неизвестна, ее надо найти, построить. Учащийся может выполнять творческую деятельность в условиях проблемной ситуации. Ни ответ, ни способ его поиска ему неизвестен.
Понятно, что задания, сформулированные в закрытой форме, уже содержат определенную подсказку, содержащуюся в одном из предложенных ответов, и предполагают проверку знаний только на первом уровне усвоения. Этот фактор позволяет объяснить повышенный средний балл закрытой формы тестовых заданий по сравнению с открытой формой. С целью повышения требований к уровню знаний обучающихся до продуктивного эвристического действия в пакет тестов закрытой формы были введены задания в виде элементарных задач в 1 - 2 арифметических действия, предполагающие применение известных формул и алгоритмов решения для поиска правильного ответа. К сожалению, как показал опыт, этот прием не всегда позволяет добиться требуемого результата, поскольку зачастую в поиске правильного ответа студенты обращаются не к решению (из-за отсутствия соответствующих знаний), а к простому угадыванию. Именно этот факт и определяет меньшую надежность тестов в закрытой форме.
Следует отметить, что при переходе от открытой к закрытой форме тестовых заданий изменяется их порядковый номер в упорядоченной матрице (чем больше порядковый номер тестового задания, тем оно сложнее для студента), что, скорее всего, связано с различным уровнем восприятия содержания вопроса, сформулированного в разных формах, и затруднениями, вызванными необходимостью самостоятельно воспроизвести требуемый материал в случае работы с открытой формой тестовых заданий.
Для выяснения степени усвоения отдельных вопросов темы был проведен анализ содержания и степени сложности тестовых заданий, который позволил скорректировать процесс обучения и уделить больше внимания рассмотрению сложных для студенческого восприятия вопросов данной темы.
Для исключения механического запоминания правильных ответов и списывания разработаны от трех до шести вариантов каждого пакета тестовых заданий.
Несмотря на выявленные недостатки пакета тестовых заданий закрытой формы, считаем, что данный пакет может быть рекомендован в качестве контролирующих тестов на узнавание ири недифференцированном зачете по названной теме дисциплины, если в результате тестирования студент правильно отвечает на 70-75% поставленных вопросов. Интерес к внедрению пакетов закрытых тестовых заданий в учебный процесс в настоящее
время обусловлен, прежде всего, возможностями компьютеризации процесса тестирования. Применение тестовых технологий с использованием ПЭВМ имеет ряд преимуществ по сравнению с традиционными методами контроля и оценки знаний, поскольку позволяет экономить как аудиторное время, необходимое для проведения опроса, так и время, затрачиваемое преподавателем на проверку студенческих ответов; обладает большей объективностью (при выставлении оценки исключается влияние личных взаимоотношений преподавателя и студента); способствует выявлению пробелов в структуре знаний студентов и позволяет своевременно скорректировать учебный процесс для повышения уровня усвоения материала. Кроме того, тестирование дает возможность контролировать самостоятельную работу студента, что особенно важно при дистанционном обучении. Например, организовать и провести входной контроль знаний студентов заочной формы обучения перед допуском к выполнению практикума.
Безусловно, разработка систем тестовых заданий - процесс достаточно трудоемкий и в научном, и в методическом плане, однако компьютерное тестирование, кроме решения уже приведенных учебно-педагогических задач позволят обеспечить наиболее полное соответствие уровня знаний учащихся требованиям образовательного стандарта, стандартизовать сам технологический процесс контроля и оценки знаний и приблизить его к европейской системе.
Литература
1. Рекомендации международного семинара «Интеграция российской высшей школы в общеев -ропейскую систему высшего образования: Проблемы и перспективы» www.spbu.ru .//Ne ws/ed usem/metod. htm.
2. Диплом университета станет европейским/ Интервью с проректором СПбГУ Касевич В.Б. Газета «Петербургский юрист» №12, 2003; http://jurfak.spb.ru/magazme/jurist/artide.asp?artlD=810.
3. Шухардина В.А. Квалиметрическая технология конструирования адаптированных тестовых измерителей. Гуманитарно-естественный лицей №41. Ижевск. Россия, http://www.vstu.edu.ua.
4. Исаев В.А., Игнатьева Е.Ю. Квалиметрическое обеспечение образовательной системы педаго-гическая проблема // Развитие квалиметрии человека и образования. М.: Исследовательский центр проблем качества подготовки специалистов. 1999. 174с.
5. Тимченко И. С. //Народное образование. 1993. №6. С.64-66.
6. Проект отраслевого терминологического стандарта Центра тестирования. Педагогические тесты. Термины и определения, http://schoois.tsu.ru.
7. Пак М.С., Толетова М.К. Тестирование в управлении качеством химического образования: мо-нография. СПб.: Изд-во РГПУ им. А.И. Герцена, 2002. 113с.
8. Виварчук А.А., Викарчук О.Н., Ярыгин А.Н. //Тез. II Всеросс. конф. «Развитие системы тестиро-вания в России». М.: «Прометей», 2000. С.57-58.
9. Приказ Мин. Образования РФ № 1122 от 17.04.2000. О сертификации качества педагогических тестовых материалов.
10. Беспалъко В.П. Теория учебника Дидактический аспект. М.: Педагогика, 1998. 160с.
11. Аванесов В.С. Научные основы тестового контроля знаний. М.: Исследовательский центр, 1994. 135с.
12. Конструирование заданий для тестовых форм контроля знаний памятка для преподавателей и аттестационных комиссий. 1998-2002 Отдел Международных связей. [email protected].|
13. Мовчан Н. И., Бакеева Р. Ф., Матушанский Г. У., Сопин В. Ф. // Вестник Казанского технол. унта. № 1. 2003. С.421-427.
14. Матушанский Г. У. Тестовый контроль знаний в вузе. Курс лекций. Казань: КГТУ, 1993. 34 с.
15. Беспалъко В.П. Слагаемые педагогические технологии. М.: Педагогика, 1985. 190с.
© Н. И. Мовчан - канд. хим. наук, доц. каф. аналитической химии, сертификации и менеджмента
качества КГТУ; Р. Ф. Бакеева - д-р хим. наук, проф. той же кафедры; В. Ф. Сопин - д-р хим. наук,
проф., зав. каф. аналитической химии, сертификации и менеджмента качества КГТУ.
