CC BY
101
ИННОВАЦИИ В ОБРАЗОВАНИИ
УДК 378; 378.14
ОПЫТ СОЗДАНИЯ КОМПЕТЕНТНОСТНОГО ИТОГОВОГО ТЕСТА
© 2013 г. К.Д. Дятлова1, М.А. Гаврилова2, И.А. Колпаков1
Нижегородский госуниверситет им. Н.И. Лобачевского 2Астраханский госуниверситет
Поступила вредарцию 08.02.2013
Разработаны принципы композиции педагогических тестов для оценки сформированности общих и профессиональных компетенций. На основании принципов составлен и апробирован тест по группе дисциплин «Ботаника» для студентов биологического факультета.
Ключевые слова: компетентностный подход, сформированность компетенций, тестовый контроль.
Присоединение в 2003 г. России к Болонскому процессу существенно повлияло на цели и содержание российских образовательных реформ. В качестве значимых векторов дальнейшей модернизации российского высшего образования на первый план вышли общеевропейские ориентиры развития образовательных систем, отвечающие целям интернационализации и создания общеевропейского пространства высшего образования.
Ключевым моментом перехода на уровне-вую систему высшего профессионального образования в рамках Болонского процесса является введение компетентностного подхода к оценке качества результатов образования, положенного в основу разработки федеральных государственных образовательных стандартов.
Принятие компетентностного подхода к оценке результатов образования должно привести к формированию новой системы оценочных средств с переходом от оценки знаний к оценке компетенций. При этом конкретные формы и процедуры текущего и промежуточного контроля знаний по каждой дисциплине разрабатываются и утверждаются вузом самостоятельно и доводятся до сведения обучающихся в течение первого месяца обучения [1].
Фонды оценочных средств должны включать типовые задания, контрольные работы, тесты и методы контроля, позволяющие оценить знания, умения и уровень приобретенных компетенций. Вузом должны быть созданы условия для максимального приближения программ текущего контроля успеваемости и промежуточной аттестации обучающихся к условиям их будущей
профессиональной деятельности, для чего, кроме преподавателей конкретной дисциплины, в качестве внешних экспертов должны активно привлекаться работодатели, преподаватели, читающие смежные дисциплины, и так далее [1].
Для реализации компетентностного подхода в аттестации необходим ряд подготовительных работ, в число которых, по мнению В.И. Звон-никова и М.Б. Челышковой, входят:
• создание общей концептуальной базы аттестации;
• разработка профессиограмм для различных направлений подготовки;
• структурирование и операционализация компетенций (перевод в плоскость измерений);
• концептуальный выбор размерности измерений;
• определение дизайна измерений (схемы сочетания измерителей, обеспечивающих построение количественных и качественных шкал);
• формирование репрезентативных выборок студентов или выпускников для апробации измерителей;
• разработка первой версии инструментария (предметно-ориентированных тестов, компе-тентностных тестов, портфолио, кейс-измерителей, анкет и т.д.);
• апробация, оценивание размерности пространства измерений и определение числа шкал;
• получение экспертных (внутренних и внешних) и статистических оценок качества инструментария;
• анкетирование работодателей;
• коррекция инструментария;
• проведение измерений;
• сбор и обработка данных;
• взвешивание;
• шкалирование;
• интеграция данных по различным шкалам;
• интерпретация результатов оценочного процесса.
Только выполнение всех этих этапов позволит в полной мере реализовать компетентност-ный подход в профессиональном образовании [2]. Эта задача необыкновенно сложна, но реализация хотя бы части этих этапов на практике поможет приблизиться к её решению.
Внедрение компетентностного подхода не отменяет, но интегрирует, объединяет все прогрессивные педагогические подходы, используемые в современном высшем образовании: личностно ориентированный, культурологический, деятельностный и т.д. При этом единственным методом диагностики и аттестации, используемым всеми этими подходами, является педагогическое тестирование. Оно является наиболее распространенным и удобным методом оценки знаний, но, на наш взгляд, он может быть применен и для оценки степени сформи-рованности общекультурных и профессиональных компетенций студентов, в том числе и по направлению подготовки «Биология» в рамках стандарта нового поколения (ФГОС 3). Разработка компетентностных тестов была начата еще в 1990 г. в Канаде, где были созданы тесты «уравновешенной» оценки учебных достижений, позволяющие оценить умения высокого уровня (компетентности) [3]. Основной идеей является использование математических методов оценки уровня подготовленности и интеллектуальных способностей испытуемых по специально разработанным тестам. В настоящее время компетентностные тесты и задания широко использует международный проект PISA [4].
Расширить рамки тестового контроля и применить его для оценки степени сформированно-сти компетенций, на наш взгляд, можно используя следующие ведущие принципы:
• многомерность тестов - интеграция разных компетенций в одном тесте;
• лонгитюдность тестового контроля - изучение динамики развития компетенций в течение всего обучения и в ходе обучения разным дисциплинам;
• кумулятивность - наращивание, увеличение знаний в содержании тестов на каждом испытании (семестре, курсе), с суммированием предыдущих знаний и компетенций;
• изначальное выделение для каждой компетенции ее когнитивной составляющей, так как компетенции формируются и развиваются
только через усвоение содержания образовательных программ;
• использование в тесте заданий, контролирующих биологические знания высоких уровней иерархии: причинно-следственные, сравнительные, системные - и только творческого уровня усвоения;
• выделение в каждом тестовом задании его деятельностной составляющей, поскольку компетентность проявляется только в деятельности.
Деятельностную составляющую тестовых заданий можно выявить, используя при их составлении мультикритериальный подход, учитывающий не только форму и контролируемый элемент содержания, но и контролируемый вид знаний и уровень их усвоения [5]. Типология знаний относится к дискуссионным вопросам когнитивной психологии. Так, типология знаний Б. Блума, дополненная В.С. Аванесовым, включает 17 видов знаний, причем перечень сформулирован исключительно для решения задач педагогического измерения [6]. Выделить основные виды знаний позволяет деятельностный подход, оценивающий, какие мыслительные операции (анализ, синтез, сравнение, абстрагирование, нахождение аналогий, классификация, систематизация, индукция, дедукция) и формы мышления (понятия, суждения, умозаключения) должен задействовать учащийся, чтобы ответить на поставленный вопрос. В биологии традиционно значительно уменьшают перечень разновидностей знаний и умений Блума-Аванесова и с позиций деятельностного подхода выделяют шесть их основных видов: факту-альные, классификационные, алгоритмические, сравнительные и системные, интегративные. Приведенная классификация отражает не только виды, но и иерархию биологических знаний: фактуальные знания являются наиболее простыми, системные - наиболее сложными. Именно формирование системных, причинноследственных, сравнительных знаний - метод развития познавательных компетенций и социальной компетентности [5].
Важным объектом педагогического контроля является уровень усвоения проверяемых знаний. Под уровнем усвоения (овладения) понимается вид познавательной деятельности, которую необходимо актуализировать, чтобы выполнить данное задание. Как известно, все виды деятельности выполняются на основе усвоенной ранее информации. То есть «уровень усвоения» - суть интегральный показатель, сочетающий содержательный и деятельностный компоненты.
На сегодня нет устоявшегося мнения по поводу количества уровней усвоения. Но, по-
скольку ключевыми требованиями к учащемуся являются требования: «знать», «уметь», «применять знания и умения», число уровней усвоения учебных знаний большинство исследователей сводят к трем:
1) воспроизведение, цитирование, репродукция (понятийный уровень - «знать»);
2) решение по образцу, реализация стандартного алгоритма (алгоритмический уровень
- «уметь» и «применять знания и умения»);
3) применение знаний в измененной или незнакомой ситуации (творческий, аналитический уровень - «применять знания и умения в новой ситуации»), главное условие при этом - нестандартный характер содержательной части или формы задания, постановка вопроса, на который нет прямого ответа в используемых учебных пособиях.
При конструировании педагогических ком-петентностных тестов по конкретной дисциплине (или блоку однородных родственных дисциплин), на наш взгляд, следует придерживаться следующей последовательности операций: определение общекультурных и профессиональных компетенций, формируемых данной дисциплиной, - отбор компетенций, которые могут быть проверены тестовыми методами, -определение когнитивной составляющей данных компетенций - отбор тем, содержащих данный когнитивный контент, - определение ситуаций (проблем), в которых данный контент рассматривается в нетривиальной, незнакомой студентам ситуации, - определение видов интеллектуальной деятельности, которые должны быть актуализированы при выполнении данного задания, - выбор формы тестового задания, адекватной поставленной задаче, - составление тестовых заданий - композиция теста.
По группе дисциплин «Ботаника» («Основы альгологии и микологии», «Анатомия и морфология растений», «Систематика высших растений») Примерный учебный план подготовки бакалавра по направлению 020400 Биология ФГОС-3 выделяет следующие компетенции:
- ОК-1: следует этическим и правовым нормам в отношении других людей и в отношении природы (принципы биоэтики);
- ОК-8: проявляет экологическую грамотность и использует базовые знания в области биологии в жизненных ситуациях; понимает социальную значимость и умеет прогнозировать последствия своей профессиональной деятельности, готов нести ответственность за свои решения;
- ОК-16: заботится о качестве выполняемой работы;
- ОК-18: умеет работать самостоятельно и в команде;
- ПК-1: демонстрирует базовые представления о разнообразии биологических объектов, понимание значения биоразнообразия для устойчивости биосферы;
- ПК-2: использует методы наблюдения, описания, идентификации, классификации, культивирования биологических объектов;
- ПК-5: применяет современные экспериментальные методы работы с биологическими объектами в полевых и лабораторных условиях, навыки работы с современной аппаратурой;
- ПК-15: способен эксплуатировать современную аппаратуру и оборудование для выполнения научно-исследовательских полевых и лабораторных биологических работ [1].
Совершенно ясно, что оценить с помощью педагогических тестов уровень сформированно-сти или даже только наличие компетенций ОК-16 и ОК-18 невозможно, но выраженность остальных компетенций мы попробовали оценить с помощью специально созданного теста.
Созданный нами пилотный вариант итогового компетентностного теста по ботанике является критериально-ориентированным. Критерии усвоения учебной программы: от 100% до 80%
- оптимальный уровень, от 79% до 50% -допустимый уровень, 49% и ниже - критический уровень. Тест является полиморфным, содержит 34 тестовых задания (ТЗ) пяти форм, объединенных в три части (А, В, С):
- типичные закрытые ТЗ множественного выбора с одним правильным ответом (Часть А);
- закрытые ТЗ множественного выбора с одним правильным ответом на установление аналогии (Часть А);
- типичные открытые ТЗ дополнения (Часть В);
- открытые ТЗ дополнения на установление аналогии (Часть В);
- открытые ТЗ свободного изложения (Часть С).
Часть закрытых и открытых тестовых заданий снабжена рисунками. Все закрытые и открытые задания дополнения оцениваются дихотомически: 0-1 балл, открытые свободного изложения - политомически. Всего за полное правильное выполнение теста студент может получить 50 баллов.
План теста включает содержательные и деятельностные характеристики тестовых заданий и проверяемые компетенции (табл.).
Таблица
План пилотного компетентностного теста по предмету «Ботаника» и результаты его выполнения группой студентов
Шифр ТЗ Проверяемая компетенция Тема Виды интеллектуальной деятельности Вид биологич. знаний Уровень усвоения знаний Трудность ТЗ, %
А1 ПК1 водоросли анализ, синтез, классификация класс. систем. 60
А2 ПК1 водоросли аналогия класс., сравнит. систем. 33
А3 ПК2 водоросли логические связи причинно-следст. систем. 65
А4 ПК5, ПК15 водоросли решение задачи по образцу алгоритм. алгорит. 45
А5 ОК8 водоросли логические связи причинно-следст. систем. 28
А6 ОК8, ПК2 водоросли логические связи причинно-следст. систем. 35
А7 ОК8 водоросли логические связи причинно-следст. систем. 24
А8 ОК1 грибы логические связи причинно-следст. систем. 72
А9 ПК1 лишайники аналогии класс., сравнит. систем. 81
А10 ПК5, ПК15 лишайники логические связи причинно-следст. систем. 76
А11 ПК1, ПК2 анатомия растений логические связи причинно-следст. систем. 88
А12 ОК8 морфология растений логические связи причинно-следст. систем. 19
А13 ПК1 морфология растений логические связи причинно-следст. систем. 34
А14 ПК1 морфология растений аналогия класс., сравнит. систем. 52
А15 ПК2, ПК5 морфология растений логические связи причинно-следст. систем. 44
А16 ПК1, ПК2 систематика растений анализ, классификация класс., сравнит. систем. 33
А17 ПК1, ПК2 систематика растений анализ, классификация класс., сравнит. систем. 72
А18 ПК1, ПК2 систематика растений анализ, классификация класс., сравнит. систем. 26
А19 ОК8 систематика растений логические связи причинно-следст. систем. 65
А20 ОК8 экология растений логические связи причинно-следст. систем. 29
А21 ОК8 экология растений логические связи причинно-следст. систем. 34
А22 ОК8 экология растений логические связи причинно-следст. систем. 19
А23 ОК8 экология растений логические связи причинно-следст. систем. 74
В1 ОК8 водоросли логические связи причинно-следст. систем. 55
В2 ПК1, ПК2, ПК5 анатомия растений логические связи причинно-следст. систем. 64
В3 ПК1, ПК2 систематика растений анализ, классификация класс., сравнит. систем. 84
В4 ПК1, ПК2 систематика растений анализ, классификация класс., сравнит. систем. 78
В5 ПК1, ПК2 систематика растений анализ, синтез, классификация класс., сравнит. систем. 19
В6 ОК1 систематика растений обобщение системн. систем. 13
В7 ПК1, ОК8 экология растений аналогия сравнит. систем. 91
С1 ПК2, ПК5, ПК15 водоросли логические связи причинно-следст. систем. 45
С2 ОК8, ПК2, ПК5 водоросли логические связи системн. систем. 22
С3 ПК1, ПК2 морфология растений анализ, синтез, сравнение, классификация класс., сравнит. систем. 76
С4 ПК1, ПК2, ОК8 анатомия растений логические связи причинно-следст., системн. систем. 54
Среднее 50.27
Пробное тестирование с использованием созданного теста было проведено на биологическом факультете Нижегородского государственного университета. Данный тест был предъявлен 63 студентам 3-го курса, закончившим изучение всех дисциплин ботанического цикла. Для каждого тестового задания определялась его трудность - процент студентов, верно выполнивших данное задание (табл.).
Данные таблицы показывают, что в среднем группа студентов справилась с тестом, то есть указанные компетенции можно считать сформированными, хотя и на минимальном уровне. Содержательная валидность теста доказывается присутствием в нем основных тем изученных курсов. Прогностическая валидность теста достаточно высока: коэффициент корреляции итогов теста со средним баллом по ботаническим дисциплинам для исследованной группы студентов составляет 0.54 при р < 0.005. Анализ результатов теста позволяет выявить уровень сформированности отдельных компетенций для каждого студента и группы в целом. Так, явно, что общекультурные компетенции, особенно ОК-8, сформированы хуже, чем профессиональные, и нуждаются в доработке. Возможно, конечно, что просто тестовая форма контроля менее подходит для выявления общекультурных компетенций, так как в них слабее выражен знаниевый компонент.
В целом, можно сказать, что предложенные нами принципы и алгоритмы построения ком-петентностных тестов могут быть применены для создания инструментария оценки степени
сформированности общекультурных и профессиональных компетенций студентов биологических специальностей. Конечно, у нас нет уверенности, что данный тест контролирует именно и только компетенции, окончательное мнение о компетентности каждого человека даст только его дальнейшая трудовая деятельность.
Работа выполнена благодаря проекту № 2012-1.4-12000-3005-002 в рамках мероприятия 1.4 федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы.
Список литературы
1. Мелехова О.П. Методология перехода на уров-невую систему подготовки в соответствии с новой нормативной базой высшего биологического образования. М., 2010. 254 с.
2. Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации: компетентностный подход. М.: Университетская книга. Логос, 2009. 272 с.
3. Curriculum Framerworks for Mathematics and Science / General Editor David Robitaille. TIMMS Monograph №1. Vancouver, Canada: Pacific Educational Press, 1993.
4. Основные сведения о международной программе PISA-2003 [Электронный ресурс]. Режим доступа: http://avkrasn.ru/article-82.html.
5. Андреева Н.Д., Дятлова К.Д. Тестовый контроль биологических знаний: Учебное пособие.
СПб.: Изд-во РГПУ им. А.И. Герцена, 2012. 143 с.
6. Аванесов В.С. Основы педагогической теории измерений // Педагогические измерения. 2004. № 1. С. 15-21.
THE EXPERIENCE OF DEVELOPING A FINAL COMPETENCY TEST
K.D. Dyatlova, M.A. Gavrilova, I. A Kolpakov
The principles of composition for pedagogical tests to assess general and professional competencies have been developed. Based on these principles, a test for the group of disciplines «Botany» for biology students has been compiled and tested.
Keywords: competency-based approach, competency formation, test control.
