CC BY
198
СПИСОК ЛИТЕРАТУРЫ
1. Похолков Ю.П. Проблемы и основные направления совершенствования инженерного образования // Alma Mater. Вестник высшей школы. - 2003. - № 10. - С. 3-8.
2. Любимов Л. Реформа образования: благие намерения, обретения, потери // Высшее образование в России. - 2004. - № 12.
- С. 8-24.
3. Сенашенко В., Ткач Г. Болонский процесс и качество образования // Alma Mater. Вестник высшей школы. - 2003. - № 8. - С. 8-14.
4. Мотова Г. Система оценки качества образования в странах СНГ и Балтии // Alma Mater. Вестник высшей школы. - 2004.
- № 1. - С. 37-40.
5. Сенашенко В., Ткач Г. О ходе интеграции российской системы образования в европейское образовательное пространство // Alma Mater. Вестник высшей школы. - 2004. - № 7. - С. 13-19.
6. Давыдова Л. О показателях качества образования // Высшее образование в России. - 2004. - № 11. - С. 92-96.
7. Чучалин А., Боев О. Кредитно-рейтинговая система // Высшее образование в России. - 2004. - № 3. - С. 34-39.
8. Арефьев В.П., Михальчук А.А., Кулебакина Н.Н. Компьютерный статистический анализ качества инженерного образования. Входной контроль математических знаний. // Известия Томского политехнического университета. - 2005. - Т. 308. -№ 2. - С. 201-205.
9. Боровиков В.П. STATISTICA. Искусство анализа данных на компьютере: Для профессионалов. - СПб.: Питер, 2003. - 688 с.
10. Похолков Ю.П., Вайсбурд Д.И., Чубик П.С. Элитное образование в традиционном техническом университете // Элитное техническое образование: Труды Междунар. конф. в рамках симпозиума. - Томск, 2003. - С. 6-8.
УДК 546:378.26(076)
ТЕСТОВАЯ ТЕХНОЛОГИЯ КОНТРОЛЯ ЗНАНИЙ СТУДЕНТОВ ПО ХИМИИ
М.Г. Минин, Н.Ф. Стась, Е.В. Жидкова, О.Б. Родкевич
Томский политехнический университет E-mail: minin@tspu.edu.ru
Рассмотрены преимущества и недостатки тестовой технологии контроля знаний. Приведены результаты основных этапов её разработки и экспериментального использования для проведения экзаменов по химии, указаны направления её дальнейшего развития.
В сентябре 2003 г. Министр образования России подписал Болонскую декларацию, которая провозглашает объединение усилий Европейских стран в создании единого образовательного пространства, основанного на общих принципах: двухступенчатое высшее образование, система зачётных единиц (кредитов) для количественного учёта получаемого образования, разработка взаимопризнаваемых методов проверки качества образования [1].
Взаимопризнаваемым методом оценки качества образования является тестовый метод. Тестирование широко применяется в странах Европы и Америки. В США тестирование проводят несколько компаний, самая крупная из них - Служба образовательного тестирования ETS (Edicational Testing Servise), которая существует с 1947 г. Она выполняет заявки образовательных учреждений, правительственных органов и отдельных лиц в 181 стране, проводит ежегодно более 12 млн тестирований, имеет более 60 патентов на различные устройства и технологии тестирования [2].
Масштабное применение тестирования в России началось в 90-х гг. прошлого столетия: сначала это было централизованное тестирование, а затем единый государственный экзамен для учащихся школ и гимназий. Сейчас разработкой тестовых технологий контроля качества обучения занимаются практически все университеты России, этому вопросу посвящено множество публикаций, он обсуждается на многих научно-методических и научно-практических конференциях.
Критика классической формы контроля объясняется тем, что она не объективна. Она не может быть объективной потому, что качество продукции (знания студентов) контролирует производитель этой продукции (преподаватель). Известный в Западной Европе теоретик и практик в области инженерной педагогики А. Мелицинек считает, что при контроле результатов обучения с помощью традиционного экзамена мы получаем в худшем случае субъективный результат, лучшем - относительный, но никак не объективно-абсолютный [3].
Субъективным результат экзамена бывает тогда, когда преподаватель выставляет оценку с учетом факторов, которые не имеют прямого отношения к знаниям, умениям и навыкам контролируемого. Например, преподаватель ставит более высокую оценку прилежному студенту с меньшими способностями и поверхностными знаниями, чем более способному, но менее прилежному студенту. По-видимому, преподаватель преследует воспитательную цель: заниженная оценка способному, но не прилежному студенту, возможно в дальнейшем приведет к улучшению его результатов. Такой подход можно понять и даже оправдать, но как можно понять и оправдать тех преподавателей, которые завышают оценку студентам, которые отвлекались на соревнования, за которых просят друзья, родители, деканат?
Относительным результат экзамена бывает тогда, когда преподаватель заранее убежден в том, что существует «естественное» распределение результата: очень хороших результатов может добиться
только небольшая часть студентов, небольшая часть студентов непременно будет иметь плохой результат, а большая часть студентов будет иметь средний результат. Многие преподаватели убеждены, что отличных оценок в студенческой группе численностью 20-25 чел. должно быть не более двух-трёх, неудовлетворительных - столько же, хороших -шесть-восемь, а остальные должны получить оценку «удовлетворительно». Если распределение оценок заметно выходит за рамки «естественного», то преподаватель изменяет содержание экзаменационных билетов, с тем чтобы результаты экзамена примерно соответствовали этому распределению. Этот подход имеет следующие недостатки.
1. Большая часть студентов вырабатывает мнение, что они не смогут полностью освоить дисциплину и иметь оценку «отлично»; такие студенты учатся без особого напряжения, работают не в полную силу.
2. Менее способные студенты теряют активность: зачем «напрягаться», если преподаватель все равно поставит «удовлетворительно».
3. Невозможно сравнивать показатели разных преподавателей, групп, факультетов, потоков, вузов. Относительный подход к экзаменационной
оценке приводит к огромным различиям в организации и проведении самого экзамена: устный ответ без билета, устный после подготовки по билету, письменный по билету с последующим собеседованием или без него, экзамен в форме доклада, автоматическая оценка по рейтингу и т.д. Сильно различается и время проведения экзамена: одни преподаватели на группу студентов затрачивают три-четыре часа, другие - целый день.
Проанализировав экзаменационные ведомости семестровых экзаменов по химии машиностроительного факультета и института нефтегазодобычи, мы не обнаружили в них особых отличий: процент качественной и количественной успеваемости примерно одинаков. Хотя конкурс при поступлении отличается значительно. Это свидетельствует о значительной доле субъективизма преподавателей при выставлении экзаменационных оценок.
На этом фоне тестовая технология контроля знаний обладает многими преимуществами.
1. Тест является объёмным инструментом измерения знаний, так как проверяются знания и умения по всем темам дисциплины, а не отдельные фрагменты.
2. Тест является мягким инструментом измерения знаний, т.к. стандартизованная процедура проведения контроля и автоматизированная проверка результатов обеспечивают равные условия и единые критерии оценивания для всех экзаменуемых.
3. Результат контроля объективен, потому что ответ экзаменуемого сравнивается с эталоном, и отсутствуют субъективные факторы, влияющие на оценку.
4. Уменьшается физическая и психологическая
нагрузка на экзаменатора.
5. Технология тестирования эффективна с экономической точки зрения.
Следует иметь в виду и некоторые недостатки тестовой формы контроля знаний, на которые обоснованно обращается внимание в некоторых публикациях. Отсутствие непосредственного контакта между экзаменатором и экзаменуемым, с одной стороны, обеспечивает объективность контроля, но, с другой стороны, повышает вероятность влияния на результат случайных факторов. Например, невозможно учесть случайные ошибки, вызванные невниманием или неправильным пониманием задания [4].
В нашем университете разработкой и исследованиями тестовой технологии проведения экзамена по дисциплине «Химия», которую изучают студенты общетехнических (нехимических) направлений и специальностей, занимаются совместно институт инженерной педагогики и обеспечивающая кафедра общей и неорганической химии. Работа проводится с 2003 г. как педагогический эксперимент в рамках Комплексной программы развития университета по направлению «Совершенствование образовательной деятельности». За это время пройдены полностью или частично все этапы создания научно-обоснованного теста [5]:
1) планирование, 2) составление предтестовых заданий, 3) проведение апробационного тестирования, 4) коррекция заданий.
Главная проблема, которая решается на этапе планирования - определение общего подхода к составлению тестовых заданий: нормативно-ориентированный или критериально-ориентированный [6].
Целью нормативно-ориентированного тестирования является определение места контролируемого в общей выборке (среди всех) тестируемых. Такой подход применяется в едином государственном экзамене, по результатам которого производится ранжирование учащихся по конкретной дисциплине на основании результатов тестирования по всей стране. Особенность нормативно-ориентированных тестов состоит в том, что в них отбираются задания (вопросы), обеспечивающие максимальное разнообразие в индивидуальных оценках. Преобладающей формой заданий при этом являются закрытые задания с выбором ответа, при помощи которых проверяется, в основном, репродуктивный уровень знаний.
Мы отказались от нормативно-ориентированного подхода в пользу критериально-ориентированного, в котором проверяется соответствие знаний определённым критериям. Такие критерии заложены в Государственных образовательных стандартах, образовательном стандарте ТПУ, примерной программе Научно-методического совета МО РФ по химии [7], в рабочих программах и учебно-методическом комплексе обеспечивающей кафедры [8], а также в учебниках и учебных пособиях с рекомендательным грифом, изданных в последние годы
[9-13]. На основе анализа этих материалов составлен кодификатор дисциплины.
Кодификатор состоит из 65 элементов содержания по 12 темам дисциплины «Химия», которые изучаются студентами всех направлений и специальностей.
1. Состав вещества и химические реакции.
2. Классификация и номенклатура неорганических соединений.
3. Строение атома. Периодический закон и Периодическая система химических элементов Д.И. Менделеева.
4. Химическая связь и строение вещества.
5. Основы химической термодинамики.
6. Химическое равновесие.
7. Скорость химических реакций.
8. Способы выражения концентрации растворов.
9. Свойства растворов неэлектролитов и электролитов.
10. Ионообменные реакции в растворах электролитов.
11. Окислительно-восстановительные реакции.
12. Электрохимические процессы.
В соответствии с кодификатором сформирован банк экзаменационных заданий (их более 400), определено содержание экзаменационного билета-теста (он состоит из 12 заданий - по одному на каждую тему) и подготовлены условия формирования тестов, обладающих содержательной валидностью.
Разработанные нами задания составлены таким образом, что выполнить их можно при понимании сущности химических процессов, знании химических законов и применении их в новой нестандартной ситуации. Решение задания предполагает введение в бланк двух ответов, независящих друг от друга, но связанных по смыслу решения [14]. Выполнение таких заданий отражает уровень компетентности студента, возможность исполнения действий различного уровня сложности:
- называть химические вещества, определять признаки классификации веществ и типы химических реакций;
- составлять электронные формулы атомов, химические формулы веществ, уравнения химических реакций;
- характеризовать свойства химических элементов и веществ, объяснять закономерности изменения этих свойств;
- объяснять закономерности протекания химических процессов: закономерности выделения и поглощения теплоты, направления самопроизвольного протекания реакций, направления смещения химического равновесия, процессов окисления-восстановления, электролитической диссоциации, гидролиза, электролиза и др.;
- проводить расчёты по химическим формулам и уравнениям с применением законов химии.
Каждая из категорий действий реализуется на предметном материале. Например, требованию «Составлять уравнения реакций» соответствует задание «Подберите коэффициенты в окислительно-восстановительной реакции ...», требованию «Характеризовать свойства веществ и объяснять закономерности изменения этих свойств» - задание «Расположите в прядке усиления кислотных свойств формулы веществ ...», требованию «Проводить расчёты по химическим формулам и уравнениям» - задание «Определите тепловой эффект реакции ...» и т.д.
При разработке заданий мы исходили из опыта составления экзаменационных билетов для обычных письменных экзаменов. Выполнение таких заданий предусматривает включение мыслительной деятельности экзаменуемого на базе конкретного предмета. Задания можно выполнить при условии, что экзаменуемый пользуется знанием фундаментальных представлений и закономерностей, без которых полноценное изучение дисциплины невозможно. Поэтому задания, в основном, открытого типа (студент самостоятельно указывает ответ), а также на установление соответствий и последовательностей согласно изученным закономерностям химии.
Экзамен по новой технологии проведен в зимней и весенней сессиях 2004 г. и зимней сессии 2005 г., на которых проэкзаменовано 1438 студентов двух институтов - электротехнического и геологии и нефтегазового дела и пяти факультетов -электрофизического, машиностроительного, автоматики и вычислительной техники, теплоэнергетического, инженерно-экономического. Эксперимент не распространяется на студентов химических направлений и специальностей химико-технологического и физико-технического факультетов, т.к. с помощью тестовой формы контроля знаний невозможно проверить глубинное понимание предмета и овладение соответствующим стилем мышления, что необходимо этим студентам для успешного изучения и освоения последующих химических, технологических и специальных дисциплин.
Экзамен проводится в один и тот же день в больших поточных аудиториях. Распределение студентов по отдельным рабочим местам и контроль независимых наблюдателей обеспечивают невозможность взаимодействия экзаменуемых между собой и использования несанкционированных материалов. Специально созданная компьютерная программа (ПОРТ - программа обработки результатов тестирования) из имеющегося банка заданий формирует для каждого студента индивидуальный экзаменационный билет таким образом, что в нём содержится задание по каждой из 12 тем кодификатора. Для введения ответов в билете предусмотрены специальные «окна». Правильное выполнение одного подзадания оценивается одним баллом, обоих - двумя, максимальный результат выполнения экзаменационной работы - 24 балла. Сразу же по окончании экзамена ответы переносятся в программу, обрабатываются и представляются в виде таблиц (табл. 2) и гистограмм (рисунок).
Таблица 2. Результаты экзамена ИГНД 8 января 2005 г.
по химии в группе 2630 (в баллах)
Студент Номера тем Сумма баллов Оценка
1 2 3 4 5 6 7 8 9 10 11 12
1 2 2 1 2 2 2 2 0 2 2 2 2 21 Отл.
2 0 1 2 2 2 2 2 2 2 2 2 1 20 Хор.
3 2 2 1 2 2 1 0 2 1 2 2 2 19 Хор.
4 2 2 1 2 2 2 2 0 1 2 2 1 19 Хор.
5 2 1 2 2 1 2 1 2 1 0 2 2 18 Хор.
6 2 2 2 2 2 2 0 2 0 2 2 0 18 Хор.
7 1 1 2 2 1 1 2 2 2 2 2 0 18 Хор.
8 1 2 1 2 2 2 2 0 0 2 2 2 18 Хор.
9 2 2 2 0 1 2 1 0 2 2 2 2 18 Хор.
10 2 0 1 1 2 2 1 2 2 2 2 0 17 Хор.
11 2 2 2 0 2 0 1 2 1 2 1 1 16 Хор.
12 2 2 2 0 2 2 2 1 0 0 1 2 16 Хор.
13 1 1 2 0 0 2 2 2 0 2 1 2 15 Хор.
14 2 2 2 1 2 1 1 0 0 0 1 2 14 Уд.
15 2 1 0 1 2 2 1 0 2 1 1 0 13 Уд.
16 1 1 2 1 1 0 1 1 0 0 1 2 11 Неуд.
17 1 0 1 0 1 1 2 0 1 1 1 0 9 Неуд.
18 0 0 1 2 2 0 0 0 0 0 0 0 5 Неуд.
70% 60% 50% 40% 30% 20% 10% 0%
Е
■ зима □ весна
стеме обучения и контроля, а также с повышением познавательной активности и ответственности студентов перед экзаменом по объективной системе оценивания знаний.
Таблица 3. Результаты экзамена по химии в ТПУ в зимней и весенней сессиях 2003-2004 уч. г.
Оценка Зимняя Весенняя
Отл. 4 6
Хор. 18 24
Удовл. 57 58
Неудовл. 21 12
Для составителей важна информация о трудности тестовых заданий, показателем которой является их выполнение: чем меньше студентов выполняют данное задание, тем оно труднее. В этом случае необходимо выявлять причину трудности. Если задание составлено плохо, непонятно для экзаменуемых, то оно подлежит замене, а если плохо проработан соответствующий элемент содержания дисциплины, то необходимо вносить коррективы в учебный процесс. В этом плане интересны результаты табл. 4, в которой приведены показатели выполнения заданий студентами теплоэнергетического факультета на экзамене весной 2004 г.
Таблица 4. Выполнение экзаменационных заданий студентами разных групп теплоэнергетического факультета, %
Рисунок. Результаты экзамена студентов электротехнического института ТПУ в зимней и весенней сессиях 2003-2004 уч. г.
Результаты экзамена передаются лекторам потоков, которые пересчитывают их в рейтинговые показатели и выставляют окончательные оценки в соответствии с нормами рейтинговой системы.
По желанию любого студента проводится обсуждение его работы, собеседование с претендентами на отличные оценки проводится в обязательном порядке. При несогласии с экзаменационной оценкой работа передаётся в апелляционную комиссию. Студенты, получившие неудовлетворительную оценку, сдают экзамен повторно по таким же правилам, но по другим вариантам экзаменационного билета.
Кроме индивидуальных и групповых результатов экзамена, программа ПОРТ проводит расчёт обобщающих показателей, необходимых для управления учебным процессом. Вычисляются результаты успеваемости по факультетам и университету. В табл. 3 приведены результаты экзамена в целом по вузу, а на рисунке - по электротехническому институту зимой и весной 2004 г., из которых видно заметное уменьшение неудовлетворительных и увеличение хороших и отличных оценок в весенней сессии по сравнению с зимней. По-видимому, это связано с адаптацией студентов к вузовской си-
Темы Группы
Г-6130 Г-6231 Г-6232 Г-6431 Г-6432 Г-6433 Г-6А31 Г-6А32 Г-6А33
1 53 81 35 58 25 50 47 57 40
2 59 65 60 72 70 37 71 64 65
3 62 71 57 69 58 62 86 69 67
4 34 63 46 44 37 46 50 35 47
5 40 57 35 55 45 43 57 50 47
6 28 68 46 75 70 43 57 50 62
7 31 65 25 52 54 37 60 54 50
8 34 44 14 25 25 21 28 45 27
9 31 39 14 25 8 28 34 38 32
10 31 68 35 30 54 40 73 45 57
11 56 65 42 58 45 50 73 61 57
12 31 57 32 52 70 25 63 61 35
Как видно из этой таблицы, показатели выполнения заданий по одной и той же теме студентами разных групп одного курса одного и того же факультета сильно различаются, что должно быть предметом анализа деканатом, обеспечивающей и профилирующей кафедрами, лектором потока, кураторами студенческих групп.
Испытания экспериментальной тестовой системы итогового контроля (экзамена) подтверждают её главное преимущество - объективность. Все преподаватели отмечают полное или почти полное соответствие результатов экзамена прогнозам, основанным на показателях входного контроля и достижениях студентов в семестре. Никто из лекторов не выступает за возврат к прежним методам проведения экзамена. Студенты также признают объективность оценок. Поэтому случаи апелляций в конфликтную комиссию единичны.
Вместе с тем, испытания показали необходимость совершенствования новой технологии. Её доработка проводится по следующим направлениям.
1. Статистическая обработка результатов: вычисление характеристик заданий и тестов (трудность, дифференцирующая сила, надёжность дисперсия, асимметрия, эксцесс и т.д.), с учётом которых необходимо провести их коррекцию.
СПИСОК ЛИТЕРАТУРЫ
1. Гребнев Л.С. Российское высшее образование в Болонском измерении // Проблемы вхождения России в европейское образовательное пространство: Матер. зонального совещания 18-20 окт. 2004 г. - Екатеринбург: Изд-во Урал. ун-та, 2004. -С. 13-24.
2. Скэттон Л.Х. Краткий обзор инновационных технологий в оценке образовательных достижений, используемых в ЕТS // Развитие национальной системы экзаменов: опыт России, СНГ и США: Матер. Междунар. конф. - М.: Изд-во «Весь Сергиев Посад», 2003. - С. 28-32.
3. Мелицинек А. Инженерная педагогика. - М.: МАДИ(ТУ), 1998. - 185 с.
4. Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов. - М.: Исследовательский центр МО РФ, 1993. - 51 с.
5. Челышкова М.Б. Теория и практика конструирования педагогических тестов. - М.: Логос, 2002. - 432 с.
6. Майоров А.Н. Теория и практика создания тестов для системы образования. - М.: Народное образование, 2000. - 352 с.
2. Составление новых заданий, проверяющих продуктивные знания и компетентность студентов.
Новая технология контроля качества обучения вызывает большой интерес со стороны многих преподавателей и кафедр нашего университета и других вузов; рассматривается возможность её использования на промежуточных этапах контроля.
7. Примерная программа дисциплины «Химия» / Сост. А.Ф. Воробьев, Н.В. Коровин. - М.: УМО МО РФ по химии. - ГНИИ ИТТ «Информика», 2000. - 6 с.
8. Стась Н.Ф. Хронология создания учебно-методического комплекса на кафедре общей и неорганической химии ТПУ // Известия Томского политехнического университета. - 2005. -Т. 308. - № 2. - С. 230-236.
9. Гельфман М.И., Юстратов В.П. Химия: Учебник для вузов. -СПб.: Лань, 2000. - 480 с.
10. Глинка Н.Л. Общая химия: Учебное пособие для вузов. - М.: Интеграл-Пресс, 2002. - 728 с.
11. Коровин Н.В. Общая химия: Учебник для вузов. - М.: Высшая школа, 2002. - 558 с.
12. Суворов А.В., Никольский А.Б. Общая химия: Учебник для вузов. - СПб.: Химия, 1997. - 624 с.
13. Семёнов И.Н., Перфилова И.Л. Химия: Учебное пособие для вузов. - СПб.: Химиздат, 2000. - 656 с.
14. Минин М.Г., Михайлова Н.С. Современный подход к контролю знаний в системе разноуровневого обучения // Химия в школе. - 2000. - № 1. - С. 47-50.
