CC BY
30
УДК 681.3
Громаков Н.С. - кандидат химических наук, доцент
Е-mail: gromns @kgasu. ru
Казанский государственный архитектурно-строительный университет
АНАЛИЗ СОДЕРЖАНИЯ ТЕСТА И РЕЗУЛЬТАТОВ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ СТУДЕНТОВ-ЭКОЛОГОВ
ПО КОЛЛОИДНОЙ ХИМИИ
АННОТАЦИЯ
В статье рассмотрены результаты компьютерного тестирования знаний по коллоидной химии студентов-экологов. Анализ результатов свидетельствует о возможности применения данного теста в процессе профессиональной подготовки, наряду с традиционными методами обучения и контроля.
КЛЮЧЕВЫЕ СЛОВА: профессиональная подготовка инженера-эколога, контроль знаний, результаты компьютерного тестирования.
Gromakov N.S. - candidate of chemical science, associate professor
Kazan State University of Architecture and Engineering
E-TESTING CONTENT AND RESULT ANALYSIS FOR ENVIRONMENTAL STUDENTS
ON DISPERSIODOLOGY
ABSTRACT
E-testing results on dispersiodology for environmental students have been viewed and examined. The results' analysis proves the possibility to employ this instrument in the educational process along with the classic method of instruction and control.
KEYWORDS: environmental training, expertise test on dispersiodology, e-testing results.
Процесс контроля знаний - это одна из наиболее трудоёмких и ответственных операций в обучении. Традиционную систему контроля образуют экзамены и зачёты, устный опрос, контрольные работы, коллоквиумы, рефераты, семинары, лабораторные работы, отчёты по производственной практике. При этом у преподавателей нередко возникают трудности, связанные с особенностями работы (известный субъективизм, возможная небеспристрастность, списывание на экзамене и т.д.). Это искажает достоверность оценки знаний студентов и мешает преподавателю объективно оценивать качество своей педагогической работы. Общепринятая методика приёма экзаменов по 3-4 вопросам в билете не позволяет оценить полноту освоения материала, провоцирует и облегчает списывание. Перечисленные проблемы в большой степени решаются с помощью компьютерного аттестационного тестирования.
Тестовые формы контроля знаний студентов зарекомендовали себя как одно из наиболее перспективных средств повышения эффективности управления качеством образовательного процесса [1, 2]. К безусловным достоинствам тестовых технологий относятся объективность и независимость контроля, высокая разрешающая способность и точность оценки, оперативность контроля большого количества студентов и наиболее полный охват тестовыми заданиями изученного курса. Кроме этого, при тестовом контроле обеспечиваются единые требования к оценке знаний студентов. Положительной стороной компьютерного тестирования является также то, что студенты находятся в одинаковых условиях, исключаются жалобы на необъективность экзаменатора. Кроме того, его правильная постановка способствует повышению роли обучающей и воспитательной функции контроля.
Целью данной работы является анализ содержания тестов и результатов компьютерного тестирования студентов для оценки эффективности данного вида преподавательской деятельности и совершенствование методики тестирования.
Одним из недостатков тестового метода контроля знаний студентов является то, что создание тестов, их унификация и анализ - это большая кропотливая работа. Чтобы довести
тест до полной готовности к применению, необходимо несколько лет собирать статистические данные, хотя бы с потоком студентов 100-120 человек [3].
Для диагностики успешности обучения наиболее широкое применение получили педагогические тесты или тесты достижений [1]. По форме тестовые задания могут быть весьма разнообразны, но обычно их принято делить на четыре основные группы. К первой группе относятся задания закрытой формы с единственным правильным ответом из нескольких представленных (один из многих). Вторую группу составляют задания открытой формы, где ответ вводится самостоятельно в поле ввода. Третья группа представлена заданиями на установление соответствия, в которых элементом одного множества требуется поставить в соответствие элементы другого множества. И, наконец, когда требуется установить правильную последовательность вычислений или каких-то действий, шагов, операций и т.п., используются задания на установление правильной последовательности. Каждая из перечисленных форм позволяет проверить определённые виды знаний и соответствующие им умения и навыки студентов [2, 3]. На основе собственного небольшого опыта считаем, что особое значение имеет введение в тест заданий с многовариантными ответами. Это развивает у студента потребность в поиске разных путей решения задачи, что необходимо для достижения основной цели обучения в вузе - умения самостоятельно выбирать способ выполнения поставленной задачи. При проведении тестирования учитываются три критерия качества теста: надёжность, валидность, объективность. Показатель надежности характеризуется точностью и устойчивостью результатов измерения с помощью теста при его многократном применении. Для того чтобы тест действительно выполнял свои функции, необходимо также его соответствие требованию «валидность», т.е. отражение научного содержания учебной дисциплины и пригодность служить средством измерения. Наиболее распространённые причины невалидности контроля: списывание, подсказка, репетиторское «натаскивание», снисходительность, чрезмерная требовательность, применение какого-либо метода при отсутствии надлежащих условий. В целях повышения валидности педагогического контроля применяются обычно экспертные оценки контрольного материала. Объективность - критерий, в котором сочетаются надёжность, валидность и ряд аспектов психологического, педагогического, этического, ценностного характера. При разработке данного теста все эти требования непременно учитывались, но окончательные выводы могут быть сделаны только после его неоднократного практического применения.
В работе обсуждаются первые практические результаты тестирования, проведённого на основе специально разработанного компьютерного теста. Содержание и структура данного теста разрабатывались в строгом соответствии с целями и задачами, которые определены в государственном стандарте специальности ГОС и рабочей программе дисциплины «Коллоидная химия» и максимально охватывают её содержание. Работа теста обеспечивается компьютерной программой «Прометей», расположенной на сервере ДО КГАСУ. База данных включает банк тестовых заданий, список студентов, условия генерации тестовых заданий. После окончания тестирования программа формирует протокол тестирования, представляющий список студентов и процент правильных ответов. Тест содержит более 300 вопросов, распределённых в 15 секциях по основным разделам дисциплины. Количество секций и содержание тестовых заданий анализировалось с позиции, равной представленности в тесте разных учебных тем, понятий, действий и т.д. Относительно большое число тестовых заданий обеспечивает их вариативность. Варианты ответов на каждое задание подбирались таким образом, чтобы исключить возможность простой догадки или использование заведомо неподходящих ответов. Тест не нагружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая задействована в вопросах, требующих относительно точные формулировки законов, правил и понятий. Структура теста сконструирована таким образом, что позволяет проводить не только итоговое тестирование, но и тестирование по отдельным разделам дисциплины. Эта возможность была использована для предварительной проверки работы теста с участием студентов по мере изучения отдельных тем. Итоговое тестирование проводилось в группе 33-201 (июнь 2010) после окончания учебного семестра. До начала тестирования студентам была предоставлена полная возможность в реальных условиях ознакомиться с содержанием тестовых заданий, режимом работы теста, порядком следования заданий, ответами на них и т.д.
При тестировании каждому студенту (участвовали 21 студент) представлялось одинаковое число заданий из всех секций, всего 21 вопрос. Время тестирования составляло 40 мин. Число тестовых заданий и время тестирования могут меняться в широких пределах. В принятом режиме работы теста исходили из того, что при такой его организации преподаватель может выступать в роли консультанта, имеет возможность обсудить практически с каждым наиболее трудные моменты. За отведённое время студент успевает разобрать 15-20 задач. Они помогают определить, владеет ли студент основными понятиями, закономерностями, умеет ли правильно записывать формулы, а также как полученные знания помогают ему при решении практических задач.
Результаты проведённого тестирования приведены на рис. 1 в виде соответствующей гистограммы. Средняя успеваемость в итоговом тестировании составила 64,1 %. Анализ полученной гистограммы свидетельствует о равномерном распределении полученных результатов и отсутствии в группе резкого деления по уровню подготовки. Успеваемость по отдельным секциям теста представлена на рис. 2. Как следовало ожидать, результаты по отдельным секциям оказались разными. При этом процент правильных ответов распределился в интервале 30,7-80,9 % (секция 9 и секция 15, соответственно). Ответы в шести секциях (1, 2, 5, 10, 11 и 15) превысили среднюю отметку, в трёх секциях (6, 8 и 12) были близки к среднему уровню, и, наконец, наименее успешными оказались ответы в пяти секциях (3, 7, 9, 13 и 14). Анализ полученных результатов даёт основания для последующей оценки сложности заданий, причин недостаточного усвоения материала в отмеченных разделах дисциплины, внесения соответствующих корректив в элементы самого учебного процесса, а также в содержание и форму теста.
В первую очередь, особое внимание привлекли наименее успешные результаты, полученные при ответах на вопросы в секциях 7 и 9. Более тщательный анализ самих вопросов не позволяет судить об их повышенной сложности, тогда как общение со студентами во время сдачи теста и после него, а также анализ сделанных ими ответов, свидетельствует о недостаточном внимании, уделённом этим разделам, в ходе учебного процесса. В этой связи в следующем учебном цикле изучению данных разделов следует уделить больше внимания и времени. С другой стороны, высокие результаты, показанные при ответах на вопросы в секциях
1, 5, 10, 11 и 15, дают основание для некоторого пересмотра структуры и сложности самих заданий. Так, например тестовые задания в секциях 1 и 5 имеют в основном терминологический характер, и высокий процент правильных ответов свидетельствует о хорошем знании терминологии. Вопросы в секциях 10 и 11 содержат задачи по количественной оценке изменения ряда свойств дисперсных систем. Высокий процент правильных ответов позволяет усложнить задачи и расширить их содержание.
На рис. 3 приведена дисперсия правильных ответов в зависимости от типа вопроса. Видно, что при общем вполне благоприятном уровне правильных ответов наиболее низкие результаты получены при ответе на вопросы, требующие не однозначного выбора, а анализа данных и умения самостоятельно выбирать способ выполнения поставленной задачи (многие из многих).
Самая многочисленная группа вопросов во всех секциях требовала выбора единственного правильного ответа из нескольких (от 3 до 7 дистракторов). Эта группа оказалась наиболее успешной. «Поле ввода» в основном требует знания терминологии. Некоторые специалисты рекомендуют включать в тесты «терминологические задания», утверждая, что они способствуют пониманию, закреплению и запоминанию терминов. Видно, что большинство студентов с этим испытанием также справились, что подтверждается хорошими ответами в отмеченных выше секциях 1 и 5. Важная сфера применения заданий на «соответствие» - проверка знаний о взаимосвязи определений и фактов, посылок и выводов и т.п. Кроме этого, применение заданий на соответствие заключается также в стремлении реализовать обучающий потенциал тестовых заданий [4]. Из анализа полученных результатов можно сделать вывод, что введение в тест заданий с многовариантными ответами имеет особое значение, поскольку развивает у студента потребность в поиске разных путей решения задачи, что необходимо для достижения основной цели обучения в вузе - умения самостоятельно выбирать способ выполнения поставленной задачи.
При подведении общих итогов тестирования встаёт проблема интерпретации его результатов. Отметки, полученные испытуемым, должны быть интерпретированы, так чтобы их значение было понятно и педагогу, и студенту. По этому поводу единого количественного критерия среди исследователей не выработано [5]. Применяются разнообразные подходы. В существующих системах тестирования предполагается, что преподаватель-экзаменатор заранее выбирает определённую шкалу отметок, т.е. устанавливает, например, что, если испытуемый набирает от 62 до 100 процентов правильных ответов, то он получает отметку «отлично», от 50 до 60 % - «хорошо», от 40 до 48 - «удовлетворительно», менее 40 - «неудовлетворительно». С учётом сложности дисциплины, большого объёма учебного материала, числа вопросов и тем, необходимых для итоговой аттестации по данной дисциплине, а также отсутствия личного
опыта в основу оценки результатов тестирования была взята методика рейтинговых оценок, при которой зачётный итоговый балл формируется чисто статистически. В данном случае исходили из того, что для успешного тестирования необходимо показать знание не менее половины учебного материала (проходной балл 55 %). Для отличной отметки - не менее 75 %. При этом, как уже отмечалось выше, преподаватель имеет возможность обсудить с каждым студентом наиболее трудные моменты и ошибки либо в процессе выполнения теста, либо при разборе полученных результатов. Это помогает при итоговой оценке продемонстрированных студентом знаний. Оценка полученных результатов тестирования представлена на рис. 4.
Тестовые формы диагностики и контроля знаний студентов зарекомендовали себя как одно из наиболее перспективных средств повышения эффективности управления качеством образовательного процесса. Проведённый анализ позволяет сделать вывод, что систематическое применение данных тестов в процессе обучения коллоидной химии также поможет организовать более эффективный контроль знаний обучаемых, оперативно выявлять общие тенденции в качестве освоения дисциплины и принимать соответствующие управленческие решения.
СПИСОК ЛИТЕРАТУРЫ
1. Аванесов В.С. Композиция тестовых заданий: Учеб. пособие. - М.: Ассоциация инженеров-педагогов, 1996. - 191 с.
2. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. - М.: Логос, 2002. - 432 с.
3. Чернилевский Д.В. Дидактические технологии в высшей школе: Учеб. пособие для вузов. -М.: ЮНИТИ-ДАНА, 2002. - 437 с.
4. Челышкова М.Б., Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. - М.: ИЦ, 1995. - 34 с.
5. Хубаев Г. О построении шкалы оценок в системах тестирования // Высшее образование в России, 1996, № 1. - С. 122-125.
REFERENCES
1. Avanesov V.S. Composition of test tasks: Tutorial. M.: Association of Engineers and educators, 1996. - 191 p.
2. Chelyshkova M.B. Theory and practice of designing pedagogical tests: Tutorial. M.: Logos, 2002. 437 p.
3. Chernilevsky D.V. Teaching technology in higher education: Tutorial for high school. - M.: UNITI-DANA: 2002. - 437 p.
4. Chelyshkova M.B., Saveliev B.A. Methodical recommendations for the development of pedagogical tests for comprehensive assessment of students readiness in high school. M.: IC, 1995. - 34 р.
5. Hubaev G. On the scale of assessments to test systems // Higher Education in Russia, 1996, № 1. -P. 122-125.
