CC BY
128
Тестирование или экзамен на компьютере?
А. Г. Оганесян
Д-р физ.-мат. наук, профессор, помощник директора Львовский колледж киевского Государственного университета информационно-коммуникационных технологий, Украина, Львов, ул. Владимира Великого, 12. a.g.oganesyan@gmail.com, (032) 261-34-06
Ю. Л. Дещинский
Канд. пед. наук, директор Львовский колледж киевского Государственного университета информационно-коммуникационных технологий, Украина, Львов, ул. Владимира Великого, 12. director@lcduikt.com.ua, (032) 265-91-33
К. Ю. Бирюлёв
Ведущий специалист Львовский колледж киевского Государственного университета информационно-коммуникационных технологий, Украина, Львов, ул. Владимира Великого, 12. ЫшЙ @lcduikt.com.ua, (032) 265-91-33
Аннотация
Системы образования многих стран для оценки результатов обучения применяют тестирование. Как правило, это системы тестирования с различными вариантами выборочных ответов. Недостатки таких систем хорошо известны, однако простота применения привела к их широкому распространению. Внедрение этих систем привело к снижению уровня подготовленности школьников и студентов. Приучило к запоминанию, вместо развития логического и аналитического мышления. В статье рассматривается альтернативный вариант тестирования, который предполагает развитие и приобретение опыта в умении применять на практике полученные знания. Использует опыт и методику традиционного обучения.
Educational systems of many countries use testing for the estimation of teaching results. Generally, it is systems of testing with the different variants of selective answers. Disadvantages of such systems are well known, however ease of use has led to their widespread. Introduction of these systems led to a decreased level of background of schoolboys and students. Teached to memorize rather than developing of logical and analytical thinking. This article describes an alternative test, which involves the development and acquisition experience in the ability to apply the acquired knowledge. Uses experience and technique of traditional schooling.
Ключевые слова
Тестирование, выборочный ответ, компьютерное тестирование, интеллектуальное тестирование, опыт тестирования.
Testing, the selective answer, computer testing, intellectual testing, testing experience.
Умение ставить вопросы - важный и необходимый признак ума и проницательности (И.Кант (1724-1804), философ).
Прошло почти десять лет после публикации статьи [1], накоплен богатый опыт тестирования и школьников и студентов, однако дискуссия о его приемлемости в учебном процессе не утихает. Одна половина участников по-прежнему считает тестирование чуть ли не панацеей от всех проблем системы образования, другая - профанацией. И те и другие приводят вполне обоснованные доводы в свою пользу. Полагаем, что причина столь полярных суждений кроется в нечётком определении самих понятий «тест» и «тестирование».
Наиболее полно эти понятия изложены в работах проф. В.С.Аванесова. Например, в [4] педагогический тест определялся как система заданий возрастающей трудности специфической формы, позволяющая объективно оценить подготовленность учащихся. Спрашивается, почему обязательно возрастающей трудности и как определить величину трудности и, наконец, почему количество форм тестовых заданий ограничена четырьмя действительно специфическими вариантами?
Перечень этих вариантов следующий:
1. Задание состоит из вопроса и нескольких готовых ответов на выбор, из которых один правильный, а остальные неправильные. Возможны и варианты, когда правильных ответов больше, или даже все правильные, но в разной степени. Такие задания называют заданиями с закрытой формой ответа.
2. Задание сформулировано так, что готового ответа нет; каждому испытуемому во время тестирования ответ приходится вписывать самому, в отведенном для этого месте. Это задание с открытой формой ответа.
3. Задания, где элементам одного множества требуется поставить в соответствие элементы другого множества. Это задания на установление соответствия.
4. Задания на установление правильной последовательности.
Говорить о теории тестирования без обобщения практического опыта и за пределами прокрустова ложа четырёх форм представляется преждевременным.
В прошедшем учебном году для тестирования студентов бакалаврата Львовского колледжа Государственного университета информационно -коммуникационных технологий использовалась автоматизированная система контроля знаний ОрепТЕ8Т [6]. Она оперирует вопросами закрытого типа. Взаимодействие тестируемого с системой происходит через Web-интерфейс (диалоговое окно браузера). По большинству из 19 предметов тестирование проводилось дважды. Таким образом, уже можно сделать некоторые выводы о плюсах и минусах на этапах составления и подготовки тестовых заданий, проведения тестирования и оценки полученных результатов.
Составление тестовых заданий. Преимущество системы OpenTEST, впрочем, как и любых систем с выборочными ответами, в кажущейся простоте. Преподавателю достаточно ознакомиться с четырьмя формами заданий и, вооружившись карандашом и бумагой, составить тестовые задания по своему предмету. Понятно, что качество теста будет целиком определяться подготовленностью и опытом автора. И здесь возникает целый букет проблем.
Во-первых, даже отличное знание предмета, не подкреплённое специфическим опытом тестирования, не могут гарантировать качества теста.
Во-вторых, ознакомиться с технологий и опытом тестирования практически
негде.
В-третьих, при массовом образовании квалифицированных преподавателей-предметников хронически не хватает. Тем более, с опытом тестирования.
В-четвёртых, специфичность и ограниченность форм серьёзно затрудняет использование традиционного контроля успеваемости.
В-пятых, в средней школе содержание предметов достаточно строго регламентировано, поэтому, в принципе, можно разработать и издать тесты централизованно. В вузах - сложнее. Обычно регламентирована программа курса, а содержание может существенно отличаться даже у разных педагогов в пределах одного вуза. Это не мешает, например, использовать общий задачник по математике, а вот создать общие тестовые задания - проблематично.
Подготовка тестовых заданий. Система OpenTEST содержит специальный формат DOC-файла для ввода тестовых заданий. Это существенно упрощает подготовку тестов. Сам автор, при желании, может набрать тестовые задания. Однако большинство преподавателей предпочитают составлять исходные тексты в рукописной форме или в виде БОС-файлов произвольного формата. Поэтому приходится поручать эту работу оператору ввода тестов.
При большом количестве предметов (см. рис.1) и тестовых заданий одному оператору справиться сложно, поскольку, практически, для каждого очередного тес-
£} ¡в} ^ x система документальной электросвязи и г^ x системы и сети радио и телевизионного вещания в п71 х системы коммутации в электросвязи д ^ ^ X системы передачи в электросвязи а ' х системы документальной электросвязи а г у безопасность жизнедеятельности
а '¿3 г x линии передач
а^м* информатика
а Р X цифровая обработка сигналов
а иф г77 x телекоммуникационные и информационные сети
а 1-3 ^ X техническая электродинамика
а^^ X теория электрических цепей и сигналов
в^р x теория электросвязи
а ЙЙ г X компьютерная графика
а г x основы схемотехники
а йй Р X основы экологии
а гф x основы охраны труда
а Щ Р X вычислительная техника и микропроцессоры а^^ X основы почтовой связи
тирования приходится составлять и готовить тестовые задания заново. Дело в том, что после первого же применения теста его содержание становится известным испытуемым. И если есть условия для передачи информации о содержании заданий другим учащимся, то это почти всегда делается [4]. Конечно, если количество тестовых заданий увеличить, например, с 50 до 500, то это несколько уменьшит проблему. Но не устранит. На практике не каждый преподаватель уверен в своих учениках и не каждый оператор подготовки тестов может устоять перед
Рис. 1. Список тестов
просьбами студентов. Результат очевиден.
Проведение тестирования. Оператором проведения тестирования должен быть специалист по всем режимам системы ОрепТБ8Т. К тестированию студенты неизбежно вооружаются шпаргалками. Конечно, если применить жесткий контроль и исключить преподавателей при проведении тестирования, можно поднять доверие к результатам. Однако практика показывает, что и это не панацея. Даже при независимом государственном тестировании выпускников школ на Украине, когда использовались все мыслимые меры защиты конфиденциальности тестов и борьбы со шпаргалками, всё равно не обошлось без утечек и списывания, о чем пресса сообщала неоднократно.
Наш опыт говорит о том же. Например, в процессе тестирования по курсу «Теория связи» некоторые студенты справлялись существенно раньше отпущенного на это времени и с подозрительно высокими оценками. Стали внимательнее следить за оставшимися студентами и обнаружили ксерокопии шпаргалок с полным набором тестовых заданий и ответами на них. Пришлось результаты компьютерного тестирования отменить. В конце концов, выяснился и источник утечки. Подобная ситуация скорее правило, чем исключение.
Один опытный педагог, профессор, как-то сказал, что студенты обладают совершенно непостижимой способностью получать высокие оценки при компьютерном тестировании (речь шла о системах типа OpenTEST с выборочным ответом). Сегодня совершенно ясно, на чём основана эта «непостижимая способность». Ахиллесова пята всех систем тестирования с выборочными ответами в необходимости сохранять конфиденциальность тестовых заданий. Единственным испытанным способом защиты от шпаргалок является создание множества вариантов заданий одного и того же теста [4,5]. Но в силу трудоёмкости на практике осуществить это сложно. Тем более по специальным предметам, где содержание курсов достаточно динамично.
Шпаргалки писали и писать будут. Но шпаргалки для тестов с выборочным ответом особые - они содержат полный ответ и поэтому гарантируют максимальную оценку по тестовому заданию (если, конечно, удалось ими воспользоваться). Неоднократно бывали случаи столь виртуозного использования шпаргалок, когда получали наивысшую оценку при почти полном отсутствии знаний по предмету. Шпаргалка же на обычном экзамене может помочь лишь отчасти, поскольку, практически, не может содержать достаточно полного ответа.
Система OpenTEST хорошо продумана, обладает режимами, очень помогающими на всех этапах: от ввода тестовых заданий и до статистического анализа результатов тестирования по множеству предметов. Позволяет вводить новые тестовые задания, корректировать, блокировать или удалять старые. Есть и много других возможностей, с которыми можно ознакомиться в ОБЩЕМ ОПИСАНИИ СИСТЕМЫ ОРБМТБ8Т [6]. При всех положительных качествах системы OpenTEST, она остаётся системой тестирования с выборочным ответом и со всеми принципиально присущими такой системе недостатками.
Профессор В.С.Аванесов, специалист и активный популяризатор традиционного тестирования, пишет: «В российском образовании большинство учебных заданий дается учащимся в нетестовой форме. В основном, это вопросы, задачи, упражнения. Формы нетестовых заданий здесь не рассматриваются. В зарубежном образовании доля заданий в тестовой форме существенно выше, что объясняется соображениями проводимой там образовательной политики, имеющихся там педагогических теорий, методик, обучающей техники и технологии» [4]. В этой небольшой цитате затронуто три очень серьёзных проблемы, которые нельзя оставить без внимания.
Действительно, в зарубежном образовании широко используется тестирование. Очень точно результаты проводимой там образовательной политики изложил про-
фессор В. Доренко, уже несколько лет преподающий в парижском университете имени Пьера и Марии Кюри [7]. Он пишет, что его студенты «...очень целеустремленные, работоспособные и исполнительные, но думать они не умеют совершенно. Исполнить указанные, четко сформулированные преподавателем манипуляции - пожалуйста, что-нибудь выучить, запомнить - сколько угодно. А вот думать - никак. Эта функция организма у них, увы, атрофирована полностью. Дело в том, что современному развитому обществу нужны только хорошие исполнители. Творческие, думающие люди, конечно, тоже требуются, но буквально единицы. Поэтому вся система образования должна быть настроена на отбор, выращивание и дрессировку именно хороших исполнителей, а учить думать молодых людей совершенно не нужно: в современном обществе это только повредит их будущей профессиональной деятельности, какой бы она ни была». Сказано резко, но большинство педагогов, прочитавших эту статью, согласны с ней.
Тому, что «в российском образовании большинство учебных заданий дается учащимся в нетестовой форме», на наш взгляд, следует только радоваться. Реформа средней школы на Украине привела к появлению в ней модулей и тестирования. Модуль - это часть предмета, изучаемая примерно в течение двух недель. Результаты этого изучения оцениваются тестированием (как правило, бумажное, бланковое с выборочными ответами). Что делает школьник между тестированиями? Ответ очевиден - ничего. В самом деле, зачем готовиться к уроку, если оценки на них, даже если и выставляются, то на конечную оценку по предмету никак не влияют. Школьным учителям, да и директору школы, в этих условиях приходится что-то предпринимать, чтобы не оказаться аутсайдерами по успеваемости своих учеников. Например, можно предложить школьникам бланки с тестами заполнить дома (реальный случай).
Впрочем, эта проблема существует и на уровне государства. Результаты внешнего независимого оценивания (ВНО, Украина, аналог российского ЕГЭ) существенно завышаются. Для примера на рис. 2 показаны графики перевода тестовых баллов по физике в 2008 и 2009 годах [8]. Проходной балл (рейтинг), позволяющий поступить в вуз, равен 124 (по шкале 100...200), т.е. 24%. При линейной шкале перевода нужно было бы правильно ответить тоже на 24% тестовых заданий. Но принятые центром тестирования нелинейные шкалы существенно снижают этот порог: в 2008 году достаточно было правильно ответить только на 7% тестовых заданий, а в 2009 немного больше - 11%, но при этом ещё больше завышаются результаты. Очевидно, что использование любой кривой, проходящей выше линейной, означает искусственное снижение требований к знаниям тестируемых.
Тестовые баллы по физике, %
Рис.2. Графики перевода тестовых баллов в оценки по 100-200 бальной шкале.
К сожалению, и это ещё не всё. При анализе опубликованных результатов тестирования вызывал удивление тот факт, что некоторым школьникам удавалось набрать максимальные 200 баллов рейтинга, хотя в отдельных тестовых заданиях правильные ответы составители указали ошибочно. Чтобы получить 200 баллов школьники должны были бы ошибиться точно также. Но вероятность этого практически равна нулю.
Тайну раскрыл консультант USETI (Программы содействия независимому тестированию на Украине) Альгирдас Забулионис. Вот его слова: «Чтобы получить 200 баллов, не обязательно ответить правильно на все вопросы, — нужно набрать больше баллов, чем другие. Если тест очень сложный, я решил правильно две трети, но никто не набрал больше меня, я получаю максимум баллов». Это хорошо известная любому инженеру нормировка по максимуму. Применительно к шкале 100...200 баллов эта нормировка имеет вид
Яюа.200 = 100-^- +100, (1)
max
где 6 - максимальное число правильных ответов (тестовых баллов), полученных в
группе тестировавшихся. Вот только почему А.Забулионис говорит о 2/3 правильных ответов? А если максимальный результат составит всего 1/10 или того хуже? Понятно, и в этом случае они получат по 200 баллов! Комментарии, как говорится, излишни. Педагогам высшей школы остаётся только уповать на чудо, сталкиваясь с отсутствием школьных знаний и неумением думать.
Тестирование с различными формами выбора ответов В.С.Аванесов противопоставляет нетестовой форме, в виде традиционных вопросов, задач, упражнений. Формы нетестовых заданий им не рассматриваются.
Определим понятие Тест, как совокупность тестовых заданий по результатам выполнения которых выставляется интегрированная оценка по заранее определённым процедуре и шкале. Тестовое задание - это задание, результат выполнения которого допускает однозначную оценку без участия человека [2]. Эти определения не ограничивают тестирование четырьмя формами с выборочными ответами и допускают тестирование в виде традиционных вопросов, задач, упражнений. Современные персональные компьютеры и компьютерные сети позволяют выйти за пределы задач с выборочными ответами и не ограничивают возможностей создания качественных интеллектуальных программ.
Учебная задача - это любая задача, предъявляемая школьнику или студенту, которая направлена на достижение умения пользоваться полученными знаниями. По таким предметам, как математика, физика, химия и другим предметам, которые обычно называют точными, имеются задачники с сотнями задач1. И на экзаменах приходилось решать задачи. Они позволяли проверить умение использовать полученные теоретические знания и способность логически мыслить [2,10].
Компьютер для интеллектуального тестирования - это фактически электронный задачник, который сначала формулирует и выводит на экран текст задачи, потом сам решает её и, дождавшись ответа тестируемого, сравнивает его с собственным решением. Тестовое задание формируется компьютером непосредственно в момент тестирования и выставляет оценку. Для этого используется библиотека тестов, охватывающая все необходимые разделы по предмету. По точным дисциплинам целесообразно использовать знакомые школьникам задачники, данные для которых формируются динамически. Исходные данные для задачи каждый раз формируются заново. Поэтому записывать ответ не имеет смысла. Можно лишь запомнить ход и способ
1 Гуманитарные предметы рассматривать не будем - они в каждом случае требуют особого подхода [2].
решения задачи, что, собственно говоря, и требуется при обучении. А при успешном тестировании является свидетельством не только знания предмета, но и умения применять эти знания на практике [2,10].
Компьютерное интеллектуальное тестирование (далее, КИТ) используется в реальном учебном процессе уже более 20 лет, но широкого распространения не получило. Основная причина в более сложной технологии подготовки тестовых заданий, поскольку каждое из них уже не обычный текст, а небольшой программный модуль, написанный и отлаженный на одном из алгоритмических языков (другие причины, тормозящие распространение интеллектуального тестирования изложены в
Тестовые задания могут быть самой разнообразной формы, выбираемой в зависимости от поставленной цели. Рассмотрим некоторые из тех, которые много лет успешно использовались в реальном учебном процессе вуза.
Задачи с цифровым ответом. Исходные данные любой задачи формируются датчиками случайных чисел (естественно, в пределах, допустимых условиями задачи) и при каждом вызове этой задачи они разные, поэтому правильный ответ каждый раз иной и каждый раз его нужно вычислять. Сама задача является небольшим программным модулем, который выполняет необходимые вычисления для получения правильного ответа. Поэтому запоминать предшествующий ответ не имеет смысла.
После того, как студент введёт свой ответ, компьютер вычисляет оценку в соответствие с выражением (2):
где А - ответ студента, В - правильный ответ, вычисленный компьютером, к - размер шкалы оценок, floor - операция округления до целого, ^ - операция перехода. В этом алгоритме реализован принцип: чем меньше погрешность между ответами, вычисленными студентом и компьютером, тем выше оценка по шкале 0.. .к.
Покажем отличие КИТ от традиционного с выборочными ответами на примере простой Задачи-1 из школьного курса по физике.
[3]).
(2)
if (z i 0...kR = 0 else R = z
return R
Введите ответ:
Задача-1
Батарейка с эдс Е = 9 В и внутренним сопротивлением г = 2 Ом соединена с реостатом. Напряжение на зажимах батарейки и равно 6 В. Какой длины надо взять нихромовую проволоку для изготовления реостата, если её сечение S = 1 мм2 ? Удельное сопротивление нихрома р = 5.88-10"7 Ом •м.
й ответ: 6.803
Оценка за задачу 98 (Отлично)
Средняя оценка 62 (Удовлетворительно)
Решить эту задачу можно разными способами. Например, сначала найти протекающий по цепи ток I, потом определить сопротивление реостата Я, и наконец, требуемую длину провода Ь.
Программный модуль для решения задачи можно написать практически на любом алгоритмическом языке. Для примера используем Mathcad, позволяющий продемонстрировать программу в компактной форме:
Дано: Решение:
E := floor(rnd(6) + 6) = 9 U := E - floor (rnd (3) + 1) = 6 r := floor (rnd (2) + 1) = 2 - 6 S := 110 AAA 8 7 p := floor (rnd (20) + 25)-1.6810 = 5.88x 10 I := (E - U) = 1.5 r U R := — = 4 I S L := R — = 6.803 p
Здесь гМ(п) - датчик случайных чисел в интервале 0...П-1, Ноог(х) - округление до целого.
Чтобы правильно решить эту задачу надо знать закон Ома, представлять, что такое ЭДС и внутреннее сопротивление источника напряжения и, наконец, как зависит сопротивление провода от его параметров. Но и этого мало - надо уметь эти знания применять, т.е. надо думать, а не угадывать ответ.
Если студент неправильно решил эту задачу, то преподаватель, скорее всего, задаст наводящий вопрос, например, попросит определить ток в этой цепи. Если и тут не получит правильного ответа, то возможно предложит сформулировать закон Ома. Таким образом, вопросы следуют в порядке убывания сложности. Именно так поступает большинство преподавателей. В самом деле, нужно ли проверять знание таблицы умножения, прежде чем предложить что-либо вычислить? По непонятной причине «традиционное» тестирование предлагает обратное.
При изучении чего-либо всегда идут от простого к сложному. Это понятно. На-
пример, обучение вождению автомобиля начинается с освоения простейших операций с органами управления, но при сдаче экзамена на вождение испытуемый должен продемонстрировать не элементарные навыки, а умение управлять автомобилем в реальных условиях.
Ничто не мешает составлять задачи для КИТ вместе с наводящими вопросами или подсказками. Возможный алгоритм с подсказками показан на рис.3.
Рис.3. Алгоритм задачи с подсказками.
Очевидно, оценка должна зависеть от количества подсказок. Например, при пятибалльной шкале, каждая подсказка может снижать оценку на один балл.
Алгоритм задачи с наводящими вопросами немного отличается тем, что ответы на наводящие вопросы тоже оцениваются (рис.4).
Рис.4. Алгоритм задачи с наводящими вопросами.
Кстати сказать, подсказки и дополнительные вопросы не обязательно включать в тело задачи. В большинстве случаев одну и ту же подсказку или дополнительный вопрос можно использовать для многих задач. Поэтому удобнее создать отдельные библиотеки дополнительных вопросов и подсказок, а из задач вызывать подходящий модуль.
Таким образом, задачи с цифровым ответом позволяют без перехода к непривычной форме оценивания использовать хорошо зарекомендовавшие себя задачники по многим точным дисциплинам, например, математике, физике, химии и т.д. Традиционная методика изучения этих предметов предполагает решение множества задач на практических занятиях, да и экзаменационные билеты, как правило, содержат минимум одну задачу. КИТ как нельзя лучше подходит для этой цели.
Принципиальное отличие и новизна этого типа задач заключается в том, что банк задач не содержит ответов. Это лишает смысла запоминать их, даже, если одну и ту же задачу студент получит неоднократно. Студент может запомнить только ход ее решения, что, фактически, составляет цель учебы. Поэтому содержание КИТ, как и обычного задачника, никакого секрета не представляет и исчезает одна из основных проблем «традиционного» тестирования.
Задачи с двоичным ответом. Вообще говоря, если студент научился решать задачи, то значит, что он освоил теоретическую часть курса и умеет пользоваться полученными знаниями. При этом очень часто теория запоминается где-то в подсознании. Например, можно очень грамотно писать и при этом не всегда помнить правила грамматики, что лишний раз подтверждает правоту известного физика Макса фон Лауэ, который сказал: «Образование - это то, что останется, когда всё выученное забудется».
Вместе с тем, изучение теории необходимо, но рассчитывать только на то, что
студенты упорно прорабатывают лекции и изучают учебники - не приходится. Поэтому кроме проверки умения решать задачи, всегда полезно убедиться, что студент ознакомлен с лекционным материалом или учебником. Для этой цели разработана процедура блиц-опрос с ограничением времени на обдумывание ответов. Каждый вопрос этого типа формулируется так, чтобы на него можно было ответить только "да" или "нет". Вопросы появляются на экране по одному, а таймер ограничивает время обдумывания каждого из них интервалом, например, 10...60 секундами. Это время определяется при создании вопросов в зависимости от их сложности. Каждый вопрос выбирается случайно из перечня вопросов конкретной задачи. Практика показывает, что объем задачи, которая насчитывает 12.. .15 вопросов, является полностью приемлемым и позволяет проверить знание лекционного курса. Оценка выставляется в соответствие с формулой (3):
Оценкадд =
z = floor
k
L n / N -11
1 +
2 p
if (z>0)^R = z else R = 0
(3)
return R
где n - количество правильных ответов; k - размер шкалы; N - количество заданных двоичных вопросов; р - допустимая вероятность угадывания; floor - операция округления до целого, ^ - операция перехода.
Поскольку процедура задач с двоичным ответом не связана с семантикой вопросов, подготовка таких задач не требует умения программировать. Для этого достаточно разработать специальную утилиту с простым интерфейсом.
Задачи со словесным ответом. Эти задачи относятся к типу заданий с открытой формой. Проблема оценки словесных ответов чрезвычайно сложна и до настоящего времени не имеет удовлетворительного решения. Однако, если допустимый ответ ограничить только одним словом, то вполне приемлемо работают довольно простые алгоритмы. Например, процедура оценивания следующая: строка ответа студента посимвольно сравнивается со строкой правильного ответа и подсчитывается количество совпадений, а дальше оценка вычисляется по формуле:
Г n^
Оценкасл =
Ni
n
v ^ J
(4)
return floor[k• max(z...zs)]
где k - размер шкалы; n - количество совпадающих символов; Ni - количество символов в правильном ответе; s - количество синонимов; max - выбор максимального значения; floor - операция округления до целого, ^ - операция перехода.
Правильный ответ может содержать несколько синонимов. В этом случае вычисляется оценка для каждого синонима и выбирается максимальное значение.
Возможна также процедура оценивания по коэффициенту корреляции между
<
строкой правильного ответа и и строкой V, которую ввёл студент. При отрицательном значении коэффициента взаимной корреляции оценка ограничивается на уровне нуля. Оценка вычисляется по формуле (5):
Оценкасп =
' Cor[str 2vec(V ), str 2vec(U )]
Л
Cor[str 2vec(V ), str 2vec(üs )] R = floor [k • max (zx ...zs)] if (R < 0) ^ R = 0 return R
(5)
где k - размер шкалы; V- ответ студента; Ui - один из синонимов правильного ответа; s - количество синонимов; Cor - вычисление коэффициента взаимной корреляции; str2vec - выдаёт вектор кодов ASCII, соответствующих символам в строке; max - выбор максимального значения; floor - операция округления до целого, ^ - операция перехода.
Предваряя критические замечания по поводу несовершенного способа оценки словесных ответов, которые полностью игнорируют семантику, позволим себе отметить следующее. Речь идет о стандартном алгоритме, использовать который при составлении задач совсем не обязательно. Система КИТ позволяет вводить любой нестандартный алгоритм, который может учитывать в каждом конкретном случае и семантику. Создать же универсальный алгоритм, учитывающий семантику, практически невозможно. Пример тому - компьютерные переводчики.
Задачи со словесным ответом целесообразно использовать в качестве дополнительных вопросов.
Задачи с выборочным ответом. Все виды этого типа задач может содержать и система КИТ. Однако предпочтительнее всё же исключить неправильные ответы, т.е. все предлагаемые на выбор ответы правильные, но с разной полнотой. Массив предлагаемых ответов удобно располагать в порядке убывания их полноты, т.е. первый ответ заслуживает максимальной оценки, а последний - минимальной. Естественно, на экран возможные ответы выводятся в произвольном порядке, например, как показано на рис.5, что лишает возможности запоминания номера правильного ответа за ограниченное таймером время:
Рис.5. А - массив ответов, В - массив ответов после тасовки, С - порядковые номера ответов на экране
<
Оценка вычисляется по формуле (6):
Оценка б = floor ^ к ■ j, (6)
где к - размер шкалы; n - номер выбранного ответа; N - количество возможных ответов; floor - операция округления до целого.
Конечно, подготовить вопросы с выборочными ответами, среди которых только один правильный, значительно проще. Поэтому оценка ответов по степени их правильности встречается довольно редко.
Может показаться, что «интеллектуальное» компьютерное тестирование не более, чем погоня за журавлём в небе. Это не так. В Национальном университете "Львовская политехника" более пятнадцати лет по нескольким предметам экзамены у студентов принимала компьютерная система «Пилот» [1,3,10]. Без участия преподавателя. Система разработана так, что не требует специальных навыков работы на компьютере. Даже школьники, которые впервые сели за компьютер, успешно осваивали технику тестирования за несколько минут. Однако техническая реализация системы морально устарела. Разработана она для ДОС в виде файл-серверной базы данных. Сама система хранится на сетевом файл-сервере в единственном экземпляре. Для каждого студента во время работы создается локальная копия системы, с которой он манипулирует. Недостатки файл-серверных баз данных хорошо известны, поэтому останавливаться не них не будем.
Сейчас в Львовском колледже Государственного университета информационно-коммуникационных технологий разработана и проходит отладку система интеллектуального компьютерного тестирования «Практик». Она написана на алгоритмическом языке РНР5 с использованием базы данных MySQL и размещена на главном сервере колледжа с поддержкой Appache.
Система запускается с помощью веб-браузера и имеет два интерфейса - студенческий и административный. Административный позволяет создавать тесты, редактировать существующие, анализировать результаты тестирования и т.д.
Как и большинство систем тестирования, система «Практик» позволяет создавать и использовать традиционные тесты с выборочными ответами, однако основой системы являются рассмотренные выше интеллектуальные тесты. Напомним, что тестовое задание таких тестов является задачей, для решения которой одних знаний недостаточно - нужно уметь применять их на практике.
Понятно, что сложность задач теста не может (да и не должна) быть одинаковой. Некорректно было бы завершающую оценку по тесту вычислять как среднюю оценку по всем оценкам за решения отдельных задач теста. Поэтому система позволяет задать сложность (вес) задачи в виде числа в интервале 0.. .1. При этом завершающая оценка за тест вычисляется как средневзвешенная оценка по тестовым заданиям (задачам):
f м „ ^
ZI oat ёа ■ Аап
г г
i=l_
M
Е Ащ
г=1
I oat ёа = floor
(7)
где М- количество тестовых заданий (задач); I ба( ё^ - оценка за ответ на 1-е тес-
товое задание; Аац- относительная сложность /-го тестового задания; floor -
операция округления до целого. Значение веса отдельных задач определяет автор тестовых заданий. Очевидно, если вес задачи равен нулю, то решение такой задачи никак не отразится на конечной оценке.
Редактор тестовых заданий встроен в систему и доступен в административном режиме. Каждая задача выводится на экран в виде отдельного кадра. В набор данных задачи входит её вес, состав переменных, их тип и диапазон, датчики случайных чисел для формирования отдельных переменных, функцию для вычисления результата и, если необходимо, время, которое отводится на решение задачи. Для большей наглядности в кадр задачи можно включить рисунки, графики, формулы и т.д.
Редактирование текста осуществляется в обычном для пользователя режиме с помощью редактора Tiny MCE, интерфейс которого идентичен Microsoft Word. Достаточно подготовленные преподаватели могут вводить вопросы в HTML-формате, что позволяет использовать дополнительные возможности некоторых программных продуктов, например, MathML для введения математических формул в текст задачи или вопроса. В тексте задачи нужно выделить места, куда будут вставляться значения формируемых случайным образом переменных.
Типы используемых в задаче переменных, датчики случайных чисел для их формирования и функция для вычисления результата (решение задачи) описываются на языке РНР5. Результатом решение задачи может быть переменная, тип которой определён решающей задачу функцией. Чаще всего это число, но может быть и строка символов, например, при решении задач по химии.
По сравнению с технологией подготовки традиционных тестовых заданий с выборочными ответами, подготовка заданий в виде задач кажется сложнее. Однако проблема не в сложности. Проблема в том, что обычно преподаватели-предметники не умеют программировать, а программисты - не знают предмета. В такой ситуации смысловую подготовку задач могут выполнять преподаватели-предметники, а написание и отладку программных модулей (РНР-функций) для них можно поручить программистам.
Рассмотрим пример описания простой задачи в системе «Практик». Для этого имеется специальная форма. Она позволяет вводить текст задачи (см. рис.6). Задача может содержать переменные определённого типа, которые каждый раз формируются датчиком случайных чисел в заданном интервале. Место переменной в тексте задачи ограничивается символами %. Например, переменную W следует записать как %W%. Кроме текста и переменных в кадр задачи можно включить рисунок, фотографию или формулу.
Вес задачи: о.в |
в i в
Абзац - Шрифт т Размер т £2 ;= == HImL —
Лампочку мощностью Вт и напряжением 11=%и% В нужно
подключить к сети переменного тока напряжением 220 В с частотой 50 Гц. Чтобы лампочка не перегорела, последовательно с ней включён конденсатор С. Определите необходимую ёмкость конденсатора в Мкф.
РИСУНОК: I Изменить Рис.6 ~1[ОБзор... 1 ,-
_1— | Принять
1 ГШ: Вычисление у
Вычисления
Функция: СгтМ Тип ответа: Ввод V
ТОЧНОСТЬ (число знаков после запятой): ¡2
Переменная Минимум Максимум Тип
и 6 |ю int V | X
w 8 12 int V X
int V
| Принять"]
Рис.6. Пример формы для подготовки задачи.
Таким образом, подготовка текста задачи достаточно проста. А вот для подготовки программного модуля (РНР-функции) для решения задачи без программирования не обойтись. В рассмотренном примере решение задачи сводится к вычислению ёмкости С по формуле
W-10б
C =--7, мкф.
2ж-50-U-(220 - U)
Именно эту формулу и нужно записать на языке РНР, например, так:
Function Cmkf($vars) {
$U=$vars["U"];
$W=$vars["W"];
$pi=3.1415926;
$Cmkf=$W*pow(10,6)/(2*$pi*50*$U*(220-$U)); return $Cmkf;
};
В результате вызова подготовленной таким образом задачи её условие появится на экране. После ввода ответа, появится оценка за задачу и средневзвешенная оценка по всем задачам теста (см. рис. 7). Содержание и размер РНР-функций не лимитированы, поэтому не возникает особых проблем при переводе существующих задачников в систему КИТ.
Рис.7. Пример оценки решения задачи.
Естественно, чтобы понять и тем более, написать РНР-функцию, надо знать язык РНР. Впрочем, если автор теста имеет некоторый опыт программирования, то достаточно нескольких часов для освоения техники написания и отладки несложных РНР-функций.
За границей создано и применяется довольно много систем управления учебным процессом (Learning management system - LMS), например, Black Board, Learning Space, Learn exact, ILIAS, Moodle. Некоторые из них используются и на Украине. Чаще всего бесплатная LMS Moodle [11]. Это упрощенная версия и ждать от нее многого не следует - если нужна действительно полнофункциональная LMS со всеми возможностями, то лучше Black Board, которую используют в США. Но за лицензию там нужно платить порядка 200-300 тысяч долларов. Перечисленные LVS имеют много возможностей по организации и управлению учебным процессом, но основная функция - тестирующая, ориентирована на вопросы с выборочными ответами со всеми присущими этой методике недостатками. В этом смысле они не являются интеллектуальными в пределах определённого выше смысла.
В данной статье мы не рассматривали философских вопросов, касающихся недостатков любой компьютерной системы тестирования - отсутствие воспитательной функции, проблем развития языка у студентов, умения письменно изложить мысль и т.д. - мы попытались показать один из практических путей реализации этой системы.
Литература:
1. А.Г.Оганесян, Н.А.Срмакова, К.О.Чабан. Проблема «шпаргалок», или Как обеспечить объективность компьютерного тестирования? - Москва: Дистанционное образование, № 6, 2000, с.29-34. http://www.e-ioe.ru/ .
2. А.Оганесян, И.Казимира. Технология тестирования - за и против. // Education Technology & Society 11(1) 2008 ISSN 1436-4522. - P.332- 345. http://ifets.ieee.org/russian/
3. Оганесян А. Г. О независимом тестировании студентов / А. Г. Оганесян, И. Я. Казимира, К. О. Чабан // Education Technology & Society 11(1) 2008 ISSN 14364522. - P.346- 357. http://ifets.ieee.org/russian/
4. Аванесов В.С. Теория и практика педагогических измерений. Подготовлено ЦТ и МКО УГТУ-УПИ, 2005 г.: http://intellect-invest.org.ua/content/userfiles/files/libra... - 924 Кб.
5. Аванесов В.С. Форма тестовых заданий. // Москва: Центр тестирования, 2005.-155с.
6. OpenTEST Systems. Ukaine, Kharkov: University of radioelectronics, Testing Center: http://opentest.com.ua.
7. Доренко В. ПЯТОЕ ПРАВИЛО АРИФМЕТИКИ. // Киев: Журнал «Открытия и гипотезы», №5, 2005.
8. Таблицы перевода тестовых баллов в критериальную (1-12 баллов) и рейтинговую (100-200 баллов) шкалы (физика) : http://www.testportal.gov.ua/index.php/text/fiz/
9. БАЖАЛАлина. Интервью с Альгирдас Забулионисом. // Газета Зеркало недели № 19 (698) 24 — 30 мая 2008.
10. Оганесян А.Г. Опыт компьютерного контроля знаний. - Москва: Дистанционное образование, № 6, 1999, 30-35 с., http://www.e-joe.ru/ .
11. Learning management system Moodle. - http://download. moodle.org/windows .
