CC BY
69
Educational Technology & Society 11(1) 2008
ISSN 1436-4522
О технологиях тестирования - за и против
1 А.Г. Оганесян, 2 И.Я. Казимира :д-р физ.-мат. наук, профессор, Львов, Украина [email protected] 2канд.тех.наук, доцент, Львов, Украина k [email protected]
АННОТАЦИЯ
Внешнее независимое оценивание (ВНО), аналог российского единого государственного экзамена (ЕГЭ), с 2006 года лавинообразно накрывает Украину. И это несмотря на встречную лавину аргументированной критики. Разработчики ВНО утверждают, что «пилотная ВНО проведенная в Украине в 2006 году с участием относительно небольшого количества учеников средних общеобразовательных школ (41818), оказалась успешной...» и «опираясь на приобретенный опыт, проанализировав мировую практику внешней оценки, принимая во внимание рекомендации международных экспертов, с целью органичного объединения в одной системе внешней оценки двух целей — аттестации за курс полного общего среднего образования и отбора для обучения в вуз — предлагается для внедрения в Украине в 2008—2009 гг. сбалансированная модель внешней независимой оценки».
К сожалению, эти утверждения, да и план в целом, вызывают только удивление. Любое, даже самое нужное, полезное и перспективное дело исполнением можно довести до полного абсурда. Печально, но ВНО, похоже, постигла именно эта участь.
Авторы предлагают альтернативный вариант, лишенный недостатков нынешнего.
ABSTRACT
External independent estimation (EIE), the analogue of the Russian uniform graduation examination (UGA), since 2006 as avalanche covers Ukraine. And it’s despite of counter avalanche of the given reason criticism. Developers of EIE assert, that «first EIE was spent in Ukraine in 2006 with participation concerning small amount of pupils of average comprehensive schools (41818), was successful ...» and «leaning on the got experience, having analvsed world practice of an external estimation, taking into consideration recommendations of the international experts, for the purpose of organic association of an external estimation of two purposes in one svstem - for a course of full general secondarv education and selection for training in high school - the balanced model of an external independent estimation is offered to certification for introduction in Ukraine in 2008-2009.
Unfortunately, these statements and the plan as a whole, cause only surprise. Even most necessary, useful and perspective business is possible to finish in full absurdity. It is sad but EIE is seemed to become one of such projects.
Authors offer the alternative variant without lacks of the present one.
Ключевые слова
внешнее независимое оценивание, ВНО, технология тестирования, бумажное тестирование, компьютерное тестирование
Введение
Проблема коррупции (коррупция в данном контексте - это тем или иным образом, действием или бездействием, злоупотребление должностными властными полномочиями в личных или иных корыстных целях, выраженное в фальсификации результатов обучения) в вузах стоит весьма остро и её отрицают разве что ректора.
Соцопрос же среди студентов и их родителей показал, что большинство с этим уже смирилось и считают, что стать студентом без взяток просто невозможно.
Цель внедрения внешнего тестирования сначала выглядела действительно благородно: разработать процедуру прозрачного и объективного оценивания выпускников школы, которое станет средством мониторинга среднего образования и обеспечит равный доступ к высшему образованию.
Конечно, никакие тесты не гарантируют абсолютно точной оценки знаний. Однако и преподаватель не может этого гарантировать. Но тесты способны обеспечить объективность и непредвзятость. Разуметься, только в том случае если тесты, методика и технология их использования не оставляет лазеек для фальсификаций. Разработчики ВНТ считают, что применение компьютеров устраняют эту проблему. Однако используемые технологии грешат существенным недостатком - между абитуриентом и компьютером всегда есть посредник, что не исключает сомнений в объективности. Вопрос о качестве самих тестов затрагивать не будем. Ограничимся рассмотрением только технологий подготовки и проведения тестирования.
О терминах
Начиная с работ С. Пресси, Б. Скиннера, Н. Краудера (см., например, [4]) и других авторов почти полувековой давности, написано множество статей о тестировании, но до сих пор нет единого определения используемых терминов и понятий.
Прежде всего, нужно уточнить, чем отличается обычный письменный экзамен от тестирования, а бумажное тестирование - от компьютерного. Не претендуя на полноту, в этой статье используем следующие определения:
• Тест - совокупность тестовых заданий по результатам выполнения которых выставляется интегрированная оценка по заранее определённым процедуре и шкале.
• Тестовое задание - это задание, результат выполнения которого допускает однозначную оценку без участия человека. Поначалу об этом организаторы ВНТ, похоже, забыли и включили в тест задания, которые отличались от письменного экзамена только объёмом, проверялись и оценивались преподавателями-предметниками (свободная форма - Б). В прежние времена такие экзамены называли «министерскими» и на звание тестов не претендовали. В этом году термин ВНТ заменён на ВНО - внешнее независимое оценивание. По-видимому, для оправдания раздела Б.
• Одновариантное тестирование - используется единственный вариант теста для множества испытуемых. Она предполагает сохранение конфиденциальности тестового задания до момента тестирования.
• Многовариантное тестирование - каждому испытуемому предлагается индивидуальный вариант теста.
• Одновременное (синхронное) тестирование - производится по каждому предмету для всех соискателей в один заранее определённый момент времени. Если этого не требуется, то тестирование асинхронное.
• Бумажное тестирование - это тестирование с использованием
бумажных бланков. Формы тестовых заданий могут быть любыми (см., например, [1]). Основной отличительный признак бумажного
тестирования - результаты становятся известными испытуемому со значительной задержкой - до нескольких часов, дней или даже недель (то, что ученики в этом году будут писать тест по украинскому языку в апреле, а результат узнают лишь 1 июня (!) - нонсенс и, чтобы не говорили организаторы ВНО, - питательная среда для коррупции). Независимо от того, как производится анализ ответов - человеком или компьютером после сканирования - бумажное тестирование остаётся бумажным.
• Компьютерное тестирование. Главнейший признак компьютерного тестирования состоит в том, что оценка по каждому вопросу или задаче
тестового задания появляется на экране сразу же после ввода ответа. Результирующая оценка также выводится на экран без задержки после окончания тестирования. Никакого многодневного ожидания и никакой возможности фальсифицировать результат. Тестовое задание формируется компьютером непосредственно в момент тестирования. Для этого используется библиотека тестовых заданий, охватывающая все необходимые разделы по предмету. Вопросы появляются на экране, а ответы вводятся с клавиатуры или мышкой.
Технология одновариантного одновременного бумажного ВНО
Эта технология использовалась в 2006-2007 годах и планируется в текущем. Подготовкой и осуществлением ВНО занимается Украинский центр оценивания качества образования (УЦОКО) в Киеве. Эта работа состоит из нескольких основных этапов.
1. Разработка теста. К разработке качественных тестовых задач привлечены методисты Центра, а также учителя общеобразовательных учебных заведений и преподаватели высших учебных заведений (петитом выделены высказывания в прессе директоров УЦОКО) . Конфиденциальность сохраняется тем, что специалисты, принимающие участие в разработке тестов, берут обязательства по поводу неразглашения конфиденциальной информации. Впрочем, на этом этапе утечку информации не сложно нейтрализовать. Для этого достаточно подготовить несколько тестов и выбрать один. Всего в 2007 году подготовлено 165 вариантов тестовых тетрадей. Из них 90 вариантов использованы во время тестирования 15 по каждому предмету (все приводимые в статье цифры взяты из отчёта о результатах ВНО-2007 сайта УЦОКО [6]).
Тиражирование. Тетрадь с бланками тестовых заданий содержит 10-20 листов. В прошлом году отпечатано 250000 тетрадей по 6 предметам для 239946 зарегистрировавшихся соискателей, а в этом нужно будет отпечатать тетради уже по 11 предметам. Понятно, что отпечатать столь большой тираж в нескольких вариантах очень уж накладно. Поэтому «мы условно составили 5-7 равноценных тестов и в последнюю ночь (перед тиражированием?) было решено, какой вариант пойдет в школы». Печатают тетради с тестами в обычной типографии. И достаточно одного «слабого звена» в цепочке тиражирования, чтобы процедуру тестирования лишить всякого смысла. В этих условиях утечка информации просто неизбежна. Организаторы ВНТ вопрос о конфиденциальности тиражирования старательно обходят. Но это основной вопрос для одновариантного ВНО, на который в своих интервью постоянно пытаются ответить организаторы тестирования. Однако поверить в то, что «сегодня в Украине тексты заданий знают всего лишь два человека: это руководитель Центра оценивания качества знаний и тот человек, кто составлял тесты» - смогут разве что слишком уж легковерные читатели.
В отчёте о результатах прошлогоднего ВНО сказано, что «Фактов разглашения информации о содержании тестовых заданий зафиксировано не было» [6]. Но ведь это совершенно естественно, поскольку вряд ли найдутся апелляционные заявления по поводу завышенной оценки в полученном сертификате.
2. Рассылка. В течение 100 дней сотрудники УЦОКО упаковывали тетради с тестами в специальные пластиковые контейнеры и пломбировали их. Всего было подготовлено и направлено к пунктам тестирования 1972 контейнера общим весом свыше 17 тонн. Можно допустить, что контейнеры и их доставка абсолютно надёжны. Однако в течение 100 дней упаковщики контейнеров имели доступ к тетрадям с тестами [6[. Остаётся только надеяться, что никто из них не впал в соблазн.
3. Тестирование. Примерно за полгода до начала тестирования соискатели регистрируются и получают индивидуальные приглашения к участию во ВНО, в которых указаны название пункта тестирования, его адрес, учебный предмет, дата и час начала тестирования. На тестирование они должны приходить с приглашением и паспортом. Тетрадь с тестом не содержит фамилии соискателя - только штрих-код. Поэтому обязательно должен быть список соответствия фамилии и штрих-кода. По утверждению создателей ВНО его никто не знает. Однако, очевидно, в каждом из 531 пунктов тестирования, есть хотя бы один знающий его человек. Это - инструктор (термин создателей ВНО), который идентифицирует личность соискателя, выдаёт ему тетрадь с тестом и после выполнения заданий (?) снабжает её штрих-кодом из аудиторного комплекта для шифровки работ. Поэтому вероятность использования этой информации в личных целях и здесь не равна нулю.
Прошлогодние тесты содержат от 34 до 53 заданий. Чтобы прочитать, обдумать, решить и записать ответ на бланке отводилось в среднем около 4 минут [6]. Естественно, столь жёсткий цейтнот приводит к неоправданно большой эмоциональной и физической нагрузкам. Зачем так много вопросов? Но если нужно много, то почему выделено так мало времени на осмысление вопроса и обдумывание ответа? Но главный вопрос, так и оставшийся без ответа, — какова цель этих тестов?
4. Доставка тетрадей с ответами в центры обработки результатов.
После проведения тестирования тетради, уже с ответами соискателей, вновь упаковываются в специальные пластиковые контейнеры, пломбируются и доставляются в 4 центра обработки результатов. Можно допустить, что эти процедуры надёжны и сомнений не вызывают.
5. Сканирование бланков с ответами. Обработку результатов тестирования осуществляли 200 сотрудников Украинского и региональных центров. Работа весьма трудоёмкая. Надо было просканировать каждый лист тестовых тетрадей общим весом около 17 тонн (минус вес контейнеров). Потом обработать полученные данные и отпечатать 230 189 сертификатов для каждого участника тестирования. Поскольку все участники этого процесса берут обязательства по поводу неразглашения конфиденциальной информации, то поводов для беспокойства, по мнению создателей ВНО, быть не должно.
6. Вычисление баллов. Способ вычисления баллов и прошлогодний отчёт с результатами ВНО вызывает больше недоумения, чем понимания [5,6]. Вот как описывают эту процедуру организаторы ВНО:
a) Оценивание результатов тестирования осуществлялось на основе экспертной и статистической оценки сложности тестовых заданий и анализа векторов ответов учеников, которые набрали то или другое количество тестовых баллов.
b) Также было осуществлено сравнение оценок результатов тестирования со школьными оценками в нормативных группах.
c) Представление результатов в стандартизированной шкале 100-200 баллов осуществлено путем нелинейного преобразования с использованием в качестве эталона нормального распределения.
ф Оценки по шкале 100-200 баллов имеют среднее арифметическое 150 и стандартное отклонение 15.
Комментарий к а: Тестовые задания были разной сложности и это как-то учитывалось. Вот только не ясно как. Например, большинство тестовых заданий по физике предполагали найти правильный ответ из пяти предложенных. Надо полагать, что оценка ответа могла быть только «да/нет» или «1/0». Однако тестовые задания не содержат никаких данных об их сложности. Остаётся только предположить, что каждое из тестовых заданий имеет где-то записанный коэффициент сложности или, как его чаще всего называют в математической статистике, весовой коэффициент ”^, где 1 - номер тестового задания. Что касается «анализа векторов ответов», то и тут остаётся только высказать предположения. Например, возможно вычислялась сумма
N
Вт = ЕЩ ' Уг (1)
г =1
где Вт - баллы тестовые, Ж, - вес тестового задания, у, - оценка за тестовое задание (0 или 1), N - количество тестовых заданий в тесте (например, по физике N=34, по математике N=38). При одинаковой сложности всех заданий, т.е. при Ж,=1, Вт означает просто количество правильных ответов на N вопросов. Кстати, совсем не сложно сразу же исключить зависимость от N. Для этого достаточно вычислить средневзвешенную оценку по тесту:
N
ЕЩ ■ у,
р г=1
Вт =
Т ^ (2) ЕЩ
г =1
Комментарий к Ь: Полагаем, что это просто оговорка, поскольку на результат тестирования конкретного соискателя сравнение со «школьными оценками в нормативных группах» влиять не должно.
Комментарий к с: Понять эту фразу просто невозможно - сразу же возникает множество вопросов. Прежде всего, странность диапазона 100 бальной шкалы - 100200. Выходит, если соискатель не ответит правильно ни на один вопрос, то его
оценка будет равна 100 баллов! Спрашивается, почему бы не выбрать интуитивно
понятный диапазон 1-100 баллов?
В самом деле, преобразование тестовых баллов в оценку в общем виде можно представить как
В0 = /{ВТ ) (3)
Очевидно, что преобразование (3) должно быть однозначной монотонной функцией. Линейной или нелинейной. Логичнее предположить, что оценка пропорциональна тестовым баллам, т.е. преобразование линейное
В0 = а ■ Вт + Ь (4)
и задача состоит только в согласовании диапазонов тестовых баллов и оценок, что несложно сделать по формуле
В в
и _ -°0.шах -°0.шт (и и \ , и
В0 = В _В В _ ВТ.шш / + В0.шт (5)
ВТ.шах _ ВТ.тт
где В0 шах _ В0 Шп - диапазон оценок, ВТ шах _ ВТ шт - диапазон тестовых баллов (см. рис.1).
Во
Рис.1. Линейное преобразование «Балл - оценка»
Минимальное значение тестовых баллов BT min, очевидно, равно нулю, а максимальное получим из (1) в предположении, что все ответы правильные
N
BT = Z W
^T .max Z-trr i .
i=1
Для шкалы 100-200 баллов преобразование (5) примет вид = 100
B0.(100-200) = ~N BT +100 (6)
ZW
i=1
Если же использовать средневзвешенное значение (2), то формула (6) станет проще и удобнее для вычисления на компьютере:
B0.(100-200) = 100 ■ BT + 100 (7)
В формулах (6) и (7) добавление 100 баллов ничем не оправдано. Лучше было бы использовать действительно 100 бальную шкалу, чтобы не писать «для поступления в вуз надо иметь не менее 124 балла по 100-бальной шкале»:
и = 100 я
B0.100 = — BT (8)
ZW
i=1
Далее, организаторов ВНО не устроило линейное преобразование и они предпочли нелинейное. В [5] приведены преобразования (3) для разных предметов в виде таблиц. Приводим таблицу для физики:
Таблица перевода баллов
Тестовый бал Шкала 100-200 Тестовый бал Шкала 100-200 Тестовый бал Шкала 100-200 Тестовый бал Шкала 100-200 Тестовый бал Шкала 100-200
1 107 13 156 25 169 37 176 49 187
2 113 14 157 26 169 38 177 50 188
3 119 15 159 27 170 39 177 51 189
4 125 16 160 28 170 40 178 52 191
5 130 17 162 29 171 41 178 53 192
6 136 18 163 30 171 42 179 54 193
7 140 19 164 31 172 43 180 55 196
8 143 20 165 32 173 44 181 59 200
9 147 21 166 33 173 45 182
10 149 22 167 34 174 46 184
11 152 23 168 35 175 47 185
12 154 24 168 36 176 48 186
На рис.2 эта же таблица представлена графически (кривая обозначена чёрными точками).
Во
Рис.2. Графики перевода тестовых баллов в оценки по 100-200 бальной шкале.
На этом же графике сплошной линией показано линейное преобразование (5)
для тех же диапазонов, т.е. для В0.тах = 200, Б0тт = 197, ВТ тах = 59, Вт тт = 1:
В0 = 1,6 \ВТ -1)+107 (9)
Эти графики однозначно демонстрируют, что используемое преобразование завышает оценки практически во всём диапазоне тестовых баллов. Особенно в интервале Вт = 1...20, где оценки завышены почти в два раза. Спрашивается, зачем?
Преобразование (3), т.е. таблица перевода, составлена «с использованием в качестве эталона нормального распределения». Эта фраза относится к числу совершенно загадочных. Спрашивается, о распределении ЧЕГО идёт речь? В теории вероятностей говорят о распределении вероятностей (или плотности вероятностей) каких-то величин. Причём здесь вообще теория вероятностей или математическая статистика, если речь идёт об однозначном преобразовании (3)? И что здесь значит эталон? Эталон чего?
Комментарий к & Если речь идёт о Таблице перевода баллов, то не трудно подсчитать, что среднее значение оценки по шкале 100-200 баллов равно 168, а стандартное отклонение - 21. Среднее значение линейного преобразования (9) равно 150 , но его стандартное отклонение равно 25, а не 15.
Технология асинхронного многовариантного бумажного ВНО
Невозможность обеспечения конфиденциальности при одновариантном бумажном тестировании вызывает массу сопутствующих недостатков. Но есть простое решение проблемы: пусть бумажное, но многовариантное тестирование. Содержание множества тестовых заданий секретом не является и проблема с конфиденциальностью исчезает. Многие вузы для тестирования абитуриентов применяют этот метод, например, Львовский национальный университет имени И.Франка. Оставаясь по-прежнему системой вопросов с выборочными ответами, многовариантный метод отличается тем, что для каждого абитуриента компьютер случайным образом выбирает бланк с вопросами из имеющихся в памяти множества (банка вопросов). Некоторые вузы публикуют вопросы банка данных, давая возможность абитуриентам подготовиться. Их может быть несколько сотен по одному предмету. В этом смысле тестирование похоже на знакомую процедуру сдачи экзамена, когда приходится «тянуть» билет. Конечно, неудачу на экзамене чаще всего объясняют: «попался трудный билет». Но это вовсе не аргумент, из-за которого следовало бы пересмотреть результат. Или вообще отменить приём экзаменов с билетами. Многие десятилетия школа учила и принимала экзамены по
билетам. И никто не додумался утверждать, что обучение сводилось к зубрёжке по билетам.
Очевидно, что при многовариантном тестировании нет необходимости проводить тестирование всех желающих одновременно. Это - большое преимущество.
Технология компьютерного ВНТ
В недавнем прошлом школьники и студенты решали множество задач, которые являлись ядром учебной деятельности. Учебная задача - это любая задача, предъявляемая школьнику или студенту, которая направлена на достижение умения пользоваться полученными знаниями. По таким предметам, как математика, физика, химия и другим предметам, которые обычно называют точными, имеются задачники с сотнями задач. И на экзаменах приходилось решать задачи. Они позволяли проверить умение использовать полученные теоретические знания и способность логически мыслить.
Компьютер для безбумажного тестирования - это фактически электронный задачник, который сначала формулирует и выводит на экран текст задачи, потом сам решает её и, дождавшись ответа тестируемого, сравнивает его с собственным решением. Тестовое задание формируется компьютером непосредственно в момент тестирования. Для этого используется библиотека тестов, охватывающая все необходимые разделы по предмету. По точным дисциплинам целесообразно использовать знакомые школьникам задачники, данные для которых формируются динамически. Задачи могут быть самые разнообразные и «интеллектуальность» состоит в том, что компьютер сам решает каждую задачу. Исходные данные для задачи каждый раз формируются заново. Поэтому записывать ответ не имеет смысла. Можно лишь запомнить ход и способ решения задачи, что, собственно говоря, и требуется при обучении. А при успешном тестировании является свидетельством не только знания предмета, но и умение применять эти знания на практике.
Сейчас программа компьютера, которая анализирует бланки с ответами, выполняет одну единственную, простейшую операцию: сравнивает номер
выбранного абитуриентом ответа с номером правильного. Понятно, что создать электронный задачник несравненно сложнее, чем написать одну универсальную программу для тестирования с выборочными ответами. Это трудоёмкий процесс, требующий высокого профессионализма. Для этого необходимо, во-первых, профессионально владеть самим предметом, во-вторых, четко и ясно представлять методику и особенности ВНТ и, наконец, в-третьих, профессионально владеть программированием. Сочетание всех этих требований в одном человеке маловероятно. Но для руководителя группой разработчиков - необходимо. Программы для тестирования по каждому предмету и каждой задаче приходится писать и отлаживать независимо. Как и каждая задача в обычных учебниках уникальна, так же уникальна и каждая программа электронного задачника. Поэтому универсальный инструмент для этой цели создать принципиально невозможно. Тем не менее, именно на этом пути можно добиться действительно независимой оценки результатов обучения. Трудно, но можно.
Понятно, что совместить раздел А (где ответы оценивает компьютер) и раздел Б (оценивается преподавателями) при компьютерном тестировании проблематично, поскольку анализ ответов раздела А происходит в реальном времени, а раздела Б -нет. Однако, сама необходимость использования свободной формы раздела Б проблематична.
Главный вопрос, так и оставшийся без ответа, — какова цель свободного раздела Б?
Один из авторов во время поступления в МАИ сдавал экзамен — математику. В билете было всего шесть задач и неограниченное время для обдумывания и решения. И никакой теории. Это понятно, поскольку без знания теории и умения ее применять решить задачи просто невозможно. Экзаменационные задачи были подобраны так, чтобы понять, сможет ли абитуриент учиться на авиационного инженера. Во время поступления в консерваторию следует проверить наличие музыкального слуха, в летную школу — зрение. Все это сегодня можно проверить
без участия человека, с помощью тестов. Наконец, учат грамматику не ради самой грамматики, а чтобы писать правильно, без ошибок. Диктант - тоже тест, и компьютеру вполне по силам продиктовать и проверить диктант.
Тот же, кто хочет стать журналистом, должен написать, например, сочинение. Но как без человека его проверить? Никак. Не одно десятилетие стараются разработать и создают программы-переводчики, тем не менее до сих пор качество их работы оставляет желать лучшего. А о сочинении вообще говорить не приходится .
С историей ситуация не лучше. С помощью тестов можно проверить знание дат, хронологии, событий, имен и тому подобное. Но это еще не история. Конечно, во время поступления на исторический факультет, возможно, это нужно, например, чтобы проверить желание быть историком (сравните, молодые любители музыки буквально нафаршированы именами исполнителей, групп и другой, абсолютно не интересной для остальных информацией).
Все приведенные выше примеры имеют цель — определить пригодность к избранной профессии. А какую преследовали цель составители прошлогодних тестов? Общее развитие? Тогда вопрос к читателям: что такое логарифм (это из математики) и кто режиссер фильма «Дорога» (это из истории)? Многие ли это помнят? А если помнят, то как это пригодилось в жизни? Таких вопросов тесты 200 года содержат великое множество. И на наш взгляд, тестирование должно оставаться тестированием, т.е. способом оценки ответов без участия человека. Поэтому при компьютерном тестировании предпочтительнее использовать термин ВНТ, а не ВНО.
Авторами тестов, как и авторами хороших учебников, должны быть опытные педагоги-предметники. Написать программу, отладить и испытать её должны профессиональные программисты. Наконец, тесты должны пройти соответствующее рецензирование и получить лицензию министерства образования и науки. Сейчас, учитывая режим секретности, сделать это практически невозможно.
Технология компьютерного ВНТ имеет неоспоримые преимущества:
1. Начнём с того, что персоналу пунктов тестирования уже не придётся в поте лица работать всего несколько дней в году, как при одновариантном синхронном тестировании, поскольку исчезает необходимость проводить тестирование в один день и час во всей стране. Тестировать можно по расписанию, равномерно в течение всего года.
2. Можно предоставить школьникам возможность для тренировок. Кроме того, можно купить диск с локальной системой компьютерного тестирования по выбранному предмету и использовать её для подготовки. С этой системой можно работать на любом компьютере без подключения к сети и предварительной установки. Тренировочное тестирование на локальной системе ничем не отличается от реального официального тестирования, позволяет основательно подготовиться по всему курсу и избежать стресса при реальном тестировании. Сейчас же заранее попробовать себя в условиях близких к реальным невозможно.
3. Для официального документируемого тестирования школьник должен предварительно зарегистрироваться и записаться в очередь на подходящий день и час. Весь процесс тестирования и результаты протоколируются в закодированной форме и запоминаются компьютером в небольшом массиве (примерно 50 Кб), который по электронной почте пересылается в УЦОКО. Подделка и коррекция этого файла невозможна. В случае необходимости зашифрованные протоколы можно расшифровать и распечатать с помощью специальной программы. Первое тестирование - бесплатно. Последующие - за установленную заранее плату, возможно по прогрессивной шкале.
4. Большим недостатком одновариантного бумажного тестирования является то, что о результатах тестирования абитуриент узнаёт не сразу, а через месяц или даже более. Это тоже является поводом для сомнений в объективности. Компьютерное тестирование позволяет немедленно анализировать ответы абитуриента и выводить на экран как оценки за каждый вопрос, так и суммарную оценку. Одновременно обеспечивается фиксация содержания и процесса тестирования каждого абитуриента в надёжно закодированной форме. Результаты тестирования открыты для
просмотра, но абсолютно недоступны для административной или любой иной коррекции.
5. Компьютерное ВНТ позволяет выйти за пределы задач с выборочными
ответами и не ограничивает возможностей создания качественных интеллектуальных программ. Может показаться, что
«интеллектуальное» компьютерное тестирование не более, чем погоня за журавлём в небе. Это не так. В Национальном университете "Львовская политехника" более пятнадцати лет по нескольким предметам экзамены у студентов принимала компьютерная система. Без участия преподавателя. Система разработана так, что не требует специальных навыков работы на компьютере. Даже школьники, которые впервые сели за компьютер, успешно осваивали технику тестирования буквально за несколько минут. Работа с ней не сложнее, чем с компьютерными играми, с которыми большинство школьников осваиваются и
управляются куда лучше своих родителей.
6. Расходы при компьютерном ВНТ существенно ниже. Приведём
некоторые цифры. По данным УЦОКО в прошлом году выдано 230189 сертификатов с результатами тестирования. Затраты на проведение составили 8860100 гривен или 1772020 долларов (без учета расходов на приобретение средств долгосрочного использования) [6].
Для оценки возможностей и стоимости компьютерного тестирования
используем следующие данные:
Количество сертификатов 230189
Продолжительность одного тестирования 90 минут Количество пунктов тестирования - ПТ 100
Продолжительность рабочего дня ПТ 7 часов
Количество сотрудников в ПТ 3
Заработная плата сотрудника ПТ в месяц $ 300
Стоимость одного компьютера $ 600
Количество компьютеров в каждом ПТ 15
Абонентная плата за Интернет в месяц $ 40
Несложные арифметические расчёты дают следующие результаты: Продолжительность тестирования 6 недель
Стоимость компьютеров для всех ПТ $ 60000
Абонентная плата за Интернет в год $ 48000
Заработная плата сотрудникам ПТ за год $ 1080000
Итого: $ 1188000
Таким образом, всех соискателей сертификатов можно было бы протестировать летом и компьютерное ВНТ обошлось бы дешевле, чем одновариантное бумажное. И это без учёта того, что не потребовалось бы расходов для:
• тиражирования тетрадей с тестовыми заданиями;
• специальных средств защиты и доставки этих тетрадей в пункты тестирования;
• сканирования 17 тонн бланков с ответами;
• оборудования 4-х региональных центров обработки результатов тестирования - достаточно одного УЦОКО.
С учётом этого стоимость компьютерного ВНТ будет в несколько раз меньше.
Создавать какую-либо специальную сеть для этой цели не требуется. Пунктам тестирования достаточно иметь обычное подключение к Интернету, чтобы была возможность обмениваться электронной почтой. Впрочем, для выполнения тестирования можно использовать компьютеры, даже не подключенные к сети Интернет. Это вызовет лишь небольшие неудобства. Не так уж сложно и накладно оснастить региональные пункты тестирования компьютерными классами. Учитывая, что пик желающих пройти тестирование приходится на весну и лето, можно использовать и возможности университетов страны, большинство из которых имеют не один компьютерный класс и в летний период они загружены слабо.
Возражений по поводу внедрения компьютерного ВНТ всего два:
Во-первых, опасаются, что школьник из села, который никогда не видел компьютера, попадет в неравные условия с тем, который сызмала, возможно,
забавлялся на компьютере. В таких высказываниях больше лукавства, чем логики. Разве у сельских и городских школьников будут равные шансы для поступления в вуз, если исключить компьютеры? Нет, естественно. Возможности сельских школ уступают городским. Возможности оплатить подготовительные курсы и посещать их в селе и городе селян и горожан также существенным образом отличаются. Но это не значит, что следует снижать уровень подготовки в городах или критерии при тестировании. Это значит, что следует улучшать обучение в школах. Для победы в любом конкурсе нужна серьёзная подготовка, соответствующие данные и способности. Главное - критерии отбора должны быть одинаковы для всех и, как любят говорить (но не выполнять) организаторы тестирования, - прозрачны.
Безусловно, если школьник до тестирования ни разу не имел дела с компьютером - проблем не избежать. Но многовариантное компьютерное тестирование позволяет без особых усилий преодолеть эту проблему. Библиотека тестов открыта, поэтому компакт-диски с тестирующей программой по предметам могут и должны быть в свободной продаже. Любой школьник, независимо даже в каком классе он учится, сможет попробовать свои возможности. Дома, в школе, у приятеля, или в компьютерном клубе, которых в городах множество и которые, на горе родителям, работают почти круглосуточно.
Во-вторых, опасаются «взлома» тестирующих программ. Однако, если программное обеспечение для ВНТ разработано профессионально, то это маловероятно. Но даже если допустить такую возможность на личных компьютерах, то при официальном тестировании в пунктах тестирования соискатели будут работать с программой, доступ к которой могут иметь только сотрудники пунктов тестирования. Впрочем, и они не имеют возможности вмешаться в её работу.
Кстати, эта система создана, разработана и внедрена в реальный учебный процесс без какой-либо финансовой поддержки [2,3]. Материалы по ней переданы директору УЦОКО на совещании в Министерстве образования и науки ещё 29.11.2005. Реакции не последовало.
Литература
1. Аванесов В.С. Форма тестовых заданий. // М.: Центр тестирования, 2005.155с.
2. Оганесян А.Г. Опыт компьютерного контроля знаний. - Москва:
Дистанционное образование, № 6, 1999, 30-35 с.
Http ://db. informika.ru/do/org_do.
3. Оганесян А. Г. Дистанционное обучение программированное. // Educational
Technology & Society 6(2) 2003 ISSN 1436-4522 pp. 84-9. 4. Сайт http://ifets.ieee.org/russian (Журнал).
4. Программированное обучение за рубежом (пер. с англ.). Сборник статей под
редакцией И.И.Тихонова. - М.: Изд-во «Высшая школа», 1968, 375 с.
5. Про схемы перевода тестовых баллов в стандартизированные шкалы. -
http://www.testportal.com.ua
6. Результаты ВН0-2007. - http://www.testportal.com.ua
