CC BY
38
Educational Technology & Society 11(1) 2008
ISSN 1436-4522
О независимом тестировании студентов
1 А.Г. Оганесян, 2 И.Я. Казимира, 3 К.О. Чабан :д-р физ.-мат. наук, профессор, Львов, Украина [email protected] 2канд.тех.наук, доцент, Львов, Украина k [email protected] 3преподаватель, Львов, Украина chaban [email protected]
АННОТАЦИЯ
Понятие «тестирование» у многих вызывает ассоциацию со множеством достаточно примитивных вопросов и возможных на них ответов, один из которых предлагается выбрать. На самом деле теперь это выглядит совершенно иначе. Предложение следить за текущей успеваемостью с помощью компьютерного тестирования, что вполне выполнимо и методически, и технически, и экономически, поддержки не встречает, хотя существует многолетний опыт применения компьютерного тестирования в реальном учебном процессе. Статья содержит некоторые результаты компьютерного тестирования студентов и вытекающие из их анализа выводы.
ABSTRACT
The concept "testing" in general causes associations with set primitive questions and possible answers, one of which is offered to choose. Actually, now it looks absolutely different. The offer to watch current progress by means of computer testing, that quite real methodically, technically and economically, does not meet support, though there is a long-term experience of application of computer testing in real educational process. Article contains some results of computer testing of students and conclusions of it’s analysis.
Ключевые слова
тестирование, компьютерное тестирование, опыт тестирования
Введение
Судя по публикациям, отношение к федеральному экзамену профессионального образования (ФЭПО) неоднозначно. Интересна точка зрения, изложенная в недавней статье «О федеральном экзамене профессионального образования, практике его применения и истолкования» [3]. Практически со всеми её утверждениями можно согласиться, если не толковать их слишком расширительно, поскольку существует не только традиционная форма тестирования с выборочными ответами, да и ситуация в вузах далеко не столь очевидна.
В Украине ФЭПО пока нет. Но это дело времени и есть смысл рассмотреть проблему детальнее. Возникающие при этом вопросы довольно деликатны, поэтому объяснения гипотетичны, а возможные сходства - случайны.
Некоторые результаты компьютерного тестирования студентов
Бытует мнение, что результаты тестирования, т.е. оценка результатов обучения без участия преподавателя, и традиционного экзамена могут значительно отличаться. Приведём, однако, результаты, полученные в реальном учебном процессе. В силу деликатности последующего анализа, источник данных приводить не будем.
Для анализа использованы результаты сдачи пяти экзаменов 40 студентами одного потока за одну экзаменационную сессию. По всем предметам оценки выставлялись по 100-бальной шкале. Экзамен по четырём предметам принимали преподаватели, а один - «Цифровую обработку сигналов» (ЦОС) - принимала система компьютерного тестирования (СКТ) без участия преподавателя.
Курс ЦОС предполагает не только знания математики, программирования и вычислительной техники, но и умения всем этим пользоваться на практике.
На рис.1 показаны все полученные студентами оценки. Если оценка по 100-бальной шкале меньше 50, то это эквивалентно оценке «Неудовлетворительно» по традиционной для вузов 4-х бальной шкале. Оценки, выставленные СКТ по курсу ЦОС, изображены жирной линией красного цвета. Номера студентов ранжированы в порядке убывания оценок, поэтому график монотонно убывает. Оценки по остальным предметам представлены тонкими линиями разных цветов. Жирными точками показаны оценки по курсу ЦОС после пересдачи экзамена комиссии обычным способом - без СКТ. Таким образом, неудовлетворительные оценки по всем предметам были ликвидированы.
На рис.2 всего две кривые. Сплошной линией красного цвета, как и на рис.1, -показаны оценки по ЦОС, выставленные СКТ. Синими точками - ранжированные по убыванию средние оценки по всем пяти предметам сводной ведомости деканата (после всех пересдач). На обеих рисунках имеются хорошо различимые области: А -первые 29 студентов, которых СКТ по курсу ЦОС признала успевающими и Б -остальные студенты, у которых оценка СКТ меньше 50 баллов. Особенно чётко эта граница различима на рис.1.
Порядковые номера студентов
Рис. 1. Экзаменационные оценки по пяти предметам
В области А оценки группируются около кривой оценок по ЦОС, а вот в области Б зримо расходятся.
а> 80 «=:
05
О
X
_й
4
05 иэ
СИ
С_Э
о
с:
6 а' гг-О
60
40
20
* 1 * *»
С огг-0 ,97? V • \ * \ ||
— сп— • • ' • а • е
Согг=03021
А II \ Е
О 5 10 Щ 20 25 30 35 40
Порядкозые номера студентов
Рис. 2. Экзаменационные оценки по курсу ЦОС (сплошная линия) и усредненные оценки по всем пяти предметам
Хотя приведены результаты только одного семестра, их характер повторяется из семестра в семестр уже много лет и это требует объяснений.
Область совпадений - А
Кривые оценок по ЦОС и средних семестровых оценок в области А (рис.2) практически совпадают - коэффициент взаимной корреляции между ними равен
0,977. Упреждая классическое возражение типа «высокая корреляция во времени между количеством новорожденных и количеством журавлей не служит доказательством того, что журавли приносят младенцев в клюве», напомним, что в данном случае речь идёт не о косвенной связи, как в случае с журавлями и младенцами, а о прямой. Поэтому близкий к единице коэффициент корреляции в области А однозначно свидетельствует о том, что СКТ справляется с приёмом экзамена не хуже реальных преподавателей. Судя по утверждениям авторов статьи [3] это невозможно, поскольку (всюду петитом выделены цитаты из этой статьи):
• Тестовая форма проверки знаний предполагает, в частности, безупречную однозначность ответа. Проверяет главным образом знание терминологии и описаний конкретного учебника.
Однозначность ответа предполагают только тесты с выборочными ответами и двоичной шкалой оценок, т.е. «правильно-неправильно». В списке возможных ответов только один правильный, остальные - нет. Конечно, такая форма тестирования не позволила бы получить результат, продемонстрированный на рис.2. В СКТ использовалась другая форма с выборочными ответами, которая позволяет использовать многоуровневую шкалу оценок. Например, на вопрос предлагается 4 ответа. Первый ответ точный и заслуживает оценки «отлично»; второй менее точный и можно поставить «хорошо»; третий - приблизительный, поэтому «удовлетворительно»; наконец, четвёртый - слишком уж приблизительный и «тянет» только на «неуд». На экран возможные ответы выводятся каждый раз в произвольном порядке, поэтому бесполезно запоминать номер наилучшего . Для этой формы без каких-либо сложностей создан универсальный алгоритм. Но составить к ней тестовые задания, даже для 4-х бальной шкалы, очень сложно. Именно это и является причиной редкого использования этой формы.
Приведём пример вопроса по курсу ЦОС с выборочным ответом и оценкой по 4-х бальной шкале:
Пример 1.
Формула
-¡И-ьк
хк=Е х ■е'ы
і=0
позволяет вычислить:
1. Комплексный спектр сигнала (оценка «хорошо»).
2. Комплексный спектр дискретного сигнала (оценка «отлично»).
3. Спектр амплитуд (оценка «неудовлетворительно»).
4. Спектр сигнала (оценка «удовлетворительно»).
Естественно, оценки на экране реальной СКТ отсутствуют (петит). Обратите внимание: в списке ответов все ответы верные. Поэтому утверждение «Предлагаемые фальшивые ответы могут ухудшить познания испытуемого и расшатать его базу знаний» в данном случае не действует.
Конечно, использовать для такой формы 12-бальную и, тем более, 100-бальную шкалы оценок практически невозможно. Возможен, однако, совершенно иной вариант - без выборочного контроля [1]. Именно этот вариант является основным в СКТ по техническим дисциплинам. Вспомним слова Д.Менделеева: «Оно, конечно, сказать всё можно, а ты пойди, демонстрируй!» и начнём с примера из ЦОС. На экране появляется задача:
Пример 2.
Цифровой фильтр имеет передаточную функцию
1
И, =
1 - Ъх2 1 - Ъ2г 2
где Ь1=0,23 Ь2=0,56, а частота дискретизации Б=6000 Гц. Чему равна резонансная частота фильтра (в Гц)?
Надо найти ответ и ввести его с клавиатуры (правильный ответ, вычисленный с относительной погрешностью до 1%, равен 1128 Гц). Можно ли угадать ответ? В принципе можно. Но если не иметь понятия о цифровых фильтрах, то вероятность этого пренебрежимо мала. Если же, например, студент знает, что резонансная частота находится в диапазоне 0...Р/2, то вероятность угадывания несколько увеличится, однако останется слишком малой. Даже если хорошо знать свойства предложенного фильтра, всё равно диапазон возможных значений будет велик и вероятность угадать правильное решение останется малой. Нужно вычислять. А для этого одних знаний, пусть даже глубоких, недостаточно - необходимо умение ими пользоваться.
Исходные данные любой задачи (в примере 2 это Ь1, Ь2 и Б) формируются датчиками случайных чисел (естественно, в пределах, допустимых условиями задачи) и при каждом вызове этой задачи они разные, поэтому правильный ответ каждый раз иной и каждый раз его нужно вычислять. Каждая задача является небольшим программным модулем, который и выполняет необходимые вычисления для получения правильного ответа. Поэтому запоминать предшествующий ответ не имеет смысла.
После того, как студент введёт свой ответ, СКТ вычисляет оценку в соответствие с выражением (1):
Оценкаz
if (В = 0) —
— if — int(0.71 • k)
if — int(1.00 • k)
if — int(0.87 • k)
if — int(0.45 • k)
if — int(0.31 • k)
v if — 0
Y
J
(1)
V
J
где А - ответ студента, В - правильный ответ, вычисленный компьютером, k -размер шкалы оценок, int - операция выделения целого, ^ - операция присвоения.
В этом алгоритме реализован принцип: чем меньше погрешность между ответами, вычисленными студентом и компьютером, тем выше оценка по шкале
Таким образом, с утверждением, что «Выборочная форма ответа (а отсюда и компьютерная форма контроля) в общем случае может быть педагогически оправдана лишь при неглубоком текущем или оперативном контроле», можно было бы согласиться, если не распространять его на «компьютерную форму контроля». Нельзя ставить знак равенства между выборочной формой тестирования и компьютерным тестированием. Компьютерное тестирование может использовать выборочную форму (пример - ФЭПО), но, как было показано, не всегда. Более того -выборочную форму предпочтительнее использовать лишь в редких исключительных случаях.
• Для неё (вычислительной машины) творческое мышление - своего рода собачья чушь. Творчество всегда находится за пределами алгоритма.
Это утверждение расплывчатое и весьма неопределённое. Например, признанная точка зрения: Пабло Пикассо - творец. А вот его собственные слова: «Я просто удачно спекулировал на таких качествах своих современников, как глупость, тщеславие и алчность. Это не слишком приятно признавать, но это правда». В тоже время, например, существуют алгоритмы случайного поиска и оптимизации, для работы которых достаточно задать исходные данные и критерии для оценки результата. Практически все промежуточные вычисления и действия алгоритм выбирает самостоятельно, без участия создателя этого алгоритма. Что это? Свобода воли? Творчество? Оставим эти вопросы философам. Нас интересует результат.
Если под творчеством понимать возможность свободного выбора метода решения, то получить ответ на вопрос задачи примера 2 можно, например, интуитивно, аналитически, графически или, наконец, использовать метод случайного поиска. В любом случае, чтобы получить положительную оценку, необходимо иметь представление о цифровых фильтрах.
• Большинство придумываемых вопросов содержат в самих себе
червоточину внутреннего противоречия, недомыслия, нечёткости,
спорности. И каждый преподаватель по-своему трактует эту спорность, натяжку.
Это утверждение само содержит «червоточину внутреннего противоречия». Преподавателю, принимающему устный экзамен, приходится постоянно
придумывать вопросы в реальном времени буквально за секунды. Составитель
тестовых заданий не испытывает столь жёстких временных ограничений и речь может идти только о профессионализме.
Здесь, однако, требуется уточнение. Никакой профессионализм не поможет, если не существует чёткого критерия оценки ответа (или ответов) на поставленный вопрос. Прежде всего с этой проблемой сталкиваются гуманитарные науки. Но не только. Авторы [3] приводят примеры по информатике. Действительно, судя по учебникам, это дисциплина скорее гуманитарная, чем техническая, прикладная. В телеграфном стиле там рассказывается о наиболее популярных программах,
0...k.
которыми оснащается персональный компьютер при покупке (чаще всего это Windows и Office фирмы Microsoft). Научить использовать эти программы учебники по информатике вряд ли могут, разве что дадут некоторое представление об их возможностях. Дают они и некоторое представление о простейших алгоритмических языках и программировании. Но это далеко не само программирование, которое требует интеллекта, творчества, профессионализма.
Если оставить без внимания качество программы, то можно рассматривать её как обычную задачу и оценивать формулой (1). Плохо то, что этот способ чаще всего даёт максимальную или минимальную оценки (программа работает или нет). Кроме того, чтобы написать и отладить программу требуется довольно много времени. Поэтому на экзамене такая форма малопригодна (разве что по курсу программирования).
Для проверки умения отыскивать синтаксические и логические ошибки в исходном модуле СКТ выводит на экран фрагмент программы с заранее введенными ошибками. Задача студента - найти и исправить ошибки. Оценка вычисляется по формуле (2):
где N - количество ошибок в тестовом задании, п - количество исправленных ошибок, т - количество новых ошибок, к - размер шкалы, ^ - операция присвоения.
Тесты с выборочными ответами принципиально не позволяют оценить умения программировать, поскольку в общем случае существует множество вариантов, приводящих к правильному решению. Пример хорошо продуманной технологии тестирования уже несколько лет используют организаторы открытой всеукраинской интернет-олимпиады по информатике [2]. Участникам олимпиады предлагаются задачи, для которых необходимо написать и отладить программу на алгоритмическом языке Паскаль или Си.(см. пример 3).
Задача Dictionary
В тарабарском языке N символов - первые N латинских букв. Тарабарские слова содержат все буквы, причем каждая буква встречается в слове один раз. Главный тарабарский филолог составил словарь, включив в него все возможные слова в алфавитном порядке. Помогите ему найти слово по номеру.
Технические условия:
Вы вводите с клавиатуры количество букв N (2<=N<=12) и номер слова k (1<=k<=N!). Вы выводите на экран тарабарское слово.
Пример:
Ввод 4 5
Вывод
adbc
Участники олимпиады отсылают свои программы организаторам, где они автоматически, без участия оператора, транслируются. Если нет синтаксических ошибок, тестируются и, в зависимости от качества программы, оцениваются. Например, одна из программ для задачи Dictionary получила всего 8 баллов из 20 возможных, хотя решала поставленную задачу вполне правильно (см. пример 3а). К сожалению, организаторы олимпиады не опубликовали критериев, по которым определяется качество программы и оценка в баллах.
Оценкаp
(2)
Пример 3.
Пример 3 a.
Program Dictionary; const max=12;
Alf='abcdefghijklmnopqrstuvwxyz';
Var i, j, k, h, N, q, m: integer; a:array[0 .. 100] of integer; s: array [1..max] of string;
p: integer; begin
read(N,k); if N>max then N:=max; p:=1; for i:=1 to N do p:=p*i; if k>p then k:=p;
for i:=1 to N do s[i]:=Copy(Alf,i,1); for i:=1 to N do a[i]:=i; m:=0; repeat m:=m+1; if m>=k then break; i:=N; while a[i-1]>a[i] do dec(i); j:=i-1; h:=a[j]; while a[i+1]>h do inc(i); a[j]:=a[i]; a[i]:=h; i:=j+1; q:=N; while i<q do begin h:=a[i]; a[i]:=a[q]; a[q]:=h; inc(i); dec(q) end; until j=0;
for i:=1 to N do begin s[i]:=Copy(Alf,a[i],1); write(s[i]); end; end.
Система образования любого уровня всегда консервативна. Это надо учитывать. Нельзя ломать традиционную систему. Вспомним, что первый автомобиль был похож на привычную всем карету и быстро завоевал мир. Но будь он изначально похож на современный автомобиль, то вряд ли нашел бы покупателей. Что-то подобное происходит сейчас и с системами компьютерного тестирования. Методы и системы тестирования должны постепенно дополнять или замещать существующие элементы системы образования. Но даже при таком способе внедрения приходится с трудом преодолевать недоверие. Их нужно разрабатывать совместно с учебными заведениями и практиками. Иначе при попытках внедрения их в учебный процесс возникают почти непреодолимые проблемы. В большинстве случаев недоверие к тестированию вызвано тем, что как правило рассматривают только различные формы с выборочными ответами. На самом деле, возможности интеллектуального компьютерного тестирования значительно выше но, к сожалению, очень редко используются.
• Стандарт полезен и даже необходим для ремесленных, технических проявлений человеческого естества. Для подлинной науки без расширительности ее толкования пропаганда всеобщего стандарта - это путь, чреватый вырождением.
Практически всё, что нас окружает, так или иначе создано наукой. Трудно представить, например, жизнь без электроэнергии, телефона, телевидения. Наука всегда оперирует точными терминами. Поэтому не мешает определиться с термином «стандарт» в науке.
Всего четыре «стандартных» уравнений Максвелла описывают богатейший мир электромагнитных явлений, свойства электрических и магнитных полей, т.е. областей пространства, где между электрическими и магнитными зарядами действуют силы притяжения или отталкивания. Из этих уравнений, опубликованных в 1873 году, вытекало, что свет является электромагнитной волной, а её скорость зависит только от свойств среды распространения. И это задолго до теории относительности Эйнштейна и опытов Майкельсона! Уравнения Максвелла являются ядром науки, которую кратко называют «Электродинамикой» и изучают в любом радиотехническом вузе, поскольку она является основой для проектирования и инженерных расчётов всех существующих систем радио и телевидения, которые нашим предкам показались бы поистине сказочными чудесами. Игнорирование «стандартных» уравнений Максвелла, действительно, «путь, чреватый
вырождением». Стандарты в науке - это её законы, которые следует изучать и уметь ими пользоваться.
Другой пример - математика. Фактически все её теоремы и методы - это стандарты. Современный инженер без умения пользоваться этими «стандартами» -нонсенс.
• «В связи с тем, что из шести вопросов одного из шести блоков вы
ответили правильно только на два вопроса, все ваши результаты по всему тесту признаны неудовлетворительными». На самом-то деле надо набрать не меньше половины в каждом из шести тематических блоков. А блоки эти до сведения преподавателя не доведены, об их существовании тестируемые ничего не знают.
В 1999 г. Россия, Украина и другие государства присоединились к Болонскому процессу. В результате появились кредиты, модули, блоки и рейтинговое оценивание. Кроме замены привычных терминов и путаницы ни к чему более существенному это не привело. В прежние времена пользовались такими понятиями, как практические занятия, лабораторные работы, семинары, коллоквиумы, наконец -зачёты. И только при успешном их выполнении студент допускался к семестровому экзамену.
В конце концов, можно программу курса разбить на разделы (модули, блоки и т.п.) и принимать частный экзамен по разделам курса независимо. Например, каждый из 5 разделов курса оценивать по 20-бальной шкале, а оценку за весь курс выставить как сумму баллов по разделам. По-видимому, недовольные результатами тестирования из приведенной выше цитаты, предполагали именно такую процедуру, которая позволяет получить положительную оценку, не освоив все разделы курса. Организаторы же тестирования полагали, что все разделы курса обязательны.
Обе процедуры допустимы, а вот какую использовать - зависит от содержания курса. Если разделы не имеют глубоких связей (что часто встречается по гуманитарным предметам), то можно использовать простое суммирование баллов без каких-либо ограничений. Если же содержание связано, например, как в курсе ЦОС, где содержание каждого следующего раздела основано на содержании предыдущих, простое суммирование баллов использовать нельзя. Должно действовать условие, что если оценка хотя бы одного раздела ниже допустимой, то и оценка за весь курс ниже допустимой.
Конечно, совершенно непозволительно, что «блоки эти до сведения преподавателя не доведены, об их существовании тестируемые ничего не знают». Впрочем, даже не будь этого недоразумения, при эпизодическом применении СКТ, например, только во время экзаменационной сессии, результат был бы плачевным. СКТ нужно использовать для текущего контроля на практических и лабораторных занятиях. Естественно, в пределах изучаемых в данный период тем или разделов курса. Конечно, методика текущего тестирования иная, чем на экзамене. Нужно иметь возможность оценивать относительный уровень каждого студента индивидуально после каждого текущего тестирования.
СКТ, которая принимала экзамены по курсу ЦОС (рис.1 и 2), использовалась и для текущего тестирования. Для этого разработан специальный режим оценивания относительного уровня знаний (в %), который мотивирует студентов изучать курс последовательно, не ограничиваясь отдельными его разделами. Курс ЦОС состоит из пяти разделов, каждый из которых условно содержит 20% учебного материала. При первом тестировании уровень студента равен нулю. СКТ начинает тестирование, используя задачи только из первого раздела. После решения каждой задачи уровень студента изменяется на величину оценки ли, согласно формуле (3):
где Ли - приращение уровня, и - текущее значение уровня, 1 - порядковый номер раздела, Оценка 100 - оценка текущей задачи по 100-бальной шкале.
При успешном решении задачи уровень возрастает, иначе - падает. Если уровень достигает 20 %, то СКТ начинает тестирование используя задачи из второго раздела курса. При тестировании в третьем разделе нижний предел - 40 % и т. д., пока уровень не достигнет максимальных 100 %, что будет означать успешное
Ди = Оценка100 - 50
и = \и = и + ди
(3)
завершение изучения курса. Очевидно, что переход границ разделов возможен только при средней оценке не ниже 50 баллов по 100-бальной шкале. Аналогично - и всего курса. Таким образом, при достижении 100% уровня, средняя оценка по курсу может находиться в интервале 50... 100 баллов. Если же студент пожелает улучшить оценку, то он может сдать экзамен Системе КТ.
Количество задач, которое приходится решать студенту для освоения каждого раздела и затраченного на это времени - сугубо индивидуально. Всё зависит от способностей и трудолюбия студента. Такой режим использования СКТ быстро выявляет лидеров. К их текущему уровню стараются приблизиться остальные. Это -хороший стимул. Поэтому не можем согласиться с утверждением, что «В редких случаях применение такой формы контроля может быть оправдано применительно к рубежному контролю (зачету). Но никак не к итоговому (экзамен), выпускному или вступительному (поступление в вуз) контролю, где она не годится и недопустима».
• Каждый вуз всегда отличается самобытностью и профиля подготовки специалистов и культуры. Здесь нужно полностью доверять вузу. Такое разделение, на наш взгляд, было бы вынужденно заведомо искусственным - качество вузов определяется теми, кто в них преподает в определенный момент. В плохих знаниях виноваты почти всегда не конкретные преподаватели, а общая постановка обучения,
востребованность знаний в последующих учебных предметах, и, разумеется, сами студенты.
Современные компьютеры появились сначала в вузах, а теперь и в школах. Одни надеются с их помощью существенно улучшить качество обучения, другие считают, что надеждам этим не суждено оправдаться. Возражения последних обычно сводятся к чисто эмоциональному утверждению, что каждый преподаватель умнее любого компьютера. Обычно говорят, что компьютер не может быть умнее программиста. Однако вспомним, компьютер уже выигрывал партии в шахматы и у чемпиона мира по шахматам, что программистам, создавшим эти программы, совершенно не по силам.
Традиционно практическое занятие происходит примерно так: один студент решает задачу у доски, а остальные, что греха таить, занимаются своими делами. Можно возразить, что у хорошего преподавателя всё не так. Но много ли таких преподавателей? Сейчас на выпускающих кафедрах обычно лекторов существенно больше, чем ассистентов. Особенно в политехнических вузах. Количество предметов, по которым вынужден вести практические занятия один ассистент, достигает пяти и даже более (!). В этих условиях ассистент, обычно начинающий преподаватель (пусть и семи пядей во лбу), зачастую знает меньше, чем сами студенты. Мыслимо ли тут говорить о качестве занятий? И об «уме»?
Нечёткий термин «умнее» не позволяет избежать многословия и пустословия. Чтобы избежать этого, нужно говорить о проблемах, способах их решения и результатах. Понятно, что качество индивидуального обучения всегда лучше массового. Например, учитель музыкальной школы занимается по полтора часа в неделю с каждым из учеников (2 урока). Учитель же обычной школы за те же два урока каждому ученику может уделить раз в тридцать меньше, т. е. не более пяти минут в неделю. Это в среднем. Реально - и того меньше. И в вузах дело обстоит не лучше. Основная проблема состоит в том, чтобы качество массового обучения, по возможности, приблизить к индивидуальному и, вместе с тем, оставить его доступным. Недостатки массового обучения хорошо известны. Известна и главная их причина: слишком мало времени преподаватель может уделить каждому из своих учеников. СКТ изначально предназначена для индивидуальной работы с каждым студентом. Естественно, методика проведения, например, практических занятий отличается от традиционной [1].
Область расхождений - Б
Всё изложенное выше относилось к области А (рис.1,2), где кривые оценок по ЦОС и средних семестровых оценок практически совпадают - коэффициент взаимной корреляции между ними очень высокий - 0,977. В области Б - всего 0,021: очевидное расхождение результатов. Оценки СКТ существенно ниже. Но никаких
механизмов для предвзятого отношения к какой-либо части студентов СКТ не содержит. Поэтому и занижение, и завышение оценок наблюдалось бы у всех студентов. Но этого нет. Вывод может быть только один: оценки завышены преподавателями. Почему? Выскажем некоторые гипотезы.
Гипотеза 1. Одна из существенных состоит в том, что нагрузка преподавателя пропорциональна количеству студентов. Выставляя неудовлетворительные оценки, преподаватель рискует быть уволенным. Почти на каждом заседании кафедры ему напоминают, что много неудовлетворительных оценок ставить нельзя. Поэтому преподаватель хотя и стонет, выслушивая «перлы» некоторых студентов на экзаменах, но редко выставляет оценки в соответствии с продемонстрированными знаниями. Одно время эту проблему решили просто: нагрузка преподавателя исчислялась по количеству принятых на первый курс студентов. Естественная убыль за счет отчисления неуспевающих на штатный состав преподавателей не влияла. Теперь этот опыт забыт.
Гипотеза 2. Эту причину стараются не замечать, хотя в студенческой среде о ней говорят совершенно открыто. Речь идёт об оценках за плату. Но доказать это, понятно, весьма сложно, поскольку интересы студентов-неучей и преподавателей-мздоимцев совпадают. Да и кто будет этим заниматься, если администрация обычно придерживается принципа «моя хата с краю»? Об этом неоднократно писалось в прессе, даже публиковались, так сказать, прейскуранты.
Гипотеза 3. Протекционизм. Можно, конечно, отрицать его существование. Но результат говорит сам за себя — даже на последнем курсе очень многие студенты не ориентируются в математике (хотя большинство дисциплин, особенно по радиоэлектронным специальностям, основаны именно на ней), но «успешно» сдают экзамены и защищают дипломные работы.
Гипотеза 4. Можно спорить о плюсах и минусах СКТ, одно бесспорно — объективность тут гарантирована (кстати, именно это качество СКТ является основным препятствием их широкого использования в учебном процессе). Так вот, некоторым студентам, в зачётках которых одни тройки и за которых постоянно ратуют «просители», как правило, не удаётся получить положительную оценку на компьютере. Зато позже, на комиссии (есть в вузах такая форма последней попытки пересдать экзамен), уже без компьютера — получают вожделенное «удовлетворительно». И тайны тут нет никакой: редкий преподаватель сможет отказать, например, заведующему кафедрой, тем более - проректору.
Гипотеза 5. Экономят личное время. Мотив: рано или поздно придётся выставить вожделенные «удовл.» (50 баллов). Оправдываются же тем, что учат только тех, кто этого хочет. Игнорируется очевидный факт, что любая система образования всегда функциональна и завершается выдачей аттестата, диплома и т. п. Диплом государственного образца должен подтверждать гарантию качества и гарантию конвертирования диплома хотя бы в пределах своего государства. Результат - девальвация дипломов.
К сожалению, можно привести многочисленные факты, подтверждающие эти гипотезы. Решение проблемы только одно — необходимо разделить процессы обучения и контроля знаний. Это очевидно, например, в спорте, где результаты работы тренера оцениваются судейской коллегией на соревнованиях. Присваивайте спортсменам звания, а тренерам ордена по результатам, которые тренер самолично и бесконтрольно напишет в ведомости, и вы получите то же состояние, в каком оказалось наше высшее (и не только высшее) образование.
Кому это нужно, а кому нет?
Ответ зависит от точки зрения. Основная часть преподавателей, работающая, как говорится - не за страх, а за совесть (сейчас точнее было бы сказать - не за зарплату.), быстро поймёт, что системы компьютерного тестирования не конкуренты, а прекрасные помощники в их нелёгком труде, наравне с учебниками, различными пособиями и библиотеками. Они будут испытывать только радость и гордость, когда их воспитанники станут успешно проходить независимое тестирование на СКТ. Точно так же, как гордятся сейчас учителя и директора школ своими выпускниками, ставшими студентами.
К сожалению, немалая часть преподавателей станет активно или пассивно противиться использованию в учебном процессе СКТ. Во-первых, даже квалифицированные преподаватели, которые сейчас предпочитают не травмировать свою нервную систему и ставить оценки «удовлетворительно» неучам, чем потом держать ответ перед администрацией за низкую успеваемость. Их «благодушие» проявится при первом же тестировании. Во-вторых, преподаватели, которые придерживаются принципа «как платят, так и работаем». Независимое тестирование сразу же выявит их «метод» работы. В-третьих: преподаватели-мздоимцы, торгующие оценками. Они лишатся немалых доходов. Наконец, преподаватели (независимо от наличия степеней и званий), которым преподавательская деятельность просто противопоказана.
Судя по массовому появлению в вузах бутафорных методик бумажного тестирования, СКТ у руководства большинства вузов энтузиазма не вызывают, хотя они могли бы существенно снизить острую нужду в квалифицированных педагогах и постоянную нехватку аудиторного фонда. Не говоря уже об улучшении качества подготовки выпускников. Но не это даже главное. Мздоимство разлагает молодёжь и подрывает систему образования. Об этом постоянно пишет пресса, но воз и ныне там. Мздоимство и его разновидность - протекционизм, будут существовать до тех пор, пока для этого будет существовать хотя бы малая возможность. Повторим: прекратить столь постыдное явление можно только одним способом - отделив процесс аттестации от обучения, а сама аттестация должна стать независимым компьютерным тестированием. Иначе мздоимство просто перекочует в систему аттестации.
Студенты, которые пришли в вуз за знаниями, одобряют независимое компьютерное тестирование, прежде всего из-за того, что оно ограждает их от необъективности и своеволия. Ну, а для тех студентов, кому нужен только диплом, а не знания, - создаёт серьезные проблемы. Естественно, они против.
В завершение, ещё раз напомним: любая методика и технология тестирования, включая и СКТ, допустима только для тех предметов, где имеются чёткие критерии, что хорошо, а что плохо. Особенно остро ощущается отсутствие чёткости этих критериев в гуманитарных дисциплинах. Показательный пример - история.
Литература
1. Оганесян А.Г. Опыт компьютерного контроля знаний. - Москва:
Дистанционное образование, № 6, 1999, с.30-35.- http://www.fcde.ru
2. Открытая Всеукраинская интернет-олимпиада по информатике NetOI. -
Винницкий городской центр дистанционного образования физикоматематической гимназии 17. // А. Ботезату, Г.Кравец, Г.Непомнящий,
Ю.Пасихов. - http://www_olymp_vinnica_ua.
3. Скворцов В.В. и др. О федеральном экзамене профессионального
образования, практике его применения и истолкования. //Educational
Technology & Society 10(3) 2007. ISSN 1436-4522.- http://ifets.ieee.org/russian.
