CC BY
15
ПЕДАГОГИЧЕСКИЕ НАУКИ
УДК 378.146
ЭВОЛЮЦИЯ МОДЕЛЕЙ ПЕДАГОГИЧЕСКОГО ТЕСТИРОВАНИЯ ОБУЧАЮЩИХСЯ В СИСТЕМЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
О. В. Артюшкин1, Т. А. Артюшкина2
^Хакасский государственный университет им. Н. Ф. Катанова (2>Хакасский филиал Красноярского государственного аграрного университета
В статье рассматриваются особенности применения классической модели педагогического тестирования, моделей тестирования с возрастающей сложностью, с разделением заданий по уровням усвоения, с учётом времени ответа на задание, с ограничением времени на тест, а также модели тестирования по сценарию. В ней также обосновывается эффективность применения в педагогическом тестировании адаптивной модели и модели на нечёткой математике.
Ключевые слова: тестирование, модели педагогического тестирования, классическая модель тестирования, адаптивная модель тестирования.
Важной частью процесса обучения является контроль знаний, который позволяет получить всестороннюю оценку уровня знаний обучаемых. Одной из хорошо зарекомендовавших себя форм контроля знаний является тестирование. Тестирование обладает множеством определённых недостатков, однако оно является единственным по-настоящему технологическим средством для измерения уровня знаний. Это делает его незаменимым инструментом, позволяющим должным образом организовать управление учебным процессом и обеспечить эффективный педагогический контроль.
Вопросами научной разработки тестов для объективного контроля знаний и обработки результатов тестирования, согласно концепции В. С. Аванесова, занимается педагогическая тестология. Анализ результатов исследований зарубежных (Д. Вилфорд, К. Ингенкамп) и отечественных (В. С. Аванесов, В. П. Беспалько, Ю. Ф. Гущин, Г. У. Матушанский, М. Б. Челышкова, А. О. Татур и др.) учёных-педагогов показал, что педагогические тесты являются одним из наиболее мощных, надёжных и объективных методов определения успехов (достижений) учащихся и студентов.
Разработка тестовых заданий и обработка результатов тестирования подробно изложены в работах В. С. Аванесова, А. Н. Майорова, Ю. М. Неймана, М. Б. Челашковой [1; 2; 3; 4]. Однако не менее важное значение имеет порядок предъявления заданий обучаемому и метод определения уровня его знаний по результатам тестирования, т. е. модель тестирования. Необходимо отметить, что рассматриваемые модели применяются для педагогического тестирования, т. е. для оценки знаний, и отличаются от моделей, применяемых в психологических тестах для определения характеристик личности, поэтому их принято называть моделями педагогического тестирования.
При работе с тестами всегда нужно учитывать надёжность результатов тестирования. Под надёжностью тестовых результатов понимается характеристика, показывающая точность измерения знаний заданиями теста. Нужно отметить, что речь идёт не о надёжности теста, а о надёжности результатов тестирования, т. к. на неё сильно влияет степень однородности различных групп обучаемых, уровень их подготовленности и ряд других факторов, связанных не с самим тестом, а с условиями проведения процесса тестирования.
В теории и практике педагогического тестирования выделяют следующие модели тестирования:
- классическая модель тестирования;
- классическая модель тестирования с учётом сложности заданий;
- модель тестирования с возрастающей сложностью;
- модель тестирования с разделением заданий по уровням усвоения;
- модель тестирования с учётом времени ответа на задание;
модель тестирования с ограничением времени на выполнение заданий теста; адаптивная модель тестирования; модель тестирования по сценарию; модель на нечёткой математике.
Классическая модель тестирования является самой первой и самой простой. В этой модели из определённого множества заданий случайным образом выбирается некоторое количество тестовых заданий. Тестируемый
выбирает правильный, по его мнению, ответ, получая оценку «правильно» или «неправильно». Результатом тестирования является процент правильных ответов обучаемого.
При простоте реализации эта модель имеет следующие недостатки:
- из-за случайности выборки невозможно определить, какие задания по сложности достанутся обучаемому;
- оценка по тесту зависит от количества правильных ответов и не учитывает сложность заданий.
Классическая модель из-за своих недостатков имеет самую низкую надёжность, т. к. отсутствие учёта параметров заданий часто не позволяет объективно оценить знания обучаемого. По этой причине в настоящее время в системе высшего профессионального образования всё чаще отказываются от использования данной модели и переходят к более совершенным и эффективным моделям, например, к адаптивному тестированию.
Развитием классической модели является учёт сложности тестовых заданий. В классической модели с учётом сложности заданий при подсчёте результата тестирования учитывается сложность вопросов, на которые обучаемый дал правильный ответ. Чем выше сложность вопроса, тем выше будет результат тестирования. Для вопросов, на которые был дан неправильный ответ, сложность не учитывается.
Недостатком этой модели является невозможность из-за случайности выборки заранее определить, какие задания по сложности достанутся обучаемому. В итоге одному обучаемому могут достаться лёгкие задания, а другому - сложные.
Модели с учётом сложности тестовых заданий позволяют более адекватно подойти к оценке знаний проверяемых. Но случайность выбора заданий не позволяет добиться параллельности тестов по сложности, т. е. одинаковости суммарных характеристик сложности заданий, что снижает надёжность тестирования.
В модели с возрастающей сложностью предлагается несколько уровней сложности. При этом в тесте присутствуют задания всех уровней сложности. Из всего множества тестовых заданий случайным образом выбирается определённое количество заданий. Выбранные задания сортируются по возрастанию сложности, после чего они предлагаются обучаемому. Результат тестирования определяется аналогично модели с учётом сложности заданий. Данная модель обеспечивает параллельность тестов по сложности, т. е. надёжность результатов тестирования здесь ещё выше, чем в предыдущих моделях.
Модель с разделением заданий по уровням усвоения. Данная модель описывается в работах В. П. Беспалько, Ю. Г. Татур [5] и А. В. Соловова [6]. За основу тестирования принимается уровни усвоения учебного материала, которые подразделяются следующим образом:
1) Нулевой уровень (Понимание) - это такой уровень, при котором обучаемый способен понимать, т. е. осмысленно воспринимать новую для него информацию. Фактически речь идёт о предшествующей подготовке обучаемого.
2) Первый уровень (Опознание) - это узнавание изучаемых объектов при повторном восприятии ранее усвоенной информации о них или действиях с ними, например, выделение изучаемого объекта из ряда предъявленных объектов.
3) Второй уровень (Воспроизведение) - это воспроизведение усвоенных ранее знаний от буквальной копии до применения в типовых ситуациях. Примеры: воспроизведение информации по памяти, решение типовых задач по образцу.
4) Третий уровень (Применение) - это такой уровень усвоения информации, при котором обучаемый способен самостоятельно воспроизводить и преобразовывать усвоенную информацию для обсуждения известных объектов и применения её в нетиповых ситуациях. При этом обучаемый способен генерировать новую для него информацию об изучаемых объектах. Примеры: решение нетиповых задач, выбор подходящего алгоритма из набора ранее изученных алгоритмов для решения конкретной задачи.
5) Четвёртый уровень (Творческая деятельность) - это такой уровень владения учебным материалом темы, при котором обучаемый способен создавать новую информацию, которая ранее никому не была известна. Пример: разработка нового алгоритма решения задачи.
Задания составляются для каждого из пяти уровней. Сначала проводится тестирование с использованием заданий по уровню 0, затем по уровню 1, 2 и т. д. Перед переходом с уровня на уровень вычисляется степень владения учебным материалом на данном уровне и определяется возможность перехода на следующий уровень.
Для измерения степени владения учебным материалом на каждом уровне используют коэффициент К, определяемый как отношение количества правильно выполненных существенных операций в процессе к общему количеству существенных операций в тесте.
Под существенными понимают те операции, которые выполняются на проверяемом уровне а. Операции, принадлежащие к более низким уровням, в число существенных не входят. Исходя из этого, 0 < К < 1.
Таким образом, уровень усвоения учебного материала может быть использован для оценивания качества знаний у обучаемого и выставления оценки. Для выставления оценок предлагаются такие критерии: К < 0,7 -неудовлетворительно; 0,7 < К < 0,8 - удовлетворительно; 0,8 < К < 0,9 - хорошо; К > 0,9 - отлично. При К < 0,7 рекомендуется продолжить процесс обучения на том же уровне.
Модель с учётом времени ответа на задание. В данной модели при определении результата тестирования учитывается время ответа на каждое задание. Это делается для того, чтобы учесть возможность несамостоятельного ответа на задания: обучаемый может долго искать ответ в учебнике или других источниках, но в итоге его оценка всё равно будет низкой, даже если на все вопросы он ответил правильно. С другой стороны, если он не пользовался подсказками, а долго думал над ответами, это означает, что он недостаточно хорошо изучил теорию, а в результате даже при правильных ответах оценка будет снижена [7].
Модели с учётом времени ответа на задание также позволяют повысить надёжность результатов тестирования, особенно в сочетании с моделью с учётом сложности заданий.
Модель с ограничением времени на тест. В процессе организации и проведения тестирования по этой модели указывается максимальное время для прохождения теста (ответа на все выбранные задания). Для оценки результатов тестирования берутся только те задания, на которые успел ответить обучаемый за данное время. Сам тест может быть построен по вышеприведённым моделям.
В некоторых работах рекомендуется обязательно сортировать задания по возрастанию сложности и устанавливать такое время тестирования, за которое на все задания теста не сможет ответить ни один, даже самый сильный обучаемый. Такой подход предлагается применять при тестировании на бланках, когда обучаемый видит перед собой сразу все задания. Суть его в том, что, когда обучаемый ответит на все задания, а время у него ещё останется, он может начать проверять свои ответы, сомневаться, а в итоге может исправить правильные ответы на неправильные. Поэтому рекомендуется или ограничивать время на тест или забирать бланк сразу после ответа на все задания теста.
Адаптивная модель является продолжением классической модели с учётом сложности заданий. Адаптивным называется тест, в котором сложность заданий меняется в зависимости от правильности ответов испытуемого. Если обучаемый правильно отвечает на тестовые задания, сложность последующих заданий повышается, если неправильно - понижается. Также есть возможность задавания дополнительных вопросов по темам, которые обучаемый знает не очень хорошо; это делается для более тонкого выяснения уровня знаний в данных областях. Таким образом, можно сказать, что адаптивная модель напоминает преподавателя на экзамене: если обучаемый отвечает на задаваемые вопросы уверенно и правильно, преподаватель достаточно быстро ставит ему положительную оценку. Если обучаемый начинает «плавать», то преподав а-тель задаёт ему дополнительные или наводящие вопросы того же уровня сложности или по той же теме. И, наконец, если обучаемый с самого начала отвечает плохо, оценку преподаватель тоже ставит достаточно быстро, но отрицательную.
Данная модель применяется для тестирования обучаемых с помощью компьютера, т. к. на бумажном бланке невозможно заранее разместить столько вопросов и в том порядке, сколько и в котором они должны быть предъявлены обучаемому [8; 9].
Тестирование обычно начинается с заданий средней сложности, но можно начинать и с «лёгких» заданий. Тестирование заканчивается, когда обучаемый выходит на некоторый постоянный уровень сложности, например, отвечает подряд на некоторое критическое количество вопросов одного уровня сложности. Адаптивная модель тестирования имеет следующие достоинства: позволяет более гибко и точно измерять знания обучаемых; измеряет знания меньшим количеством заданий, чем в классической модели;
выявляет темы, которые обучаемый знает плохо и позволяет задать по ним ряд дополнительных вопросов. К недостаткам этой модели можно отнести:
невозможность заранее узнать, сколько вопросов необходимо задать обучаемому, чтобы определить его уровень знаний. Если вопросов, заложенных в систему тестирования, оказывается недостаточно, можно прервать тестирование и оценивать результат по тому количеству вопросов, на которое ответил обучаемый;
возможность применения только с использованием компьютерной техники.
Надёжность результатов тестирования в данном случае самая высокая, т. к. осуществляется приспособление под уровень знаний конкретного обучаемого, что обеспечивает более высокую точность измерений.
Модель тестирования по сценарию также является продолжением классической модели. Данная модель реализуется в системе Дистанционного асинхронного обучения, разрабатываемой в Татарском институте содействия бизнесу (ТИСБИ).
Существенным недостатком классической модели является непараллельность тестов для различных обучаемых, т. к. нельзя заранее определить, какие задания по сложности и по каким темам достанутся обучаемому. Поэтому при сценарном тестировании преподаватель перед тестированием формирует сценарий тестирования, где он может указывать:
количество заданий по каждой теме, которые должны быть включены в тест;
количество заданий каждого уровня сложности, которые должны быть включены в тест;
количество заданий каждой формы, которые должны быть включены в тест;
время прохождения теста.
Сценарий может создаваться по любому объёму учебного материала: разделу, предмету, специальности и т. д.
В этой модели применяют четыре формы тестовых заданий:
1. Задания с выбором, которые делятся на три подгруппы:
а) задания с выбором одного правильного ответа, или одновариантные задания;
б) задания с выбором нескольких правильных ответов, или многовариантные задания;
в) задания с выбором наиболее правильного ответа;
2. Открытые задания.
3. Задания на установление соответствия.
4. Задания на установление правильной последовательности.
Выборка заданий каждого уровня сложности, по каждой теме, каждой формы и т. д. производится случайным образом из общей базы заданий и непосредственно при тестировании; поэтому каждый обучаемый получает свои задания. Получаемые тесты для всех обучаемых являются параллельными, т. е. имеют одинаковое число заданий и одинаковую суммарную сложность. Но в отличие от модели с возрастанием сложности, которая также обеспечивает параллельность, здесь разработчик теста решает сам, сколько и каких заданий должно быть предъявлено по каждой теме. Следовательно, в рамках данной модели обеспечиваются абсолютно одинаковые условия тестирования для всех обучаемых.
По сравнению с адаптивной моделью рассматриваемая модель является менее эффективной, т. к. не настраивается под индивидуальные особенности каждого обучаемого, однако она имеет преимущество психологического характера: при тестировании по адаптивной модели обучаемые отвечают на разное количество вопросов и как будто бы находятся в разных условиях. В случае тестирования по сценарию все обучаемые получают одинаковое количество вопросов по каждой теме и по каждому уровню сложности.
Надёжность результатов тестирования сопоставима с надёжностью, получаемой при тестировании с возрастанием сложности.
Модель на нечёткой математике. Цель введения нечёткой математики - попытка математической формализации нечётких, качественных явлений и объектов с размытыми границами, встречающихся в реальном мире. Нечёткое управление оказывается особенно полезным, когда описываемые процессы являются слишком сложными для анализа с помощью общепринятых количественных методов или когда доступные исто ч-ники информации интерпретируются качественно, неточно или неопределённо. Экспериментально показано, что нечёткое управление даёт лучшие результаты по сравнению с получаемым при общепринятых алгоритмах управления. Нечёткая логика, на которой основано нечёткое управление, ближе по духу к человеческому мышлению и естественным языкам, чем традиционные логические системы. Нечёткая логика обеспечивает в основном эффективные средства отображения неопределённостей и неточностей реального мира. Наличие математических средств отражения нечёткости исходной информации позволяет построить модель, адекватную реальности.
Данная модель тестирования является развитием любой предыдущей модели, в которой вместо чётких характеристик тестовых заданий и ответов используются их нечёткие аналоги. Примерами могут служить:
- сложность задания («лёгкое», «среднее», «выше среднего», «сложное» и т. п.);
- правильность ответа («правильно», «частично правильно», «скорее неправильно», «неправильно» и т. п.);
122
- время ответа («маленькое», «среднее», «большое», «очень большое» и т. п.);
- процент правильных ответов («маленький», «средний», «большой», «очень большой» и т.п.); итоговая оценка.
Введение нечётких характеристик может помочь преподавателям разрабатывать тесты. Например, преподаватель может достаточно быстро определить, является ли задание сложным или нет. Но сказать точно, насколько оно сложно, например, по 100-бальной шкале или точно оценить разницу сложностей двух заданий, будет для него достаточно трудно. С точки зрения обучаемого нечёткая оценка его знаний в виде «хорошо», «отлично», «не очень хорошо» и т. п. более понятна ему, чем чёткое количество баллов, которое он набрал в результате тестирования [7].
На основе вышеперечисленных базовых моделей комбинируются следующие:
- классическая модель с учётом сложности заданий и модель с учётом времени ответа на задание;
- модель с возрастающей сложностью и модель с учётом времени ответа на задание;
- модель с возрастающей сложностью и модель с ограничением времени на тест;
- модель с учётом времени ответа на задание и адаптивная модель;
- модель с учётом времени ответа на задание и модель на нечёткой математике;
- модель с разделением заданий по уровням усвоения и модель с учётом сложности заданий.
Опыт организации и проведения тестирования обучающихся во многих вузах страны говорит о редком использовании старых классических моделей, которые не позволяют достаточно быстро и эффективно оценивать знания. В связи с этим разрабатываются и внедряются новые модели тестирования, которые настраиваются на особенности обучаемых, в том числе, с использованием нечёткой математики.
С появлением адаптивных тестов и тестов, построенных на принципах нечёткой математики, теория тестирования вышла на новый уровень функционирования и получила более широкое применение. Решён ряд вопросов по повышению качества контроля знаний учащихся, которые не могли быть решены при классических моделях тестирования.
Практический опыт многих высших учебных заведений нашей страны показывает, что использование таких передовых моделей педагогического тестирования, как адаптивная модель и модель на нечёткой математике, повышает эффективность тестовых измерений, точность оценок испытуемых, даёт более объективную оценку знаний, умений и навыков обучаемых, а также позволяет экономить время и, соответственно, стоимость проведения тестирования.
Библиографический список
1. Аванесов, В. С. Композиция тестовых заданий / В. С. Аванесов. - М.: Центр тестирования, 2002. - 240 с.
2. Майоров, А. Н. Теория и практика создания тестов для системы образования: Как выбирать, создавать и использовать тесты для целей образования / А. Н. Майоров. - М.: Интеллект-центр, 2001. - 296 с.
3. Нейман, Ю. М. Введение в теорию моделирования и параметризации педагогических тестов / Ю. М. Нейман, В. А. Хлебников. - М.: 2000. - 168 с.
4. Челашкова, М. Б. Теория и практика конструирования педагогических тестов: учеб. пособие / М. Б. Челашкова. - М.: Логос. 2002. -432 с.
5. Беспалько, В. П. Системно-методическое обеспечение учебно-воспитательного процесса подготовки специалистов: учебно-метод. пособие / В. П. Беспалько, Ю. Г. Татур. - М.: Высшая школа, 1989. - 144 с.
6. Соловов, А. В. Проектирование компьютерных систем учебного назначения: учебное пособие / А. В. Соловов. - Самара: СГАУ, 1995. -140 с.
7. Попов, Д. И. Способ оценки знаний в дистанционном обучении на основе нечетких отношений / Д. И. Попов // Дистанционное образование. - 2000. - № 6. - С. 26-28.
8. Адаптивное тестирование: учебно-метод. пособие / Н. М. Опарина и др. - Хабаровск: Изд-во ДВГУПС, 2007. - 95 с.
9. Челашкова, М. Б. Адаптивное тестирование в образовании (теория, методология, технология) / М. Б. Челашкова. - М: Исследовательский центр проблем качества подготовки специалистов, 2001. - 165 с.
© Артюшкин О. В., Артюшкина Т. А., 2013
