CC BY
229
ИННОВАЦИОННЫЕ ПЕДАГОГИЧЕСКИЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ
РАЗРАБОТКА ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ
М.И. Беляев
Институт международных программ Российский университет дружбы народов ул. Миклухо-Маклая, 6, Москва, Россия, 117198
Статья посвящена вопросу разработки тестовых заданий для компьютерного тестирования, используемых как в традиционной системе обучения, так и в системе дистанционного обучения (ДО). Публикация представляет собой краткое обобщение опыта по созданию педагогических тестов для электронных учебников. Анализируются основные проблемы, связанные с проектированием тестовых заданий, необходимых для эффективного и качественного контроля и оценки уровня знаний учащихся.
Ключевые слова: тестирование, тренинг, самоконтроль, текущий контроль, рубежный контроль, итоговый контроль.
Классическая теория тестирования была создана в 1930-е гг. В настоящее время существует множество различных теоретических подходов к контролю и оценке знаний учащихся с помощью педагогических тестов. Педагогический тест — это «тест, отражающий содержание заданий области знаний, нацеленный на заданный результат и обеспечивающий устойчивые показатели оценивания действий испытуемых с фиксированным уровнем обученности».
По целевым задачам различают:
— тренирующие тесты (тренажеры) — для осмысления и закрепления полученной учебной информации учащимися. Они имеют обязательно обратную связь с теорией и комментариями;
— контролирующие тесты — для диагностики уровня усвоения знаний учащихся после изучения определенного фрагмента курса (модуля, раздела, темы и курса в целом), не имеющие прямой обратной связи с теорией и комментариями.
С помощью контроля (самоконтроля) можно выявить достоинства и недостатки новых методов обучения, установить взаимосвязь между планируемыми, реали-
зуемыми и достигнутыми уровнями образования, оценить достижения учащегося и выявить пробелы в его знаниях, дать руководителю учебного заведения объективную информацию для принятия управленческих решений и выполнить целый ряд других не менее важных задач.
Обычно выделяют следующие виды тестового контроля:
— текущий (тематический) контроль. Текущий контроль и самоконтроль осуществляется с помощью педагогических тестов. Проведение текущего самоконтроля — наиболее простой для студента способ получить оперативную информацию о своих знаниях. Такой контроль создает условия для своевременной самокоррекции процесса усвоения знаний в нужном направлении в случае неудовлетворительных результатов контроля. Разработка системы тестов для текущего (тематического) контроля органически связана с использованием компьютера, что, конечно, не исключает традиционную форму контроля с помощью тестов;
— промежуточный (рубежный) контроль сводится к выявлению результатов определенного этапа обучения. Оценка уровня подготовки обучаемых в этом случае производится как с помощью тестов, так и с помощью традиционных форм — зачетов по разделам программы и экзаменов. Важным показателем полноценности как промежуточного, так и текущего контроля является уровень сформированно-сти навыков самоконтроля у обучаемых, умение осуществлять контроль за результатом собственной деятельности и корректировать ее в процессе выполнения заданий;
— итоговый контроль. Цель итогового контроля — оценка работы учащихся после прохождения всего учебного курса. Обычно формой итоговой оценки обучаемого является его отметка на экзамене либо результаты выполнения итогового теста. В отличие от обычных экзаменов, где сплошной опрос заменяется выборочным, тесты позволяют включить задания на все или по крайней мере почти на все требования программы (стандартов) и тем самым повысить обоснованность аттестационных оценок.
При разработке тестовых заданий для текущего, рубежного и итогового контроля необходимо в первую очередь учитывать не только специфику содержания учебной дисциплины, но и педагогические и психологические закономерности оценивания усвоенных знаний учащимися, а также учитывать следующие требования:
— валидность (адекватность). Различают содержательную и функциональную валидность. Содержательная валидность — это соответствие теста содержанию учебного материала (при сплошной разработке заданий это требование соблюдается); функциональная валидность — соответствие теста оцениваемому уровню деятельности;
— определенность (общедоступность) необходима не только для понимания каждым студентом того, что он должен выполнять, но и для исключения правильных ответов, отличающихся от верного ответа (эталона);
— простота: тест должен иметь одно задание одного уровня, т.е. не должен быть комплексным и состоять из нескольких заданий разного уровня усвоения;
— однозначность — одинаковость оценки качества выполнения теста разными экспертами (т.е. понимание того, что тест относится к соответствующему уровню);
— надежность заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. Надежность теста или батареи тестов растет с увеличением количества заданий, входящих в тот или иной уровень. Например, при 20 заданиях вероятность правильного измерения (надежность теста) равна 0,5; при 80 — 0,9, а при 100 — 0,99.
Соблюсти данные требования при проектировании тестов — непростая задача. В таблице 1 приведены практические сведения о количестве тестовых заданий для разных дисциплин, для которых разработаны электронные учебно-методические комплексы дисциплин (ЭУМКД).
С нашей точки зрения, разработка тестовых заданий для формирования банка тестовых заданий к каждой учебной дисциплине должна включать следующие блоки тестов:
— блок тестов для создания электронного практикума (обучающий тренинг);
— блок тестов для тематического контроля/самоконтроля знаний (текущий самоконтроль);
— блок тестов для контроля знаний после изученного раздела, модуля (промежуточный контроль);
— блок тестов для проведения экзаменов после изучения всего курса (итоговый контроль).
Таблица 1
Количество тестовых заданий и вопросов для системы контроля и оценки уровня знаний
Название дисциплин № ТЕМЫ X
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
Психология и педагогика 27 80 70 63 70 80 78 66 62 75 15 69 54 67 66 60 43 51 1096
Культурология 51 26 20 81 27 35 24 45 29 27 20 24 18 12 16 13 468
Философия 25 29 30 48 37 40 9 45 48 59 33 30 27 34 22 30 45 18 609
История 9 98 37 74 44 44 41 61 61 32 34 535
Экономика 21 63 29 14 33 35 44 19 30 28 28 54 46 40 24 48 21 577
Правоведение 94 22 26 10 14 11 14 18 20 6 22 21 19 20 18 18 30 10 10 10 10 10 10 10 10 10 10 10 493
Русский язык и культура речи 12 24 14 28 15 32 21 15 22 5 16 23 15 13 8 10 17 7 11 17 15 340
Социология 20 29 24 9 21 17 11 11 18 10 12 19 11 11 9 9 7 248
Политология 27 34 28 26 26 20 19 19 35 30 22 19 23 18 20 11 20 397
Рассмотрим один из возможных вариантов формирование каждого блока.
1. Блок тестов с элементами обучения (обучающий тренинг или тренирующие тесты). Данный блок тестовых заданий предназначен для дальнейшего формирования знаний через тренировку, закрепление и систематизацию добываемых знаний самостоятельно (см. табл. 1). Тренирующие тесты (тренинги) предполагают обратную связь с соответствующим фрагментом учебного текста и с комментариями в случае неправильного ответа на вопрос тестового задания. Изучая каждый раздел теории, студент должен иметь возможность закрепить изученную порцию материала, проверив себя на понимание и усвоение нового через задания.
Естественно, что без такого важного этапа учебного процесса, как формирование умений, навыков и закрепление знаний, нельзя переходить к контролю уровня знаний студента.
Наличие банка заданий и вопросов для самообучающего тренинга диктуется основной целью — повышением эффективности обучения. Создание такого блока по каждой теме потребует определенных усилий со стороны преподавателя, зато резко повысит эффект обучения и самостоятельности при изучении той или иной учебной дисциплины.
При разработке банка заданий и вопросов для системы обучающего тренинга (электронного практикума) рекомендуется придерживаться следующих правил:
— при разработке тестов авторам необходимо осуществлять сплошное прохождение всего содержательного поля текстового материала — от абзаца к абзацу, от фрагмента к фрагменту, от темы к теме (ничего не пропуская);
— выявлять в каждом фрагменте значимые контрольные единицы знаний (понятия, определения, факты, даты, ключевые мысли и т.д.), для каждой единицы знаний необходимо разработать определенный тип/вид тестового задания;
— использовать при разработке, конструировании и оформлении вопросов и упражнений различные по форме и типам задания [1].
Как показал практический опыт работы с учебными текстами различных дисциплин, количество заданий (в том числе и контрольных вопросов) по теме составляет в среднем от 15—35 до 50 заданий. Количество заданий зависит от характера, содержания и объема учебного материала, а также от количества тем, входящих в тот или иной курс. Если, например, курс содержит 15 тем, то банк вопросов и заданий для самообучающего тренинга (тренирующих тестов) должен включать в среднем около 250—700 тестов (от минимума до максимума).
2. Автоматическое формирование блока тестов для тематического самоконтроля (текущий оперативный контроль или самоконтроль). При наличии соответствующей компьютерной программы, а также банка заданий и вопросов для обучающего тренинга студент или преподаватель, задав любую цифру (количество заданий по теме), автоматически получает готовый тест для самотестирования или для контроля со стороны преподавателя.
Например, задается цифра 10 для темы 1, в соответствии с которой компьютерная программа автоматически осуществит выборку 10 вопросов из 15—35 за-
даний, которые содержатся в банке тренинговых тестовых заданий по данной теме, или используются все тестовые задания по каждой теме для самотестирования без выборки. Как было сказано выше, тесты для самоконтроля не предполагают обратной связи с учебными текстами и комментариями. При повторной выборке компьютерной программой тестов (предположим, задана та же цифра 10) мы получим для новой группы студентов другой блок тестов для текущего контроля. И если на предварительном этапе преподаватель создаст для каждой темы не 15—35 заданий, а 35—50, то будет еще лучше — вероятность совпадения заданий в последнем случае при выборке уменьшается.
3. Автоматическое формирование блока тестов для проверки изученных разделов, модуля (рубежный контроль знаний). Для промежуточного контроля и оценки уровня знаний после изученного раздела или модуля (обычно раздел включает 2—4 темы) задается меньшая цифра для автоматического получения готового теста по разделу. Например, если для получения тематического теста необходимо половина вопросов от количества 15—35, входящих в тренинговый банк заданий, или все, то для раздела необходимо меньшее количество, например, от 6 до 10 тестовых заданий по каждой теме, входящих в соответствующий раздел. Рубежный контроль осуществляется в режиме самоконтроля после изученного раздела либо в режиме контроля со стороны преподавателя — в зависимости от целей и задач курса.
4. Автоматическое формирование блока тестов для оценки уровня знаний после всего изученного курса (итоговый или экзаменационный контроль). Для итогового контроля в конце изучения курса (включает 5—10 разделов) задается еще меньшая цифра для получения готового теста по всему изученному курсу. Например, если для получения тематического теста необходима половина вопросов от количества 15—35, входящих в тренинговый банк данных; для раздела от каждой темы, входящих в раздел, — меньше, например, по 6—7 вопросов, то для всего курса от каждого раздела — еще меньше, например, по 3—4 задания по теме. Итоговый контроль осуществляется как в режиме самоконтроля после изучения всего курса, так и в режиме контроля со стороны преподавателя.
При автоматическом формировании блока тестовых заданий для промежуточного и итогового контроля из-за принципа случайной выборки будут попадать в блок «несущественные» тестовые задания, т.е. незначимые (не имеющие «веса»), неинформативные, необобщенные, что, конечно, будет снижать объективность и эффективность качества контроля уровня знаний учащихся (рис. 1). Можно осуществить несколько автоматических выборок, получив два-три теста для промежуточного и итогового контроля.
Тест-задания для промежуточного (рубежного) контроля предназначены для диагностирования уровня знаний, полученных студентом после изучения раздела. Прежде чем перейти к автоматической выборке заданий и вопросов для промежуточного (рубежного) контроля, преподавателю необходимо сначала выбрать из каждой темы наиболее значимые («весовые») задания, из которых в дальнейшем и будет осуществляться автоматическая выборка заданий для получения теста промежуточного контроля. Значимые тесты — это те, которые соответствуют целям и задачам промежуточного или итогового контроля, носят более информативный, обобщенный характер, обладают большим весом.
Формирование знаний
Контроль и оценка уровня знаний
самообучение
обучающий самоконтроль
текущии контроль
промежуточный контроль
итоговый контроль
Электронные учебные тексты (гипертексты) Электронный практикум (обучающий тренинг) Тесты изученных тем Тесты изученных разделов Тесты изученного курса
Тема 1 Заданий 15—35 Последовательный и автоматический выбор «Ы» вопросов из 15—35 Предварительное выделение вручную преподавателем значимых вопросов из 15—35, а затем автоматический выбор из этого списка «Ы» вопросов Предварительное выделение вручную преподавателем значимых вопросов из 15—35, а затем автоматический выбор из этого списка «Ы» вопросов
Тема 2 Заданий 15—35 Последовательный и автоматический выбор «Ы» вопросов из 15—35 Предварительное выделение вручную преподавателем значимых вопросов из 15—35, а затем автоматический выбор из этого списка «Ы» вопросов Предварительное выделение вручную преподавателем значимых вопросов из 15—35, а затем автоматический выбор из этого списка «Ы» вопросов
Среднее количество тем — 15 Банк заданий в среднем для тренинга от 250 до 700 (если N = 10 для каждой темы, то всего — 150) На 1 тему — 10 контр, заданий (если Л/ = 7 для каждой темы, то всего — 105) На 1 раздел — Зтемы 7= 21 контр, заданий (если N = 4 для каждой темы, то всего — 60) На курс—15 тем 4 = = 60 контр, заданий
Рис. 1. Контроль и оценка уровня знаний
Предположим, что в первой теме тренинга содержится 15—35 заданий и из них 15 значимых («весовых»), во второй теме 15—35 заданий, из которых 10 значимых, в третьей теме из 15—35 заданий только 6 значимых заданий. Таким образом, если раздел содержит три темы, то получим 31= (15 + 10 + 6) значимых задания, причем такая процедура расчета производится только один раз. Так формируется база значимых заданий по каждому разделу (табл. 2).
Таблица 2
База значимых заданий по каждому разделу
Тема Количество тренинговых заданий по темам (обучающие тесты), в том числе и для тематического самоконтроля Количество значимых заданий из каждой темы для рубежного контроля
Тема 1 15—35 15
Тема 2 15—35 10
Тема 3 15—35 6
По разделу I 45—101 31
Это был первый шаг к автоматическому получению теста для промежуточного контроля знаний. Далее, как уже было описано в первом варианте, преподаватель или студент указывают цифру для выборки из базы значимых заданий (в нашем случае 31), определенного количества тест-заданий. После этого компьютер случайным образом формирует тест для промежуточного (рубежного) контроля уровня знаний соответствующий заданной цифре. Например, преподаватель или студент задают цифру 20, а затем компьютер автоматически формирует тест для промежуточного контроля из блока значимых тестов (из 31). Получим 20 тес-
тов для рубежного контроля. Если же будут использованы все значимые тесты по данному разделу (31), то цифру не надо задавать. Или можно задать цифры (например, 7, 6, 7) для выборки тестов из значимых каждой тем (15, 10, 6 соответственно), входящих в соответствующий раздел.
Дополнив недостающую графу таблицы, получим полную картину процесса формирования блока тестовых заданий по разделу для промежуточного контроля (табл. 3).
Таблица 3
Формирование блока тестовых заданий по разделу для промежуточного контроля
Тема Количество тре- Количество зна- Преподаватель или студент Тест рубежный
нинговых задании чимых заданий указывает цифру для авто- для контроля
по темам (обуча- из каждой темы матического получения знаний
ющие тесты), в т.ч. для рубежного блока тестовых заданий для изученного
и для тематическо- контроля раздела, но из значимых раздела I
го самоконтроля по каждой теме
Тема 1 15—35 15 7 7
Тема 2 15—35 10 6 6
Тема 3 15—35 6 7 7
по Разделу I 45—105 31 20 20
Тест-задания для итогового контроля. Процедура формирования итогового теста ничем не отличается от процесса формирования теста для раздела.
В этом случае формирование итогового теста осуществляется путем предварительной выборки заданий из значимой базы разделов. Значимые тесты — это те, которые соответствуют целям и задачам промежуточного или итогового контроля, носят более информативный, обобщенный характер, обладают большим весом.
Предположим, что курс состоит из двух разделов, в разделе I содержится 20 значимых тестов, в разделе II — 22 заданий. Таким образом, весь курс содержит 44 значимых («весовых») задания. Задав, например, цифру 12, можно произвести автоматическую выборку тестов из 20 значимых заданий из раздела I, а из раздела II будет осуществляться выборка из 22 значимых заданий. Далее путем автоматической выборки значимых заданий из каждого раздела получаем итоговый тест в количестве 24 значимых. И наконец, можно сформировать блок тестов для итогового контроля путем автоматической случайной выборки из цифры 44 (сумма тестов двух разделов) (табл. 4).
Таблица 4
Формирование блока тестов для итогового контроля
Тема Количество тре- Количество Преподаватель или сту- Тест рубеж- Тест итого-
нинговых заданий значимых дент указывает цифру для ный для конт- вый для конт-
по темам (обуча- заданий из автоматического получе- роля знаний роля знаний
ющие тесты), в т.ч. каждой темы ния блока тестовых зада- изученных изученного
и для тематическо- для рубежно- ний для раздела, но из зна- разделов I и II курса
го самоконтроля го контроля чимых по каждой теме
Тема 1 15—35 15 7
Тема 2 15—35 10 6
Тема 3 15—35 6 7
по Разделу I 45—105 31 20 20 12
Тема 4 15—28 16 11
Тема 5 15—20 4 3
Тема 6 15—26 9 8
по Разделу II 45—74 29 22 22 12
Всего От 90 60 44 44 24
по курсу до 179
ПЕДАГОГИЧЕСКАЯ ПСИХОЛОГИЯ
Рис. 2. Формирование блоков тестовых заданий
Практический пример формирования блоков тестовых заданий для текущего, рубежного и итогового контроля по предмету «Педагогическая психология», на основе вышеизложенного подхода по проектированию тестовых заданий показан на рис. 2.
ЛИТЕРАТУРА
[1] Краснова Г.А., Соловов А.В., Беляев М.И. Технологии создания электронных обучающих средств. — М.: МГИУ, 2003.
[2] Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие. — Самара: СГАУ, 1995.
[3] Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Учебное пособие. — М., 1995.
[4] Челышкова М.Б., Ковалева Г.С. Теория и практика конструирования педагогических тестов: Учебное пособие. — М., 1995.
DEVELOPMENT OF TESTS FOR COMPUTER-BASED TESTING
M.I. Belyaev
Institute for International Programs of Peoples' Friendship University of Russia
Miklukho-Maklaya str., 6, Moscow, Russia, 117198
The article is devoted to the development of tests for computer-based testing used in the traditional system of education and in distance learning (DL). Publication is a brief summary of experience in creating educational tests for electronic textbooks. Analyzes the main problems related to design of tests required for effective quality control and assessing the level of students' knowledge.
Key words: testing, training, self-control, current control, intermediate control, final control.
