Программа-оболочка для организации и проведения компьютерного тестового контроля знаний и умений Текст научной статьи по специальности «Компьютерные и информационные науки»

ИНФОРМАЦИОННО

Кречетников Константин Геннадьевич, Логвиненко Валерий Александрович

ПРОГРАММА-ОБОЛОЧКА ДЛЯ ОРГАНИЗАЦИИ И ПРОВЕДЕНИЯ КОМПЬЮТЕРНОГО ТЕСТОВОГО КОНТРОЛЯ ЗНАНИЙ И УМЕНИЙ

«... надо стараться выяснить, не кто знает больше, а кто знает лучше».

М. Монтень

В учебном процессе постоянно ощущается потребность в хорошо разработанных методах измерения уровня обучен-ности. С проблемой контроля знаний всегда быто связано множество вопросов, на некоторые из которых все еще не дано определенного ответа. Существующая система оценки знаний обучаемых не лишена многих недостатков, главными из которых являются: субъективизм, отсутствие регулярности контроля и четких критериев оценки. Одним из путей преодоления указанных недостатков является использование тестового контроля.

К числу первых ученых, попытавшихся измерить различия между людьми в области элементарных психических процессов с помощью тестов, можно отнести англичанина Ф. Гальтона. Им были определены 3 основных принципа тестирования [1]:

1) применение серии одинаковых испытаний к большому количеству испытуемых;

2) статистическая обработка результатов;

3) выделение границ назначения оценки.

Для организации тестирования важное значение имеет выбор места, времени проведения тестирования, обеспечение комфортных условий для испытуемых (невысокий уровень шума, хорошее освещение, оборудованное рабочее место).

Дж. Кеттелл считал тест средством для проведения научного эксперимента с соответствующими требованиями к его чистоте. К таким требованиям он относил [2]:

- одинаковые условия для всех испытуемых;

- ограничение времени тестирования приблизительно одним часом;

- отсутствие зрителей в лаборатории, где проводится эксперимент;

- хорошее оборудование, располагающее людей к тестированию;

- одинаковые инструкции и четкое понимание испытуемыми, что нужно делать;

- статистический анализ результов тестирования.

Не все перечисленные требования являются бесспорными. Например, для различных тестов может быть назначено различное ограничивающее время тестирования. Если учитывать различное состояние испытуемых: усталость, здоровье, характер биоритмов и т. д, то практически невозможно обеспечить одинаковые условия для всех.

В максимальной степени требования к организации тестирования могут быть соблюдены при использовании компьютера. Педагогическое тестирование в настоящее время становится одной из самых актуальных информационных технологий образования. В сочетании с персональными ЭВМ и программно-педагогическими средствами тесты помогают перейти к адаптивному обучению и контролю знаний - высокоэффективным, но и редко применяемым у нас формам организации учебного процесса. Столь значимые возможности педагогических тестов могут проявиться при условиях изменения общей организации обучения и перехода от групповых форм занятий к индивидуальным, автоматизированным.

Кроме того, тесты применяются в компьютерных обучающих программах: в блоках входного, промежуточного и итогового контроля знаний. Блоки тестового контроля выдают исходную информацию для адаптивного блока компьютерной обучающей программы, управляющего ходом процесса обучения. Возможность автоматизации тестирования предоставляет боль-

шие возможности для дистанционного контроля и самоконтроля знаний.

Использование тестовых заданий в автоматизированных контрольно-обучающих программах позволяет учащимся самостоятельно обнаруживать пробелы в структуре своих знаний. Это говорит о значительном обучающем потенциале тестовых заданий, использование которого является одним из эффективных направлений практической реализации принципа единства и взаимосвязи обучения и контроля.

Использование компьютерного тестирования придает обучению мощный мо-тивационный импульс [3]. Как показывают результаты анкетирования, 64,6% обучаемых считают компьютерный контроль знаний более объективным в сравнении с устным опросом (18,5 %) или письменной контрольной работой (16,9 %) [4].

Помимо вышесказанного, сравнивая бумажные и компьютерные тесты, необходимо отметить следующие преимущества последних [5, 6, 7]:

- уменьшение затрат на тиражирование материалов;

- обеспечение комфортных условий для работы с тестом в удобное для тестируемого время;

- сокращение числа посторонних факторов, негативно влияющих на достоверность результатов тестирования;

- повышение эффективности тестирования за счет уменьшения продолжительности теста и использования новых типов заданий, позволяющих оценить не только знания обучающегося, но и умения применять их на практике;

- случайная перестановка заданий в тесте или ответов в задании делают невозможным «механическое» копирование номеров правильных ответов;

- доступность результатов тестирования сразу после окончания теста;

■юдсйрайщ под. иЛдибмфуллъЯш ¿а^жафЛос&и ЛеоЛи/кувмого,,

- возможность автоматизированного составления матриц ответов и быстрой статистической обработки результатов тестирования на компьютере.

Компьютерные адаптивные тесты предоставляют дополнительные выгоды:

- подстройку под индивидуальные возможности тестируемого;

- повышение точности оценки уровня знаний сильных и слабых, благодаря использованию банка заданий разного уровня трудности;

- упрощение процедуры внесения изменений в банк новых тестовых заданий, которые будут автоматически учтены адаптивным алгоритмом.

Однако при компьютерном тестировании возникает ряд проблем, таких как [7]:

- влияние на результаты тестирования навыков работы на компьютере (перехода от бумаги и ручки к монитору, клавиатуре и мыши);

- изменение процедуры и тактики выполнения теста (например, адаптивный алгоритм не позволяет вернуться к пропущенным заданиям);

- необходимость обучения технического персонала и оснащения компьютерных классов необходимым аппаратным и программным обеспечением;

- влияние продолжительной работы за компьютером на здоровье;

- неготовность и нежелание тестируемых выполнять тест на компьютере (возможность выбора бумажного варианта);

- недостаточные возможности ряда персональных компьютеров по представлению информации и ограниченные пропускные возможности телекоммуникационных сетей;

- высокая стоимость организации и проведения тестирования.

Под руководством первого автора в Тихоокеанском военно-морском институте разработана универсальная программная оболочка для компьютерного тестирования [8].

Тестовая программа включает в себя две основные части:

- программу TestMaker, предназначенную для генерирования, модернизации тестовых заданий и указания параметров тестирования;

- программу TestShower, которая служит для предъявления пользователям готовых тестовых заданий.

Программная оболочка выполнена в среде Delphi 5.0 и позволяет:

- проводить два вида тестирования: обучающее и контролирующее;

- использовать два вида тестовых заданий: с выбором одного правильного ответа из нескольких и с выбором нескольких правильных ответов;

- осуществлять контроль времени в ходе тестирования с наглядным предоставлением информации пользователю в аналоговом (в форме заполняющейся цветной полосы) и в дискретном виде;

- загружать тестовые задания из текстового файла или непосредственно генерировать их в среде TestMaker;

- сохранять результаты тестирования в электронных таблицах Excel в виде матрицы - в форме, удобной для статистической обработки;

- назначать различные весовые коэффициенты тестовым заданиям;

- использовать прямой, обратный и случайный порядок следования вопросов тестового задания;

1. Плоттер - это устройство, предназначенное для

1) Ввода текста с листа в компьютер

2) Перекодирования введенной информации

3) #Вывода графических изображений на печать

4) Управления компьютером в графическом режиме

2. Первую счетную машину в 1642 году изобрел

1) Б. Пирелли

2) #Б. Паскаль

3) Б. Стоун

4) Б. Резерфорд

Рисунок 1. Форма текста, который может быть конвертирован в оболочку

- производить автоматическую выборку заданного количества тестовых заданий из общего банка вопросов по теме тестирования.

В настоящее время разработана и проходит апробацию вторая версия тестовой оболочки, позволяющая использовать тестовые задания открытой формы, задания на установление соответствия и выбор правильной последовательности, проводить нормативно- и критериально-ориентированное тестирование, выводить на экран афоризмы, соответствующие характеру ответа обучающегося, использовать графику и мультимедиа.

Рассмотрим работу с тестовой оболочкой более подробно.

После запуска программы Теэ1Макег пользователь попадает на первую вкладку основного окна «Описание теста», где он имеет возможность:

1) создать новый проект;

2) открыть готовый проект;

3) сохранить проект;

4) конвертировать файл, набранный в текстовом формате, с расширением *Лх1 в файл нового формата, обрабатываемо-

самуилл-Яим символом <'#»,,,

го оболочкой (с расширением *.pt2); конвертируемый текст может быть набран в любом текстовом редакторе по определенной форме (рисунок 1); правильные ответы помечаются специальным символом «#» (Shift + 3);

5) вызвать систему помощи.

Данные функции реализуются соответствующими кнопками (слева направо) панели инструментов, расположенными в верхней части основного окна (рисунок 2).

При создании нового проекта появляется диалоговое окно (рисунок 3), в котором необходимо ввести название проекта и выбрать место на диске, где будет располагаться папка с файлами проекта. Название проекта будет использоваться для его сохранения. В дальнейшем сохранение проекта происходит при нажатии кнопки

<

а также автоматически при создании нового проекта, открытии готового проекта, закрытии проекта, при конвертировании файла из формата *Лх1 в формат *.р12 или выходе из программы.

После создания нового проекта заполняются необходимые организационные поля: «Название теста», «Описание тес-

та», «Автор теста» (рисунок 2). Флажок «Показать описание теста» служит для указания необходимости вывода описания теста перед началом тестирования. Описание теста может быть набрано непосредственно в окне ввода или загружено из файлов, имеющих расширения *Лх1;, *.Ыт.

После ввода всех необходимых реквизитов следует перейти на вторую вкладку «Вопросы теста» программы Теэ1Макег для непосредственного ввода заданий в тестовой форме. На этой вкладке имеются возможности установки количества баллов, присуждаемых испытуемому при правильном ответе на задание теста, подключения звукового сопровождения или графического изображения к данному заданию (рисунок 4).

Над окном ввода вопроса задания в тестовой форме находится панель инструментов, включающая следующие кнопки (слева-направо, см. рисунок 4):

1) очистки содержимого окна формулировки вопроса;

2) открытия файла, содержащего формулировку вопроса - возможно подключение файлов с расширением *.ёое, и *.Ыт;

3) копирования выделенного участка текста в буфер обмена;

4) вставки текста из буфера обмена;

5) добавления нового задания в конец теста;

. .< Ч 1.. - .... - |Н| 11 ■:■.,,.

0Нн«и

Нцге..^ ..ув_

ЗцтшЗвд I

Ггт^|ктлткп1НП«Т0,г,---1 нр*.-1нч»-1 ш.Г'.чш I';,'.■■.■! 1.11- сдоил п | |.'.ц| Си Н^ХМЫ 1ЛЯ 11 «(41611 (ПЛ. ЦН 1 к'Г.и <:<Ц М:Г.ЫЬ к.: Л|Ь.Г Уг'/ЬС-И Ёлхлх ни:::::: ■: уи ■ :|>: ин ч "п ¿сц-" н п-' ■ :: гГ'шие'шхн ста

Пля^Ц! ■■(■ □МТА<Т«Ь. Г К У (0[(Е> ОТКГЫ. ПЯПЛ1Г (Ш10(Т 1К-Л1Н0

Е.лхлмА укп I ■ ■ | |тН.|в||иП ь*|-клн: _ :VI:е. ■■: ■ к* ^ Ь н ■■■.■ ш ■

■ГУП'Ш ЧЛЕНУ- Н ЬЩРШП Н1ШЭ

Клшнуаш'н

....... "

Ему, гг I д_

Рисунок 2. Вид первого окна программы Те81Макег

1 ОБ Создание нового проекта ■ 1

Название проекта: |Информаттоа|

П^ь оокранения нового проекта:

... | C:\Prograni Г11й5\Те51Арр\Рго^е<:1РаскеЬШнфорттика.\

Спгие!__^ . Ок ^

Рисунок 3. Диалоговое окно создания нового проекта

■чтрчпн —| п 1 У

¡ЭМ

1

□ Н * -1-1 1 Ы-. Щк| :_. в

1]7Г

Ц«-! фмпиип : ор » нпгк

П£Ш1ГИ-За ! Е4МПКШП иН^К Фы 11*11 г1р ■■ ^

'1*1*1 ] п-1-■

01 1

1 1-■ ■ ^

Рисунок 4. Вид вкладки «Вопросы теста»

ЯоОого ¿лулЯф О коНщ Лесйл.

--. . 1 С'* х . .

После выбора типа задания в тестовой форме следует нажать кнопку «Создать». Затем вводится (или загружается из файла с расширением *.rtf, *.ёое или *.Мш) формулировка вопроса.

Для создания вариантов ответов необходимо нажать кнопку г. у

Рисунок 5. Окно выбора типа задания в тестовой форме

6) удаления текущего вопроса из теста;

7) переход к первому вопросу теста;

8) переход к предыдущему вопросу

теста;

9) переход к следующему вопросу теста;

10) переход к последнему вопросу теста;

11) создания и редактирования вариантов ответов у текущего задания;

12) удаления вариантов ответов у текущего задания.

Для создания нового вопроса необходимо нажать кнопку

+ | или клавишу «+» на клавиатуре. Появится диалоговое окно выбора типа задания (рисунок 5).

В случае выбора первого или второго типа задания в тестовой форме (рисунок 5) появится диалоговое окно ввода и редактирования вариантов ответов (рисунок 6).

В панели инструментов данного окна находятся кнопки (слева направо):

- очистки содержимого текущего варианта ответов;

- вызова помощи;

- ввода нового варианта ответов;

_ Конструктор ответов [С несколькими правильными ответами] О

' К "1=1 и

считывает из оперативной памяти и выполняет машинные команды

О проверяет правильность операций, производимых другими устройствами ког*

□ осуществляет ввод данным в компьютер и вывод из него

□ загружает с магнитного диска в оперативную память наиболее важные даннь

¿ЧК. — .!!,«!!!« .ЛКРШЧ | Г - г. ,. I ы;-.........|

щ

У П,ТЙЩ.1Гг. I ф «*МЪ

Вопрос № I Юискчггтло •> : 4 ЬУ

Рисунок 6. Окно ввода и редактирования вариантов ответов

- подтверждения ввода вариантов ответов;

- отмены сделанных изменений.

Существует возможность вставки в качестве вариантов ответов графических изображений из буфера обмена. Данная операция осуществляется через контекстное меню (рисунок 7).

Необходимо помнить, что задания с выбором одного или нескольких правильных ответов из числа предложенных имеют хорошую перспективу для проверки глубины, прочности, точности и полноты знаний, кроме того, они очень подходят для проверки классификационных знаний. Успешность использования заданий данного типа во многом определяется удачностью подбора дистракторов (отвлекающих вариантов ответа).

Задания на установление соответствия и правильной последовательности рекомендуются для проверки соответственно ассоциативных и алгоритмических знаний, очень важных в век информационных технологий и повышения требований к интеллекту человека. Кроме того, задания данного типа позволяют проверить усвоение и понимание сразу нескольких ветвей знаний, что обеспечивает их повышенную проверочную емкость.

При составлении задания на установление соответствия на экран выводится

Конструктор ответов [С единственным правильным ответом]

□Ш аШ ш

сои:

0 в .

¡{5М1,

□ш ^ Добавить ответ I

0. тхт ■=■ Удалить ответ

пЦЦ Редактировать ответ

Графическое изображение ►

Вопрос № 3 Количество ответов : 4 Саре, | ЭДугк КеаАу

Рисунок 7. Вставка графических изображений в окне ввода вариантов ответа

окно конструктора ответов несколько иной формы (рисунок 8). В этом типе задания необходимо установить соответствие между двумя списками (левым и правым), то есть слова (выражения) первого списка должны быть связаны со словами (выражениями) второго списка. Соответствие указывается путем последовательных щелчков мышью по переключателям, соответствующим элементам левого и правого списков. Длину левого и правого списков рекомендуется устанавливать разной, для уменьшения вероятности угадывания.

При выборе типа тестовых заданий на установление правильной последовательности, необходимо в открывшемся окне конструктора ответов (рисунок 9)

.ttoftCMomefai jêtyco&oe wttfco&ozfcfeteœ или tfiatfruzeacae иуабрАфеКие..

Рисунок 8. Окно ввода списков соответствия

задать необходимый порядок действий, слов, исторических событий.

В задании открытой формы следует в окне конструктора ответов ввести слова, словосочетания, знаки или формулы, которые будут являться эталонами правильных ответов. Вид окна ввода заданий открытой формы аналогичен виду окна для задания правильной последовательности (рисунок 9).

Пользователь имеет также возможность установить количество баллов присуждаемых испытуемому при правильном ответе на вопрос, подключить звуковое сопровождение или графическое изображение к каждому вопросу в отдельности.

После ввода всех вопросов теста необходимо перейти на третью вкладку, названную «Параметры теста» (рисунок 10).

На вкладке «Параметры теста» пользователь задает следующие данные:

- предельное время тестирования (может не задаваться);

- ограничение количества вопросов в тесте (при необходимости выбрать задания из достаточно большой базы);

- порядок вопросов в тесте (заданный или случайный);

- необходимость сохранения результатов тестирования в файл; после тестирования программа создает в папке TestResult файл формата Microsoft Excel, содержащий информацию по тестирова-

Рисунок 9. Окно ввода правильной последовательности

Таблица 1

Вид таблицы Excel с результатами тестирования

Логвиненко 1 2 3 4 5 6 7 8 9 10 Бит

533 класс 1 0 1 0 1 1 1 0 0 0 5

нию: номера вопросов, результаты ответов на них (например, 0 -неправильно, 1 - правильно) и общее количество набранных баллов (Таблица 1); название файла составляется автоматически из названия класса (группы), где обучается испытуемый, его фамилии и названия теста, например, «533 класс_Логвиненко_Ввод-ный тест по Информатике.хк»;

- необходимость показа полной статистики результатов теста после окончания тестирования;

- целесообразность вывода на экран сообщений, указывающих правильность или неправильность ответа на каждый вопрос теста; в случае неправильного ответа программой может быть указан правильный ответ, для этого должен быть включен флажок «Показать правильный ответ»;

- пароль на выход из программы тестирования, чтобы предупредить несанкционированное «обнуление» результатов тестирования испытуемым;

- возможность возврата к предыдущему вопросу;

- возможность вывода афоризмов при обучающем тестировании;

- целесообразность вывода статистики - информации об общем количестве вопросов, номере текущего вопроса, ко-

Рисунок 10. Общий вид вкладки «Параметры теста» окна программы Те81Макег

личестве набранных баллов, времени, оставшемся до окончания тестирования (данная информация отражается в нижней части программы во время тестирования).

После ввода всех параметров теста необходимо перейти на последнюю вкладку - «Оценивание» (рисунок 11).

На данной вкладке задаются параметры оценивания испытуемого. Могут быть выбраны два типа теста: ориентированный на статистические данные и критериально-ориентированный (зачет/незачет). Оценка может быть установлена не только по количеству набранных баллов, но и по процентному соотношению числа правильных и неправильных ответов.

"Нри ttj программы TestShowei Необходима Мео&и пароль..

Рисунок 11. Установка параметров оценивания при проектировании теста

из программы проектирования

При выходе Теэ1Макег результаты теста сохраняются автоматически.

Готовый тест может быть загружен двойным щелчком левой кнопки мыши.

Откроется программа TestShower, управляющая предъявлением теста и фиксированием результатов тестирования. При выходе из программы TestShower необходимо ввести пароль, заданный ранее на вкладке «Параметры теста» программы TestMaker.

Отметим, что тестирование является одной из наиболее технологичных форм проведения автоматизированного контроля с управляемыми параметрами качества.

Современные компьютерные средства, корпоративные сети, телекоммуникационные системы позволяют создать открытый объединенный (на уровне организации, региона, страны) ресурс для диагностики качества образования и собирать статистические данные результатов тестирования дистанционными методами по распределенной технологии «клиент-сервер».

Литература.

1. Муравьев В. Тесты успешности. М.: Наука, 1979 - 1981.

2. Аванесов B.C. Тесты в социологическом исследовании. М.: Наука, 1982.

3. Кречетников К.Г., Черненко H.H. Применение компьютерного тестирования для контроля знаний. Мотивационный эффект. Электронный образовательный журнал «Эйдос», вып. 13, 2000. М.: Центр дистанционного образования «Эйдос, http:// www.eidos.ru/journal/title.htm.».

4. Шиянов E.H., Котова И.Б. Развитие личности в обучении. М.: Академия, 1999.

5. Коротков А.М., Никитин A.B. Компьютерное тестирование как элемент рейтинговой системы вуза. Тр. Волгоградского гос. пед. ун-та. НИЛИТО, 1999, http: // www.vspu.ru/~tmepi/articles/kor_nik1.htm.

6. Мадудин В.Н. Программно-методическое обеспечение для контроля знаний учащихся. Педагогические и информационные технологии в образовании, № 1. http:// scholar.urc.ac.ru:8002/Teachers/ methodics/journal/numero1/product/madudin.html.

7. Нардюжев В.И., Нардюжев И.В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. М.: Прометей, 2000.

8. Кречетников К.Г. Компьютерное тестирование в учебном процессе. Таможня XXI век. Материалы научно-практ. конф. Владивосток: РТА, 2000.

Кречетников Константин Геннадьевич, к.т.н., доцент, докторант кафедры вычислительной техники Тихоокеанского военно-морского института.

Логвиненко Валерий Александрович, программист, курсант 3 курса Тихоокеанского военно-морского института.

© Наши авторы: 2002. Our authors, 2002,