Метод повышения эффективности контроля знаний студентов на основе применения инновационных технологий Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 378.146

В.Н. Котенко

МЕТОД ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ КОНТРОЛЯ ЗНАНИЙ СТУДЕНТОВ НА ОСНОВЕ ПРИМЕНЕНИЯ ИННОВАЦИОННЫХ

ТЕХНОЛОГИЙ

Введение. В высших учебных заведениях Украины уже несколько лет осуществляются поиски путей модернизации учебного процесса по модели кредитно-модульной системы организации обучения согласно положениям Болонской декларации. Рейтинговая система оценивания знаний студентов, существенно отличающаяся от традиционной системы оценивания, активно используется в учебном процессе при контроле уровня усвоения знаний студентами и требует инновационных подходов к способам и методам оценки качества подготовки студентов.

Конечным этапом процесса обучения, является контроль качества и объема знаний, усвоенных студентами в процессе обучения. Установить уровень знаний и на этой основе определить место (рейтинг) каждого на заданном множестве испытуемых - одна из главных задач преподавателя.

Только за последние 10 лет количество студентов на каждом из курсов направления подготовки «Компьютерные науки» Донецкого национально университета выросло с 25 до 80-ти. Поэтому основным преимуществом контролирующих тестов над наиболее распространенной ранее в высших учебных заведениях Украины формой экзамена-диалога «преподаватель-студент» является минимизация временных затрат преподавателя на проверку степени усвоения студентами учебного материала при массовом тестировании. Основные временные затраты при проведении тестирования приходятся на создание экзаменационных билетов и проверку ответов студентов на экзаменационные вопросы.

В статье предложен инновационный метод увеличения производительности работы преподавателя при осуществлении контроля знаний студентов, основанный на технологии, объединяющей достоинства традиционного и компьютерного видов тестирования.

Формулировка задачи. Дальнейшие рассуждения будут проводиться на основе следующей задачи, являющейся показательной в контексте исследования.

На уровне данных имеется множество текстовых файлов, которые содержат вопросы всех тем дисциплины учебного плана и варианты ответов на вопросы. Необходимо сформировать и представить конечным пользователям экзаменационные билеты по дисциплине (форма № Н-5.05, приказ МОНМСУ от 29 марта 2012г. № 384) [1], для каждого из билетов, - экзаменационные таблицы для студентов и проверочные таблицы для преподавателя. Отметим, что подобная задача является типичной при проведении итогового контроля знаний студентов.

Рассмотрим варианты решения задачи, связанные с ними проблемы и пути их решения.

Проблема выбора алгоритма тестирования

Для решения задачи в общем случае существует два алгоритма.

Алгоритм 1, основанный на использовании текстового процессора Microsoft Word, сводится к извлечению преподавателем вручную всей информации с уровня данных с использованием текстового процессора, формированием экзаменационных билетов, экзаменационных и проверочных таблиц с последующей их распечаткой:

1. Создать в Microsoft Office новый документ «Билет №1.rtf» по форме Н-5.05 и сохранить его на диск.

2. Открыть в Microsoft Office документ с вопросом темы №1.

3. Скопировать содержимое документа в буфер оперативной памяти.

4. Вставить содержимое буфера в файл «Билет №1.rtf» и добавить к тексту вопроса номер вопроса - 1.

5. Повторить действия 2,3,4 для вопроса темы №2.

6.............................................................

7. Повторить действия 2,3,4 для вопроса темы №K, где K - количество тем дисциплины. Так, как обычно, количество вопросов в билете превышает количество тем дисциплины, то:

8. Повторить действия 2,3,4 N-K раз для вопроса темы №I, где I-одна из K тем, N-количество билетов.

9. Повторить действия 1,2,3,4,5, ...., 8 для документа «Билет №2.rtf».

10. Повторить действия 1,2,3,4,5, ...., 8 для документа «Билет №3.rtf».

11.............................................................

12. Повторить действия 1,2,3,4,5, ...., 8 для документа «Билет №N.rtf».

Алгоритм 2, основанный на использовании систем компьютерного тестирования, предполагает знание преподавателем особенностей проектирования компьютерных тестов в выбранной компьютерной

системе, умение наполнять банк тестовых заданий информацией с уровня данных, создавать тест и настраивать десятки его параметров, разбираться в типах тестовых вопросов системы, категориях и т.п :

1. Изучить и настроить модули системы компьютерного тестирования, например, системы OpenTest [2]: «Тестирование», «Управление пользователями», «Управление тестами», «Управление тестированием», «Результаты тестирования», «Администрирование» (Системы АСТ-Тест, CBM-TEST и т.п.);

2. Заполнить базу служебных данных системы для создания формы Н-5.05.

3. Наполнить базу тестовых заданий, используя уровень данных.

4. Сформировать базу экзаменационных билетов с использованием модуля генерации.

Недостатком алгоритма 1 является высокая трудоемкость при создании и проверке тестов.

Недостатком алгоритма 2, - необходимость приобретения дорогостоящих технических средств для проведения тестирования, требование углубленного знания преподавателем программного обеспечения, высокие требования к безопасности информации.

Экспериментальное исследование.

Перед формулировкой предлагаемого метода повышения эффективности работы преподавателя предлагается рассмотреть результаты тестирования производительности, проведённого с применением каждого из рассмотренных выше алгоритмов.

Исследование проводилось на наборе данных из 137 файлов-вопросов по 14 темам курса «Архитектура компьютеров» и необходимости создания 100 экзаменационных билетов по 20 вопросов с 5-ью вариантами ответов в каждом из них. Оценивалось время создания экзаменационных тестовых билетов и время проверки билетов преподавателем.

Время создания экзаменационных билетов по алгоритму №1 рассчитывается по формуле:

ТаИ . ТЗ + (Тк XK) XN , (1)

где ТЗ - время заполнения формы Н-5.05 служебными данными (название вуза, образовательно-квалификационный уровень, направление подготовки, специальность, номер семестра, название учебной дисциплины, номер билета, название кафедры, номер и дата протокола заседания кафедры, на котором утвержден билет, фамилия и инициалы заведующего кафедрой, фамилия и инициалы экзаменатора); Тк -время копирования одного вопроса с уровня данных в экзаменационный билет; К - количество вопросов в билете; N - количество экзаменационных билетов.

Т = 120 секунд + (20 секунд * 20вопросов) * 100билетов=668 минут=11,1 часа

Время проверки экзаменационных билетов по алгоритму №1 рассчитывается по формуле:

TA12 . TП X K X N, (2)

где ТП - время проверки одного вопроса билета; К - количество вопросов в билете; N - количество экзаменационных билетов.

ТА12=3 секунды * 20 вопросов * 100 билетов=6000 секунд=100 минут=1,7 часа.

Суммарное время по алгоритму №1 рассчитывается по формуле:

ta1 = ta11 + ta12 , (3)

ТА1=11,1 часа+1,7 часа=12,8 часа.

Таким образом, при использовании алгоритма №1 на подготовку и проверку экзаменационных билетов преподаватель затрачивает приблизительно 12,8 часа.

Время создания экзаменационных билетов по алгоритму №2 рассчитывается по формуле:

TA21 . То + Тз + (Тк XМ) + Тф , (4)

где ТО - время изучения и настройки модулей системы компьютерного тестирования; ТЗ - время заполнения базы служебных данных системы для создания формы Н-5.05; Тк - время копирования одного вопроса по теме дисциплины с уровня данных в базу тестовых заданий; M - общее количество вопросов по дисциплине;Тф - время формирования базы экзаменационных билетов с использованием модуля генерации.

ТА21 = 12 часов +120 секунд+ (20 секунд*137вопросов)+60секунд=668 минут=12,8 часа

Время проверки экзаменационных билетов по алгоритму №2 рассчитывается по формуле:

Та22 . Та . (5)

где

ТП - время проверки и выставления оценки модулем «Результаты тестирования».

ТА22 = 0 секунд (так как проверка и подсчет ведутся системой автоматически во время тестирования).

Суммарное время по алгоритму №2 рассчитывается по формуле:

ta2 = ta21 + ta22 • (6)

ТА2 = 12,8 часа + 0 часов = 12,8 часа.

Таким образом, при использовании алгоритма №2 на подготовку и проверку экзаменационных билетов преподаватель затрачивает приблизительно 12,8 часа.

В силу того факта, что производительность работы при использовании этих двух алгоритмов является невысокой и снижается с увеличением объёма обрабатываемых данных, ниже предложен метод, объединяющий достоинства вышеописанных алгоритмов.

Формулировка предлагаемого метода

Предлагаемый в настоящей статье метод увеличения производительности труда преподавателя при контроле знаний студентов построен на анализе факторов, влияющих на производительность алгоритмов создания и проверки экзаменационных билетов.

К таким факторам относятся:

1. время заполнения формы Н-5.05 служебными данными - ТЗ;

2. время наполнения экзаменационного билета с уровня данных - ТК;

3. объём обрабатываемых данных:

3.1. общее количество вопросов по дисциплине - M;

3.2. количество вопросов в билете - К;

3.3. количество билетов - N;

4. время изучения и настройки модулей системы компьютерного тестирования - ТО;

5. сложность распределения вопросов тем дисциплины по билетам, связанная с необходимостью наличия во всех билетах вопросов из всех тем дисциплины с одновременным обеспечением уникальности вопросов тем в билетах.

6. время проверки одного вопроса экзаменационного билета - ТП;

Получение оптимального алгоритма осуществляется путем минимизации всех факторов влияющих на время создания и проверки экзаменационных билетов.

Исходными данными для решаемой задачи являются следующие параметры:

1. данные формы Н-5.05 экзаменационного билета;

2. файлы с вопросами по всем темам дисциплины учебного плана.

Необходимо представить конечным пользователям экзаменационные билеты (форма Н-5.05) по дисциплине учебного плана и инструментарий, оптимизирующий процесс их проверки и выставления итоговой оценки.

Алгоритм минимизации времени создания экзаменационных билетов.

Уровень бизнес-логики представлен программой на объектно-ориентированном языке программирования Visual C.

Время создания экзаменационных билетов по предлагаемому методу рассчитывается по формуле:

Таз1 . To + Тз + Тн + Тб , (7)

где ТО - время изучения программного средства; ТЗ - время внесения служебных данных для формы Н-5.05; ТН - время генерации файлов с номерами вопросов тем дисциплины; ТБ - время генерации файлов с экзаменационными билетами.

Предложен следующий метод минимизации каждого из параметров.

Время изучения и настройки программного средства - ТО в отличие от систем компьютерного тестирования составляет приблизительно 60 секунд.

При настройке программного средства указываются лишь:

1. заголовок файлов с вопросами;

2. количество ответов на каждый вопрос;

3. папка, содержащая файлы с вопросами по темам дисциплины учебного плана;

4. папка, в которую системой будут генерироваться файлы с номерами вопросов тем дисциплины для экзаменационных билетов.

Параметры 1,2,3,4 выставлены по умолчанию и при необходимости могут не меняться.

После запуска системы указывается:

1. количество билетов, которые необходимо сгенерировать (например, 30). Ограничения на количество билетов отсутствует. При наличии 100 студентов в группе система прозрачным образом без проблем сгенерирует 100 билетов;

2. количество вопросов в каждом из билетов (например, 15). Ограничения на количество вопросов в билете отсутствуют.

Значение параметра ТЗ составляет приблизительно 60 секунд. В настройках программного средства

один раз указываются данные формы Н-5.05 экзаменационного билета.

Для минимизации времени ТН и ТБ автоматизируется процесс наполнения экзаменационного билета с уровня данных.

Для этого предлагается следующий формат уровня данных.

Вопрос записывается в файл в произвольной форме. Варианты ответов нумеруются и располагаются последовательно каждый в новой строке после самого вопроса.

Пример содержимого такого файла по дисциплине «Архитектура компьютеров»:

Архитектура МП Intel. Какой шестнадцатеричный код будет в регистре AX после выполнения фрагмента программы на языке АССЕМБЛЕР ?

MOV AX, 10 ROL AX, 1 INCAX

1. 000A

2. 0014

3. 1010

4. 1500

5. 0015

Сохранение файла с вопросом по теме дисциплины производится в выбранную при настройке системы папку (например, «Вопросы») в формате rtf, а имя файла несет информационную нагрузку и имеет вид: ЗаголовокX_Y_Z, где

Заголовок - название дисциплины;

X - номер темы; Y - номер вопроса темы; Z - номер правильного ответа.

Пример имени файла: Архитектура3_10_5. Файл содержит 10-ый вопрос темы номер 3 дисциплины «Архитектура компьютеров», правильный ответ на вопрос - 5-тый.

Аналогичным образом создается необходимое количество файлов вопросов по заданной теме и сохраняется в той же папке (При наличии у преподавателя файлов с вопросами файлы просто переименовываются по формату ЗаголовокX_Y_Z).

Процесс повторяется для остальных тем дисциплины учебного плана.

Вид уровня данных для контроля знаний студента, содержащий представляющие интерес для решения поставленной задачи файлы, представлен на рисунке 1.

■^¡J Terna 1 _01 Tenia 1_0Z. ^ Terina 1_03. Terina 1_04. Terina 1_05. i^J Terina 1_06 Terna 1_07. ^ Tenia 1_Ü8. Terina 1_09. Terina 1_10. ^Terina2_01. ^Tenna2_02. ^Tenna2_03. i^Tema2_04. ^Tema2_05. ^jTerna2_06. ^¡_]Tenna2_07 Рис. 1. Файлы

.1 .rt _3.rt .1 .rt _2.rt _3.rt 5.rt

3.rt _5.rt _2.rt _5.rt .1 .rt _3.rt 2.rt _1 .rt

4.rt _3.rt l.rt

^lTenna3 08 1

^JjTenna3_09_5 4jTenna3_10_4 4jTenna3_ll_l 4jTenna3_12_5 4jTema4_01_l 4jTema4_02_2 4jTema4_03_3 4jTenna4_04_l 4jTenna4_05_l 4jTenna4_06_4 4jTenna4_07_2 4jTenna4_08_4 4jTema4_09_5 4jTema4_10_2 4jTema5_01_5 Termas 02 1

Я_|Тетаб_03_3.г1 Э]теппаб_04_1,г* 3_]Тетаб_05_4.^ ^_]теппаб_0б_5.^ Э_]Теппа6_07_3.^ 3]Тета6_08_4.1^ ^_]Теппа6_09_4.г^ Э]Тета6_10_3.г* ^_]Тета7_01_2,гЬ ^_]Теппа7_02_5,^ ^_]Теппа7_03_2.^ 3]Теппа7_04_1.г* 3]Теппа7_05_1.г* 3]Тета7_06_5.1^ ^_]Теппа7_07_2.г^ ^_]Теппа7_08_5.г^

_ _ Ютета7_09_4.гИ _

с вопросами по темам дисциплины «Архитектура компьютеров» направления подготовки 6.050101 «Компьютерные науки»

TemaS_10_l.rtf 4jTema9_01_l.rtf 4jTema9_02_2.rtf Tema9_03_l.rtf 4jTenna9_04_2.rtf Tema9_05_4.rtf 4jTema9_06_l.rtf 4jTema9_07_3.rtf Tema9_08_2.rtf 4jTema9_09_4.rtf 4jTenna9_10_3.rtf 4jTennal0_01_4.rtf 4jTennal0_02_5.rtf Tema 10_03_4.rtf 4jTemal0_04_2.rtf 4jTemal0_05_4.rtf РП Terina 10 06 5.rtf

■^Termal l_07_4.rtf ■^Termal l_03_5.rtf ■^Termal l_09_5.rtf ■^Termal l_10_4.rtf ■^Termal 2_01_4.rtf ■¡3] Tema 12_02_4.rtf Tema 12_03_4.rtf ■¡Я] Tema 12_04_4.rtf I®] Tema 12_05_l.rtf Tema 12_06_3.rtf Tema 12_07_5.rtf Tema 12_08_l.rtf ^ Tema 12_09_3.rtf Щ Tema 12_10_l.rtf Tema 13_l_4.rtf ■¡Я] Tema 13_2_4.rtf Tema 13_3_4.rtf учебного плана

Алгоритм программного средства, используя уровень данных такого формата, способен формировать неограниченное количество билетов по дисциплине учебного плана.

На основании данных формата ЗаголовокX_Y_Z генерируется таблица базы данных формата Microsoft Access с именем Origmal_Table.mdb:

Таблица 1

Структура таблицы Original Table.mdb

Поле таблицы Тип поля таблицы Дополнительная информация Пример

ID Счетчик Первичный ключ 1

Theme number Числовой Номер темы 10

Quation number Числовой Номер вопроса 1

Answer number Числовой Номер правильного ответа 4

На основании данных таблицы Original Table.mdb формируется таблица Result_Table.mdb.

Таблица 2

Структура таблицы Result Table.mdb

Поле таблицы Тип поля таблицы Содержание Пример

ID Счетчик Первичный ключ 1

Ticket number Числовой Номер билета 1

Theme Текстовый Префикс файла Arhitektura

Theme number Числовой Номер темы 14

Quation number Числовой Номер вопроса 3

Answer number Числовой Номер правильного ответа 5

Во время обработки таблицы Result_Table.mdb в указанной во время настройки папке генерируются текстовые файлы в количестве равном количеству билетов с именами 1.txt, 2.txt,..., N.txt. Количество строк в файлах равно количеству вопросов в билете, а каждая строка содержит имя файла с вопросом по теме дисциплины в формате ЗаголовокX_Y_Z.

Алгоритм обработки данных таблицы гарантирует следующее: если количество тем больше или совпадает с количеством билетов, то в каждый из текстовых файлов попадут вопросы из всех тем дисциплины. Если тем меньше, чем билетов, то в каждом из текстовых файлов окажутся все вопросы всех тем, и будут добавлены вопросы из некоторых уже попавших в файл тем, причем, чем больше в процентном отношении вопросов в теме по отношению к другим темам, тем больше их попадет в билет.

Таким образом, алгоритм работы программного средства гарантирует, что если количества вопросов темы достаточно для включения их во все билеты, то в каждом из билетов вопросы данной темы будут уникальны.

Пример содержимого файла 1.txt с именами файлов с вопросами для билета №1, при выбранном количестве вопросов в билете 15:

Тета14_5_3

Тета3_3_3

Тета7_2_5

Тета9_9_4

Тета1_1_1

Тета10_6_5

Тета2_6_3

Тета6_6_5

Тета4_5_1

Тета4_9_5

Тета8_10_1

Тета5_4_1

Тета13_7_1

Тета11_2_4

Тета12_7_5

Видно, что в билет попали вопросы по каждой из 14 тем дисциплины, а 15 вопрос был выбран дополнительно из темы номер 4, как темы, по которой имеется больше всего вопросов по дисциплине.

Используя информацию текстовых файлов с номерами вопросов, алгоритм системы генерирует в указанной при настройке системы папке файлы с экзаменационными билетами по форме Н-5.05.

Исследование времени ТН и ТБ генерации файлов с номерами вопросов тем дисциплины и создания экзаменационных билетов проводилось для учебной дисциплины «Архитектура компьютеров» на наборе данных из 14 тем с общим количеством вопросов 137. Генерировалось 5, 10, 15, 20, 100, 200 и 300 билетов

при количестве вопросов в билете 20 и вариантов ответов на каждый из билетов 5. Для исследования использовалась СУБД Microsoft Access.

Таблица 3

Время создания экзаменационных билетов

№ Кол-во тем Кол-во вопросов Кол-во билетов Кол-во вопросов в билетах Кол-во ответов Время генерации файлов Время генерации билетов Суммарное время

1 14 137 5 20 5 2с. 09 мс. 1с. 25 мс. 3с. 34 мс.

2 14 137 10 20 5 3с. 90 мс. 2с. 27 мс. 6с. 17мс.

3 14 137 15 20 5 6с. 46 мс. 3с. 54 мс. 10с. 0 мс.

4 14 137 20 20 5 7с. 39 мс. 4с. 62 мс. 12с. 01 мс.

5 14 137 50 20 5 20с. 70 мс. 11с. 75 мс. 32 с. 45мс.

6 14 137 100 20 5 34с. 84 мс. 23с. 78 мс. 58с. 62мс.

7 14 137 200 20 5 1м. 8 с. 0м. 49 с. 1 м. 57с.

8 14 137 300 20 5 1м. 46 с. 1м. 15 с. 3м.01с.

Как видно из экспериментальных данных, при генерации 100 экзаменационных билетов, содержащих по 20 вопросов с 5-ью вариантами ответов по предлагаемому алгоритму, значение ТН +ТБ не превышает 60 секунд. Для получения 200 билетов достаточно 2-х минут, 300 билетов - 3-х минут.

ТА31 = 60 сек. + 60 сек. + 35 сек. + 24 сек. = приблизительно 3 минуты.

Алгоритм минимизации времени проверки экзаменационного билета.

Время проверки экзаменационных билетов по предлагаемому методу рассчитывается по формуле:

Таз2 . Тт + Тп * n, (8)

где ТТ - время генерации экзаменационных и проверочных таблиц; ТП - время проверки одного билета; N - количество билетов.

Для минимизации параметра ТТ автоматизируется процесс создания экзаменационных таблиц для студентов и проверочных таблиц для преподавателя.

Алгоритм программного средства генерирует экзаменационные таблицы с соответствующей служебной информацией (файлы в формате й^, в которых по вертикали идут номера вопросов, по горизонтали - номера ответов. Задача студента, - поставить отметку в прямоугольнике на пересечении номера вопроса и номера правильного ответа.

При генерации проверочных таблиц для преподавателя (файлы в формате гЪО квадраты на пересечении номера вопроса и номера правильного ответа закрашиваются черным цветом.

Исследование на ранее приведенном наборе данных показало следующие результаты:

Таблица 4

Время создания экзаменационных и проверочных таблиц

№ Кол-во тем Кол-во вопросов Кол-во билетов Кол-во вопросов в билетах Кол-во предлагаемых ответов Время генерации таблиц

1 14 137 5 20 5 0с. 15 мс.

2 14 137 10 20 5 0с. 31 мс.

3 14 137 15 20 5 0с. 47 мс.

4 14 137 20 20 5 0с. 62 мс.

5 14 137 50 20 5 1с. 70 мс.

6 14 137 100 20 5 3 с.

7 14 137 200 20 5 6 с.

8 14 137 300 20 5 10 с.

Для минимизации времени ТП для студентов на бумаге формата A4 распечатываются экзаменационные таблицы. Для преподавателей на прозрачной пленке LOMOND формата A4 распечатываются проверочные таблицы.

При проверке билетов преподаватель накладывает поверх экзаменационной таблицы студента проверочную таблицу и видит количество несовпадающих отметок (количество неправильных ответов).

Таким образом, время проверки ответов одного билета составляет от 1-ой до 5-ти секунд.

ТА32 = 3 сек.+5 сек. * 100 билетов = 503 секунды = приблизительно 9 минут. Суммарное время по предлагаемому инновационному методу рассчитывается по формуле:

а32

(9)

ТА3 = 3 мин.+ 9 мин.= 12 мин.

Таким образом, при использовании вышеописанного алгоритма на подготовку и проверку экзаменационных билетов преподаватель затрачивает приблизительно 12 минут.

Заключение. Таким образом, применение предложенного метода по сравнению с традиционным и компьютерным тестированием позволяет увеличить производительность работы преподавателя, сократить время и трудоёмкость разработки тестовых билетов и инструментария для их проверки с 12 часов до 12 минут (в 60 раз).

Метод позволяет преподавателю менять содержание экзаменационных билетов в течение одной минуты, сократить время проверки одного экзаменационного билета по дисциплине учебного плана до одной секунды на один билет, что почти сравнимо с системами компьютерного тестирования,

Результаты практических исследований, представленные в таблицах 3 и 4, позволяют говорить о том, что время создания экзаменационных билетов и инструментария проверки практически не зависит от объемов информации, требующей обработки.

Программный комплекс может успешно применяться при контроле уровня знаний студентов по любой учебной дисциплине направления подготовки или специальности любого ВУЗа Украины.

ЛИТЕРАТУРА

1. Про затвердження форм докуменлв з тдготовки ка^в у вищих навчальних закладах 1-ГУ рiвнiв акредитацп : [Электрон. ресурс]. - Режим доступа: http://zakon4.rada.gov.ua/laws/show/z0711-12

2. Программа тестирования OpenTest2 : [Электрон. ресурс]. - Режим доступа: http:/opentest.com.ua

КОТЕНКО Владислав Николаевич - старший преподаватель, кафедра Компьютерных Технологий, физико-технический факультет, Донецкий национальный университет

Научные интересы: информационные технологии в управлении и образовании.