CC BY
65
Компьютерное тестирование в системе отбора магистрантов
Захарова Ольга Алексеевна доцент, к.п.н., начальник управления дистанционного обучения и повышения квалификации, Донской государственный технический университет, пл. Гагарина, 1, г. Ростов-на-Дону, 344000, (863)2738623 [email protected]
Рункевич Юрий Павлович к.т.н., начальник методического отдела, Донской государственный технический университет, пл. Гагарина, 1, г. Ростов-на-Дону, 344000, (863)2738623 [email protected]
Аннотация
В статье рассмотрены практические вопросы повышения эффективности процесса педагогической диагностики с целью получения объективной количественной оценки уровня подготовки обучающихся за счет применения современных информационных технологий, в частности - компьютерного тестирования, при проведении вступительных испытаний для поступающих в магистратуру Донского государственного технического университета (ДГТУ), г. Ростов-на-Дону, на примере приемной кампании 2016 года. Тестирование осуществлялось управлением дистанционного обучения и повышения квалификации ДГТУ с использованием ресурсов разработанного портала электронного обучения «СКИФ» (http://moodle.donstu.ru/). Приведены программа и методика проведения работ, включающие порядки формирования фонда оценочных средств и составления тестов, организации и проведения тестирований; основные результаты работ; выводы и рекомендации.
In the article are considered practical problems of improving the efficiency of the process of pedagogical diagnostics for the purpose of obtaining an objective quantitative assessment of the level of students training through the use of modern information technologies, in particular computer testing, at carrying out of introductory examinations for entering in a magistracy of the Don State Technical University (DSTU), Rostov-on-Don, on the example of the 2016 admission campaign. The testing was carried out by the Department of Distance Learning and Increasing Qualification of the DSTU using the resources of the developed e-learning portal «SKIF» (http://moodle.donstu.ru/).
The program and methodology of carrying out the work, including the order of formation of evaluative resources fund and tests preparation, organization and tests conducting; main results of work; conclusions and recommendations are given.
Ключевые слова
педагогическая диагностика, вступительные испытания, магистратура, компьютерное тестирование, эффективность
competencies, learning content, object-oriented approach, on-line course, distant learning
Введение
Одним из перспективных направлений модернизации высшей школы является внедрение информационных технологий, высокий уровень развития которых позволяет совершенствовать систему образования, выводить ее на новый качественный уровень. Важной для реализации возможностей информационных технологий является проблема совершенствования форм и методов педагогической диагностики, от качества которой зависит эффективность управления педагогическим процессом и качество образования в целом. Наиболее распространенным методом педагогической диагностики на основе информационных технологий является компьютерное тестирование, что обусловлено его неоспоримыми достоинствами: преподаватель освобождается от трудоемкой работы по оценке результатов; обеспечивается объективность оценки; обеспечивается возможность модернизации тестов за счет постоянного совершенствования тестовых заданий и др.
Методика тестирования при приеме в магистратуру ранее уже применялась в ДГТУ, но тестирование проводилось на бумажном носителе со всеми свойственными такому тестированию недостатками, основными из которых являются высокая трудоемкость и длительность проверки тестов, необходимость привлечения к этой работе большого числа преподавателей, большой объем расходных материалов, а также потенциальная возможность неполной объективности оценок.
С 2016 года составной частью вступительных испытаний для поступающих в магистратуру ДГТУ является тестирование с использованием компьютерных технологий. Особенностью приемной кампании 2016 г. является то, что она проходит в условиях переходного периода после проведенной реорганизации университета в форме присоединения к ДГТУ Ростовского государственного строительного университета и создания на его базе Академии строительства и архитектуры (АСА ДГТУ), что повлекло организационное разделение поступающих в магистратуру на два потока, обслуживаемых приемной комиссией ДГТУ с двумя приемными подкомиссиями: ДГТУ и АСА ДГТУ.
Тестирование проводилось управлением дистанционного обучения и повышения квалификации (УДО и ПК) ДГТУ по единой методике с использованием ресурсов разработанного УДО и ПК портала электронного обучения «СКИФ» (http://moodle.donstu.ru/) с учетом специфики дисциплин и направлений магистерской подготовки в ДГТУ и АСА ДГТУ.
Компьютерное тестирование в ДГТУ
Программа тестирования
Тестирование проводилось в соответствии с Программой вступительных испытаний для поступающих в магистратуру ДГТУ в 2016-2017 учебном году для поступающих на очную, очно-заочную и заочную формы обучения, как на бюджетной, так и на платной основах по направлениям подготовки в соответствии с Правилами приема.
Перечень направлений и программ магистерской подготовки, состав соответствующих им тестов, утверждены ответственным проректором ДГТУ. Для каждого из направлений предусмотрены единые междисциплинарные тесты, за исключением ряда направлений, в которых, ввиду существенных отличий программ, каждой из программ соответствовал отдельный тест.
Параметры тестирования
Основные параметры тестов и организации тестирования утверждены проректором ДГТУ и приведены в таблице 1.
Таблица 1
Основные параметры тестов и организации тестирования
Параметры Значения параметров
Кол. вопросов в тесте, шт. 30
Продолжительность тестирования, мин 180
Кол. попыток 1
Принцип формирования теста Случайная выборка вопросов из каждой темы
Доступность испытуемым результатов тестирования Сразу после попытки
Ознакомление испытуемых с правильными ответами на вопросы теста Нет
Система оценки тестирования По 100 - бальной шкале
Фонд оценочных средств
Фонд оценочных средств (ФОС) сформирован исходя из утвержденных направлений (программ) магистерской подготовки, по которым разрешено прохождение вступительных испытаний в форме тестов и предоставленных соответствующими кафедрами университета перечней дисциплин, тестовые задания (ТЗ) из которых должны быть включены в тесты. Объем ФОС составил 15163 ТЗ по 292 дисциплинам.
магистратуры
истрат
олучение от кафедр структур тестов и тестовых
На основании запроса проректора по УРиНО
тверждение структур тестов и основных
Утверждается проректором по УРиНО
Формирование ФОС на портале "СКИФ"
ФОС формируется по дисциплинам
Формирование тесто на портале "СКИФ"
Формирование и размещение на портале "СКИФ" тестов, их структур и демо-версий, расписания тестирований, инструкций
Рис. 1. Организационная схема формирования тестов
Формирование тестов
Исходными данными для формирования тестов являлись утвержденные проректором ДГТУ составы и основные параметры тестов. Структуры тестов (перечень включаемых в тест дисциплин и количество включаемых в тест вопросов из каждой дисциплины) сформированы на основании предоставленных соответствующими кафедрами университета данных. Организационная схема формирования тестов представлена на рисунке 1.
Для каждого тестируемого при его входе в систему программными средствами формировался индивидуальный тест путем случайной выборки 30 ТЗ из ФОС дисциплин, определенных для данного направления или программы. Алгоритм машинного формирования тестов приведен на рисунке 2.
Таким образом были сформированы 38 тестов в ДГТУ и 32 теста в АСА
ДГТУ.
ИСХОДНЫЕ ДАННЫЕ
Кол. вопросов дисциплины, включаемых в тест (задано кафедрами) при условии: Х1+Х2+Х3+Х4 +...+Х1=30
Дисциплинарный состав теста
(задано кафедрами)
ФОС дисциплины (предоставлено кафедрами) Уi >>Х1
Х1
Дисциплина 1__У1
Тест №1 случайная выборка: (Х1 из У1)+(Х2 из У2)+ +(Х3 из У3)+(Х4 из У4)+ + ...+(Х1 из У1) = 30 тестовых заданий
Х 2
Х3
Х4
Дисциплина 2
Дисциплина 3
Дисциплина 4
У2
У3
У4
Х1
Дисциплина 1 У1
Рис. 2. Алгоритм машинного формирования тестов методом случайной выборки, где: Х - заданное количество ТЗ, включаемых в тест; У - ФОС
дисциплины
Конфиденциальность и защита информации
С целью исключения несанкционированного доступа к тестам были введены программные ограничения: доступ был возможен только в даты и время проведения
<—
<—
<—
<—
<—
<—
<—
<—
<—
<—
тестирований и исключительно из аудиторий, в которых запланировано проведение тестирований, по индивидуальному логину и паролю. Доступ к электронным файлам и системе СКИФ с правами администратора имело ограниченное число сотрудников УДО и ПК.
Доступ тестируемых в аудиторию, выдача логинов и паролей - по предъявлению паспорта непосредственно перед тестированием.
Ведомости с результатами тестирований распечатывались в 1 экземпляре и вручались ответственному секретарю приемной комиссии или его заместителю.
Методика проведения тестирований
Тестирование проводилось в соответствии с утвержденным ректором ДГТУ расписанием вступительных испытаний для поступающих в магистратуру в 2016 г. 15, 21, 22, 26 июля и 11, 16 августа 2016 г.
Для тестирования были предоставлены компьютерные классы в ДГТУ (для поступающих на направления ДГТУ) и в АСА ДГТУ (для поступающих на направления АСА ДГТУ).
В ДГТУ для тестирования были определены 6 компьютерных классов, в которых единовременно могло быть протестировано до 104 человек, предусмотрена одна резервная аудитория. В каждой аудитории предусмотрено 1 резервное рабочее место, не включенное в расписание. В случае выявления неработоспособных компьютеров «лишние» тестируемые направлялись в резервную аудиторию. В одной аудитории проводилось до 5 сеансов тестирований в день в зависимости от количества записанных на тестирование человек, что позволило тестировать до 520 человек день.
В АСА ДГТУ тестирование проводилось в указанные выше даты в 10 аудиториях, в которых единовременно могло быть протестировано до 131 человека, предусмотрена одна резервная аудитория. Ежедневно проводилось до 5 сеансов тестирований в зависимости от количества записанных на тестирование человек, что позволило тестировать до 655 человек день. С целью обеспечения равномерной нагрузки на сервер время начала тестирований в АСА ДГТУ было смещено на 1 час относительно времени начала тестирований в ДГТУ.
Таким образом, одновременно в ДГТУ и АСА ДГТУ могли проходить тестирование до 235 чел., общее максимальное количество тестируемых в день - до 1175 человек.
Предварительная запись на тестирование производилась приемной комиссией при приеме документов. В электронную табличную форму, содержащую даты, время и аудитории, в которых будут проходить тестирования, по мере поступления заявлений поступающих в соответствующие поля ФИО поступающего и код направления его магистерской подготовки. По завершении процедуры подачи документов поступающие уведомлялись о дате, времени и месте проведения тестирования.
Расписание компьютерных тестирований, структуры и демо-версии тестов, инструктаж по прохождению тестирования размещались на портале «СКИФ» сайта ДГТУ (http://moodle.dstu.edu.ru/course/view.php?id=4543) с ссылкой в разделе «Абитуриентам» / «Как поступить». Скриншоты страниц портала «СКИФ» с расписанием компьютерных тестирований, структурами и демо-версиями тестов, инструктажем по прохождению тестирования представлены на рисунках 3а, б.
Не позднее 11:00 дня, предшествовавшему тестированию, приемная комиссия направляла в УДО и ПК на бумажном носителе с подписью Ответственного секретаря приемной комиссии и в электронном виде списки подлежащих тестированию поступающих для подгрузки к тестам в соответствии с
направлениями магистерской подготовки и формированию логинов и паролей для индивидуального входа в систему. В связи с тем, что приемная комиссия принимает документы по направлениям магистратуры без разделения на программы, в случаях, когда программой тестирований предусмотрены отдельные тесты по каждой из программ направления, списки тестируемых подгружались к каждому из тестов, входящих в данное направление. Тестируемый при входе в систему должен сам выбрать нужный ему тест, исходя из программы своей магистерской подготовки.
Рис. 3а. Главная страница компьютерного тестированияпоступающих в магистратуру портала «СКИФ»
Рис. 3б. Структуры и раскрывающиеся демо-версии тестов
Для проведения тестирования были назначены тестотехники из числа сотрудников УДО и ПК и преподавателей АСА ДГТУ. Составлялся график работы тестотехников.
На тестирование предоставлялось 3 часа. Практика предыдущих тестирований показала, что на тест затрачивается, как правило, не более 1,2 часов. Порядком проведения тестирования предусматривалось, что если поступающий не успевал завершить тестирование к началу следующего сеанса, он продолжал тестироваться до истечения положенных ему 3 часов. В случае недостатка в связи с этим мест для отдельных тестируемых, явившихся на очередной сеанс тестирования, они ожидают освобождения места или направляются в резервную аудиторию. Опоздавшие на тестирование на 10 минут и более направляются в резервную аудиторию, чтобы не создавать препятствия для следующей группы тестируемых. В процессе тестирования переводов в резервную аудиторию по данным причинам не было.
При выявлении в тесте некорректного вопроса тестотехник предлагал тестируемому перейти к следующему вопросу, заполнял бланк «Лист мониторинга ФОС», сообщал по телефону об ошибке ответственному программисту УДО и ПК. Ошибка оперативно исправлялась. Тестируемый возвращался к данному вопросу теста и продолжал работу.
Результаты тестирований оформлялись после завершения всех дневных тестирований в виде ведомости и предоставлялись ответственному секретарю приемной комиссии.
Реализация компьютерного тестирования
Результаты тестирований
Вступительные испытания для поступающих в магистратуру проводилось по 45 направлениям, в том числе - отдельно по 36 программам магистерской подготовки с использованием 70 тестов. Фонд оценочных средств включал более 15 тысяч тестовых заданий по 292 дисциплинам.
Тестирования проводились в течение 6 дней в 18 компьютерных классах с использованием 235 компьютеров. Одновременно в ДГТУ и АСА ДГТУ могли проходить тестирование до 235 чел. Расчетная пропускная способность - до 1175 человек в день. Фактически, исходя из количества поданных заявлений, максимальное количество протестированных в один день составило 973 человека.
Всего в период проведения приемной кампании протестировано 2001 чел., в т.ч. в ДГТУ - 1042 человека; в АСА ДГТУ - 959 человек, рисунок 4.
В организации и проведении тестирований, обработке их результатов были задействованы 46 человек, в т.ч. 40 тестотехников, из которых 12 - сотрудники УДО и ПК и 28 -дополнительно привлеченные АСА ДГТУ тестотехники из числа преподавательского состава.
Пиковые значения объемов, приходящиеся на 21 июля и 11 августа, обусловлены тем, что в указанные даты проводилось тестирование поступающих на бюджетные места, на которые подано максимальное количество заявлений.
По результатам тестирований формировались ведомости компьютерного тестирования, в которых указывались:
- место проведения тестирования (ДГТУ или АСА ДГТУ);
- дата тестирования;
- код и наименование направления магистерской подготовки, программы магистерской подготовки (при наличии отдельного теста);
- ФИО тестируемого;
- время, затраченное на прохождение теста;
- оценка по 100-балльной шкале.
Ведомости распечатывались, подписывались начальником УДО и ПК и передавались ответственному секретарю приемной комиссии ДГТУ.
Общее количество тестирований
1200
973
1000
800
600
400 234
200
0
15 июля
21 июля
22 июля
26 июля
11 августа
16 августа
Рис. 4. Объемы тестирований
Анализ и оценка проекта
Кампания по проведению компьютерного тестирования поступающих в магистратуру ДГТУ в 2016 г. признана успешной. Решением Ученого Совета ДГТУ признано целесообразным использование компьютерного тестирования в приемных кампаниях при всех видах вступительных испытаний.
Рекомендовано распространить практику применения компьютерного тестирования на иные направления, требующие независимой объективной оценки уровня знаний поступающих или обучающихся, в частности, при входном тестировании поступивших на 1 курс обучения по основным общеобразовательным дисциплинам, при текущей оценке уровня освоения материала студентами всех форм обучения, при рубежном и итоговом контролях обучающихся.
Заключение
Описан метод педагогической диагностики с применением современной информационной технологии - компьютерного тестирования. Подробно изложены пути и методы организации процесса.
Приведенные решения и разработанная нами инструментальная оболочка могут быть использованы в обучающих системах любой естественной и технической дисциплины, в том числе с применением дистанционных технологий, что открывает широкие возможности для сотрудничества.
Информацию о системе портала СКИФ ДГТУ можно получить на сайте http://www.moodle.donstu.ru, вопросы и предложения о сотрудничестве просим направлять по адресу: [email protected].
Литература
1. Портал дистанционного обучения «СКИФ» в системе профессионального обучения (учеб. пособие). Ростов н/Д: Издательский центр ДГТУ, 2014 - 150 с. (соавторы: А.И. Шлыкова, А.А. Скляренко, Н.Б. Щеглова, В.И. Игнатенко.)
2. Мультимедийные технологии в профессиональном и корпоративном обучении. Актуальные вопросы информатизации образовательного процесса, О.А. Захарова:
моногр. - Центр информатизации, ЦНИ "Монография", г. Красноярск, 2014. - 220 с.
3. Дистанционные технологии и электронное обучение в профессиональном образовании (монография). Ростов н/Д: Издательский центр ДГТУ, 2015 - 150 с. (соавторы: Т. Г. Везиров, М. В. Ядровская).
4. Методические и теоретические основы создания педагогических тестов по информатике. Научно-педагогическое издание, Известия Южного федерального университета, Педагогические науки 2015 №2,3 (соавторы: Черкесова Л.В., Акишин Б.А., Манаенкова О.Н., Никишина Т.Г.).
5. Положение о системе компьютерного тестирования обучающихся ДГТУ «Эффективный контроль и мониторинг» (ЭКиМ). - Ростов-на-Дону, ДГТУ, 2014. - 10 с.
6. Положение об электронных образовательных ресурсах ДГТУ. - Ростов-на-Дону, ДГТУ, 2013. - 13 с.
