CC BY
48
УДК 378.14
Карпенко С.Н., Кузенкова Г.В., Шестакова Н.В., Борисов Н.А., Кузнецов А.И.
Нижегородский государственный университет им. Н.И. Лобачевского, г. Нижний Новгород, Россия
СОЗДАНИЕ СИСТЕМЫ ЭЛЕКТРОННОГО ТЕСТИРОВАНИЯ НА БАЗЕ СДО MOODLE КАК ЭЛЕМЕНТА ФОНДА ОЦЕНОЧНЫХ СРЕДСТВ
АННОТАЦИЯ
Рассматриваются вопросы создания и развития системы электронного тестирования в институте информационных технологий, математики и механики с целью поддержки фонда оценочных средств (ФОС) основных образовательных программ. Предложен подход идентификации тестовых заданий, основанный на требованиях педагогического контроля, реализующий задачи проверки сформированности компетенций.
КЛЮЧЕВЫЕ СЛОВА
Фонд оценочных средств, компетенции, система электронного тестирования, банк вопросов, система дистанционного обучения MOODLE.
Karpenko S.N., Kuzenkova G.V., Shestakova N.V., Borisov N.A., Kuznetsov A. I.
Lobachevsky University, Nizhny Novgorod, Russia
THE CREATION OF AN ELECTRONIC TESTING SYSTEM ON THE BASIS OF LMS MOODLE AS PART OF THE FOUNDATION ASSESSMENT TOOLS
ABSTRACT
The creation and development of the electronic testing system in the Institute of information technology, mathematics and mechanics to support the Fund assessment tools (FOS) of the basic educational programs are considered in the article. Method of identification of test items based on the requirements of pedagogical control that implements the task of verification of competence is proposed.
KEYWORDS
Fund of estimating tools, system of electronic testing, the Bank вопросов LMS Moodle.
Современные требования образовательных стандартов Высшей школы предписывают результаты обучения формулировать в терминах компетенций, соответственно, в рабочих учебных программах дисциплин необходимо отразить не только процесс формирования компетенций, но и создать комплект контрольно-измерительных материалов для проверки их сформированности. При этом компетенции многофункциональны и междисциплинарны, имеют интегративную природу, заключают в себе ряд умений и знаний, мотивацию и ценностные ориентации, а также проявления компетенций носят отсроченный характер в конкретной профессиональной деятельности после окончания обучения [1-3]. Несмотря на большое количество публикаций, посвященных организации фонда оценочных средств (ФОС), вопрос методологического и технического обеспечения является актуальным. Если речь идет о содержимом ФОС, то необходима разработка комплексных компетентностно-ориентированных заданий с включением материала из различных предметных областей, многомерного шкалирования и специальных методов интеграции рейтинговых баллов по различным количественным и качественным шкалам [4]. Технологическая сторона вопроса заключается в следующем: организация доступа к заданиям и формирование варианта оценочного средства согласно конкретной задаче контроля обучения. Наиболее удобным средством, на наш взгляд, являются системы дистанционного обучения (СДО). Опыт работы института ИТММ по созданию образовательного портала и системы электронного тестирования [5, 6] показывает, что в целом технологии e-learning предоставляют преподавателям большие возможности в реализации элементов фонда оценочных средств: автоматизация контроля процесса обучения в виде набора тестов, заданий и иных учебных активностей. Традиционно организация учебного процесса в СДО строится по предметному принципу [7, 8]: • Сайт дисциплины:
• Учебные материалы дисциплины (материалы для самостоятельно изучения, контрольные учебные материалы).
• Результаты обучения студентов по данной дисциплине.
В то время как результаты обучения формулируются и должны оцениваться по компетентностному принципу.
Существуют СДО [9-11], где может быть организован доступ к общей базе (репозиторию) учебных материалов. Однако в известных нам системах не уделяется внимание атрибутам тестовых заданий, которые бы позволяли характеризовать их с точки зрения дидактических параметров (что проверяется, уровень сложности и т.п.), что позволяло бы автоматизировать процесс формирования варианта оценочного средства. Думается что, логическая структура системы электронного тестирования должна учесть оба принципа, лежащих в основе составления контрольно-измерительных материалов: предметный и комплексный.
Для реализации данного подхода в системе электронного обучения ННГУ на основе MOODLE необходимо создать инструмент, позволяющий собирать и структурировать контрольно-измерительные материалы по всем видам учебной деятельности в рамках направления подготовки - систему электронного тестирования (СЭТ). Система электронного тестирования должна включать в себя совокупность Фондов тестовых заданий ФОС дисциплин (модулей), ФОС основных профессиональных образовательных программ и ФОС ГИА по всем направлениям и профилям подготовки.
Функционирование СЭТ осуществляется в два этапа:
1. Формирование фонда тестовых заданий в рамках одной дисциплины.
2. Автоматизация создания вариантов тестов в зависимости от задачи проверки
сформированности компетенции (компетенций):
1) в рамках дисциплины;
2) в рамках группы смежных дисциплин;
3) в рамках дисциплин одного года обучения;
4) в рамках направления подготовки в целом;
5) и т.д.
Преподавателем (или коллективом преподавателей) каждой дисциплины формулируется перечень знаний, умений и навыков в аспекте формирования той или иной компетенции. Далее разрабатывается набор контрольно-измерительных материалов по дисциплине, проводится их апробация и создается тем самым ФОС дисциплины. Все контрольно-измерительные материалы дисциплины составляют банк вопросов по дисциплине. Банк вопросов состоит из подэлементов, соответствующих некоторым структурным единицам данной дисциплины. Кроме автоматически проверяемых тестовых заданий возможно применение других форм контроля сформированности компетенций - заданий, проверяемых экспертами.
Как уже отмечалось выше, в СДО MOODLE учебные материалы дисциплины представлены веб-сайтом, имеющим определенную структуру. Отдельная дисциплина ведется на определенном направлении подготовки в определенном семестре (например, «Математический анализ», 1 семестр, направление «Прикладная информатика»). Однако есть учебный предмет, который читается на разных направлениях подготовки в разных семестрах. Предмет включает несколько различных дисциплин (например, предмет «Математический анализ» включает: «Математический анализ 1», «Математический анализ 2»). Темы дисциплин одного предмета могут совпадать по разным направлениям подготовки. Следовательно, контрольно-измерительные материалы могут применяться одни и те же.
СЭТ института ИТММ позиционируется как надстройка в системе электронного обучения ННГУ (рис. 1). Основными операциями СЭТ института ИТММ являются:
• формирование справочных таблиц;
• описание сайтов, предметов и дисциплин;
• идентификация сайтов СЭТ;
• идентификация банков тестовых вопросов (в рамках терминологии MOODLE);
• присвоение атрибутов тестовым заданиям;
• формирование банка тестовых вопросов для контроля сформированности компетенций.
Рис.1. СЭТ института ИТММ в системе электронного обучения ННГУ
Таблицы БД делятся на два типа: справочные и формируемые. Данные справочных таблиц вводятся в БД до начала работы системы «вручную» или импортируются из заранее подготовленных файлов. К числу справочных таблиц относятся:
• кафедры;
• направления подготовки;
• дисциплины;
• предметы;
• группы компетенций;
• компетенции;
• виды деятельности.
Формируемые таблицы содержат данные, которые собираются автоматически в процессе работы системы на основе анализа информации системы электронного обучения ННГУ.
Описание сайтов предметов и дисциплин выполняется на этапе создания и редактирования сайтов. Описания включают информационные элементы, добавляемые на сайты для их идентификации в СЭТ института ИТММ. Содержания этих элементов вносятся из справочных таблиц БД СЭТ ИИТММ с помощью специальных форм СЭТ, действующих автономно от СЭО ННГУ. На рисунке 2 представлено диалоговое окно для формирования списка дисциплин, которые входят в предмет выбранного направления, уровня и семестра. На панели «Сайты дисциплин предмета» для каждого дисциплины предмета выбираются параметры. Описание сайта предмета отражается в нижнем поле окна.
Операция идентификации сайтов в СЭТ состоит в регистрации этих сайтов в БД и должна выполняться автоматически по мере появления новых описанных сайтов предметов и дисциплин.
При работе с банками вопросов должна осуществляться идентификация категорий1 банков вопросов и идентификация самих вопросов банков вопросов.
Идентификация категорий банков вопросов основывается на описании тем. На рисунке 3 представлено описание категорий банков вопросов дисциплин предметов. Плюсами отмечаются категории БД для направлений подготовки.
Для идентификации вопросов банков вопросов необходимо сформировать описания параметров (атрибутов) вопросов и указать компетенции. Для каждого вопроса указываются следующие атрибуты:
• Что проверяется: знания, умения, навыки, компетенции.
• Уровни: репродуктивный, алгоритмический, творческий.
• Тип материала: основной, дополнительный.
• Виды освоенных знаний: фактуальные, сравнительные, причинно-следственные, алгоритмические, системные.
• Тип оценки: дихотомическая, политомическая.
1 Терминология СДО MOODLE
• Степень освоения студентами ряда логических операций: сравнение, анализ, синтез, классификация, установление причинно-следственных связей, аналогии.
• Сложность: простой, сложный._
п^ СЭТ ИИТММ. Общее описание сайта
ПЁР
Тип сайта •■в,- Сайт предмета
Параметры сайта предмета
Сайт дисциплины
Предмет: Методы ООП. С++
Краткое название: МООП
Сайты дисциплин предмета
Направление подготовки: ФИИТ
Уровень •§> Б М
Семестр: \2
ОК
Дисциплина: Основы программирования
Краткое название: МА
Добавить дисциплину
Описание сайта
Название: Метода ООП. С++ Тип: предмет Дисциплины предмета:
1. Основы программирования; Ф И И Т_ Б_2_ П И НЖ_ОСПрог
2. Информатика и программирование: ПИНЖ_Б_2_ПИНЖ_ИНиПрог
Рис. 2. Описание сайта предмета для формирования списка дисциплин
СЭТ ИИТММ. Категории банков вопросов дисциплин предметов [ с=г |
Предметы
Темы дисциплин предмета "Математический анализ"
Тема, раздел, подраздел,- Уровень ПМИ_1 ФИИТ_1 ПМИ_2 ФИИТ_2
► функции одной переменной 1
Числовые множества, существование точ... 2 + +
Функции и их свойства 2 +
Числовые последовательности: предел и е... 2 + +
Дифференциальное исчисление Функций одн... 1
Производная, дифференциал и их свойства 2 + + + +
* Основные теоремы о дифференцируемых... 2 + + +
Рис. 3. Описание категорий БД вопросов дисциплин предметов
Выбор сайта
о Сайт предмета 1 Сайт дисциплины
Предмет:
Дисциплина
Направление подготовки: Q Дисциплина:
Семестр: [1 jjj| | ОК
Категории БВ сайта "Математический ai
0" Функции одной переменной
Числовые множества, существование точных: граней
Функции и их свойства
Ш Дифференциальное исчисление функций одной переменной
Формирование параметров вопросов Что проверяется Уровни
□ Нет
□ Нет
| Репродуктивный
IvjtüESEBSSSEl
в Творческий
□ Нет
ШШ_
□ Дополнительный
Параметры вопросов категории "Функции и их свойства"
Виды освоенных знаний
□ Нет
3] Фактуальные П Сравнительные ñ Причинно-следсп
13] Системные
0 Нет
ЭЕВ_
ГН Политомическая
Степень освоения !шшеоа®_опеЕзашй. □ Нет ПСра.
т
О Синтез | | Классификация | | Установление пр П Аналогии
Добавить значения параметров в вопрос
Что w т Виды Степень освоения _ Имя вопроса проверяется Уровни Тип материала освоенных Тип оценки логич операций Сложность знаний
Вопрос 1 Умения Алгоритмический Дополнительный Сравнительные Дтотомическая Классификация Простой
Вопрос 2
Вопрос 3 Знания Репродуктивный Дополнительный Фактуальные Дихотомическая Анализ Сложный
Вопрос 4
Рис. 4. Присвоение атрибутов вопросам из категорий банка вопросов
Согласно образовательным стандартам выделяют общекультурные, общепрофессиональные и профессиональные компетенции. Каждая дисциплина и предмет формирует свой набор компетенций согласно направлению и уровню подготовки. Выбор компетенции из справочной таблицы БД СЭТ осуществляется для каждого вопроса указанной категории. Компетенция добавляется в таблицу формы для выбранного вопроса (рис. 5).
■ЫЩИшШ
а^ СЭТ ИИТММ, Компетенции вопросов
Дисциплина Направление
Уровень
■i' б с;
Семестр: 1
Дисциплина: Математический анализ Дисциплина пре смета
Категории БВ дисциплины "Математический ai
• Функции одной переменной
Числовые множества, существование точных граней Функции и их свойства ■ Дифференциальное исчисление Функций одной переменной
Формирование компетенций вопросов Тип компетенций Общекультурные 1 Общепрофессиональные 1 Профессиональные
Общекультурные компетенции
П О К-1: способность использовать основы философских знаний для формирования мировоззренческой позиции ГН ОК-2: способность анализировать основные этапы и закономерности исторического развитая общества для формирования гражданской позиции _
П ОК-4: способность использовать основы правовых знаний в различных сферах жизнедеятельности П О К-5: способность к коммуникации в устной и письменной Формах на русском и иностранном языках для решения задач
Добавить компетенцию вопросу
Параметры вопросов категории "Функции и их свойства"
Имя вопроса Проверяемая компетенция
Вопрос 1 ОК-9: способность использовать приемы первой помощи, методы защиты в условиях чрезвычайных ситуаций
► HüSSÜi^®
Вопрос 3 ОК-4: способность использовать основы правовых знаний в различных сферах жизнедеятельности
Вопрос 4
•
Рис. 5. Выбор из справочной таблицы БД СЭТ компетенции для вопроса
Последующее формирование тестовых вариантов будет основываться на характеристиках тестовых вопросов всех банков вопросов дисциплин и предметов. Идентификация вопросов требует много усилий со стороны преподавателей. Масштабы работы в рамках всего института огромны. Так, в институте ИТММ накоплен большой банк тестовых вопросов по математическим дисциплинам (несколько тысяч). Например, по дисциплине «Математический анализ 1»
разработаны 500 тестовых вопросов, по дисциплине «Дифференциальные уравнения» - 140 вопросов, по «Дискретной математике» - 114 вопросов, «Теории вероятностей и математической статистике» - 230 вопросов, по предмету «Методы объектно-ориентированного программирования» - 900 вопросов. Однако думается, что усилия в этом направлении помогут реализовать в полной мере требования к педагогическому контролю:
1) объективность;
2) регулярность;
3) всесторонность;
4) индивидуальность;
5) дифференцированность;
6) единство требований к результатам контроля;
7) целенаправленность;
8) мобильность;
9) активизация познавательной деятельности студентов.
Таким образом, формирование системы электронного тестирования, базирующейся на комплексе признаков тестовых вопросов и иных заданий контроля, позволит вывести применение дистанционных образовательных технологий на принципиально новый уровень, перейти от выборочных проверок к комплексному контролю знаний, умений, навыков, компетенций студентов и снабдить преподавателей современным инструментом для создания оценочных средств дисциплины.
Литература
1. Приказ Минобрнауки России от 19.12.2013 N 1367 (ред. от 15.01.2015) «Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования -программам бакалавриата, программам специалитета, программам магистратуры» (Зарегистрировано в Минюсте России 24.02.2014 N 31402) КонсультантПлюс. URL: http://www.consultant.ru/document/cons_doc_LAW_159671
2. Гугина Е.В., Кузенков О.А. Образовательные стандарты Нижегородского государственного университета им. Н.И. Лобачевского // Вестник Нижегородского университета им. Н.И. Лобачевского. 2014. № 3. C. 39-44. URL: http://www.vestnik.unn.ru/ru/nomera?anum=8681
3. Малыгин А.А. Теория педагогических измерений как научная основа для повышения эффективности контрольно-оценочных процессов в образовании // Известия высших учебных заведений. Серия: гуманитарные науки. 2010. Т.1. №2. С. 154-158. URL: https://www.isuct.ru/e-publ/gum/node/96
4. Дятлова К.Д., Гаврилова М.А., Колпаков И.А. Опыт создания компетентностного итогового теста // Вестник Нижегородского университета им. Н.И. Лобачевского Серия Инновации в образовании. 2013. №2(1). С.11-15. URL: http://elibrary.ru/item.asp?id=19066893
5. Гергель В.П., Борисов Н.А., Карпенко С.Н, Кузенкова Г.В., Шестакова Н.В. Образовательный портал факультета вычислительной математики и кибернетики ННГУ им. Н.И. Лобачевского на платформе Microsoft SharePoint // Международный электронный журнал «Образовательные технологии и общество». Т. 17. № 4. 2014. С. 465-478. URL: http://ifets.ieee.org/russian/depository/v17_i4/pdf/3.pdf
6. Шестакова Н.В., Кузенкова Г.В., Карпенко С.Н., Борисов Н.А., Лабутин Д.Ю. Система электронного тестирования в комплексе форм реализации фонда оценочных средств // Инновационные методы обучения в высшей школе. Выпуск 2016 (Сборник статей по итогам методической конференции ННГУ 10-12 февраля 2016 г.). - Нижний Новгород: ННГУ им. Н.И. Лобачевского, 2016. - 288 с. - ISBN 978-5-91326-337-7. 2016. С. 279-284.
7. Система Дистанционного Обучения SharePointLMS. URL: http://elearningsoft.ru/products/sharepointlms
8. Moodle - система дистанционного обучения. Сайт компании Открытые Технологии. URL: http://opentechnology.ru/products/moodle
9. Система дистанционного обучения ShareKnowledge. URL: http://competentum.ru/sistema-distancionnogo-obucheniya
10. eLearning Server 4G - система управления обучением и развитием. URL: http://hypermethod.ru/product/0/3#additional
11. Mirapolis Learning Management System (Система дистанционного обучения) - современная система управления дистанционным обучением. URL: http://www.mirapolis.ru/learning-management-system
References
1. Prikaz Minobrnauki Rossii ot 19.12.2013 N 1367 (red. ot 15.01.2015) «Ob utverzhdenii Poryadka organizatsii i osushchestvleniya obrazovatel'noy deyatel'nosti po obrazovatel'nym programmam vysshego obrazovaniya - programmam bakalavriata, programmam spetsialiteta, programmam magistratury» (Zaregistrirovano v Minyuste Rossii 24.02.2014 N 31402) Konsul'tantPlyus. URL: http://www.consultant.ru/document/cons_doc_LAW_159671
2. Gugina E.V., Kuzenkov O.A. Obrazovatel'nye standarty Nizhegorodskogo gosudarstvennogo universiteta im. N.I. Lobachevskogo // Vestnik Nizhegorodskogo universiteta im. N.I. Lobachevskogo. 2014. № 3. C. 39-44. URL: http://www.vestnik.unn.ru/ru/nomera?anum=8681
3. Malygin A.A. Teoriya pedagogicheskikh izmereniy kak nauchnaya osnova dlya povysheniya effektivnosti kontrol'no-otsenochnykh protsessov v obrazovanii // Izvestiya vysshikh uchebnykh zavedeniy. Seriya: gumanitarnye nauki. 2010. T.1. №2. S. 154-158. URL: https://www.isuct.ru/e-publ/gum/node/96
4. Dyatlova K.D., Gavrilova M.A., Kolpakov I.A. Opyt sozdaniya kompetentnostnogo itogovogo testa // Vestnik Nizhegorodskogo universiteta im. N.I. Lobachevskogo Seriya Innovatsii v obrazovanii. 2013. №2(1). S.11-15. URL: http://elibrary.ru/item.asp?id=19066893
5. Gergel' V.P., Borisov N.A., Karpenko S.N, Kuzenkova G.V., Shestakova N.V. Obrazovatel'nyy portal fakul'teta vychislitel'noy matematiki i kibernetiki NNGU im. N.I. Lobachevskogo na platforme Microsoft SharePoint // Mezhdunarodnyy elektronnyy
zhurnal «Obrazovatel'nye tekhnologii i obshchestvo». T. 17. № 4. 2014. S. 465-478. URL: http://ifets.ieee.Org/russian/depository/v17_i4/pdf/3.pdf
6. Shestakova N.V., Kuzenkova G.V., Karpenko S.N., Borisov N.A., Labutin D.Yu. Sistema elektronnogo testirovaniya v komplekse form realizatsii fonda otsenochnykh sredstv // Innovatsionnye metody obucheniya v vysshey shkole. Vypusk 2016 (Sbornik statey po itogam metodicheskoy konferentsii NNGU 10-12 fevralya 2016 g.). - Nizhniy Novgorod: NNGU im. N.I. Lobachevskogo, 2016. - 288 s. - ISBN 978-5-91326-337-7. 2016. S. 279-284.
7. Sistema Distantsionnogo Obucheniya SharePointLMS. URL: http://elearningsoft.ru/products/sharepointlms
8. Moodle - sistema distantsionnogo obucheniya. Sayt kompanii Otkrytye Tekhnologii. URL: http://opentechnology.ru/products/moodle
9. Sistema distantsionnogo obucheniya ShareKnowledge. URL: http://competentum.ru/sistema-distancionnogo-obucheniya
10. eLearning Server 4G - sistema upravleniya obucheniem i razvitiem. URL: http://hypermethod.ru/product/0/3#additional
11. Mirapolis Learning Management System (Sistema distantsionnogo obucheniya) - sovremennaya sistema upravleniya distantsionnym obucheniem. URL: http://www.mirapolis.ru/learning-management-system
Поступила 14.10.2016
Об авторах:
Карпенко Сергей Николаевич, доцент кафедры программной инженерии Института информационных технологий, математики и механики Нижегородскии государственныи университет им. Н.И. Лобачевского, кандидат технических наук, [email protected];
Кузенкова Галина Владимировна, доцент кафедры программнои инженерии Института информационных технологии, математики и механики Нижегородскии государственныи университет им. Н.И. Лобачевского, кандидат химических наук, [email protected];
Шестакова Наталья Валерьевна, ассистент кафедры математического обеспечения и суперкомпьютерных технологии Института информационных технологии, математики и механики Нижегородскии государственныи университет им. Н.И. Лобачевского, [email protected];
Борисов Николай Анатольевич, доцент кафедры программнои инженерии Института информационных технологии, математики и механики Нижегородскии государственныи университет им. Н.И. Лобачевского, кандидат технических наук, [email protected];
Александр Иванович Кузнецов, ведущии программист Института информационных технологии, математики и механики Нижегородскии государственныи университет им. Н.И. Лобачевского, [email protected].
