CC BY
67
МОДЕЛИ И МЕТОДЫ ОПРЕДЕЛЕНИЯ РЕЗУЛЬТАТИВНОСТИ ИСПОЛЬЗОВАНИЯ ИНТЕРАКТИВНЫХ ЭЛЕКТРОННЫХ УЧЕБНЫХ ЭЛЕМЕНТОВ В УЧЕБНОМ ПРОЦЕССЕ
А.И. Гусева, В.С. Киреев
Национальный исследовательский ядерный университет МИФИ Каширское ш., 31, Москва, Россия, 115409
Данное исследование направлено на решение важной научной задачи, заключающейся в разработке интерактивных электронных учебных элементов в формате SCORM 2004, используемых в системах электронного обучения. Разработаны модели электронных учебных элементов, основанных на использовании практико-ориентированных методов формирования необходимых профессиональных компетенций при подготовке специалистов для наукоемких секторов экономики, особенно ядерной отрасли. Разработанные модели легли в основу методов определения результативности использования интерактивных электронных учебных элементов как компонентов научно-исследовательской среды ядерного университета.
Ключевые слова: информационно-образовательные ресурсы, методология SCORM, системы электронного обучения, программные тренажеры, электронные обучающие курсы.
В современных условиях задача перехода к ФГОС ВПО считается уже решенной, с сентября 2011 г. все высшие учебные заведения переходят к реализации компетентностно-ориентированных основных образовательных программ. В этой связи широкое внедрение активных практико-ориентированных форм обучения является чрезвычайно актуальным. Наиболее перспективным и быстроразвива-ющимся направлением в последние годы является электронное обучение, благодаря которому появляются новые и модернизируются старые образовательные технологии, опирающиеся на телекоммуникации и компьютерные средства представления информации. Особую значимость успешное решение задачи разработки и внедрения технологий электронного обучения приобретает в связи с созданием сети российских исследовательских университетов, ориентированных на скорейшее создание кадрового обеспечения инновационной экономики России. В этом ряду одно из ключевых мест занимает Национальный исследовательский ядерный университет МИФИ (НИЯУ МИФИ), реализующий образовательные программы по ряду важнейших направлений науки и образования, предназначенные для подготовки и переподготовки специалистов для наукоемких отраслей промышленности. Опыт НИЯУ МИФИ, опирающийся на использование электронных учебных элементов для организации инновационных активно-деятельностных и интерактивных форм обучения, насчитывает несколько лет и показывает высокую результативность обучения [1; 2].
Система электронного обучения МИФИСТ. Основу электронного обучения в НИЯУ МИФИ составляет система поддержки самостоятельной работы студентов МИФИСТ, разработанная и внедренная в учебный процесс в рамках реализации Инновационной программы инженерно-физического образования для нового этапа развития ядерной науки и промышленности (2007 г.).
Назначением системы МИФИСТ являлась организация информационно-образовательного пространства для самостоятельной работы студентов и создание
хранилища учебно-методических материалов. Разработка системы сопровождается созданием информационного, программного, методического и организационного обеспечения системы для последующего и постепенного наполнения его информационными ресурсами и учебными элементами. Разработанная система обеспечивает возможности планирования самостоятельной работы, автоматизированное выполнение функций публикаций информационных и учебных материалов преподавателями, доставки учебных материалов учащимся, сбора и оценки выполненных разного вида самостоятельных работ студентов.
В основу проекта системы МИФИСТ заложены следующие характеристики: масштабируемость, производительность, надежность, открытость, переносимость, совместимость по данным с существующими БД МИФИ, безопасность.
Масштабируемость системы на первом этапе эксплуатации составляет 14 000 пользователей, в дальнейшем нагрузка системы может возрасти до 30 000 пользователей, распределенным по 26 учебным заведениям в пяти федеральных округах.
Открытость системы МИФИСТ означает, что проектирование системы проведено по модульному принципу, который позволяет расширять и модифицировать функционал подсистем. Переносимость программного обеспечения означает, что в качестве серверной платформы может использоваться как Windows 2003 Server c соответствующим IIS, так и свободно распространяемый программный код OC FreeBSD с Apache + PHP Mod.
Использование в качестве ядра системы МИФИСТ свободно распространяемого программного кода LMS Moodle позволяет обеспечить лицензионную чистоту разработки. Для обеспечения требований надежности к стандартной системе безопасности Moodle были добавлены специальные модули.
Эксплуатация системы МИФИСТ показала, что ее функциональные не только дают возможность организации самостоятельной работы студентов, но и полностью соответствуют требованиям электронного обучения. Система МИФИСТ дает возможность использовать инновационные активно-деятельностные и интерактивные формы обучения в виде всевозможных электронных учебных элементов (компьютерные симуляции и многошаговые решатели, деловые и ролевые компьютерные игры, взаимодействие преподавателя с каждым учащимся через журнал электронных заданий, разбор с помощью форумов и чатов конкретных ситуаций, проведение тестовых испытаний и т. д.). С помощью элементов Wiki появилась возможность проведения обучения малыми группами, в том числе и в проектной форме. Проектная технология обучения составляет основу современного инженерного образования. Особую актуальность проектное обучение приобретает при подготовке выпускников в сфере атомной энергетики и ядерного оружейного комплекса по ядерным специальностям, когда необходимые компетенции начинают вырабатываться уже на старших курсах при выполнении курсовых проектов.
Виды электронных учебных элементов. Электронные учебные элементы (информационные, коммуникационные и контролирующие) составляют основное учебно-методическое обеспечение системы МИФИСТ. Высокая трудоемкость создания таких элементов может частично компенсироваться их наглядностью, многократной используемостью и возможностью тиражировать в разных формах подготовленные материалы.
Учебные информационные элементы — это глоссарий, база данных и ресурс. Подсистема мониторинга фиксирует доступ к данным элементам со стороны учащихся и помещает в соответствующий отчет. Коммуникационные элементы, предназначенные для общения «преподаватель—студент» — форум, чат, электронная почта. К контролирующим элементам, несущим основную нагрузку при организации активных форм обучения студентов, относятся «Тест», «Опрос», «Лекция», «Семинар», «Задание», Wiki-файл, SCORM-пакет. Помимо приведенного списка, глоссарий и базу данных тоже можно использовать как контролирующий элемент. В этом случае учащиеся наполняют записями эти элементы, а преподаватель оценивает сделанную работу. Также преподаватель может оценивать работу каждого учащегося на форуме.
Форумы и чаты могут использоваться для проведения консультаций и дискуссий. На эти элементы ложится основная нагрузка при организации интерактивных форм обучения. Эти учебные элементы используются и при проведении проектного обучения, которое в настоящее время считается наиболее практико-ориентирован-ным. В этом случае студенты формируют малые группы по 3—5 человек и разрабатывают групповой проект. Форум позволяет отследить и оценить вклад каждого студента в итоговый результат. Wiki-файл также представляет собой среду для создания групповых проектов. В ней отслеживается траектория каждого пользователя и может быть оценен его вклад в формирование итогового отчета.
Контролирующие элементы МИФИСТа могут быть как с автоматической оценкой результата (тесты, экспресс-опросы, лекции и SCORM-пакеты), так и содержать открытые ответы, требующие проверки непосредственно преподавателем. При использовании любых контролирующих элементов происходит автоматическое занесение результатов оценки для каждого студента в систему управления обучением LMS, которая формирует общую ведомость.
С помощью учебного элемента «Тест» проводятся контролирующие мероприятия с использованием вопросов различных типов: вопросы с закрытой формой ответа, ответы типа «Да/Нет», короткий открытый ответ, числовой открытый ответ, вопрос на определение соответствия, случайный вопрос, и др.
Элемент «Лекция» предназначен для пошагового изучения учебного материала. В этом случае необходимо формирование дидактических единиц и создание контрольных вопросов на усвоение материала. Преподаватель настраивает траектории прохождения материала таким образом, чтобы по результатам контроля перевести студента на следующий уровень изучения материала или вернуть к предыдущему. С помощью этого учебного элемента возможно использовать адаптивные или стратификационные технологии обучения.
Использование элемента «Задание» требует со стороны преподавателя не только доступных для студентов критериев оценки результатов, но и однозначности и понятности алгоритма оценивания. Особенностью данного элемента является то, что его выполнение означает создание и загрузку на сервер файла любого формата (реферат, отчет по лабораторному журналу, текст программы на каком-либо языке программирования и т.д.). Эти элементы позволяют создать для каждого учащегося индивидуальную траекторию обучения.
Особое место среди контролирующих учебных элементов системы МИФИСТ занимают SCORM-пакеты (Sharable Content Object Reference Model), разработанные в рамках стандарта для систем дистанционного обучения. К особенностям SCORM следует отнести следующее:
— стандарт содержит требования к организации учебного материала и всей системы дистанционного обучения;
— стандарт позволяет обеспечить совместимость компонентов и возможность их многократного использования;
— учебный материал представлен отдельными небольшими блоками, которые могут включаться в разные учебные курсы и использоваться системой дистанционного обучения независимо от того, кем, где и с помощью каких средств были созданы.
Систематизация рекомендаций международных стандартов в области электронного обучения позволяет утверждать, что наиболее универсальной из них является методология SCORM, так как формирует следующие требования к системам управления обучением LMS (Learning Management System): доступность, адаптируемость, эффективность, долговечность, интероперабельность, возможность многократного использования. Следовательно, проектирование активных элементов обучения в формате SCORM дает возможность впервые реализовать спиралевидный жизненный цикл информационно-образовательного ресурса, когда не только контент, но и сам информационный ресурс, представленный набором разделяемых сущностей SCO, обладает указанными свойствами, и в первую очередь многократно используется для обновления, дополнения и улучшения системы электронного обучения. Такой инновационный подход позволяет создавать репозитории SCORM-пакетов, из которых строится индивидуальная траектория обучения студента.
Используя компетентностный подход, построим соответствие между уровнями сформированности компетенций и электронными учебными элементами в соответствии таксономией Блума («знание — понимание — применение — анализ — синтез»).
Модель соответствия построим на основе карты компетентностей учебного курса. Для построения карты компетентности необходимо составить перечень признаков проявления компетентностей, отобрать формы, методы и средства их формирования, выбрать методы оценки компетентностей. Уровень сформирован-ности компетентностей определяется как вектор K = {X, Y, Z, V, W}, где X — соответствует знанию, Y — пониманию, Z — применению, V — анализу и W — синтезу. В зависимости от целей и назначения учебной дисциплины в основной образовательной программе, достаточным уровнем сформированности компетентности может считаться значение K = {11100}. Для дисциплин, формирующих важнейшие профессиональные компетентности, необходимо стремиться к K = {11111}.
В таблице приведено соответствие между электронными учебными элементами системы МИФИСТ, где формируется компетенции, и их возможностями для организации самостоятельной работы, активно-деятельностными и интерактивными формами обучения, и уровнем сформированности компетентности.
Таблица
Электронные учебные элементы системы МИФИСТ
Электронный Организация Активно- Интерактивные Уровень освоения
учебный самостоятельной деятельностные формы компетенции
элемент работы формы {X, Y, Z, V, W
Задание + + + 111111
Тест + + + 11110
Опрос - + + 11000
Семинар + + + 11111
Мк1-файл + + + 11111
БСОЯМ-пакет + + + 11111
Лекция + + + 11110
Форум + + + 11111
Чат + + + 11111
Ресурс + - - 10000
Глоссарий + + + 11000
База данных + + + 11000
Ресурс как пассивный учебный элемент создается преподавателем и предназначен для изучения студентами. Работа с глоссарием, базой данных, участие в опросе требуют активных действий со стороны студента, но определить уровень сформированности соответствующей компетенции их помощью можно только как понимание. В этом случае студент в письменной форме объясняет какое-либо понятие или явление.
Использование теста и лекции предполагает такие формулировки тестовых заданий, которые соответствуют уровню не только применения, но и анализа. Например, по курсу «Дискретная математика. Математическая логика» тестовое задание при проверки сформированности компетенции уровня «анализ» может выглядеть таким образом (рис. 1, 2).
Дана частично определенная функция /(а, Ь, с). Доопределить ее Баллов: _ _ „
1 так, чтобы она была линеинои.
abc f(a, b, с)
0 0 0 1
0 0 1 0
0 1 0 1
0 1 1 ES
100 i
L 0 1 ES
L 1 0 ES
L 1 1 ES
Рис. 1. Пример тестового задания
В рамках реализации проекта ФЦП «Научные и научно-педагогические кадры инновационной России» предложенный подход был применен к ряду дисциплин в НИЯУ МИФИ в целях совершенствования качества учебного процесса. К ним относится курс «Дискретная математика. Математическая логика», который в течение ряда лет читается для первого семестра факультета кибернетики для девяти учебных групп (примерно 180 человек). Данный курс основан на рекомендациях СС2001 и СЕ2004 для преподавания информатики и программной инженерии в университетах, а также профессиональных стандартов в области ИТ. Цель данного курса — формирование прочной теоретической и практической основы, необходимой для дальнейшей профессиональной работы по направлению подготовки «Прикладная математика и информатика». Поток содержит девять учебных групп, еженедельно проводятся лекции и семинарские занятия. Экзамен проводится в письменной форме, в билете содержатся два теоретических вопроса и восемь задач.
19 А Дана функция f(a, Ь, с). Определить, каким замкнутым классам она БаллавРРинадаежит?
1
а Ь с /(<*, ь, с)
ООО 1
0 0 1 0
0 1 0 1
0 1 1 0
1 0 0 1
1 0 1 0
1 1 0 0
1 11 0
Выберите □ А. сохраняющих О
по „ „ □ В, сохраняющих 1 крайней
мере □ С. самодвойственных
□ О. монотонных
ответ:
□ Е. линейных
□ Р. полных
Рис. 2. Пример тестового задания
Результаты использования электронных ученых элементов в учебном процессе. Рассмотрим результативность применения активных электронных элементов — тестов и многошаговых решателей в виде SCORM-пакетов в учебном процессе. В 2008 г. при информационной поддержке учебной дисциплины «Дискретная математика. Математическая логика» в виде кратких и опорных конспектов
лекций в результате проведения письменных экзаменов было получено восемь неудовлетворительных оценок. Построение карты компетентности курса показало, что экзаменационные задания были подобраны таким образом, чтобы проверить знание, понимание и применение.
Проведенный анализ результатов показал, что возможности аудиторной работы в рамках курса практически исчерпаны и дальнейшее развитие компетентностей возможно только с использованием различных активных электронных форм самостоятельной работы. Поскольку для формирования профессиональных компетент-ностей в первую очередь необходимо развитие умственных, мыслительных, интеллектуальных составляющих, а также повышение эмоционально-волевой регуляции и мотивации учащихся, в качестве электронных учебных элементов были выбраны тесты и SCORM-пакеты, а для усиления мотивации при выполнении самостоятельной работы студентам была предложена гибкая система бонусов к экзамену.
Наборы тестов содержали большое количество как теоретических, так и практических заданий разных уровней сложности. SCORM-пакеты были выполнены в виде многошаговых решателей типовых задач, ориентированных на шкалу Блума «знание — понимание — применение — анализ». Работа с заданиями на синтез были оставлены для семинарских занятий. На рис. 3 приведены результаты востребованности электронных учебных элементов.
Дискретная математика. Математическая логика.(К01-221,222,223,224,281,331,361,681,682}
Вы зашли под именем Гусева Анна Ивановна Пользователь (Выход)
■ 3 Отчет о деятельности
Дискретная математика. Математическая логика.(К01-221,222,223,224,281,331,361,681,682)
Д е ятел ь н ость
Просмотры
Последний вход
^Вопросы и ответы [Ю^ Список литературы Календарные планы Щ. Вопросы к экзамену Программа курса
Тема 17
ЩТренажер на тему "Операции над множествами"
Экстремальные характеристики упорядоченных множеств Тренажер по теме "Формализация логических высказываний" ¡^Тренажер "Полнота булевых функций" ^Тренажер на тему "Минимизация по Квайну-МакКласки"
1895 вторник 31 мая 2011, 15:49 (4 мин 52 сек)
197 вторник 8 марта 2011, 11:19 (84 дни 3 ч)
300 среда 9 февраля 2011, 10:00 (111 дни 4 ч)
832 пятница б мая 2011, 22:31 (24 дни 17 ч)
344 среда 9 февраля 2011, 10:00 (111 дни 4 ч)
807 четвеРг 26 мая 2011, 14:24 (5 дни 1 ч)
1378 четвеРг 26 мая 2011, 14:21 (5 дни 1 ч)
958 пятница б мая 2011, 22:30 (24 дни 17 ч)
782 четверг 20 мая 2011, 14;2С (5 дни 1 ч)
1365 пятница б мая 2011, 22:39 (24 дни 17 ч)
& Интернет | Защищенный режим: вкл.
| ^ 125%
Рис. 3. Востребованность электронных учебных элементов
Усложнение заданий письменных экзаменов 2010—2011 гг. привело к увеличению количества неудовлетворительных оценок. Экзаменационные задания были подобраны таким образом, чтобы полностью охватить шкалу Блума.
Сравнение результатов оценки сформированности компетентностей по модулям показывает, что степень освоения компетенций увеличилась. На рис. 4, 5 представлены результаты по темам, поддержанным как тестами, так и решателями.
Рис. 4. Результаты сформированности компетенций (2008 г.)
Рис. 5. Результаты сформированности компетенций (2010—2011 гг.)
Чтобы определить, влияет ли применение БСОИМ на усвоение учебного материала, была использована выборка оценок студентов по нескольким темам, часть из которых подкреплена работой в БСОИМ-пакетах. По выборке была построена ящичковая диаграмма, позволяющая визуально представлять данные с произвольным типом распределения. На диаграмме видно, что медиана (длинная горизонтальная черта) для оценок по темам с применением БСОИМ совпадает с максимальным значением (единицей) и сами значения ассиметрично сгруппированы в верхней половине графика. Оценки по остальным темам распределены более равномерно, значение медианы близко к значению среднего арифметического (рис. 6). На основе сказанного можно выдвинуть гипотезу, что в целом, применение БСОИМ оказывает значимое положительное влияние на процесс обучения.
1,0
0,8 0,6 0,4 0,2
0,0- -1 и
-1-1-
Оценка за курс Оценка за курс
с применением БСОРМ без применения БСОЯМ
БСОЯМ ЭСОРМ
Рис. 6. Влияние активных форм на усвоение учебного материала
Выборки переменных 8еогш и по8еогш относятся к баллам за экзаменационные задания одних и тех же студентов и являются зависимыми. Таким образом, для проверки гипотезы о значимости этого влияния был использован непараметрический тест Уилкоксона. Тест основан на построении ранговой последовательности абсолютных разностей пар значений. Результаты расчета дают 271 положительную разность и только 113 отрицательных разностей, что свидетельствует о значимом преобладании высоких оценок именно для БСОИМ-тем. Это подтверждается значением статистики критерия X = -8,716, которому соответствует значение ошибки р < 0,001.
Чтобы отделить влияние БСОИМ от влияния прочих факторов, была проведена кластеризация исходной выборки методом ^-средних. В результате получено три кластера примерно одинакового размера, которые были проинтерпретированы как «хорошисты» (кластер 1), «неуспевающие» (кластер 2) и «отличники» (кластер 3). Помимо этого выявлен кластер «обманщики», к которому относятся студенты, очень хорошо выполняющие домашние электронные задания во время обу-
Средний балл
Оценка за курс с применением
Номер кластера
Оценка за курс без применения
чения, но во время экзамена показывающие нулевой результат. Данная интерпретация иллюстрируется кластерным профилем, который показывает, что к «хорошистам» относятся студенты, лучше сдающие темы с применением SCORM, «неуспевающие» практически нечувствительны к исследуемому влиянию и одинаково плохо сдают все темы, и наконец «отличники» имеют высокий средний балл по обоим видам тем (рис. 6).
Более точно данные по распределению оценок внутри кластеров представлены на частотных гистограммах (рис. 7). В частности, можно отметить, что в первом кластере («хорошисты») пиковые значения оценок для тем с и без SCORM являются противоположными.
Для проверки правильности интерпретации кластеров и оценке влияния SCORM внутри этих категорий студентов был проведен расчет критерия Уил-коксона.
Рассмотрим полученные кластеры более подробно. Критерий Уилкоксона показал отсутствие статистически значимой разницы между сдачей экзамена «неуспевающими» по темам, имеющих поддержку в виде электронных материалов от остальных тем. Отсюда можно сделать вывод о верности исходной интерпретации данного кластера, так как в реальности «неуспевающие» не обладают достаточной мотивацией к учебе и использование современных технологий не может на это повлиять. Исследование показывает, что результаты «хорошистов» по темам с электронной поддержкой в 4 раза выше, чем без нее. Таким образом, можно заключить, что для среднего студента использование интерактивных многошаговых решателей является значимым положительным фактором в процессе обучения.
Оценка за курс без применения ЭСОИМ
Рис. 7. Распределение оценок внутри кластеров
Статистические методы исследования выявили, что наибольшее положительное влияние интерактивные электронные учебные элементы в формате SCORM оказывают на учащихся, относящихся к кластеру «хорошисты», доля которых в общей выборке составляет 40%. Степень усвояемости учебного материала у таких студентов возрастает более, чем в 4 раза.
ЛИТЕРАТУРА
[1] Гусева А.И., Киреев В.С., Тихомирова А.Н., Филиппов С.А., Цыплаков А.С. Информационно-образовательный портал МИФИСТ исследовательского ядерного университета // Программные продукты и системы. — 2009. — № 3. — С. 57—62.
[2] Гусева А.И., Киреев В.С., Шеина Е.А. Опыт внедрения результатов научных исследований в учебный процесс исследовательского университета // Программные продукты и системы. — 2010. — № 4. — С. 202—207.
MODELS AND METHODS OF DEFINITION OF PRODUCTIVITY OF USE OF INTERACTIVE ELECTRONIC EDUCATIONAL ELEMENTS IN EDUCATIONAL PROCESS
A.I. Guseva, V.S. Kireev
National research nuclear university «MEPHI»
Kashirskaya str., 31, Moscow, Russia, 115409
The given research is directed on the decision of the important scientific problem consisting in working out of interactive electronic educational elements in format SCORM 2004, used in systems of electronic training. During work performance models of the electronic educational elements based on use of prak-tiko-focused methods of formation necessary professional competences by preparation of experts for the high technology sectors of economy, especially nuclear branch have been developed. The developed models have laid down in a basis of methods of definition of productivity of use of interactive electronic educational elements as components of the research environment of nuclear university.
Key words: information-educational resources, methodology SCORM, systems of electronic training, program training apparatus, electronic training courses.
