CC BY
79
Проектирование ИС экспертизы качества онлайн-курсов
Махмутова Регина Рамзиловна студент кафедры информатики и прикладной математики, Казанский национальный государственный технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 [email protected]
Нуриев Наиль Кашапович профессор, д.п.н., заведующий кафедрой информатики и прикладной математики, Казанский государственный технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 nurievnk@mail. ru
Аннотация
В данной статье рассмотрены вопросы создания ИС для проведения экспертизы качества онлайн-курсов с учетом ряда требований: оперативность проведения оценки, простота и надежность работы, возможностью изменения в процессе апробации и дальнейшего использования алгоритмов оценки, параметров количественных и качественных оценок, согласно выбранных моделей проведения экспертизы, возможность предоставления рекомендаций по улучшению проверяемого ресурса. Статья будет полезна экспертам, преподавателям, сопровождающим существующие онлайн-курсы и разработчикам аналогичных проектов.
This article discusses the creation of IP for the examination of the quality of online courses, taking into account a number of requirements: the promptness of the assessment, the simplicity and reliability of the work, the possibility of changes in the process of approbation and further use of evaluation algorithms, quantitative and qualitative assessment parameters, the possibility of providing recommendations for improving the tested resource. The article will be useful for experts, teachers, accompanying existing online courses and developers of similar projects.
Ключевые слова
учебный контент, он-лайн курс, дистанционное обучение, качество онлайн курса, экспертное оценивание
educational content, on-line course, distance learning, online course quality, expert evaluation
Введение
Сейчас ложно представить современного человека без использования интернет-ресурсов, онлайн-сервисов, различных мобильных приложений, различных гаджетов с использованием обучающих программ, вебинаров, онлайн-курсов, учебных порталов и других виртуальных элементов образовательной среды. Дистанционные образовательные технологии, электронное обучение активно внедряются на всех уровнях теперешнего образования. Рынок электронных образовательных ресурсов и онлайн-курсов очень быстро растет. А одновременно с этим растет количество вопросов по критериям качества этих программ, в частности мы говорим о качестве онлайн-курсов. Поднимаются вопросы об обязательной процедуре экспертной оценки, которая может предшествовать внедрению заявленных
ресурсов, так и оценка во время использования того или иного онлайн-курса. Поднимаются вопросы о правилах организации и проведения такой экспертизы, а также многие другие вопросы, касающиеся этой темы. В данной статье предлагается рассмотреть вопрос полной или частичной автоматизации проведения экспертизы качества онлайн-курсов используя специально созданную для этого информационную систему.
Многосторонняя оценка любого онлайн-курса дает возможность сложить о нем объективное мнение. Что повышает конкуренцию между разработчиками в использовании существующих платформ, подталкивает авторов в работе по улучшению качества рассматриваемых онлайн-курсов, дает возможность получать достоверную информацию о том или ином онлайн-курсе любой образовательной организации, студентам при выборе виртуальной академической лаборатории знаний. Многосторонняя оценка онлайн-курсов обеспечивает доверие к образовательным организациям со стороны пользователей при выборе онлайн-обучения. При этом, конечно же, должны быть учтены и интересы людей с ограниченными возможностями в здоровье.
Теоретическая часть
Любая система дистанционного обучения состоит из большого количества различного вида электронных курсов по тому или иному направлению. Любой электронный курс разрабатывается в соответствии с определенной программой по предлагаемой учебной дисциплине. Поэтому, считаем, что перед началом проведения обучения по электронному курсу любой пользователь должен иметь представление о качестве всего выбранного курса, а для этого целесообразно предварительно провести такую оценку. Чтобы этого реализовать необходимо выделить критерии, по которым можно будет провести адекватную и полную оценку рассматриваемого электронного ресурса.
Тему выбора критериев оценки электронных курсов рассматривают многие авторы [4, 5, 6, 8]. Спор о количестве и параметрах критериев оставим открытым. Нас интересует возможность их реализации в специализированной ИС. В случае красиво построенной математической модели, алгоритма расчета конкретного значения того или иного критерия их количество для ИС это вопрос только затраченного операционного времени работы.
Предполагается, что любой электронный онлайн-курс - это целостная дидактическая система, которая включает в себя различные учебные материалы и предоставляет возможность обучения при помощи существующий компьютерных технологий [2]. Типовая структура онлайн-курса имеет такой вид:
Описание дисциплины;
Сведения о составителе курса и преподавателе, который его контролирует;
Рабочая программа изучаемой дисциплины;
Цель и задачи онлайн-курса;
Методические указания по работе с онлайн-курсом;
Описание системы контроля и критериев оценки знаний пользователя;
Модули онлайн-курса включают в себя:
Название;
Цель и задачи;
Лекции;
Практические задания;
Темы исследовательских работ;
Контрольно -измерительные материалы;
Список литературы;
Итоговые контрольно-измерительные материалы;
Для оценки онлайн-курса выделяют несколько основных положений, по которым предполагается проведение детального анализа [4, 5, 6] :
По общей информация об онлайн-курсе: наличие введения, описания курса, сведений о преподавателе; соответствие учебных планов действующим стандартам; четкость сформулированных целей и задач онлайн-курса; полнота методических указаний по работе с онлайн-курсом; наличие рейтинг-плана.
По организация и дизайн онлайн-курса: целесообразное сочетание графических, текстовых и видеоматериалов; полноценный набор необходимых средств для работы с онлайн-курсом, которые дают возможность успешно пройти все модули дисциплины; наглядное представление всех модулей учебно-методического комплекса онлайн-курса, простота и понятная навигация.
По качеству материалов модулей онлайн-курса: актуальность приведенных материалов; понятность материала и заданий; разнообразие форм представления учебного материала (лекции, справочные материалы и т. д.); наличие обратной связи со студентом в процессе обучения;
По оценке эффективности обучения студентов: наличие различных методов оценивания усвоенного материала пользователем онлайн-курса (тесты, опросы, анкеты, контрольные, практические задания, лабораторные работы); возможность фиксации и сохранение результатов пройденных этапов тестирования, обучения или выполненных упражнений.
Существуют опредеенные виды анализа Big Data применительно к проверке данных с онлайн-курсов, которые предлагают использование различных инструментов для мониторинга процесса обучения и более детального анализа онлайн-курсов с использованием платформ Coursera и MOODLE [8].
Также в рамках реализации проекта «Современная цифровая образовательная среда в РФ» специалистами разрабатываются методики и инструментарии психометрической аналитики для онлайн-курсов. Их цель - это повышение эффективности освоения материала онлайн-курсов.
Психометрия предусматривает собой анализ огромного количества информации от пользователей онлайн-курсов после проведения анкет, тестов, сбор отзывов о рассматриваемых онлайн-курсах. Такие данные дают возможность оценивать и модернизировать онлайн-курсы, повышать их эффективность. А также дать образовательным организациям очень важный инструмент обратной связи.
Ключевым элементом любого образовательного ресурса, в частности ресурса «одного окна», который создается в рамках проекта «Современная цифровая образовательная среда в РФ», есть модель многоступенчатой оценки качества содержания рассматриваемых онлайн-курсов, которые должны соответствовать заявленным техническим требованиям ресурса, законодательству РФ, отвечать определенному стандарту в части контента. Тут речь идет о качестве, актуальности предоставляемой информации, а также эффективности образовательного процесса онлайн-курса.
На данный момент ведутся работы по созданию и внедрению на трех онлайн-платформах автоматизированного сервиса психометрической аналитики онлайн-курсов с понятными для непрофильных специалистов интерфейсом, системой навигации и автоматически формирующимися рекомендациями по совершенствованию онлайн-курсов [8].
Следующим важным моментом работы проектируемой ИС есть процесс оценки, рассматриваемого онлайн-курса. В этом вопросе предложений и мнений достаточно много. Можем увидеть большое разнообразие схем, названий, шаблонов и видов оценок [1, 2, 3, 5, 7, 8].
Онлайн-курс может быть оценен количественно определенным количеством баллов по каждому пункту из рассматриваемых разделов (1 - 5, 0 - 100 баллов, 0 -
100%). Также многие авторы предлагают качественную оценку. От элементарного использованием двоичного кода: хорошо (1), плохо (0) (см. рис. 1), до сложной градации критериев оценки [1, 4].
Рис. 1. «Эффективность электронного курса»
Наиболее популярной, доступной и простой в реализации проектируемой ИС является платформа LMS Moodle. Последняя имеет обширный спектр возможностей: возможность создания онлайн-курсов, контроль, оценка уровня знаний всех студентов, статистика по отдельному студенту, который проходит обучение и многое другое [3].
Для примера в ДГТУ на основе открытой инструментальной среды Moodle и программного обеспечения, разработанного ранее, и была создана интегрированная система «СКИФ» (Система комплексная, информационная, формирующая). Разработанная система и технология подготовки инженеров в метрическом компетентностном формате можно частично реализовать в типовой оболочке MOODLE или полностью в специально спроектированной системе МУКМТО (myknitu.kstu.ru).
Вывод напрашивается один: разработчикам специализированной ИС для экспертизы качества онлайн-курсов необходимо детально выяснить у «заказчика», что он хочет получить на выходе, после проведения экспертизы качества онлайн-курсов. А именно внешний вид интерфейса при отображении результатов (от дизайна до орфографии в тексте), степень сложности выводимых результатов, «нагруженность» информацией графиков, таблиц, рисунков, точность цифровых значений, загруженность и плотность выводимой информации, дублирование экранного и печатного вывода полученных результатов, синхронизация ИС с гаджетами пользователя или эксперта, возможность и типы сохранения полученных результатов (смс, диск, е-почта). И конечно же важен вопрос о внесении любых изменений (в алгоритм, интерфейс и др.) при дальнейшей апробации, наладке и продолжительном использовании такой ИС экспертами (пользователями).
Практическая часть
Анализируя возможные варианта построения модели ИС для проведения экспертизы качества онлайн-курсов мы должны ставить приоритетом простоту, легкость обслуживания, оперативность и надежность проектируемой ИС.
Так модель, предлагаемая в работе [1] однозначно может быть отвергнута. Главная причина - это предлагаемая в ней процедура загрузки в базу учебных курсов (блок 1 рис. 2) содержания курсов, по которым предлагается пройти экспертизу с целью оценки качества их тестов.
Рис. 2. Структура организации компонент корпоративной web-системы
экспертизы тестов
И проблема не в идеи автономной обработке и изучении загруженных тестов (полное исключение вмешательства сторонних разработчиков на процесс оценки тестов). Проблема видится в самом процессе загрузки. Предполагается, что курс состоит из теоретической, практической части и самого теста для оценки знаний студентов. Объем передаваемой при этом информации очень огромен, и соответственно время работы по проведения экспертизы электронного курса может быть отложено по техническим причинам на не определенный срок. С учетом постоянно возрастающего количества онлайн-курсов оперативность проведения экспертиз стремится к нулю.
Требования и «стандарты», разработанные независимыми организациями
Независимая оценка соответствия О К лучшим практикам [добровольная аккредитация (Ж)
Онлайн-курс
Обязательная оценка:
- Полнота, корректность
- работоспособность
Фильтр: - тип объектов Л
«Виджет» для обратной связи
Открытая система критериев и стандартов качества Объективная оценка на основе больших данных
Обратная связь от разных источников Опыт использования образовательными организациями в основных образовательных программах
Рис. 3. Модель №1 информационной системы оценки качества онлайн-курсов
К теоретической реализации предлагается предоставить две, по мнению автора, самые оптимальные модели проектируемой ИС. Между ними есть принципиальные различия. Первая модель (рис. 3) максимально упрощена, а вторая (рис. 4) - задействует большее количество внешних факторов, которые позволяют получить более детальный и наиболее правдивую картину при проведении экспертизы того или иного онлан-курса, по сравнению с первой моделью. Еще одной, не маловажной разницей, в предлагаемых моделях есть количество машино-часов на разработку и реализацию проекта. Что может быть выражено в денежном эквиваленте.
Очевидно, что первый проект (рис. 3) намного дешевле по сравнению со вторым (рис.
4).
Рис. 4. Модель №2 ИС для проведения экспертизы качества онлайн-курсов
Опустив объемное описание всех компонент и их взаимодействие с точки зрения реализация кода оболочки проектируемой ИС мы видим, что рассматриваемая ИС достаточно открытая, мобильная и проста в понимании принципов ее работы. В тоже время исключив не санкционированный взлом проектируемой ИС разработчики дают возможность экспертам, работающим с данной ИС, самим контролировать все алгоритмы проверки, анализа и экспертизы проверяемого онлайн ресурса.
Второй вариант проектируемой ИС дает возможность после проведения экспертизы повлиять на изменение рассмотренного онлайн-курса, а именно дает рекомендации по:
внедрению новых технологий; улучшению системы оценки; повышению универсализации системы; внедрению вариативности; развитие персонализации; исправлению выявленных ошибок; повышение качества форматов;
представление информации по результатам экспертизы; обновление содержания ресурса.
Окончательный выбор в выборе из предложенных вариантов проектируемой ИС играет выбранный бюджет реализации данного проекта.
Анализ и оценка разработки
Приведем все плюсы предлагаемой ИС для проведения экспертизы качества онлайн-курсов:
Прозрачность и открытость методик и критериев оценки онлайн-курса;
Полнота и достоверность информации о полученных онлайн-курсом оценок качества и других метриках;
Открытость для вовлечение в нее самых разнообразных участников рынка онлайн-образования;
Возможность добавления в нее новых методик и критериев оценки;
Реализация механизма гибкости в условиях постоянного развития технологий и подходов в онлайн-образовании;
Применение в онлайн-обучении передовых педагогических технологий (адаптивное обучение, проектные методы обучения и др.);
Использование лучших практик применения тестов;
Организации совместной работы обучающихся, организации взаимо- и самооценивания, визуализации учебного материала и др.;
Практики обучения на ОК нетрадиционных форматов или с использованием новых технологических принципов и др.;
Использование лучших практик создания ОК на конкретных технологических платформах;
Соответствие ОК стандартам доступности для особых категорий слушателей (лиц с ограниченными возможностями здоровья, для иностранных слушателей, обучение одаренных школьников и др.);
Отображение информации обо всех видах экспертиз и оценок, которые прошел онлайн-курс;
Отображение значений и количества полученных оценок по каждому виду экспертиз, а также прочих характеризующих их параметров;
Сортировка пользователем карточек онлайн-курсов значениям оценок выбранного вида экспертизы;
Фильтрация пользователем карточек онлайн-курсов по значениям оценок или типам пройденных экспертиз;
Детализация видов экспертиз по используемым критериям и значениям их
оценок;
Представление информации об оценках онлайн-курса в привязке к его версиям.
Заключение
Оценка электронных курсов проводится по заранее выявленным требованиям с целью выявления сильных и слабых сторон курсов, опираясь на главные потребности обучающихся [1]. Анализ курсов с данного ракурса полезен и необходим, даже если оценка субъективна. От качества электронных курсов напрямую зависит и само качество обучения, заинтересованность студентов в изучении предмета и итоговые показатели успеваемости обучающихся. Поэтому необходимо тщательно подходить к созданию каждого электронного учебно-методического комплекса, тестируя и улучшая его, добиваясь максимально высоких показателей качества курса. Собственно для этого и планируется создание специализированной ИС.
Если вспомнить изначальное определение онлайн-курса, как систему, которая реализуется с применением исключительно электронного обучения, дистанционных образовательных технологий структурированная совокупность видов, форм и средств образовательной деятельности, обеспечивающая достижение и объективную оценку определенных результатов обучения на основе комплекса электронных образовательных ресурсов, размещенных в электронной информационно-образовательной среде, к которой предоставляется доступ через информационно -телекоммуникационную сеть «Интернет», то очевидно, что рассматриваемый в работе проект ИС для проведения экспертизы качества онлайн-курсов решает большинство вопросов озвученных выше.
Литература
1. Кошкина К.В., Старыгина С.Д., Нуриев Н.К., Дидактическая инженерия: проектирование информационной системы для экспертизы качества содержания теста // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)"
(http://ifets.ieee.org/russian/periodical/journal.html). - 2017. - V.20. - N 4. - С. 484 -496.
2. Нуриев Н.К., Старыгина С.Д., Гибадуллина Э.А. Дидактическая инженерия: теоретические основы // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)"
3. Нуриев Н.К., Старыгина С.Д., Гибадуллина Э.А. Дидактическая инженерия: проектирование систем обучения нового поколения // Интеграция образования. -2016. - Т. 20. - № 3 (84). - С. 393-406. DOI: 10.15507/19919468.084.020.201603.393-406.
4. Нуриев Н.К., Старыгина С.Д. Дидактическая инженерия: проектирование высокоточного измерительного средства педагогического тестирования // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)"
(http://ifets.ieee.org/russian/periodical/journal.html). - 2017. - V.20. - N 4. - С. 473 -482.
5. (http://ifets.ieee.org/russian/periodical/journal.html). - 2016. - V.19. - N 4. - С. 397411. ISSN 1436-4522.
6. Старыгина С.Д., Печеный Е.А., Нуриев Н.К. Построение математической модели измерительного средства педагогического тестирования // Информационные технологии и математическое моделирование (ИТММ-2017): мат. XVI междунар. конфр. им. А.Ф.Терпухова. - Томск: Изд-во НТЛ, 2017. - С. 229-234.
7. Старыгина С.Д., Нуриев Н.К., Печеный Е.А. Построение математической модели процесса регламентации педагогического тестирования // Информационные технологии и математическое моделирование (ИТММ-2017): мат. XVI междунар. конфр. им. А.Ф.Терпухова. - Томск: Изд-во НТЛ, 2017. - С. 223-229
8. Старыгина С.Д., Нуриев Н.К., Печеный Е.А. Дидактическая инженерия: Оценка сложности и продолжительности теста достижений // Science of Europe 2017. -Vol 2. - № 14. - C. 17-21.
9. Орловская Л.А., Романова Н.А., Суханова Н.Т. ОЦЕНКА КАЧЕСТВА ЭЛЕКТРОННЫХ КУРСОВ LMS MOODLE // Научное сообщество студентов: МЕЖДИСЦИПЛИНАРНЫЕ ИССЛЕДОВАНИЯ: сб. ст. по мат. XXIII междунар. студ. науч.-практ. конф. № 12(23). URL: https://sibac.info/archive/meghdis/12(23).pdf
10. Орловская Л.А., Романова Н.А., Суханова Н.Т. ОЦЕНКА КАЧЕСТВА ЭЛЕКТРОННЫХ КУРСОВ LMS MOODLE // Научное сообщество студентов: МЕЖДИСЦИПЛИНАРНЫЕ ИССЛЕДОВАНИЯ: сб. ст. по мат. XXIII междунар. студ. науч.-практ. конф. № 12(23). URL: https://sibac.info/archive/meghdis/12(23).pdf
11. Бубнов Г.Г., Плужник Е.В., Солдаткин В. И. Критерии оценки качества в системе электронного обучения // Системный анализ, Т. 2. № 4, 2015;
12. Майер В.В., Моор С.М., Соколкова С.В. Тенденции и перспективы развития электронного образования: материалы Международной научно-методической видеоконференции - Тюмень: ТюмГНГУ, 2014;
13. Орловская Л.А., Суханова Н.Т. Системы дистанционного обучения, коробочные сервисы, SaaS сервисы и платформы для проведения вебинаров // Информационные технологии в организации единого образовательного пространства - Н.Новгород: Мининский университет, 2016, с.59-64;
14. Подлесный С.А. Электронное обучение и обеспечение его качества // Инженерное образование, №12. 2013.
15. Суханова Н.Т. Электронное обучение в вузе: оценка качества электронных курсов. //Проблемы современного педагогического образования. 2016. № 52-6. С. 302-309
16. Суханова Н.Т., Смирнова Н.А. Современные тенденции оценки эффективности дистанционного образования. //Мир компьютерных технологий: Сборник статей по материалам Региональной студенческой научно-практической конференции. - Н. Новгород: Мининский университет, 2016. С.31-34
