CC BY
82
Оптимизация контента онлайн-курса по данным статистики активности пользователей
Стародубцев Вячеслав Алексеевич - д-р пед. наук, проф. E-mail: [email protected] Ситникова Оксана Валерьевна - канд. техн. наук, доцент. E-mail: [email protected] Лобаненко Ольга Борисовна - ведущий программист. E-mail: [email protected] Национальный исследовательский Томский политехнический университет, Томск, Россия 634050. г. Томск, проспект Ленина, 30
Аннотация. Цифровизация современной образовательной среды приводит к изменению стиля учебной активности студентов и профессиональной деятельности преподавателей высшей школы.. Требование профессионального стандарта работников образования обязывает преподавателей вузов не только разрабатывать образовательный контент дисциплины, но и применять средства ИКТ для управления учебной активностью обучаемых. Это особенно важно для заочной дистанционной формы обучения, в которой очный контакт в течение семестра ограничен вебинарами и скайп-консультациями. Анализ ситуации показывает, что в процессе обучения студентов заочной формы обучения присутствует значительная неравномерность освоения содержания дисциплин, с выраженным пиком активности в период сессии и после неё при ликвидации академической задолженности. Целью работы являлось исследование возможностей стандартных средств статистики активности пользователей в LMS MOODLE для оптимизации курса по трём параметрам: форма представления контента, временная структура курса и качество контрольно-измерительных материалов. Эти параметры, по мнению авторов, являются главными в мотивации пользователей к последовательному использованию онлайн-курса в течение семестра. В рамках темы в течение трёх лет проведено исследование статистических характеристик активности студентов электронного курса «Информатика», размещённого в системе управления обучением MOODLE. Эксперимент охватывал студентов первого курса, обучающихся по направлению «Электроэнергетика и электротехника». Полученные результаты оптимизации структурны и формы представления контента дисциплины свидетельствует о положительном изменении динамики освоения студентами содержания курса в плане увеличения числа посещений курса студентами в период учебного семестра. Аналогичным путём оптимизирована процедура диагностики результатов обучения студентов - анализ прохождения тестовых процедур с помощью средств статистики активности пользователей, имеющихся в арсенале LMS MOODLE, - расчёта коэффициента лёгкости заданий теста и его эффективности дискриминации. Наблюдаемое увеличение абсолютной успеваемости студентов по оптимизированному курсу свидетельствует о результативности произведённых изменений. Таким образом, показано, что использование инструмента статистики действий пользователей в курсе на платформе MOODLE позволяет достоверно проверить эффективность инноваций в педагогическом дизайне онлайн-курса, обеспечивающих увеличение учебной активности студентов в течение семестра.
Ключевые слова.: онлайн-обучение, онлайн-курс, управление учебной активностью, статистика учебной активности, LMS MOODLE, оптимизация учебного процесса, микроцели, инфографика, контрольно-измерительные материалы
Для цитирования: Стародубцев В.А, Ситникова О.В, Лобаненко О.Б. Оптимизация контента онлайн-курса по данным статистики активности пользователей // Высшее образование в России. 2019. Т. 28. № 8-9. С. 119-127.
DOI: https://doi.org/10.31992/0869-3617-2019-28-8-9-119-127
Введение
В течение последних лет мировая и российская системы образования проходят этапы базовой трансформации, связанные с активным внедрением цифровых средств обучения в образовательный процесс. В рамках приоритетного проекта «Современная цифровая образовательная среда РФ» многими вузами России накоплен значительный опыт использования электронных образовательных ресурсов и технологии массовых открытых онлайн курсов (МООК). От локальных дисциплинарных и просветительских МООК реализуется переход к образовательным программам бакалавриата, магистратуры и в ряде случаев аспирантуры [1]. Вместе с тем электронные курсы на платформах LMS MOODLE, Sakai, OpenEdX и других остаются важными инструментами смешанного (blended) образовательного процесса, поддержанного информационно-коммуникационными технологиями [2]. В этом контексте становятся актуальными проблемы педагогического дизайна онлайн-курсов -качества образовательного контента и контролирующих процедур, эффективности обучения, доступности курсов для особых категорий пользователей и т.д. [3].
Вопросы повышения качества тестовых оценивающих мероприятий онлайн-курса рассмотрены в работах [4-8]. Авторы обращают внимание на необходимость корректировки курса после его первого применения в группах студентов с разными уровнями подготовки, а также тщательной проверки таких характеристик тестов, как коэффициент дискриминации (discriminative efficiency) и индекс лёгкости (facility index).
Комплексный подход к анализу качества онлайн-курсов реализуют специалисты Центра психометрических исследований в онлайн-образовании Высшей школы экономки, которые на основе анализа «больших данных» строят модели и разрабатывают сервисы, позволяющие преподавателям искать «слабые места» в онлайн-курсах и вносить корректировки в курсы в соответствии с
выданными рекомендациями [9]. В перечень ожидаемых результатов анализа онлайн-курса входят такие позиции, как оценка качества контента, оценка динамики обучения слушателей, оценка качества тестовых заданий и другие.
Сотрудники Фонда развития онлайн-об-разования МИФИ используют данные статистики активности пользователей МООК для прогноза успешности обучения слушателей [10]. Методика статических и динамических диаграмм предложена в работе [11] для анализа совместной сетевой деятельности, а в работе [12] рассматриваются облачные технологии для контроля учебной деятельности студентов. Система мониторинга контента и активности пользователей в LMS MOODLE, предлагаемая Томским государственным университетом, позволяет провести аналитику и мониторинг степени вовлечённости студентов и преподавателей подразделений в систему электронного обучения (ЭО). Анализ данных, полученных в результате мониторинга, позволяет оценивать эффективность внедрения ЭО, работы отдельных субъектов ЭО и учебных подразделений в целом и принимать управленческие решения по оптимизации процессов электронного обучения [13]. Оценка качества онлайн-курсов в режиме «одного окна» включена в приоритетный проект «Современная цифровая образовательная среда в Российской Федерации» [14].
Наряду с масштабными проектами повышения качества дистанционно предоставляемых образовательных программ, имеет смысл поиск возможностей совершенствования образовательного процесса с помощью цифровых средств, имеющихся в обновлённых вариантах широко используемой в вузах России системы управления обучением LMS MOODLE.
Целью настоящей работы является анализ возможности использования статистических инструментов LMS MOODLE в практике повышения качества дизайна онлайн-курса и, как следствие, эффективности его
освоения слушателями. Исследование предусматривало анализ динамики посещения курса студентами в течение семестра и качества диагностики результатов обучения по дисциплине «Информатика», которая использована в учебном процессе многих направлений бакалавриата в Национальном исследовательском Томском политехническом университете. Выбор данного курса обусловлен его значимостью для формирования цифровой компетенции студентов.
Материал и методы исследования
При использовании систем менеджмента обучения (LMS MOODLE, Sakai, OpenEdX и др.) контроль знакомства обучаемых с контентом электронного курса и прогресса в выполнении заданий осуществляется программно и отражается в разделах LMS MOODLE: «Управление курсом» ^ «Отчёты». С их помощью производится формирующее оценивание индивидуальной учебной активности с применением балльно-рейтин-гововых процедур и поощрения достижений пользователей значками (баджами) [15; 16]. В оценке дидактических параметров МООК и других онлайн-курсов может быть использован сервис Web Accessibility Checker, который проверяет соответствие отдельных HTML-страниц стандартам специальных возможностей, чтобы обеспечить доступ к содержимому для всех [17]. Но для анализа онлайн-курсов, размещаемых в LMS MOODLE, достаточными будут встроенные инструменты платформы, в частности инструмент «Статистика» выполняемых пользователями действий в определённый период времени.
Чтобы воспользоваться инструментом, необходимо открыть страницу «Отчёты» в разделе «Управление курсом». В списке представленных отчётов выбрать вариант «Отчёт о деятельности». Данный вид статистического отчёта собирает информацию:
- о количестве просмотров каждого учебного элемента онлайн-курса (форумы, информационные страницы, дополнитель-
ные материалы в формате pdf, глоссарий, книги, лекции, тесты, индивидуальные задания и задания на взаимное оценивание),
- о количестве пользователей, осуществивших просмотр элемента онлайн-курса.
С помощью данного инструмента проанализировано 63 учебных элемента онлайн-курса и активность 365 пользователей. В ходе работы была проведена критическая оценка трёх дидактических характеристик он-лайн-курса: востребованности у студентов различных форм представления содержания учебных материалов курса, временной структуры онлайн-курса и качества оценивающих мероприятий. Данными для анализа послужили статистические характеристики активности студентов по курсу «Информатика». Эксперимент длился в течение трёх лет, в нём участвовали 365 студентов первого курса, обучающихся по направлению «Электроэнергетика и электротехника».
Результаты исследования
По результатам первого года применения практико-ориентированного дистанционного курса была проанализирована востребованность форматов представления учебных материалов студентами-заочниками. Учебные материалы были представлены текстовыми фрагментами, записями вебинаров, скринкастами и инструкциями в форме инфографики. Статистические данные по активности студентов по одному из модулей онлайн-курса, предоставляемые LMS MOODLE, приведены на рисунке 1. Как следует из сравнения числа пользователей и количества просмотров для разных разделов модуля курса, студентов интересует прежде всего практическая часть - выполнение лабораторной работы. В среднем на одного из 123 студентов здесь зафиксировано 22 просмотра, тогда как аннотацию к модулю просмотрели в три раза меньше студентов. Только половина студентов потратили время на просмотр видеоинструкции к выполнению лабораторной работы. Это позволяет сделать вывод о том, что для онлайн-курса
122 Высшее образование в России • № 8-9, 2019
Аннотация к Модулю 3
Инструкция в ¡jiH Лекция 1. Базы да! форме инфографики
Лабораторная работа 1. Создание БД
61 просмотров 37 пользователями
826 просмотров 46 пользователями
2716 просмотров 123 ' пользователями
5 Видео инстукция Статистические данные ^ просмотров J 180 просмотров 63 пользователями
3 Отчет по лаб Инструкция в ^ форме скринкаста ^ 1858 просмотров 108 пользователями
Рис. 1. Таблица LMS MOODLE со статистикой посещаемости элементов курса Fig. 1. LMS MOODLE Table showing the statistics on the course elements attendance
предпочтительными оказались инструкции, выполненные в форме инфографики. При этом с точки зрения текущей успеваемости студентов по теоретической части и по лабораторным работам существенных различий выявлено не было. В последующем редизай-не курса количество инфографики было увеличено - в ожидании перехода «количества в качество».
Анализ статистики активности студентов в исходном варианте онлайн-курса в течение семестра (плюс период ликвидации академической задолженности) показал её явно выраженную неравномерность. Пики учебной активности студентов приходились на период сессии и далее держались на высоких показателях в период ликвидации академической задолженности, в то время как в начале семестра наблюдались очень низкие показатели активности студентов. Для решения выявленной проблемы, которая проявляется и на многих других онлайн-курсах, была изменена его структура.
Изначально курс содержал четыре больших тематических раздела, каждый из которых был наполнен теоретическими, практическими и оценивающими мероприятиями. При редизайне курса была поставлена цель организовать и распределить деятельность студентов на протяжении учебных недель всего семестра более равномерно. Основой
редизайна стало использование понятия «микроцель», сформулированного в педагогической технологии академиком РАО В.М. Монаховым [18; 19, с. 1007]. Суть технологии заключается в том, что первоначально строится генеральное содержание учебных материалов дисциплины с разбивкой на укрупнённые дидактические единицы. Затем проводится детализация модулей на более простые, методически завершённые, диагностируемые части. Таким образом выявляются микроцели - главные проблемы темы, «зоны ближайшего развития учащихся». В соответствии с рекомендациями В.М. Монахова структура онлайн-курса была преобразована так, чтобы количество модулей соответствовало количеству недель в семестре. В каждом модуле ставилась микроцель, достижение которой контролировалось при помощи оценивающего мероприятия. Каждая микроцель связана с остальными микроцелями курса, и все вместе они составляют единый учебный материал (теоретический, практический и оценивающий), равноценный первичному онлайн-курсу с четырьмя большими тематическими разделами.
Анализ статистики активности студентов в онлайн-курсе с понедельной структурой показал совсем иную динамику, отличную от динамики обучения в исходном курсе, а именно, существенные улучшения. Как вид-
с
SCO
1СКЯ
Ш5
__
43 36 105/
0 ч 1 Ü Н ч 1 о л п 1 с «с 1 «ч 1 с i Й > * 1 о ! Я
т (Ш
ж>
Hmt
Ш
да
щ
ПОТ
1ОСОО
0 <
s s ; ; Я ; ■ S i * « m t «ое Я Я Я
Даты
Даты
Рис. 2. График активности студентов в онлайн-курсе Fig.2. Students' activity graph in online course
но из рисунка 2, обучение в преобразованном курсе сопровождается заметной активностью студентов с самого начала семестра, с нарастанием активности в период сессии и значительно более низкой активностью в период ликвидации академической задолженности. При этом было отмечено повышение показателей успеваемости студентов, что коррелирует с понижением активности студентов в период ликвидации академической задолженности.
Изменение структуры онлайн-курса повлекло увеличение числа оценивающих мероприятий. В свою очередь, это потребовало проведения анализа как самих тестовых заданий, так и сценариев их реализации. Была поставлена задача увеличения количества тестовых испытаний при некотором сокращении количества тестовых заданий в контрольных процедурах. Необходимо было элиминировать вопросы, которые оказались лёгкими для основного контингента испытуемых, оставив задания, обладающие высокой дискриминирующей способностью, то есть способностью разделять слушателей по степени их подготовки (отделение «отличников» от «хорошистов» и «троечников»). Для выполнения этой задачи были использо-
ваны стандартные статистические характеристики тестов в LMS MOODLE, описанные в работах [4-8], такие как индекс лёгкости и эффективность дискриминации. Индекс лёгкости показывает, какая часть испытуемых ответила правильно на вопрос или задание теста; индекс эффективности дискриминации оценивает задания теста в целом.
Анализ дискриминирующей эффективности тестовых заданий был проведён с фиксированным набором вопросов в тестах. Тестировались разные по уровню подготовки группы студентов. Всего было проанализировано более 3 000 студенческих попыток выполнения тестовых заданий, осуществлённых 365 пользователями. В среднем из 20 вопросов в тестах около пяти-шести оказывались с низкой дифференцирующей способностью, поэтому они убирались из банка вопросов онлайн-курса. В целом по результатам анализа тестовых заданий онлайн-курса было отмечено, что высоким коэффициентом лёгкости и низким коэффициентом дискрими-ниации обладают вопросы, дословно дублирующие формулировки лекций, и вопросы типа «верно-неверно». Вопросы типа «вложенные ответы» имели лучшие показатели коэффициента дискриминации.
В рамках выполнения задачи совершенствования процедуры оценивания результатов обучения студентов по модулям был также проведён анализ дистракторов (неправильных, но правдоподобных ответов тестового задания) в вопросах типа «множественный выбор». Относительная частота выбора испытуемыми тех или иных дистрак-торов при выполнении конкретных тестовых заданий была определена при помощи стандартной статистики LMS MOODLE, которая хранится в анализируемом вопросе теста в разделе «Статистика». По результатам проверки произведена корректировка дис-тракторов: все ответы, обладающие самой низкой частотой выбора, заменены на более адекватные варианты.
Вопрос защиты от недобросовестного поведения обучающегося потребовал изменения сценария применения контрольно-измерительных материалов тестового типа. Во-первых, был закрыт доступ к просмотру эталонного ответа, во-вторых, включён режим компоновки испытания случайным набором тестовых заданий из банка вопросов, в котором уже были «выбракованы» вопросы с низкой дифференцирующей способностью.
Сопоставление показателей абсолютной успеваемости исходного онлайн-курса и третьего варианта (после всех описанных преобразований) показало, что произошло увеличение абсолютной успеваемости потока студентов-заочников на 15%, что даёт право констатировать повышение эффективности освоения ими онлайн-курса.
Заключение
Проведённое исследование показало, что использование стандартных статистических инструментов LMS MOODLE может быть использовано для оценки активности студентов по освоению контента онлайн-курса. Эти инструменты позволяют преподавателям, реализующим обучение, и администрации вуза оценить качество контрольно-измерительных материалов, выявить предпочитаемые учащимися формы предъявления
контента, произвести корректировку структуры онлайн-курса. Объективно наблюдаемое увеличение равномерности работы студентов-заочников и повышение качества контролирующих процедур способствует повышению успеваемости по дисциплине.
Результаты проведённого исследования показывают, что для оптимизации учебного процесса с применением онлайн-курса следует проектировать понедельную структуру модулей курса с выделенными микроцелями, что позволит повысить активность студентов на протяжении всего периода обучения и приведёт к повышению успеваемости. При этом учебный материал должен быть представлен в контенте в разных форматах, с учётом приоритетной востребованности у пользователей средств инфографики.
Статистический анализ тестовых заданий на уровень их дифференцирующей способности позволяет существенно повысить качество контрольно-измерительных материалов. Данный анализ необходимо проводить с фиксированным набором тестовых заданий после первого применения онлайн-курса в разных по уровню подготовки группах слушателей. Тестовый контроль со случайным набором тестовых заданий будет адекватным вариантом проверки знаний.
В целом использование инструмента статистики учебной активности пользователей электронного курса позволяет доказательно проверить результативность его педагогического дизайна и провести необходимые корректирующие мероприятия. Аналогичные процедуры могут быть полезными и в оценке педагогического дизайна МООК.
Литература
1. Shah D. MOOC Trends in 2016: College Credit, Credentials, and Degrees. URL: https://www. class-central.com/report/mooc-trends-credit-credentials-degrees/
2. Боголепова С.В, Малкова Н.В. Использование потенциала современных систем управления обучением в вузовском образовании // Высшее образование в России. 2017. № 5. С. 105-112.
3. Гречушкина Н.В. Онлайн-курс: определение и классификация // Высшее образование в России. 2018. Т. 27. № 6. C. 125-134.
4. Нестеров С.А. Анализ статистики выполнения тестовых заданий в среде дистанционного обучения MOODLE // Современные информационные технологии и ИТ-образование. 2016. № 4. С. 62-67.
5. Нестеров С.А, Сметанина М.В. Оценка качества тестовых заданий средствами среды дистанционного обучения MOODLE // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2013. № 5. С. 87-92.
6. Протасова И.В., Толстобров А.П, Коржик И.А. Методика анализа и повышения качества тестов в системе электронного обучения MOODLE // Информационная среда вуза XXI века: сб. тр. VII Международной науч.-практ. конф. Петрозаводск: Петрозаводский государственный университет, 2013. С. 191-194.
7. Муханова А.А., Муханов С.А. Технология проектирования и оценки тестов в СДО MOODLE // Сборник научных трудов SWorld. Иваново: Научный мир, 2013. С. 27-35.
8. Аббакумов Д.Ф, Лебедева М.Ю. Лексико-грамматический распределительный тест по РКИ: опыт создания, апробации психометрического анализа // Русский язык за рубежом. 2016. № 5. С. 73-78.
9. Разработка и внедрение методики и инструментария психометрической аналитики онлайн-курсов. URL: https://docplayer.ru/73374892-Razrabotka-i-vnedrenie-onlayn-kursov.html
10. Купцов А. Специализация «Машинное обучение и анализ данных». URL: https://docviewer. yandex.ru/Александр Купцов_Специализа-ция «Машинное обучение и анализ данных» Яндекс и МФТИ.pdí?forcedownbad=1
11. Патаракин Е.Д. Совместная сетевая деятельность и поддерживающая её аналитика // Высшее образование в России. 2015. № 5. С. 145-154.
12. Абрамова О.В. Использование облачных технологий для организации контроля учебной деятельности // Высшее образование в России. 2015. № 7. С. 155-159.
13. Система мониторинга контента и активности пользователей в LMS MOODLE. URL: https:// ido.tsu.ru/product/
14. Оценка качества онлайн-курсов. URL: http:// neorusedu.ru/activity/otsenka-kachestva-onlayn-kursov
15. Стародубцев В.А, Ряшенцев И.В. Элементы геймификации в LMS MOODLE // Международный научно-исследовательский журнал.
2017. № 7 (61). Ч. 1. С. 98-102.
16. Шиков А.Н, Баканова А.П, Логинов К.В, Окулов С.А, Чунаев А.В. Применение игровых механик в системах корпоративного обучения с использованием модели смешанного обучения // Информатика и образование.
2018. № 5. C. 44-48.
17. Web Accessibility Checker. URL: https:// achecker.ca/checker/index.php
18. Монахов В.М. Разработка прогностической модели развития теории обучения для IT-образования // Современные информационные технологии и ИТ-образование. 2017. Т. 13. №2. С. 111-121. DOI: https://doi.org/10.25559/ SITITO.2017.2.238
19. Distant Technologies as Cost Effective Way of Teaching / L.V. Vorobyova et al. // The European Proceedings of Social & Behavioural Sciences (EpSBS). 2017. Vol. 26: Responsible Research and Innovation (RRI 2016). P. 1002-1008. URL: dx.doi.org-10.15405-epsbs.2017.07.02.129.pdf
Статья поступила в редакцию 30.05.19 Принята к публикации 12.07.19
Optimization of Online Course Content According to Users Activity Statistics
Vyacheslav A. Starodubtsev — Dr. Sci. (Education), Prof., e-mail: [email protected] Oksana V. Sitnikova - Cand. Sci. (Engineering), Assoc. Prof., e-mail: [email protected] Olga B. Lobanenko -Chief Programmer, e-mail: [email protected] National Research Tomsk Polytechnic University, Tomsk, Russia Address: 30, Lenin prosp., Tomsk, 634050, Russian Federation
Abstract. Digitalization of modern education leads to a change in the style of the educational activities of students and professional work of higher school teachers. The professional standard of education workers oblige educators not only to develop educational content discipline, but also apply ICT to manage student's training activity.
The aim of the research was to study the capacity of the standard user statistics tool in LMS MOODLE for course optimization on three parameters - content presentation, temporary course structure and quality of educational measurement tools. These options, according to the authors, are the main factors for users' motivation to consistent use of online courses during the semester. The study of statistical characteristics of student activity in e-course "Informatics" based on LMS MOODLE has been carried out during three years. The experiment covered the first-year students enrolled in the "Electricity and Electrical Equipment". The results of the content optimization and presentation of the discipline have shown a positive change in the dynamics of the student's activity during the semester. The findings of this study have a number of practical implications. Optimization of the learning process with the use of online course requires designing of a course with week module structure and singled out micro-targets. The learning material should be presented in various formats taking into account students' preference for infographics. This contributes to raising the academic performance on the whole. Statistical analysis of test tasks differentiating capacity will substantially improve the quality of tools for educational measurement.
It is shown that the use of a MOODLE statistics tool to estimate the user activity makes it possible the documented testing the effectiveness of innovations in pedagogical design of e-course.
Keywords: e-learning, online course, statistics, LMS MOODLE, student training activity management, optimization of learning activity, micro-targets, infographics, educational measurement Cite as: Starodubtsev, V.A., Sitnikova, O.V., Lobanenko, O.B. (2019). Optimization of Online Course Content According to Users Activity Statistics. Vysshee obrazovanie v Rossii = Higher Education in Russia.. Vol. 28, no. 8-9, pp. 119-127. (In Russ., abstract in Eng.) DOI: https://doi.org/10.31992/0869-3617-2019-28-8-9-119-127
References
1. Shah, D. MOOC Trends in 2016: College Credit, Credentials, and Degrees. Available at: https:// www.class-central.com/report/mooc-trends-credit-credentials-degrees/
2. Bogolepova, S.V., Malkova, N.V. (2017). Use of of Modern Learning Management Systems in Higher Education: Progress and Potential. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 5, pp. 105-112. (In Russ., abstract in Eng.)
3. Grechushkina, N.V. (2018). Online Course: Definition and Classification. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 27, no. 6, pp. 125-134. (In Russ., abstract in Eng.)
4. Nesterov, S.A. (2016). Analysis of Quiz Statistics in LMS MOODLE. Sovremennye informat-sionnye tekhnologii i IT-obrazovanie = Modern Information Technology and IT Education. Vol. 12, no. 4, pp. 62-67. (In Russ., abstract in Eng.)
5. Nesterov, S.A., Smetanina, M.V. (2013). Quality Measurement of the Test Tasks in the Learning Management System Moodle. Nauchno-tekhnicheskie vedomosti Sankt-Peterburgskogo gosu-darstvennogo politekhnicheskogo universiteta. Informatika. Telekommunikatsii. Upravlenie = St. Petersburg State Polytechnic University Journal. Computer Science, Telecommunication and Control Systems. No. 5, pp. 87-92. (In Russ., abstract in Eng.)
6. Protasova, I.V., Tolstobrov, A.P., Korzhik, I.A. (2013). [Methods for Analyzing and Improving the Quality of Tests in the MOODLE e-Learning System]. In: Trudy VII Mezhdunarodnoi nauchno-prrakticheskoi konferentsii «Informatsionnaya sreda vuza XXI veka» [Proc. VII Int.
Sci. and Pract. Conf. "Information Environment of the University of the XXI Century", Petrozavodsk State University]. Petrozavodsk: Petrozavodsk State Univ. Publ., pp. 191-194. (In Russ.)
7. Mukhanova, A.A., Mukhanov, S.A. (2013). [Design Technology and Tests Evaluation in the MOODLE LMS]. In: Nauchnye Trudy SWorld [Scholarly Writings SWorld]. Ivanovo: Nauchnyi Mir Publ., pp. 27-35. (In Russ.).
8. Abbakumov, D.F., Lebedeva, M. Yu. (2016). Russian as a Foreign Language Grammar and Vocabulary Placement Test: Design, Pilot Test and Psychometric Analysis. Russkii yazyk za rubezhom = Russian Language Abroad. No. 5, pp. 73-78. (In Russ., abstract in Eng.)
9. Razrabotka i vnedrenie metodiki i instrumentariya psikhometricheskoi analitiki onlain-kurs-ov [Development and Implementation of Methods and Tools for Psychometric Analysis of Online Courses]. Available at: https://docplayer.ru/73374892-Razrabotka-i-vnedrenie-onlayn-kursov. html (In Russ.)
10. Kuptsov, A. Spetsializatsiya «Mashinnoe obuchenie i analiz dannykh» [Specialization "Machine Learning and Data Analysis"]. Available at: http://openedu55.ru/pluginfile.php/1731/ mod_folder/content/0/18_04/AAeKcaHAp%20KynqoB_CneqMaAM3aqMH%20"MamMHHoe%20 o6yHeHMe%20M%20aHaAM3%20ÄaHHHx"%20^HAeKc%20M%20MOTM.pdf?forcedownload=1 (In Russ.)
11. Patarakin, E.D. (2015). Learning Analytic to Facilitate Group Network Collaboration. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 5, pp. 145-154. (In Russ., abstract in Eng.)
12. Abramova, O.V. (2015). Cloud Services for Organization of Students' Education Activity Control. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 7, pp. 155-159. (In Russ., abstract in Eng.)
13. Sistema monitoringa kontenta i aktivnosti pol'zovatelei v LMS MOODLE [System for Monitoring Content and User Activity in LMS MOODLE]. Available at: https://ido.tsu.ru/product/ (In Russ.)
14. Otsenka kachestva onlain-kursov [Evaluation of the Quality of Online Courses]. Available at: http://neorusedu.ru/activity/otsenka-kachestva-onlayn-kursov (In Russ.)
15. Starodubtsev, V.A., Ryashentsev, I.V. (2017). [Elements of Gamification in LMS MOODLE]. Mezhdunarodnyi nauchno-issledovatel'skii zhurnal = International Research Journal. No. 7 (61), pp. 98-102. (In Russ., abstract in Eng.)
16. Shikov, A.N., Bakanova, A.P., Loginov, K.V., Okulov, S.A., Chunaev, A.V. (2018). Application of Game Mechanics in Systems of Corporate Training Using Blended Learning Model. Informa-tika i obrazovanie = Informatics and Education. No. 5, pp. 44-48. (In Russ., abstract in Eng.)
17. Web Accessibility Checker. Available at: https://achecker.ca/checker/index.php
18. Monakhov, V.M. (2017). Engineering the Prognostic Model of Development of the Theory of Teaching for IT-Education. Sovremennye informatsionnye tekhnologii i IT-obrazovanie = Modern Information Technology and IT Education. Vol. 13, no. 2, pp. 111-121. DOI: https:// doi.org/10.25559/SITITO.2017.2.238 (In Russ., abstract in Eng.)
19. Vorobyova L.V., Isaeva, E.V., Serebrennikova, A.N., Sitnikova, O.V. (2017). Distant Technologies as Cost Effective Way of Teaching. The European Proceedings of Social & Behavioural Sciences (EpSBS). Vol. 26: Responsible Research and Innovation (RRI 2016), pp. 1002-1008. Available at: dx.doi.org-10.15405-epsbs.2017.07.02.129.pdf
The paper was submitted 30.05.19 Accepted for publication 12.07.19
