Управление качеством как условие развития электронного обучения в современном университете Текст научной статьи по специальности «Науки об образовании»

Гуманитарная информатика. 2016. № 11. С. 60-72

УДК 378.14

DOI: 10.17223/23046082/11/8

УПРАВЛЕНИЕ КАЧЕСТВОМ КАК УСЛОВИЕ РАЗВИТИЯ ЭЛЕКТРОННОГО ОБУЧЕНИЯ В СОВРЕМЕННОМ УНИВЕРСИТЕТЕ1

О.М. Бабанская, Г.В. Можаева, А.В. Фещенко

Национальный исследовательский Томский государственный университет, Томск, Россия e-mail: [email protected]; [email protected]; [email protected]

Развитие электронного обучения сопровождается усилением внимания к его качеству, управление которым основывается на контроле не только знаний обучаемых, но и процессов обучения, их организации и применяемых средств.

Задача управления качеством усложняется в связи с развитием технологий и необходимостью интегрировать различные педагогические и технологические инструменты в единую электронную образовательную среду. Появление PLE и МООС усложняет задачу обеспечения качества электронного обучения при отсутствии привычных управленческих инструментов и требует поиска новых решений, позволяющих обеспечить, с одной стороны, индивидуализацию обучения, с другой стороны - решить управленческие задачи по мониторингу качества обучения.

В данной работе проанализирован опыт Томского государственного университета по обеспечению качества электронного обучения на основе показателей качества учебных материалов, средств их доставки и коммуникаций, сопровождения учебного процесса. Возможности управления этими показателями рассмотрены на основе системы управления учебным процессом MOODLE с применением базовых инструментов и специально разработанных сервисов в контексте созданной в университете информационной образовательной среды и инфраструктуры.

Ключевые слова: электронное обучение, LMS MOODLE, МООК, мониторинг активности пользователей.

1 Перевод. O.M. Babanskaya, G.V. Mozhaeva, A.V. Feshchenko. Quality Management as a Condition for the Development of E-learning in a Modern University // EDULEARN16 Proceedings 8th International Conference on Education and New Learning Technologies July 4th-6th. Barcelona, Spain, 2016. P. 4367-4373.

QUALITY MANAGEMENT AS A CONDITION FOR THE DEVELOPMENT OF E-LEARNING IN A MODERN UNIVERSITY

Olesya M. Babanskaya, Galina V. Mozhaeva, Artem V. Feshchenko

National Research Tomsk State University, Tomsk, Russia e-mail: [email protected]; [email protected]; [email protected]

This paper presents the results of Tomsk State University experience in e-learning quality assurance basing on such indicators as the quality of learning materials, delivery systems, communication, and learning process support. Opportunities for managing these indicators are reviewed with the help of the LMS MOODLE with basic instruments and specially designed services as a part of university information learning environment and infrastructure.

One of the effective ways of learning materials' quality evaluation is their review by experts in a subject content and e-learning methods and technologies. Introduction of the e-learning courses that passed the review indicates productivity of professional activities of the university instructor.

The key review stages of TSU on-campus e-learning courses are concentrated within a certain department. The course content review is performed by the specialists in the subject area of the MOOC. The expert should provide valid conclusions about the MOOC materials in general, constructive feedback, recommendations and suggestions on improving the MOOC. The most difficult stage of learning materials' quality evaluation is work with social media and cloud services, as the materials there are marked by high mobility and variability. In this regard TSU staff uses by developing the course content in the LMS MOODLE those cloud based apps that expand the LMS functionality without its duplicating.

The quality indicators of learning process support and related pedagogical communications are the most difficult to be measured. At TSU there is developed a service of users' activity monitoring in LMS MOODLE to work with these indicators. The service is available as an auxiliary application in the LMS MOODLE to the staff of dean's offices and specialists responsible for e-learning in each university department.

For quality evaluation of MOOC learning process support by course authors or their assistants a TSU MOOC curator on the Coursera platform monitors the admin board and analyses learners' and instructors' activity at course forums day-to-day.

For identification of e-learning evaluation criteria from the users' position there was held a pedagogical experiment with 23 TSU Master's degree students. The students were offered to state the e-learning evaluation criteria. The criteria were combined in five categories: quality of teaching materials, learning process management, individual-ization of learning, pedagogical communication, test and assessment system.

Key words: e-learning, LMS MOODLE, MOOC, users activity monitoring.

Развитие электронного обучения (ЭО) сопровождается усилением внимания к его качеству, управление которым основывается на контроле не только знаний обучаемых, но и процессов обучения, их организации и применяемых средств. Качество образования должно отвечать одним и тем же требованиям, вне зависимости от формы обучения и технологий.

Вопросам управления качеством в образовании уделяется большое внимание в исследованиях, посвященных как методологическим вопросам управления качеством [1, 2], так и решению задач, возникающих в практике управления качеством на разных уровнях образования, в различных контекстах, в том числе в управлении ЭО [3].

Для обеспечения качества ЭО, как правило, применяются международные стандарты менеджмента, которые предусматривают регулярное проведение самооценки и внешнего аудита - такие, например, как международные стандарты ISO 9001:2008, модель делового совершенства EFQM, модель премии по качеству в области образования [4]. Выбор способа независимой оценки качества зависит от задач ЭО. Распространенные в мире процедуры внешней гарантии качества ЭО - профессионально-общественная аккредитация и экспертиза образовательных программ, институциональная экспертиза, общественная аккредитация или аудит организации - в целом в России применяются пока редко, хотя очевидна тенденция к более широкому распространению аудита и сертификации систем менеджмента организаций в части ЭО.

Поэтому стратегический выбор большинства российских участников ЭО связан с систематической внутриорганизационной работой по управлению качеством, которая должна быть направлена на непрерывное улучшение ЭО. Системный подход к управлению качеством требует постоянного анализа потребностей и ожиданий участников ЭО - студентов, преподавателей, работодателей и др. в целях улучшения бизнес-процессов, происходящих в системе ЭО, и эффективного управления ими. Анализу механизмов и инструментов управления качеством ЭО внутри образовательной организации посвящена данная работа, в которой представлен опыт одного из ведущих российских университетов - Национального исследовательского Томского государственного университета.

В системе управления качеством ЭО важное значение имеют показатели качества содержания образования, качества технологий обучения и качества результатов образования. Выбор групп показателей и конкретных показателей качества зависит от того, насколько существенно они влияют на качество процесса ЭО и могут быть оперативно оценены для практического использования в системе управления качеством. К таким

показателям относятся показатели качества учебных материалов, электронной среды, сопровождения учебного процесса.

На данном этапе развития ЭО наиболее эффективные инструменты управления качеством ЭО сосредоточены в системах управления учебным процессом - ЬМ8. Но различные формы неформального образования расширяют границу виртуальной среды обучения (УЪБ) до социальных медиа, специализированных платформ МООС, облачных сервисов и т.д., повышая тем самым индивидуализацию образования, уникальность персональных учебных сред (РЬБ) [5, 6]. Эта ситуация подтверждается проведенными исследованиями и тенденциями развития электронного обучения в Национальном исследовательском Томском государственном университете (ТГУ). Сравнительное исследование особенностей ЬМ8 и социальных сетей [7, 8] показало преимущество последних, по мнению студентов, по таким критериям, как частота и оперативность общения, мотивированность и эмоциональность обучения, эффективность группового взаимодействия. В 2015 г. общее количество обучающихся в ТГУ увеличилось в 3 раза за счет слушателей МООК, разработанных в университете.

В данной статье рассмотрена возможность управления показателями качества учебных материалов и коммуникаций в условиях многосоставной и многослойной электронной среды обучения на примере ТГУ.

В работе используются следующие методы и методики: описание эмпирического опыта, статистическая обработка данных и сравнительный анализ результатов.

Электронное обучение предъявляет требования как к форме представления учебных материалов (многослойность, интерактивность, открытость и др.), так и к технологиям (электронные учебные курсы в ЬМ8, МООС, сетевые ресурсы, ресурсы с удаленным доступом, тренажеры, симуляторы и др.). Оценка качества этих материалов должна проходить как на содержательном, так и на технологическом уровне.

Одним из эффективных способов оценки качества учебных материалов является их экспертиза, осуществляемая специалистами в области предметного содержания, методик и технологий электронного обучения.

Внедрение электронных учебных курсов (ЭУК), прошедших экспертизу, является показателем результативности профессиональной деятельности преподавателя вуза. Главная цель экспертизы - установление степени соответствия структуры и контента ЭУК российским федеральным государственным образовательным стандартам и учебно-методическим комплексам соответствующих дисциплин.

Ключевые этапы экспертизы внутрикампусных ЭУК в ТГУ сосредоточены в рамках отдельного факультета. Как показывает практика, дан-

ный принцип организации является наиболее эффективным и оптимальным по следующим причинам. Во-первых, именно экспертные (учебно-методические) комиссии факультетов имеют возможность оценить ЭУК с точки зрения специфики учебной дисциплины. Как показывает опыт, контент гуманитарных, естественно-научных и физико-математических направлений существенно отличается по вполне понятным и объективным причинам. Во-вторых, локализация основного этапа экспертизы непосредственно «на местах» позволяет увеличить показатели профессиональной деятельности как факультета в целом, так и отдельного преподавателя. Объективность и независимость экспертных заключений учебно-методических комиссий факультетов контролирует Институт дистанционного образования, который является последней инстанцией в процедуре экспертизы ЭУК. Однако в рамках проведения внутриуниверситетских конкурсов по электронному обучению создаются независимые экспертные комиссии и экспертные советы.

Дополнительным инструментом, позволяющим проводить мониторинг обеспеченности электронными учебными материалами на уровне образовательной программы, кафедры, факультета, университета, является специально разработанный сервис. Он реализован в виде дополнения ЬМЕ МООБЬБ и позволяет осуществлять анализ данных о количестве и статусе электронных учебных курсов, дифференцируя их по уровням высшего образования, направлениям подготовки, трудоемкости, формам обучения и экспертным оценкам.

Содержательная экспертиза материалов МООС проводится специалистами в предметной области конкретного МООС. Главные цели экспертизы:

1) оценить актуальность содержания МООС, полноту и достоверность приводимых сведений, потенциальную аудиторию курса;

2) отметить, насколько достоверными могут считаться использованные источники, а авторские выводы - обоснованными;

3) оценить корректность и уместность приводимых автором курса примеров и иллюстраций;

4) дать оценку курсу с методической точки зрения и определить, отвечает ли курс требованиям преподавания данной дисциплины в случае, если МООС планируется использовать в качестве аналога аудиторного курса и интегрировать его в образовательную программу, а именно соответствуют ли этой цели объем учебного материала, учебный план, задания и список литературы и дополнительных материалов;

5) дать оценку стилю подачи материала: легко ли воспринимается предложенный материал, достаточно ли он содержит примеров, насколь-

ко качественно он структурирован, соответствует ли тематике и целевой аудитории создаваемого МООС;

6) есть ли у авторского стиля изложения материала своеобразие и отличительные черты: уместны ли они в данном курсе (стоит ли их убрать либо наоборот - рекомендовать автору использовать в дальнейшем, в процессе съемок видеолекций).

Эксперт должен дать обоснованные выводы о материалах МООС в целом; сделать необходимые замечания, зафиксировать рекомендации и предложения по улучшению МООС.

Помимо содержательной экспертизы материалов МООС, в ТГУ также анализируется качество МООС путем проведения исходящего анкетирования слушателей, результаты которого следующие. Из 1 668 человек генеральной совокупности среди 417 слушателей, прошедших опрос, 93% считают наиболее полезными элементами МООС видеолекции, 33% отмечают полезными задания и дополнительные материалы, 85% будут использовать материалы МООС в своей деятельности, 95% будут рекомендовать МООС своим знакомым. По мнению слушателей MOOC ТГУ, более чем в два раза вырос их уровень знания предмета. В исходящее анкетирование мы также включаем вопросы, связанные с рекомендациями слушателей по улучшению качества МООС. Данный анализ позволяет команде разработчиков корректировать, при необходимости, материалы курса.

Наиболее сложным этапом в оценке качества учебных материалов является работа с социальными медиа и облачными сервисами, поскольку размещаемые там материалы характеризуются высокой мобильностью и изменчивостью. В этой связи при разработке содержания курса, размещаемого в системе MOODLE, в ТГУ используются только те облачные приложения, применение которых не дублирует, а расширяет функциональные возможности LMS. Наиболее восстребованные из них: ленты времени (time-line), ментальные карты (mind-map), виртуальные собеседники, интерактивные презентации. Оценка качества учебных материалов, представленных в этом формате, проводится в рамках вышеописанных процедур экспертизы внутрикампусных электронных курсов и МООК.

Показатели качества сопровождения учебного процесса и связанных с ним педагогических коммуникаций являются наиболее сложными для измерения.

Для работы с этими показателями в ТГУ разработан сервис мониторинга активности пользователей в LMS MOODLE. Новый сервис реализован в виде дополнительного приложения к системе MOODLE, доступен сотрудникам деканатов и специалистам, ответственным за электронное обучение на факультетах.

Сервис позволяет проводить мониторинг активности студентов и преподавателей, составлять рейтинг наиболее активных преподавателей ЭО, что имеет важное значение как мотивационный фактор. Мониторинг активности преподавателя проводится на основе собранных статистических данных в MOODLE и учитывает следующие показатели:

- среднее количество активностей одного студента по просмотру контента;

- среднее количество активностей одного студента по выполнению заданий и учебной коммуникации;

- среднее количество активностей преподавателя на одного студента по созданию контента;

- среднее количество активностей преподавателя на одного студента по сопровождению учебной работы;

- общее количество активных студентов у преподавателя в системе;

- общее количество активных курсов у преподавателя в системе.

Данные выгружаются из системы с помощью специально разработанного скрипта в виде отчета-таблицы. Дифференциация различных видов активностей для преподавателя и студента в мониторинге осуществляется на основе анализа всех действий пользователя MOODLE. Пример распределения действий по видам активностей, проведенного в ТГУ, представлен здесь: https://goo.gl/dZ0hYv.

Для расчета рейтинга активности преподавателя, полученные статистические данные переводятся в баллы. Шкала оценивания по каждому из шести критериев от 0 до 10. Полученные баллы умножаются на различные весовые коэффициенты и суммируются. Рейтинг активности преподавателей рассчитывается по факультету и университету в целом.

Данный мониторинг позволил администрации университета принять управленческое решение относительно поощрения активных преподавателей, выявить лучшие практики электронного обучения, проанализировать успешность ЭО на факультетах, что способствовало его развитию. Проведение мониторинга и составление рейтинга не только повысили интерес преподавателей к электронному обучению и их мотивацию к активному использованию дистанционных образовательных технологий в учебном процессе, но и продемонстрировали действенный подход к управлению качеством ЭО в вузе.

Для оценки качества сопровождения учебного процесса со стороны авторов курса или их ассистентов в ТГУ куратором онлайн-платформы Coursera используются ежедневный мониторинг административной панели управления MOOC, анализ активности слушателей и преподавателей на форумах. Данный мониторинг позволяет делать вывод о том, что на

сопровождение МООС у преподавателя уходит в среднем от 3 до 5 часов в неделю, эта норма зависит от количества слушателей курса, типа заданий и предметного содержания МООС. Как показывает практика, курсы, в которых используются задания на взаимное оценивание peer-to-peer, задания по программированию, требуют большего вовлечения преподавателя для взаимодействия со слушателями. Так, к примеру, авторы курсов по программированию и теории вероятностей тратят примерно от 5 до 7 часов в неделю на консультации слушателей. Курсы, в которых используются тестовые вопросы с множественным выбором, в зависимости от количества слушателей и тематики содержания, как правило, требуют присутствия преподавателя на форуме от 2 до 4 часов в неделю.

Данный мониторинг позволяет администрации университета принять решение о включении данной нагрузки в индивидуальный рабочий план преподавателя или о его поощрении дополнительной премией.

В отличии от LMS, стандартный набор инструментов аналитики в социальных сетях не позволяет получать достаточно данных для анализа качества коммуникаций обучающихся в учебном сообществе. Недостаточный набор инструментов мониторинга в социальных сетях возможно компенсировать внешними специальными сервисами. Веб-приложение jagajam.com, разработанное для мониторинга активности участников сообществ в социальных сетях, позволяет получать количественные данные для анализа активности обучающихся и востребованности (популярности) контента. Приложение предоставляет следующие данные:

- количество участников (активных, пассивных);

- средний уровень активности по времени суток и дням недели;

- средний уровень вовлеченности;

- общее количество отдельных видов активностей (лайки, комментарии, репосты, публикации);

- рейтинг пользователей по активности;

- рейтинг публикаций по популярности;

- время присутствия учащихся в сообществе.

Анализ этих количественных данных позволяет оценить активность работы студентов и преподавателей в учебном сообществе социальных сетей и интегрировать эти данные с результатами мониторинга в LMS для комплексной оценки качества сопровождения.

Студенты являются одной из заинтересованных сторон (стейкхолде-ров) управления качеством образования. Их представление о качестве является важным для формирования комплексной системы оценивания, учитывающей мнение и интерес всех заинтересованных сторон. Для вы-

явления критериев оценки электронного обучения с позиции потребителя со студентами ТГУ проведен педагогический эксперимент, в котором приняли участие 23 магистранта. Студентам было предложено сформулировать критерии для оценки качества электронного обучения. Выявленные критерии были обобщены в пять категорий: качество учебно-методических материалов, организация учебного процесса, индивидуализация обучения, педагогическая коммуникация, система контроля и оценивания.

Эксперимент показал, что качество учебных материалов электронного курса ассоциируется у студентов со следующими характеристиками:

- соответствие содержания учебных материалов теме, целям и задачам курса;

- полнота учебно-методического комплекса курса: наличие рабочей программы курса, учебного плана, основных и дополнительных учебно-методических материалов, контролирующих материалов, методических указаний по прохождению курса;

- достаточность учебных материалов для успешного освоения курса;

- достаточность и понятность рекомендаций преподавателя для самостоятельной работы;

- понятность содержания учебных материалов;

- разнообразие форматов предлагаемых в курсе учебных материалов;

- присутствие в курсе интерактивных и учебных материалов: mind-map (ментальные карты), интерактивная инфографика (анимация), timeline (ленты времени), интерактивное видео, познавательные игры, виртуальные лаборатории.

Важно, что при определении критериев качества учебных материалов студенты подчеркнули, что содержание и форма (сценарий) представления учебных материалов могут стимулировать интерес к предмету.

Участники эксперимента определили отдельную группу критериев, измеряющих качество организации учебного процесса в электронной среде:

- соответствие количества времени, затраченного на изучение электронного курса, целям и задачам предмета;

- логичная последовательность учебных тем и заданий в курсе, их соответствие тематическому и календарному плану занятий;

- оптимальное для успешного обучения соотношение онлайн и аудиторных часов при изучении курса.

С точки зрения студентов возможность индивидуализации обучения можно оценить через:

- наличие в курсе заданий, для выполнения которых преподаватель предлагает студентам разные формы на выбор: тест, эссе, проект, индивидуальное задание и др.;

- возможность формирования для каждого студента индивидуальной модели обучения по курсу с оптимальным сочетанием аудиторных и онлайн занятий;

- возможность для студента смены ролей в ходе освоения курса: студент, эксперт, преподаватель.

Система педагогических коммуникаций в ЭО может оцениваться критериями:

- использование преподавателями в МООБЬБ приёмов мотивации для успешного и своевременного прохождения курса: дедлайны, напоминания, система рейтинга и поощрение наиболее активных студентов, помощь и поддержка отстающих;

- доступность преподавателя для обратной связи со студентами в электронной среде;

- конструктивность и содержательность комментариев и замечаний преподавателя.

К системе оценивания результатов обучения у студентов возникли следующие требования:

- соответствие заданий изученному в курсе материалу;

- ясность и понятность требований преподавателя к выполнению заданий;

- использование разнообразных форм оценивания: тесты, задания, обсуждения в форуме, взаимная проверка;

- соответствие критериев оценивания заданий их сложности, более сложные и трудоёмкие оцениваются более высоким баллом;

- соответствие количества и сложности заданий целям и задачам курса;

- своевременная проверка и оценивание заданий;

- соответствие полученных оценок проделанной студентами работе.

В анкете предложена шкала оценивания от 0 до 4, где 0 - электронное обучение по курсу не соответствует критерию, 1 - в основном не соответствует, 2 - частично соответствует, 3 - в основном соответствует, 4 - полностью соответствует. Пример анкеты на русском языке представлен в гугл-форме https://goo.gl/QEsNRq. Проведение анкетирования и обработка его результатов позволяют выявить проблемные места и успешные практики как в отдельном электронном курсе, так и на факультете в целом.

Апробация анкеты с участием 160 студентов (1% от общей численности в ТГУ) показала, что по большинству критериев электронные курсы

преподавателей оцениваются в 3-4 балла. Индивидуализация - единственная группа критериев, по которой оценки не превышали значения 2-3 балла (рис. 1).

Рис. 1. Оценка качества электронных курсов студентами

Результаты пилотного анкетирования показали, что представления студентов о качестве электронного обучения в целом соответствуют методике проектирования электронных курсов и практике их использования в университете. Относительно низкую оценку за индивидуализацию можно объяснить смешанной моделью обучения студентов ТГУ, в которой индивидуальный подход к обучающемуся может реализоваться не только в электронной среде, но и во время аудиторных занятий и очных консультаций.

Результаты эксперимента могут быть уточнены через вовлечение в обсуждение большего количества студентов, совместного определения критериев оценки качества, учёта специфики уровня высшего образования и направления подготовки студентов. Продолжение работы в этом направлении позволит учитывать оценку студентов в системе управления качеством электронного обучения в университете, сделать её более комплексной, объективной и прозрачной.

Управление качеством ЭО является действенным инструментом развития этого образовательного формата, позволяющего масштабировать качественные образовательные продукты на различные целевые аудитории, различные педагогические задачи и т. д. и достигать качества очного

обучения, которое до сих пор является неким эталоном результата образовательной деятельности.

LMS является эффективным инструментом оценки и гарантом качества ЭО. Развитие индивидуализации обучения, расширение персональных сред приводит к усложнению процессов контроля и оценки качества ЭО, поскольку вовлекает в ЭО неформализованные технологии, качество которых трудно измерить традиционными инструментами. Соответственно, индивидуализация электронного обучения сопровождается формированием персональных учебных сред, доступ к которым может иметь только один из участников образовательного процесса.

Задача управления качеством усложняется в связи с развитием технологий и необходимостью интегрировать различные педагогические и технологические инструменты в единую электронную образовательную среду, добавляя уже ставшие привычными LMS дополнительные инструменты, формирующие PLE или связанными с распространением МООС. Появление PLE и МООС усложняет задачу обеспечения качества электронного обучения при отсутствии привычных управленческих инструментов и требует поиска новых решений, позволяющих обеспечить, с одной стороны, индивидуализацию обучения, с другой - решить управленческие задачи по мониторингу качества обучения, необходимому для формального образования в университете. Требуется поиск механизмов для оценки качества таких сред. Интеграция LMS, PLE и MOOC становится одним из эффективных инструментов управления качеством ЭО в условиях расширения информационных образовательных сред, развития технологий и диверсификации образовательных задач.

ЛИТЕРАТУРА

1. Vasilkov Y., Gushina L. Analysis of the effectiveness and efficiency of management systems based on system analysis methodology // International Journal for Quality Research. 2014. № 8 (3). Р. 347-356.

2. Putnik G., Ávila P. Mechanisms to promote continuous improvement in quality management systems // International Journal for Quality Research. 2015. № 9 (1). Р. 1-8.

3. Mogus A.M. The use of quality management systems for e-learning, The Sixth International Conference on e-Learning (eLearning-2015). 2015. URL: http://econference.metropolitan.ac.rs/files/pdf2015/27-Ana-Mirkovic-Mogus-The-use-of-quality-management-systems-for-e-learning.pdf

4. Aniskina N., Rashidi A., Winkel R. To assess the quality by European standards. The construction of cross-border cooperation in the field of VET // Accreditation in Education. 2014. № 70 (March). Р. 70-71.

5. Conde M.Á., García-Peñalvo F.J., Rodríguez-Conde M.J., Alier M., Casany M.J., Piguillem J. An evolving Learning Management System for new

О.М. Ea6aHCKan, r.B. Mowaeea, A.B. 0e^eHKO

educational environments using 2.0 tools // Interactive Learning Environments. 2014. № 22 (2). Р. 188-204. Doi: 10.1080/10494820.2012.745433.

6. Casquero O., Portillo J., Ovelar R., Romo J., Benito M. PLEs in higher education: Exploring the transference of web 2.0 social affordances // International Journal of Virtual and Personal Learning Environments. 2013. Vol. 4, is. 4. Р. 31-43. Doi: 10.4018/ijvple.2013100103.

7. Feshchenko A., Mozhaeva G., Kulikov I., Zilberman N. Prospects for the Development of E-learning Technologies // Proceedings of the 7th International Conference on Computer Supported Education. 2015. Р. 208-212. Doi: 10.5220/0005410102080212.

8. Mozhaeva G., Feshchenko A., Kulikov I. E-learning in the Evaluation of Students and Teachers: LMS or Social Networks? // Procedia - Social and Behavioral Sciences. 2014. № 152. Р. 127-130.