CC BY
80
УДК 378.416
Шухман А.Е., Белоновская И.Д., Запорожко В.В., Полежаев П.Н., Ушаков Ю.А.
Оренбургский государственный университет, г Оренбург, Россия Е-mail: shukhman@gmail.com
ИНТЕЛЛЕКТУАЛЬНЫЕ МЕТОДЫ РАЗРАБОТКИ ЭЛЕКТРОННЫХ УЧЕБНЫХ КУРСОВ ДЛЯ АДАПТИВНОГО ОБУЧЕНИЯ
Современное профессиональное образование характеризуется устойчивой тенденцией перехода к цифровизации и персонификации обучения. Модернизация профессионального образования в настоящее время связана с внедрением адаптивных, практико-ориентированных и гибких образовательных программ. В то же время, существующие платформы для создания электронных учебных курсов, например, наиболее популярная система Moodle, пока не имеют возможностей для интеллектуализации процесса обучения, гибкой адаптации содержания образования под индивидуальные потребности обучающихся, не содержат удобных интеллектуальных инструментов для поддержки разработчиков онлайн-курсов, автоматизации рутинных операций по структурированию образовательного контента.
Нами изучены подходы к разработке электронных учебных курсов, выделены этапы разработки и требования к электронным учебным курсам, разработаны структурно-содержательная модель электронного учебного курса и модель данных, собираемых в процессе электронного обучения. На основе разработанных моделей предложены интеллектуальные методы создания электронных учебных курсов: алгоритм структурирования материалов электронного учебного курса, алгоритм иерархической классификации материалов учебного курса по тематическим блокам, алгоритм первичного ранжирования элементов учебного курса по сложности и значимости, алгоритм первичного определения зависимостей между блоками и элементами учебного курса. Разработан проект прототипа интеллектуальной платформы создания и сопровождения учебных курсов как модуля в системе управления обучением Moodle, его логическая и физическая архитектура.
Применение интеллектуальных платформ для создания и сопровождения электронных учебных курсов позволит значительно повысить эффективность труда разработчиков курсов, многократно расширить выбор курсов в региональной цифровой образовательной среде, что положительно скажется на качестве обучения.
Ключевые слова: электронные учебные курсы, информационные технологии в образовании, машинное обучение, интеллектуальный анализ данных.
Для цитирования: Интеллектуальные методы разработки электронных учебных курсов для адаптивного обучения / А.Е. Шухман, И.Д. Белоновская, В.В. Запорожко, П.Н. Полежаев, Ю.А. Ушаков // Вестник Оренбургского государственного университета. - 2019. - №4(222). - С. 117-133. DOI: 10.25198/1814-6457-222-117.
Shukhman A.E., Belonovskaya I.D., Zaporozhko V.V., Polezhaev P.N., Ushakov Yu.A.
Orenburg State University, Orenburg, Russia Е-mail: shukhman@gmail.com
E-LEARNING COURSES DEVELOPMENT INTELLECTUAL METHODS
FOR ADAPTIVE LEARNING
Modern professional education is characterized by a steady trend towards the transition to digitalization and personification of training. Modernization of professional education is currently associated with the introduction of adaptive, practice-oriented and flexible educational programs. At the same time, existing platforms for creating e-learning courses, for example, the most popular system Moodle, do not yet have the ability to intellectualize the learning process, flexibly adapt the educational content to the individual needs of students, do not contain convenient intellectual tools to support developers of online courses, automate routine operations for structuring educational content.
To solve these problems, we have analyzed approaches to the development of e-learning courses, identified development stages and requirements for e-learning courses, developed a model of e-learning courses and a model of data collected in the process of e-learning. Based on the developed models, we suggest intelligent methods for creating e-learning courses: an algorithm for structuring materials for an e-learning course, an algorithm for hierarchical classification of materials for a course according to thematic blocks, an algorithm for primary ranking of educational items in complexity and significance, an algorithm for initial determination of the dependencies between blocks and elements of a course. Logical and physical architecture of an intelligent platform for creating and maintaining courses for Moodle has been developed.
The use of intelligent platforms for the creation and maintenance of electronic e-learning courses will significantly increase the efficiency of the course authors and will expand the choice of courses in the regional digital educational environment, which will positively affect the quality of training.
Keywords: electronic educational courses, information technology in education, machine learning, data mining.
For citation: Shukhman A.E., Belonovskaya I.D., Zaporozhko V.V., Polezhaev P.N., Ushakov Yu.A. E-learning courses development intellectual methods for adaptive learning. Vestnik Orenburgskogo gosudarstvennogo universiteta, 2019, no. 4(222), pp. 117-133. DOI: 10.25198/1814-6457-222-117.
Современное профессиональное образование характеризуется устойчивой тенденцией перехода к цифровизации и персонификации обучения. Запросы экономики определили стратегическую задачу развития отечественного образования - формирование гибкой, подотчётной обществу системы непрерывного образования, развивающей человеческий потенциал, обеспечивающей текущие и перспективные потребности социально-экономического развития государства [1]. Первоочередные задачи развития системы образования нашли отражение стратегических задачах Российской Федерации на период до 2024 года. В этот период планируется «модернизация профессионального образования, в том числе посредством внедрения адаптивных, практико-ориентированных и гибких образовательных программ», а также «создание современной и безопасной цифровой образовательной среды, обеспечивающей высокое качество и доступность образования всех видов и уровней» [2]. Одним из основных методов решения данной задачи является развитие цифрового образовательного пространства.
В рамках реализации программы Правительства РФ «Цифровая экономика» [3] планируется разработка отраслевой платформы для цифрового образования, предусматривающего максимальное использование в образовательном процессе информационных и коммуникационных технологий, в том числе новейших технологий обработки больших данных, машинного обучения, искусственного интеллекта. Упомянутые задачи тесно связаны друг с другом, поскольку могут обеспечить адаптивность и гибкость образовательных программ, сделать обучение максимально персонализированным и эффективным.
Указанные возможности представляют электронные учебные курсы (ЭУК), которые представляют собой информационную систему комплексного назначения (электронный ресурс) на основе единой компьютерной программы, безбумажной технологии и средств информационно-коммуникационных технологий для электронной поддержки всех этапов организации и сопровождения учебного процесса, таких как целеполагание, презентационное, операциональное, корригирующее, контрольно-оценочное и мониторинговое виды сопровождения, перспективная самоорганизация.
ЭУК используются в интеллектуальной обучающей системе (ИОС) - «автоматизированной обучающей системе, имеющей интеллектуальный интерфейс, позволяющей в процессе обучения вести диалог, отвечать на вопросы и выполнять задания на естественном языке» [4].
В современной цифровой образовательной среде обучающимся доступны большое количество онлайн-курсов, однако возникают серьезные проблемы отбора необходимой информации, рациональной организации образовательной деятельности. В результате широкое распространение онлайн-курсов сочетается с проблемой крайне низкого процента обучающихся, которые их успешно осваивают. Ситуацию характеризуют данные Центра социологии высшего образования Института образования НИУ ВШЭ, полученные на выборке из 67 055 слушателей четырех различных электронных курсов по экономике [5]. Успешно освоили ЭУК только 4,77% зарегистрировавшихся слушателей, причем один из популярных курсов не освоили 98,8%. Автор считает, что слушатели были недостаточно мотивированы. В то же время из тех, кто планировал пройти курс полностью и был достаточно мотивирован к обучению, успеха в освоении добились только 9,71%, что подтверждает тезис о низкой эффективности ЭУК.
Причины низкой эффективности ЭУК связаны с недостатками существующих платформ для их создания. Например, наиболее популярная система Moodle, пока не имеет возможностей для интеллектуализации процесса обучения, гибкой адаптации содержания образования под индивидуальные потребности обучающихся, не содержит удобных интеллектуальных инструментов для поддержки разработчиков онлайн-курсов, автоматизации рутинных операций по структурированию образовательного контента [6]. Другая причина состоит в недостаточной разработанности методологии ЭУК, так, например, фрагментарно представлены и неоднозначно трактуются принципы создания и организации работы с ЭУК как в общем, так и в профессиональном образовании.
В целом повышение эффективности ЭУК ожидается при создании интеллектуальных платформ, основанных на методах машинного
обучения, обеспечивающих сбор необходимых данных в процессе обучения, их анализ, использование результатов анализа для автоматического сопровождения онлайн-курсов и формирование на их основе рекомендации для разработчиков курсов. Предполагается, что применение интеллектуальных платформ для создания и сопровождения электронных учебных курсов позволит значительно повысить эффективность труда разработчиков курсов, многократно расширить выбор курсов в цифровой образовательной среде, что положительно скажется на качестве обучения [Ермолаева И.С. Современные платформы электронного обучения: взаимовлияние, конкуренция, особенности коммуницирования. [Электронный ресурс]. Режим доступа: https:// kpfu.ru/docs/F235997197/platforms_ed3.pdf (дата обращения: 15.05.2019).6].
Подходы к разработке
электронных учебных курсов
Разработка электронного курса по сложившимся современным представлениям включает в себя следующие основные этапы:
- определение цели и сценариев использования,
- определение структурных компонентов учебника,
- отбор учебного материала и его структурирование,
- создание программного продукта непосредственно [8].
К настоящему времени установлены ключевые моменты такой деятельности, которые определяют:
- способы отбора учебного материала;
- способы его структурирования в учебном курсе;
- функциональную структуру ЭУК.
Структурирование контента в учебном курсе предполагает различные требования, реализуемые как самостоятельно, автономно, так и комплементарно. Один из наиболее полный наборов таких требований представлен в работах Национального исследовательского ядерного университета «МИФИ» [9]. Авторами выделены принципы структурирования контента:
- модульность (локализации контента и полной автономности/независимости данного ЭУК от других УЭК и баз данных),
- интегральность (взаимосвязи учебных курсов, предметных областей и знаниевых потоков),
- субъектность (учета динамики обучения и активности студента), управляемость (открытость к внешним целевым воздействиям),
- информационность (формирование умений и опыта информационного поиска),
- распределенность (сетевое размещение информации на основе заданных требований).
Способы отбора учебного материала как контента ЭУК должны быть ориентированы на формирование профессиональных компетенций, соотносимых с данным курсом его разработчиками и/или потенциальными слушателями. Требование компетентностного подхода не является исчерпывающим и существенно дополняется спецификой предметной области ЭУК, в которой необходимо выделить системообразующий элемент и именно по нему проводить селекцию контента. Системообразующие элементы определены в уже ставших классическими исследованиях культурологической парадигмы содержания образования, где выделены когнитивный, операциональный, креативный, мотивационно-ценностный компоненты. В частности, для технического профессионального образования приоритет имеет операциональный компонент, определяющий способы деятельности [10].
Функции ЭУК соотносятся с набором возможностей, реализуемых в процессе освоения данного курса. К ним относятся, например, возможность сочетания при обучении электронного курса и печатного учебного издания, сценарный вариант изучения курса для применения различными категориями пользователей, адаптивность для накопления статистики действий обучающихся и адекватного реагирования [8].
В целях классификации УЭК по функциональному принципу возможно применить методику В.М. Трембача и А.С. Алещенко (например, [11]). В таком случае выделяются типы ЭУК, представленные на рисунке 1.
Разработка и реализация электронных учебных курсов в условиях профессионального образования предполагает дополнительный ряд требований.
Рамочный характер федеральных образовательных стандартов высшего образования
не предусматривает выделения дидактических единиц даже в обязательных учебных дисциплинах. В виду высокой скорости обновления профессиональной информации не предполагается и примерных рекомендованных рабочих программ учебных дисциплин. В результате каждый вуз и каждый ведущий преподаватель создают собственный уникальный учебный контент, разнообразный и неоднородный как по форме представления, так и по своей физической сущности. Несмотря на отсутствие жестко заданной дидактической структуры, разработчики ЭУК, как правило, ориентируются на логику построения курса «от базовых понятий к сложным выводам» (линейная структура), что привычно для студентов и традиционно для тестовых учебников.
Однако для реализации адаптивного обучения необходимо использовать нелинейную логику конструирования ЭУК. В исследованиях О.П. Околелова [12] рекомендуется принцип линейно-концентрического структурирования ( нелинейный принцип). При этом в курсе создаются два взаимосвязанных модуля - базовый (основной) и расширенный (индивидуальный). В базовый модель входят основные понятия и положения изучаемого предмета, а также системные задания для формирования востребованных навыков деятельности в данной предметной области. Цель такого модуля -реализация требований ФГОС ВО к данной дисциплине или образовательной программы высшего образования (ОП ВО), если дисциплина не относится к числу обязательных. И в том, и в другом случае, происходит ориентация на
Рисунок 1 - Классификация электронных учебных курсов по функциональному
принципу
соответствующую компетенцию, приписанную к данной дисциплине в учебной плане ОП ВО. Индивидуальный модуль включает материалы, которые могут расширить представление о данной теме, а также дополнительные исследовательские задания.
В научной литературе предложены различные подходы к реализации адаптивных ЭУК. Так, авторы статьи [13] исследовали, как осуществить динамический отбор учебных объектов для построения структуры курса в зависимости от входного набора компетенций (сформированных у обучающегося) и выходного (запланированных результатов обучения).
AHreza Kahaei [14] провела анализ параметров, используемых для персонализации электронного обучения. В результате были обобщены 17 параметров, в частности: уровень знаний, цели и намерения, предпочтение стиля коммуникации, уровень мотивации и т.п. В результате выяснилось, что платформы для ЭУК на современном этапе развития не поддерживают большинство параметров персонализации.
Коллектив авторов публикации [15] представил модель последовательности учебных объектов и ее реализации с использованием подхода, основанного на мета-программировании. Группа исследователей в своей работе [16] определили следующие аспекты адаптивного обучения: самооценка обучения, скорость обучения, адаптация обучения к различным характеристикам/способностям/интересам обучающегося, сотрудничество и совместное использование ресурсов группой пользователей с общими интересами/характеристиками, отслеживание прогресса обучающегося.
Важной особенностью ЭУК для адаптивного обучения является поддержка индивидуальных образовательных траекторий. В наших работах [17]-[20] рассмотрена задача формирования индивидуальных образовательных траекторий студентов в региональной системе профессионального
образования. Разработана модель образовательного процесса в виде маркированной сети Петри, формализована и решена задача построения оптимальной образовательной траектории на основе интеллектуальных методов.
В то же время в научных публикациях не рассматривается применение интеллектуального анализа текстовых данных на этапе разработки ЭУК. В работе R. Sathya [21] подробно описаны основные методы интеллектуального анализа текста: обобщение, извлечение информации, категоризация, визуализация, кластеризация, отслеживание темы, ответы на вопросы. Методы интеллектуального анализа текста и анализа тональности текста также используются в работе [22] для автоматического изучения онлайн-обзоров иностранных студентов о своих ВУЗах, что является актуальной проблемой в рамках конкуренции образовательных организаций. Метод семантического сравнения содержимого учебных программ с помощью методов схожести текста представлен в публикации [23].
Таким образом, анализ источников показывает, что современные системы управления обучением не поддерживают интеллектуальные адаптивные методы разработки и сопровождения электронных учебных курсов.
Структурно-содержательная
модель электронного учебного курса
В основу структурно-содержательной модели электронного учебного курса может быть положен стандарт «SCORM» (Sharable Content Object Reference Model), который определяет структуру хранения элементов учебного курса и интерфейс доступа к ним, что дает возможность переносить элементы учебных курсов из одной системы управления обучением в другую, обеспечить включение модулей из общего репози-тория в разные курсы в соответствии с индивидуальными запросами пользователей, облегчить сопровождение и адаптацию курсов.
Кроме того, SCORM использует прикладной программный интерфейс (API) для обмена информацией, разработанную модель представления информации, спецификации и стандарты элементов учебного курса, дающие возможность описывать и упорядочить содержание учебных курсов.
Также в последней версии SCORM появилась возможность определять порядок элементов учебного курса для изучения, сохранять позиции в этой последовательности для каждого обучающегося, хранить достижения учащихся.
Основной единицей учебного курса в SCORM являются объекты контента (SCO -Shareable Content Objects), которые определяют модульную структуру курса. С каждым объектом связаны метаданные и образовательный контент.
Совокупность объектов контента для определенной предметной области называется в SCORM репозиторием. Элементы из репози-тория могут включаться в состав различных курсов, которые сохраняются в LMS.
Содержимое модулей в SCORM описано с использованием языка разметки текстов XML, API определяет связь между содержанием образования и LMS.
Описание стандарта SCORM 2004 состоит из четырех разделов:
1. Вводный раздел (Overview), в котором представлены основы SCORM и направления дальнейшего развития стандарта;
2. Раздел, описывающий содержание элементов учебных курсов CAM (Content Aggregation Model);
3. Раздел, описывающий среду исполнения RTE (Run Time Environment), включающий требования к системе управления обучением LMS (Learning Management System) как к интерфейсу между содержательной (SCO) и управляющей частями;
4. Раздел, описывающий навигацию по курсу SN (Sequencing and Navigation), представляющий требования к порядку изучения элементов курсов.
Модель Content Aggregation Model (CAM) включает способы описания элементов учебных курсов, правила их упорядочения, хранения и поиска. Модель также дает возможность создания пакетов, применение метаданных к учебным элементам в одном пакете, а также применении правил упорядочения и навигации внутри определенного пакета.
Метаданные (Meta-data) учебного элемента включают назначение и тип содержимого элемента, сведения об авторах, требования к
платформе. Метаданные могут применяться к различным компонентам CAM:
- assets (элементам);
- sharable content objects (объектам контента) (SCOs);
- activities (деятельности);
-content organization (организации контента);
- content aggregation (агрегации контента).
Asset (элемент) - представляет собой мультимедийный элемент содержания курса (текст, изображение, звук, видео). Элементы могут вкладываться друг в друга.
SCO - коллекция из элементов, которые вместе образуют модуль учебного курса как его элементарную логическую часть. SCO имеют собственные метаданные для поиска и извлечения из хранилища.
Activities - это логические объекты, которые определяют последовательность изучения учебных элементов в процессе обучения.
Структура контента (Content Structure) представляется на языке XML, определяются все элементы и внешние ссылки, необходимые для переносимости курсов. XML (extensible Markup Language - расширяемый язык разметки) - платформо-независимый текстовый формат, предназначенный для хранения структурированных данных в целях обмена информацией между информационными системами. XML позволяет описывать структуру данных без привязки их к представлению, отдельно определять форму представления данных (независимо от конкретного содержания), управлять доступом к данным, фильтровать данные по содержанию, структуре и метаданным.
Описание среды исполнения (RTE) состоит из нескольких компонентов:
-управление контентом (Content Management Service);
- отображение (Delivery Service);
- упорядочение элементов курсов (Sequencing Service);
- администрирование курсов (Course Administration Service);
- оценка (Testing/Assessment Service);
- служба профиля обучающихся (Leaner Profile Service);
- определение траектории обучения (Tracking Service);
- обмен информацией с платформой (API Adapter).
В основе навигации по контенту (SN) лежат следующие компоненты:
- дерево действий (Activity Tree) - описание структуры учебного курса;
- учебные действия (Learning Activities) -действия обучающегося при изучении курса;
- правила упорядочивания (Sequencing Rules) - описание набора условий, определяющих возможности переходов от одних действий к другим по дереву действий;
- навигация (Navigation) - последовательность изучения элементов курса в соответствии с деревом действий;
- модель данных о навигации (Navigation Data Model) - описание переходов от одних действий к другим.
Для четкого понимания взаимосвязи элементов электронного учебного курса (ЭУК) представим математическую структурно-содержательную модель.
Пусть М - множество электронных учебных курсов, размещенных в LMS.
M=(M¡,M2, ...,M)
(1)
Каждый ЭУК = N представляет собой объединение двух непересекающихся множеств
M=M^M,
i 0 n
(2)
где М0 - множество обязательных элементов курса, определяющих его минимальный состав, и М - множество дополнительных элементов курса, которые дополнительно включены в него, дают дополнительную информацию обучающимся.
Множество обязательных элементов курса может быть формализовано как следующий вектор
И0=^, Cp, Wu, U1, ..., и, Fu, G), (3)
где Wv - вводный видеофайл, Cp - перечень
U. = 1К К тем курса, Wu - вводный модуль, 3
учебный модуль, Fu - заключительный модуль
(итоговый тест по курсу), G -журнал учебных
достижений обучающихся.
Множество необязательных элементов курса может быть представлено как следующий кортеж
M =(Fe,Cf), M=(Fe,Cf)
(4)
где Fe - экзамен или проект для получения сертификата, Cf - сертификат.
Множество элементов вводного модуля Wu представим в виде кортежа
W=(Au, Ci, Eg, In),
(5)
где Au - информация о курсе, О - информация о преподавателях, Eg -планируемые результаты обучения, 1п - программа обучения.
Каждый учебный модуль курса содержит определенный набор элементов. Опишем их в виде следующего кортежа
U=(Sg, Er, A, F),
(6)
где Sg - методические рекомендации к модулю, Er - электронные образовательные ресурсы, A - деятельностные элементы, F - средства обратной связи.
Множество элементов электронных образовательных ресурсов Er представим кортежем
Er=(Video, Reading, Pres, Tut, Web, O), (7) где Video - видеолекция, Reading - материалы для самостоятельного изучения (например, лекция в форматах pdf или html), Pres - заметки к лекциям и слайды, Tut - учебные пособия, Web -ссылки на дополнительные ресурсы (электронные библиотеки, карты, фотографии, любые другие социальные медиа ресурсы и интернет-источники), O - дополнительные текстовые и мультимедийные материалы (анимации, аудио к рабочей тетради, словники, другое).
Множество деятельностных элементов курса A представим кортежем
A=(Qu, Quiz, As, Ws, Gl, Ga),
(8)
где Qu - анкета, Quiz - тест или контрольные вопросы, As - задание (самоотчет, эссе, проект/ курсовая работа, упражнение, задачи, другое), Ws - электронный семинар по взаимооценке выполненных работ, Gl - глоссарий, Ga - обучающие игры, включая симуляции.
Множество элементов обратной связи в курсе F представим кортежем
F=(Forum, Blog, Sn, Af),
(9)
где Forum - форум (дискуссии, консультации, онлайн учебные сообщества), Blog - блог, Sn -социальные сети, Af - иные формы обратной связи.
Образовательная траектория обучающегося состоит из учебных модулей, каждый из которых представляет собой цикличное выполнение учебной деятельности, а именно: изучение теоретического материала (лекций) и выполнение практический заданий (рисунок 2).
Количество учебных модулей должно быть оптимальным, согласованным с количеством тем изучаемой дисциплины, а также с минимальным набором компетенций, который должен быть сформирован по окончанию изучения данной дисциплины.
Каждый учебный модуль имеет набор компетенций, необходимых для прохождения данного конкретного учебного модуля и набор компетенций, которые будут сформированы после прохождения изучения материала (рисунок 3).
Таким образом, необходимо построить индивидуальную образовательную траекторию
Рисунок 2 - Индивидуальная образовательная траектория
так, чтобы компетенции, необходимые для прохождения каждого модуля, были сформированы на предыдущих этапах, или их наличие предполагалось перед изучением выбранной дисциплины (рисунок 3). При этом Кх.у^ обозначает отдельную компетенцию, х - число, принимает значения 1 или 2, 1 - набор компетенций, необходимых перед прохождением учебного модуля, а 2 - набор компетенций, которые будут сформированы после прохождения учебного модуля; у - номер учебного модуля; z - номер компетенции.
В рамках освоения курса по конкретной дисциплине с привязанными к ней компетенциями требуется найти минимальное число учебных модулей так, чтобы покрыть весь перечень необходимых компетенций и построить по ним индивидуальную образовательную траекторию, при освоении которой обучающийся получит достаточный объем знаний, умений, опыта деятельности, т.е. запланированный результат обучения.
Данная задача относится к задачам о наименьшем покрытии (ЗНП) и о наименьшем вершинном покрытии (ЗНВП). Данные задачи имеют широкое прикладное значение в теории построения сложных при разработке их программного и математического обеспечения. Задачи и связанные с ними проблемы имеют различные применения в адаптивной обработке запросов и распределении ресурсов. Основное требование к алгоритмам решения данных задач состоит в высокой оперативности решения
и обеспечении минимально возможной погрешности этих решений.
Исходными данными задачи о покрытии множества является следующие:
Семантическая сеть - связный в сильном смысле ацикличный ориентированный граф
Параметры:
Область знаний отдельного курса - D;
Семантическая сеть области знаний по курсу: GD = (УВ, ED}, где
УВ - множество вершин (компетенций);
ED - множество связей графа.
Перед построением индивидуальной образовательной траектории необходимо определить начальный уровень знаний учащихся. Для этого предполагается проведение входного тестирования, на основании которого будет построена семантическая сеть знаний обучающегося.
Семантическая сеть знаний обучающегося - связный в сильном смысле ацикличный ориентированный граф (GL).
Параметры:
Обучающийся L;
Семантическая сеть знаний обучающегося GL = (УЬ, EL}, где
УL - множество вершин (компетенций);
EL - множество связей графа;
VL с УВ, EL с ЕВ.
Граф GL является связным подграфом графа GD.
Под компетенцией понимается способность применять знания, умения и личностные каче-
Рисунок 3 - Компетенции, формируемые в рамках учебного модуля
ства для успешной деятельности в определенной области.
В каждом курсе, реализуемом в LMS Moodle, может формироваться одна или несколько компетенций. При этом одна и та же компетенция может формироваться в несколь-
Рисунок 4 - Модель формирования компетенций
ких курсах, в расчете значения компетенции этот факт учитывается.
В LMS Moodle курс представлен перечнем заданий, выполнение которых рассчитано на формирование компетенций у обучающихся, а результаты которых исчерпывающим образом показывают степень освоения данной компетенции.
Для сопровождения учебного курса и коррекции индивидуальных образовательных траекторий предполагается постоянный сбор аналитических данных об обучающемся и его учебных результатах.
Интеллектуальные алгоритмы
разработки электронного
учебного курса
Как правило, авторы учебных курсов имеют в электронном виде их материалы в виде набора текстовых документов, в форматах известных офисных пакетов docx, doc, ppt, odt, odp и других.
Возможные варианты видов материалов:
а) презентации лекций;
б) конспекты лекций;
в) тексты условий лабораторных или практических работ;
г) тестовые задания;
д) курсовые работы или проекты;
е) расчётно-графические задания.
Информация о структуре курса может быть
взята из теоретических материалов, например, вида а) или б).
В большинстве систем электронного обучения материалы размещаются путем ручного структурирования Online-представления курса с добавлением разделов и тематических блоков, заданий. При этом авторы курсов вынуждены вручную задавать названия элементам курса и прикреплять соответствующие файлы, что является рутинным действием для автора курса.
Для решения данной проблемы в полуавто-магическом режиме был разработан алгоритм структурирования материалов электронного учебного курса.
Данный алгоритм имеет поддерживает реализации для документов, представленных в формате XML (docx и pptx), и для текстовых документов. Также поддерживаются документы
других форматов, но они должны быть предварительно сконвертированы в одно из данных представлений (например, doc и ppt).
Выделение структуры документа производится на основе разметки заголовков в структурированных документах. Содержимое раздела привязывается к заголовку как часть текста ниже самого заголовка до следующего заголовка любого уровня.Выделенные разделы объединяются в иерархическое дерево.
Пользователь может:
а) заполнить пропуски в нумерации;
б) перенумеровать заголовки, исправить их названия, поправить ссылки на документы;
в) добавить новые элементы в иерархию или удалить существующие;
г) изменить порядок элементов в иерархии.
Алгоритм иерархической классификации материалов учебного курса по тематическим блокам алгоритм предназначен для классификации других файлов курсов (элементов курса, например, текстов лабораторных/практических заданий, дополнительных материалов и пр.) по их текстовому содержимому с целью отнесения их к определенным тематическим блокам в иерархии, полученной предыдущим алгоритмом.
Алгоритм использует тексты из корпуса предметной области или других аналогичных курсов для обучения классификаторов. В качестве функции потерь используется перекрестная кросс-энтропия, в качестве метрик качества - сбалансированная точность.
Формализуем основные шаги общей структуры обучения алгоритма классификации текстов других файлов курсов.
Шаг 1. Для каждого текста из обучающие выборки выполнить следующие шаги:
Шаг 1.1 Выполнить нормализацию текста (перевод в нижний регистр, удаление запрещенных символов)
Шаг 1.2. Выполнить токенизацию (преобразование в список токенов)
Шаг 1.3. Для каждого токена выполнить лемматизацию (преобразование к нормальной словарной форме)
Шаг 1.4. В каждом списке токенов удалить стоп-слова (высокочастотные слова языка)
Шаг 3. Составить словарь из токенов и/или наборов токенов.
Шаг 4. Для каждого списка токенов выполнить его преобразование в векторное представление, используя словарь
Шаг 5. Используя алгоритм нахождения выбросов, из обучающей выборки исключить выбросы.
Шаг 6. Разбить обучающий набор на два поднабора: на первом будет выполняться оптимизация гиперпараметров и первичное сравнение различных алгоритмов классификации, на втором - итоговая проверка качества модели
Шаг 7. Для каждого алгоритма многоклассовой классификации выполнить оптимизацию гиперпараметров с поиском лучшего значения функции потерь.
Шаг 8. Каждый алгоритм с использованием оптимальных гиперпараметров, определенных на предыдущем шаге, обучается на обучающей выборке. Алгоритмы сравниваются между собой по функции потерь, а также по набору дополнительных метрик.
Шаг 9. Лучший алгоритм классификации используется для дальнейшей классификации.
В рамках общей структуры обучения алгоритма классификации текстов также можно варьировать: способ формирования словаря на шаге 3, способ преобразования списка токенов в векторное представление на шаге 4, алгоритм нахождения выбросов, используемый на шаге 5. В рамках экспериментального исследования планируется сравнить различные алгоритмы классификации, а также их ансамбли. Шаги 1 -4 позволяют сократить размерность признакового пространства входных данных, что уменьшает сложность алгоритма классификации и является средством борьбы с переобучением. На шаге 5 алгоритм нахождения выбросов позволяет исключить их из обучающего набора, что также положительно влияет на переобучение. Все вышеупомянутые подходы призваны решить проблему небольшого обучающего набора данных.
Использование кросс-валидации на этапах 6-7 позволяет выполнить достаточно надежный поиск лучших значений гиперпараметров данных моделей, что обеспечивает снижение переобучения.
Также задания, привязываемые к теоретическим блокам курса, можно классифицировать по уровням освоения знаний, предложенным
В.П. Беспалько: узнавание, воспроизведение и применение [24]. Так как при формулировке заданий различного уровня используется общая лексика, поэтому будет составлен общий языковой размеченный корпус заданий с указанными вручную уровнями. На нем будет обучен классификатор, который аналогичен алгоритму классификации материалов учебного курса по тематических блоком, главное отличие в том, что вместо тематических блоков, привязанных к конкретному курсу, используются блоки, а словарь строится по общему корпусу.
Для оценки сложности (трудоемкости) учебного элемента будем использовать его образовательный контент - только текст и изображения картинки. Оценкой будет являться вещественной неотрицательное число Ле[0,+<х) поэтому мы рассматриваем задачу регрессии, которую будем решать отдельно для каждого типа элементов учебного курса, что позволит повысить точность работы алгоритмов и учесть специфику каждого типа элементов.
Для элемента E строится вектор признаков Vector, отражающих его сложность. Точный набор признаков в сочетании с алгоритмом регрессии будет определен для каждого вида элементов курса в ходе экспериментальных исследований с помощью кросс-валидации. Возможные признаки, которые могут быть включены в вектор Vector:
а) векторизованное представление текстового содержимого элемента после нормализации, лемматизации и фильтрации стоп-слов - BoW (Bag of Words, мешок слов) или TF-IDF с использованием словаря Vocabulary, построенного по корпусу текстов предметной области, а также Word2Vec (дистрибутивное векторное представление слов), GloVe (Global Vectors, глобальные векторы). Другим возможным вариантом является использование BERT-представления (Bidirectional Encoder Representations from Transformers, двунаправленная нейронная сеть кодировщик);
б) доля специфичных терминов, среднее/ медианное количество слогов в терминах;
в) среднее/медианное количество слогов в словах;
г) количество изображений, распознанный (с помощью внешних инструментов) текст с изображений и K наиболее вероятных объек-
тов (их текстовые названия) с переводом этого текста согласно а).
В качестве функции потерь будет использоваться метрика средней квадратичной ошибки (MSE, Mean Squared Error).
В рамках экспериментального исследования планируется сравнить различные алгоритмы регрессии, а также их ансамбли
Обучение алгоритма происходит независимо от авторов учебных курсов на подготовленном корпусе текстов предметной области. Для экспериментальных исследований планируется построить свой корпус текстов на основе открытых источников по информатике, в частности, можно взять Wiki-конспекты университета ИТМО [25], а также учебные курсы, разработанные в системе дистанционного обучения ОГУ moodle.osu.ru [26].
Значимость элементов учебных курсов определяется их вкладом в общую оценку слушателя курса. В качестве первичных оценок значимости элементов курса можно использовать их сложность, или автор курса задает ее вручную. По результатам прохождения курса слушателями накапливается статистика, которая может быть использована для более точной оценки сложности и значимости элементов.
Для формализации взаимозависимостей между элементами учебного курса используется модель в виде ориентированного дерева, разработанная в работах А.В. Солового [27]. При формировании содержания учебного курса, так же как в нашей модели, учебный материал разбивается на учебные элементы Ek&Er^A..
Граф содержания курса G определяется следующим образом: G=(Vertices, Arcs), где множество вершин графа Vertices есть множество учебных элементов, а множество дуг графа Arcs - связи, определяющие порядок изучения элементов (отношения очередности).
С каждым учебным элементом может быть связан вектор показателей, характеризующих его сложность, трудоемкость, требования к уровню освоения компетенций до обучения (стартовый уровень) и уровень освоения компетенций после обучения (конечный уровень).
С точки зрения графа содержания учебные элементы связываются дугой (p,q), обозначающей отношение очередности («изучается прежде») в том случае, когда требования к старто-
вому уровню освоения компетенций для одного учебного элемента Eq включают требования, формируемые на финишном уровне другого учебного элемента Ер. В этом случае учебный элемент Eq, должен изучаться после учебного элемента Ер.
На основе графа содержания в LMS может быть построена траектория изучения элементов курса на основе топологической сортировки ориентированного ациклического графа, которую можно выполнить либо с помощью поиска в глубину, либо с помощью очереди истоков.
Также граф содержания позволяет при формировании индивидуальной траектории освоения учебных элементов курса проверять очередность изучения, предотвращая проблемы при использовании в образовательном контенте понятий и методов, которые ранее не изучались.
Кроме того, граф содержания позволяет определять зависимые от данного учебные элементы, что дает возможность переноса учебного элемента вместе с зависимыми элементами из одного электронного курса в другой.
Ручное построение графа содержания курса представляет трудоемкую задачу, поскольку в общем случае количество зависимостей растет как квадрат от числа учебных элементов.
Мы предлагаем полуавтоматизированное выявление зависимостей учебных элементов на основе анализа текстов, привязанных к учебным элементам.
Для этого для каждого учебного элемента Ер предлагается выявление ключевых терминов, которые определяются в рамках этого элемента Termsp.
Тогда дуга (р^) будет соединять элементы Ер и Eq в том случае, когда имеется термин (е Termsp, который используется в текстах учебного элемента Eq.
Ключевые термины могут формироваться автором курса вручную, в случае если у него имеется подготовленный глоссарий или выбираться автоматически.
В работе [28] предложена методика извлечения терминов из русскоязычных текстов на основе шаблонов. Авторами были созданы три набора правил. Первый набор включал 12 правил и определял возможную грамматическую структуру термина как словосочетания, включающего определенные части речи и их грам-
матические характеристики. Следующий набор включал 53 правила, представляющие фразы-определения терминов, встречающиеся в научных и учебных текстах. Третий набор правил дает возможность определить сокращения или синонимы для учебных и научных текстов.
Разработанные наборы правил формируют три множества слов-кандидатов для каждого блока текста. Первый набор правил формирует полное множество возможных терминов, среди которых реальные определения составляют не более 10%. Затем отбираются термины за счет правил второго и третьего набора, точность выбора достигает 90%.
Далее отбор терминов осуществляется с помощью списка стоп-слов, которые не могут быть терминами, что позволяет отбросить общеупотребительные выражения. В список терминов обязательно входят слова из заголовков разделов документов, также учитывается частота появления термина в тексте, наличие общих родовых слов с терминами, уже выделенными алгоритмом. Предложенный метод демонстрирует достаточно высокую точность выделения определяемых терминов- более 70%, что позволяет достаточно грамотно построить граф содержания учебных элементов.
Альтернативный способ извлечения терминов предполагает использование языковых моделей [29-30] и дообучения на размеченном корпусе учебных текстов. Применение такого подхода при наличии большого обучающего набора может дать более высокую точность, однако требует экспериментального исследования, которое будет проведено в дальнейших исследованиях.
Проект интеллектуальной платформы создания и сопровождения учебных курсов
Основные роли пользователей интеллектуальной платформы и их основные функции формализованы с помощью диаграммы вариантов использования (см. рисунок 5).
Все пользователи платформы могут быть сгруппированы по следующим ролям:
а) Учащийся - это школьник, студент или преподаватель, повышающий свою квалификацию. Он может выбирать и проходить электронные учебные курсы с целью изучения
Рисунок 5 - Основные роли пользователей и их основные функции.
лекционного материала и выполнения практических заданий. На основании прохождения электронных учебных курсов учащимися собирается статистика.
б) Учитель/Автор курса - это преподаватель, который может выполнять следующие функции:
Загружать учебные материалы - загружать текстовые теоретические блоки, загружать практические задачи, загружать видеолекции и загружать промежуточные и итоговые тесты для оценки знаний учащихся;
2. Создавать электронный учебный курс -загружать описание учебного курса, задавать список тем и разделов курса, задавать порядок изучения тем и разделов курса, формировать глоссарий основных элементов учебного курса, задавать сложность и значимость элементов курса, а также формировать структурно-содержательную модель. В рамках этой модели с помощью методов машинного обучения возможна автоматизация следующих задач: структурирование материалов электронного учебного курса, иерархическая классификация материалов учебного курса по тематическим блокам, первичное ранжирование элементов учебного курса по сложности и значимости, первичное определение зависимостей между блоками и элементами учебного курса. При необходимости автор курса имеет возможность скорректировать параметры структурно-содержательной модели и внести требуемые ему изменения вручную;
3. Загружать курс на Web-портал интеллектуальной платформы создания и сопровождения учебных курсов;
4. Просматривать статистику прохождения электронных учебных курсов учащимися;
5. Получать рекомендации по каждому электронному учебному курсу.
На рисунке 6 изображена диаграмма деятельности, описывающая обобщенный алгоритм работы автора электронного учебного курса. На первом этапе необходимо загрузить имеющиеся учебные материалы, создать электронный учебный курс, частично или полностью заполнив темы, разделы, взаимосвязи между блоками и оценив сложность и значимость элементов курса. Если курс уже создан, внести изменения в соответствии с рекомендациями.
Рисунок 6 - Диаграмма деятельности автора электронного курса
При прохождении курса учащимися необходимо просматривать статистику и получать рекомендации по внесению изменений в основные элементы курса. Возможно, при этом потребуется загрузить новые материалы для имеющегося учебного курса.
Разрабатываемые компоненты будут реализованы как модули в LMS Moodle.
Заключение
На основе анализа подходов к разработке электронных учебных курсов разработаны структурно-содержательная модель электронного учебного курса и модель данных, собираемых в процессе электронного обучения.
Разработаны интеллектуальные методы создания электронных учебных курсов: алгоритм структурирования материалов электронного учебного курса, алгоритм иерархической классификации материалов учебного курса по тематическим блокам, алгоритм первичного ранжирования элементов учебного курса по сложности и значимости, алгоритм первичного определения зависимостей между блоками и элементами учебного курса.
Разработан проект прототипа интеллектуальной платформы создания и сопровождения учебных курсов как модуля в системе управления обучением Moodle, его логическая и физическая архитектура.
Применение интеллектуальных платформ для создания и сопровождения электронных учебных курсов позволит значительно повысить эффективность труда разработчиков курсов, многократно расширить выбор курсов в региональной цифровой образовательной среде, что положительно скажется на качестве обучения.
Другая область применения разработок в Оренбургской области - система общего образования.
В соответствии с отчетом Министерства образования Оренбургской области за 2018 г. 492 образовательные организации использовали дистанционные формы обучения. Это около 50% от общего числа организаций, однако среди средних школ, лицеев и гимназий процент гораздо выше.
Однако до сих пор в области нет единой платформы для размещения электронных учебных курсов. Такая платформа может быть создана при поддержке Министерства образования на основе методического портала 56bit.ru. На портале уже имеется система авторизации авторов курсов, возможно создание раздела, работающего под управлением LMS Moodle с последующим внедрением модулей интеллектуальной платформы разработки и сопровождения учебных курсов, а также разработанной в рамках другого проекта платформы проведения видеоконференций.
18.06.2019
Исследование выполнено при поддержке Российского фонда фундаментальных исследований и Правительства Оренбургской области в рамках проектов 19-47560011, 18-37-00400, 18-07-01446 и гранта Оренбургской области 2019 г. № 32.
Список литературы:
1. Об утверждении государственной программы Российской Федерации «Развитие образования» на 2013-2020 годы [Постановление Правительства РФ от 15 апреля 2014 г. № 295] [Электронный ресурс]. - Режим доступа: http://static.government.ru/ media/files/0kPx2UXxuWQ.pdf (дата обращения: 12.01.2019).
2. Указ Президента Российской Федерации от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» [Электронный ресурс]. - Режим доступа: https://www.garant.ru/products/ipo/ рптеМос/71837200/ (дата обращения: 15.11.2018).
3. Об утверждении программы «Цифровая экономика Российской Федерации» на 2013-2020 годы [Распоряжение Правительства РФ от 28 июля 2017 г. № 1632-р] [Электронный ресурс]. - Режим доступа: http://static.government.ru/media/files/9gFM4FHj4 PsB79I5v7yLVuPgu4bvR7M0.pdf (дата обращения: 12.01.2019).
4. Нурмухамедов, Г.М. Проблемы создания и внедрения электронных учебников / Г.М. Нурмухамедов // Стандарты и мониторинг в образовании. - 2018. - Т. 6. - №6. - С. 44-46.
5. Семенов, Т. Успешность прохождения MOOCs: от чего она зависит? [Электронный ресурс] / Т. Семенов. - Режим доступа: https://iq.hse.ru/news/177665122.html (дата обращения: 12.04.2019).
6. Ермолаева, И.С. Современные платформы электронного обучения: взаимовлияние, конкуренция, особенности коммуници-рования [Электронный ресурс] / И.С. Ермолаева. - Режим доступа: https://kpfu.ru/docs/F235997197/platforms_ed3.pdf (дата обращения: 15.05.2019).
7. Краснова, Г.А. Электронное образование в мире и России: состояние, тенденции и перспективы / Г.А. Краснова, А. Нухулы, В.А. Тесленко // Вестник РУДН. Серия: Информатизация образования. - 2017. - №3. - С. 371-377.
8. Мартюшова, Я.Г. Теоретические основания конструирования электронных учебников для студентов технических университетов / Я.Г. Мартюшова // Отечественная и зарубежная педагогика. - 2018. - Т. 1. - №5(54). - С. 151-165.
9. Храмцова, Е.О. Интеллектуальные обучающие системы / Е.О. Храмцова, П.В. Бочкарев // Теория. Практика. Инновации. -2017. - №12. - С. 56-62.
10. Иванова, Е.О. Дидактические требования к информационно-образовательной среде и ее компонентам / Е.О. Иванова, И.М. Осмоловская // Ярославский педагогический вестник. - 2015. - №5. - С. 19-24.
11. Алещенко, А.С. Системы дистанционного обучения и их развитие с использованием когнитивных механизмов / А.С. Але-щенко, В.М. Трембач, Т.Г. Трембач // Открытое образование. - 2018. - Т. 22. - №5. - С. 52-64.
12. Околелов, О.П. Инновационная педагогика. [Электронный ресурс] / О.П. Околелов. - Инфра-М. 2017. - 167 с. Режим доступа: https://studref.com/323079/pedagogika/voprosy_samokontrolya.
13. Competency-based Learning Object Sequencing using Particle Swarms / L. de-Marcos, C. Pages, J.J. Martinez, J.A. Gutierrez // 19th IEEE International Conference on Tools with Artificial Intelligence (ICTAI 2007), IEEE, October 29-31, 2007. - Patras, Greece, 2007. - P. 77-92.
14. Kahaei, A. Design of Personalization of Massive Open Online Courses [Электронный ресурс] / A. Kahaei // Master's Thesis, Lappeenranta University of Technology. - 2014. - 87 p. Режим доступа: http://lutpub.lut.fi/handle/10024/102336.
15. Stuikys, V. The LO Sequencing Problem and Its Solution Using Meta-Programming-Based Approach / V. Stuikys, R. Burbaite, K. Bespalova // 21st International Conference on Information and Software Technologies (ICIST 2015), October 15-16, 2015. -Druskininkai, Lithuania, 2015. - P. 151-164.
16. iMOOC Platform: Adaptive MOOCs / M.L. Sein-Echaluce, A. Fidalgo-Blanco, F.J. Garcia-Penalvo, M.A. Conde-Gonzalez // Learning and Collaboration Technologies. Third International Conference (LCT 2016), Held as Part of HCI International, July 17-22, 2016. - Toronto, ON, Canadaб 2016. - P. 380-390.
17. Shukhman, A.E. Work in progress: Approach to modeling and optimizing the content of IT education programs / A.E. Shukhman, I.D. Belonovskaya // Global Engineering Education Conference (EDUCON). - 2015. - P. 865-867. DOI: 10.1109/ EDUCON.2015.70960741.
18. Shukhman, A.E. Individual learning path modeling on the basis of generalized competencies system / A.E. Shukhman, M.V. Motyleva, I.D. Belonovskaya // Proceedings of the IEEE Global Engineering Education Conference (EDUCON), 13-15 March 2013. - Berlin, 2013. - P. 1023-1026. DOI: 10.1109/EduCon.2013.6530233.
19. Шухман, А.Е. Подходы к моделированию, проектированию и реализации образовательных программ непрерывной подготовки ИТ-специалистов / А.Е. Шухман // Современные проблемы науки и образования. - 2015. - №3. - С. 522.
20. Прилепина, А.В. Методика разработки образовательных программ подготовки специалистов для отрасли информационных технологий / А.В. Прилепина, Э.Ф. Морковина, А.Е. Шухман // Вестник Оренбургского государственного университета. -2016. - №1(189). - С. 41-46.
21. Sathya, R. A Survey On: A Comparative Study of Techniques in Text Mining / R. Sathya // International Journal of Electrical Electronics & Computer Science Engineering Special Issue. - 2018. - P. 45-48.
22. Santos, C.L. Improving international attractiveness of higher education institutions based on text mining and sentiment analysis / C.L. Santos, P. Rita, J. Guerreiro // International Journal of Educational Management. - 2018. - V. 32. - №3. - P. 431-447.
23. A Text Mining Methodology to Discover Syllabi Similarities among Higher Education Institutions / G. Orellana et al.// 2018 International Conference on Information Systems and Computer Science (INCISCOS). - IEEE, 2018. - P. 261-268.
24. Беспалько, В.П. Б 53 Слагаемые педагогической технологии / В.П. Беспалько. - М.: Педагогика, 1989. - 192 с.
25. Викиконспекты. Заглавная страница [Электронный ресурс]. - ИТМО, 2019. Режим доступа: http://neerc.ifmo.ru/wiki/index. php.
26. Курсы для дистанционного обучения Moodle [Электронный ресурс]. - ОГУ 2019. Режим доступа: http://neerc.ifmo.ru/wiki/ index.php
27. Соловов, А.В. Математические модели содержания и процессов электронного обучения / А.В. Соловов // Телекоммуникации и информатизация образования. - 2006. - №4. - С. 20-37.
28. Большакова, Е.И. Выделение терминов и их связей для предметного указателя научного текста / Е.И. Большакова, К.М. Иванов // Шестнадцатая Национальная конференция по искусственному интеллекту с международным участием КИИ-2018 (24-27 сентября 2018 г., г. Москва, Россия). Труды конференции. В 2-х томах. - М.: РКП, 2018. - Т 1. - С. 253-261.
29. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding / J. Devlin et al. // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). - 2019. - P. 4171-4186.
30. Transfer Learning in Natural Language Processing / S. Ruder et al.// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Tutorials. - 2019. - P. 15-18.
References:
1. Ob utverzhdenii gosudarstvennojprogrammyRossijskojFederacii «Razvitie obrazovaniya» na 2013-2020gody [PostanovleniePravitel'stvaRF ot 15 aprelya 2014 g. № 295] [On approval of the state program of the Russian Federation "Development of education" for 2013-2020 [Decree of the Government of the Russian Federation of April 15, 2014 No. 295]]. Available at: http://static.government.ru/media/files/0kPx2UXxuWQ. pdf (Accessed: 12.01.2019).
2. Ukaz Prezidenta Rossijskoj Federacii ot 7 maya 2018 g. № 204 «O nacional'nyh celyah i strategicheskih zadachah razvitiya Rossijskoj Federacii na period do 2024 goda» [Decree of the President of the Russian Federation of May 7, 2018 No. 204 "On national goals and strategic objectives of the development of the Russian Federation for the period until 2024"]. Available at: https://www.garant.ru/products/ ipo/prime/doc/71837200/ (Accessed: 15.11.2018).
3. Ob utverzhdenii programmy «Cifrovaya ekonomika Rossijskoj Federacii» na 2013-2020 gody [Rasporyazhenie Pravitel'stva RF ot 28 iyulya 2017 g. № 1632-r] [On approval of the program "Digital Economy of the Russian Federation" for 2013-2020 [Order of the Government of the Russian Federation of July 28, 2017 No. 1632-p]]. Available at: http://static.government.ru/media/files/9gFM4FHj4PsB79I5v7yLVuPgu 4bvR7M0.pdf (Accessed: 12.01.2019).
4. Nurmuhamedov G.M. Problems of creation and implementation of electronic textbooks. Standarty i monitoring v obrazovanii [Standards and monitoring in education], 2018, vol. 6, no. 6, pp. 44-46.
5. Semenov T. Uspeshnost'prohozhdeniyaMOOCs: ot chego ona zavisit? [Success in completing MOOCs: what does it depend on?]. Available at: https://iq.hse.ru/news/177665122.html (Accessed: 12.04.2019).
6. Ermolaeva I.S. Sovremennyeplatformy elektronnogo obucheniya: vzaimovliyanie, konkurenciya, osobennosti kommunicirovaniya [Modern
e-learning platforms: mutual influence, competition, features of communication]. Available at: https://kpfu.ru/docs/F235997197/platforms_ed3. pdf (Accessed: 15.05.2019).
7. Krasnova G.A., Nuhuly A., Teslenko V.A. E-education in the world and in Russia: state, trends and prospects. Vestnik RUDN. Seriya: Informatizaciya obrazovaniya [Vestnik RUDN. Series: Informatization of Education], 2017, no. 3, pp. 371-377.
8. Martyushova YA.G. The theoretical basis for the design of electronic textbooks for students of technical universities. Otechestvennaya i zarubezhnayapedagogika [Domestic and foreign pedagogy], 2018, vol. 1, no. 5(54), pp. 151-165.
9. Hramcova E.O., Bochkarev P.V. Intelligent Learning Systems. Teoriya. Praktika. Innovacii [Theory. Practice. Innovation], 2017, no. 12, pp. 56-62.
10. Ivanova E.O., Osmolovskaya I.M. Didactic requirements for the educational information environment and its components. YAroslavskij pedagogicheskij vestnik [Yaroslavl Pedagogical Bulletin], 2015, no. 5, pp. 19-24.
11. Aleshchenko A.S., Trembach V.M., Trembach T.G. Distance learning systems and their development using cognitive mechanisms. Otkrytoe obrazovanie [Open Education], 2018, vol. 22, no. 5, pp. 52-64.
12. Okolelov O.P. Innovacionnayapedagogika [Innovative pedagogy]. Infra-M. 2017, 167 p. Available at: https://studref.com/323079/pedagogika/ voprosy_samokontrolya.
13. de-Marcos L., Pages C., Martinez J.J., Gutierrez J.A. Competency-based Learning Object Sequencing using Particle Swarms. 19th IEEE International Conference on Tools with Artificial Intelligence (ICTAI2007), IEEE, October 29-31, 2007. Patras, Greece, 2007, pp. 77-92.
14. Kahaei A. Design of Personalization of Massive Open Online Courses. Master's Thesis, Lappeenranta University of Technology [Master's Thesis, Lappeenranta University of Technology], 2014, 87 p. Available at: http://lutpub.lut.fi/handle/10024/102336.
15. Stuikys V., Burbaite R., Bespalova K. The LO Sequencing Problem and Its Solution Using Meta-Programming-Based Approach. 21st International Conference on Information and Software Technologies (ICIST 2015), October 15-16, 2015. Druskininkai, Lithuania, 2015, pp. 151-164.
16. Sein-Echaluce M.L., Fidalgo-Blanco A., Garcia-Penalvo F.J., Conde-Gonzalez M.A. iMOOC Platform: Adaptive MOOCs. Learning and Collaboration Technologies. Third International Conference (LCT 2016), Held as Part of HCI International, July 17-22, 2016. Toronto, ON, Canadab 2016, pp. 380-390.
17. Shukhman A.E., Belonovskaya I.D. Work in progress: Approach to modeling and optimizing the content of IT education programs. Global Engineering Education Conference (EDUCON), 2015, pp. 865-867. DOI: 10.1109/EDUCON.2015.70960741.
18. Shukhman A.E., Motyleva M.V., Belonovskaya I.D. Individual learning path modeling on the basis of generalized competencies system.
Proceedings of the IEEE Global Engineering Education Conference (EDUCON), 13-15 March 2013. Berlin, 2013, pp. 1023-1026. DOI: 10.1109/EduCon.2013.6530233.
19. SHuhman A.E. Approaches to modeling, designing and implementing educational programs for the continuous training of IT specialists. Sovremennye problemy nauki i obrazovaniya [Modern problems of science and education], 2015, no. 3, p. 522.
20. Prilepina A.V., Morkovina E.F., SHuhman A.E. Methodology for the development of educational programs for training specialists for the information technology industry. Vestnik Orenburgskogo gosudarstvennogo universiteta, 2016, no. 1(189), pp. 41-46.
21. Sathya R. A Survey On: A Comparative Study of Techniques in Text Mining. International Journal of Electrical Electronics & Computer Science Engineering Special Issue, 2018, pp. 45-48.
22. Santos C.L., Rita P., Guerreiro J. Improving international attractiveness of higher education institutions based on text mining and sentiment analysis. International Journal of Educational Management, 2018, vol. 32, no. 3, pp. 431-447.
23. Orellana G. et al. A Text Mining Methodology to Discover Syllabi Similarities among Higher Education Institutions. 2018 International Conference on Information Systems and Computer Science (INCISCOS). IEEE, 2018, pp. 261-268.
24. Bespal'ko V.P. B 53 Slagaemyepedagogicheskoj tekhnologii [B 53 Components of educational technology]. M.: Pedagogika, 1989, 192 p.
25. Vikikonspekty. Zaglavnaya stranica [Wikimedia Commons. Title page]. ITMO, 2019. Available at: http://neerc.ifmo.ru/wiki/index.php.
26. Kursy dlya distancionnogo obucheniyaMoodle [Courses for distance learning Moodle]. OGU, 2019. Available at: http://neerc.ifmo.ru/wiki/ index.php.
27. Solovov A.V. Mathematical models of the content and processes of e-learning. Telekommunikacii i informatizaciya obrazovaniya [Telecommunications and informatization of education], 2006, no. 4, pp. 20-37.
28. Bol'shakova E.I., Ivanov K.M. Isolation of terms and their relationships for the subject index of a scientific text. SHestnadcataya Nacional'naya konferenciya po iskusstvennomu intellektu s mezhdunarodnym uchastiem KII-2018 (24—27 sentyabrya 2018 g., g. Moskva, Rossiya). Trudy konferencii. V2-h tomah [Sixteenth National Conference on Artificial Intelligence with international participation KII-2018 (September 24-27, 2018, Moscow, Russia). Conference proceedings. In 2 volumes]. M.: RKP, 2018, vol. 1. pp. 253-261.
29. Devlin J. et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019, pp. 4171-4186.
30. Ruder S. et al. Transfer Learning in Natural Language Processing. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Tutorials, 2019, pp. 15-18.
Сведения об авторах:
Шухман Александр Евгеньевич, заведующий кафедрой геометрии и компьютерных наук Оренбургского государственного университета, кандидат педагогических наук, доцент E-mail: shukhman@gmail.com Белоновская Изабелла Давидовна, профессор кафедры технологии машиностроения, металлообрабатывающих станков и комплексов Оренбургского государственного университета, доктор
педагогических наук, профессор Запорожко Вероника Вячеславовна, доцент кафедры информатики Оренбургского государственного
университета, кандидат педагогических наук
Полежаев Пётр Николаевич, старший преподаватель кафедры компьютерной безопасности и математического обеспечения информационных систем Оренбургского государственного университета Ушаков Юрий Александрович, доцент кафедры геометрии и компьютерных наук Оренбургского государственного университета, кандидат технических наук, доцент 460018, г Оренбург, пр-т Победы, 13
