CC BY
90
УДК 004.422 DOI 10.25559/SITITO.2017.4.483
Зорина Н.В., Панченко В.М.
Московский технологический университет (МИРЭА), г. Москва, Россия
ЭКСПЕРИМЕНТАЛЬНЫЙ ПРОГРАММНЫЙ КОМПЛЕКС ДЛЯ МОДЕЛИРОВАНИЯ И ИНТЕРПРЕТАЦИИ ПРОЦЕССОВ АНАЛИЗА ОБРАЗОВАТЕЛЬНЫХ ДАННЫХ
Аннотация
В статье рассматриваются проблемы, задачи и процесс анализа образовательных данных. Ставится задача создания принципиально новой информационной системы ВУЗа с использованием результатов анализа образовательных данных. Одна из функций подобной системы это извлечение знаний из накопленных в процессе эксплуатации данных. Создание отечественной системы подобного типа итеративный и трудоемкий процесс, требующий проведения предварительных исследований и поэтапного прототипирования модулей. Новизна состоит в том, что методология разработки таких систем в настоящее время отсутствует, поэтому был проведен ряд экспериментов, для того чтобы собрать данные, выбрать подходящие методы исследования собранных данных, и затем их интерпретировать. В результате проведенного эксперимента, авторами были определены источники образовательных данных, доступные для анализа в информационной среде отечественного ВУЗа. За основу были взяты данные семестровой успеваемости, полученные из информационной системы учебного отдела Института ИТ МТУ МИРЭА, данные, полученные в результате выполнения самостоятельной работы студентов и данные полученные с помощью специально разработанных Google-forms. Для автоматизированного сбора обработки и анализа образовательных данных был создан экспериментальный программный комплекс. В качестве методологии для разработки экспериментального программного комплекса было принято решение использовать методологию рационально-эмпирических комплексов (РЭКС) и технологию программ единичных экспериментов (ТПЕЭ). Подробно описываются элементы программной реализации данного комплекса, даются выводы о доступности использованных источников данных, и делаются выводы о перспективах дальнейшей разработки.
Ключевые слова
Извлечение знаний; извлечение знаний из образовательных данных; учебная аналитика; обработка данных; регрессионный анализ; рациональные и эмпирические комплексы; технологии программ единичных экспериментов; системный подход; компьютерные средства обучения.
Zorina Natalya, Panchenko Victor
Moscow Technological University (MIREA), Moscow, Russia
EXPERIMENTAL SOFTWARE FOR MODELING AND INTERPRETING EDUCATIONAL DATA
ANALYSIS PROCESSES
Abstract
Problems, tasks and processes of educational data mining are considered in this article. The objective is to create a fundamentally new information system of the University using the results educational data analysis. One of the functions of such a system is knowledge extraction from accumulated in the operation process data. The creation of the national system of this type is an iterative and time-consuming process requiring the preliminary studies and incremental prototyping modules. The novelty of such systems is that there is a lack of those using this methodology of the development, for this purpose a number of experiments was carried out in order to collect data, choose appropriate methods for the study and to interpret them. As a result of the experiment, the authors were available sources available for analysis in the information environment of the home university. The data were taken from the semester performance, obtained from the information system of the training
department of the Institute of IT MTU MIREA, the data obtained as a result of the independent work of students and data, using specially designed Google-forms. To automate the collection of information and analysis of educational data, an experimental software package was created. As a methodology for developing the experimental software complex, a decision was made using the methodologies of rational-empirical complexes (REX) and single-experimentation program technologies (TPEI). The details of the program implementation of the complex are described in detail, conclusions are given about the availability of the data sources used, and conclusions are drawn about the prospects for further development.
Keywords
Data Mining (DM); Educational Data Mining (EDM); Learning Analytics (LA); processing data; statistical analysis; rational and empirical complexes; single experiments programs; system theory; education software.
Введение
Сбор, анализ, интерпретация и использование данных, накапливающихся в процессе учебно-образовательной деятельности, является достаточно сложным и трудоемким процессом. Существующие в настоящее время научные направления, связанные с анализом образовательных данных, такие как интеллектуальный анализ образовательных данных Educational Data Mining (EDM) и учебная аналитика - Learning Analytics (LA) являются относительно новыми направлениями и требуют создания методологии и соответствующего инструментария. Результаты анализа образовательных данных ВУЗа позволят:
• осуществлять поиск скрытых закономерностей и взаимозависимостей, дающих более чёткое понимание того, как именно студент усваивает знания и приобретает умения и навыки;
• уменьшить "отсев" студентов на младших курсах за счет предсказания неудовлетворительной успеваемости;
• улучшить учебный процесс методом поддержки принятия рациональных решений;
• определить наиболее целесообразную образовательную траекторию для каждого студента;
• автоматически производить генерацию рекомендаций для преподавателей и студентов для изменения учебного процесса.
Создание Информационной Системы (ИС), соответствующей решению
вышеперечисленных задач для современного отечественного ВУЗа - итеративный процесс и требует поэтапного проведения
экспериментальных исследований в этой области. Необходимо также отметить, что несмотря на чрезвычайную популярность Data Mining (Извлечение данных - в пер. с англ. яз.) в финансовой сфере и сфере здравоохранения,
анализ данных в сфере образования находится в зачаточном состоянии. Направление анализа образовательных данных существует примерно с 2009 года, научные работы в этой сфере сфокусированы, в основном, в странах северной и западной Европы, а также Новой Зеландии [1,2,3,4,5].
В России это направление только начало развиваться и соответственно работ по этой теме очень мало, что только подчеркивает актуальность выбранной темы исследования. В качестве отечественных флагманских работ в этой области можно назвать работы группы исследователей научной школы В.С. Абрукова [6] Чувашского государственного университета, хотя нужно отметить, что их научные интересы лежат преимущественно в применении методов Data Mining в социологии. Приобрели известность работы исследователей из Санкт-Петербургского государственного
политехнического университета под руководством О.Ю. Сабинина, они посвящены решению задач извлечения знаний образовательного процесса [7, 8, 9].
Фактически задача анализа образовательных данных является актуальной для всех образовательных учреждений Российской Федерации. В связи с этим возникает ряд вопросов. Например, где взять данные для анализа, как определить источники данных, какие именно данные нужны, какие методы использовать для анализа, как
интерпретировать результаты, как представить визуализацию данных? Работы зарубежных исследователей в большинстве своем посвящены анализу артефактов
образовательной деятельности учащихся открытых онлайн-курсов (Massive online course МООС: Coursera, Udemy и т.п.) с применением специальных платформ Knewton, позволяющим использовать специальные средства аналитики (Amazon Web Services). Это связано с тем, что при
таком способе предоставления образовательных услуг накапливаются так называемые "большие данные", которые представляют интерес для извлечения знаний из них. Это одна сторона вопроса. Инвестиции за 2016 год только для Knewton составили 52,25 миллионов долларов. Для отечественных образовательных учреждений как коммерческих, так и бюджетных решение использовать готовую платформу является несостоятельным из-за отсутствия необходимым ресурсов, в том числе по финансовым соображениям. Конечно, ряд университетов используют систему
дистанционного обучения с Learning Management System (LMS), которая накапливает данные об обучении, но если брать классические отечественные университеты, то данные об образовательной деятельности хранятся в информационной системе университета и являются слабо формализованными и непригодными для машинной обработки.
Цели и задачи. В этой связи необходимо определить источники образовательных данных, разработать подход к обработке, анализу и интерпретации образовательных данных для отечественного ВУЗа в условиях недостатка финансирования и отсутствия развитой ИТ-инфраструктуры, разработать программную систему для автоматизированного сбора, обработки, анализа и интерпретации данных.
Извлечение знаний из образовательных данных
Процесс интеллектуального анализа образовательных данных является
итеративным процессом обнаружения знаний, который состоит из формулировки, тестирования и уточнения гипотезы обнаружения знаний [10]. Работа с данными может происходить в различных информационных и образовательных средах, в результате чего создается большой объем разнородных данных.
Основной процесс EDM начинается с проверки данных (т.е. обнаружения связи между переменными/параметрами / элементами данных - нахождения зависимых переменных). Это этап получил название предварительной обработки или очистки данных. После этапа предварительной обработки будут
использоваться уже отфильтрованные данные, а после применения различных инструментов и методов Data Mining (DM), окончательные результаты/ их интерпретации будут предоставлены различным потребителям и/или пользователям в образовании. И только на последнем этапе решается, как использовать и применять открытые знания. Дальнейшие
рекомендации будут предложены для уточнения проблем/задач. Процесс анализа
образовательных данных изображен на рис.1.
Рис. 1. Схема процесса анализа EDM
Первый этап решения задачи связан со сбором данных. При проведении исследований было решено использовать априорные и апостериорные данные по учебной деятельности. На этом этапе необходимо определить источники данных, что само по себе является уже сложной задачей, и затем осуществить отбор данных. В качестве источников данных могут быть использованы данные, полученные из системы дистанционного обучения или открытые данные слушателей онлайн-курсов. Именно на этапе подготовки данных решается вопрос о том, какие данные будут использоваться в качестве входных данных для методов анализа данных и определяется последовательность шагов по их вводу. Этот этап влечет за собой другие, на которых отбираются образцы, производится корреляция и важные тесты, а также очистка данных. Исследователь, который производит интеллектуальный анализ данных, использует различные методы анализа данных, чтобы извлечь знания из предварительно обработанных данных. Сложность определения источников данных заключается в том, что для исследователя в настоящий момент недоступны большие данные. Обычно данные об образовательной деятельности учащихся хранятся в информационной системе ВУЗа. А контент, связанный с организацией и результатами самостоятельной работы студентов (СРС), никак не учитывается в общем контексте, и зависит, пожалуй, только от субъективной оценки преподавателя.
Источники образовательных данных
В настоящее время в каждом отечественном ВУЗе, в том или ином виде, используются информационные технологии для хранения и обработки данных о результатах учебной деятельности для каждого учебно-научного структурного подразделения. В качестве источника наиболее доступного источника
образовательных данных для анализа можно назвать информационную систему (ИС) ВУЗа.
Исследование проводилось на базе кафедры Инструментального и прикладного
программного обеспечения учебно-научного структурного подразделения Института ИТ МТУ МИРЭА. В качестве данных были использованы данные, извлеченные из ИС учебного отдела Института ИТ. В МТУ МИРЭА внедрено и используется решение по комплексной автоматизации учебного процесса
екатеринбургской компании Тандем. «ТАНДЕМ -Университет» позиционирует свое решение как единую информационную систему управления учебным процессом. В качестве информационной системы в учебных отделах
внедрен модуль ТАНДЕМ "Студенты". В модуле есть средства генерации отчетов по составлению запросов к базе данных (БД) с помощью фильтров, но отсутствуют какие-либо возможности аналитики образовательных данных и тем более интеллектуального анализа. Хотя в МТУ МИРЭА осуществляется обучение по заочной, очно-заочной и дистанционной форме обучения, но в ходе исследования изначально было принято ограничение на использование результатов образовательной деятельности учащихся только очного отделения. Таким образом, в качестве одного из источников данных о результатах образовательной деятельности студентов был выбран модуль "Студенты" ИС «Тандем Университет».
Группа студен-ое: ИКБО-СМЗ '■ курсСЭ.ОЗ.М Программная инженерия (Ин-егигектуапьные программные а
ы и иомплексыЦИТС. А6. Бшалаар. ВО ФГОС 20131
Итоговые оценки сгудсмтоо за 2015/2016, погний сомостр
№ ФИО Личный Вид ооэмощ затрат Дисциплины Практики Направл онность Ne ФИО
Зачет Kypcooa я работа Курсово й проект Экзамен Зачот диффсрснцирооа нный
! I h h ! ll : if I hs li* i i II I I 1 1 } в X £ 1 1 1) I 1 I в 5 ж 1 ii ll ! ill iii! L III
1 A*'aC.A. 13И0206 бюджет 3 3 3 3 3 3 X X X X О О О О ипск 1 А"в С.А.
2 А"*н К.В. 13И0'88 бюджет 3 3 3 3 3 3 О О X О О О X О ипск 2 А"н К.В.
3 Б**н О.В. 13И0205 бюджет 3 3 3 3 3 3 X X У X О X У О ипск 3 Б"н О.В.
4 Б**в Г.А. 13И0024 бюджет 3 3 3 3 3 3 X X X X О О X О ипск 4 Б"в Г.А.
5 В"нМ.В. 13И0204 бюджет 3 3 3 3 3 3 У У У X О X У О ипск 5 В"н М.В.
6 Д"н Ю.А. 13И0021 бюджет 3 3 3 3 3 3 X О X О О О X О ипск 6 Д"н Ю.А.
7 13И0203 бюджет 3 3 3 3 3 3 О О О О О О О О ипск 7 Д-вИ.Е.
8 Г'вИ.Е. 13И0201 бюджет 3 3 3 3 3 3 X X X X о О О О ипск 8 3"в И.Е.
Рис. 2. Вид данных об образовательной деятельности учащихся
Эти данные содержат сведения о семестровой успеваемости студентов, хранятся весь период обучения студентов и могут быть выгружены в формате Excel. Вид полученных данных в виде фрагмента таблицы представлен на рис. 2.
Как видно из фрагмента, представленного на рисунке 2, таблица данных содержат сведения об успеваемости учащихся по результатам сессии, и содержит сведения о полученных оценках и сданных зачетах. Данные заносятся в БД сотрудниками учебного отдела вручную на основании ведомостей и допусков. Успеваемость кодируется русскими буквами 3-"зачет", Н-"незачет", О-"отлично", Х-"хорошо", У-"удовлетворительно". Следовательно, для последующей машинной обработки с использованием методов анализа потребуется трансформация этих данных в вид, удобный для обработки. При проведении исследования было решено использовать априорные и апостериорные данные по учебной деятельности.
Данные, накопленные в ИС ВУЗа, можно использовать в качестве базиса для исследования текущей образовательной деятельности студентов, организованной в виде самостоятельной работы. Для сбора и анализа
данных о текущей учебной деятельности был поставлен ряд единичных экспериментов в соответствии с методикой и программой эксперимента, описанной подробно в работе одного из авторов. [11, с. 99].
Автоматизация сбора, анализа и интерпретации образовательных данных
Для реализации автоматического сбора и анализа данных было решено взять за основу идею проведения вычислительного
эксперимента с реализацией в MS Excel, описанную в статье [12] и разработать экспериментальный программный комплекс. В предложенной авторами этой статьи системе данные собираются вручную, заносятся в Excel, затем обрабатываются с помощью программирования формул в среде MS EXCEL и визуализируются в виде графиков. Поскольку ручной сбор и обработка образовательных данных представляет собой рутинные операции для экспериментатора, особенно при многопредметном анализе данных, было решено улучшить и автоматизировать применение разработанных вышеуказанными авторами программных средств. В результате проведенной нами работы был создан
Экспериментальный программный комплекс (ЭПК) двойного назначения: 1) для организации СРС по ряду дисциплин; 2) для сбора и анализа образовательных данных на основе применения системы программ единичных экспериментов. В сущности, мы предлагаем систему в виде ЭПК которая позволяет автоматизировать сбор образовательных данных во время выполнения СРС. Кроме того, мы предполагаем, что в течение определенного времени использования данной системы, данные смогут накапливаться и представлять материал для анализа и поиска зависимостей и значащих факторов. Разработанный программный модуль реализует вычислительные процессы сбора и анализа информации. Для работы ЭПК, представляющего собой модуль прототипа будущей системы и реализующего вышеописанные функции, был создан сайт на виртуальном хостинге с доменом vhost32182.cpsite.ru. Бесплатный хостинг содержит стандартные средства управления сайтом и позволяет работать с MySQL. Во время проведения исследования система работала в тестовом режиме и использовалась для постановки эксперимента по сбору и анализу учебных данных, а также студентами для изучения, закрепления и контроля знаний во время самостоятельной работы.
Для проведения исходного эксперимента по сбору и анализу данных на сайте был размещен образовательный контент в виде html страниц.
О Вход X
Материал для образовательного контента представляет собой структурированный материал по предмету Теории принятия решений по разделу «Задачи массового обслуживания» [13, с.107] Работа студента с системой осуществляется следующим образом: после регистрации или авторизации студент приступает к работе с системой в одном из доступных режимов - в режиме обучения или контроля знаний. При регистрации в системе нового пользователя проводится авторизация, собираются данные, необходимые для дальнейшей идентификации результатов эксперимента. Во время режима обучения обучаемый после выбора вида деятельности осуществляет выбор порции учебного материала. На рис. 3 представлены виды окон работы с системой ЭПК.
Экспериментальная часть работы системы организована на авторской технологии проведения единичных экспериментов (ТПЕЭ) и подробно описана в работе [14]. Программа единичного эксперимента включает в себя задания по выбору видов деятельности. Общая постановка учебного процесса на основе ТПЕЭ в определенной степени предопределяет ряды временных интервалов, а, следовательно, и круг вытекающих из них 120 доступных для исследования классов задач идентификации параметров обучаемых и задач двойственной кластеризации и распознавания образов.
Рис. 3. Работа с ЭПК в разных режимах
Элементарными операциями познавательной (ПДО). А измеряемым параметром в данном
деятельности обучаемого обычно являются: случае является время.
чтение, переписывание, набор текста на При выборе вида деятельности, например,
клавиатуре и конспектирование в данной изучения нового учебного материала
системе являются основными элементарными происходит выбор порции учебного материала. операциями познавательной деятельности
В настоящий для обучающихся доступны два режима работы с ЭПК, а именно, изучение нового материала (вид деятельности d1) и опрос для сбора образовательных данных (вид деятельности d2). С помощью форм ввода протокольных значений выполнения программы единичных экспериментов (ПЕЭ) заполняются исходные данные для последующей обработки.
В предлагаемой нами системе была также выполнена программная реализация на языке Java для функции импорта/экспорта данных в формате CSV. Эта опция была специально предусмотрена при разработке программы, так как этот формат является универсальным, данные часто обрабатываются в учебных отделах именно в этом формате. Такой формат представления данных был выбран не случайно, его можно будет использовать в дальнейшем для проведения интеллектуального анализа данных, например, в качестве входных данных для инструментального средства
интеллектуального анализа KNIME, который решено использовать в качестве аналитического модуля в предлагаемой архитектуре ИТ системы ВУЗа.
В составе ЭПК в виде вычислительного модуля реализована функция обработки данных эксперимента и оформления результатов анализа данных: рассчитывается коэффициент корреляции и теоретическая линия регрессии (аппроксимирующая прямая). Программа предусматривает визуализацию полученной аппроксимирующей линии, для этого предусмотрена вкладка Построение графика зависимости. Вид окна представлен на рис. 4.
• Смт«110нл»йиТю*ро1лм«
Шпррсгулента. Время окончания тестирования
iTljemcin« гоэпк.
График зависимости времени от количества символов
Рис. 4. Вид окна вкладка Построение графика зависимости
После окончания вычислительного процесса для определенного вида деятельности пользователь может либо продолжить работу с файлом, выбрав другой вид деятельности по тому же разделу и заполнив для него результаты
ПЕЭ, либо сохранить результаты, закрыть файл и при необходимости вернуться к его заполнению или изменению в дальнейшем. Таким образом, на основе работы ЭПК были автоматически получены образовательные данные,
характеризующие объект исследования. Были изучены свойства исследуемого вида деятельности обучаемого.
Итак, выше было показано, как можно собрать и исследовать источник образовательных данных, которые
генерируются во время СРС с учебным материалом.
Во время проведения этой части эксперимента использовались только априорные сведения о результатах учебной деятельности. Было решено расширить полученные сведения и во второй части эксперимента учитывать апостериорные сведения об учебной деятельности студентов.
ЭПК был разработан для работы с несколькими источниками образовательных данных. В качестве одного из них использовались результаты текущей образовательной деятельности в течение семестра, получаемые непосредственно при онлайн работе с учебными материалами. Другим источником данных являются данные, полученные в результате предыдущей образовательной деятельности объекта исследования, то есть представляют апостериорные знания о результатах обучения. Эти данные, как уже упоминалось выше, могут быть получены из информационной системы Института ИТ МТУ МИРЭА и представляют собой электронную версию журналов успеваемости, отражённой, в частности, в зачетных книжках студентов.
Рис. 5. Вид окна работы с ЭПК с учетом экспортируемых данных
На основе этих данных программный модуль позволяет рассчитывать динамику средней
оценки по заданной выборке предметов изучения. На рис. 5 представлено вид диалогового окна ЭПК окно работы с вкладкой «Нахождение средней оценки».
В результате расчетов, выполняемых программным модулем, строится график динамики средней оценки обучаемого. На рис. 6 представлен вид окна работы с ЭПК на вкладке «Динамика средней оценки».
♦ Система Онлайн Тестирования
Шифр студента:
Время окончания тестирования.
Результаты тестировании Построение граФи<а
15ИОЗОО
15 06 201714 53 31
График динамики среднего значения оценки по данным зачетки студента
2
И'
Рис. 6. Вид окна работы программы вкладка Динамика средней оценки
Для того решения задачи экспорта данных был написан специальный программный модуль - парсер с реализацией на языке Java, выполняющий преобразование полученных данных в вид xls файлов из ИС Института ИТ для загрузки их в БД системы. Вид преобразованных данных после работы парсера представлен на рисунке 7.
13И0«9,3,4,4.3,3,..4........5
I isn03»,s,s,3,3,.3..„3......
> 15H0M7.5^.3.5,5.5.5.5.3J,5,S.S.S,S
' 15И0ЭТЯ.5.Ь.5.4.4.3..А3..3.4...5
I r.tTO «О.'..V. I. ../О.'..'.,4. V.. 'J
I l5mj4S9,5,5.4.3,.,.4...4„,.,
о umuuuuu^UUA^
.4 4 !.«. 1..4.4.'.
14 lim>313.S.3.i.3.M.i.SAi.\4.4AV
15 lSn0323.S,S,S,3,S,S.S,5,S.3,S.4,3,3,S,!
16 15m>33S.5,S,1.3.b.4.4.V>,3.S.3,..1.3 1 / ^ l'.HOHJVVV 1.'.ЛЛЛ'|
Рисунок 7. Вид данных после работы парсера
Данные, полученные в результате работы парсера можно легко обрабатывать с помощью встроенного в инструментальное средство КШМЕ узла [15]. Эксперимент проводился нами с целью изучения источников, получения и обработки и анализа образовательных данных.
В третьей части эксперимента проведенного в рамках исследования были собраны и
обработаны данные, полученные из опросников Google Forms, которые содержат сведения о социальных и субъективных характеристиках объектов изучения: возраст, пол, скорость восприятия учебного материала,
индивидуальные когнитивные способности и предпочтения технических способов организации обучения. По результатам проведенных экспериментов была проведена оценка квалиметрических показателей обучаемых по элементарным видам ПДО. В результате оценки был выявлен существенный разброс их итоговых значений, что говорит о существенном влиянии этих показателей на общую оценку ПДО. Очевидно, что дальнейшие исследования на основе полученных данных должны быть связаны с формирование классов обучаемых, в том числе по их квалиметрии на элементарных видах деятельности.
Заключение
Были рассмотрены проблемы и задачи анализа образовательных данных, а также определены основные направления научных исследований в сфере анализа образовательных данных [15]. В ходе исследования были определены источники и средства получения данных, а в результате поставленного эксперимента была проведена их обработка и интерпретация. В процессе проведенного исследования на основе технологии проведения единичного эксперимента был разработан и протестирован ЭПК [16] для сбора, анализа и интерпретации образовательных данных. Образовательные данные были получены тремя способами:
• собраны вручную с помощью специально созданных опросников через Google Forms и авторских программ единичного эксперимента;
• с помощью разработанной программной системы;
• через экспорт из информационной системы учебной части деканата института ИТ.
В результате проведенных в ходе исследования экспериментов были получены образовательные данные, которые содержат сведения о результатах образовательной деятельности учащихся в течение некоторого отрезка времени процесса обучения (промежуточные или текущие результаты) и сведения о результатах предыдущего обучения (успеваемость по предыдущим семестрам). Разработанный в рамках проведенного исследования экспериментальный
программный комплекс на основе принципов системологии решает задачи сбора, обработки,
анализа и интерпретации образовательных образовательных данных позволит произвести
данных на основе технологии программы качественные изменения образовательного
единичных экспериментов [17]. Предполагается, процесса. что использование результатов анализа
Литература
1. Baker, R.S.J.d., Yacef, K. (2009) The State of Educational Data Mining in 2009: A Review and Future Visions. Journal of Educational Data Mining, 1 (1), 3-17.
2. Márquez-Vera, C.a , Cano, A.b , Romero, C.b , Ventura, S.b Predicting student failure at school using genetic programming and different data mining approaches with high dimensional and imbalanced data (2013) Applied Intelligence, 38 (3), pp. 315-330
3. Society for learning analytics research, SoLAR [Электронный ресурс]. — URL: http://www.solaresearch.org/ [Электронный ресурс]. (дата обращения: 26.12.2016)
4. Learning Analytics - Annotated Bibliography. Lauren A.S. Hirsh, DELTA.
5. Handbook of Educational Data Mining [Text] / Edited by Cristybal Romero, Sebastian Ventura, Mykola Pechenizkiy, and Ryan S.J.D. Baker. - Chapman & Hall/CRC Press. - 2011. - 526 р.
6. Петрова М.В. Исследование возможностей методов интеллектуального анализа данных при моделировании образовательного процесса в вузе / М.В. Петрова, Д.А. Ануфриева // Вестник Чувашского университета. - 2013. - No 3. - С. 280-285.
7. Е.Е. Андрианова, О.Ю. Сабинин Методы и алгоритмы data mining для решения задач образования X Всероссийская научно-практическая конференция "Научно-образовательная информационная среда XXI века" (г. Петрозаводск), посвященная 55-летию РЦНИТ ПетрГУ [Электронный ресурс]. — URL: https://www.google.ru/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0ahUKEwjIwL7k9rvUAhWBApoKHRa8Az0QFggoM AE&url=http%3A%2F%2Fit2014.petrsu.ru%2Fthesis%2F23.doc&usg=AFQjCNHabhy21XempiCSojdS3xRf5IM8TA&sig2=Bm0z5L AfxEGRPvpM69ox2Q&cad=rjt
8. Петрова Т.В., Сабинин О. Ю. Исследование механизмов интеллектуального анализа данных (data mining) для решения задач извлечения знаний образовательного процесса // Молодежный научный форум: Технические и математические науки. — 2013 —№ 1(1) [Электронный ресурс]. — URL: https://nauchforum.ru/studconf/tech/i/325 (дата обращения: 26.12.2016 г)
9. Сабинин О.Ю., Петрова Т.В. Исследование возможностей СУБД Oracle для создания систем извлечения знаний в образовательном процессе. - Перспективы развития информационных технологий, Новосибирск, 2013.
10. U. M. Fayyad, G. Piatetsky-Shapiro, and P. Smyth, "Knowledge discovery and data mining: Towards a unifying framework.," in Proc. of KDD Conference, pp. 82-88, 1996
11. Панченко В.М. Теория систем. Методологические основы: Учебное пособие. - М.: РИО МИРЭА, 2005. - 96с.
12. А.И. Комаров В.М. Панченко Технологический комплекс средств для реализации образовательного процесса с элементами интерактивности и идентификации обучаемых. Том 12 № 3-1(2016) [Электронный ресурс]. —URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/47 (Дата обращения: 1.06.2017 г)
13. Кудрявцев Е.М. Исследование операций в задачах, алгоритмах и программах. - М.: Радио и связь, 1984. - 184с.
14. Панченко В.М. Компьютерные технологии и системы обучения. Технология разделяемых единиц контента в системе программ единичных экспериментов, часть 2: Учебное пособие/ МИРЭА-М. 2008. - 156 с.
15. Зорина Н.В. Интеллектуальный анализ данных результатов единичных экспериментов для оценки социальных объектов наблюдения: диссертация магистра по направлению профессиональной подготовки 09.04.04 «Программная инженерия», руководитель профессор, к.т.н. В.М. Панченко, Московский технологический университет МТУ МИРЭА, Москва, 2017, 78с.
16. Зорина Н.В. ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ОБРАЗОВАТЕЛЬНЫХ ДАННЫХ: РЕТРОСПЕКТИВА И ПЕРСПЕКТИВЫ РАЗВИТИЯ / Н.В. Зорина, В.М. Панченко, А.Л. Зорин // Научная дискуссия: вопросы математики, физики, химии, биологии: сб. ст. по материалам LIII-LIV Международной научно-практической конференции «Научная дискуссия: вопросы математики, физики, химии, биологии». - № 5-6(38). - М., Изд. «Интернаука», 2017. - С. 42-52
17. Зорина Н.В., Панченко В.М. Описание объекта моделирования для постановки эксперимента по оцениванию результатов деятельности обучаемого по данным программ единичного эксперимента // Интернаука: научный журнал. № 11(15). Часть 1. - М., Изд. «Интернаука», 2017. - С. 25-26.
References
1. Baker, R.S.J.d., Yacef, K. (2009) The State of Educational Data Mining in 2009: A Review and Future Visions. Journal of Educational Data Mining, 1 (1), 3-17
2. Márquez-Vera, C.a, Cano, A.b, Romero, C.b , Ventura, S.b Predicting student failure at school using genetic programming and different data mining approaches with high dimensional and imbalanced data (2013) Applied Intelligence, 38 (3), pp. 315-330
3. Society for learning analytics research, SoLAR [Электронный ресурс]. — URL: http://www.solaresearch.org/ [Электронный ресурс]. (дата обращения: 26.12.2016)
4. Learning Analytics - Annotated Bibliography. Lauren A.S. Hirsh, DELTA.
5. Handbook of Educational Data Mining [Text] / Edited by Cristybal Romero, Sebastian Ventura, Mykola Pechenizkiy, and Ryan S.J.D. Baker. - Chapman & Hall/CRC Press. - 2011. - 526 р.
6. Petrova M.V. Issledovanie vozmozhnosteí metodov intellektualnogo analiza dannyh pri modelirovanii obrazovatelnogo processa v vuze / M.V. Petrova, D.A. Anufrieva // Vestnik Chuvashskogo universiteta. - 2013. - No 3. - S. 280-285
7. E.E. Andrianova, O.Ju. Sabinin Metody i algoritmy data mining dlja reshenija zadach obrazovanija X Vserossijskaja nauchno-prakticheskaja konferencija "Nauchno-obrazovatelnaja informacionnaja sreda XXI veka" (g. Petrozavodsk), posvjashhennaja 55-letiju RCNIT PetrGU [elektronnyj resurs].— URL: https://www.google.ru/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0ahUKEwjIwL7k9rvUAhWBApoKHRa8Az0QFggoM AE&url=http%3A%2F%2Fit2014.petrsu.ru%2Fthesis%2F23.doc&usg=AFQjCNHabhy21XempiCSojdS3xRf5IM8TA&sig2=BmOz5L AfxEGRPvpM69ox2Q&cad=rjt (data obrashhenija: 26.12.2016 г)
8. Petrova T.V., Sabinin O. Ju. Issledovanie mehanizmov intellektual'nogo analiza dannyh (data mining) dlja reshenija zadach izvlechenija znanij obrazovatel'nogo processa // Molodezhnyj nauchnyj forum: Tehnicheskie i matematicheskie nauki. — 2013 —
№ 1(1) [elektronnyj resurs]. — URL: https://nauchforum.ru/studconf/tech/i/325 (data obrashhenija: 26.12.2016 г)
9. Sabinin O.Ju., Petrova T.V. Issledovanie vozmozhnostej SUBD Oracle dlja sozdanija sistem izvlechenija znanij v obrazovatel'nom processe. - Perspektivy razvitija informacionnyh tehnologij, Novosibirsk, 2013
10. U. M. Fayyad, G. Piatetsky-Shapiro, and P. Smyth, "Knowledge discovery and data mining: Towards a unifying framework.," in Proc. of KDD Conference, pp. 82-88, 1996
11. Panchenko V.M. Teorija sistem. Metodologicheskie osnovy: Uchebnoe posobie. — M.: RIO MIREA, 2005. - 96s.
12. A.I. Komarov V.M. Panchenko Tehnologicheskij kompleks sredstv dlja realizacii obrazovatel'nogo processa s jelementami interaktivnosti i identifikacii obuchaemyh. Tom 12 № 3-1(2016) [Jelektronnyj resurs].—URL: http://sitito.cs.msu.ru/index.php/SITITO/article/view/47 (data obrashhenija: 1.06.2017 г)
13. Kudrjavcev E.M. Issledovanie operacij v zadachah, algoritmah i programmah. - M.: Radio i svjaz', 1984. - 184s.
14. Panchenko V.M. Komp'juternye tehnologii i sistemy obuchenija. Tehnologija razdeljaemyh edinic kontenta v sisteme programm edinichnyh jeksperimentov, chast 2: Uchebnoe posobie/ MIRJeA-M. 2008. - 156 s.
15. Zorina N.V. Intellektualnyj analiz dannyh rezultatov edinichnyh jeksperimentov dlja ocenki socialnyh objektov nabljudenija: dissertacija magistra po napravleniju professionalnoj podgotovki 09.04.04 «Programmnaja inzhenerija», rukovoditel professor, k.t.n. V.M. Panchenko, Moskovskij tehnologicheskij universitet MTU MIRJeA, Moskva, 2017, 78s.
16. Zorina N.V. INTELLEKTUALNYJ ANALIZ OBRAZOVATELNYH DANNYH: RETROSPEKTIVA I PERSPEKTIVY RAZVITIJA / N.V. Zorina, V.M. Panchenko, A.L. Zorin // Nauchnaja diskussija: voprosy matematiki, fiziki, himii, biologii: sb. st. po materialam LIII-LIV Mezhdunarodnoj nauchno-prakticheskoj konferencii «Nauchnaja diskussija: voprosy matematiki, fiziki, himii, biologii». - № 5-6(38). - M., Izd. «Internauka», 2017. - S. 42-52
17. Zorina N.V., Panchenko V.M. Opisanie objekta modelirovanija dlja postanovki eksperimenta po ocenivaniju rezultatov dejatelnosti obuchaemogo po dannym programm edinichnogo jeksperimenta // Internauka: nauchnyj zhurnal. № 11(15). Chast 1. - M., Izd. «Internauka», 2017. - S. 25-26.
Поступила: 15.10.2017
Об авторах:
Зорина Наталья Валентиновна, старший преподаватель кафедры Инструментального и прикладного программного обеспечения, Московский технологический университет (МИРЭА), zorina@mirea.ru
Панченко Виктор Михайлович, кандидат технических наук, профессор кафедры Инструментального и прикладного программного обеспечения, Московский технологический университет (МИРЭА), pvm36@yandex.ru
Note on the authors:
Zorina Natalia V., senior lecturer, Department of Instrumental and applied software, Moscow Technological University (MIREA), zorina@mirea.ru
Panchenko, Victor M., candidate of technical Sciences, Professor, Moscow Technological University (MIREA), pvm36@yandex.ru
