Метод деревьев решений в задаче синтеза алгоритма оценки качества электронных учебных курсов Текст научной статьи по специальности «Компьютерные и информационные науки»

Метод деревьев решений в задаче синтеза алгоритма оценки качества электронных учебных курсов

Шалкина Татьяна Николаевна доцент кафедры кибернетических систем, к.п.н., доцент Тюменский индустриальный университет 625000, г. Тюмень, ул. Мельникайте, 70, тел. 8(3452) 28-30-17 [email protected]

Аннотация

В статье рассмотрена проблема оценки качества электронных учебных курсов, проанализированы достоинства и недостатки квалиметрической модели применительно к задаче оценки качества электронного учебного курса. Обосновано применение деревьев решений как средства классификации электронных учебных курсов по уровням качества. Приведена функциональная схема формирования алгоритма оценивания. Представлены результаты экспериментальной работы по применению предложенной методики в оценке качества электронных учебных курсов. С использованием аналитической платформы Deductor Academic проведено построение дерева решений, определена значимость показателей качества, определена достоверность результатов, приведено обоснование полученных экспериментальных данных.

In the article the problem of assessing the quality of e-learning courses are introduced, the advantages and disadvantages qualimetric model as applied to assess the quality of e-learning course are analyzed. The application of decision trees as a means of classification of e-learning courses on quality levels are justified. The functional diagram of the formation of the estimation are designed. The results of experimental work on the application of the proposed methodology in assessing the quality of e-learning courses are introduced. Using analytical platform Deductor Academic allowed to build a decision tree, to pick the importance of quality indicators, to determine the validity of the results, the substantiate of the experimental data.

Ключевые слова

квалиметрическая модель; дерево решений, электронный учебный курс; показатели качества; оценка качества

qualimetric model; decision tree, e-learning course; quality indicators; quality evaluation

Введение

Решение проблем управления качеством образования может осуществляться с использованием различных подходов, моделей и инструментария, однако, как показал анализ научно-технической и педагогической литературы по данной проблеме, наибольшую популярность в последнее время приобрели квалиметрические модели мониторинга и оценивания качества.

Квалиметрия - область знаний, посвященная методам получения количественных оценок качества объектов, используемых человеком, независимо от их природы. [1, 2] Использование методов квалиметрии как основы для создания систем мониторинга и оценки качества образования позволяет стандартизировать, алгоритмизировать и автоматизировать процедуры оценивания и измерения. Квалиметрические методики позволяют оценить качество продукции, процессов и различных объектов на основании не только количественных, но и качественных показателей.

Существуют противоположные мнения, относительно правомочности и значимости комплексной оценки, основанной на квалиметрической модели [2]:

-различные по своей физической природе характеристики не позволяют оценить качество в целом, с другой стороны, переход к безразмерным оценкам может снять это возражение;

-результат комплексной оценки, полученный в баллах или процентах, не имеет физического смысла. Тем не менее, степень приближения к базовым значениям позволяет придать оценке смысл;

-использование весовых коэффициентов, указывающих значимость отдельных свойств, вносит субъективность в результат. Это возражение может быть снято за счет использования корректных аналитических методов при формировании коэффициентов;

-низкий уровень одних свойств может быть «перекрыт» высоким уровнем других. Для исключения подобных ситуаций может использоваться правило, при котором обнуляются те свойства, значения которых ниже допустимого.

Использование квалиметрических методик при оценивании качества позволяет с заданной точностью проводить не только измерения абсолютных качественных параметров объектов, но и сравнивать параметры с другими объектами, т.е. выявлять относительные показатели. Квалиметрические модели оценки качества состоят в построении уровней показателей качества, расчетах единичного и комплексного показателя качества с использованием весовых коэффициентов.

В последнее время наиболее значимыми становятся комплексные показатели качества оценки, как отмечают авторы [3], в каждом конкретном случае существует необходимость разработки методологии и методики измерения качественных показателей оценки объектов.

Всякий объект может характеризоваться неопределенно большим количеством показателей качества. Однако существенными являются только некоторые, которые формируют ожидания потребителя, среди которых могут быть выделены единичные и комплексные. Единичные - это те, которые можно оценить непосредственно (инструментально или экспертно). Единичные показатели объединяют в однородные группы, каждая из которых служит основой для расчета комплексного показателя одноименной группы. Получаемая таким образом структура показателей качества называется «деревом свойств», вершина (корень) которого представляет собой интегральную оценку качества объекта. [4]

Следует отдельно заметить, что весовые коэффициенты, используемые для построения интегральных функционалов качества, являются математическим аналогом важности этих компонентов и поэтому являются регулирующими элементами. При помощи этих элементов модель может быть настроена таким образом, чтобы она в наибольшей степени соответствовала целям. В этом смысле квалиметрическая модель оценки качества является гибкой, адаптивной моделью. [5]

Методология квалиметрического подхода

Методология квалиметрического подхода к оценке качества объектов включает следующие основные этапы: [1, 2, 6]

-рассмотрение исследуемого качества объекта как структурированного иерархичного графа (дерева) свойств и объектов. -выделение единичных свойств; -присвоение свойствам измеримых параметров; -разработка шкал измерений параметров; -выбор эталонных параметров; -расчет единичных показателей качества; -установление значимости показателей качества;

-расчет комплексных показателей качества по всем уровням структурированного графа с учетом значимости.

Этап построения дерева свойств имеет большое значение, поскольку при неправильном выполнении составляющих его операций, результаты оценивания качества, полученные с помощью некорректно построенного дерева, могут оказаться неверными независимо от выбора шкалы, в которой будут выражаться значения показателя качества. В отличие от остальных этапов, которые поддаются в достаточной мере формализации, построение дерева свойств является в значительной мере неформализованным процессом, требующим от лица, разрабатывающего методику оценивания качества, творческого подхода, а следовательно возможны проявления субъективизма. Уменьшить степень такого субъективизма возможно, используя правила построения деревьев [4]:

-необходимость и достаточность числа свойств в группе; -единый признак деления для свойств; -независимость по предпочтению свойств; -минимум свойств;

-случайный характер расположения свойств.

При количественном оценивании качества используют не свойства, а их показатели, процедура выявления которых тесно связана с непосредственно предшествующей ей процедурой построения дерева свойств. В некоторых случаях такая процедура не представляет каких-либо затруднений, например, в случае если речь идет о геометрических параметрах объекта и т.п. Т.е. когда для каждого свойства реально существует только один, определяющий его показатель. Проблемная ситуация возникает, когда для измерения какого-либо свойства может быть использовано два (или даже больше) разных показателей. В этих случаях при выборе показателя следует учитывать такие факторы, как трудоемкость получения информации, необходимой для определения значения показателя свойства, а также степень соответствия показателя измеряемому с его помощью свойству.

При постановке задачи измерения сложного свойства следует указать шкалу измерения. Выделяют следующие типы шкал и методов оценки на их основе:

- шкала классификации;

- шкала порядков;

- шкала интервалов;

- шкала отношения.

Порядковая шкала и шкала наименований - основные шкалы качественных признаков. Поэтому во многих конкретных областях результаты качественного анализа можно рассматривать как измерения по этим шкалам.

Шкалы количественных признаков - это шкалы интервалов, отношений, разностей, абсолютная. В них к отношениям равенства и порядка добавляются отношения, связанные с наличием единицы измерения и начала отсчета.

Для установления значимости (важности) показателя качества, как правило, используют специальный коэффициент значимости (важности) свойства, который представляет собой количественную характеристику важности данного свойства среди других свойств. Определение значений коэффициента значимости может осуществляться с использованием:

-аналитического метода. Существует несколько разновидностей этого метода, например, основанные на применении регрессионного анализа или корреляционного анализа;

-экспертного метода, например, может быть использован метод анализа иерархий Т. Саати. Выбор экспертного метода зависит от постановки задачи. Например, методы ранжирования, попарного сравнения могут быть использованы при небольшом числе объектов. В случае экспертного оценивания качества объектов речь идет об оценке одного объекта, которого необходимо соотнести с одним из уровней качества, следовательно, в данном случае уместно использовать номинальную шкалу и метод классификации.

Расчет комплексных показателей качества по всем уровням структурированного графа с учетом значимости и расчет на их основе интегральной оценки в квалиметрической модели осуществляется с использованием свертки значений показателей. [7]

В экспертной оценке электронных образовательных изданий и ресурсов, как правило, используют следующие группы показателей [7, 8]:

-содержательные: соответствие программе обучения/ образовательному стандарту, комплексу дидактических и методических требований; педагогическая целесообразность применения; методическая состоятельность и т.п.;

-психолого-педагогические: соответствие психолого-педагогическим требованиям; учет возраста обучающихся; возможность вариативности обучения и т.п.;

-дизайн-эргономические: соответствие требованиям здоровьесберегающих технологий обучения; характеристики общей визуальной среды; цветовые характеристики, характеристики пространственного размещения информации и организации буквенно-цифровой символики и знаков; качество звукового сопровождения и т.п.;

-технические: возможность нормального функционирования в заявленных операционных средах, в локальном и в сетевом режиме; корректность использования современных инфокоммуникационных технологий; надежность, защита от несанкционированных действий; простота и удобство инсталляции, деинсталляции, запуска и т.п.

Синтез алгоритма классификации электронных учебных курсов по уровням качества с использованием дерева решений

Методология квалиметрической оценки нашел применение в оценке качества электронных образовательных изданий и ресурсов [7, 9, 10]. Однако, по мнению автора, использование метода квалиметрической оценки качества электронных учебных курсов (ЭУК) требует развития, поскольку полученное в результате числовое значение нуждается в окончательной трактовке и соотнесением с одним из классов качества (например, «Низкое», «Среднее», «Высокое»).

Необходимо разработать такую модель оценки качества, которая позволила бы, исходя из числовых значений единичных и комплексных характеристик, соотнести полученный результат с одним из классов качества, т.е. провести процедуру классификации. Учитывая большой объем данных, накапливаемых в системых электронного обучения (Learning Management System - LMS), которые

могут быть задействованы для анализа качества ЭУК, можно применить методы интеллектуального анализа данных (data mining). Одно из направлений интеллектуального анализа данных получило название Educational data mining (EDM), целью которого является обработка и анализ данных, полученных в образовательном процессе.

К основным методам интеллектуального анализа образовательных данных

относят:

- поиск аномалий;

- поиск ассоциаций;

- классификация;

- кластерный анализ;

- регрессионный анализ;

- факторный анализ;

- нейронные сети и др.

Как отмечается в работе [11] источниками образовательных данных являются компьютерные образовательные программы, информационная система вуза, работы обучающихся, тексты студенческих работ, учебные планы, рабочие программы дисциплин и т.д. К таким системам относят, кроме упомянутых LMS, массовые онлайн-курсы (Massive Open Online Courses, MOOC).

На наш взгляд, применение деревьев решений как итогового алгоритма для определения класса качества делает оценку «более прозрачной» за счет применения четких правил вывода комплексной оценки и соотнесения полученного результата к одному из классов качества.

Деревья решений - это способ представления правил в иерархической, последовательной структуре, где каждому объекту соответствует единственный узел, дающий решение. Задачи, решаемые с использованием деревьев решений, могут быть объединены в три основных класса: описание данных, классификация, регрессия. Классификация и регрессия на основе деревьев решений используются в задачах распознавания текста, информационного поиска, распознавания речи, анализе изображений, обнаружении спама, распознавания жестов и др. Для конструирования деревьев решений применяется машинное обучение -автоматическая настройка параметров алгоритма на основе обучающей выборки (множества объектов с известными правильными ответами). При этом от качества обучения зависит правильность решения задачи и практическая применимость результатов.

В работе [12] проанализированы преимущества и недостатки деревьев решений:

-автоматический отбор признаков: при произвольном выборе набора признаков в процессе обучения автоматически выбираются информативные и игнорируются неинформативные признаки, что отличает дерево решений от других методов машинного обучения;

-интерпретируемость: деревья решений позволяют строить решающие правила в форме, понятной эксперту;

-управляемость: в случае неправильной классификации дерево можно заново обучить, применить разные алгоритмы обучения, изменить только часть дерева;

-сильная зависимость от сбалансированности числа обучающих примеров разных классов: при обучении дерево уделяет повышенное внимание классам с большим числом обучающих примеров, и может полностью проигнорировать классы с малым числом обучающих примеров, что может являться как преимуществом, так и недостатком. С одной стороны, при неправильных пропорциях классов в обучающей выборке дерево обучится некорректно. С другой стороны, если некоторые важные случаи распознаются недостаточно хорошо, можно добавить данные примеры в выборку или поднять их вес, и качество их распознавания улучшится;

-переобучение: возникает из-за излишней сложности модели, когда обучающих данных недостаточно для того, чтобы восстановить по ним информативную закономерность. При нехватке тренировочных данных высока вероятность выбрать закономерность, которая выполняется только на этих данных, но не будет верна для других объектов;

-экспоненциальное уменьшение обучающей выборки. После обучения каждой вершины дерева происходит разделение ее тренировочного множества на два подмножества. Таким образом, чем меньше размер обучающего множества, тем выше вероятность переобучения.

В состав деревьев решений входят два вида объектов - узлы и листья. В узлах содержатся правила, с помощью которых производится проверка атрибутов и множество объектов в данном узле разбивается на подмножества. Листья - это конечные узлы дерева, в которых содержатся подмножества, ассоциированные с классами (рисунок 1). Дерево растет сверху вниз; начальный (корневой) узел является входным, через него проходят все объекты; для каждого листа в дереве имеется уникальный путь. [13]

На сегодняшний день существует достаточно большое количество алгоритмов, реализующих деревья решений CART, C4.5, NewId, ITrule, CHAID, CN2 и т.д. Наибольшее распространение и популярность получили:

• CART (ClassificationandRegressionTree) -алгоритм построения бинарного дерева решений, каждый узел дерева при разбиении имеет только двух потомков. Как видно из названия алгоритма, решает задачи классификации и регрессии;

• C4.5 - алгоритм построения дерева решений, при котором количество потомков у узла не ограничен; решает только задачи классификации.

По мнению автора, в качестве узлов деревьев решений могут выступать правила, основанные на комплексных оценках показателей качества, полученных с помощью квалиметрической модели, в качестве листьев - классы качества. Корнем дерева является интегральная оценка качества, выраженная соответствующим классом.

Рис. 1. Дерево решений

Достоинствами результирующей модели являются:

-состав единичных показателей, входящих в квалиметрическую модель, может изменяться, не изменяя структуру дерева решений;

-нет необходимости определения значимости показателей внутри группы, так как решение принимается на уровне алгоритма, заложенного в дерево решений;

-применение технологии автоматизированного построения дерева решений позволит оценить значимость отдельного компонента. В случае квалиметрической модели значимость отдельных компонентов, как правило, задается экспертным способом и не отражает статистических взаимосвязей между единичными показателями и соотнесенным классом качества.

Схема формирования комплексного показателя оценки качества ЭУК с применением квалиметрической модели и деревьев решений приведена на рисунке 2.

Экспериментальная апробация

Рассмотрим применение рассмотренного выше способа, в качестве показателей и критериев оценивания были выбраны показатели и критерии, рассмотренные в работе [14].

Дерево свойств, построенное с учетом выбранных показателей, представлено на рисунке 3. В качестве шкалы измерений была выбрана бальная шкала 0-3:

3 - наилучшее представление текущей ситуации, по мнению эксперта;

1,2 - промежуточные значения;

0 - отсутствие показателя.

В качестве экспериментальной базы для построения дерева решений выступили данные экспертной оценки 30 ЭУК по направлениям подготовки бакалавриата и магистратуры «Информатика и вычислительная техника» Тюменского индустриального университета. В качестве инструментария для построения дерева была использована аналитическая платформа Deductor. В Deductor в основе обработчика «Дерево решений» лежит модифицированный алгоритм С4.5, который позволяет решать только задачи классификации. Кроме того, предусмотрен режим ручного построения и модификации дерева.

Построение дерева решений на платформе Бе^Сог включает в себя следующие шаги: [15]

- подготовка обучающей выборки;

- нормализация значений полей;

- настройка обучающей выборки;

- обучение дерева решений.

Качество построенного дерева после обучения можно оценить по нескольким параметрам:

1) число распознанных примеров в обучающем и тестовом наборах данных. Чем выше это число, тем качественнее построенное дерево;

2) количество узлов в дереве. При очень большом их числе дерево становится трудным для восприятия. Это также означает очень слабую зависимость выходного поля от входных полей.

Рис. 2. Схема формирования комплексного показателя оценки качества

Каждое правило характеризуется поддержкой и достоверностью. Поддержка - общее количество примеров классифицированных данным узлом дерева. Достоверность - количество правильно классифицированных данным узлом примеров.

Качество ЭУК

Наличие и обоснованность цели

Модульная структура

Научность и новизна

Наглядность и доступность

Проблемный характер

Достаточность уч. материалов

Индивидуальная ориентированность

Наличие средств повышения мотивации

Достаточность информ.-метод. обеспечения

Разнообразие форм контроля

Диагностика результатов обучения

Достаточность контролирующих материалов

ПКК: Показатели качества контента

ПКМ: Качество _| информационно-методического обеспечения

ПКМ: Качество контролирующих материалов

Рис. 3. Качество ЭУК

Первоначально исходное множество данных разбивается на обучающее и тестовое, затем в автоматическом режиме (можно использовать и интерактивный режим) строится дерево. Экспериментально установлено, что для успешного обучения число примеров должно в несколько раз (примерно в 5) превосходить число входных признаков. Но даже если все признаки информативны, количества обучающих примеров может просто не хватить для надёжного определения коэффициентов при всех признаках. Когда данных мало, приходится искусственно упрощать структуру модели, оставляя наиболее существенные признаки (это

позволяет сделать узел «Конечные классы»), либо воспользоваться встроенными в обработчик пошаговыми методами отбора.

На рисунке 4 представлены правила формирования дерева, полученные с помощью алгоритма автоматического построения в программе Deductor Academic.

В-ШД1 ЕСЛИ

Е!-11^—I Группа показателей, характеризующих контролирующие Функции ЭОР < 1,625

Ё1-|| II Группа показателей информационно-методического и организационного обеспечения ЭОР < 1,575 О Группа показателей, характеризующих качество контента < 2,375 О Группа показателей, характеризующих качество контента >= 2,375 0 Группа показателей информационно-методического и организационного обеспечения ЭОР >=1,575

Группа показателей, характеризующих контролирующие Функции ЭОР >= 1,625

Группа структурно-целевых показателей < 1,25 Группа структурно-целевых показателей >= 1,25

Низкое Низкое Среднее

I

Среднее

Рис. 4. Правила формирования дерева

Значимость атрибутов представлена на рисунке 5.

Целевой атрибут: Качество

Атрибут Значимость, % /

Группа показателей, характеризующих контролирующие Функции ЭОР _| 56,712

Группа структурно-целевых показателей 13,213

Группа показателей информационно-методического и организационного обеспечения ЭОР 15,643

Группа показателей, характеризующих качество контента 8,427

Показатели сопровожденияЭОР 0,000

Рис. 5. Значимость атрибутов

Из рисунков 4 и 5 видно, что наибольшей поддержкой обладают показатели группы, характеризующей контролирующие функции ЭУК, менее значимы группы структурно-целевых показателей, показателей информационно-методического и организационного обеспечения ЭУК и показатели качества контента. Показатели сопровождения не влияют на результат.

На рисунке 6 результаты классификации ЭУК.

Классифицировано

Фактически Высокое Низкое Среднее Итого

Высокое 9 1 10

Низкое 15 15

Среднее 1 5

Итого Э И 30

Г

Рис. 6. Результаты классификации ЭУК

Как видно из рисунка 6, количество распознанных вариантов достаточно высоко, что говорит о достоверности построения дерева на данной обучающей выборке.

Заключение

Представленные выше данные построения дерева решений можно проанализировать с позиции эксперта следующим образом:

1) высокая значимость контролирующих показателей вполне обоснована областью применения ЭУК как средства организации процесса обучения в ВУЗе. Основной акцент делается на организации контроля, поскольку у преподавателей есть возможность в рамках аудиторных занятий восполнить знаниевую компоненту курса: лекции, решение типовых задач и т.п. ЭУК отводится роль «помощника» для проведения объективного контроля;

2) незначимость показателей сопровождения, по мнению автора, обосновывается данными обучающей выборки. Как показал анализ ЭУК, в целом «картина» поддержки одинакова, пока еще у преподавателей отношение к ЭУК как вспомогательному средству, основным средством ведения диалога с обучающимися являются являются традиционные средства общения;

3) по мере накопления данных по оценке ЭУК дерево решений может быть перестроено, выявлены новые зависимости, переопределены значимости групп показателей.

В заключении отметим, что программа Deductor обеспечивает простоту и удобство применения в решении задач классификации объектов. Мастер Бе^йог предлагает широкие возможности по настройке процесса построения дерева решений: назначения столбцов, способов нормализации, настройка источника данных, настройка количества примеров в узле и настройка достоверности правил. Алгоритм, заложенный в Бе^Сог, отсекает несущественные факторы, выявляет степень влияния тех или иных факторов на результат, выдает информацию о достоверности и поддержке того или иного правила. Также были продемонстрированы широкие возможности визуализации построенного дерева.

Список литературы

1. Квалиметрия для всех: Учеб. пособие/ Г.Г. Азгальдов, А.В. Костин, В.В. Садовов.

— М.: ИД ИнформЗнание, 2012. — 165 с.: ил.

2. Варжапетян А. Г. Квалиметрия: Учеб. пособие / СПбГУАП. СПб., 2005. - 176 с.:

3. Кузина Л.Л. Квалиметрическое обеспечение оценки качества профессиональной подготовки студентов технического вуза / Л.Л. Кузина, Б.Н. Гузанов // МИР НАУКИ, КУЛЬТУРЫ, ОБРАЗОВАНИЯ. - № 6 (31), 2011. - С. 176-181.

4. Азгальдов Г.Г. Построение дерева показателей свойств объекта // Стандарты и качество. - 1996.-№11. - С. 97-104.

5. Граничина О.А. Использование современных квалиметрических методов при оценивании качества образования в ВУЗЕ // Известия Российского государственного педагогического университета им. А.И. Герцена, № 75, 2008. -С. 185-192.

6. Леонова Т.И Квалиметрическая модель оценки качества научно-технических работ / Т.И. Леонова, Ю.А. Калажокова // Фундаментальные исследования. -2015. - № 6-1. - С. 143-147; URL: http://www.fundamental-research.ru/ru/article/view?id=38410 (дата обращения: 28.06.2016).

7. Горутько Е.Н., Шалкина Т.Н. Применение метода анализа иерархий для оценки качества электронного издания учебного назначения // Информатика и образование, 2013. - №1. - С. 13-19.

8. Осин А.В. Мультимедиа в образовании: контекст информатизации. - Монография.

- М.: Агентство "Издательский сервис", 2005. - 320 с.

9. Граб В.П. Квалиметрический подход к интегральной оценке показателей качества педагогической продукции, функционирующей на базе ИКТ // Электронное периодическое издание Информационная среда образования и науки. 2011. № 6. С. 19-33.

10. Шалкина Т.Н. Модель комплексной оценки качества электронных образовательных изданий и ресурсов / Т.Н. Шалкина // Педагогическая информатика, 2013. - С. 85-91.

11. Горлушкина Н.Н., Задачи и методы интеллектуального анализа образовательных данных для поддержки принятия решений / Н.Н. Горлушкина, И.Ю. Коцюба И.Ю., М.В. Хлопотов М.В. // Образовательные технологии и общество. 2015. Т. 18. № 1. С. 472-482.

12. Кафтанников, И.Л. Особенности применения деревьев решений в задачах классификации / И.Л. Кафтанников, А.В. Парасич // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». - 2015. - Т. 15, № 3. - С. 26-32.

13. Паклин Н.Б. Бизнес-аналитика: от данных к знаниям: учебное пособие. 2-е изд., испр.. - СПб.: Питер, 2013. - 704 с.

14. Шалкина Т.Н. Показатели и критерии качества электронного учебного курса // Образовательные технологии и общество, 2015. - № 3. URL: http://ifets.ieee.org/russian/depository/v18_i3/pdf/18.pdf (дата обращения: 18.12.2015)

15. Сайт фирмы BaseGroupLabs, разработчика программы аналитической платформы Deductor //URL:http://www.basegroup.ru/ (дата обращения 28.06.2016)