CC BY
15
ковыми данными, владеть приемами обработки музыкального материала, использовать богатые возможности мультимедиа в представлении своих авторских композиций. На сегодняшний день существует огромное количество музыкальных программ, которые способны воплощать те или иные замыслы. Программы - секвенсоры стали неотъемлемой частью не только музыкантов и профессионалов (вокально-инструментальных группах, профессиональных оркестрах, музыкальных студиях и т.д.), но и у музыкантов любителей как инструмент, открывающий путь к музыкальному творчеству для всех желающих. Открывшиеся большие возможности позволяют любому желающему реализовать свои смелые творческие замыслы и применять их с высокой эффективностью, владея приемами обработки музыкального материала средствами музыкально-компьютерных технологий.
ПРИМЕНЕНИЕ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА
ДАННЫХ В ЗАДАЧЕ ОЦЕНКИ КАЧЕСТВА ЭЛЕКТРОННЫХ ОБРАЗОВАТЕЛЬНЫХ РЕСУРСОВ
© Горутько Е.Н.1
Оренбургский государственный университет, г. Оренбург
В статье рассматривается возможность оценки качества электронных образовательных ресурсов на основе интеллектуального анализа данных, а именно с помощью метода «деревья решений»; представлены практические результаты и анализ построения дерева решений в аналитической системе Deductor.
Ключевые слова оценка качества, электронные образовательные ресурсы, деревья решений.
В условиях глобальной информатизации общества, которая затрагивает все сферы человеческой деятельности, именно информатизация в сфере образования является одним из приоритетных направлений. Широкое распространение различных типов электронных устройств, создание и развитие электронной информационно-образовательной среды образовательного учреждения, доступной в сети Интернет, предполагает активное использование новых современных электронных образовательных ресурсов в процессе обучения студентов. И как следствие, приводит к усилению требований к их качеству.
В стандарте ИСО 9000-2001: «Качество - совокупность характеристик объекта, относящихся к его способности удовлетворять установленные и предполагаемые потребности.
1 Заведующий сектором электронных образовательных ресурсов, кандидат педагогических наук.
При формировании понятия качество с одной стороны присутствует перечень наименований свойств (параметров) предмета и числовые значения параметров, с другой стороны - требования стандарта или требования окружающей среды [3].
Если говорить о качестве ЭОР, то необходимо рассматривать его как с позиции программного, так и с позиции учебного средства. Для оценки программных средств набор критериев четко определен, имеются соответствующие методики (например, ГОСТы). При оценивании учебных средств используются параметры и критерии, которые предъявляются ко всем учебно-методическим средствам [2].
В качестве методов оценки качества ЭОР могут быть использованы следующие [1]:
- экспериментальный: программное средство оценивается в ходе проведения педагогического эксперимента;
- экспертный: когда эвристические возможности человека, позволяющие на основании знаний, опыта, интуиции ведущих специалистов, работающих в данной области, получить оценку исследуемых явлений;
- комплексная оценка качества программных средств, интегрирующая первые два подхода.
Принятие решений в процессе оценки качества ЭОР чаще всего зависит от мнения эксперта, который обосновывает его различной нормативной документацией. Использование современных информационных технологий позволяет автоматизировать процесс выявления новых взаимосвязей в данных и их интерпретации. С помощью методов интеллектуального анализа данных (ИАД) возможно произвести обработку информации и выявить в ней модели и тенденции, которые помогают принимать решения.
Существует три направления ИАД: классификация, кластеризация и прогнозирование, которые применяются в разных случаях при анализе больших массивов данных.
Классификация позволяет определить, к какому классу относятся те или иные данные; при этом множество классов, к одному из которых впоследствии можно отнести исследуемый объект, заранее известно. Каждый класс обладает определенными свойствами, которые характеризуют его объекты.
Кластеризация - обобщенный случай задачи классификации, когда набор классов заранее не известен.
Прогнозирование - построение прогноза на будущее на основе анализа данных прошлых периодов [4].
К оценке качества ЭОР наиболее применима классификация, которая сводится к распределению ресурсов по заранее установленным уровням качества «высокий», «средний», «низкий», в зависимости от предложенных критериев оценки.
Одним из методов, используемых при решении задачи классификации, является метод «деревьев решений».
Деревья решений - иерархические древовидные структуры, состоящие из решающих правил вида «если ... то ...» и позволяющие выполнять классификацию объектов. В дереве каждому объекту соответствует единственный узел, дающий решение [5].
Инструментом для построения дерева решений может послужить аналитическая платформа Deductor.
В качестве экспериментальных возьмем данные Университетского фонда электронных ресурсов (УФЭР), который функционирует в Оренбургском государственном университете. Оценивание ЭОР, регистрируемых в УФЭР, осуществляется экспертами, ведущими специалистами, работающими в данной области знаний, по заранее утвержденным критериям: содержательным, дизайн-эргономическим и программно-технологическим. Критерии разработаны для каждого вида ресурсов. ЭОР, зарегистрированные в УФЭР приравниваются к публикациям, которые могут быть включены в список научных и учебно-методических работ, необходимых для участия в конкурсе на замещение должностей научно-педагогических работников в ОГУ
На сегодняшний день в фонде зарегистрировано свыше 1200 электронных ресурсов. В 2015 году в УФЭР зарегистрирован 151 ресурс. Вид и количество ресурсов представлены на рисунке 1.
Электронные ресурсы, зарегистрированные в УФЭР в 2015 году
■ Компьютерная система контроля знаний
■ Компьютерный задачник
Компьютерный лабораторный практикум
■ Мультимедийный учебный проект
Прикладная программа
Электронное гиперссылочное учебное пособие
Электронный курс в системе Моос11е Электронный курс лекций
Рис. 1. ЭОР, зарегистрированные в УФЭР в 2015 году
Наиболее часто регистрируемые ресурсы это электронные курсы лекций и прикладные программы. Рассмотрим применение метода деревьев решений на примере оценивания электронных курсов лекций.
151 ресурс
В качестве критериев были выбраны:
1. Структура ЭКЛ (С).
2. Проработанность материала (ПМ).
3. Наличие выводов к лекции, контрольных вопросов (НВ).
4. Единый стиль размещения учебного материала (РМ).
5. Единый стиль оформления слайдов (ОС).
6. Контрастность цвета шрифта и фона (К).
7. Читабельность шрифта (Ч).
8. Выделение ключевой информации (ВКИ).
9. Удобство навигации (УН).
10. Релевантная анимация (РА).
11. Наглядность представленного материала (НПМ).
12. Наличие звука, видео (ЗВ).
13. Наличие интерактивных элементов (ИЭ).
По каждому из критериев для всех ЭКЛ были проставлены баллы, рассчитан средний показатель, и все ресурсы были распределены по уровням качества «высокий», «средний», «низкий».
Исходное множество данных система Бе^йог разделила на обучающее и тестовое, в данном случае использовался случайный способ разбиения, и в автоматическом режиме было построено дерево.
По диагонали таблицы расположены примеры, которые были правильно распознаны, в остальных ячейках - те, которые были отнесены к другому классу. В данном случае дерево правильно классифицировало практически все примеры - 57 из 63 (рисунок 2).
Таблица сопряженности
Качество = 1 ЕИ - Щ » Й? £ "Ый-
КлаееиФицироезко
Фактически Высокое Низкое Среднее Итого
высокое 16 20
Низкое 4 1 5
Среднее 33
Итого 17 4 42 63
Рис. 2. Классификация ресурсов по уровням качества
Многие критерии оценки были отсечены, то есть их влияние на принадлежность к какому либо классу качества ЭКЛ минимально или его вообще нет (рисунок 3). К таким критериям были отнесены: проработанность материала; контрастность цвета шрифта и фона; читабельность шрифта; удобство навигации; наличие звука и видео; наличие интерактивных элементов. Следует отметить, что критерии: проработанность материала; контрастность цвета шрифта и фона; читабельность шрифта; удобство навигации имели максимальное значение более чем в 85 % курсах лекций, а кри-
терии: наличие звука и видео; наличие интерактивных элементов наоборот только в 5 % (в 95 % курсов лекций показатели по этим двум критериям равнялись нулю). Полученное дерево решений содержит 15 узлов.
Рис. 3. Дерево решений, построенное в Бе^Сог
Правила
т <> а В -
Фильтр: Без Фильтрации
N9 Й® Условие *[> Следствие $ Поддержка Л Достоверность
Показатель Знак Значение аЬ Качество Кол-во % Кол-во *
9.0 НПМ < 1,5 Среднее 3,33 100,00
9.0 ВКИ < 0,5
9.0 НПМ < 1,5
2 2 9.0 ВКИ >- 0,5 Низкое 4 6,67 4 100,00
9.0 РМ < 2,5
9.0 НПМ < 1,5
3 3 9.0 ВКИ >= 0,5 Среднее 3 5,00 2 66,67
9,0 РМ >- 2,5
9.0 НПМ >= 1,5
4 4 9.0 НВ < 2,5 Среднее 30 50,00 27 90,00
9.0 РД < 1,5
9.0 НПМ 1,5
5 9.0 НВ < 2,5 2 3,33 100,00
9.0 РА >- 1,5
9.0 ОС < 2,5
9.0 НПМ >= 1,5
9.0 НВ < 2,5
6 9.0 РА >- 1,5 Среднее 3 5,00 2 66,67
9.0 ОС >= 2,5
9.0 С < 2,5
9.0 НПМ >- 1,5
9.0 НВ < 2,5
7 7 9.0 РД >= 1,5 Высокое б 10,00 б 100,00
9.0 ОС >- 2,5
9.0 С >= 2,5
9.0 НПМ >= 1,5 10 16,67 90,00
9.0 НВ >- 2,5
Рис. 4. Правила распределения ЭОР по уровням качества
На рисунке 4 представлены правила, их 8, по которым Бе^йог ЭОР относит к определенному уровню качества.
Экспериментально установлено, что для успешного обучения число примеров должно в несколько раз (примерно в 5) превосходить число входных признаков. Но даже если все признаки информативны, количества обучающих примеров может просто не хватить для надёжного определения коэффициентов при всех признаках. Когда данных мало, приходится искусственно упрощать структуру модели, оставляя наиболее существенные признаки (это позволяет сделать узел «Конечные классы»), либо воспользоваться встроенными в обработчик пошаговыми методами отбора [6].
Программа Deductor позволила распределить ЭОР по уровням качества и доказала обоснованность использования метода деревьев решений для классификации.
Список литературы:
1. Вострокнутов И.Е. Теория и технология оценки качества программных средств образовательного назначения: монография / И.Е. Вострокнутов. - М.: Госкоорцентр, 2005.
2. Горутько Е.Н., Шалкина Т.Н. Применение метода анализа иерархий для оценки качества электронного издания учебного назначения / Е.Н. Горутько, Т.Н. Шалкина // Информатика и образование. - 2013. - № 1. -С. 13-19.
3. Елин А.В. Эволюция понимания категории «качество» как атрибута в системах управления [Электронный ресурс] / А.В. Елин, И.Е. Елина, Р.Е. Ма-карюк. - Режим доступа: http://quality.eup.ru/MATERIALY15/evalution_quali-ty.htm (дата обращения: 18.05.2016).
4. Методы интеллектуального анализа данных [Электронный ресурс]. -Режим доступа: http://www.ibm.com/developemorks/ru/library/ba-data-mining-techniques/index.html (дата обращения: 19.05.2016).
5. Паклин Н.Б. Бизнес-аналитика: от данных к знаниям: учебное пособие / Н.Б. Паклин, В.И. Орешков. - 2е изд., испр. - СПб.: Питер, 2013 -С. 431.
6. Шалкина Т.Н., Горутько Е.Н., Шестаков Н.В., Классификация электронных образовательных изданий и ресурсов по уровням качества на основе дерева решений / Т.Н. Шалкина, Е.Н. Горутько, Н.В. Шестаков // Современные информационные технологии в науке, образовании и практике: материалы XI Всероссийской научно-практиче-ской конференции. - Оренбург: ООО ИПК «Университет», 2014. -С. 402-408.
