CC BY
16
Сиговцев Г.С.,
Петрозаводский государственный университет канд. ф.-м. н., доцент кафедры информатики и математического
обеспечения [email protected]
Чарута М.А.
Петрозаводский государственный университет старший преподаватель кафедры информатики и математического
обеспечения [email protected]
Сравнительное оценивание электронных учебных
ресурсов
Аннотация
Предлагается подход к задаче оценивания электронных учебных ресурсов (ЭУР), основанный на использовании экспертной информации об оценках парных сравнений ЭУР внутри группы однотипных ресурсов. Описываются алгоритмы, основанные на методе анализа иерархий Т. Саати. Эти алгоритмы реализованы в информационной системе, предназначенной для накопления данных о ЭУР и их сравнительных экспертных оценках.
Основным направлением применения информационных технологий в образовании в настоящее время является разработка разнообразных электронных учебных ресурсов для различных уровней и форм обучения, а также программных систем, предназначенных для их создания и сопровождения учебного процесса, основанного на использовании таких ресурсов.
Термин электронные учебные ресурсы (ЭУР) является одним из основных, используемых в контексте применения информационных технологий в образовательной сфере. По своему содержанию он охватывает различные виды учебных материалов: пособия, практикумы, справочно-энциклопедические издания, тренировочные и тестирующие системы, учебные программные среды и т.д., представленные на машинных носителях в цифровой форме. По существу, термин «электронные учебные ресурсы» соответствует терминам, определенным в системе межгосударственных стандартов по информации, библиотечному и издательскому делу «электронные информационные ресурсы» (ГОСТ 7.822001. Библиографическая запись. Библиографическое описание электронных ресурсов. Общие требования и правила составления) и «учебное электронное издание» (ГОСТ 7.83—2001. Электронные издания.
Основные виды и выходные сведения).
Все более активное использование информационных технологий в образовании и их расширяющееся многообразие привело к необходимости стандартизации средств и процессов обучения, функционирующих на базе этих технологий. В частности, требуются согласованные стандартные описания учебных ресурсов. Такие описания называют метаданными или метаописаниями. Метаописания содержат такие сведения как, информация об авторстве и о предмете, к которому относится ресурс, уровень знаний, необходимый для его понимания, длительность усвоения материала, его сложность, возможности самоконтроля и другие характеристики, важные для использования ресурса в учебных целях.
Существуют различные варианты стандартов метаописаний учебных ресурсов [1,2]. Анализ этих стандартов показывает, что они предназначены, прежде всего, для описания форматов ресурсов и унификации их рубрикаторов, что служит целям поиска ресурсов и обмена их описаниями. Стандарты метаописаний ЭУР не предполагают включения в описание учебного ресурса сведений о его качестве. Кроме того, большая часть находящихся в свободном доступе в интернете ЭУР не снабжены какой-либо специальной метаинформацией, тем более стандартными метаописаниями.
Оценка соответствия учебного ресурса требованиям нормативных документов (например, образовательному стандарту или образовательной программе, санитарно-гигиеническим нормам и т.д.), а также общим и специфическим для данного типа ресурса дидактическим принципам выполняется в процессе сертификации ЭУР. В частности, в нашей стране такой деятельностью занимаются испытательные лаборатории «Системы добровольной сертификации средств и систем информатизации РОСИНФОСЕРТ». Сертификация, по существу, - это выяснение обладает ли объект сертификации определенным качеством.
Применяемый при сертификации подход к оценке качества ЭУР (например, [3]) по своему типу относится к тем, которые в педагогической квалиметрии называются критериально ориентированными. Целью является аттестация, установление соответствия заданному критерию.
По указанным выше причинам метаописания и сертификация не могут быть достаточной основой для решения задачи о выборе одного из нескольких однотипных ЭУР. [4].
Существует ряд работ, в которых предлагаются наборы критериев и различные методы оценки качества образовательных ресурсов в соответствии с этими критериями [5]. Основным является метод экспертно-аналитической оценки, использующий результаты педагогического эксперимента. Практическая применимость такого рода методов ограничена особенно для электронных ресурсов в силу их большого количества, разнообразия, нестабильности (возможное изменение содержания, оформления, изменение операционной среды и
аппаратно-программной платформы, условий доступа к ресурсу и т.д.).
На практике при необходимости выбора конкретного ЭУР из некоторого количества однотипных ресурсов преподаватели часто ориентируются на собственные или полученные от коллег сравнительные оценки качества этих ресурсов. Основной проблемой помимо естественной субъективности таких оценок является недостаточная определенность критериев и показателей оценивания, которыми пользуются разные преподаватели.
Для повышения эффективности учебного процесса с использованием ЭУР необходимо не только собирать информацию о соответствующих ресурсах, но и накапливать данные о сравнительных оценках качества этих ресурсов, при этом такие оценки должны выставляться экспертами -преподавателями в рамках общей системы показателей оценивания. Причем для разных типов ресурсов набор критериев (показателей), по которым проводится оценивание, будет различаться.
В [6] описана методика сравнительного оценивания ЭУР, основанная на варианте классификации ЭУР по типам, предложенном в [4].
В этом варианте представлены только наиболее широко распространенные и используемые на практике в настоящее время типы ЭУР:
• электронное учебное пособие (ресурс, как правило, содержащий теоретический материал, справочную информацию, примеры, упражнения и т. д., представленные с использованием специфических компьютерно-ориентированных средств: гипертекст, мультимедиа);
• текстовый материал (электронная копия печатного издания, конспект лекций, методические указания и др.);
• компьютерный практикум (компьютерная имитация лабораторных работ по различным дисциплинам на основе математических моделей, задачник/решебник для развития навыков решения задач, тренажер для отработки навыков практических действий в каком-то виде деятельности, деловая игра, демонстрационная визуализация объектов или процессов);
• контролирующее средство (набор/генератор тестов, заданий, вопросов для контроля или самопроверки знаний, умений, навыков). Для каждого из этих типов в [4] приведен набор
характеристик/показателей оценивания, часть из которых является общими для всех типов ЭУР, а некоторые применимы только к отдельным из них. В таблице 1представлено соответствие между типами ресурсов и показателями их оценивания.
Табл. 1 Соответствие между типами ресурсов и показателями их _оценивания.
Показатели Типы ЭУР
Электронное Текстовый Комп. Контр.
пособие материал практикум средство
Научность + + + +
Доступность + + + +
Методическая + + + +
проработанность
Информационная + + +
поддержка
Экранное качество + + + +
Мультимедийность + + +
Адаптивность + + +
Защищенность + + +
Комплексность +
Адекватность +
Валидность +
Описанная в [6] методика использована при разработке информационной системы, предназначенной для описания и оценивания электронных учебных ресурсов [7]. Целью системы является накопление данных о ЭУР и их сравнительных экспертных оценках для обеспечения пользователей информацией, способствующей рациональному выбору наиболее адекватных ресурсов в соответствии с конкретной целью их использования. Система обеспечивает доступ посредством шеЬ-интерфейса четырех типов пользователей (анонимный пользователь, зарегистрированный пользователь, эксперт, администратор), предлагая для них соответствующую функциональность.
Для получения оценок ЭУР по отдельным показателям в системе используются алгоритмы, основанные на методе оценивания группы объектов путем их попарного сравнения в варианте, разработанном Т. Саати и названном им методом анализа иерархий (МАИ) [8]. МАИ предусматривает получение интегральной оценки объекта в виде суммы взвешенных его оценок по отдельным показателям. Веса показателей при этом также определяются по результатам их парных сравнений.
Предполагается, что в процессе функционирования рассматриваемой информационной системы возможно возникновение ситуаций трех видов
[9].
1. Оценивание группы однотипных ЭУР.
2. Добавление новых ЭУР к существующей группе ранее оцененных
ресурсов и их оценивание.
3. Добавление новых экспертных оценок для группы ЭУР.
В ситуации первого вида предлагается использовать базовый алгоритм МАИ.
Алгоритм 1. Оценка группы ЭУР методом парных сравнений по заданному показателю.
• Заполнить матрицу парных сравнений.
• Вычислить суммы элементов строк матрицы.
• Нормировать вычисленный вектор по сумме его элементов.
• Сохранить полученный результат как оценки ЭУР в данной группе. Практически данный алгоритм может использоваться для получения
сравнительных оценок небольшого множества ЭУР. С увеличением количества ресурсов трудоемкость процедуры получения экспертных данных существенно возрастает. Поэтому возникает потребность в некотором более приемлемом с практической точки зрения алгоритме вычисления сравнительных оценок в увеличивающейся по количеству совокупности ресурсов. Это соответствует ситуации второго вида в функционирования системы. При этом сравнительное оценивание должно выполняться в основном только внутри группы новых (еще не оцененных) ЭУР, но полученные оценки должны быть соотнесены с уже имеющимися в этой совокупности оценками. Этим требованиям соответствует следующий алгоритм.
Алгоритм 2. Получение оценок в увеличивающейся по количеству совокупности ЭУР.
Пусть М множество, состоящее из ресурсов уже имеющих и еще не имеющих оценок по некоторому показателю.
1. Сформировать множество м см, состоящее из ресурсов, не имеющих оценок, и одного из ресурсов, ранее оцененных (обозначим этот ресурс
О).
2. Разделить существующие оценки ресурсов из N на оценку ресурса О.
3. Применить Алгоритм 1 к множеству ресурсов N.
4. Разделить оценки ресурсов из множества N на новую оценку ресурса О.
5. Нормировать все имеющиеся оценки по их сумме.
6. Сохранить полученные результаты как оценки ЭУР в данной группе. Алгоритм 2 менее трудоемок для эксперта, так как позволяет
получить оценки, не прибегая к парным сравнениям по всему множеству ресурсов выбранного типа.
Ситуация третьего вида возникает в случае, когда какой-то эксперт решает выполнить оценивание некоторой группы ЭУР, уже имеющих оценки. В этом случае предлагается использовать алгоритм, заменяющий существующие оценки взвешенными суммами старых и новых оценок, в которых учитывается количество принимавших участие в оценивании экспертов.
Алгоритм 3. Добавление новых оценок для ресурсов, уже имеющих оценки
1. Выбрать группу ресурсов м см, которые будут оцениваться экспертом.
2. Выбрать в группе N некоторый ресурс О.
3. Разделить существующие оценки всех ресурсов из М на оценку ресурса О.
4. Применить алгоритм 1 к группе ресурсов N.
5. Разделить полученные в п.4 оценки на новую оценку ресурса Q.
6. Для ресурсов из N пересчитать оценки по формуле
w = Pj . w +_1__w , где Wj old - старая оценка ресурса j, Wj -
Jnew pJ +1 Jold pj +1 1
новая оценка, полученная в группе N, pj - количество экспертов,
оценивавших ресурс j
7. Увеличить количество экспертов pj на единицу.
8. Нормировать все оценки в группе M по их сумме.
9. Сохранить полученные результаты как оценки ЭУР в данной группе.
Получаемые в результате работы алгоритмов интегральные
относительные оценки группы однотипных ЭУР обеспечивают их ранжирование внутри этой группы.
В случае, когда эксперты при выполнении парных сравнений формируют согласованные матрицы оценок результаты, полученные при применении алгоритма 2 и алгоритма 3, совпадают с результатами, которые могли бы быть получены при применении алгоритма 1 для всей совокупности однотипных ЭУР.
С нашей точки зрения, разработанная система может быть в первую очередь инструментом, позволяющим аккумулировать фактографическую и оценочную информацию относительно ЭУР, которой обладают использующие эти ресурсы преподаватели, и делающим такую информацию общедоступной для всех заинтересованных пользователей.
Литература
1. Иванников А.Д., Булгаков М.В., Гридина Е.Г., Якивчук Е.Е. и др. Стандарт ГНИИ ИТТ "Информика". Метаданные информационных образовательных ресурсов для интернет-каталогов. М. ГНИИ "Информика", 2004. 89 с.
2. Открытое образование: стандартизация описания информационных ресурсов / Е.И.Горбунова, С.Л.Лобачев, А.А.Малых, А.В.Манцивода, А.А.Поляков, В.И.Солдаткин; Отв. ред. С.Л.Лобачев и А.В.Манцивода. М. РИЦ «Альфа» МГОПУ им. М.А.Шолохова, 2003. 215 с.
3. Вострокнутов И. Е. Теория и технология оценки качества программных средств учебного назначения. М.: Госкоорцентр информационных технологий, 2001.
4. Сиговцев Г.С., Чарута М.А.О классификации и оценке цифровых образовательных ресурсов. Дистанционное и виртуальное обучение, 2009, № 11. С. 24-33.
5. Бабешко В.Н., Нежурина М.И. Система оценки качества программных комплексов для дистанционного обучения М.: ЦДО МИЭМ; Европейский центр по качеству, 2004. 178 с.
6. Сиговцев Г.С., Чарута М.А. Методика оценивания учебных ресурсов. Материалы научно-методической конференции «Университеты в образовательном пространстве региона: опыт, традиции и инновации». Петрозаводск, 2010. 4.II. С. 178-183.
7. Добрецова К. В., Сиговцев Г.С., Чарута М.А. Информационная система для описания и оценивания учебных ресурсов. Материалы V конференции «Информационная среда вуза XXI века». Петрозаводск, 2011. С. 76-78.
8. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.
316 с.
9. Чарута М.А. О сравнительном экспертном оценивании учебных ресурсов. Тр. XIX Всероссийской научно-методической конференции «Телематика 2012». Т. 1. С. 104-105.
