CC BY
49
ОПРЕДЕЛЕНИЕ ВЕСОВЫХ КОЭФФИЦИЕНТОВ СЛОЖНОСТИ ТЕМ УЧЕБНОГО КУРСА НА ОСНОВЕ АЛГОРИТМА СААТИ
^^то^оллоггияя
Александр Рыбанов,
Волжский политехнический институт (филиал), Волгоградский государственный технический университет
vit@volpi.ru
-е-
В данной статье описан подход к определению весовых коэффициентов сложности тем учебного курса на основе алгоритма Саати. Приводится пример определения весовых коэффициентов сложности тем учебного курса «Основы трансляции». Описана процедура проверки экспертных оценок, представленных в виде матрицы попарных сравнений сложности тем учебного курса, на непротиворечивость.
Ключевые слова: сложность темы, весовой коэффициент, матрица попарных сравнений, алгоритм Саати
Введение
Структуризация лекционного материала обеспечивает высокую эффективность его восприятия студентами. Квантование текста1, является одним из видов подобной структуризации. В настоящее время разрабатываются количественные методы оценки качества квантования учебного текста2. Выделение ключевых элементов темы и формирование набора тестовых заданий для контроля знаний по данным элементам позволяют более точно обнаруживать сложные для усвоения студентами элементы курса, которые в дальнейшем могут быть модифицированы: упрощение стиля изложения элементов, расширение материала практическими примерами3 и т.п. В то же время возникает проблема выставления итоговой оценки, учитывающей сложность тем учебного курса.
-1-
Аванесов В.С. Применение заданий в тестовой форме и квантованных учебных текстов в новых образовательных технологиях // Педагогические измерения. 2012. № 2. С. 75-91.
-е-
Рыбанов АА. Анализ качества квантования учебного текста // Педагогические измерения. 2014. № 1. С. 3-16.
Рыбанов АА., Макушкина Л.А. Программная модель микропроцессора INTEL 8080. Регистры: квантованный учебный текст с заданиями в тестовой форме // Педагогические измерения. 2014. №3. С. 70-80.
Pn
измерения
-е-
Myrick J. Moodle 1.9 Testing and Assessment. Birmingham: Packt Publishing Ltd., 2010.
Rybanov A.A. Set of criteria for efficiency of the process forming the answers to multiple-choice test items. Turkish Online Journal of Distance Education, Vol.14, № 1, p. 75-84.
Scalise K, Gifford B. Computer-Based Assessment in E-Learning: A Framework for Constructing «Intermediate Constraint» Questions and Tasks for Technology Platforms. Journal of Technology, Learning, and Assessment. 2006, Vol. 4(6). Retrieved [date] from http://www.jtla.org.
Rybanov A.A. Educatee's thesaurus as an object of measuring learned material of the distance learning course // Turkish Online Journal of Distance Education. 2013. T. 14. № 4. C. 12-25.
В системах дистанционного обучения степень усвоения учебного курса оценивается по результатам тестирования обучаемых4. В настоящее время большое внимание уделяется повышению точности оценки результатов обучения в системах дистанционного обучения. В работе Рыбанов А.А.5 для этого предлагается учитывать процесс формирования пользователем конечного ответа на задания в тестовой форме, а в работе Scalise K. и Gifford B.6 предлагаются инновационные формы заданий для компьютерного тестирования знаний.
Постановка задачи
Интегральная оценка качества усвоения дистанционного учебного курса, как правило, рассчитывается на основе оценок, полученных обучаемым в результате прохождения всех заданий учебного курса. Например, в системе Моо^е предусмотрены следующие подходы к вычислению интегральной оценки качества усвоения учебного курса7: среднее оценок, взвешенное среднее оценок, медиана оценок, низшая оценка, высшая оценка, мода оценок, сумма оценок.
Рассмотрим подходы к вычислению интегральной оценки качества усвоения на следующем примере. Пусть пользо-
ватель системы дистанционного обучения по результатам выполнения тестовых заданий получил по темам Л^-Лд учебного курса следующие оценки (по стобалльной шкале): (70, 62, 81, 62, 76, 80, 69, 86).
Тогда интегральная оценка может быть вычислена следующими методами:
1) Среднее оценок — сумма всех оценок по темам делится на общее количество оценок:
(70 + 62 + 81+ 62 + 76 + 80 + + 69 + 86) / 8 = 73,25.
2) Взвешенное среднее оценок — каждой теме может быть поставлен в соответствие вес, который будет отражать её важность при подсчёте итога. Сумма весов всех оценок должна быть равна 1. В этом случае итог вычисляется следующим образом: суммируются значения каждого элемента оценивания умноженные на его вес:
(70-0,21+62-0,15+ 81-0,13 + + 62 ■ 0,1 + 76 ■ 0,12 + 80 + 69 ■ •0,12+86-0,04) = 69,69.
Проблема заключается в объективном назначении весов тем.
3) Медиана оценок — центральная оценка (или среднее из двух центральных) из отсортированного по возрастанию списка:
(62, 62, 69, 70, 76, 80, 81, 86)^ ^(70+76) / 2 = 73.
Преимущество перед средним в том, что медиана не подвержена влиянию со сто-
-e-
роны оценок, которые находятся слишком далеко от среднего.
4) Низшая оценка — наименьшая оценка после нормализации:
min (70, 62, 81, 62, 76, 80, 69, 86) = 62.
5) Высшая оценка — ни-большая оценка после нормализации:
max(70, 62, 81, 62, 76, 80, 69, 86) = 86.
6) Мода оценок — наиболее часто встречающаяся оценка. mode(70, 62, 81, 62, 76, 80, 69, 86) = 62.
Эта стратегия чаще используется с нечисловыми оценками. Преимущество перед средним в том, что мода не подвержена влиянию со стороны оценок, которые находятся слишком далеко от среднего. Однако эта стратегия теряет свой смысл, если несколько оценок будут встречаться часто (в итог попадет только одна) или все оценки.
7) Сумма оценок — сумма всех значений оценок:
(70+ 62+81+62+76+80+69+ 86)=586.
Из всех подходов только «взвешенное значение оценок» учитывает сложность темы учебного курса, путем определения весового коэффициента для теста, ассоциированного с этим модулем. Возникает проблема выбора оценок учебных модулей в рамках дистанционного учебного курса. В качестве научно обоснованного подхода к определению весов тем учебного курса
может быть использован алгоритм Саати8.
Применение алгоритма Саати для определения весовых коэффициентов сложности тем учебного курса
Вопросами использования метода оценки пар объектов по степени сходства между ними для процесса шкалирования занимался психолог J.P. Guilford9. Метод попарных сравнений также может быть успешно применен и к объектам, образующим структуру учебного курса.
Алгоритм Саати основан на автономном сравнении сложности тем учебного курса, выполняемом одним экспертом. Для каждой пары тем учебного курса эксперт указывает, в какой степени одна из них сложнее другой.
Пример
Рассмотрим применение этого метода на следующем примере.
Необходимо определить веса сложности тем лекций учебного курса «Основы трансляции»10 на основе консультации с экспертом. Темы лекций учебного курса «Основы трансляции» представлены в табл. 1.
^^то^оллоггияя
Киреев В.С. Метод анализа иерархий Саати в системе оценки инновационнос-ти образовательных проектов // Программные продукты и системы. 2011. № 4. С. 47.
Guilford J.P. Psychometric Methods. N.Y., Toronto, London: Mc-Grow-Hill, 1954.
-10-
Рыбанов А.А. Свид. о регистрации электрон.ресурса № 19360 от 22 июля 2013 г. / РАН, РАО, ИНИПИ РАО, Объединённый фонд электронных ресурсов «Наука и образование» РФ. Дистанционный учебный курс «Основы трансляции» для студентов бакалавриата по направлению 230100.62 «Информатика и вычислительная техника».
измерения
Таблица 1
Темы лекций учебного курса «Основы трансляции»
№ темы лекции Наименование темы лекции
Л Основные понятия и утверждения. Языки и грамматики. Примеры грамматик. Механизмы задания языков. Порождающая грамматика Хомского
Примеры построения грамматик. Иерархия порождающих грамматик Хомского
Л Стадии работы компилятора. Варианты взаимодействия блоков транслятора. Автоматные языки. Автоматные грамматики. Понятие конечного автомата. Детерминированный конечный автомат. Методы лексического анализа
Понятие Р-графа. Регулярные множества и регулярные выражения. Минимизация конечных автоматов
Л S-грамматика. Q-грамматика. ЬЬ(1)-грамматика. Подходы к преобразованию грамматик. Построение синтаксического анализатора методом рекурсивного спуска
Л Магазинный автомат. Эквивалентность магазинных автоматов и КС-грамматик. Построение магазинного автомата
Л Элементы теории перевода: преобразователи с магазинной памятью; схем синтаксически управляемого перевода; атрибутные грамматики
Л Проектирование пользовательского интерфейса: критерии и качество интерфейса, закон Фиттса, закон Хика, метод GOMS. Тестирование программ. Модели надежности программ
Принятие решения о назначении весов сложности темам учебного курса на основе алгоритма Саати выполняется в следующем порядке.
1) Экспертом заполняется матрица парных сравнений размером п х п , где п — количество тем учебного курса. Матрица заполняется по правилам, приведённым в табл. 2.
Если ¿-я тема легче, чем у-я, то указываются обратные оценки (1/з, 1/5, 1/7, 1/д). Могут использоваться промежуточные оценки (2, 4, 6, 8 и 1/2, 1/4, 1/б, 1/§), например, если ¿-я тема совсем немного сложнее у-й, то
можно использовать оценку Ху = 2 (тогда Ху = 1/2). На главной диагонали ставятся единицы.
Пусть эксперт заполнил матрицу парных сравнений тем учебного курса следующим образом (табл. з).
Здесь, например, элемент Х61 = 7 означает, что тема А6, по мнению эксперта, значительно сложнее, чем тема А1. Элемент Х45 = 1/5 7 означает, что тема А4 легче, чем тема А5. Элемент Хз1 = з означает, что тема Аз немного сложнее, чем тема А1.
2) Вычисляем оценки сложности тем — средние геометри-
Таблица 2
Правила заполнения матрицы парных сравнений алгоритма Саати
X.. Значение
1 ¿-я и :-я темы имеют примерно одинаковую сложность
3 ¿-я тема немного сложнее _/-й
5 ¿-я тема сложнее ]-й
7 ¿-я тема значительно сложнее ]-й
9 ¿-я тема явно сложнее ]-й
Таблица 3
Матрица парных сравнений тем учебного курса
А1 А 2 А3 А4 А5 А6 А7 А СО
А1 1 1/ /5 1/ / 3 1/ 5 1/7 1/7 1/7 1/5
А2 5 1 1/ 3 1/ 7 1/5 1/7 1/9 1/7
А3 3 3 1 1/ 5 1/7 1/ 9 1/9 1/3
А4 5 7 5 1 1/ 5 1/б 1/ 7 1/3
А5 6 5 7 5 1 1/3 1/5 1/3
А6 7 7 9 6 3 1 1/3 1/ 2
А7 7 9 9 7 5 3 1 1/ 2
А СО 5 7 3 3 3 2 2 1
ческие строк матрицы парных сравнений:
*=П п
X::
где п — количество тем учебного курса.
Алгоритм вычисления среднего геометрического состоит из следующих шагов:
1) перемножаем элементы каждой строки и записываем полученные результаты в столбец;
2) извлекаем корень п-й степени из каждого элемента найденного столбца;
3) складываем элементы этого столбца;
4) делим каждый из этих элементов на полученную сумму.
измерения
Нормализованную оценку для г-й темы рассчитываем по следующей формуле: Ъ
^п = пг
г п '
ы
г=1
где г — обозначение темы по строке в матрице парных сравнений. Пользуясь способом
приближенного вычисления собственных элементов матрицы парных сравнений, определим собственный столбец (вектор приоритетов) для рассматриваемых тем учебного курса. Далее необходимо осуществить операцию нормализации вектора приоритетов, что отражено в табл. 4.
Таблица 4
Нормализованные оценки вектора приоритетов
Тема учебного курса А А2 А3 А4 А5 А6 А7 А8
Вектор приоритета Ъ 0,234 0,319 0,425 0,852 1,483 2,456 3,624 3,054
Нормализованные оценки вектора приоритета Ъп 0,019 0,026 0,034 0,068 0,119 0,197 0,291 0,245
Нормализованные оценки вектора приоритетов и являются весами сложности тем учебного курса.
Рассмотренный подход соответствует процедуре установления относительной важности объектов по методу Т. Саати.
Для данного метода возможна проверка экспертных оценок на непротиворечивость. Проверка позволяет выявить ошибки, которые мог допустить эксперт при заполнении матрицы парных сравнений. Ошибки (противоречия) могут быть следующими: например, эксперт указывает, что 1-я тема легче 2-й, 2-я легче 3-й, и в то же время 1-я тема сложнее 3-й.
Рассмотрим проверку на непротиворечивость для задачи определения весов сложности тем лекций учебного курса «Основы трансляции»:
1. Находим суммы столбцов матрицы парных сравнений (табл. 5):
п
м] = 2 ^.
г=1
2. Рассчитываем вспомогательную величину Ь путем суммирования произведений сумм столбцов матрицы на веса альтернатив:
п
Ь = 2 ЪЪ МЪ. г=1
Для данного примера Ь = = 9,853.
Таблица 5
О
Сумма столбцов матрицы парных сравнений
Тема учебного курса А1 А3 А4 А5 А7 А8
М. | 39,000 37,200 39,667 22,543 12,710 6,897 4,041 4,343
3. Находим величину, называемую индексом согласованности (ИС):
ИС=1-п
п -1
Для данного примера ИС = = 0,226.
4. В зависимости от размерности матрицы парных сравнений находится величина случайной согласованности (СлС). Значения приведены в табл. 6.
В данном примере (для п = 8)
СлС = 1,41.
Таблица 6
Величины случайной согласованности
Размерность матрицы 3 4 5 6 7 8 9 10
СлС 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49
5. Находим отношение согласованности:
ИС
ОС = -
СлС
Если отношение согласованности превышает 0,2, то требуется уточнение матрицы парных сравнений.
В данном примере ОС = = °,226д 141. Таким образом, уточнение экспертных оценок в данном случае не требуется.
Таким образом, получены веса сложности тем учебного курса «Основы трансляции», которые могут быть использованы в формуле выставления итоговой оценки по всему курсу:
ио=х кп а,
¿=1
где ИО — итоговая оценка по учебному курсу; О¿ — итоговая оценка по результатам тестирования по ¿-й теме учебного курса; кп — вес сложности ¿-й темы учебного курса.
Заключение
Рассмотренный подход определения весовых коэффициентов сложности тем учебного курса на основе алгоритма Саати может быть положен в основу дистанционных систем обуче-
Методология
измерения
ния и контроля для повышения точности измерения усвоенных пользователями знаний. Полученные весовые коэффициенты тем учебного курса могут быть использованы в качестве целевых показателей для
задач кластеризации и классификации тем учебного курса по таким входным показателям, как количественные критерии качества квантования учебного курса и количественные метрики сложности учебного курса.
