Факторный групповой анализ результатов ЕГЭ по математике Текст научной статьи по специальности «Науки об образовании»

Эти значения используются для оценки уровня знаний и уровня усвоения знаний и построения карты знаний учащегося.

Модель решения тестового задания учащимся. Пусть запротоколированные действия пользователя выглядят так: «х = резСравнения(23,31)».

В этом случае мы можем сделать вывод, что ученик применил свойство сравнения, и исследовать соответствующую ветвь дерева решений.

Рис. 3. Путь решения задания испытуемым

Если ученик отметил и дальнейшие действия - «х = резСравнения(2,3)», то мы можем извлечь еще больше информации. В данном случае он правильно идентифицировал ситуацию сравнения первых цифр при равенстве порядков (рис. 3). На рисунке видно, какие знания применяет учащийся. Эту информацию можно использовать для уточнения карты знаний испытуемого. В свою очередь, карта знаний содержит оценки условных вероятностей правильного распознания ситуации (знания ситуации), правильного разрешения ситуации и знания и использования УЭ в целом.

Выводы. Рассмотрен новый подход к тестированию, при котором модель тестового задания строится на основе сети знаний учебного модуля. Модель тестового задания строится на основе дерева путей решений. Дерево путей решений описывает структуру ситуаций, возникающих при применении операций или свойств УЭ. На основе дерева решений можно объективно оценить трудоемкость и сложность задания, а также вероятность его решения «средним испытуемым». На основе оформленной части решения можно сужать дерево возможных решений испытуемого. Для построения масштабируемой модели знаний учащегося можно использовать байесовскую сеть, условные вероятности для которой оцениваются по результатам тестирования.

Работа поддержана РФФИ, грант 08-07-00217а.

=10- Литература

Нехаев И.Н. Математическая модель уровня усвоения знаний // Школьные технологии. 2009. № 6.

Факторный групповой анализ результатов ЕГЭ по математике

Нехаев Игорь Николаевич (garry_nekhaev@mail.ru), Красильников Михаил Игоревич (mi.krasilnikov@gmail.com)

ГОУВПО «Марийский государственный технический университет», г. Йошкар-Ола

Аннотация

В статье анализируются результаты тестирования ЕГЭ по математике с помощью факторного анализа и алгоритма экстремальной группировки параметров. Основная цель исследований -выявить, что можно измерить контрольно-измерительными материалами ЕГЭ по математике.

Введение. Многими авторами подчеркивается необходимость использования тестовых заданий (ТЗ) разного уровня сложности для создания таких тестов [1]. Однако иногда сложность предложенных в тесте заданий сильно превышает уровень подготовки учащихся. Так нужны ли в тесте такие задания? Чтобы дать аргументированный ответ, проанализируем, что же проверяют тестовые задания ЕГЭ по математике? О чем говорит итоговый балл ЕГЭ по математике? Какую еще информацию можно получить из результата тестирования? Зачем нужны задания части 3?

Информационные технологии в обучении

153

Для этого проведем факторный анализ результатов тестирования, выявим минимальное количество факторов, с достаточной степенью точности объясняющих эти результаты, и попытаемся проинтерпретировать их.

Для исследования были взяты результаты ЕГЭ по математике за 2006 год. Количество объектов (тестируемых выпускников) в матрице данных равнялось 577. Тестируемые - это абитуриенты второй волны, сдающие ЕГЭ в июле.

Факторный анализ тестовых заданий. Будем предполагать линейную связь между измеряемыми параметрами и факторами:

^=х«* • ^.

Здесь X - это столбец матрицы результатов тестирования, соответствующий _)-му заданию теста (параметр), / - к-й общий фактор, а аку - факторная нагрузка, показывающая степень влияния конкретного фактора на параметр [3]. Если для объяснения результатов измерений было задействовано меньше общих факторов, чем измерено параметров (что, собственно, и является желаемым результатом факторного анализа), то модуль X (вектор ошибки аппроксимации '-го параметра или характерный фактор) будет отражать погрешность такой аппроксимации. Для вычисления факторных нагрузок используем метод главных компонент [2].

0.18

.0.171 ,

0.16

егг;-пТе81р

-0.14

пТеэ1р -1

ее

0.12

.0.109 ,

0.1

Рис. 1. Зависимость среднего квадрата характерных факторов от количества используемых для аппроксимации общих факторов по формуле (1)

На рисунке 1 показано убывание погрешности аппроксимации с ростом количества общих факторов. Из рисунка видно, что погрешность снижается значительно при использовании 5-6 общих факторов для аппроксимации параметров. Анализ распределения абитуриентов по значениям факторов показывает, что явно выделяются первые три фактора.

По остальным факторам получается распределение, близкое к нормальному (рис. 2а, б). На рисунках 3-4 представлены диаграммы факторных нагрузок для первых шести по значимости главных факторов. По оси абсцисс указаны номера заданий теста ЕГЭ: С 1-го по 10-е задания - это блок А, с 11-го по 21-е - блок В, а с 22-го по 26-е - блок С.

(Кгедр81) 2 X 200

(Кгедр8 2) 2

е-е

(й^^)^ I00

|рге4р84)<2>200 (Кгедр85)^2>

ео "

(к^6)<2>100

(Кгедр81)^1>,(Кгедр82)^1> ,(КгедКзз)

/ \

1 // 1 • д 1

> ^¡п гп А

(Кгедр84)^1>,(Кгедр85)^1>,(Кгедр86)^>

300

300

0

0

4

-2

0

2

6

-4

-2

0

2

4

6

Рис. 2. Полигоны распределения частот абитуриентов по значениям факторов а) 1-го, 2-го, 3-го; б) 4-го, 5-го, 6-го

.0.733,

(КоопА;)

Ф

(Кеогг02) X

.0.029,

0

0 2 4 6 8 10 12 14 16 18 20 22 24 26

Лет^ .26,

Рис. 3. Диаграмма факторных нагрузок для первых двух по значимости факторов. По оси абсцисс указаны номера заданий теста ЕГЭ: С 1-го по 13-е задания - это часть 1, с 14-го по 23-е - часть 2, а с 24-го по 26-е - часть 3

Лийр .26,

Рис. 4. Диаграмма факторных нагрузок для 3,4-го по значимости факторов. По оси абсцисс указаны номера заданий теста ЕГЭ: С 1-го по 10-е задания - это блок А, с 11-го по 21-е - блок В, а с 22-го по 26-е - блок С

Чтобы проинтерпретировать факторы, необходимо проанализировать содержание заданий теста. Мы используем значения факторов для выделения групп заданий теста и проанализируем каждую группу вместо анализа каждого из 26 заданий.

Экстремальная группировка параметров (заданий теста). Другой подход к обработке результатов тестирования заключается в рассмотрении корреляций заданий теста. В методе «экстремальная группировка параметров» параметры делятся на фиксированное количество групп. Для оценки качества разбиения выбирается функционал, значение которого возрастает по мере увеличения взаимной корреляции параметров внутри групп и уменьшения связей между параметрами в разных группах. На каждом последующем шаге алгоритма предпринимается попытка переместить очередной параметр из текущей группы в другую таким образом, чтобы это привело к возрастанию функционала. Если при проверке всех параметров не было произведено ни одного перемещения, то алгоритм завершает работу. На получаемые таким методом результаты влияет как выбор функционала, так и начальное разбиение.

Функционал разбиения представляет собой сумму частных функционалов. Для каждой группы параметров (ТЗ) вычисляется частный функционал, равный сумме квадратов (или модулей) коэффициентов корреляции каждого параметра с главным фактором для группы. Рассматривалось количество групп, равное 3, 5 и 7. При начальном разбиении на три группы задания можно разделить так же, как они группируются в билете ЕГЭ: группа А (1-10), группа В (11-19), группа С (20-26). Или задания части 1 (1-13), части 2 (14-23) и части 3 (24-26). Для получения начального разбиения на большее количество групп использовалось равномерное разбиение или учитывались результаты предварительного анализа содержания заданий (табл. 1). В результате работы алгоритма были получены следующие результаты для 5 и 7 групп (табл. 2).

Информационные технологии в обучении

155

Таблица 1

Начальные разбиения заданий на группы

Начальное разбиение Кол-во групп Группы заданий теста Значение функционала

№ 2а 5 1 гр. 2 гр. 3 гр. 4 гр. 5 гр. = (1, 2, 3, 5, 13, 22), = (4, 7, 9, 10, 11, 14), = (6, 8, 12, 15), = (16, 17, 18, 19), = (20, 21, 23, 24, 25, 26) = 12,1

№ 2Ь 5 1 гр. 2 гр. 3 гр. 4 гр. 5 гр. = (1, 2, 3, 4, 5), = (6, 7, 8, 9, 10), = (11, 12, 13, 14, 15), = (16, 17, 18, 19, 20), = (21, 22, 23, 24, 25, 26) = 12,03

№ За, рогс^ = 1; рогс^ = 3; 7 1 гр. 2 гр. 3 гр. 4 гр. 5 гр. 6 гр. 7 гр. = (1, 2, 3), = (4, 5, 6, 7), = (8, 9, 10, 11), = (12, 13, 14), = (15, 16, 17, 18), = (19, 20, 21, 22), = (23, 24, 25, 26) = 13,5 = 13,07

№ ЗЬ, рогс^ = 1; рогс^ = 3; 7 1 гр. 2 гр. 3 гр. 4 гр. 5 гр. 6 гр. 7 гр. = (1, 2, 3, 5, 13, 22), = (4, 7, 9, 10, 11, 14), = (6, 8, 12), = (15, 16, 19, 20), = (24, 25, 26), = (17, 18, 21), = (23) = 13,7 = 13,27

Параметр рот^ служит для задания порога удаления из матрицы результатов тестирования строк с результатами слабых учащихся, которые в сумме баллов набрали меньше, чем пороговое значение. По умолчанию порог равен 1.

Таблица 2

Результаты группировки заданий теста

Нач-ое разб. Колич. измен. Группы заданий теста Значение функционала

Любое - Гр. 1 = (1-14, 22), Гр. 2 = (15-21, 23), Гр. 3 = (24-26) = 10,99

№ 2а 13 1 гр.: = (2-5, 12,13), 2 гр.: = (1, 7, 8, 9, 10,11, 14,22), 3 гр.: = (6), 4гр.: = (15, 16, 17, 18, 19, 20, 21, 23), 5 гр.: = (24,25,26) = 12,78

№ 2Ь 11 1 гр.: = (2-5, 12, 13), 2 гр.: = (1, 6, 7, 10), 3 гр.: = (8, 9,11, 14, 22), 4 гр.: = (15-21, 23), 5 гр.: = (24, 25, 26) = 12,76

№ 3а, рогс^ = 0 16 1 гр.: = (5), 2 гр.: = (2,3, 4,12,13), 3 гр.: = (1, 6,7,10), 4 гр.: = (8, 9,11, 14,22), 5 гр.: = (15,16, 17,18, 23), 6 гр.: = (19,20,21), 7 гр.: = (24,25,26) = 14,25

№ 3а, рогс^ = 3 14 1 гр.: = (5), 2 гр.: = (2,3, 4,12,13), 3 гр.: = (1, 6,10), 4 гр.: = (7, 8, 9,11, 14,22), 5 гр.: = (15,16, 17,18, 23), 6 гр.: = (19,20,21), 7 гр.: = (24,25,26) = 13,84

№ 3Ь, рогс^ = 0 16 1 гр.: = (2, 3, 4, 5,12, 13), 2 гр.: = (1, 7,10), 3 гр.: = (6), 4 гр.: = (15, 19,20), 5 гр.: = (24,25,26), 6 гр.: = (8, 9,11,14,22), 7 гр.: = (16,17,18,21,23; = 14,275

№ 3Ь, рогс^ = 3 16 1 гр.: = (2, 3, 4, 5,12, 13), 2 гр.: = (1, 6, 10), 3 гр.: = (8, 4), 4 гр.: = (15, 19,20), 5 гр.: = (24,25,26), 6 гр.: = (7, 9,11,14,22), 7 гр.: = (16,17,18,21,23) = 13,78

В таблице выделены и подчеркнуты самые характерные задания группы. Видим, что, несмотря на различие в количествах групп, в начальных разбиениях и в пороговых значениях, существуют закономерности в экстремальной группировке заданий. Отчетливо выделяются 5 групп заданий. Проанализируем их содержание.

Анализ содержания групп тестовых заданий

Таблица 3

Содержательная характеристика групп заданий теста

Группы заданий Содержание

1 гр. = (2, 3, 4, 5,12,13) Простые задания на знание и самое простое воспроизведение

2 гр. = (8, 9, 1114,22) Типовые задания, требующие небольшого количества формально-логических выкладок-преобразований

3 гр. = (15,16,17,18, 23), Вообще говоря, нетиповые задания средней сложности, требующие понимания, анализа и умения применять знания

5 гр. = (19, 20, 21) Нетиповые текстовые и геометрические задания средней сложности, требующие понимания, анализа и умения применять знания, строить модель задания.

6 гр. = (24, 25, 26) Нетиповые задания высокого уровня сложности, кроме всего вышеперечисленного требуют умения синтезировать решение, умение оценивать знания и выбирать стратегию решения задания.

Результатом анализа содержания тестовых заданий явилась следующая интерпретация общих факторов (табл. 4).

Таблица 4

Характеристика групп заданий теста (средние значения коэффициентов корреляции тестовых заданий группы с факторами)

Группы заданий теста Факт. 1 Факт. 2 Факт. 3 Факт. 4 Факт. 5 Факт. 6

1 гр.: = (2-5, 12, 13) +0,5 +0,1 -0,18 -0,1 -0 -0

2 гр.: = (8, 9, 11, 14, 22) +0,6 +0,3 -0,4 - - +0,1

3 гр.: = (1, 6, 7, 10) +0,5 +0,15 -0,2 -0 -0 0

4 гр.: = (15-18, 23) +0,6 +0,7 0 - +0 -0

5 гр.: = (19, 20, 21) +0,55 +0,6 +0,1 -0,3 +0,1 +0

6 гр.: = (24, 25, 26) +0,45 +0,62 +0,27 +0,27 -0,2 +0

Фактор № 1 является интегральным и отвечает за общий уровень знаний. Данный фактор проверяется всеми заданиями теста и пропорционален набранным баллам. Именно он и отображается как результат теста. Коэффициент корреляции с суммарным баллом составляет 0,998. Однако следует отметить, что явно выделяются остаточные «тени» еще, по меньшей мере, двух факторов. Фактор № 2 можно интерпретировать как отражение уровня понимания и умения применять имеющиеся знания. Поэтому он хорошо коррелирует именно с заданиями частей 2 и 3. Он положителен только для тех тестируемых, которые характеризуются небольшим объемом знания или для очень хорошо под -готовленных абитуриентов, для которых уровень знания превышает 60-70 % от общего [3]. Анализируя корреляцию фактора № 3 с заданиями теста, можно сказать, что он характеризует дихотомию -склонность к формально-логическому решению (отрицательные значения) или к «мягкому» способу решения, к образному мышлению (положительные значения).

Выводы. Анализ содержания тестовых заданий показал, что задания первой части (А1-А10, В1-В3) и некоторые задания части 2 проверяют общий уровень знания и способности к формальному мышлению. Задания частей 2, 3 проверяют еще анализ и умение применять знания. Задания 3-й части проверяют еще и способность к синтезу решения, к образному математическому мышлению. Показано, что «многознание не есть знание» и что большинство поступающих 2-й волны (более 80 %) либо мало знают, либо не усвоили свои знания и склонны к формальному мышлению.

Работа поддержана РФФИ, грант 08-07-00217а.

=1£$- Литература

1. Аванесов B.C. Знания как предмет педагогического измерения // Школьные технологии. 2006. № 3.

2. Браверманн Э.М., МучникИ.Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983. 464 с.

3. БеспалькоВ.П. Параметры и критерии диагностичной цели // Школьные технологии. 2006. № 1.