ФОРМИРОВАНИЕ УМЕНИЙ ПО ОПРЕДЕЛЕНИЮ МЕРЫ СОГЛАСОВАННОСТИ ОЦЕНОК ЭКСПЕРТОВ НА КОНКУРСЕ Текст научной статьи по специальности «Компьютерные и информационные науки»

2008 СЕВЕРНЫЙ РЕГИОН: НАУКА, ОБРАЗОВАНИЕ, КУЛЬТУРА №1

ПРОБЛЕМЫ ОБРАЗОВАНИЯ

П.И. Совертков

ФОРМИРОВАНИЕ УМЕНИЙ ПО ОПРЕДЕЛЕНИЮ МЕРЫ СОГЛАСОВАННОСТИ ОЦЕНОК ЭКСПЕРТОВ НА КОНКУРСЕ

В настоящее время проводится много различных конкурсов, на которых осуществляется оценка уровня знаний и умений. Игровая деятельность в обучении и контроль знаний посредством конкурсов все больше и больше входят в нашу жизнь.

Часто можно услышать от учеников и их наставников мнение о том, что оценивание на конкурсе таким-то экспертом существенно отличалось от оценивания остальных экспертов. Какую же меру оценки выбрать для определения согласованной работы нескольких экспертов?

Объективная оценка уровня знаний и умений является необходимым условием педагогического процесса. Формируя комиссию для проведения конкурса, мы должны иметь критерий сравнения согласованности оценок членов комиссии. Например, организаторы единого государственного экзамена придают большое значение определению меры согласованности оценок экспертов по проверке работ двумя, а иногда и тремя экспертами.

После окончания конкурса в департаментах образования региона проводится анализ работы экспертных комиссий. Практика показывает, что в основном осуществляется поверхностный анализ. Добавим к этому, что в курсе теории вероятностей и математической статистики, читаемом в педагогических вузах, не решаются практические задачи, связанные с профессиональной подготовкой по этому направлению. Образцы решения задач по обработке результатов педагогического эксперимента должны стать обязательным элементом в таком курсе, а некоторые задачи, решаемые средствами элементарной математики, можно использовать в элективном курсе по математике в школе.

Значимой проблемой для организаторов конференции "Шаг в будущее" является формирование групп экспертов для оценки исследовательских проектов и последующий анализ работы экспертов.

Известны непараметрические методы оценки гипотез математическими методами. Сложный теоретический аппарат математической статистики для учащихся и учителей создает психологический барьер по их применению.

Некоторые формулы для обработки результатов педагогического эксперимента могут быть получены на интуитивном и более простом уровне. Это позволяет более глубоко понять смысл, заложенный в формулы математической статистики. С другой стороны в этом случае можно увидеть наглядное применение определения суммы последовательности чисел для практического применения, которое часто используется в элективных курсах по математике.

Рассмотрим эвристический подход к получению формулы для коэффициента ранговой корреляции Спирмена.

Дидактическая ценность представленного далее исследования состоит в следующем:

- формируется метод моделирования меры согласованности выставленных оценок на конкурсе;

- определяются мотивы выбора коэффициента ранговой корреляции Спирмена;

- устанавливается связь раздела оценки качества образования с математической статистикой;

- излагается метод компьютерной обработки результатов измерения;

- демонстрируется применение метода определения суммы числовой последовательности для решения практической задачи.

Оценка исследовательских работ учащихся и студентов проводится по следующей схеме (табл. 1).

Таблица 1

Направления Позиция Максимальный бал Оценочный бал

I. Оценка собственных достижений автора (тах балл - 50)

1.1. Использование знаний вне школьной программы 15

1.2. Научное и практическое значение результатов работы 15

1.3. Новизна работы 10

1.4. Достоверность результатов работы 10

II. Эрудированность автора в рассматриваемой области (max балл - 20)

2.1 Использование известных результатов и научных фактов в работе 10

2.2. Знакомство с современным состоянием проблемы 5

2.3. Полнота цитируемой литературы, ссылки на ученых и исследователей, занимающихся данной проблемой 5

III. Композиция работы и ее особенности (max балл - 30)

3.1. Цель работы 10

3.2. Логика изложения, убедительность рассуждений, оригинальность мышления 10

3.3. Структура работы 10

Нами предложен метод сравнения оценок трех экспертов на секции конференции. Идея метода сравнения оценок экспертов известна давно [1, 2, 4], но она не адаптирована для сравнения меры согласованности экспертов на конференциях молодежного творчества. В современных условиях методы обработки педагогического эксперимента можно значительно ускорить благодаря применению компьютерных технологий.

Приведем иллюстрацию метода для оценок трех экспертов на секции "Математика и физика" окружной научно-социальной конференции Ханты-Мансийского автономного округа.

Три эксперта оценили творчество двенадцати учащихся, представивших исследовательские работы на конкурс по сто балльной системе (табл. 2).

Таблица 2

Работа Эксперт 1 2 3 4 5 6 7 8 9 10 11 12 Е

эксперт А 96 94 90 88 82 80 78 77 75 69 63 55 947

эксперт В 90 91 88 94 85 75 75 70 70 70 70 55 933

эксперт С 83 84 80 76 70 67 67 67 64 55 56 48 827

Сумма баллов за работу 269 269 258 258 237 222 220 214 209 194 189 158

Рис. 1

График рангов оценок экспертов

1 2 3 4 5 6 7 8 9 10 11 12

номер исследовательской работы

Третья и четвертая работы получили одинаковое количество баллов. По условиям организации конференции среди работ выделяется три призовых места, поэтому в этом случае возникает проблема, одной из причин которой является расхождение мнений экспертов при оценке работ. Первые две работы также набрали одинаковое количество баллов. Конечно, в этом случае можно объявить, что эти работы поделили первое и второе места, но по условиям конкурса трем лучшим работам приготовлены призы разного значения. Учащийся, занявший первое место на окружном уровне, рекомендуется для участия во Всероссийской конференции. Учащийся, занявший второе место на окружном уровне, рекомендуется для участия в конференции зонального уровня. Следовательно, нужно объективное оценивание выступлений участников конференции.

Для анализа согласованности работы экспертов нужна оценка, использующая математические расчеты.

Первоначальный взгляд на суммы баллов, выставленные экспертами, (А - 947, В -933, С - 827) создает впечатление, что оценки экспертов А и В близки, а оценки эксперта С являются заниженными. (Из пояснения эксперта С о своей системе оценивания: "Я знаю систему оценивания работ на конференциях федерального уровня. Она является более требовательной к новизне и актуальности научных работ, поэтому я стараюсь выдержать уровень требований на федеральном уровне").

Конечно, для конференции окружного уровня важным критерием является не величина баллов, а ранжирование участников по значимости работ. В основу оценки работы экспертов нужно положить умение ранжировать участников конференции.

—♦— ранг А —■— ранг В —а— ранг С

Чтобы осознать мотивацию определения некоторого математического аппарата для оценки меры согласованности рассмотрим вначале следующий вспомогательный модельный случай.

Пусть три эксперта выставили следующие оценки (табл. 3).

Таблица 3

Работа Эксперт 1 2 3 4 5 6 7 8 9 10 11 12

экспертА 96 94 90 88 82 80 78 77 75 69 63 55

эксперт D 55 63 69 75 77 78 80 82 88 90 94 96

эксперт E 86 84 80 78 72 70 68 67 65 59 53 45

Рис. 2

Таблица и график выставленных оценок показывают, что оценки экспертов А и Е значительно отличаются, но они одинаково определили претендентов на призовые места, т.е. их деятельности по определению призовых работ полностью согласованы.

Присвоим каждой оценке эксперта ранг, т.е. номер призового места. Рассмотрим ранги двух экспертов А и D, оценки которых анти согласованы в полной мере при проверке n работ. Представим их ранги в виде перестановки, где в первой строке указаны ранги одного эксперта, а во второй строке ранги второго эксперта. (12 3 ... n - 2 n -1 n\

Kn n -1 n - 2 ... 3 2 1,

В качестве меры отклонения рассмотрим сумму квадратов разностей рангов по каждой работе, т.е.

S(n) = (n - 1)2 + ... + (2 - (n -1))2 + (1 - n)2

S(n) = (n - 1)2 + (n - 3)2 + (n - 5)2 ... + (n - 5)2 + (n - 3)2 + (n - 1)2

Заменяя число n на (n - 2), получим равенство

S(n -2) = (n - 3)2 + (n - 5)2 ... + (n - 5)2 + (n - 3)2 .

Сравнивая последние два равенства, получим возвратное равенство для определения суммы

S(n) = S(n -2) + 2(n - 1)2

(1)

Для n, изменяющегося от 1 до 5, используя определение суммы S(n) или формулу (1), получаем

m г 1 2 ^

n = 1,

n = 3,

n = 5,

чЪ

, S (1) = О n = 2,

г 12 3^

ч2 1J

, S(2) = 2

ч3 2 1J

, S(3) = 8 n = 4, г 1 2 3 4

Г1 2 3 4^

ч4 3 2 1J

, S (4) = 20

ч5 4 3 2 1J

, S (5) = 40

Для нечетного числа n получаем сумму

S(n) = (n - 1)2 + ... + 42 + 22 + О2 + 22 + 42 + ... + (n - 1)2

S(n) = 2^22 + 42 +... + (n -1)2)= 8

Г ( л^2\

,2 ~2 Г n -1 12 + 22 +... +

2

или

Используя формулу [3], получаем

12 + 22 + 32 + ... + (n - 1)2 + n2 = n(n + 1)(2n + 10

6

S (n) =

n (n 2 -1) 3

Если n - четное число, то получаем сумму

S(n) = (n - 1)2 + (n - 3)2 + ...32 + 12 + 12 + 32 ... + (n - 3)2 + (n - 1)2 ; S(n) = 2(12 + 32... + (n - 3)2 + (n - 1)2) .

S(n) = 2(12 + 22 + 32 + 42 + . + (n - 1)2 ) + n¿ - (22 + 42+. + (n2))

2 \ i ,„2 s/~)2 i л2

f

S (n) = 2

n(n + 1)(2n +1) 6

f

- 4

12 + 22 + 32 +... +

n

2

JJ

= 2

'n (n + 1)(2n +1) n (n + 2)(n +1) n (n2 -1)

6

6

3

Таким образом, независимо от четности числа n, получаем формулу

S (n) =

n (n 2 -1) 3

2

Введем обозначение ранга г¡к, присвоенного эксперту, имеющему номер i, за его оценку работы с номером к.

Можно рассмотреть коэффициент

К =

n n

! (ггк - rjk )2 3! (ггк - rjk )2 k=1 к=1

у Я(п) п (п 2 -1)

который показывает отношение суммы разностей квадратов рангов по всем работам между экспертами с номерами i и у к соответствующей сумме анти согласованных оценок.

Для двух экспертов А и Е, оценки которых полностью согласуются ку = 0, а для двух экспертов А и О, оценки которых анти согласованы, ку = 1.

На практике принято рассматривать другой коэффициент

п

61 (Гк - Гк )2

Р. = 1 - к"

n(n2 -1)

который называется коэффициентом ранговой корреляции Спирмена [1, с. 201-204; 2, с. 335-340; 4, с. 118-120].

Для двух экспертов А и Е, оценки которых полностью согласуются рв = 1, а для двух экспертов А и D, оценки которых анти согласованы, рв = - 1. Между этими коэффициентами установим зависимость рв = 1 - 2kj.

Таким образом, мы нашли важное применение суммы квадратов чисел для обработки результатов эксперимента.

Определим экспертов, оценки которых наиболее согласуются, используя коэффициент ранговой корреляции Спирмена (табл. 4). Присвоим ранги х,, y,, z, соответствующим оценкам экспертов A, B, C, упорядочивая ранги в порядке убывания оценок (см. строки 1,3,5 в таблице Excel).

Ранги одинаковых оценок одного эксперта равны среднему арифметическому порядковых номеров оценок. Например, две оценки 75 и 75 эксперта В поделили шестое и седьмое места при расположении оценок в порядке убывания, следовательно этим оценкам присваиваем одинаковые ранги 6,5. Четыре оценки 70, 70, 70, 70 эксперта В поделили 8, 9, 10, 11 места, поэтому этим оценкам присваиваем ранги 9,5.

Для каждого индекса вычислим квадраты разностей рангов (х, - у,)2, (х, - zj)2, (y, - z,)2 и найдем коэффициенты ранговой корреляции для каждой пары экспертов.

Например,

1 2

б! (х, - y, )2

рВ | AB = 1 3 ,

n - n '

где n - объем выборки (число работ), т.е. Рв\ав = 0,93, Pb\ac = 0,93, рв\вс = 0,93.

Расположим пары экспертов в порядке убывания коэффициента ранговой корреляции: А и С, А и В, В и С. Выбирая наибольший коэффициент рв\ ас = 0,98 , получаем, что оценки экспертов А и С согласуются в наибольшей степени.

Использование таблицы Excel позволяет упростить вычисление коэффициента ранговой корреляции. В таблице 4 содержание ячейки В8 вычисляется на основе других ячеек = (B1 - B3)A2. Ячейки С8-М8 заполняются распространением выражения из ячейки В8, т.е. выделением В8 и распространением с помощью мыши вправо до В8. Аналогично для В9 и В10.

Ячейка N8 заполняется как сумма ячеек В8-М8. Аналогично для ячеек N9, N10.

В ячейке О8 вычисляем выражение по формуле = 1-6*N8/($MF1A3 - $M$1), содержание ячеек О9, 010 получаем аналогично распространением содержания ячейки О8.

Таблица 4

Задачи для самостоятельного решения

А В С D Е F G Н I J К L М N 0

1 ранги 1 2 3 4 5 6 7 8 9 10 11 12 Коэф.

2 оценка А 96 94 90 38 82 80 78 77 75 69 63 55 947 ранговой

3 ранг у1 3 2 4 1 5 6,5 6,5 9,5 9,5 9,5 9,5 12 корреля-

4 оценка В 90 91 83 94 85 75 75 70 70 70 70 55 933

5 ранг:1 2 1 3 4 5 7 7 7 9 11 10 12 ции

6 оценка С S3 84 80 76 70 67 67 67 64 55 56 48 817 Спирмена

7 Сумма баллов 269 269 258 258 237 222 220 214 209 194 189 158

квадраты

разностей

рангов

8 (*> -л)2 4 0 1 9 0 0,25 0,25 2,25 0,25 0,25 2,25 0 19,5 0,93

квадраты г г г г г г г г

разностей

рангов

9 1 1 0 0 0 1 0 1 0 1 1 0 6 0,98

квадраты

разностей

рангов

10 (л 1 1 1 9 0 0,25 0,25 6,25 0,25 2,25 0,25 0 21,5 0,92

1. Чтобы определить, является ли значимой связь рангов двух экспертов, предлагаем познакомиться с проверкой такой гипотезы в пособии [1, с. 244, 245].

2. Напишите компьютерную программу для дальнейшего упрощения вычисления коэффициентов ранговой корреляции Спирмена.

Для этого предусмотрите ввод следующих параметров: п - число работ, представленных на конкурс, A(n), B(n), С(п) - массивы для ввода оценок экспертов А,В, С. В программе предусмотрите присвоение рангов каждой оценке эксперта, т.е. создание трех новых массивов А0(п), В0(п), С0(п) и вычисление коэффициентов ранговой корреляции для каждой пары экспертов.

Основная проблема для учащихся состоит в том, что на уроках математики мало используются доступные для них средства обработки статистических данных, новые информационные технологии обучения.

На уроках информатики в профильных классах демонстрируются современные средства обработки статистических данных. В изучаемых пакетах достаточно вставить статистические данные, после чего пакеты проведут вычисления и представят результат. Для конечного результата мы получаем в этом случае большую экономию времени для изучения, большую степень точности, но для самого процесса изучения математической теории в этот момент развитие мышления прерывается и наступает акт веры в конечный результат с поглощением промежуточных результатов.

Но как найти золотую средину, чтобы учащиеся наблюдали промежуточные результаты, и благодаря этому фиксировали в своей памяти основные этапы, а в каждом этапе - цепочку вычислений, но вместе с тем ускоряли процесс вычисления, передавая часть рутинных вычислений компьютеру?

Нужны учебные модели, не только демонстрирующие часть промежуточных вычислений, но и предоставляющие возможность аналогично расширить эту модель. Для этого необходимо четкое понимание всех этапов моделирования задачи.

Таблица 5 Таблица 6

Число баллов Число баллов

эксперта В эксперта С

90 83

91 84

88 80

94 76

85 70

75 67

75 67

70 67

70 64

70 55

70 56

55 48

Число баллов эксперта В Число баллов эксперта С Ранжирование работ экспертом С

91 84 1

90 83 2

88 80 3

94 76 4

85 70 5

75 67 7

75 67 7

70 67 7

70 64 9

70 56 10

70 55 11

55 48 12

Тренинг освоения этапов вычисления коэффициента ранговой корреляции Спирме-на нами осуществляется на более простой модели для двух экспертов.

В электронной таблице Excel заполняются столбцы о количестве баллов, выставленных за работы первым и вторым экспертами (таблица 5).

Далее работы нужно ранжировать вначале в порядке убывания баллов, выставленных вторым экспертом, а затем в порядке убывания баллов, выставленных первым экспертом.

Для сортировки данных на компьютере рассмотрим следующую последовательность операций.

Устанавливаем указатель в любую ячейку списка. В подменю Данные/Фильтр выбираем команду Автофильтр. Рядом с именами полей появятся изображения кнопок со стрелками, нажав которые можно открыть список.

Откроем список для поля, значение которого хотим использовать в качестве фильтра (критерии отбора), и выберем сортировку по убыванию. Нажав кнопку ОК, получим отсортированные списки в соответствии с выбранным критерием. Выставляем порядок работ, определенный вторым экспертом (таблица 6).

Аналогично сортируем поле, содержащее количество баллов, выставленных первым экспертом, и указываем порядок работ по этому критерию (таблица 7).

Каждая работа получила координаты (уь z1), если за основу выбрано ранжирование по оценкам эксперта В.

В пятом столбце находим разности координат. В шестом столбце вычисляем сумму квадратов разностей координат

12

К ^ - )2

г=1

Для этого используется функция СУММКВ^3^14). В последнем столбце вычисляем по формуле коэффициент ранговой корреляции Спирме-на.

Отличие двух способов, приведенных в таблице 4 и в таблицах 5-7, состоит в том, что последний способ позволяет автоматически сортировать количество баллов, выставленных различными экспертами. Если количество работ увеличивается, то вероятность ошибиться при ранжировании работ вручную возрастает. Кроме этого, компьютерная сортировка данных может быть осуществлена по нескольким условиям, что иногда требуется при подведении итогов.

Использование представленного метода в профильном курсе по математике для анализа оценок трех экспертов на секции конференции позволило сформировать среди учащихся новое отношение к другим конкурсам. Учащиеся осознанно проводили сравнение на основе математических расчетов, уточняя модель для другого числа экспертов и другого числа участников конкурса. Но самое ценное в том, что в результате овладения

Таблица 7

Ранжирование работ экспертом В Число баллов эксперта В Число баллов эксперта С Ранжирование работ экспертом С У1 -11 Сумма квадратов У1 -11 Коэфф. Спирме-на

1 94 76 4 -3

2 91 84 1 1

3 90 83 2 1

4 88 80 3 1

5 85 70 5 0

6,5 75 67 7 -0,5

6,5 75 67 7 -0,5

9,5 70 67 7 2,5

9,5 70 64 9 0,5

9,5 70 56 10 -0,5

9,5 70 55 11 -1,5

12 55 48 12 0 21,50 0,92

описанным методом учащийся, воспринимая конкурс как шоу (будучи зрителем), или как ступень для достижения определенного результата (являясь участником конкурса), умеет провести частичный анализ этого мероприятия посредством определения меры согласованности оценок экспертов.

Примечания

1. Гмурман В.Е. Руководство к решению задач по теории вероятностей и математической статистике: Учебное пособие. - М.: Высш. шк., 2004. - 404 с.;

2. Гмурман В.Е. Теория вероятностей и математическая статистика: Учебное пособие. М.: Высш. шк., 1999. - 479 с. ;

3. Семенов В.И. Об искусстве индуктивного предположения // Математика в школе. - 1994. - № 2. - с. 21-22. ;

4. Саранцев Г.И. Методология методики обучения математике. - Саранск: Красный Октябрь, 2001. - 144 с.