CC BY
78
Б.С. Кирьяков
ДИДАКТИЧЕСКАЯ МОДЕЛЬ ТЕСТОВОЙ СИСТЕМЫ ОЦЕНКИ: ОДНОКРАТНОЕ И КРАТНОЕ ТЕСТИРОВАНИЕ
Предложена интерпретация тестовой системы оценки при однократном и кратном тестировании на основе специальной дидактической модели. Выявлена взаимосвязь спектральных характеристик педагогического теста (рабочего диапазона, дисперсии и разрешающей способности) с его параметрами (протяженностью, доступностью заданий, корреляционной взаимосвязью балльных оценок и кратностью тестирования). Установлено, что приведение тестовых оценок к школьной шкале возможно лишь при кратном тестировании с равномерным нарастанием сложности тестов.
дидактическая модель, однократное и кратное тестирование, интерпретация, разрешающая способность, дисперсия, рабочий диапазон, взаимосвязь, протяженность теста, доступность заданий, корреляция оценок, кратность тестирования, тестовые оценки, приведение к школьной шкале.
На сегодняшний день можно утверждать, что тестовая система оценки принята отечественной системой образования. Свидетельством этого служит Единый государственный экзамен (ЕГЭ), по итогам которого оценивается уровень подготовки выпускников школ и проводится отбор абитуриентов в большинство высших учебных заведений. Следует отметить, что реакция общественности на введение ЕГЭ носила достаточно неоднозначный, а в ряде случаев и протестный характер. Одна из причин подобного отношения заключалась в том, что не была проведена необходимая предварительная разъяснительная работа, в силу чего ЕГЭ был представлен пользователям в виде закрытой системы оценки, характеристики которой известны лишь ее организаторам.
Даже сегодня можно утверждать, что подавляющая часть выпускников, родителей, учителей и членов приемных комиссий вузов не сможет ответить на вопрос о том, что же означает пресловутый тестовый балл, характеризующий успехи выпускника по итогам ЕГЭ. Много вопросов вызывает и порядок приведения тестовых оценок к 100-балльной шкале. Не совсем понятно, почему результаты тестирования не зависят от уровня сложности теста. Недоумение вызывает и тот факт, что тестирование отождествляют с педагогическим измерением. Однако в сертификатах, которые выдаются по итогам ЕГЭ, тестовые баллы приводятся без указания погрешности, хотя она и не равна половине разряда последней значащей цифры, то есть 0,5 балла. По свидетельству одного из инициаторов ЕГЭ, величина этой погрешности (он определяет ее как погрешность метода) находится на уровне 3 баллов в середине и на уровне 5-10 баллов в начале и конце 100-балльной шкалы \
1 Контрольная работа в голову // Новая газета. 2008. № 90. 4 дек.
В этой связи весьма странно выглядят распоряжения по приведению тестовых баллов к школьным отметкам (табл. 1).
Из таблицы 1 видно, что подобное приведение, регламентируемое, в частности, распоряжением № 1102-08 от 27 мая 2008 года «Об установлении шкалы перевода баллов Единого государственного экзамена по физике в пятибалльную систему оценивания, используемую для выставления отметок в аттестат о среднем (полном) общем образовании в 2008 году» находится в явном противоречии с погрешностью тестового балла. Не лучшим образом выглядит и последнее распоряжение, согласно которому выпускников делили на «аттестованных» и «не аттестованных», причем с точным указанием граничного значения тестового балла для каждой учебной дисциплины.
Таблица 1
Шкала приведения баллов ЕГЭ по физике к школьной системе оценок для выставления отметок в аттестат в 2008 году (согласно распоряжению)
Тестовый балл Отметка, выставляемая в аттестат
0-37 2
38-52 3
53-67 4
68-100 5
Очевидно, что подобные разграничения должны учитывать погрешность тестового балла, поскольку о различии подготовки школьников можно говорить лишь в случае, когда отличие тестовых баллов превышает удвоенное значение их погрешности. По этой причине при пересчете тестовых оценок необходимо выделять не только области, соответствующие школьным отметкам «2», «3», «4» и «5», но и промежуточные области, в пределах которых учебные достижения можно характеризовать лишь двойными отметками «2 - 3», «3 - 4» и «4 - 5».
К этому можно добавить, что неопределенность отметок «2 - 3», «3 - 4» и «4 - 5» позволяет учесть право школы на оценку учащихся. Достаточно лишь предоставить ей такую возможность в пределах указанных отметок. Тем самым можно будет органичным образом соединить право школы на оценку своих выпускников по итогам ЕГЭ с обязанностью государственных служб осуществлять регламентацию и надзор за этим правом. Для реализации предлагаемой схемы необходимо указать погрешность тестового балла, обнародовать спектральные характеристики соответствующего теста и задать шкалу приведения тестовых оценок к отметкам «2», «2 - 3», «3», «3 - 4», «4», «4 - 5» и «5», предоставив школе возможность оценивать выпускников в пределах двойных отметок.
Упоминание спектральных характеристик по отношению к тесту вполне правомерно, поскольку итоги тестирования, задавая распределение ансамбля испытуемых по первичным или тестовым баллам, определяют его спектральный состав. В соответствии с этим имеются все основания рассматривать каждый тест в качестве анализатора подобного состава и говорить о его спектральных характеристиках — рабочем диапазоне, дисперсии и разрешающей способности.
Спектральные характеристики, определяющие возможность «различать» и «делить» испытуемых на отдельные группы учащихся, интересны выпускникам, которых принимают в вузы, подразделяя соответственно на «поступивших» и «не поступивших». По этой причине каждому школьнику важно знать, насколько достоверно по итогам тестирования, проводимого в рамках ЕГЭ, можно судить об отличии его уровня подготовки от уровня подготовки другого выпускника, которого, например, приняли в вуз. И ответить на этот вопрос можно лишь зная разрешающую способность соответствующего теста.
Знание дисперсии теста может облегчить работу конфликтных комиссий, ответственных за подведение итогов ЕГЭ в спорных случаях. Этим комиссиям (да и самим школьникам) необходимо знать, на сколько меняется тестовый балл при коррекции первичного балла на единицу. А ответ на этот вопрос дает именно дисперсия теста.
Следует признать, что попытки сделать тестовую систему оценки (в том числе и ЕГЭ) прозрачной уже предпринимались. Именно с этой целью в учебные планы педагогических вузов был введен специальный курс «Современные средства оценивания результатов обучения». Однако, руководствуясь соответствующими пособиями 2, можно в лучшем случае познакомиться не с природой тестовых оценок, а лишь с процедурой их расчета. Что касается спектральных характеристик теста, то в данных пособиях они даже не упоминаются.
Причина подобного положения кроется в том, что из-за латентного характера своих параметров модели Г. Раша и А. Бирнбаума 3 не совсем удобны для педагогической интерпретации. В силу этого попытка элементарного изложения статистических методов расчета латентных параметров привела в этих пособиях к нежелательной формализации, а в ряде случаев и к бездоказательному представлению соответствующих расчетных схем. Что касается школьников, то для них весьма сложно найти в этих схемах какой-то смысл, поскольку они не знакомы даже с исходными понятиями математической статистики.
2
Воронин Ю.А., Трубина Л.В. Васильева Е.В., Козлова О.В. Современные средства оценивания результатов обучения : курс ликций. Воронеж : ВГПУ, 2004. 97 с. ; Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. М. : Центр тестирования МО РФ, 2002. 67 с. ; Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения : учеб. пособие. М. : Академия, 2007. 224 с. ; Самылкина Н.Н. Современные средства оценивания результатов обучения. М. : ВИНОМ, 2007. 172 с.
Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М. : Прометей. 2000. 169 с.
Сложившуюся ситуацию можно разрешить, обратившись к известному дидактическому приему, когда истолкование какого-то сложного явления проводят на примере простейшей модели, которая снимает большинство проблем, связанных с математическим описанием. В рассматриваемом случае речь должна идти о специальной дидактической модели, предназначенной для интерпретации характерных особенностей тестовой системы оценки.
Попытка доказательного представления тестовой системы оценки была предпринята в работах 4, в которых предложена дидактическая модель, базирующаяся на педагогических представлениях о многогранном характере личности каждого испытуемого. В соответствии с этим подготовленность последнего рассматривается в виде некоторого многомерного объекта, по отношению к которому каждое отдельное тестирование (в том числе и ЕГЭ) является срезом частного характера. Тем не менее, частные тестирования несут информацию о самом многомерном объекте, характеризующем подготовленность испытуемого, и могут быть использованы для реконструкции его параметров.
В модели в качестве реконструируемого параметра рассматривается суммарный балл t, а в качестве его количественной меры - тестовый балл При этом под тестовым баллом tв понимают наиболее вероятное значение суммарного балла для серии многократных и разносторонних испытаний учащихся, которое воссоздается по результатам одного или нескольких частных тестирований, относящихся к данной серии.
Следует отметить, что сама реконструкция возможных итогов не является чем-то принципиально новым в педагогике. Она широко используется в учебной практике. Известно, что экзаменационная оценка выступает в качестве характеристики знаний по всей учебной дисциплине, хотя и выставляется по ответам испытуемых на весьма ограниченное число вопросов.
Педагогический тест, пригодный для многократного и разностороннего тестирования, рассматривается в разработанной нами модели в виде матрицы (рис. 1а), в которой число строк т определяется числом самостоятельных дидактических единиц, выделяемых в учебной дисциплине, а число столбцов п - числом заданий равномерно нарастающей сложности, обслуживающих каждую дидактическую единицу. Подобная организация теста интересна тем, что соединяет равномерное нарастание сложности заданий (вдоль строк) с равноправным представительством в тесте каждой дидактической единицы (вдоль столбцов).
Необходимость реконструкции результатов многократного тестирования определяется в модели педагогическими соображениями. Очевидно, что число заданий в матрице на рисунке 1а может исчисляться сотнями и даже тысячами, что сопоставимо с числом задач в типовых школьных задачни-
4
Кирьяков Б.С. Влияние структуры школьного курса физики на статистические параметры теста // Единство традиций и инноваций в системе непрерывного естественно-математического образования : тр. Междунар. науч.-метод. конф. Рязань : РГУ им. С.А. Есенина. 2007. С. 56-71 ; Кирьяков Б.С. Статистическая модель многократного тестирования учащихся // Вестник Рязанского государственного университета имени С.А. Есенина. 2008. № 1/18. С. 3-23 ; Кирьяков Б.С. Дидактическая модель тестовой оценки результатов обучения // Известия РАО. 2008. № 1/8. С 69-84.
ках, например, по физике. Достаточно учесть претензии тестовой оценки на 100-балльную шкалу и тот факт, что количество дидактических единиц в учебных дисциплинах исчисляется десятками. В этих условиях необходимо принимать во внимание педагогические нормы: число заданий в тесте должно быть ограниченным.
В дополнение к этому многократное тестирование вступает в противоречие с педагогическими представлениями о неразрывной связи контроля знаний с обучением, в силу чего многократное и разностороннее тестирование будет сопровождаться изменением уровня подготовки испытуемых. К этому следует добавить еще и психологические факторы, определяемые, например, негативной реакцией школьников на многократно повторяющееся тестирование. Все это, вместе взятое, говорит о том, что влияние самой процедуры измерения на получаемые результаты исключить нельзя. Это влияние можно лишь уменьшить, заменив многократное тестирование реконструкцией его итогов по результатам одного или нескольких частных тестирований, в пределах которых эффектом обучения и психологическими факторами можно пренебречь.
а) матрица т х п
пзаданий
б) модель
Экстраполяция
|х I
в) реальное тестирование
пзаданий
1\
Сложность заданий
п тестов равномерно нарастающей сложности
Сложность заданий
Рис. 1. Структура теста, рассчитанного на многократное и разностороннее тестирование
Что касается порядка реконструкции, то в рассматриваемой нами модели выбран случай, представленный на рисунке 1б. Он предусматривает такую реконструкцию, при которой матрица на рисунке 1а рассматривается в виде совокупности п столбцов — п однородных тестов равномерно нарастающей сложности с ростом номера / = 1, 2, 3... п. Однородность предполагает в данном случае одинаковое число заданий т в тестах, одинаковую балльную стоимость их решений (0, 1), одинаковую доступность заданий и одинаковую корреляционную взаимосвязь балльных успехов испытуемых в пределах каждого теста. При этом каждый тест перекрывает в учебной дисциплине все дидактические единицы, но лишь при определенной, характерной именно для этого теста доступности
2
п
заданий. Данный случай предпочтителен тем, что удовлетворяет требованиям валидности теста по содержанию: тест должен охватывать в нужной пропорции все основные аспекты той области знания, по которой проходит тестирование 5. Сама же реконструкция может, например, соответствовать ситуации, когда результаты тестирования по всей учебной дисциплине с помощью теста, задания которого доступны, скажем, для 60 процентов учащихся, экстраполируются на всю серию, образованную п тестами равномерно нарастающей сложности.
По сравнению с проблемами, с которыми встречаются тестологи при обработке итогов реального тестирования, выбранный в модели случай соответствует идеализированной ситуации. Можно предположить, что структура реального теста вероятнее всего носит мозаичный характер (рис. 1в), поскольку реализовать одинаковый уровень сложности заданий для разных дидактических единиц достаточно трудно. По этой причине для реальных тестов проблема реконструкции возможных итогов будет носить сложный характер, препятствующий доказательному представлению тестовой системы широкому кругу пользователей. В этом отношении случай (рис. 1б), выбранный в модели, выглядит более предпочтительным
Его простота позволяет реализовать в модели понятный порядок реконструкции, который сводится к подсчету всех возможных исходов многократного тестирования и выбору из них наиболее вероятного. В терминах статистической теории это соответствует известной процедуре - расчету статистического веса и его исследованию на экстремум. При этом статистический вес совсем не обязательно подсчитывать. Достаточно соотнести способ подведения итогов с одной из статистик — классической статистикой, статистикой Ферми - Дирака или статистикой Бозе - Эйнштейна. Для них статистические веса известны.
Соответствие модели статистике Бозе - Эйнштейна определяется ограничениями, накладываемыми на результаты испытания учащихся для серии однородных тестов равномерно нарастающей сложности:
т> Х1 > Х2 > Х3 >...> XI >...> хп > 0 (1)
где XI - суммарная балльная оценка за тест с номером / = 1, 2, 3, ., п.
Ограничения (1), обусловленные нарастанием уровня сложности тестов с ростом их номера / (рис. 1б), понятны с педагогической точки зрения. Они носят статистический характер и могут нарушаться на уровне отдельных заданий. Известно, что школьник может случайно не справиться с простым заданием, но решить задание средней и даже повышенной сложности. Однако при большом числе заданий в тестах т фактор случайности, определяющий возможность того, что школьник справится со всеми заданиями из более сложного теста лучше, чем со всеми заданиями из более простого теста, если не исключен полностью, то в значительной степени минимизирован.
5 Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов.
Соответствие ограничений (1) статистике Бозе - Эйнштейна нетрудно установить, введя нумерацию диаграмм, отображающих различные способы размещения частиц по уровням (ячейкам) 6. В качестве примера на рисунке 3а представлена диаграмма, отображающая один из способов размещения трех частиц по четырем уровням с номерами «0», «1», «2» и «3» в статистике Бозе -Эйнштейна. Если допустить, что вначале частицы находились на уровне с номером «0», то все возможные размещения частиц можно получить при их поочередном переходе с одного уровня на другой. На рисунке 2а эти переходы изображены в виде стрелок с разной штриховкой. Руководствуясь числом этих стрелок, диаграмму на данном рисунке можно занумеровать комбинацией чисел у\, у2, у3 = 3, 3, 1. Точно также можно занумеровать любую другую диаграмму.
а) риагр амма б) ко ор дшат н ое пр ед стаилени е
Чаг.упаим
Рис. 2. Размещение частиц по уровням в статистике Бозе - Эйнштейна в диаграммном и координатном представлениях
Очевидно, что в силу тождественности и неразличимости частиц между введенной нумерацией у\, у2, у3 и возможным видом диаграмм существует взаимнооднозначное соответствие. Каждой диаграмме соответствует единственная нумерация у\, у2, у3 и наоборот. При этом комбинации чисел у\, у2, у3 ввиду временной очередности переходов будут удовлетворять очевидным ограничениям:
3 * У\ * У 2 * У3 * 0. (2)
Ограничения (2) означают, что в координатах у\-у2—у3 пакет диаграмм, описывающий возможные размещения трех частиц по четырем уровням в статистике Бозе - Эйнштейна, будет отображаться целочисленными координатами точек трехмерной решетчатой пирамиды с ребром, равным трем (рис. 2б).
6 Кирьяков Б.С. Простейшие решетчатые объекты: статистические свойства, связь с квантовыми статистиками, проектирование контрольных заданий // Вестник Рязанского государственного университета имени С.А. Есенина. 2007. № Ш4. С. 3-26.
В этой пирамиде диаграмма, приведенная на рисунке 2а, отображается точкой с координатами у\, у2, у3 = 3, 3, \
Очевидно, что при числе частиц, равном N и числе уровней, равном 2, ограничения (2) будут иметь вид
N * У\ * У2 * ••• * Уj * ••• * У2-\ * 0. (3)
По этой причине пакет диаграмм, описывающий размещение N частиц по 2 уровням, в координатном представлении будет отображаться целочисленными координатами точек решетчатой пирамиды с размерностью 2 - \ и ребром, равным N. При этом общее число точек в такой пирамиде будет определяться статистическим весом, характерным для статистики Бозе - Эйнштейна:
^ _ (N + 2 - !)/
N! (г - Г)!
в С]^+2-\ N.1 (г - 1)! . (4)
Аналогия выражений (\) и (3) является достаточной, чтобы говорить
о том, что способ реконструкции в модели (рис. \б) соотносится со статистикой Бозе - Эйнштейна. Эту аналогию можно сделать более полной, если перейти к «нетрадиционной системе подведения итогов» 7. Однако это приведет лишь к ненужному усложнению. В рамках дидактических задач, которые рассматриваются в модели, можно ограничиться формальным сходством ограничений (\) и (3). Следует только помнить, что природа их различна. Если ограничения (3) определяются временной очередностью переходов, то ограничения (\) — различным уровнем сложности тестов. При этом ограничения (3) строго регламентированы, а ограничения (\) носят статистический характер.
В соответствии с вышеизложенным ограничения (\) определяют не только статистику, но и вид геометрического объекта, отображающего возможные итоги серии тестов, представленной на рисунке \б. В роли такого объекта выступает п-мерная решетчатая пирамида с ребром т, целочисленные координаты точек которой соответствуют возможным комбинациям оценок Х\, Х2... XI... хп для серии тестов нарастающей сложности. Достаточно перейти к координатному отображению итогов, откладывая балльные оценки XI для тестов с номером ; = \ 2, 3. п вдоль осей 0х; в некотором ортонормированном базисе. При этом общее число точек в решетчатой пирамиде, равное числу возможных комбинаций оценок
Х\, х2... X;. хп, будет определяться выражением (4), характерным для статистики Бозе - Эйнштейна. С учетом использованных обозначений число таких комбинаций оценок Х\, х2. х;. хп, удовлетворяющих ограничениям (!), будет равно:
т (п + т)! п+т ~ п'т> . (5)
в = С
п! т
7 Кирьяков Б.С. Простейшие решетчатые объекты: статистические свойства, связь с квантовыми статистиками, проектирование контрольных заданий.
С дидактической точки зрения геометрические представления интересны тем, что позволяют наглядно представить возможные итоги многократного тестирования. В качестве примера на рисунке 3а приведена матрица размером т 5 п = 15 5 3, состоящая из простого теста (тест 1), теста средней сложности (тест 2) и сложного теста (тест 3). На рисунке 3б изображена трехмерная (п = 3) решетчатая пирамида с ребром т = 15, отображающая в координатном представлении возможные комбинации оценок Х1, х2, х3 для рассматриваемой серии тестов.
Рис. 3. Координатное представление возможных итогов троекратного разноуровневого тестирования (m 5 n = 15 5 3)
В этой пирамиде распределение точек вдоль осей 0хь 0x2 и 0x3 определяет распределение возможных комбинаций оценок X1, x2, x3 для отдельно взятых тестов, а распределение точек вдоль диагонали куба на рисунке 3б - их распределение по сумме t = xi + x2 + x3. Для превращения этой диагонали в ось суммарного балла 0t достаточно ее длину нормировать на mn = 45, что и сделано на рисунке 3б.
На примере решетчатых пирамид легко сформулировать проблему реконструкции результатов многократных испытаний по итогам частного тестирования. В модели эта проблема сводится к выявлению комбинаций оценок x1, x2, x3... Xi... xn, удовлетворяющих ограничениям:
[m>Xi >X2 >X3 >...>Xi >...>xn >0,
[Xi = ai = const, (6)
где Xi - известное значение первичного балла (сумма баллов, набранных испытуемым по итогам теста с номером i).
В ходе решения системы (6) необходимо установить общее число соответствующих комбинаций оценок ^ GXi и их распределение ^ Xi(t) по суммарному баллу t = X1 + x2 + x3 + . + Xi + . + Xn. После этого можно будет найти и наиболее вероятное значение суммарного балла te, которое рассматривается в модели в качестве тестового балла.
Решетчатая пирамида, изображенная на рисунке 3, дает возможность наглядно представить решение всех этих задач. На рисунке 4а приведена матрица размером т 5 п = 15 5 3 для случая, когда реконструкцию итогов троекратного тестирования проводят при экстраполяции известных результатов тестирования испытуемых с помощью теста под номером і = 3. На рисунке 4б представлено распределение Л(х3), описывающее результаты такого тестирования. На нем также выделены испытуемые, набравшие по итогам этого теста 7 баллов (х3 = 7).
а)
Экстраполяция
<^=н
I
<3
"О
<3
Л(х3)
б)
в)
Рис. 4. Реконструкция тестовых оценок по итогам однократного тестирования
Согласно соотношениям (6) возможные успехи выделенных испытуемых в серии из трех тестов (г = 1, 2, 3) должны удовлетворять условиям:
[15 > Х1 > Х2 > Х3 > 0,
Ь - 7. (7)
В координатном представлении (рис. 4в) возможные комбинации оценок X], х2 , х3, удовлетворяющие условиям (7), определяются координатами точек сечения трехмерной пирамиды с ребром т = 15 плоскостью х3 = 7. Число этих точек А G = 45. Проектируя их на ось 0*, можно найти распределение возможных
комбинаций оценок ^ (*) по суммарному баллу t = XI + х2 + х3. Оно будет иметь вид симметричного колокола (рис. 4г), локализованного на оси 0* в интервале от *тгп = 21 до *тах = 37. При этом максимальное число комбинаций оценок хь х2 , х3 соответствует значению *в = 29, которое следует считать наиболее вероятным значением * и рассматривать в качестве тестового балла при х3 = 7.
Рисунок 4 наглядно иллюстрирует тот факт, что в рассматриваемой нами модели итоги реконструкции возможных значений суммарного балла * определяются выражением:
t = tв ± Дt
(8)
где tв - тестовый балл, А t - полуширина распределения ^ (г), определяющего неопределенность реконструкции суммарного балла г.
Выражение (8) указывает на необходимость нахождения не только тестового балла tв, но и значения А г, определяющего неопределенность реконструкции г. Данная неопределенность объясняется неполнотой информации, содержащейся в итогах однократного испытания при их экстраполяции на всю серию многократных и разносторонних испытаний.
В дидактическом отношении рисунок 4 интересен тем, что позволяет не только наглядно представить саму процедуру экстраполяции итогов разового тестирования на серию тестов, но и в численном виде подтвердить получаемые результаты. В трехмерном случае (рис. 4в) составить таблицу возможных комбинаций оценок
х1, х2 , х3, удовлетворяющих условиям (7), и построить гистограмму на рисунке 4г не так уж и сложно. Именно таким образом она и была построена.
По рисунку 4 нетрудно обосновать пересчет тестовых оценок в 100-балльную шкалу. В модели он сводится к выражению значений г, tв и А t в процентах по отношению к максимально возможному балльному успеху испытуемых в серии многократных испытаний (по отношению к тп — общему числу однобалль-
ных заданий в матрице на рисунках 1а или 4а):
~ г ~ tв ~ д г
г = —100 гв = -^~-100 д ~ ---------------100 (9)
тп ’ тп ’ тп ’ ' '
где знак «В> соответствует значениям, приведенным к 100-балльной шкале.
Соотношения (9) означают, что в модели вполне понятен не только смысл тестового балла, но и порядок его приведения к 100-балльной шкале. Если, например, успехи какого-то испытуемого по итогам ЕГЭ характеризуются тестовым баллом г = 80 , то это означает, что данный испытуемый (если судить по результатам ЕГЭ) в серии многократных и разносторонних испытаний вероятнее всего способен справиться с решением 80 процентов заданий.
Рисунок 4 можно положить в основу как для элементарного, так и для статистического подхода к реконструкции возможных итогов. При статистическом подходе достаточно учесть, что для всех срезов решетчатых пирамид распределения ^ (г) близки к нормальному. На рисунке 4г эту особенность иллюстрирует гладкая кривая, соответствующая нормальному распределению. Для модели отмеченная особенность является весьма важной, поскольку обеспечивает ее соответствие моделям Г. Раша и А. Бирнбаума. Нормальная реакция испытуемых на серию разноуровневых испытаний занимает в этих моделях принципиальное место. Отличие рассмативаемой нами модели от моделей Г. Раша и А. Бирнбаума состоит в том, что в ней подобная реакция испытуемых не постулируется, а рассматривается как свойство сечений решетчатых пирамид (а соответственно и как свойство определенных выборок из статистического веса, характерного для статистики Бозе - Эйнштейна).
При статистическом подходе нормальный характер распределения ^ (г) сводит проблему реконструкции итогов к нахождению двух параметров этого
распределения — среднего значения * = гв и дисперсии ^ Д Их значения нетрудно найти, исходя из аддитивного характера результатов тестирования.
В общем случае любое распределение испытуемых по набранным баллам Д(х) характеризуется двумя аддитивными величинами - числом участников тестирования N = N1 + N +... + N1+... и суммарным баллом х = Х1+ х2 +...+ XI +... . В соответствии с этим средний балл х и дисперсия ^ 2х распределения Д(х) должны определяться выражениями:
х=Е с1х1,
1
.2
= Е с1X, +Е с1(х1 _ х )2
1 1
(12)
(13)
где С1 - относительное представительство подансамбля с номером I в ансамбле испытуемых,
- средний балл и дисперсия для подансамбля с номером I,
Х1 , ст XI - средний балл и дисперсия для испытания с номером /,
Гу - коэффициент линейной корреляции между балльными успехами участников ансамбля в испытаниях с номерами / и /
Соотношения (12) очевидны. Их можно использовать при учете аддитивности численного состава ансамбля испытуемых. Что касается соотношений (13), то их следует использовать при учете аддитивности суммарного балла. В статистической теории они известны 8. При выполнении условий (6) использование соотношений (13) упрощено тем, что фиксированное значение xi = а[ делит комбинацию оценок хь х2, х3... xi... хп на две независимые части — хь х2,, х3. xi -1 и xi +1, xi +2, xi +3. хп, которые удовлетворяют ограничениям:
т > х1 > х2 > ...> х_1 > а1, (14)
8 Митропольский А.К. Техника статистических вычислений. М. : ГИФМЛ, 1961. 480 с.
аі ^ хі+1 ^ хі+2 ^ ^ хп > 0. (15)
Полезно также помнить, что для испытания с однобалльной стоимостью
задания (у = 0, 1) средний балл и дисперсия определяются выражениями:
У = Р , (16)
стУ = РЧ , (17)
где р - доступность однобалльного задания, определяемая относительным числом его верных решений в ансамбле испытуемых,
Ч = 1 - р - сложность однобалльного задания, равная относительному числу предъявлений, соответствующих его неверным решениям.
Группируя выражения (13), (16) и (17), нетрудно образовать некоторый модуль 9 для характеристики теста из т однобалльных заданий:
X
р =
т
1
г =
т -1
ст
трч
(18)
т,
где х и ст х — средний балл и дисперсия распределения испытуемых Дх) по набранным баллам для рассматриваемого теста.
Модуль (18) позволяет выделить из множества возможных способов реализации произвольно взятого распределения Дх) частный случай, соответствующий одинаковой доступности заданий р и одинаковой взаимосвязи балльных успехов, характеризуемой коэффициентом линейной корреляции г. Если тест заведомо отличается только одинаковой доступностью заданий р, то вторая строка в модуле (18) задает среднее арифметическое значение недиагональных элементов соответствующей корреляционной матрицы. Значение г в модуле (18) определяет к тому же корреляционное уширение распределения Дх) по отношению к биномиальному:
г =
л 2 2 1 ст х-стЬ
т -1
а ,2 :
ст 2
(19)
где ^ ь = mpq - дисперсия биномиального распределения.
В дидактическом отношении использование модуля (18) удобно тем, что упрощает педагогическую интерпретацию итогов тестирования, поскольку сводит ее к учету всего лишь трех факторов: протяженности теста т, доступности заданий р и взаимосвязи балльных успехов испытуемых в пределах теста г.
Применяя соотношения (5), (12)-(18) к решетчатым пирамидам, можно составить достаточно полный статистический портрет серии однородных тестов
9 Кирьяков Б.С. Простейшие решетчатые объекты: статистические свойства, связь с квантовыми статистиками, проектирование контрольных заданий ; Он же Статистическая интерпретация итогов контроля знаний учащихся по суммарным результатам // Проблемы учебного физического эксперимента : сб. науч.тр. М. : ИСМО РАО, 2006. Вып. 24. С. 3-13.
равномерно нарастающей сложности. Свойства решетчатых пирамид представлены в таблице 2. В более полном виде они приведены в работе .
В соответствии с данными таблицы 2 общее число возможных комбинаций оценок для всей серии тестов, изображенной на рисунке 1б, определяется выражением (2.3). Выражение (2.5) задает распределение возможных комбинаций оценок для теста с номером i. Для этого распределения среднее значение балльных успехов и дисперсия характеризуются выражениями (2.6) и (2.7).
Таблица 2
Свойства п-мерной решетчатой пирамиды с ребром т
Координаты точек решетчатой пирамиды х1, х2, ..., хг, ..., хп, (2.1) где хг = 0, 1, 2, ..., т
Ограничения, накладываемые на координаты точек пирамиды т > Х1 > Х2 > Х3 > ... > XI > ... > хп > 0 (22)
Общее число точек в решетчатой пирамиде ^ ^т (п + т )! ^ с п+т . . (2.3) п! т! 4 7
Коэффициент линейной корреляции между координатами точек хг и Ху (при] > 1) 1 п + 1 - у Ч =11 уп + 1 - г (2 4)
Распределение точек пирамиды вдоль оси 0хг ^хг с т - хг г/ , , . , X; + п-г т-X; + г-1 /(х1) = п(хг, т,1, п) = т (2. С т + п 5)
Среднее значение х г _ 2 и дисперсия хг для распределения f (хг) х Г1 г 1 хг =т 1 ^, , (2.6) 1 п + и’ v ' 2 т (т + п + 1) Г г Л г ° х ~ п + 2 [ п + 1 ) п + 1 . (2.7)
Среднее значение суммы t = х1 + х2 + ... + хг + ... + хп и дисперсия распределения точек пирамиды по значениям t - тп ’ = 2 , (18) 2 тп О тп = “^(т + п + 1) (2.9)
Подставляя выражения (2.6) и (2.7) в модуль (18), нетрудно найти, что для г-го теста, входящего в серию тестов на рисунке 1б, доступность заданий и корреляционная взаимосвязь балльных успехов определяются соотношениями:
10 Кирьяков Б.С. Простейшие решетчатые объекты: статистические свойства, связь с квантовыми статистиками, проектирование контрольных заданий.
1 1
Рг = 1-------г , (20)
п + 1 ’ у '
1
г =-----Т. (21)
п + 2 у '
Соотношение (20), в частности, подтверждает, что распределения (2.5) при г = 1, 2, 3... п действительно соответствуют серии тестов равномерно нарастающей сложности в силу линейного падения доступности заданий р1 с ростом номера теста г. В свою очередь, выражение (21), определяя одинаковую корреляционную взаимосвязь балльных успехов в пределах любого теста из серии с заданным п, является свидетельством однородности всей серии тестов, описываемых распределениями (2.5). Тем самым подтверждается тот факт, что свойства решетчатых пирамид действительно задают статистические характеристики серии однородных тестов равномерно нарастающей сложности, на которую ориентируется модель при реконструкции возможных итогов (рис. 1б).
Особенность решетчатых пирамид заключается в том, что для них свойства одинарных сечений, удовлетворяющих условиям (6), описываются аналитическими выражениями универсального вида (табл. 3).
Таблица 3
Свойства одинарных сечений п-мерной решетчатой пирамиды с ребром т
Уравнение гиперплоскости для сечения пирамиды Х( = аг, (3.1) где аг — т
Ограничения, накладываемые на координаты точек сечения Гт>Х1 > Х2 >Х3 > ...>XI >...>хп >0, [ XI = а1 = const, (32)
Число точек в сечении * п — 1 1 —1 Х1 = х1 + п—г т — х1 + г—1 (3.3)
Распределение точек сечения по значениям суммы t = Х1 + х2 + ... + хп (г—)2 1 9^2 Ф(г) = е 2°г , (3.4) ■\l2na г = 0,5[ т (1 — 1) + Х1 (п + 1)], (3 5) 2 XI (п — г)(XI + п — г +1) (т — XI )(г — 1)(т — Хг + г)
ст г = 1 12 12 (3.6)
Локализация распределения ^ (г) на оси 0t гтгп = , (3.7) гтал = т(г — 1) + xi (п + 1 — г) (3.8)
Среднее значение _ 2 дисперсии ст г (2.6) ~ тп Г г (п +1 — г) ] а г = (т + п + 1) 1 3 (3.9) 12 п (п + 2) у '
Распределение точек по значениям t = х1 + х2 + ... + хп т / (t) = (х1, т , /, п) ф (t) (3 .10) хг = 0 где л(х;, т, г, п) и ф(^) заданы выражениями (2.5) и (3.4)
Выражение (3.3) задает размер выборки оценок, удовлетворяющих усло-
виям (3.2). При этом выражение (3.4) устанавливает нормальный характер их распределения по суммарному баллу t = х1 + х2 + ... + хг + ... + хп с параметрами, определяемыми соотношениями (3.5) и (3 6). Значения tmin (3.7) и tmax (3.8) задают диапазон локализации распределения ^ (^ на оси 0t. Выражение (3.9) определяет при заданном номере г среднее значение дисперсии (3.6), усредненное по всем значениям xi с учетом представительства комбинаций оценок (3.3). При этом выражение (3.10) задает распределение возможных комбинаций оценок по значениям суммарного балла t для всей серии тестов на рисунке 1б. Это распределение можно воссоздать по любому тесту с номером г = 1, 2, ..., п из рассматриваемой серии, что подтверждает независимость тестовых оценок от уровня сложности теста, используемого для их реконструкции.
По отношению к рисункам 4а-4г данные таблиц 2 и 3 описывают в количественном виде все особенности представленной реконструкции. Выражение (2.5), например, задает гистограмму на рисунке 4б, выражение (3.3) - число точек в выделенном на рисунке 4в срезе, значения tв (3.5), tnin (3.7) и tnшx (3.8) - положение гистограммы на оси 0t (рис. 4г), выражение (3.4) - гладкую кривую на рисунке 4г. Для этого достаточно лишь задаться значениями п = 3, т = 15, г = 3 и xi = 7.
Для однократного тестирования данные таблицы 3 определяют порядок расчета тестовых оценок, приведенных к 100-балльной шкале, в виде:
t = 1в ± Ка <
т (/ -1) + XI (п + 1)
тп
(22)
(23)
~ 50 I-----------------------------------------------------
а t = ^-----VXI (п - i)(XI + п - i + 1) + (т - х;)(i - 1)(т - х; + i) (24)
\3тп , ( )
- (~- ~в)2
ф(~ ) = г-1~ е 2°‘ , (25)
где xi - известное значение первичного балла для теста номером г, по которому воссоздается тестовый балл , характеризующий успехи испытуемых во всей серии многократных и разносторонних испытаний (рис. 1б), К - коэффициент, зависящий от выборки (3.3) и заданной надежности.
В рамках дидактической модели коэффициент К для простоты можно не отождествлять с коэффициентом Стьюдента, поскольку размеры выборок (3.3) достаточно велики. Даже в элементарном случае, представленном на рисунке 4в, выборка = 45. В подобной ситуации можно не обращать внимания и на тот факт, что выражение (3.6) задает выборочную дисперсию. В дидактическом плане целесообразнее просто считать, что при значениях К = 1, 2, 3. полуширина выделяет
(согласно известным свойствам нормального распределения п) соответственно
68,3 процента, 95,4 процента, 99,7 процента. наиболее вероятных комбинаций оценок, удовлетворяющих условиям (6).
Нетрудно видеть, что соотношения (22)-(25) позволяют при заданных значениях г, п и т найти тестовые оценки путем элементарного расчета. При этом нахождение самих параметров г, п и т сводится в модели к отождествлению распределения участников тестирования по первичным баллам Дх) с соответствующим сечением некоторой пирамиды. В наиболее простом виде подобное отождествление определяется модулем (18) и выражениями (20), (21). Поскольку число заданий т в тесте известно, то обработка итогов тестирования сводится к расчету среднего балла и дисперсии ^ х2 распределения Дх). После этого по модулю (18) можно найти значенияр и г, а затем и параметры сечения:
Результаты подобного отождествления представлены на рисунке 5 а для абитуриентского тестирования по обществоведению за 2004 год (29 508 школьников, 64 задания в тесте).
Итоги этого тестирования хорошо соотносятся с распределением точек вдоль оси 0х8 в пирамиде с размерностью п = 13 и ребром т = 64. Найденные значения (п = 13, г = 8, т = 64) позволяют пересчитать первичные баллы хг в тестовые tв баллы по соотношениям (22)-(24) (рис. 5б). На рис. 5в изображены графики распределения (25), характеризующие неопределенность тестовых оценок при значениях первичного балла хг = 0, 1, 2. 64.
Из рисунков 5б и 5в видно, что при полуширине Аt = 2а t (при учете
95,4 процента наиболее вероятных оценок) можно выделить лишь четыре значения
тестового балла tв , отличие которых соответствует 2 А t . На языке первичных баллов успехи соответствующих испытуемых характеризуются значениями хг = 0,
23, 43, 64, а на языке тестовых баллов - значениями tв = 26,9, 46,3, 63,1, 80,8. В соответствии с этим успехи испытуемых по итогам рассматриваемого тестирования
(26)
г
(27)
Рис. 5. Реконструкция тестовых оценок на примере реального тестирования
11 Митропольский А.К. Техника статистических вычислений ; Он же. Интеграл вероятностей. Л. : Изд-во ЛГУ, 1972. 187 с.
можно характеризовать лишь тремя оценками: «не аттестован» ( * в = 27 о 46), «не
аттестован - аттестован» ( *в = 47 о 63) и «аттестован» ( *в = 64 о 81).
Следует отметить, что итоги тестирования, представленные на рисунке 5, могут отличаться и более высоким разрешением, так как при одном и том же распределении Д(х) тестирование может быть кратным, при котором тестовые оценки воссоздаются по результатам не одного, а нескольких тестирований. В качестве примера на рисунке 6 представлен тест с общим числом заданий т0 = 42, рассчитанный на троекратное (к = 3) тестирование испытуемых. Данный тест ориентируется на укрупненные дидактические единицы, число которых в учебной дисциплине обычно невелико. Это дает возможность сконструировать тест, состоящий из трех тестов с разной сложностью и одинаковой протяженностью (т = 14). Один из них с номером ц = 3 образован заданиями с доступностью р3 = 0,75, второй с номером г’2 = 6 - заданиями с доступностью
р6 = 0,5, а третий с номером г’3 = 9 - заданиями с доступностью р9 = 0,25. По этой причине учебные достижения испытуемых по итогам теста, представленного на рисунке 6, можно характеризовать тремя значениями первичных баллов х3, х6 и х9.
С Эхсгщхшжщил ^
X = А1 + Х|+ Хд
1 - - X - ¥ 1 ¥ . _ А . J Щ 1 > 4 .Я
1 1 я ■ > Я 1 1
1 1 1
1 1 1 | 4
1 I2 3 Л5 е 7 | « 9 1(1 |и
11 нараст{жщей спожн ости
Рис. 6. Пример теста общей протяженностью т0 = 42 с кратностью тестирования к = 3 В модели реконструкция итогов кратного тестирования также сводится к исследованию свойств соответствующих выборок. При кратности тестирования к (где к < п) эти выборки должны удовлетворять условиям:
т > Ху > Х2 > ...> X;, > ...> Х,\ > ..X; > ..Х;, > ...> Хп > 0
;к
х^ = аі = сот] = а2 = сот]
=аЛ = сот]
X; = ак = сот]
где а* — значение первичного балла для теста с номером is (* = 1, 2, 3, ..., к).
Рассмотренный на рисунке 6 случай соответствует простейшей ситуации, когда доступность заданий в тестах, используемых для кратного тестирования, падает равномерно. Согласно выражению (20) это будет иметь место, если их нумерация во всей серии, состоящей из п тестов,
1, 2 ... ?! ... І2 ... І8 ... Ік ... П - 1, П
нарастает с постоянным шагом в соответствии с равенствами:
(29)
іі -1=;2 - іі -1
. .... п - к
1л-1 - 1 = . = ;к - ;к-1 - 1 = п - ;к = к + і = У , (30)
Л'
где у - число пропускаемых тестов между соседними тестами, входящими в состав кратного (например, для теста, представленного на рис. 6б, у = 2).
Свойства кратных сечений, удовлетворяющих условиям (28) и (30), приведены в таблице 4. Эти свойства также описываются выражениями универсального вида. При их выводе достаточно учесть, что при кратности к в комби-
-V -V* -V* • "V* . -V* • "V*
нации ь 2 > • • • > ■> • • •, **’■■■’ 1к • ’ п можно выделить к + 1 независи-
мую часть, каждая из которых удовлетворяет ограничениям вида (14) и (15).
Смысл выражений в таблице 4 тот же самый, что и в таблице 3. Выражение (4.3), например, задает размер выборки, удовлетворяющей ограничениям (4.2) и условиям (30). Выражение (4.4) устанавливает нормальный характер распределения соответствующих комбинаций оценок по сумме * = Х] + х2 + х3 + ... + хп с параметрами, характеризуемыми соотношениями (4.5) и (4.6). Значения т (4.7) и 1тах (4.8) ограничивают диапазон локализации распределения ^ (*) на оси 0*. Выражение (4.9) задает среднее значение дисперсии (4.6), усредненное по всем возможным комбинациям первичных баллов аь а2 .. а*. ак с учетом их представительства (4.3).
Таблица 4
Свойства кратных сечений, удовлетворяющих условиям (28), для п-мерной решетчатой пирамиды с ребром т
Уравнение гиперплоскости для кратного сечения пирамиды
xi i1 = ab
xi i 2 = a 2,
xi s = as, (4.1)
xi ik = ak,
где m l «і l «2 l ... l as l ... l «к l 0
(4.1а)
Ограничения, накладываемые на координаты точек кратного сечения пирамиды
m>x >x2 >...>xix >...>xis >...>xik >...>xn >°, xi1 = a1,
xi2 = a2,
(4.2)
xi = as,
s
xik = ak
Число точек в кратном сечении, удовлетворяющем условиям (28)
А Ga a a a = П CУ
al, a 2, •••, as , •••, ak 1 1 as - as+1 +У
s = 0
(4.3)
где у
n - к к +1
a 0 = m ak +1 = 0
о EMBED Microsoft Equation 3.0
Распределение точек кратного сечения, удовлетворяющего условиям (28), по значениям
* = х1 + х2 + х3 ... + хп
о
где te = (У + 1)x + 0,5ym ,
2 У к
2 = 12 Е (as - as+1)(as - as +1 +у + 1)
12 s= 0
(4.5)
(4.6)
Локализация
распределения
Ф (t) (4.4) на оси 0t
tmin (у + 1) x ,
tmax = (У + 1) x + ym
(4.7)
(4.8)
Среднее значение дисперсии (4.6)
12
-(m + n + 1)
1 -
к + 1) n (n + 2)
(4.9)
Распределение всех точек пирамиды по значениям
* = х1 + х2 + х3 + ... + хп
f (t)
С'
Е А Ga1, a 2, ..., as, ... ak Ф (t)
(4.10)
п + т
где суммирование производится по всем значениям
о * =
1
Что касается выражения (4.10), то оно описывает распределение возможных комбинаций оценок по значениям суммарного балла * для всей серии тестов, на которую экстраполируются результаты кратного тестирования. Это распределение может быть воссоздано по итогам любого кратного тестирования из рассматриваемой серии, что подтверждает независимость тестовых оценок от уровня сложности тестов, используемых для их реконструкции.
Соотношение (4.5), устанавливающее линейную взаимосвязь тестовых *в и первичных х баллов, представляет интерес, поскольку подчеркивает значимость условий (30) с педагогической точки зрения. Эти условия выделяют случай кратного тестирования, при котором суммарный первичный балл
х = ^ ^ + ...+ х1к (31)
можно сохранить в качестве единственного показателя подготовки испытуемых, поскольку именно его значение и задает тестовый балл *в (4.5) вне зависимости от оценок x^s в сумме (31). Ориентируясь на значения первичного балла х, нетрудно выстроить испытуемых в виде одномерной последовательности, определяющей их рейтинг. По этой причине условия (30) являются выражением педагогических требований, определяющих саму возможность установления рейтинга испытуемых по итогам кратного тестирования.
Значимость условий (30) иллюстрируют рисунки 7а и 7б на примере троекратного тестирования, результаты которого экстраполируются на серию из 11 тестов (рис. 6). Для рисунка 7а условия (30) выполняются (^ = 3, г’2 = 6 и г’3 = 9), поэтому на оси 0* положение распределений ^ (*), соответствующих одному и тому же значению первичного балла х, не зависит от оценок, входящих в сумму (31). И именно по этой причине успехи испытуемых с одинаковым первичным баллом х характеризуются одним и тем же значением тестового балла
*в (4.5), определяющим положение испытуемых на оси 0*, а соответственно и их рейтинг. В дополнение к этому упорядоченное расположение распределений ^ (*) на оси 0* (рис. 7а) создает оптимальные условия для создания тестов с высокой разрешающей способностью.
В то же время из рисунка 7б следует, что нарушение условий (30) приводит к сложной зависимости положения распределений ^ (*) на оси 0*, а соответственно и тестового балла *в от вида комбинаций оценок, относящихся к одному и тому же значению х (31). Взаимное перекрытие распределений ^ (*) на рисунке 7б свидетельствует также о том, что при нарушении условий (30) достаточно
проблематично говорить о создании тестов с высокой разрешающей способностью даже при кратном тестировании.
а) т = 14, п = 11: i\ = 3, г2 = 6, г3 = 9
б) т = 14, п = 11: г*! = 5, г2 = 6, г3 = 7
0,3 ■- )
0,2 0,1
х = 6
х = 0
•I I т*1' гт~1~г
х = 42
0 —II ГТ1 *'1ГТГ‘Т*Т1ТТГТГТ I—I—I—I—I—I—I—I—г
0 22 44 66 88 110 132 154
*
Рис. 7. Влияние условий! (30) на положение распределений ср(с) на оси 0* при 'троекратном тестировании
Соотношение (4.6) в таблице 4 интересно тем, что определяет слабую зависимость дисперсии ^ (2 (4.6) от первичных баллов х. Причем с ростом п эта зависимость проявляется все более незначительным образом, что иллюстрируют
рисунки 8а и 8б на примере значений а2 ° t, учитывающих 95,4 процента наиболее вероятных комбинаций оценок. По этой причине в дидактических целях удобно использовать среднее значение дисперсии (4.9). Из рисунков 8а и 8б
видно, что значения а2 ° t, найденные по дисперсии (4.6) (сплошные линии), и
значения а2 ° t, найденные по ее среднему значению (4.9) (пунктирные прямые), отличаются достаточно мало.
С учетом этого расчет тестовых оценок, приведенных к 100-балльной шкале, будет определяться при кратном тестировании соотношениями:
г = 1е ± к , (32)
50 (п _ k) 100 (п + 1)
п (k + 1) тп (k + 1)
т + п + 1
3 тп
1 -
к + 1) п (п + 2)
(33)
(34)
_ (t _ te )
1 2ст2
ф (* ) = і =е
(35)
Соотношения (22)-(25) и (32)-(35) решают не только проблему воссоздания тестовых оценок. Они позволяют ввести спектральные характеристики теста по аналогии с тем, как это делается в оптике 12:
■ = (~е ) Х=Хтах _ (~е ) х=
D =
dte
йх
2 К
8х = 81е
D
(36)
(37)
(38)
(39)
R = 1 +
8іе
(40)
Смысл характеристик (36)-(40) очевиден 13. Значения *вН и , например, задают нижний и верхний пороги регистрируемых значений тестового балла, а их разность (36) определяет рабочий диапазон теста.
Производная D (37) соответствует дисперсии теста. Она равна изменению тестового балла *в при коррекции первичного балла х на единицу и характеризует частоту расположения распределений р (* ) на оси 0 * (рис. 5г). Значение ^ * в (38) задает отличие тестовых баллов, при котором можно говорить о различии уровня подготовки испытуемых, поскольку начиная с этого отличия
диапазоны значений *в ± А * не перекрываются. В свою очередь, величина $ х
в
е
н
12 Ландсберг Г.С. Оптика. М. : Наука, 1976. 928 с.
13 Кирьяков Б.С. Дидактическая модель тестовой оценки результатов обучения // Известия РАО. 2008. № 1/8. С. 69-84.
(39) определяет минимальную разницу первичных баллов х, по которой можно зарегистрировать различие подготовки учащихся, руководствуясь непосредственно числом решенных однобалльных заданий.
а) т = 14, п = 11: ц = 3, г’2 = 6, г’3 = 9 б) т = 14, п = 35: ц = 9, г’2 = 18, г’3 = 27
Рис. 8. Влияние первичного балла х на неопределенность оценки тестового балла +2ст*при
троекратном тестировании
Что касается выражения (40), то в работе 14 величина R (40) выбрана в качестве меры разрешающей способности педагогического теста. Она определяет максимальное число групп испытуемых с различающимися уровнями подготовки, которое можно зарегистрировать по итогам тестирования. Подобный выбор разрешающей способности R удобен тем, что испытуемых по итогам тестирования часто делят на отдельные группы. В этих условиях важно знать, какое максимальное число таких групп можно выделить среди испытуемых при заданной надежности. И именно это число и определяет значение R (40).
Используя соотношения (22)-(25) и (32)-(35), нетрудно найти спектральные характеристики (36)-(40) теста при однократном и кратном тестированиях. Эти характеристики приведены в таблицах 5 и 6. Согласно данным этих таблиц в модели спектральные характеристики однозначно определяются значениями K, п, m, i и k, зависящими от выбранной надежности, размеров матрицы на рисунке 1а и параметров теста (рис. 1б) или группы тестов (рис. 6б), используемых для реконструкции возможных итогов многократных испытаний.
14 Кирьяков Б.С. Дидактическая модель тестовой оценки результатов обучения.
Таблица 5
Спектральные характеристики теста при однократном тестировании
Характеристики теста Взаимосвязь с параметрами тестирования
Рабочий диапазон по 100-балльной шкале ~н І —1 ~в п +І ів -50 , (5.1) -50 , (5.2) п ’ п ’ ~в ~н 50 п + 1 ів ів -50 (5.3) п 4 '
Дисперсия по 100-балльной шкале 5 - 50 ^ (5.4) тп 4 '
Разрешение по шкале тестовых баллов і™ т + п + 1 ,, І (п + 1 - І) ] 8 ів - 100 ХЛ 1 3 (5.5) V 3 тп п (п + 2) 4 '
Разрешение по шкале первичных баллов я 2 К 1 тп (т + п + 1) , ,, І (п + 1 - І) 6)
"Лі п + 1^ 3 п (п + 2) (5.<
Разрешающая способность R 1 1 п + 1 3 тп
2 Кп І (т + п + 1) 1 3 І (п + 1 - І) п (п + 2) (5/ 7)
Таблица 6
Спектральные характеристики теста при кратном тестировании с равномерным нарастанием уровня сложности тестов
Характеристики теста Взаимосвязь с параметрами тестирования
Рабочий диапазон: по 100-балльной шкале ~н 50 п — к ~в 50 п — к к п + 1 в (6 1) С + 100 в п к + 1 ’ (61) в п к + 1 п к + 1 ’ (6.2) ~в ~н — 100 к п + 1 ів ів — 100 (6.3) п к + 1 у ’
Дисперсия по 100-балльной шкале ~ 100 п + 1 5 - , л (6.4) тп к + 1 у ’
Разрешение по шкале тестовых баллов 8 ~ - 100 К 1 т + п + 1 1 Ґ п + 1 Ї 2 к (к + 2) 3тп ^ к + 1) п (п + 2) (6.; 5)
Разрешение по шкале первичных баллов 8 Х К к + 1 тп (т + п + 1) ( к + 1 ^ 2 к (к + 2) 5)
п + 1 3 ^ п + 1) п (п + 2) (6.(
Разрешающая
способность
R = 1 + — К
3тк
(т + п + 1) ( к + 11 2 п к + 2
1п + 1 к п + 2
(6.7)
Данные таблиц 5-6 позволяют проследить зависимость спектральных характеристик от параметров тестирования: протяженности т, кратности тестирования k, доступности тестовых заданий р1 (20) и корреляционной связи балльных успехов г (21). Результаты количественной оценки этой зависимости приведены на рисунках 7-9.
100 п
50
ч 11 а) Р1 = — 1 12 б) р=2
~ — 2стг 100] ~ — 2а( 100 -
50: 50-
ГТГ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0- 11111111111111111 V-“П 1 0-
в) Р1 = — 1 12
t — 2а,
20
40
0
20
40
0
I I I I I I I I I | I I I I I I I I I |
20 40
V-
Рис. 9. Влияние уровня сложности заданий на неопределенность тестовых оценок при однократном тестировании
0
Рисунок 9 дает возможность оценить влияние доступности заданий р1 при
I Л ~
однократном тестировании на неопределенность тестовых оценок - 2 ст ? (для надежности 95,4 процента) на примере трех тестов с одинаковой протяженностью т = 40, одинаковой корреляционной взаимосвязью балльных успехов
г = -1/13 и разной доступностью заданий: р1 = 11/12 (рис. 7а), р1 = 1/2 (рис. 7б) и р1 =1/12 (рис. 7в). По графикам из рисунков 7а-7в видно, что доступность заданий не самым существенным образом влияет на неопределенность тестовых оценок, а соответственно и на разрешающую способность теста.
Согласно рисункам 7а-7в доступность заданий р1 в основном определяет смещение избирательности теста по шкале первичных баллов 0х;. Тест с высокой доступностью заданий (рис. 7а) обладает большей разрешающей способностью в начале шкалы 0х;, а тест с малой доступностью заданий (рис. 7в) - в ее конце. Для теста среднего уровня сложности (рис. 7б) неопределенность тестовых оценок - 2ст ? примерно одинакова по всей шкале 0х;. Это говорит о том, что тесты средней сложности отличаются практически постоянным разрешением по всей шкале первичных баллов, поэтому они наиболее пригодны для оценки учебных достижений испытуемых с самым разным уровнем подготовки.
Что касается фактора, наиболее сильно влияющего на разрешающую способность теста при однократном тестировании (рис. 1б), то согласно данным таблицы 5 в этой роли выступает величина г, характеризующая корреляционную взаимосвязь балльных оценок в пределах теста. Влияние величины г на неопределенность тестовых оценок а 2 ст t иллюстрирует рисунок 8а на примере тестов среднего уровня сложности р = 0,5) с протяженностью т = 40. Рисунок 8б демонстрирует влияние корреляционной связи г и протяженности теста т на разрешающую способность М при значении К = 2 (для надежности 95,4 процента).
О _____П1_,- .....................* д ,|________________________________________________ '
О 20 40 0 0,0-I 0,10 0,15
Рис. 10. Влияние корреляционной связи балльных успехов г и протяженности теста т на неопределенность тестовых оценок и разрешающую способность тестов при однократном тестировании
Из рисунка 10а видно, что с уменьшением корреляции между балльными
I Л
успехами неопределенность тестовых оценок - 2 ст t уменьшается весьма существенно. Это, в свою очередь, увеличивает разрешающую способность М, что демонстрирует рисунок 10б. Из рисунка 10б видно, что протяженность теста т увеличивает разрешение лишь при малой корреляции г между балльными успехами. При корреляции, характеризуемой значениями г = 0,07 о 0,15, этот вклад незначителен.
Если учесть, что по итогам ЕГЭ выпускников могут делить на семь отдельных групп в соответствии с отметками «2», «2 - 3», «3», «3 - 4», «4», «4 - 5», «5», то для тестирования в рамках ЕГЭ оптимальным следует считать значение М = 8. Из рисунка 10б видно, что при однократном тестировании на такое разрешение можно выйти при т = 60 и г = 0. Однако подобную ситуацию трудно реализовать. Даже для обществоведения (рис. 5), которое отличается слабо выраженными внутрипредметными связями, корреляционная связь характеризуется значением г = 0,07. Что касается предметов естественно-математического цикла, то
для них значение г существенно выше. По данным работы 15, итоги тестирования по математике, например, характеризуются значением г = 0,15а0,03.
Данные таблицы 6 говорят о том, что проблему приведения тестовых оценок к школьной шкале отметок можно решить при кратном тестировании. Свидетельством этого служит рисунок 11, на котором изображены графики зависимости разрешающей способности R (рассчитанной для надежности 95,4 процента) от корреляционной взаимосвязи балльных успехов г для теста с общей протяженностью т0 = 42 при кратности тестирования k =1, 2, 3. Видно, что при троекратном тестировании достичь разрешения, соответствующего R = 8, можно при значениях г, которые хорошо соотносятся с результатами 16, полученными при статистической обработке итогов реального тестирования.
о -|--------,---------,----------, да
О 0,05 0,10 0,15
Рис. 11. Зависимость разрешающей способности теста протяженностью т0 = 42 от кратности тестирования к и корреляционной взаимосвязи успехов г
В рамках рассматриваемой нами модели спроектировать педагогический тест с разрешающей способностью R = 8 достаточно несложно. Параметры одного из таких тестов приведены в таблице 7. Данный тест включает 42 задания. Он рассчитан на троекратное тестирование испытуемых с помощью трех разноуровневых тестов с доступностью заданий р3 = 0,75, р6 = 0,5 и р9 = 0,25. Число заданий в каждом из этих тестов т = 14. В пределах каждого теста корреляционная связь балльных успехов характеризуется одним и тем же значением г = 1/13. Это предопределяет возможность экстраполяции результатов троекратного тестирования на серию из 11 однородных тестов равномерно нарастающей сложности (рис. 6). Из таблицы 6 видно, что для выбранного теста разрешающая способность R = 8.
Тест в таблице 7 характеризуется вполне определенными распределениями. Гистограммы на рисунках 12а-12в отображают распределения /(х;) по первичным
15 Замятина В.С. Статистические итоги результатов тестирования учащихся // Единство традиций и инноваций в системе непрерывного естественно-математического образования : тр. Междунар. науч.-метод. конф. / РГУ им. С.А. Есенина. Рязань, 2007. С. 145-150.
16 Замятина В.С. Статистические итоги...
баллам хі, характерные для тестов, входящих в состав кратного теста. Результирующее распределение /(х) для самого кратного теста изображено на рисунке 12г, а распределение возможных комбинаций оценок /(Ї) для всей серии из 11 однородных тестов равномерно нарастающей сложности, на которую экстраполируются результаты троекратного тестирования, - на рисунке 12д.
Таблица 7
Характеристики кратного теста
Кратный тест с общим числом заданий т0 = 42
Нумерация тестов в серии і = 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11
Кратность тестирования k = 3
Состав теста Тест 1: і'і = 3 Тест 2: і2 = 6 Тест 3: і3 = 9
Число заданий т = 14 т = 14 т = 14
Доступность заданий Рз = 0,75 Р 6 = 0,5 р9 = 0,25
Корреляционная взаимосвязь балльных оценок в пределах теста 1 г = — 13 1 г = — 13 1 г = — 13
Распределение испытуемых по первичным баллам х3, х6 и х9 с 8 с 2 Д ( „ Л = *3+8 С 16 - / (х 6 с5 ^ с 5 Л _ х6+5 19 - ґ'' х9 ґ'' 8 г ( х Л Сх9 + 2 С 22-
/ (Х3) ^11 с 25 С11 с 25 / ( х 9 Л = с11 с 25
Средний балл 10,5 7 3,5
Дисперсия распределений /(.х,■) 273 16 364 16 273 16
Корреляционная взаимосвязь первичных баллов х3, х6 и х9 гчч 1 1 1 Я 3 л/3 1 73 і ± 1 3 73 1
Расчет тестовых оценок по известному значению первичного балла х = х3 + х6 + х9 * = ~в ± Д *1/2 ~ 100 150 їв = \ х в 11 77 , Д ~1/2 = 2,81 К где К - коэффициент, зависящий от выбранной надежности
Спектральные характеристики теста при К = 2,08 (при надежности 96,2%)
Разрешающая способность R = 8
Дисперсия теста 5 = 1,95
Рабочий диапазон теста *н о *в = 9 о 91
Разрешение по шкале тестовых баллов 8 ~е = 11,7
Разрешение по шкале первичных баллов 6 II £
Приведение первичных и тестовых баллов к школьным отметкам
Первичные баллы х 0 - 6 7- 12 13 - 18 19 - 23 24 - 29 5 3 1 0 3 2 4 1 6 3
Тестовые баллы ^ е 9 - 20 2 СП 1 21 1 3 3 45 - 55 7 6 1 6 5 9 7 1 8 6 91 1 0 8
Отметки «2» «2 - 3» «3» «3 - 4» «4» «4 - 5» «5»
а) р3 = 0,75
0,2
0,1
0
Лх)
мггГГТГ
0
14
б) ре = 0,5
/(хб)
0,2
0,1
Х3 0
-г*Я
14
в) р3 = 0,25
/(х9)
0,2
0,1
Хб 0
—ППТТтп I
х9
14
0,12
0,08
0,04
0
/(х)
г)
I I I ТТг I I I I I I I
21
111111 гт 1111
42
0,03
0,02
0,01
0
М
д)
77
154
е)
з)
0,2
0,1
0
„ ж)
ф(1) Отметки
«2» .«2-3», «3» .«3-4», «4» .«4-5», «5»
|| IIIIIIIIIIIIIIIIII |1ГПТГгРГГТ^5Т|ТГТ1^|ТГП1Т11^Т1^1ТГрГРГ,П^Г|Г|Г1ГТГТ^ $
0 20 40 60 80 100
Рис. 10. Характерные распределения для кратного теста: т0 = 42; к = 3; п = 11;
i = 3, 6, 9; К = 2,08
На рисунке 12е изображены графики распределения ф (1 ) для значений х = 0, 1, 2... 42. Они характеризуют неопределенность реконструкции суммарного балла 1 при экстраполяции итогов троекратного тестирования на серию из 11 тестов. Распределения на рисунке 12е построены с помощью соотношений (4.4) - (4.6), то есть с учетом вида комбинаций оценок х3, хб ,х9, определяющих первичный балл х = х3 + х6 + х9. Жирными линиями на рисунке 10е выделены
7
0
7
0
7
х
0
0
распределения ф (1 ) для х = 0, 6, 12, 18, 24, 30, 36, 42. Видно, что эти распределения разрешаются с точки зрения требований, которые предъявляются, например, в оптике 17 к разрешению спектральных линий.
На рисунке 12ж приведены те же самые распределения ф (1 ) , когда в качестве дисперсии использовано ее среднее значение (4.9). Подобная замена упрощает общую картину, что важно в дидактическом отношении. Графики на рисунках 12е и 12ж говорят о том, что замена дисперсии (4.6) на ее среднее значение (4.9) вполне правомерна. Она мало сказывается на разрешающей способности R. Необходимо только помнить, что при такой замене для области малых и больших значений х и 1 разрешение будет характеризоваться меньшей надежностью. Из рисунка 12е, например, следует, что при х' = 18 и х” = 24 о разрешении соответствующих распределений ф (1 ) можно говорить с надежностью 97 процентов, а при х"' = 0 и х"" = 6 - только с надежностью 87 процентов.
Тем не менее, подобное упрощение является дидактически целесообразным, поскольку снимает весьма трудоемкую проблему построения таблицы возможных комбинаций оценок х3, х6, х9, необходимых для нахождения дисперсии (4.6). Кроме того, по гистограмме на рисунке 12г видно, что снижение надежности в начале и конце шкалы 0х затрагивает весьма незначительное число испытуемых.
Обращение к среднему значению дисперсии удобно тем, что дает возможность ввести равномерную шкалу пересчета тестовых баллов к школьным отметкам. При разрешающей способности R = 8 (рис. 12е и 12ж) это можно сделать с учетом не только отметок «2», «3», «4» и «5», но и двойных отметок «2 - 3», «3 - 4» и «4 - 5». Для удобства целесообразно также задаться значением т0, кратным 7. Именно по этой причине в таблице 7 общее число заданий т0 = 42.
Нетрудно видеть, что данные таблицы 7 и рисунок 12 подтверждают возможность использования модели для обоснования тестовой системы оценки в части, касающейся приведения тестовых баллов к школьным отметкам. Для этого достаточно обратиться к кратному тестированию, удовлетворяющему условиям (30). Однократное тестирование (в силу корреляционной связи балльных успехов) обеспечивает приведение тестовых оценок к шкале, выделяющей лишь два уровня подготовки с определенными оценками - «аттестован», «не аттестован», и один промежуточный уровень с неопределенной оценкой - «аттестован -не аттестован» (рис. 5).
В дидактическом отношении модель важна тем, что дает возможность представить все характерные особенности тестовой системы оценки и дать педагогическую интерпретацию ее параметров. В силу своей простоты и наглядности она может найти применение в учебном курсе «Современные средства оценивания результатов обучения». Модель позволяет привести изложение указанного курса в доказательное русло. В рамках этой модели нетрудно реализовать известную схему построения статистических моделей, предусматривающую ряд
Ландсберг Г.С. Оптика.
последовательных шагов - разграничение микроскопического и макроскопического способов описания, взаимосвязь макро- и микроописания, соотнесение способа описания с определенной статистикой, подсчет статистического веса, исследование его на экстремум и т.д.
В дополнение к этому в рамках модели возможно элементарное обоснование особенностей как однократного, так и многократного тестирования. В основу элементарного подхода можно положить выражения (3.7), (3.8) и (4.7), (4.8) для т и 1тах, определяющие положение распределений ^ (1) на оси 01 (рис. 4г). При этом достаточно учесть симметричность распределений ^ (1), в силу которой реконструкция возможных итогов определяется соотношением:
t = tв ± дt
(39)
где 1е 0,5(1тах + 1т1п), ^ 0,5( 1тах 1т1п). (40)
Выражения (3.7), (3.8) и (4.7), (4.8), определяющие значения 1тп и 1тах, интересны в данном случае тем, что для их вывода достаточно понимать лишь смысл знака «>» в ограничениях (6) и (26). Это делает модель доступной пользователям на уровне элементарных представлений. К их числу следует в первую очередь отнести школьников и студентов, обучающихся на гуманитарных факультетах педагогических вузов. В дополнение ко всему, используя решетчатые пирамиды в качестве средства наглядности, можно выйти на весьма доступное изложение особенностей тестовой системы оценки, понятное широкому кругу пользователей. Подобное понимание важно также тем, что может снять большинство претензий к ЕГЭ как со стороны педагогической общественности, так и со стороны школьников и их родителей.
СПИСОК ЛИТЕРАТУРЫ
1. Воронин, Ю.А. Современные средства оценивания результатов обучения [Текст] : учеб. пособие / Ю.А. Воронин, Л.В. Трубина, Е.В. Васильева, О.В. Козлова. -Воронеж : ВГПУ, 2004. - 97 с.
2. Замятина, В.С. Статистические итоги результатов тестирования учащихся [Текст] / В.С. Замятина // Единство традиций и инноваций в системе непрерывного естественно-математического образования : тр. Междунар. науч.-метод. конф. / РГУ им. С.А. Есенина. - Рязань, 2007. - С. 145-150.
3. Звонников, В.И. Современные средства оценивания результатов обучения [Текст] : учеб. пособие / В.И. Звонников, М.Б. Челышкова. - М. : Академия, 2007. - 224 с.
4. Кирьяков, Б.С. Влияние структуры школьного курса физики на статистические параметры теста [Текст] / Б.С. Кирьяков // Единство традиций и инноваций в системе непрерывного естественно-математического образования : тр. Междунар. науч.-метод. конф. / РГУ им. С.А. Есенина. - Рязань, 2007. - С. 56-71.
5. Кирьяков, Б.С. Дидактическая модель тестовой оценки результатов обучения [Текст] / Б.С. Кирьяков // Известия РАО. - 2008. - № 1/8. - С 69-84.
6. Кирьяков, Б.С. Простейшие решетчатые объекты: статистические свойства, связь с квантовыми статистиками, проектирование контрольных заданий [Текст] I Б.С. Кирьяков II Вестник Рязанского государственного университета имени С.А. Есенина. - 2007. - № 1I14. - С. З-26.
7. Кирьяков, Б.С. Статистическая интерпретация итогов контроля знаний учащихся по суммарным результатам [Текст] I Б.С. Кирьяков II Проблемы учебного физического эксперимента : сб. науч. тр. - М. : ИСМО РАО. 2006. - Вып. 24. - С. З-1З.
8. Кирьяков, Б.С. Статистическая модель многократного тестирования учащихся [Текст] I Б.С. Кирьяков II Вестник Рязанского государственного университета имени С.А. Есенина. - 2008. - № 1I18. - С. З-2З.
9. Ландсберг, Г.С. Оптика [Текст] I Г.С. Ландсберг. - М. : Наука, 1976. - 928 с.
10. Митропольский, А.К. Интеграл вероятностей [Текст] I А.К. Митропольский. -Л. : Изд-во ЛГУ, 1972. - 187 с.
11. Митропольский А.К. Техника статистических вычислений [Текст] I А.К. Митропольский. - М. : ГИФМЛ, 1961. - 480 с.
12. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов [Текст] I Ю.М. Нейман, В.А. Хлебников. - М. : Прометей. 2000. - 169 с.
13. Нейман, Ю.М. Педагогическое тестирование как измерение [Текст] I Ю.М. Нейман, В.А. Хлебников ; Центр тестирования МО РФ. - М., 2002. - 67 с.
14. Самылкина, Н.Н. Современные средства оценивания результатов обучения [Текст] I Н.Н. Самылкина.. - М. : ВИНОМ, 2007. - 172 с.
