CC BY
187
ПЕДАГОГИКА
Вестн. Ом. ун-та. 2012. № 4. С. 271-275.
УДК 37.001.5
А.В. Гидлевский, Р.А. Зотов, М.А. Гальцева
НЕДОСТАТКИ ДЕЙСТВУЮЩЕЙ КОНЦЕПЦИИ ЕГЭ
На основе анализа работ ведущих экспертов по ЕГЭ выделяются основные недостатки систем массовых тестирований в России. Показано, что большая часть недостатков ЕГЭ связана с неудовлетворительным качеством контрольно-измерительных материалов (КИМ). Для преодоления основных недостатков ЕГЭ предлагается эффективный метод исчисления трудности задач по математике, физике и химии.
Ключевые слова: критика ЕГЭ, недостатки КИМ, трудность тестовых заданий, шкала трудности.
I. ЕГЭ и КИМы
Итак, продолжается критика ЕГЭ. В частности, С. Кара-Мурза демонстрирует широкое видение проблемы: «Недостатки системы ЕГЭ носят фундаментальный характер <...> Метрополия «рекомендует» нам резко снизить уровень школьного образования <...> ЕГЭ развивает лишь способность к запоминанию» [1]. Соглашаясь в целом с мнением С. Кара-Мурзы, хотим отметить, что если ЕГЭ развивает способность к запоминанию, то обычная экзаменационная «доЕГЭшная» парадигма образования эффективно обеспечивает разрушение интеллекта человека. Экзамен предполагает помещение большого количества сведений в промежуточную «экзаменационную» память, где эти сведения хранятся до момента сдачи экзамена без какой-либо переработки или понимания. Если имеется выбор: понять или запомнить, мозг идет по последнему пути, поскольку запомнить энергетически гораздо более выгодно для мозга, чем понять. «Понимательная» парадигма образования в Росси труднореализуема, поскольку весьма мало специалистов, которые осознавали бы, что такое понимание. В итоге «запоминательно-экзаменационного» образования мы имеем индивидов, понимающих лишь свои примитивно-физиологические потребности и имеющих соответствующие убеждения из сферы запомненного, но не понятого. Убеждения таких людей можно практически мгновенно изменять с помощью телевидения или банального запугивания. А потому грамотный тестинг может служить альтернативой «классическому» экзамену.
Критика ЕГЭ Г.Г. Малинецким и А.В. Подлазовым [2] сосредоточена вокруг следующего тезиса авторов: «Обработка результатов ЕГЭ с помощью теории моделирования и параметризации педагогических тестов. значительно ухудшает способность экзамена дифференцировать поступающих в вузы и полностью лишает его способности характеризовать в целом качество школьного образования». Однако авторы готовы согласиться с идеологией ЕГЭ при следующих, в частности, условиях:
1. «Составление продуманных заданий, что требует совершенно иного подхода к их разработке».
2. Продуманная установка порогов прохождения аттестации до проведения экзамена.
3. Передача основных полномочий педагогам: «.в случае ЕГЭ решать, что и как требовать с выпускников и поступающих могут только преподаватели средней и высшей школ, предметно знающие их конкретику».
4. Пересмотреть правомочность модели Г. Раша: «Сразу обратим внимание, что модель Раша обоснована только для гомогенных тестов, т.е. состоящих из однотипных заданий».
© А.В. Гидлевский, Р.А. Зотов, М.А. Гальцева, 2012
5. Сделать систему ЕГЭ открытой: «Сейчас разработка контролъно-измерителънъх материалов (КИМов) для ЕГЭ осуществляется закрытыми структурами, аффилированными с Рособрнадзором».
6. Исключение пересдач ЕГЭ.
Перечисленным не ограничивается количество недостатков, и авторы делают следующий вывод: «Сам ЕГЭ изначально является фальсификацией измерений в сфере образования».
В. Хлебников [3] подчеркивает следующие недостатки ЕГЭ:
1. «Можно с уверенностью сказать, что смысл оценок по результатам ЕГЭ (тестовый балл) не понимает практически никто».
2. Варианты тестов недопустимо отличаются друг от друга по трудности: «Разные варианты тестов должны быть в идеале одинаковой трудности и с одинаковыми измерительными свойствами. Эта задача невыполнима!»
3. «Методика расчёта тестовых баллов ЕГЭ определяет уровень подготовленности учащихся, сравнивая их знания друг с другом, но не сравнивая с требованиями учебной программы. Эта методика предназначена только для отбора поступающих в вузы».
4. «Для целей итоговой аттестации проблема с ЕГЭ ремонту не подлежит. Итоговая аттестация требует иных измерительных материалов и методик обработки результатов их использования».
5. «Иначе не понятно, что за тесты используются при проведении ЕГЭ. Неизвестны их измерительные свойства. С какой погрешностью они определяют уровень подготовленности учащихся? Никто не знает ответа на эти вопросы».
В. Аванесов также указывает на ряд недостатков статистики, используемой в ЕГЭ [4]:
1. «КИМы ЕГЭ действительно имеют неустранимые дефекты».
2. «IRT (item response theory) бесполезна для решения задач педагогической теории измерений: при разработке тестовых форм, содержания тестовых заданий и теста».
3. «Отсутствие валидности результатов -один из главных системных пороков так называемых КИМов, что вытекает из совокупности противоречивых целей и задач ЕГЭ».
В другой работе [S] В. Аванесов пишет: «.мы так и не увидели, что КИМы ЕГЭ имеют свойства педагогических измерений <...> Не все представляли себе, что примерно 9G процентов проблематики ЕГЭ является производной от КИМов. КИМы - вот что должно было быть в фокусе общественной и профессиональной критики. Когда говорили
о единых госэкзаменах, часто имелись в виду КИМы. Но последние оставались в тени, под прикрытием критики ЕГЭ <...> Слишком велики в них погрешности измерения -до такой степени, что сейчас их не показывают <.> Результаты зависят не только и не
столько от уровня подготовленности испытуемых, сколько от некачественных КИМов <...> Несопоставимость вариантов - ещё один кардинальный дефект КИМов <... > Оппоненты считают, что в созданном ФИПИ варианте КИМы ЕГЭ, по своей конструкции и реальным результатам, представляют собой необъективный, ненадёжный, несправедливый и неэффективный метод, не подходящий для Российской Федерации. КИМы ЕГЭ - совсем не «измерители», и нет никаких оснований считать их «объективными». Это миф, порождённый одними чиновниками для других <...> ФИПИ занимается не педагогическими измерениями, а созданием некачественных КИМов».
А.П. Попов [6, с. 235] солидарен с
В.С. Аванесовым в отношении недостатков ЮТ: «Требованию внутренней согласован-
ности и непротиворечивости модели Раша и Бирнбаума не удовлетворяют. Подумав, мы вынуждены будем признать, что ни о каком сравнении этих моделей с эмпирическими данными также не может быть и речи. Но тогда что же остается от этих моделей?»
Отметим в свою очередь, что в последние годы для изготовления «равнотрудных» тестов по тому или иному предмету используется фактически один и тот же вариант. Чиновники убивают этим сразу несколько зайцев: обеспечивают «равнотрудность»;
делают ненужной подготовку к ЕГЭ (а также и обучение вообще), поскольку этот вариант фактически всем известен накануне ЕГЭ; обеспечивают высокий балл ЕГЭ; радуют начальство; получают премии и награды за успехи в образовании и т. д.
Эту же особенность подметил и В.С. Аванесов [5]: «Заметно сузилось содержание КИМов. Например, в ЕГЭ по математике преимущественно представлена алгебра; геометрии фактически нет. Соответственно, готовить в вуз стало легче, что способствует порождению множества организованных групп репетиторов и даже ОАО, главным бизнесом которых стала теперь подготовка к сдаче ЕГЭ». Дело здесь в том, что если по алгебре трудность можно оценить «на глаз» по количеству действий, то по геометрии необходимо учитывать еще и трудность изготовления рисунка либо придумывать иной метод исчисления трудности заданий.
Несколько слов относительно образовательных стандартов. Бытует наивное мнение, что стандарты спасут ЕГЭ. Однако имеющиеся и будущие «стандарты» таковыми не являются, поскольку не содержат инструментария для измерения тех или иных показателей. Таким образом, надеждам на спасение ЕГЭ посредством введения псевдостандартов не суждено сбыться. Чиновникам неплохо было бы сообразить, что вначале нужно научиться измерять показатели, а затем вводить какие-либо уровни достижений показателей в виде стандартных.
Мы можем сделать некоторые выводы из перечисленных выше мнений известных экспертов:
1. Необходимо разработать эффективный инструментарий измерения трудности тестовых заданий.
2. Необходимо внимательно присмотреться к статистикам Г. Раша и А. Бирн-баума, которые диктуют крайне нелогичную систему педагогического тестирования. Возможно, в социологических и психологических исследованиях они и могут найти применение, но для эффективных тестов, в частности, по математике, физике и химии они не пригодны совершенно. Главная особенность указанных статистик заключается в том, что не статистики служат КИМам, а КИМы подгоняются под статистики и тем самым лишаются какой бы то ни было валидности.
Добавим, что, на наш взгляд, необходимо совершенствовать технологии тестирования, но не отказываться от тестинга в пользу экзаменационно-запоминательной парадигмы обучения, которая является педагогическим преступлением и к которой настойчиво призывают многие противники ЕГЭ.
II. Трудность тестовых заданий
Учебные (предметные) задачи входят в качестве базовых элементов в тест-листы (тестовые форматы) и называются тестовыми заданиями. Термины «задача» и «задание» мы будем далее использовать как равнозначные.
В основе предлагаемого нами метода оценки трудности тестовых заданий лежит субъект-предикатный подход, весьма популярный в текстологии. Поскольку решение задачи, как и многое другое, также представляет собой текст, а субъект-предикатный подход к анализу текста является весьма общим, то его применение может считаться оправданным. В данной работе мы не будем говорить о трудности условий заданий, а ограничимся приложением предлагаемого метода к решениям задач. Согласно субъект-предикатному подходу [7], искомая величина (главный текстовый субъект) раскрывается посредством других величин (текстовых субъектов), что, в общем, очевидно. Можно было бы, конечно, обойтись и без субъект-предикатной терминологии, но таковая уже приобрела в дидактике некоторую популярность [7; 8]. И мы тоже отдадим дань моде, а также удобству. Текстовые субъекты могут быть расположены по «этажам» - рангам для удобства их описаний (определений). При этом главному текстовому субъекту удобно назначить нулевой ранг.
Последовательность определений субъектов не влияет на их количество и потому не является характеристикой сложности («сложенности») предиката - совокупности субъектов (кроме главного) вместе с их свя-
зями. Для вводимой нами терминологии последний факт имеет принципиальное значение. Дело здесь в том, что в решении задачи первый шаг - поиск субъектов первого ранга - является самым трудным, второй шаг - более легким, третий - еще более легким, поскольку последующие шаги (действия) вытекают из предыдущих естественным образом.
Следовательно, как только мы начинаем говорить о затруднениях в решении задачи и вводить соответствующие параметры, мы переходим к оценке трудности задачи. Одним из таких параметров является параметр иерархии субъектов. Таким образом, трудностью решения задачи можно считать сочетание параметров (элементов) сложности и параметров трудности, в число которых можно ввести и параметры знакомства с учебным материалом и другие характеристики. С другой стороны, очевидно, что сложность (количество учитываемых субъектов и связей) неразрывно входит в трудность решения.
Приведем еще некоторые замечания относительно сложности и трудности решения задачи. Как уже, наверное, заметил читатель, в данной работе мы ограничиваем трудность задачи трудностью ее решения. Проблема трудности условия требует отдельного обсуждения. Ряд исследователей предпочитает говорить о трудности задачи как о субъективной характеристике, то есть характеристике, зависящей от состояния субъекта. Но тогда и сложность решения - субъективная характеристика: бывают решения одной и той же задачи лаконичные, рациональные, а бывают не очень рациональные. При расчете сложности необходимо ориентироваться на самое рациональное, экспертное решение, то же самое можно сказать о трудности. А потому аргументация относительно субъективности трудности и объективности сложности не выдерживает критики. И то и другое объективно и субъективно одновременно. Эту мысль уже давно пытался донести до «дидактической общественности» Р. Гильманов [9]. Проблема в том, как эту субъективную объективность или объективную субъективность эффективно учесть при создании инструментария для измерения трудности решений задач.
В дальнейшем мы будем говорить о трудности решения задачи как о суммарной трудности определения текстовых субъектов решения задачи. Определить текстовый субъект - это значит учесть его место в иерархии субъектов, а также учесть количество его непосредственных модификатов -субъектов нижележащего уровня (ранга). В таком случае трудность субъекта Т; (с целью сохранения размерности именно трудности) удобно выразить посредством произведения величины исходной трудности То субъекта (в которую могут быть включены и иные па-
раметры) на ряд безразмерных величин (коэффициентов), характеризующих место
субъекта в иерархии субъектов к; и количество непосредственных модификатов кт. Для разных субъектов исходная трудность Т0 может иметь одну и ту же величину. Итак, мы определили модификат как превращенный субъект. Модификация же - это операция, действие, превращающее один субъект в другой.
В качестве иллюстрации метода рассмотрим следующую задачу [8, с. 61].
Два велосипедиста выехали одновременно навстречу друг другу из двух поселков, расстояние между которыми 76 км. Через 2 ч они встретились. Какова скорость каждого велосипедиста, если известно, что скорость одного из них на 3 км/ч меньше скорости другого?
Введем обозначения и запишем кратко условие задачи.
1л = 1:2 = 2 ч; в = в1 + в2 = 76 км;
Ду = у2 - у1 = 3 км/ч.
В [8, с. 62-63] даны два способа решения данной задачи, имеющие различную сложность: 4 и 3. Какое же значение сложности рекомендуют авторы? Среднее из двух. В своей работе авторы говорят о сложности как части трудности. Но часть трудности имеет также размерность трудности, точно так же, как часть денег имеет размерность денег. Поэтому, говоря о сложности, авторы говорят также о трудности.
Однако вернемся к решению задачи.
Для оценки трудности решения задачи полезно построить граф решения. Решением задачи мы называем процесс раскрытия главного текстового субъекта (путь сверху вниз см. на рис.). Ряд задач решается посредством составления системы уравнений и последующим решением полученной системы путем подстановки величин из одного уравнения в другое. Вышеуказанный путь раскрытия главного текстового субъекта собственно и представляет собой решение системы уравнений в «неявном» виде. Для усмотрения решения из графа на рисунке мы показали знаки арифметических действий.
Как видно из рисунка, главным текстовым субъектом является величина у1, которая, в свою очередь, раскрывается через другие величины, называемые текстовыми субъектами нижележащих рангов - 1, 2 и т. д. Данные субъекты входят в предикат главного текстового субъекта, которому мы назначаем нулевой ранг. Субъекты у2 и Ду являются модификатами субъекта у1. Субъекты в2 и 1 являются модификатами субъекта у2 и т. д. Некоторые субъекты не имеют модификатов.
Общая трудность решения задачи равна сумме величин трудности определения всех субъектов, кроме главного. Таким образом, трудность (трудность определения) Т; каждого субъекта вычисляется через произ-
ведение исходной трудности Т0, которую удобно принять равной единице, на определенные для данного субъекта величины коэффициентов иерархичности к; и модифицируемости кт.
Коэффициент иерархичности определяется следующим образом. Для субъектов низшего (самого большого по величине) ранга его величина выбирается равной единице и при перемещении от ранга к рангу вверх к главному субъекту каждый раз увеличивается на единицу. Похожий способ был предложен А.Н. Новиковым для учета мест денотатов в их иерархии [10, с 160]. Введение коэффициента иерархичности безоговорочно превращает метод исчисления сложности в метод исчисления трудности решения задачи.
Каждый текстовый субъект может быть модифицирован в один или несколько субъектов нижележащего ранга (см. рис.). Если субъект далее не подвергается модификации (терминальный субъект), то коэффициент его модифицируемости кт принимаем равным единице. Если его «преемником» является лишь один модификат, то коэффициент модифицируемости такого субъекта принимается равным двум. Если «наследниками» субъекта являются два субъекта нижележащего ранга (два модификата), то для него коэффициент модифицируемости равен четырем и т. д.
VI
Ду
к = 4
к = з
к = 2
к = 1
Способ решения задачи «от неизвестного», когда в качестве предиката первого ранга выбирается выражение У2 - Ду
Для оценки сложности решения задачи обратимся к таблице, в которую занесены характеристики субъектов решения задачи.
Необходимо высказать одно существенное замечание. К субъектам четвертого ранга относятся величины у1 и 11. Значение величины 1 задано условием задачи, а величина у1 уже определена выше и более в определении не нуждается. Поэтому для у1 имеем значение трудности определения, равное единице (см. последнюю строку таблицы).
Характеристики субъектов в решении задачи
Субъ- ект Ранг субъ- екта Коэффициент иерархичности k) Коэффициент модифицируе- мости (km) Трудность определе- ния субъекта Т)
V2 1 4 4 16
Ду 1 4(1) 1 1
S2 2 3 4 12
t2 2 3(1) 1 1
s 3 2(1) 1 1
Si 3 2 4 8
tl 4 1 1 1
Vi 4 1 1 1
Примечание. В третьем столбце таблицы в скобках указаны значения коэффициента иерархичности, которые используются при вычислении трудности субъектов.
Определим величину разрешения шкалы трудности (относительную погрешность) для данной задачи. Относительную погрешность определения трудности задачи в процентах (разрешение шкалы) оценим через отношение абсолютной погрешности шкалы к величине трудности данного решения. В нашем случае трудность решения равна сумме трудностей субъектов (см. таблицу) и равна 41. Поскольку на нашей шкале расстояние между делениями равно единице трудности, то, как и в случае линейки с делениями, абсолютная погрешность (приборная погрешность) равна половине цены деления и в нашем случае равна 0,5. С учетом сказанного вычисляем разрешение шкалы для нашего решения: (0,5/41) 100 % = 1,22 %. Особенностью шкалы является уменьшение погрешности с ростом трудности задачи. При использовании статистики Г. Раша в массовых тестированиях (ЕГЭ, например) мы имеем обратную ситуацию - для трудных задач погрешность недопустимо велика, а вся «измерительная линейка», если такая аналогия допустима, имеет не более 10 делений (логитов). Наша же «линейка» имеет на порядок больше делений.
Другими словами, мы получили эффективный «измерительный инструмент», превосходящий по точности известные методы шкалирования задач [11]. Для сравнения оценим погрешность метода, предложенного в [8].
Авторами [8] получены два решения рассмотренной выше задачи с двумя значениями сложности: 3 и 4. Для оценки сложности задачи необходимо использовать экспертное, краткое решение. Отметим, что все учитываемые характеристики решения авторы относят к сложности. Таким образом, экспертная сложность решения данной задачи в
[8] равна 3. Цена деления измерителя, пред-
ложенного в [8], равна 1. В этом случае разрешение шкалы равно (0,5/3)100 % = 16,7 %. Как видим, разрешение нашей шкалы на порядок выше.
Мы рассмотрели «математическую» иллюстрацию метода, который с тем же успехом применим к тестовым заданиям по физике и химии. Таким образом, предлагаемый нами метод оценки трудности тестовых заданий виду его простоты и высокой точности может составить эффективную альтернативу существующим попыткам шкалирования тестовых заданий по математике, физике и химии.
ЛИТЕРАТУРА
[1] Кара-Мурза С. Я не склонен приписывать на-
шим властям какие-то сатанинские замыслы. URL: http:// www.nologo.su/2011/07/07/сергей-
кара-мурза-«я-не-склонен-припис (дата обращения: 26.12.2011).
[2] Малинецкий Г. Г., Подлазов А. В. ЕГЭ как катализатор кризиса российского образования. URL: http://www.nonlin.ru/articles/ege (дата обращения: 26.12.2011).
[3] Хлебников В. Вся правда от создателя ЕГЭ.
URL: http://www.4ege.ru/novosti-ege/69-vsja-pravda-ot-sozdatelja-egje.html (дата обращения:
26.12.2011).
[4] Аванесов В. Основные понятия и положения математической теории измерений (item response theory). Статья вторая. URL: http:// www.testolog.narod.ru/Theory60.html (дата обращения: 26.12.2011).
[5] Аванесов В. Являются ли КИМы ЕГЭ методом педагогических измерений? (Вторая редакция) URL: http://www.viperson.ru/wind.php?ID=563869& soch=1 (дата обращения: 26.12.2011).
[6] Попов А. П. Критический анализ параметрических моделей Раша и Бирнбаума // Инновационные методы и средства оценки качества образования : матер. 4 Всерос. науч.-метод. конф. (20-21 апреля 2006 г.) М. : МГУП, 2006.
С. 231-235.
[7] Доблаев Л. П. Смысловая структура учебного текста и проблемы его понимания. М. : Педагогика, 1982. 176 с.
[8] Епишева О. Б., Крупич В. И. Учить школьников учиться математике: Формирование приемов учебной деятельности : книга для учителя. М. : Просвещение, 1990. 128 с.
[9] Гильманов Р. А. Измерение трудности учебных упражнений посредством моделирования процесса их выполнения : дис. ... канд. пед. наук. Казань, 1987. С. 62.
[10] Новиков А. И. Семантика текста и ее формализация. М. : Наука, 1983. 219 с.
[11] Гидлевский А. В. Универсальный метод оценки трудности учебных тестовых заданий // Вестн. Ом. ун-та. 2011. № 2. С. 271-276.
