Проблема трудности учебных тестовых заданий Текст научной статьи по специальности «Математика»

КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ

УДК 37.001.5

А. В. Гидлевский,

Т. В. Кошкарова

ПРОБЛЕМА ТРУДНОСТИ УЧЕБНЫХ ТЕСТОВЫХ ЗАДАНИЙ

Аннотация. В статье обсуждается применение субъект-предикатного подхода к исчислению трудности учебных тестовых заданий. Структура содержания условия и решения рассматриваются с единых позиций, что позволяет получить эффективный инструментарий исчисления трудности тестового задания как дидактического целого.

Ключевые слова: субъект-предикатный подход, трудность условия учебного тестового задания, трудность текста.

Abstract. The paper considers the subject-predicate approach to the assessment of difficulty of teaching tests. The integrated analysis of the problem situation and its solution is an effective tool to be used in this process.

Index terms: subject-predicate approach, difficulty of teaching problem situations, difficulty of the test.

Введение

Тестовые задания являются базовыми элементами тестовых форматов, используемых для измерения качества результата образования и дифференцированного обучения. В качестве тестовых заданий в дисциплинах естественнонаучного цикла часто применяются учебные текстовые задачи. Однако на сегодняшний день в дидактике отсутствует эффективная научная методология количественного определения такой важной характеристики учебных тестовых заданий, как трудность, поскольку на современном этапе исследователям эта задача представляется трудноразрешаемой.

Отсутствие строгого метода приводит к тому, что, например, составители тестов Единого государственного экзамена (ЕГЭ) в оценке трудности задания часто ошибаются в несколько раз. Таким образом, актуальность исследования поддерживается острой необходимостью в более корректном определении трудности тестовых заданий и отсутствием соответствующего эффективного инструментария в современной дидактике.

Сущность предлагаемого нами метода заключается в следующем. Исходя из субъект-предикатного подхода к структуре содержания текста,

формируется граф интеллектуального поиска, обработка которого дает значение трудности тестового задания. При этом использование единого подхода к исчислению трудности как условия, так и решения тестового задания позволяет рассматривать его как дидактическое целое.

При изложении материала мы выбирали в основном примеры из области физики. Причин тому несколько. Во-первых, в силу их многоплановости они служат ориентиром для анализа тестовых заданий по другим дисциплинам. Во-вторых, основные наработки по исчислению сложности тестовых заданий были сделаны школой Н. Г. Рыженко на примерах задач механики [4]. И, в-третьих, авторы статьи являются специалистами в области преподавания именно физики.

Данная статья является одной из первых работ, в которой ставится задача теоретического исследования комплексной трудности учебного тестового задания. По этой причине гипотезы и методы, предлагаемые нами, не следует считать окончательными.

Выбор метода

Мы будем основываться на подходе к построению структуры текста, который использует Л. П. Доблаев [2]. Согласно его точке зрения, текст выражает иерархическую систему текстовых субъектов и предикатов различных рангов и порядковых номеров (в пределах одного и того же ранга), в которой выделяются два типа смысловых отношений: а) между текстовыми субъектом и предикатом; б) между входящими в состав предиката субъектами различных рангов или одноранговыми (параллельными, соподчиненными) субъектами.

Одно и то же предложение может быть одновременно текстовым субъектом и текстовым предикатом (частью предиката). Предикат определенного ранга может включать в себя один, два и более отдельных параллельных субъекта либо субъект и его предикат (несколько субъектов и предикатов) более низкого ранга. Этот предикат, в свою очередь, может содержать субъекты и предикаты еще более низкого ранга и т. д.

Некоторые текстовые субъекты не имеют модификаций и являются конечными. Другие имеют только непосредственную модификацию: их модификатами являются субъекты только одного последующего ранга (конечные), которые далее не модифицируются. Третьи получают, кроме непосредственной, также и опосредованную модификацию - через свои более близкие модификаты.

Таким образом, система субъектов текста оказывается системой модификации основного, самого широкого по содержанию субъекта. Сравнивая различные способы модификации текстовых субъектов, нетрудно увидеть, что более простыми для понимания, но в то же время и менее информативными являются уточнение и особенно повторение и расчлене-

ние того, что выражено в модифицируемом субъекте, а самыми сложными и вместе с тем информативными - выявление новых предметов мысли или их признаков.

Наиболее просто расчет трудности текста может быть проведен следующим образом. На основании структурной схемы [2, с. 31] выделяются линии модификации, для каждой из которых определяется трудность как сумма произведений исходной трудности на ряд коэффициентов, зависящих от места модификации в ее последовательности и типа модификации. Затем суммируются показатели трудности для всех линий модификации, входящих в задачу определения трудности соответствующего фрагмента, например абзаца или параграфа учебника либо условия текстовой задачи.

Ниже на простом примере рассмотрим расчет трудности текста. Пусть мы имеем линию модификации, включающую три субъекта: С1, С2 и Сз (рис. 1).

Рис. 1. Часть линии модификации

Одними из важнейших параметров трудности в рассматриваемом примере являются коэффициенты иерархичности /с, значения которых в нашем примере равны двум для первого действия (модификации С1 ^ С2) и единице для второго действия (модификации С2 ^ С3). к;1 = 2, ке = 1. В качестве другого параметра трудности можно ввести, например, величину коэффициента модификации кт, зависящую от вида отношения между субъектами. Для уточнения и повторения эта величина может быть положена равной единице, для выявления же новых предметов мысли и их признаков - двум. Допустим, в нашем примере кт1 = 2, кт2 = 1. Разумеется, могут быть использованы и другие классификации отношений и соответствующих коэффициентов модификации.

Для вычисления трудности данного весьма короткого текста необходимо задать исходный масштаб: некоторую исходную минимальную трудность модификации, величина которой, в частности, определит разрешение метода. Чем она выше, тем выше и разрешение. Пусть, например исходная условная трудность модификации То = 6. Для нахождения результирующей трудности текста можно просто найти сумму трудностей двух шагов: Т = Т1 + Т2.

Трудность первой модификации Т1 вычисляется как произведение исходной трудности Т0 на коэффициенты к;1 и кт1:

Т1 = То ■ к;1 ■ кт1 = 6 ■ 2 ■ 2 = 24.

Аналогично вычисляется трудность второй модификации Т2:

Т2 = То ■ к;2 ■ кт2 = 6 ■ 1 ■ 1 = 6.

Результирующая трудность будет равна:

Т = Т1 + Т2 = 24 + 6 = 30.

Тестовое задание также представляет собой текст. Однако для исследования структуры решения тестового задания цепочка рассуждений конкретизируется.

Применение метода к тестовым заданиям по физике

Рассмотрим простое тестовое задание, связанное с воспроизведением формулы для кинетической энергии Ик = тгЯ/2. В решении можно выбрать две основные модификации: Ик ^ т и Ик ^ V. Минимальная трудность модификации может быть назначена произвольно. Абсолютные значения исходной трудности в значительной степени конвенциальны.

т

Рис. 2. Представление выражения для кинетической энергии посредством составляющих, которые можно считать модификатами

Например, на рис. 2 каждая из модификаций Ик ^ т и Ик ^ V может иметь значение трудности, равное трем. В соответствии со сказанным выше мы можем выбрать какое-либо другое число - все определяется требованиями к разрешению метода. Модификация Ик ^ V повторяется дважды, что соответствует возведению скорости в квадрат в выражении для кинетической энергии. Вполне очевидно, что вклад «повтора» в результирующую трудность должен учитываться с меньшим баллом, чем вклад «оригинала». Например, в нашем случае указанные две модификации в сумме дают 6, а возведение в квадрат и умножение на 1/2 добавляют еще по единице. Если необходимо более высокое разрешение в определении трудности, то можно уменьшить вдвое «стоимость» умножения на 1/2. Тогда суммарная сложность будет равна 7,5. Теперь уточним, что представляет собой разрешение метода исчисления трудности. Пользуясь общепринятым понятием относительной ошибки, для нашего случая будем иметь: е = ДТ/Т, где ДТ - минимальный интервал (значение) труднос-

ти. В нашем случае ДТ = 1/2, а е = 1/15 = 0,067. Выраженное в процентах значение, таким образом, равно 6,7%. Приведенный пример выражения для кинетической энергии имеет невысокую исходную трудность. Обычные тестовые задания предполагают более сложные решения, состоящие, как правило, из нескольких действий. В таком случае разрешение метода пропорционально числу таких действий. В случае трех действий разрешение равно приблизительно двум процентам. С учетом же условия тестового задания разрешение может достигать одного процента и менее.

Рассмотрим теперь применение метода к расчету трудности решения, а затем и условия типового тестового задания.

Задача 1. Проводка от магистрали в здание осуществляется проводом, сопротивление которого Кпр = 0,5 Ом. Напряжение магистрали постоянно и равно U = 235 В. Какова максимальная потребляемая в здании мощность, если напряжение на включенных в цепь приборах не должно падать ниже Uo = 210 В (рис. 3)?

Рис. 3. Схема к задаче 1

Р

Рис. 4. Дерево решения задачи 1

Как видно из рис. 4, решение задачи включает в себя три действия. При построении данного дерева структуры решения задачи использованы следующие допущения. Во-первых, для канонизации, если можно так выразиться, тестовых заданий следует использовать экспертные решения как самые эффективные. Такая установка обеспечивает условие объективизации решений, поскольку неоправданно длинные решения не являются самыми

эффективными, а длина (неэффективность) решения разная у разных испытуемых. Во-вторых, необходимым условием канонизации решений является фокусирующий метод интеллектуального поиска, когда решение начинается от неизвестного. Именно этот метод фактически и обеспечивает экспертное решение задачи. Кроме того, он в наибольшей степени соответствует естественным алгоритмам мозга в решении логико-гностических задач. В-третьих, этот же метод решения позволяет применить и наиболее простой способ расчета сложности и трудности решения задачи [1, 4]. В частности, одним из параметров трудности при использовании данного метода является коэффициент иерархичности, который применяется в денотатном подходе к исследованию структуры содержания текста [3, с. 160].

Приведем расчет трудности решения задачи с использованием указанных допущений. Заметим, что на рисунке, показывающем дерево структуры решения, цепочка Р ^ I ^ ипр ^ и представляет собой последовательность трех модификаций главного текстового субъекта Р. Фактически они выражают собой три действия в решении задачи. Каждому субъект-субъектному переходу (модификации) можно назначить условную начальную трудность, равную трем. Но поскольку из каждой вершины Р,

I, и ипр выходит по две ветви, а каждая ветвь (отрезок модификации) имеет условную трудность, равную трем, то начальная трудность одного действия в нашем случае равна шести. Для повышения разрешения метода можно увеличивать начальную минимальную трудность до необходимого значения. В нашем примере с выражением для кинетической энергии при минимальной трудности модификации, равной трем, разрешение составило 6,7%. Увеличивая начальную трудность базовых модификаций вдвое (до шести), мы во столько же раз увеличиваем разрешение метода.

Вычислим теперь трудность показанного на рис. 4 решения данной задачи.

Первое действие имеет максимальную трудность, а последнее - минимальную. Данное утверждение основано на том, что последующие действия представляют собой следствия из предыдущих. Согласно вышесказанному, исходная трудность Т0 для каждого действия минимальна и равна шести. В соответствии с методикой расчета трудности текста, которую мы рассмотрели выше, введем коэффициенты трудности 1, 2 и 3 (рис. 4). Результирующая трудность решения равна сумме значений трудности каждого действия.

Треш = Т1 + Т2 + Тз, где Т1 = 6 ■ 3 = 18, Т2 = 6 ■ 2 = 12, Тз = 6.

Тогда суммарная трудность всех трех действий равна 36.

Условие данной задачи фактически задано рис. 3. Вычислим трудность условия как трудность рисунка. Учтем, что восприятие рисунка связано с установлением двух элементов цепи и трех напряжений. Итого

имеем пять составляющих. Предположим, что фиксирование вниманием каждой составляющей также представляет собой модификацию. Для простоты, как и прежде, зададим каждой модификации минимальную трудность, равную трем. Тогда трудность условия задачи как трудность рисунка будет равна Тусл = 5 ■ 3 = 15. Очевидно, что суммарная трудность условия и решения будет равна 51.

Рассмотрим теперь задачу, условие которой связано с самостоятельным построением рисунка.

Задача 2. С вершины наклонной плоскости, длина которой I = 10м и высота К = 5 м, начинает двигаться без начальной скорости тело. Какую скорость будет иметь тело у основания наклонной плоскости, если коэффициент трения между телом и наклонной плоскостью к = 0,2?

Для понимания условия задачи необходимо выделить основной текстовый субъект и выявить иерархию субъектов. В данном условии речь идет сначала о наклонной плоскости, которая обычно и принимается учащимися в качестве основного текстового субъекта, сопровождаемого образом схематичного рисунка наклонной плоскости, занимающего большой объем рабочей памяти, что препятствует дальнейшему эффективному анализу условия задачи, например, с целью установления других возможных кандидатов на роль основного текстового субъекта.

Субъект-предикатная структура такого варианта анализа условия показана на рис. 5.

С,

Рис. 5. Субъект-предикатная структура условия задачи:

С1 - наклонная плоскость, выбранная в качестве основного субъекта;

С2 и С3 - конечные субъекты; С4 - движение тела; С5 - движение с трением;

С6 - равноускоренное движение

На рис. 5 показана иерархия текстовых субъектов. В качестве элементарной структуры мы можем рассмотреть элементарную модификацию, субъект-субъектный отрезок, например С4 ^ С6. Таких элементов в нижнем ярусе модификаций два: С4 ^ С6 и С4 ^ С5. Коэффициент иерархичности

нижнего яруса, как и прежде, примем равным единице, а суммарная трудность модификаций нижнего яруса будет равна произведению числа элементарных модификаций нижнего яруса (таких две) на коэффициент иерархичности и на трудность элементарной модификации. Примем трудность элементарной модификации (минимальную трудность), как и в предыдущих задачах, равной трем. Выбор данного критерия определяется, как мы уже говорили, требуемым разрешением метода. С учетом сказанного суммарная трудность модификаций нижнего (второго) яруса будет равна:

Т2 = (С45 + С4б) ■ к2,

где С45 и С4б - трудности элементарных модификаций: С45 = С4б = 3; к2 -коэффициент иерархичности нижнего (второго) яруса. Его величина, в соответствии со сказанным выше, равна единице. Для верхнего яруса (рис. 5) к1 = 2.

Т2 = (С45 + С46) ■ к2 = (3 + 3) ■ 1 = б.

Трудность модификаций верхнего яруса Т1 = (С12 + С13 + С14) ■ к1, где С12 = С13 = С14 = 3; к = 2. Т1 = (С12 + С13 + С14) ■ к1 = (3 + 3 + 3) ■ 2 = 18.

Суммарная трудность показанного на рис. 1 условия задачи:

Т = Т1 + Т2 = 24.

Рассмотрим теперь вариант субъект-предикатной структуры условия задачи, когда в качестве основного текстового субъекта выбрано движение тела (рис. б).

С,

Рис. б. Субъект-предикатная структура условия задачи:

С1 - движение тела, выбранное в качестве основного субъекта;

С2 - движение по наклонной плоскости; С3 - движение с ускорением

Трудность данной структуры условия задачи Т = (С12 + С13) ■ к1 = б, что значительно меньше значения трудности предыдущей структуры (рис. 5). Таким образом, оптимальный выбор основного текстового субъекта существенно снижает трудность понимания условия задачи. Следует отметить, что при меньшем значении показателя трудности условия выше вероятность формулирования эффективной гипотезы решения задачи и, соответственно, успешность ее решения.

Заключение

Несмотря на то, что мы получили ряд результатов, подтверждающих, как нам кажется, эффективность выбранного пути исследования, проблема влияния трудности как условия, так и тестового задания в целом на успешность его выполнения требует дополнительного изучения. В частности, необходима дальнейшая работа по оптимизации выбора места рисунка в процессе осмысления условия и составления алгоритма решения, поскольку, как мы видели, в общем алгоритме решения оно оказывает самое серьезное воздействие на эффективность выполнения учебного тестового задания. Еще одной проблемой, которая ждет своего исследования, является проблема времени, отводимого на выполнение того или иного тестового задания.

Следующим немаловажным вопросом является шкала трудности тестовых заданий [5]. В этом случае применим следующий подход. В качестве основной «реперной» точки возможен выбор трудности, которая соответствует средней трудности тестовых заданий, включенных в типовые сборники заданий (задач). Другая «реперная» точка может отвечать средней трудности олимпиадных заданий (задач). И, наконец, третьей «реперной» точкой может служить трудность простых заданий на уровне основных понятий, отношений, законов. Практически в таком ключе составляются тестовые форматы по физике, математике и др. Однако в сегодняшней практике ошибка в калибровке заданий для ЕГЭ, например, по физике достигает 300%. Отличительной особенностью предлагаемого нами способа является его высокое разрешение. Относительная погрешность в определении трудности тестовых заданий может составлять доли процента. Однако для исчерпывающего решения проблемы создания шкалы трудности также необходимо отдельное большое исследование.

Как мы видим, на пути решения проблемы трудности учебных тестовых заданий когнитологов и дидактов ждут интересные и важные задачи.

Литература

1. Гидлевский А. В. Определение количественных характеристик мыслительных задач для целей измерения качества образования // Омск. науч. вестн. Омск: Изд-во ОмГТУ, 2002. Вып. 18. С. 244-24б.

2. Доблаев Л. П. Смысловая структура учебного текста и проблемы его понимания. М., 1982. 17б с.

3. Новиков А. И. Семантика текста и ее формализация. М.: Наука, 1983. 214 с.

4. Рыженко Н. Г., Жигачева Н. А. Структуризация и систематизация сюжетных задач по сложности их решения // Вестн. Омск. ун-та. 1998. № 4. С. 111-114.

5. Снигирева Т. А., Комкова О. Г. Особенности диагностики структуры знаний обучающихся в педагогической когнитологии // Образование и наука. Изв. УрО РАО. 2009. № б(б3). С. 43-50.