CC BY
19
интеграция образования шиша МОНИТОРИНГ ОБРАЗОВАНИЯ
ПРОСТОЙ МЕТОД ИСЧИСЛЕНИЯ ТРУДНОСТИ ТЕСТОВ В ЗАДАЧАХ ТОЧНОГО ИЗМЕРЕНИЯ РЕЗУЛЬТАТА ОБРАЗОВАНИЯ
А.В. Гидлевский, доцент Омского государственного педагогического
университета
Предлагаются обоснование и подробное описание простого способа определения трудности заданий, используемых в качестве инструмента для измерений образовательного результата как прироста интеллектуальных возможностей, верифицируемого по эффективности выполнения заданий той или иной степени трудности. Данный метод ввиду его высокой точности дает возможность обоснованно ввести требуемое количество уровней трудности заданий в многоуровневых тестовых форматах, используемых в задачах управления качеством образования.
The substantiation and the detailed description of a simple way of definition of difficulty of the tasks used as the tool for measurements of educational result as of a gain of intellectual opportunities, performance of tasks of this or that degree of difficulty verified on efficiency is offered. The given method in view of its high accuracy enables proved to enter required quantity of levels of difficulty of tasks in the multilevel test formats used in problems of quality management of education.
Данная статья является продолжением цикла работ, посвященных интеллектуальной модели образования, основывающейся на ряде авторских концепций, в первую очередь концепции визуального поля. В соответствии с ней наиболее эффективно решает интеллектуальные задачи «визуальный мозг», совершенствование работы которого связано также с «нравственным очищением» личности. Интеллектуальная модель образования является неотъемлемой частью соответствующей интеллектуальной же модели общества, согласно которой достойного существования человечества нельзя достичь без его интеллектуализации через повышение соответствующих возможностей каждого элемента социальной системы.
Исходя из сказанного можно заключить, что целью образования является повышение интеллектуальных возможностей индивида в решении трудных задач. Для измерения же прироста таких возможностей необходим соответствующий инструментарий. В задачах по измерению прироста интеллектуальных умений основной проблемой является создание равнотрудных тестов. Разумеется, для целей развития интеллектуального «решательного» умения необходимо наращивать трудность учебных заданий, в связи с чем данную характеристику и в этом случае желательно уметь измерять с точностью, как нам кажется, не менее 1 %.
Вполне понятно, что сложность задач (под сложностью задачи мы будем понимать сложность структуры ее решения, которая довольно просто определяется для соответствующего представления решения) не является «краеугольным камнем» для калибровки заданий, поскольку сложность — это длина решения, или, иначе, количество действий в решении задачи без учета их качества. Сложность структур решений школьных «сюжетных» задач по математике исследована на сегодняшний день довольно подробно с помощью алгоритма (см., например: Жигачева Н.А., Рыженко Н.Г. Графовое моделирование структур решений сюжетных задач // Мат. структуры и моделирование. Омск, 1999. Вып. 4. С. 104—117). Сложность синтаксических структур для текста исследована в лингвистике и нас не интересует, поскольку понимание текста как решение мыслительной задачи связано с семантической структурой, графовое представление которой нами было использовано в исчислении трудности понимания текста с применением такой характеристики, как сложность семантической структуры текста (см.: Гидлевский А.В. О методологии понимания текста // Гуманит. исслед. Омск, 2000. Вып. 5. С. 264—268).
Сложность решения задачи по дисциплинам естественно-научного цикла есть сумма показателей сложности отдельных действий; сложность ответа на
© А.В. Гидлевский, 2003
№ 4,2003
вопрос (тесты по дисциплинам гуманитарного цикла требуют выбора ответа либо его конструирования, что, фактически, то же самое), т.е. сложность текста, определяется через сложность структур понятий и связей между ними. Мы подробно остановились на сложности структур решений, поскольку сложность (сложенностъ) элемента структуры может служить первичной (элементарной) количественной характеристикой решения задачи, а соответствующий алгоритм суммирования «сложностей» действий с учетом их «трудностей» позволяет вычислить такую характеристику решения задачи, как его трудность. Другими словами, трудность решения задачи мы вычисляем через показатели трудности действий (операций) и их сложность.
Данный подход позволяет получить ряд объективных для данного решения характеристик — сложность, трудность и эффективность, причем эффективность решения может быть рассчитана по степени использования наиболее эффективных естественных стратегий интеллектуальной деятельности (см.: Гидлев-ский А.В. Определение количественных характеристик мыслительных задач для целей измерения качества образования // Ом. науч. вестн. Омск, 2002. Вып. 18. С. 244—246).
Поскольку параметр эффективности играет главную роль в проектировании дидактических систем, а нас интересует в данном сообщении лишь задача измерений, мы остановимся на одной, достаточной, на наш взгляд, для целей измерений характеристике решений — трудности.
Графическое представление структуры решения задачи
То или иное действие в решении задачи может быть представлено отношением следующего вида: х = /(а, Ь). В задачах по физике, например, мощность равна произведению величин тока и напряжения: Р = I • и. Кинетическая энергия вычисляется по известному отноше-
ра текста (ответ на вопрос) также может быть выражена в виде совокупности отношений семантических единиц.
Графически отношения изображаются в виде кружков и линий (рис. 1):
ту
нию Ек = —— к 2
Семантическая структу-
Р и с. 1
Способ представления отношений, показанный на рис. 1, б и используемый, в частности, в упомянутой выше работе Н.А. Жигачевой и Н.Г. Рыженко, более удобен для построения дерева структуры решения. Отношения между величинами могут иметь и более сложный вид, как, например, в приведенном выше выражении для кинетической энергии. «Элементарные» операции деления на 2 и возведения в квадрат делают свой вклад в сложность действия (отношения) и могут быть учтены добавлением к величине сложности «элементарного» дерева определенного количества баллов. Так, если назначить элементарному дереву сложность, допустим, равную 18, то за операцию деления на 2 можно дополнительно назначить 1 балл, а за операцию возведения в квадрат — 2 балла. В этом случае сложность обсуждаемого отношения (действия) равна 21. Сложность всего решения задачи мы вычисляем как сумму сложностей всех ее действий. Отметим, что проблема учета «элементарных операций» требует своего решения в рамках каждой учебной дисциплины. Школой Н.Г. Рыженко разрабатываются, в частности, проблемы исчисления сложности задач по дисциплинам естественно-научного цикла.
Трудность решения задачи
Трудностью задач в практическом плане исчисления соответствующих характеристик тестовых форматов «педагогическая общественность» занимается неохотно. «Наивные» педагоги говорят обычно, что трудность задачи — это ее субъективная характеристика, которая
ИНТЕГРАЦИЯ ОБРАЗОВАНИЯ
зависит от решающего, и по этой причине вычислить ее невозможно. Однако, на наш взгляд, у задачи как «объективной реальности» не может быть «субъективных» характеристик. Другими словами, следует различать трудность задачи как некоторую характеристику системы «ученик — задача» и трудность решения задачи как его объективную, независимую от того или иного исполнителя решения характеристику. В возможности такого различения мы уже убедились выше. Алгоритм расчета сложности решения используется нами и для расчета его трудности. В дальнейшем мы договоримся понимать под трудностью задачи трудность ее решения, вычисленную по структуре последнего.
Естественно, что решение задачи, проведенное экспертом, имеет наименьшую сложность — в том числе наименьшее количество действий. Трудность решения данной задачи учеником можно было бы вычислить как разность показателей сложности структур решений ученика и эксперта (Нгуен-Ксуан А., Жинь Шао. Умозаключения и стратегии решения задач // Вопр. психологии. 1997. № 1. С. 82—98). Однако для этой цели пришлось бы анализировать структуры решений задач либо ответов на вопросы, что для распространенных измерительных систем (например, ЕГЭ) было бы дорогим, но не лишенным смысла «удовольствием».
Для практических целей, и в частности, «самоаттестационных» срезов, ЕГЭ, контрольных работ, индивидуальных заданий для учащихся, нами предлагается следующий, доступный каждому педагогу, способ калибровки тестов по трудности. Согласно данному способу трудность теста представляет собой сумму трудностей отдельных заданий. Трудность задания (задачи) рассчитывается как сумма трудностей отдельных действий, составляющих структуру решения.
С целью калибровки заданий по трудности используются наиболее рациональные структуры решений, полученные экспертами. Трудность того или иного действия определяется как произведение сложности действия (масштабиро-
ванной сложности) на значение коэффициента концептуальной трудности, величина которого равна единице для последнего действия в решении задачи и возрастает на единицу при переходе к предыдущему действию. Обоснование этого приема исчисления значений коэффициента концептуальной трудности заключается в следующем. Первое действие является самым трудным, и решающий оперирует при этом самыми общими закономерностями (самыми абстрактными, скрывающими наибольшее количество внутренних действий, операций). Второе действие — отношение меньшего уровня общности, и т.д. Данный метод на сегодняшний день представляется нам единственным, не требующим высокой квалификации педагога. Разрешение системы зависит от выбранного масштаба сложности действия и может достигать долей процента для задач «средней» трудности.
Для краткой иллюстрации метода рассмотрим следующий пример. Пусть имеется граф структуры решения некоторой задачи (рис. 2). Решение задачи осуществлено посредством трех действий (шагов), коэффициенты концептуальной трудности которых, согласно вышеупомянутому методу их исчисления, принимают значения 1, 2 и 3. Назначим каждому шагу сложность, например, С = 18. Тогда для первого действия трудность составит 3-18 = 54, для второго — 2-18 = 36, а для третьего — 1-18 =18. Суммарная трудность задачи (трудность ее решения) равна 108.
Р и с. 2
