CC BY
55
УДК 37001 5 А. В. ГИДЛЕВСКИЙ
Т. В. КОШКАРОВА
Омский государственный университет им. Ф. М. Достоевского
Омский государственный аграрный университет
КОМПЛЕКСНАЯ ОЦЕНКА ТРУДНОСТИ УЧЕБНОГО ТЕСТОВОГО ЗАДАНИЯ
Предлагается эффективный метод количественного определения трудности учебных тестовых заданий, базирующийся на использовании нескольких подходов к анализу структур условия и решения тестового задания: подход с позиций разнообразия, субъект-предикатный подход, графологический подход, метод базовых отношений, когнитивный подход.
Ключевые слова: субъект-предикатный подход, трудность условия учебного тестового задания, трудность текста, качество образования.
Введение
Проблема исчисления трудности учебных тестовых заданий выходит на передний план современной науки образования. Причин этому несколько. Во-первых, тесты учебных достижений все больше и больше привлекают внимание исследователей благодаря их интенсивному внедрению в образовательный процесс, в том числе в систему ЕГЭ. Во-вторых, учебные тесты формируются на основе сравнительного метода отбора тестовых заданий, концепция которого становится камнем преткновения, когда речь заходит об объективных параметрах тестовых заданий. В-третьих, слабо разработан концептуальный массив: до сих пор нет отчетливого понимания того обстоятельства, что критерий трудности теста есть комплексная характеристика, которая может быть объективной, то есть независимой от конкретного индивида и т.д. Например, в работах по учебному тестингу авторы редко различают трудность и сложность заданий как базовые характеристики понимания. Между тем сложность — это количественная характеристика текста, которая может быть трансформирована в трудность через значительное количество оговорок. Вместо термина «сложность» можно использовать термин «трудность», сместив акцент в сферу когнитивных операций индивида. Замена двух неопределенных понятий одним определенным позволит избежать путаницы и получить более лаконичное изложение метода исчисления трудности тестовых заданий, которому посвящено настоящее сообщение. Серьезным аргументом для обсуждаемого выбора является преимущественное использование термина «трудность», а не «сложность» в лингвистике. Перспективным представляется использование вместо понятия сложности понятия разнообразия.
И условие, и решение текстовой задачи (тестового задания) представляют собой текст, и потому для исследования характеристик и условия, и решения целесообразно применять субъект-предикатный подход к анализу структур условий и решений тестовых заданий. Данная статья является одной из первых работ, в которых ставится задача исследования учеб-
ного тестового задания как дидактического целого. По этой же причине гипотезы и методы, предлагаемые нами, не следует считать окончательными.
Сложность, трудность, разнообразие
Ранее рядом авторов для расчета параметров тестового задания в виде учебной текстовой задачи использовалось понятие сложности вершины дерева решения [1, 2]. Некоторое время назад нами был предложен такой метод расчета трудности решения учебной текстовой задачи, который учитывает и ее сложность [3]. Данный вариант метода был основан на модификации сложности в трудность с учетом, однако, и некоторых особенностей обработки информации мозгом. В дальнейшем выяснилось, что понятие сложности в моделировании способов исчисления трудности логико-гностических задач нуждается в уточнении. Для прояснения данного обстоятельства рассмотрим пример с выражением для кинетической энергии: Ш=шу2/2.
На рис. 1 показан граф структуры этого выражения. Подобные графы часто носят название деревьев [1].
Если вычислить такой параметр как сложность узла дерева (Шк) по [1, 2], то она будет равна произведению числа всех узлов на число выходящих из верхнего узла связей. Вычисляем: С = Ф5 = 20. Данный способ расчета сложности имеет существенный недостаток, который заключается в постулировании одинаковости вклада в результирующую сложность
Рис. 1. Графическое представление выражения для кинетической энергии W = mv2/2
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №1 (85) 2010 МЕТОДИКА ПРЕПОДАВАНИЯ
МЕТОДИКА ПРЕПОДАВАНИЯ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №1 (85) 2010
как существенных переменных ш и V, так и множителя 1/2, что отнюдь не украшает данный метод, поскольку умножение на какое-либо число, а равно и прибавление или вычитание оного представляется нам операцией, которую можно отнести к классу элементарных. Сюда же можно отнести и возведение в квадрат и извлечение корня и другие операции. В тестовых заданиях по математике, однако, в отличие от рассматриваемого примера, необходима более тонкая дифференциация математических операций.
В нашем примере кинетическая энергия представляет собой функцию двух переменных, которая может быть задана в виде отношения С = А.В. Данное отношение может быть названо базовым. Количество физических величин в нем равно трем. Это количество может быть определено как разнообразие выражения для кинетической энергии. Величина данного разнообразия может быть вычислена так же, как и в методе, изложенном в [1, 2], была вычислена сложность. Данный метод мы будем называть в дальнейшем методом Рыженко и др. по имени исследователя, внесшего наибольший вклад в решение проблемы сложности логико-гностических задач. Если же ввести понятие потенциального разнообразия как количество выражений для переменных, которых три: С = А.В, А=С/В, В = С/А, плюс также три величины в базовом отношении, то мы получим величину 6. Данный количественный параметр совпадает в своем численном значении с результатом, полученным для сложности простого дерева (рис. 2) с применением метода Рыженко и др. [1, 2]. Однако во многих других случаях разнообразие и сложность вершины дерева, вычисленная по методике Рыженко и др. не совпадают.
Применение подхода с позиций разнообразия делает метод исчисления трудности тестовых заданий более точным, поскольку элементарные операции можно вынести в отдельный класс преобразований и назначать каждой операции соответствующую кон-венциальную трудность.
С учетом вышесказанного, трудность какого либо отношения может быть вычислена как трудность разнообразия Т0 плюс трудность элементарных операций. В нашем случае величина разнообразия определит минимальную, исходную трудность дерева для кинетической энергии Т, равную шести. Трудности же элементарных операций возведения в квадрат и умножения на 1/2, могут быть учтены со значениями, равными единице, либо с другими значениями, например: возведение в квадрат — со значением, равным единице, а умножение на 1/2 — со значением, равным 0,5.
С учетом сказанного трудность отношения для кинетической энергии будет равна 6+1+0,5 = 7,5. Если сравнить величину вычисленной таким образом трудности выражения для кинетической энергии с величиной его сложности, определенной по методу Рыженко и др., то мы увидим, что отсутствие дифференциации сомножителей в последнем случае существенно, а главное, неоправданно увеличивает вычисляемый параметр дерева, который может быть связан с трудностью. Сл = 5.4 = 20.
Тестовые задания по физике представляют собой физические задачи в одно или несколько действий. Самый простой случай, когда требуется воспроизвести какое-либо выражение, мы уже рассмотрели на примере кинетической энергии. Предположим теперь, что в нашем тестовом задании с кинетической энергией предусматривается операция нахождения выражения для массы тела, когда известны его плотность и объем.
А
Рис. 2. Графическое представление базового отношения С = А.В
у2/2
Рис. 3. Графическое представление структуры решения тестового задания
Для рационального построения дерева решения такой задачи необходимо представить исходное отношение в таком виде, чтобы можно было «видеть» новое отношение ш = У.р, где V — объем тела, а р — его плотность (рис. 3).
На рис. 3 мы видим решение некоторой задачи, где требуется определить величину кинетической энергии, если известны скорость тела, его плотность и объем.
Исходная трудность Т02, определяемая через разнообразие, для второго действия также равна шести, но поскольку второе действии следует из первого, его итоговая трудность меньше в сравнении с трудностью действия, занимающего более высокий уровень в иерархии структуры решения. Для учета данного обстоятельства в методе расчета трудности необходимо суммировать трудности действий с разными весовыми коэффициентами, учитывающими иерархичность действий. Проще всего это сделать следующим образом. Пусть коэффициент иерархичности последнего действия равен единице. Тогда коэффициент иерархичности каждого предыдущего действия будет больше на единицу, или какое-либо другое число. Выбор коэффициентов иерархичности в значительной мере условен и осуществляется, исходя из соображений удобства расчета. Аналогичные рассуждения по поводу учета иерархичности отношений в тексте мы видим у Новикова [4].
Сообразуясь с вышесказанным, установим для второго действия коэффициент иерархичности кц2=1, а для первого — кц1 = 2.
Трудность решения, показанного на рис. 3, складывается из суммы трудностей первого и второго действий.
Т = Т1 + Т2.
В общем случае трудность действия будет равна произведению начальной трудности Т01 на ряд коэффициентов, которые отражают различные стороны действий как подзадач со своей новизной, степенью абстракции, иерархичностью, дисциплинарной принадлежностью, отводимым на решение задачи временем и др. Например, в тестовых заданиях по физике, в зависимости от изучаемого раздела, показатели забывания можно выбрать следующим образом:
С
В
механика — 1; молекулярная физика — 1,5; электродинамика — 2; оптика и атомная физика — 3.
Однако можно выбрать и другие показатели в зависимости от типа образовательного учреждения и задач тестирования.
В самом простом случае для первого действия мы используем лишь коэффициент иерархичности кц1.
Тогда
Т1 = Т01 ки1.
Аналогично и для трудности второго действия мы можем записать:
Рис. 4. Модификация главного текстового субъекта
Т =Т .к
1 2 1 02 ^и2'
Суммарная трудность двух рассматриваемых действий будет равна:
Т Т01ки1 +Т02ки2.
Выше мы уже нашли значения Т01 и Т02:
Т01 = 7,5; Т02=6.
С 21(Ш)
С 2*(У) С 23 (V)
С 24(1/2)
Рис. 5. Представление выражения для кинетической энергии как модификацию текстового субъекта
Теперь мы можем найти численное значение суммарной трудности двух действий:
Т = 7,5.2 + 6.1 = 21.
Применение метода Рыженко и др. к расчету трудности решения наталкивается в случае нескольких действий в решении задачи (тестового задания) еще на одно противоречие. При расчете сложности структур таких решений последнее действие учитывается столько раз, сколько действий в решении задачи. В итоге при использовании метода в расчете трудности, трудность последнего действия будет выше трудности первого действия во столько же раз.
Подход с позиций дерева отношений, который мы применили для вычисления трудности решения простой задачи имеет высокую корреляцию с субъект-предикатным подходом, который используется Л. П. Доблаевым для анализа содержания текста [5]. В соответствии с подходом Л. П. Доблаева текст представляет собой последовательность субъект-субъект-ных модификаций, которая для нашей задачи из двух действий может выглядеть так, как показано на рис. 4.
На рис. 4: С1 (Шк) — главный текстовый субъект; С21 (ш) и С22 ^2/2) — текстовые субъекты второго ранга; С31 (V) и С32 (р) — текстовые субъекты третьего ранга.
В соответствии с методикой Л.П. Доблаева, для подсчета трудности необходимо выделить линии модификации, подсчитать их трудности по отдельности, а затем суммировать трудности всех линий модификации.
Первый этап модификации — первое действие — можно представить в уже знакомом виде (рис. 5).
Как видно из рис. 5, главный текстовый субъект модифицирован в ряд субъектов (модификатов) второго ранга. В нашей задаче из двух действий субъект С21, как мы видели, подлежит дальнейшей модификации. Остальные — конечные, далее не модифицируемые в рамках нашей задачи субъекты. Разнообразие системы, показанной на рис. 5, поддерживают лишь три физические величины, три субъекта: С1, С21, С22. Поэтому модификаты С21 и С22 могут быть названы основными модификатами и линии модификаций для них должны иметь самый высокий показа-
тель трудности модификации, допустим, равный трем. Модификаты С23 и С24 представляют собой, как мы видели выше, элементарные преобразования. По этой причине показатели модификаций для них должны быть ниже. Например, мы можем установить для мо-дификата С23 значение трудности преобразования, равное единице, а для С24 — 0,5. С учетом сказанного, общая трудность представления главного текстового субъекта через его модификаты в нашем случае будет равна сумме трудностей модификаций, а именно: 3 + 3+1 + 0,5 = 7,5.
Рассмотренный выше подход, основанный на идеологии базовых отношений, привел нас ранее к тому же самому результату.
Однако первичным (более общим) является все же субъект-предикатный подход, а метод базовых отношений или просто метод отношений — второй шаг в использовании субъект-предикатного подхода в приложении к различным учебным дисциплинам. Например, если необходимо определить трудность тестового задания по химии, или физике, то следует начать с прямого использования субъект-предикат-ного подхода по методу Л.П. Доблаева, а затем использовать метод отношений по мере необходимости в планировании каждого последующего шага, поскольку таковой предусматривает анализ ряда отношений (формул, законов, зависимостей).
В нашей задаче из двух действий главный текстовый субъект раскрывается посредством двух субъектов С21 и С22, находящихся в отношении С21.С22. Далее текстовый субъект С21 раскрывается посредством текстовых субъектов С31 и С32.
Таким образом, на каждой ступени модификации мы выделяем базовые отношения и элементарные операции и вычисляем трудность решения, как было показано выше.
Заключение
В последнее время проблеме трудности учебных тестовых заданий уделяется особое внимание, поскольку сравнительный метод определения трудности заданий не поддерживается сколько-нибудь
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №1 (85) 2010 МЕТОДИКА ПРЕПОДАВАНИЯ
МЕТОДИКА ПРЕПОДАВАНИЯ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК №1 (85) 2010
убедительной теорией. В данном сообщении мы продолжили обсуждение проблемы научного обоснования подходов к исчислению трудности тестовых заданий с привлечением целого комплекса представлений, в основе которого мы предполагаем субъект-предикатный подход к анализу структуры тестового задания. Детали создаваемого комплекса мы собирали в течение нескольких лет, извлекая их из результатов исследований, посвященных проблемам исчисления сложности и трудности как собственно текста в его лингвистической интерпретации, так и дидактических исследований, ориентированных на способы представления структур решений учебных текстовых задач. Несмотря на то, что мы получили, как нам кажется, ряд результатов, подтверждающих эффективность выбранного пути исследования проблемы, проблема влияния трудности, как условия, так и тестового задания в целом на успешность его выполнения, требует дополнительных исследований. В частности, необходима оптимизация выбора места рисунка в процессе осмысления условия и составления алгоритма решения, поскольку, как мы видели, место рисунка в общем алгоритме решения оказывает самое серьезное воздействие на эффективность выполнения учебного тестового задания. Проблема исчисления трудности тестового задания крайне важна и в том плане, что она связана еще и с проблемой времени, которое должно отводиться для выполнения того или иного тестового задания, например, в тестовых форматах ЕГЭ.
Библиографический список
1. Рыженко Н.Г., Жигачева Н.А. Структуризация и систематизация сюжетных задач по сложности их решения // Вестник Омского университета. — Омск : Изд-во ОГУ, 1998. — № 4. — С. 111-114.
2. Шрейдер Ю.А. Равенство, сходство, порядок. — М. : Наука, 1971. — С. 141 — 143.
3. Гидлевский А.В. Исчисление трудности содержания учебнометодических средств обеспечения образования // Интеграция образования. — Саранск. — 2007. — № 2. — С. 41 — 46.
4. Новиков А.И. Семантика текста и ее формализация. — М. : Наука, 1983. — С. 192— 195.
5. Доблаев Л.П. Смысловая структура учебного текста и проблемы его понимания. — М. : Педагогика, 1982. — 176 с.
ГИДЛЕВСКИЙ Александр Васильевич, доктор философских наук, доцент, профессор кафедры философии Омского государственного университета им. Ф. М. Достоевского.
Адрес для переписки: е-mail: gidlevsky@omsu.ru КОШКАРОВА Татьяна Витальевна, преподаватель кафедры физики Омского государственного аграрного университета.
Адрес для переписки: e-mail: koshkarovat@mail.ru
Статья поступила в редакцию 08.06.2009 г.
© А. В. Гидлевский, Т. В. Кошкарова
УДК 373.1 37.026 с м. АНДРЮШЕЧКИН
Сибирская государственная автомобильно-дорожная академия,
г. Омск
ДИДАКТИЧЕСКИЙ КОМПЛЕКС ДЛЯ ПРОБЛЕМНОГО ОБУЧЕНИЯ
(НА ПРИМЕРЕ КУРСА ФИЗИКИ 7-го КЛАССА)
В статье указывается на необходимость создания дидактических комплексов для эффективной реализации проблемного обучения. Рассматриваются состав и принципы построения элементов такого комплекса применительно к курсу физики 7-го класса. Ключевые слова: общеобразовательная школа, проблемное обучение, дидактический комплекс.
В Концепции модернизации российского образования до 2010 года существенное внимание уделено общеобразовательной школе как базовому звену образования. Модернизация общеобразовательной школы «предполагает ориентацию образования не только на усвоение обучающимся определенной суммы знаний, но и на развитие его личности, его познавательных и созидательных способностей» [1]. Модернизация общеобразовательной школы объективно необходима; об этом свидетельствуют результаты сравнительного анализа математической и естественнонаучной подготовки учащихся основной школы России по материалам международных ис-
следований. «Проверялась не столько глубина освоения школьных дисциплин, сколько способность использовать полученные знания на практике... Российские участники показали результаты ниже средних (и ниже прежних). Причин этому не мало, причем одна из главных — находящаяся в компетенции учителя — очевидна: недостаточное внимание развитию учеников ...» [2].
Активизация познавательной деятельности учащихся наиболее успешно протекает при использовании проблемного обучения. Как отмечает А. В. Усова, «цель проблемного типа обучения — не только усвоение результатов научного познания, системы зна-
