CC BY
42
МЕТОДИКА ПРЕПОДАВАНИЯ
удк 37.001.5 д. В. ГИДЛЕВСКИЙ
Омский государственный университет им. Ф. М. Достоевского
ОПТИМИЗДЦИЯ МЕТОДД ОЦЕНКИ ТРУДНОСТИ ДИДДКТИЧЕСКОГО ТЕСТОВОГО ЗДДДНИЯ_
Имеющиеся методы оценки трудности дидактических тестовых заданий обладают рядом принципиальных недостатков, затрудняющих практическое использование данных методов в задачах дифференцированного обучения и измерения качества образования. В настоящем сообщении предлагается непротиворечивый метод оценки трудности дидактических тестовых заданий, который обладает высокой точностью и простотой в использовании. Данный метод может оказаться особенно эффективным в системе ЕГЭ.
Ключевые слова: дидактическое тестовое задание, графологический подход, субъект-предикатный подход, трудность решения, трудность условия.
Введение
На протяжении последних нескольких десятилетий проблема исчисления сложности и трудности учебных (дидактических) текстовых задач, из которых формируются тестовые форматы (тесты) эволюционировала следующим образом. Приблизительно до середины 70-х годов прошлого столетия в подавляющем большинстве исследователи говорили больше о сложности задач и в меньшей степени об их трудности, справедливо полагая, что для вычисления трудности необходимо знать «трудозатраты» мозга на выполнение тех или иных операций. Сложность (сло-
женность) задач, напротив, не учитывает качество когнитивных операций и определяется лишь их количеством (количеством «действий»). При этом под «действием» понимается то или иное отношение между физическими, химическими и др. величинами. Именно в данном направлении пошло исследование проблемы сложности школьных задач по математике и физике в работах [1 — 8] и других. Для отображения структур содержания проблемного поля текстовых задач были задействованы графические (графовые, графологические) представления, что упрощало исчисление сложности как суперпозиции узлов и ветвей графа, отображающего структуру решения текс-
товой задачи. Именно решения, поскольку для вычисления сложности условия текстовой задачи необходимы были иные, более эффективные подходы. С другой стороны, и метод отношений показал свою ограниченность. Именно в силу ограниченности метода отношений некоторые исследователи обратились к текстологическим основаниям анализа структур содержания решений. В плане же исчисления сложности условия заметных успехов достигнуто не было.
Другая ветвь исследований — исследование проблемы исчисления трудности дидактических задач имеет более интересную судьбу. Во-первых, ряд исследователей не делают различий между сложностью и трудностью текстовой задачи, поскольку ни та, ни другая не измеряются как сложность и трудность, а сводятся к успешности, каковая и выдается с равным успехом, то за сложность, то за трудность. Во-вторых, несмотря на ограниченную перспективность исчисления сложности, многие исследователи так и не смогли переключиться на прямую задачу исчисления трудности. И в-третьих, в последнее время было уточнено само понятие трудности текстовой задачи (дидактического тестового задания). «Трудность тестового задания (уровень трудности) — основная количественная характеристика тестового задания, не зависящая от выборки испытуемых и отраженная на определенной шкале» [9, 10]. Данное определение трудности отрицает «успешностный» подход, как в классическом, так и современном вариантах, каковой рекомендуется для «проверки» качества образования, в том числе в системе ЕГЭ. Следует сказать, что к «успешностной» идеологии органы образования пытаются подвязать ранее предложенную нами для исчисления трудности текстовой задачи методологию «шагов догадки», которая (методология) была объявлена нами для дальнейшей разработки.
Приведем краткий обзор того, что сделано в науке относительно исчисления сложности и трудности учебных текстовых задач, каковые, повторимся, составляют арсенал для создания дидактических тестовых форматов.
Подробный анализ проблемы определения понятий сложности и трудности учебной текстовой задачи выполнен в работе [11]. В работе [12] в качестве критерия сложности рассматривается число элементов графа, представляющего структуру решения задачи: вершин, ребер, замкнутых контуров, среднего числа ребер, связывающих вершины. В исследованиях [11, 13] сложность решения — это сложность дерева, графически отображающего структуру решения. В [14] предлагается считать количественной мерой сложности число элементарных операций, при этом проблема элементарности операции остается не снятой. В [15] предлагается определять сложность по числу действий. В [16] сложность рассматривается как суперпозиция данных условия задачи, числа суждений и числа операций. Разбиение задачи на подзадачи и суммирование показателей подзадач лежит в основе исчисления сложности в [17].
Трудность задачи — психологическая характеристика [18 — 20]. В [21] трудность рассматривается с позиций свернутой сложности. Данный подход предусматривает детальное представление структуры решения задачи и коррелирует с подходами, предлагаемыми в [11 — 13]. Однако следует отметить, что попытки установления связи между критериями сложности и трудности задачи, например, в [17, 21 — 24] не оправдали ожиданий исследователей.
В соответствии с концепцией Р. А. Гильманова [20], трудность задачи — суммарная трудность мысли-
тельных операций, которые осуществляются путем переходов с одного уровня усвоенного на другой. Таким образом, чтобы рассчитать трудность задачи, необходимо предварительно ранжировать по трудности соответствующий учебный материал. Однако для этой цели необходимо иметь соответствующий инструментарий. И, что самое интересное, данный инструментарий, на наш взгляд, можно приложить к задаче сразу, минуя огромную предварительную работу по установлению критериев трудности для учебного материала, представляющего собой фактически набор подзадач.
На фоне вышеприведенного обзора пути решения проблемы трудности дидактических тестовых заданий логика наших исследований выглядит следующим образом. На первых этапах исследований мы оценивали трудность лишь решений текстовых задач, исходя из количества и качества отношений, формирующих решение задачи. Наряду с этим важным аспектом наших исследований явилась работа по установлению критериев трудности условия дидактического тестового задания. Здесь, в отличие от решения, более выраженным оказался текстологический акцент. Данный акцент был перенесен также и на решение, что позволило использовать текстологическую идеологию для исчисления трудности тестового задания как дидактического целого. После начальной проработки данной «холистической» проблемы необходимо было приступить к решению задачи доведения метода исчисления трудности до степени эффективного применения в задачах дифференцированного обучения и измерения качества образования.
В наших дальнейших рассуждениях мы будем использовать термины «текстовая задача» и «тестовое задание» практически как синонимы, поскольку, как мы уже сказали, тестовое задание — частный случай учебной текстовой задачи. Именно по этой причине исследователи предпочли в свое время говорить именно о текстовой задаче, а не о тестовом задании, роль которого усилилась в последнее время в связи с развитием в нашей стране идеологии тестирования в образовании.
Сущность предлагаемого пути оптимизации метода
Для вычисления трудности тестового задания мы используем субъект-предикатный подход, позволяющий рассматривать текст как иерархию текстовых субъектов. Субъекты же, в зависимости от их модифицируемости и места в иерархии, имеют различный «трудностный» вес. С использованием данного подхода мы можем оценивать трудность «впрямую», минуя расчеты сложности, в которых нет необходимости, поскольку сложность входит в расчет трудности неявно через количество действий и текстовых субъектов.
В работах [1, 2] трудность — это суперпозиция субъективных факторов и сложности решения. Причем в сложность включены как количества элементов (отношений вида с = аЬ), так и виды связей (качество) — явные и неявные.
В качестве примера предлагаемого в [1, 2] метода рассмотрим прообраз тестового задания по физике. Пусть требуется определить величину кинетической энергии исходя из ускорения тела и времени движения. Структура решения задачи показана на рис. 1.
Согласно [2, с. 56], равенства Ек=шу2/2 и у=а1 можно отнести к тождественным преобразованиям, а равенство у2=уу — к равносильным. При этом пер-
m/2
е,
mv /2
Рис. 1. Граф структуры решения задачи по нахождению величины кинетической энергии
Рис. 2. Граф субъект-предикатной структуры решения задачи. ДТ — главный субъект (искомая величина)
вые два равенства называются основными (базовыми) отношениями, а последнее к ним не относится и выступает в качестве неявной связи между основными отношениями (тождественными преобразованиями).
Сложность структуры решения предлагается вычислять по формуле Я=т.+п.+1, где т — число основных отношений, п — число явных связей (на рис. 1 их нет), число видов связей (на рис. 1 показана одна неявная связь). Вычисляем: Я = 3. Относительная ошибка е может быть оценена исходя из минимального вклада переменных, входящих в правую часть равенства для вычисления сложности. Этот вклад равен единице. Д5=1. Тогда е = Д5/5=1/3. Значение относительной ошибки, выраженное в процентах, будет равно около 33 %. Как мы видим, разрешение метода невелико.
В последние годы интенсивно развивается метод расчета сложности решения текстовой задачи, предложенный Н. Г. Рыженко и его последователями [3 — 7].
Данный метод отличается от рассмотренного выше большей проработкой оснований, активным использованием графологического подхода, дальнейшим развитием метода отношений. Однако указанный метод имеет ряд критичных для нас особенностей. Главная из них заключается в следующем. Чем дальше отстоит действие от начала решения, тем больше его вклад в итоговую сложность. Другими словами, сколько действий, столько раз учитывается сложность последнего действия. Например, вклад сложности последнего действия (рис. 1) в общую сложность составляет 60%. Точность метода зависит от количества действий в решении задачи и составляет для задач средней сложности около 10 %. Например, сложность структуры, показанной на рис. 1, согласно [3 — 7], равна 30, а разрешение метода для данной структуры равно 20 %. Основным достоинством метода Н. Г. Рыженко является его высокая эффективность для ранжирования учебных текстовых задач по сложности.
С учетом особенностей рассмотренных выше подходов и методов, мы предлагаем простой способ оценки трудности дидактического тестового задания. Также как и в вышеприведенных методах других исследователей, решение, как правило, начинается от неизвестного. Эта неизвестная величина представляет собой главный текстовый субъект в решении задачи. Главный текстовый субъект представлен, в свою очередь, иерархией предикатов. Предикат представляет собой несколько субъектов. Решение задачи представляет собой в общем случае несколько ветвей модификации главного субъекта. Ветвь модификации отображает последовательность действий в решении задачи.
Сложность структуры решения определяется количеством субъектов, а трудность зависит не только от количества, но и от качества субъектов: места
в иерархии субъектов, степени модифицируемости того или иного субъекта, характера предварительных рассуждений для определения главного текстового субъекта. Возможны и другие параметры трудности, однако в данном сообщении мы рассматриваем лишь названные.
Рассмотрим данный метод более подробно на примере. Стальной осколок, падая с высоты 500 м,, имеет. у поверхности Земли скорость 50 м/с. На сколько повысится температура осколка, если считать, что вся работа сопротивления воздуха пошла на его нагревание?
Из отношения Q = стАТ выражаем неизвестную величину АТ, играющую роль главного текстового субъекта.
АТ = Q/ст.
Правая часть полученного равенства есть предикат, состоящий, в свою очередь, из субъектов Q и ст. Из данных двух субъектов модификации подвергается лишь субъект Q.
О = А = ДЕ = Еп — Ек или О = Еп — Ек, где Еп = тдк, Ек = ту2/2.
Граф структуры решения задачи показан на рис. 2.
На рис. 2 субъекты ст, тдк и ту 2/2 далее не подвергаются модификации и формируют с учетом показанных на рис. 2 знаков окончательное выражение для вычисления ДТ:
ДТ=(тдЬ — ту2/2)/ст.
Данное выражение представляет собой результат последовательной подстановки терминальных (далее не модифицируемых) субъектов «снизу вверх». Трудность данных субъектов или трудность их определения (отделения, вычленения), по-видимому, должна быть минимальной и определять разрешение метода. Удобно положить ее для каждого субъекта равной единице.
Общую трудность решения как последовательного отделения субъектов можно вычислить следующим образом. Для разделения субъектов на модифицируемые и немодифицируемые зададим для каждого субъекта коэффициент модифицируемости д следующим образом. Если субъект далее не модифицируется, то д=1. Если субъект модифицируется, то для каждого непосредственного модификата д=2. То есть для субъекта О д=4, поскольку данный субъект модифицирован дважды и его непосредственные мо-дификаты представляют собой Еп и ЕК . Для субъектов же Еп и Ек д=2 для каждого из них, поскольку и тот
Е
cm
a
Таблица 1
Таблица значений коэффициентов для текстовых субъектов, показанных на рис. 2
Субъект Ранг субъекта Коэффициент модифицируемости Коэффициент иерархичности Исходная трудность модификации Трудность определения субъекта
ст 3 1 1 1 1
тдП
т^/2 3 1 1 1 1
О 1 4 3 1 12
Еп
Ек
и другой далее модифицируются в один следующий субъект. Исходная трудность модификации далее модифицируемого субъекта (О, Еп , Ек) равна трудности отделения терминальных субъектов и также имеет минимальное значение, равное единице (Т0=1).
Другой трудностной характеристикой, как мы уже говорили, является коэффициент иерархичности, величину которого мы определим следующим образом. Главный текстовый субъект ДТ раскрывается через иерархию субъектов первого ранга О и ст, причем вклад субъекта ст. в общую трудность решения сравним (равен) вкладу терминальных субъектов тдк и ту2/2, которые относятся к третьему рангу. Целесообразно для всех терминальных субъектов, формирующих конечное выражение, задать минимальную трудность, а для этого необходимо для них выбрать минимальное значение коэффициента иерархичности, равное единице. Для субъектов второго ранга Еп и Ек коэффициент иерархичности равен двум. А для субъекта О первого ранга — трем. Главный текстовый субъект ДТ мы отнесем к нулевому рангу.
Значения коэффициентов для соответствующих субъектов мы поместили в табл. 1.
Итоговая трудность решения задачи равна суммарной трудности определений субъектов и равна 23. Относительная ошибка в определении трудности (разрешение метода), как нетрудно видеть, составляет приблизительно 4 %.
Заключение
Отметим основные особенности предлагаемого метода.
1. Идеология видов связей [1, 2] дополнена концепцией модифицируемости, для чего введены соответствующие коэффициенты.
2. Задана исходная трудность по аналогии с исходной (минимальной) сложностью базового отношения [1-6].
3. Использование графологического подхода к исследованию структуры содержания условия и решения текстовой задачи, поскольку именно графы обеспечивают высокую наглядность метода исчисления трудности.
4. Использование субъект-предикатного подхода, согласно которому трудность структуры содержания текста (а условие и решение задачи — это также текст) может быть оценена через веса (трудности определения) субъектов, зависящие от вводимых нами «когнитивных» коэффициентов, в частности, модифицируемости и иерархичности. Метод открыт для дальнейшей оптимизации и адаптации к другим условиям применения.
Интересной проблемой является также создание шкалы трудности тестовых заданий. В этом случае можно ориентироваться на следующую модель. В качестве основной «реперной» точки возможен выбор трудности, которая соответствует средней трудности тестовых заданий, включенных в типовые сборники заданий (задач). Другая «реперная» точка может отвечать средней трудности олимпиадных заданий (задач). И, наконец, третьей «реперной» точкой может служить трудность простых заданий на уровне основных понятий, отношений, законов.
Отличительной особенностью предлагаемого нами способа является его высокое разрешение. Относительная погрешность в определении трудности тестовых заданий может составлять доли процента.
В рассмотренных выше примерах мы для простоты (а следовательно, доступности) изложения учитывали лишь параметры иерархичности и модифицируемости текстовых субъектов. Другим важным параметром может служить коэффициент забывания, величина которого обратно пропорциональна количеству обращений к тому или иному материалу. Например, к механике обращение при изучении школьного материала является наиболее частым. Таким образом, в тестовых заданиях по физике, в зависимости от изучаемого раздела, показатели забывания можно выбрать следующим образом: механика — 1; молекулярная физика — 1,5; электродинамика — 2; оптика и атомная физика — 3. Аналогично можно поступить и в отношении других дисциплин. Показатели забывания будут зависеть также и от типа образовательного учреждения и задач тестирования. При таком подходе мы получим дополнительный существенный выигрыш в точности калибровки тестовых форматов по трудности.
Важной проблемой учебного тестирования является расчет времени для выполнения того или иного тестового задания. Выбираем, как и в тестах ЕГЭ, три градации трудности. Можно, например, задать следующие степени такой градации: Т1 / Г2 / Т3 =1/2/3. Если трудность увеличивается в два и в три раза, то время для решения задачи увеличивается в четыре и в девять раз, то есть в квадрате.
У у 1:3 = 1/4/9
Это справедливо, поскольку, чем труднее задача, тем большее количество вариантов приходится подвергать проверке при ее решении. Число сочетаний при линейном росте элементов возрастает отнюдь не линейно.
Рассчитаем верхний порог временных затрат на выполнение тестовых заданий. Пусть на простое задание по физике отводится 5 минут. Тогда на задание
средней трудности необходимо отвести 20 минут, а на задание высокой трудности — 45. При этом следует также учесть, что задание средней трудности — это средняя по трудности задача типового задачника. Возможно некоторым читателям отводимое на решение задач количество времени покажется завышенным, но следует учесть, что ситуация тестирования отнюдь не типовая, а способные ученики в большей степени подвержены стрессу, чем иные. К тому же они решают задачи дольше, поскольку реализуют гораздо более глубокий деривационный поиск. Очень серьезные временные ограничения в тестах ЕГЭ обеспечивают не менее серьезные ограничения по интеллекту для высшего образования. Задания по химии и математике, в свою очередь, являются менее трудными и требуют соответственно меньшего количества времени для выполнения. Задания же по дисциплинам гуманитарного цикла являются наименее трудными и требовательными к количеству времени.
Библиографический список
1. Крупич, В. И. Структура и логика процесса обучения математике в средней школе / В. И. Крупич. — М. : Изд-во МГПИ, 1985. - 118 с.
2. Епишева, О. Б. Учить школьников учиться математике: Формирование приемов учеб. деятельности : Кн. для учителя / О. Б. Епишева, В. И. Крупич. — М. : Просвещение, 1990. — 128 с.
3. Рыженко, Н. Г. Структуризация и систематизация сюжетных задач по сложности их решения / Н. Г. Рыженко, Н. А. Жига-чева// Вестник Омского университета. — 1998. — № 4. — С. 111 — 114.
4. Жигачева, Н. А. Графовое моделирование структур решений сюжетных задач / Н. А. Жигачева, Н. Г. Рыженко // Математические структуры и моделирование. — 1999. — Вып. 4. — С. 104—117.
5. Быкова, Н. П. Методика формирования обобщенных умений на основе моделирования задач физики и математики / Н. П. Быкова // Омский научный вестник. — 2004. — № 3 (28). — С. 225 — 229.
6. Рыженко, Н. Г., Болотюк, Л. А. Сборник уровневых дифференцированных текстовых задач по алгебре. 8—9 класс: Сб. задач для учителей и учащихся / Н. Г. Рыженко, Л. А. Болотюк / Под ред. Н. Г. Рыженко. — Санкт-Петербург : Лисс, 2003. — Ч. 1. — 90 с.
7. Быкова, Н. П. Решение текстовых задач на основе их моделирования. Учебно-методическое пособие / Н. П. Быкова. — Омск : ОмГАУ, 2006. — 92 с.
8. Гидлевский, А. В. Простой метод оценки трудности учебных физических задач / А. В. Гидлевский // Омский научный вестник. — Омск : Изд-во ОмГТУ, 2004. — № 3. — С. 219 — 220.
9. Психологическая энциклопедия. — URL : http : //mirslo-varei.com/content_psy /TRUDNOST-TESTOVOGO-ZADANIJA-UROVEN-TRUDNOSTI-32463.html
10. Отраслевой стандарт Министерства образования РФ. Педагогические тесты. Термины и определения. — URL : http : // bank.orenipk.ru/Text/t19_135.htm
11. Жигачева, Н. А. Графовое моделирование структур решений сюжетных задач в курсе алгебры 7 класса : дис. ... канд. пед. наук / Н. А. Жигачева. — Омск, 2000. — 140 с.
12. Сохор, А. М. Логическая структура учебного материала / А. М. Сохор. - М. : Педагогика, 1974. - 189 с.
13. Шрейдер, Ю. А. Равенство, сходство, порядок / Ю. А. Шрей-дер. - М. : Наука, 1971. - 256 с.
14. Ганчев, И. Описание решений некоторых задач на языке математической логики / И. Ганчев // Роль и место задач в обучении математике. Вып. 1. - М., 1973. - С. 103-115.
15. Гладкий, А. В. Элементы математической лингвистики / А. В. Гладкий, И. А. Мельчук. - М. : Наука, 1969. - 192 с.
16. Лернер, И. Я. Факторы сложности познавательных задач / И. Я. Лернер // Новые исследования в педагогических науках. -М. : Педагогика, 1970. - Вып. 14. - С. 86-91.
17. Ганчев, И. Обучение математике в средней школе и некоторые вопросы современной логики : автореф. Дис. ... канд. пед. наук / И. Ганчев. - М., 1967. - 40 с.
18. Пойа, Д. Как решать задачу : пособие для учителей / Д. Пойа. - М. : Учпедгиз, 1961. - 208 с.
19. Тихомиров, О. К. Структура мыслительной деятельности человека (Опыт теоретического и экспериментального исследования) / О. К. Тихомиров. - М. : Изд-во Моск. ун-та, 1969. - 306 с.
20. Гильманов, Р. А. Измерение трудности учебных упражнений посредством моделирования процесса их выполнения : дис. ... канд. пед. наук / Р. А. Гильманов. - Казань, 1987. - 156 с.
21. Столяр, А. А. Педагогика математики / А. А. Столяр. -Минск : Вышейш. шк., 1986. - 414 с.
22. Балл, Г. А. Методы оценки количественных характеристик задач / Г. А. Балл // Программированное обучение. - Киев : Вища школа, 1985. - Вып. 22. - С. 21-28.
23. Архангельский, С. И. Лекции по научной организации учебного процесса в высшей школе / С. И. Архангельский. -М. : Высшая школа, 1976. - 200 с.
24. Мизинцев, В. П. Информационный анализ показателя сложности и трудности учебной задачи / В. П. Мизинцев // Вопросы преподавания физики в высшей школе. - Хабаровск, 1976. -С. 132- 186.
ГИДЛЕВСКИЙ Александр Васильевич, доктор философских наук, доцент, профессор кафедры философии.
Адрес для переписки: е-шаП: gidlevsky@omsu.ru
Статья поступила в редакцию 09.02.2010 г. © А. В. Гидлевский
Книжная полка
Хайруллин, В. И. Английский для юристов : Практика перевода : учебное пособие для вузов / В. И. Хайруллин. - М. : АСТ Восток-Запад, 2008. - 192 с. - ISBN 978-5-17-049034-9/978-5-478-00716-4.
Настоящее учебное пособие является значительным переводоведческим событием и первой работой, в которой концепция профессора В. Н. Комиссарова нашла развитие в плане культурологического, семантического и профессионально ориентированного подхода, рассматривающего перевод как тройственное объединенное понятие, которое предполагает творческую языковую деятельность по передаче идей из одной культуры в другую. Текстовый материал сопровождается рядом методических упражнений и заданий по анализу образцов перевода. В основу курса положена методика преподавания перевода, разработанная автором в университетах Копенгагена и Дублина.
Учебное пособие предназначено для аудиторной и самостоятельной работы студентов и аспирантов юридических и других гуманитарных специальностей по курсу теории и практики перевода.
