Трудность учебного тестового задания Текст научной статьи по специальности «Компьютерные и информационные науки»

11111111111* № 4,

— формирование содержания цикла дисциплин для определения программного модуля подготовки.

Выполнение этих задач может быть критерием того, насколько сформированы компетенции будущего специалиста к моменту окончания вуза.

Условия реализации качества высшего профессионального образования с позиций компетентностного подхода (для многих групп специальностей, а не только для педагогических) подразделяются на две группы:

1) педагогические условия в вузе. Перед началом разработки основной образовательной программы вуз должен определить ее главную цель и цели в области воспитания и обучения с учетом направления и профиля подготовки, особенностей научной школы, потребностей рынка труда;

2) социально-экономическая ситуация в регионе. Это, прежде всего, состояние рынка образовательных услуг и потребности в специалистах с высшим и средним профессиональным образованием на региональном рынке труда.

Система контроля качества подготовки специалистов является неотъем-

лемой частью вузовской системы управления качеством, перед которой стоят следующие основные задачи:

— ранняя профориентация учащихся;

— входной контроль профессиональной направленности и уровня подготовки абитуриентов;

— текущий и промежуточный контроль усвоения знаний студентами;

— итоговый контроль знаний, умений и навыков выпускников;

— мониторинг качества подготовки специалистов и выработка предложений по улучшению качества подготовки специалистов.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. Зеер, Э. Идентификация универсальных компетенций выпускников работодателем / Э. Зеер, Д. Заводчиков // Высш. образование в России. — 2007. — № 11. — С. 39—45.

2. Зимняя, И. А. Интегративный подход к оценке единой социально-профессиональной компетентности выпускников вуза / И. А. Зимняя, Е. В. Земцова // Высш. образование сегодня. — 2008. — № 5. — С. 14—19.

3. Чучалин, А. Качество высшего образования как общественно значимый результат / А. Чучалин, И. Герасимов // Вестн. высш. образования. — 2004. — № 11.

Поступила 10.07.09.

ТРУДНОСТЬ УЧЕБНОГО ТЕСТОВОГО ЗАДАНИЯ

А. В. Гидлевский (Омский государственный университет),

Т. В. Кошкарова (Омский государственный аграрныгй университет)

Авторами предлагается эффективный подход к исчислению трудности учебного тестового задания как базового элемента учебного теста, предназначенного для измерения качества образования. Используемый подход носит в лингвистике название субъект-предикатного.

Ключевыге слова: субъект-предикатный подход; трудность условия учебного тестового задания; трудность текста; качество образования.

Учебные тестовые задания являются исходными элементами тестовых форматов, предназначенных для оценки качества образования.

На сегодняшний день в дидактике отсутствует эффективная научная методология количественного определения такой важной характеристики учебных

тестовых зданий, как трудность. Вместо прямого метода ее исчисления используется сравнительный, когда трудность теста определяется исходя из количества учащихся, выполнивших его. Чем меньше учащихся справились с заданием, тем оно труднее. Уязвимость такого подхода заключается прежде всего в некор© Гидлевский А. В., Кошкарова Т. В., 2009

ректной выборке испытуемых. Отсутствие строгого метода приводит к тому, что, например, составители тестов ЕГЭ в оценке трудности задания нередко ошибаются в несколько раз. Таким образом, актуальность исследования поддерживается острой необходимостью в более корректном определении трудности тестовых заданий и отсутствием соответствующего эффективного инструментария в современной дидактике. Сущность предлагаемого в данном сообщении метода заключается в следующем. С помощью субъект-предикатного подхода к структуре содержания текста формируется граф интеллектуального поиска, обработка которого дает значение трудности тестового задания. При этом использование единого подхода к исчислению трудности как условия, так и решения задания позволяет рассматривать тест как дидактическое целое и разработать на основе предлагаемого подхода более эффективную технологию обучения.

Сложность и трудность как характеристики структур решений

В качестве названий для базовых характеристик применяемых в образовании тестовых заданий используются термины «сложность» и «трудность». Первый в настоящее время приобрел значительную популярность в связи с работами Н. Г. Рыженко и его коллег [2]. Используемая ими методика перекликается с подходом Ю. А. Шрейдера [4]. Однако именно благодаря усилиям

Н. Г. Рыженко и его последователей мы сегодня имеем хорошо разработанный метод, который в дальнейшем для определенности будем называть методом Рыженко.

Любая логико-гностическая задача — это в общем случае текст, структуру содержания которого удобно представить в виде дерева. Н. Г. Рыженко и его коллеги разрабатывали способ исчисления сложности решений учебных тек-

стовых задач. Решение же текстовой задачи, т. е. последовательность действий, — это, по сути дела, последовательность отношений. Для исчисления сложности такой последовательности используется определенный алгоритм. На основании той или иной последовательности действий в решении задачи составляется дерево ее решения (граф структуры решения). Далее находится сложность каждой вершины дерева. Затем сложности всех вершин суммируются.

Рассмотрим применение данного метода на конкретном примере (рис. 1).

1

Р и с. 1. Граф структуры содержания текстовой задачи

Узлы графа обозначены цифрами от 1 до 7. Дерево имеет три вершины, которые обозначены цифрами 1, 2 и 4. Сложность каждой вершины рассчитывается как произведение количества узлов, возглавляемых данной вершиной (включая узел вершины), и количества ветвей, исходящих из вершины вниз. Общая сложность (Сл) рассчитывается как сумма сложностей вершин.

Сл = Сл1 + Сл2 + Сл4, где Сл1 = 7-2 = 14; Сл2 = 5-2 = 10; Сл4= = 3-2 = 6.

Как нетрудно видеть, суммарная сложность всех вершин Сл = 30.

Расчет сложности дерева через сложности вершин имеет несколько принципиальных особенностей. Метод пригоден для исследования характеристик множества задач, т. е. обладает высокой универсальностью, однако его использование для расчета трудности

3

№ 4, 2009

тестовых заданий требует уточнения. Поскольку последующие действия в интеллектуальных задачах легче предыдущих, в силу того что базируются на них, вклад действий в общую трудность задачи уменьшается по мере приближения к завершению решения. Между тем в методе Рыженко мы наблюдаем противоположную ситуацию — чем дальше действие отстоит от начала, тем больше его вклад в трудность. Правда, автор и его коллеги говорят о сложности, но в решении задач с ростом сложности (количества действий) и возрастает трудность. Возможно, применение метода оправданно с точки зрения понимания текста, каковой должен обрабатываться в рабочей памяти, а каждое последующее добавление информации ухудшает ее работу. Однако для расчета трудности решения тестового задания, когда решающий имеет возможность использовать рисунок, схему, черновик в виде внешнего носителя информации, метод Рыженко целесообразно модифицировать.

Рассмотрим пример такой модификации. На рис. 1 представлены повторяющиеся структуры в их иерархии: нижележащие следуют из вышележащих. Каждая из структур содержит три вершины и две связи. В соответствии с методом Рыженко каждая структура есть графическое отображение зависимости 1 = _Д2, 3), где 1, 2 и 3 — некоторые алгебраические, арифметические, физические и другие величины, находящиеся в определенном отношении. Например, мощность в цепи постоянного тока, развиваемая на однородном участке цепи, Р = Ш1. Данное отношение представлено на рис. 2.

Р

и

Р и с. 2. Графическое представление отношения Р = Ш

Сложность элементарного дерева, отображающего вышеприведенное отношение, может быть вычислена по методу Рыженко: Сл = 3-2 = 6. Очень часто какое-либо действие в решении задачи содержит простые операции — умножение величины на число, возведение в квадрат и др. Например, выражение для кинетической энергии Жк = т\г/2, которое, в свою очередь, может быть представлено графом, показанным на рис. 3, содержит две такие элементарные операции: возведение в квадрат и умножение на 1/2.

т

V

V

1/2

Р и с. 3. Графическое представление выражения для кинетической энергии

Несмотря на то что операции элементарны, они учитываются с одинаковым показателем сложности, которая в соответствии с методом Рыженко равна 20 (5-4), и увеличивают базовую сложность от 6 до 20, т. е. более чем в три раза. Если интерпретировать трудность как производную от сложности, то выходит, что две элементарные операции дают две трети итоговой трудности, что недопустимо при расчете трудности тестовых заданий. Другой особенностью метода Рыженко, как мы видели, является многократный учет последующих действий в случае, если решение тестового задания имеет несколько действий.

Первую трудность можно обойти, если использовать вместо понятия «сложность» понятие «разнообразие». В таком случае трудность отображения, показанного на рис. 2, равна произведению разнообразия величин на количество связей, «участвующих» в разнообразии. В примере фигурируют три величины: Р, I, Ш — и две связи: Р — I и Р — Ш. При

этом трудность данного представления Т0 = 3-2 = 6. Индекс в символе Т0 показывает, что мы имеем минимальное, исходное значение трудности отображения, которое в работах Рыженко и его коллег носит название базового.

Трудность дерева, отображающего выражение для кинетической энергии (см. рис. 3), равна сумме исходной трудности Т0 = 6 и трудности не «базовых» связей: дублирующей связи Жк — V и связи Жк— 1/2. Данные связи отображают элементарные операции — возведение в квадрат и умножение на 1/2 — и поэтому должны учитываться с меньшими весовыми коэффициентами, чем базовые связи (на рис. 3 первые две слева). Очевидно, базовые связи могут быть учтены со значениями трудности, равными 3, поскольку именно их наличие обусловило выше значение Т0 = 6. Элементарным же операциям и соответствующим связям мы можем задать, например, следующие значения трудностей: возведению в квадрат — 1, умножению на 1/2 — 0,5. Тогда итоговая трудность выражения для кинетической энергии будет равна Т = = 6 + 1 + 0,5 = 7,5.

Одноярусные деревья, подобные показанному на рис. 3, но с другим количеством ветвей, отличаются по трудности с учетом вышеприведенных допущений на величину АТ, равную 0,5. В этом случае относительная погрешность метода в подсчете трудности выражения для кинетической энергии е = (АТ/Т)100 % » » 7 %. Если выражение для кинетической энергии является исходным в решении тестового задания в виде физической задачи, когда решение состоит из нескольких действий, то каждое новое действие уменьшает погрешность в определении трудности решения приблизительно в два раза. Поскольку некоторые задания в тестах иногда предусматривают в решении 4 действия и больше, то, например, для решения из 4 действий погрешность метода составит около 1 %. По нашему мнению, более строгий учет элементарных операций может повысить

точность метода еще приблизительно в два раза. Такая точность метода является вполне достаточной для формирования учебных тестовых форматов.

Граф, показанный на рис. 1, может являться представлением структуры решения тестового задания, которое содержит три действия. Последнее действие мы будем считать самым легким, и для него коэффициент трудности положим равным единице. По мере приближения к началу решения иерархический коэффициент трудности будем увеличивать на единицу. Аналогичный подход к построению структуры содержания текста использован в работе А. И. Новикова [3].

Итоговая трудность решения Т будет равна сумме трудностей действий с учетом их места в иерархии. При этом исходная трудность каждого действия Т0 = = 6. Вычисляем: Т = Т0 (1 + 2 + 3) = 36.

Рассмотренный выше подход можно интерпретировать как следствие более общего, так называемого субъект-пре-дикатного подхода [1], согласно которому текст выражает иерархическую систему текстовых субъектов и предикатов различных рангов и порядковых номеров (в пределах одного и того же ранга). В указанной системе выделяются два типа смысловых отношений: а) между текстовыми субъектом и предикатом и б) между входящими в состав предиката субъектами различных рангов или одноранговыми (параллельными, соподчиненными).

Одно и то же предложение может быть одновременно текстовым субъектом и текстовым предикатом (частью предиката). Предикат определенного ранга может включать в себя один, два и более отдельных параллельных субъектов либо субъект и его предикат (несколько субъектов и предикатов) более низкого ранга; этот предикат, в свою очередь, может содержать субъекты и предикаты еще более низкого ранга, и т. д.

Некоторые текстовые субъекты не имеют модификаций и являются конеч-

№ 4, 2009

ными. Другие имеют только непосредственную модификацию: их модификата-ми выступают субъекты только одного последующего ранга, которые далее не модифицируются (конечные). Третьи получают кроме непосредственной также и опосредованную модификацию — через свои более близкие модификаты. Так, начальный субъект, выраженный заглавием, непосредственно модифицируется в субъектах второго ранга и опосредствованно — в субъектах третьего, четвертого и последующих рангов.

Таким образом, система субъектов текста оказывается системой модификации основного, самого широкого по содержанию, субъекта. Сравнивая различные способы модификации текстовых субъектов, нетрудно увидеть, что среди них наиболее простыми для понимания являются уточнение и, особенно, повторение и расчленение того, что выражено в модифицируемом субъекте; наиболее трудными — выявление новых предметов мысли или их признаков.

В выражении для кинетической энергии, которое мы рассматривали выше, кинетическая энергия является главным текстовым субъектом, а величины, через которые кинетическая энергия выражена, представляют собой одноранговые субъекты или модификаты. Среди способов модификации в субъект-предикат-ной терминологии мы можем выделить уточнение как умножение на 1/2 и расчленение как представление квадрата скорости в виде двух сомножителей (см. рис. 3).

Ориентация исключительно на метод исчисления сложности не позволяла до сих пор включать в итоговые сложност-ные либо трудностные характеристики заданий характеристики условия. Однако, как мы постараемся показать, использование субъект-предикатного подхода дает возможность успешно вычислять трудность условия тестового задания, а также его интегральную трудность.

Комплексная трудность учебного тестового задания

Несмотря на строгое требование к составителям тестовых заданий формулировать условие тестового задания максимально четко и понятно, некоторые авторы заданий предлагают формулировки условий в максимально непонятной форме, решив, видимо, что трудность понимания условия и есть трудность задачи (тестового задания). Подобный весьма распространенный в отечественной дидактике подход часто приводит к трудно понимаемым условиям. С другой стороны, для формулирования эффективной гипотезы решения задачи учащийся часто вынужден представлять содержание условия задачи в более рациональной форме. Другими словами, умение представить структуру содержания условия тестового задания в удачной форме во многом может определить успешность решения.

Для примера рассмотрим условие простого тестового задания по физике.

С вершины наклонной плоскости, длина которой I = 10 м и выгсота Н = = 5 м, начинает двигаться без начальной скорости тело. Какую скорость будет иметь тело у основания наклонной плоскости, если коэффициент трения между телом и наклонной плоскостью к = 0,2?

Для понимания условия необходимо выделить основной текстовый субъект и выявить иерархию субъектов. В данном условии сначала речь идет о наклонной плоскости. Обычно она принимается учащимися в качестве основного текстового субъекта, сопровождаемого образом схематичного рисунка наклонной плоскости, занимающего большой объем рабочей памяти. Это препятствует дальнейшему эффективному анализу условия задачи, например, с целью установления других возможных кандидатов на роль основного текстового субъекта.

Субъект-предикатная структура такого варианта анализа условия показана на рис. 4.

С1 (наклонная плоскость)

Р и с. 4. Субъект-предикатная структура условия задачи, когда в качестве основного субъекта выбрана наклонная плоскость. С2 и С3 — конечные субъекты

На рисунке представлена иерархия текстовых субъектов в виде дерева. В качестве элементарной структуры дерева мы можем рассмотреть элементарную модификацию, субъект-субъектный отрезок, например С4— С6. Таких элементов в нижнем ярусе два: С4 — С6 и С4 — С5. Коэффициент трудности нижнего яруса (как и при рассмотрении примера решения, показанного на рис. 1) примем равным единице, а трудность нижнего яруса будет равна произведению числа элементарных модификаций нижнего яруса (таких две) на коэффициент трудности и на трудность модификации. Как и в примерах, рассмотренных выше, пусть трудность модификаций будет равна 3. С учетом сказанного трудность нижнего (второго) яруса будет равна

Т2= (С45 + С46) К

где С45 и С46 — трудности модификаций: С45= С46= 3; к2 — коэффициент трудности нижнего (второго) яруса.

Как мы уже сказали выше, значение к2 принято равным единице для самого нижнего яруса, и оно будет повышаться на единицу при переходе к более высокому ярусу. Например, для верхнего яруса (см. рис. 4) к1 = 2. Вычисляем: Т2 = 6.

Трудность верхнего яруса Т1 = (Сг

С

+ С14) к1. Здесь С12 = С13 = С14 = 3, к1= 2. Вычисляем: Т1 = 18. Суммарная трудность структуры, показанной на рис. 4: Т = Т1 + Т2 = 24.

Рассмотрим теперь вариант субъект-предикатной структуры условия задачи, когда в качестве основного текстового субъекта выбрано движение тела (рис. 5).

С1 (движение тела)

С 3 (движение с ускорением)

С 2 (движение по наклонной плоскости)

Р и с. 5. Субъект-предикатная структура условия задачи, когда в качестве основного субъекта выбрано движение тела

Трудность данной структуры условия задачи Т = (С12 + С13) к1 = 6, что существенно меньше значения трудности предыдущей структуры. Иными словами, оптимальный выбор основного текстового субъекта существенно снижает трудность понимания условия задачи.

Рассмотрим теперь трудность решения данного задания. Решение, которое целесообразно начинать «от неизвестного», может быть разбито на следующие этапы (возможен и другой способ).

1. При равноускоренном движении без начальной скорости скорость в конце наклонной плоскости равна V = V2а/.

2. Ускорение, с которым движется

I ^

тело, а =

т

3. Для нахождения равнодействующей сил необходим стандартный для такого типа задач рисунок.

Таким образом, решение задачи включает в себя три этапа, причем по-

№ 4, 2009

следний этап предусматривает построение рисунка. При такой конфигурации решения его трудность может быть оценена следующим образом. В нашем простом примере, который служит лишь для иллюстрации метода, мы можем назначить каждому действию исходную трудность Т0 = 6. В таком случае рисунку, который строится в данном варианте решения на последнем этапе, можно назначить трудность Трис = 12, поскольку он включает два относительно самостоятельных фрагмента — треугольник наклонной плоскости и параллелограмм сил. Чтобы получить суммарное значение трудности последнего действия, необходимо к трудности рисунка прибавить трудность операции нахождения равнодействующей сил. Тогда итоговая трудность последнего действия Т3= 18. Коэффициент трудности (иерархичности) последнего действия, как и в прежних примерах, примем равным единице, а коэффициенты трудности каждого предыдущего действия — на единицу больше. Так, для второго действия к2= 2. Для первого действия к= 3. Фактически мы здесь, как и при анализе условия задачи, имеем иерархию текстовых субъектов, причем первое действие задает основной текстовый субъект. Легко заметить, что смещение рисунка ближе к началу решения существенно увеличивает трудность решения задачи, поскольку выбранная нами постоянной величина исходной трудности действия умножается на более высокий коэффициент трудности.

Результирующая трудность решения данной задачи (без учета трудности условия) будет равна сумме значений трудности всех трех действий:

Т = Т1 + Т2 + Т3, где Т3 = 18; Т2Р= к2 Т0 = 12; Т1 = к1 Т0 = 18.

Отсюда Тр = 48.

Сравнивая трудности условия и решения, мы видим, что результирующая

трудность задачи (с учетом трудности условия) в случае первой структуры условия (см. рис. 4) равна 72, а комплексная трудность задачи для второго варианта выбора текстового субъекта (см. рис. 5) равна 54.

Из сравнения показателей трудности для разных структур условия (см. рис. 4 и 5) следует, что оптимальный выбор основного текстового субъекта существенно уменьшает результирующую трудность задания, что не может не сказаться самым серьезным образом на эффективности его выполнения.

Проблема влияния трудности как условия, так и тестового задания в целом на успешность его выполнения требует дополнительных исследований. В частности, необходима оптимизация выбора места рисунка в процессе осмысления условия и составления алгоритма решения, поскольку, как мы видели, место рисунка в общем алгоритме решения оказывает самое серьезное воздействие на эффективность решения учебной текстовой задачи.

Проблема исчисления трудности тестового задания крайне важна и в том плане, что она связана еще и с проблемой времени, которое должно отводиться для выполнения того или иного тестового задания, например в тестовых форматах ЕГЭ.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. Доблаев, Л. П. Смысловая структура учебного текста и проблемы его понимания / Л. П. Доблаев. — М. : Педагогика, 1982. — 176 с.

2. Жигачева, Н. А. Графовое моделирование структур решений сюжетных задач / Н. А. Жигачева, Н. Г. Рыженко // Математические структуры и моделирование. — Омск, 1999. — Вып. 4. — С. 104—117.

3. Новиков, А. И. Семантика текста и ее формализация / А. И. Новиков. — М. : Наука, 1983. — 215 с.

4. Шрейдер, Ю. А. Равенство, сходство, порядок / Ю. А. Шрейдер. — М. : Наука, 1971. — 254 с.

Поступила 25.05.09.