CC BY
26
№ 4, 2004
КРИТЕРИИ ТРУДНОСТИ ОБРАЗОВАТЕЛЬНОГО СТАНДАРТА*
А.В. Гидлевский, доцент Омского государственного педагогического
университета
В статье обсуждается методология исчисления трудности образовательного стандарта посредством суммирования показателей трудности задач, заданий, тестов, текстовых фрагментов, представляющих конкретную дисциплину или ее часть. Данная методология позволяет говорить о трудности стандарта с точностью до долей процента, с указанной точностью оценивать соответствие знаний учащихся тому или иному выбранному государством либо образовательным учреждением уровню образовательного стандарта, а также сравнивать по параметрам трудности и эффективности уровни образования у нас и за рубежом. Предлагаемая методология дает возможность получить не только соответствующий измерительный инструментарий, но и эффективный способ управления качеством образования.
The methodology of calculation of difficulty of the educational standard by means of summation of parameters of difficulty of tasks, tests, the textual fragments representing this or that discipline or its part is discussed. The given methodology allows to evaluate the difficulty of the standard to fractions of percent, which allows to estimate with the specified accuracy conformity of knowledge of pupils to this or that chosen by the state or by an educational establishment level of the educational standard and also allows to compare parameters of difficulty and efficiency levels of education in this country and abroad. The methodology offered will allow to get appropriate measuring techniques, and is an effective way of quality management of education.
Существующая идеология измерения качества образования сегодня все более склоняется к интеллектуальной парадигме, сущность которой заключается в необходимости измерений параметров, определяющих интеллектуальное развитие обучаемых как результат воздействия образовательной среды. Альтернативой интеллектуальной парадигме остается так называемый образовательный стандарт, который представляет собой по сути перечень вопросов программ дисциплин. Для того чтобы объединить интеллектуальную и «стандартную» концепции, необходим критерий трудности образовательного стандарта как трудности задач, заданий, тестов, выполняемых в рамках упомянутого перечня, а также текстовых и образных фрагментов, включаемых в дидактический комплекс по той или иной дисциплине. В настоящее время основным инструментом обучения и верификации его результатов являются учебные задания. Характер таких заданий все более отходит от «зуб-рительной» технологии и смещается в сторону «проблемной» практики, требующей не репродукции сведений, а интеллектуального поиска. Задачная форма учебных заданий (будем называть их тестами, поскольку с их помощью осу-
ществляется также и контроль) становится сегодня преимущественной. Главная проблема для педагогов, составляющих задания, — отсутствие простого метода исчисления трудности, поскольку последняя является той характеристикой заданий, которая позволяет верифицировать прирост способности индивида в решении задач, требующих серьезного интеллектуального поиска.
Калибровка тестов (к сожалению, авторы рекомендаций редко отличают сложность заданий от их трудности) осуществляется сегодня, как правило, двумя способами.
Первый способ — статистический, или, другими словами, олимпиадный, поскольку он иногда применяется при установлении градаций трудности олим-пиадных заданий. Согласно данному способу задача тем труднее, чем меньшее количество решающих добились положительного результата. Параметр, который при этом измеряется, мы бы назвали успешностью, однако отнесли его к данному контингенту, а не к задаче. Измеряемая таким образом трудность одной и той же задачи всякий раз будет зависеть от подготовленности «исполнителя», и лишь для экспертов она будет одной и той же, оцениваемой в удобных для
* Исследование выполнено при поддержке Российского гуманитарного научного фонда, проект № 04-06-00024а.
© A.B. Гидлевский, 2004 39
ИНТЕГРАЦИЯ ОБРАЗОВАНИЯ
практического применения шкалах, имеющих нужную степень разрешения. Используя же в качестве выборки всякий раз другой контингент, мы будем получать другие характеристики задач. И чем больше мы будем экспериментировать с данной задачей, тем шире будет для нее спектр успешностей — ровно по количеству ее решающих. Вычислять же среднюю успешность — все равно, что определять среднюю температуру по больничной палате.
Второй метод — экспертный, он заключается в том, что человек, называемый экспертом, произвольно, поскольку у него нет метода разделения заданий по трудности, назначает баллы за задания, руководствуясь лишь своей интуицией. Данный метод мы бы назвали интуитивным. Тем не менее субъективность эксперта, его ориентация на свое собственное умение, объективирует метод, поскольку эксперт решает задачи (выполняет задания) более рационально и его решение, как правило, является наименее сложным. Таким образом, появляется возможность введения объективного критерия трудности задачи как количественной характеристики ее наиболее рационального решения.
Как мы уже отметили выше, результатом применения существующих способов калибровки тестов являются тестовые форматы, резко различающиеся по трудности, иногда в несколько раз. Данное обстоятельство приводит к тому, что испытуемый с худшим уровнем подготовки иногда получает гораздо более высокий балл в сравнении с лучше подготовленным индивидом. Если в каждодневной практике рядового педагога на это обстоятельство приходится «закрывать глаза», считая его неизбежной образовательной издержкой, то в случае таких ответственных срезов, как, например, ЕГЭ, нужна высокая точность калибровки тестов по трудности для целей изготовления равнотрудных форматов. Да и в практике продвинутых педагогов составление многоуровневых по трудности тестов представляет собой серьезную проблему.
Сложность (сложенность) задачи — «длина» алгоритма ее решения — может быть использована для введения понятия трудности как разности показателей сложности решений «ученика» и «эксперта»1. Однако для этой цели необходимо фиксировать весь процесс выполнения заданий, что на данном этапе развития технологии тестирования трудно осуществить. Тем не менее сложность задачи как количество операций в оперативной памяти необходимо учитывать в интегральном показателе трудности, поскольку именно совершенствование доступа к резервам оперативной памяти (развитие) мы в первую очередь связываем с результатом образовательного процесса. В процессе решения задачи сознание требует расширенного объема оперативной памяти, в то время как обычно объем «подгруженной» оперативной памяти равен в среднем 4 отрезкам информации2. Для среднего учащегося это — 1 отношение, 1 формула, 1 закон. В процессе обучения, однако, мозг учится сжимать информацию, и у эксперта по задачам уже законы служат элементами операционального «поля». Информацию можно сжимать и дальше, добиваясь с помощью новых более крупных элементов широкого охвата предметной области. Происходит то, что в интеллектике называется укрупнением фреймов3. Другой аспект тестирования — задачи из разных предметных областей — проверяет умение находить связи между фреймами, что требует еще больших ресурсов оперативной памяти, которые необходимо активизировать учащемуся.
Часто используется простое графическое (графовое) представление решения мыслительной задачи4, в том числе и процесса понимания текста5. При этом отношения того или иного вида могут быть представлены частью дерева структуры решения мыслительной задачи.
С использованием данного представления трудность теста рассчитывается как сумма трудностей отдельных заданий, трудность задания (задачи) — как сумма трудностей отдельных действий,
№ 4, 2004
составляющих структуру решения. Трудность того или иного действия определяется как произведение сложности действия (масштабированной сложности) на значение коэффициента трудности, величина которого равна 1 для последнего действия в решении задачи и возрастает на 1 при переходе к предыдущему действию. Обоснование данного приема исчисления значений коэффициента трудности приведено в нашей работе «Простой метод исчисления трудности...»6. Данный метод на сегодняшний день представляется нам единственным, не требующим высокой квалификации педагога. Прямой же метод исчисления «скрытых» действий требует от эксперта по сегодняшним меркам высочайшей квалификации, что возможно лишь при тщательном отборе в педагогическую профессию. Разрешение системы зависит от выбранного масштаба сложности действия и может достигать долей процента для задач «средней» трудности.
Иллюстрация метода приводится в вышеназванной работе. Ограничимся очень кратким напоминанием. Пусть имеем граф структуры решения некоторой задачи (рис. 1). Из рисунка видно, что задача состоит из 2 действий (шагов), коэффициенты трудности которых, согласно вышеупомянутому методу их исчисления, принимают значения 1 и 2. Назначим каждому шагу сложность, например С = 18. Тогда для первого действия трудность будет равна 2-18 = 36, для второго — 18. Суммарная трудность задачи, таким образом, равна 54.
ется выбрать определение понятия, соответствующее правильному ответу. В этом случае трудность вопроса теста, а лучше сказать, трудность ответа на данный вопрос можно определить как трудность понятия.
Расчет трудности понятия можно провести различными способами, например определить, с каким количеством понятий оно непосредственно связано. Это — понятия первого яруса. С указанной целью необходимо рассмотреть общее определение понятия либо рабочее в рамках данной дисциплины определение. Трудность понятия Т зависит от числа связей с теми понятиями, чрез которые раскрывается содержание данного. В следующем примере (рис. 2) Т = Сп, где С — условная сложность связи, допустим С = 3; п — количество связей. В рассматриваемом случае п = 4, следовательно, Т= 12.
А
Часто в заданиях тестов, служащих для измерения качества образования в рамках того или иного стандарта, требу-
1 2 3 4
Р и с. 2
Трудность понятия можно рассчитать так же, как и трудность решения задачи. Для этой цели определяется структура понятия и суммируются трудности ярусов с весовыми коэффициентами, значения которых выбираются следующим образом. Для последнего яруса коэффициент равен 1, для предпоследнего — 2 и т.д. Если мы ограничиваемся 2 ярусами, как показано на рис. 3, то значения коэффициентов будут равны 1 и 2. Трудность первого яруса (понятия 1—4) найдем по произведению количества связей (4) на значение коэффициента иерархичности (2). Оно равно 8. Для внешнего яруса количество связей — 6, а коэффициент иерархичности — 1. Трудность данного яруса будет равна 6. В сумме же мы имеем Т = 14. Это — общая трудность понятия. Для повышения точнос-
ИНТЕГРАЦИЯ ОБРАЗОВАНИЯ
ти метода можно масштабировать, увеличивать сложность ярусов, задавая каждой связи значение, равное не 1, а, допу-
стим, 9. Тогда трудность обсуждаемого понятия будет равна не 14, а 72 + 54 = 126.
Базируясь на предложенной методике оценки трудности понятий, можно рекомендовать в самом простом случае 3 уровня соответствия знаний учащегося требованиям образовательного стандарта. Первый уровень — уровень сегодняшнего дня. Его можно назвать «запо-минательным», поскольку ему соответствует запомненное определение. Этот уровень включает первый ярус понятий, через которые раскрывается искомое содержание исходного понятия (см. рис. 2). Второй уровень можно назвать смешанным, «запоминательно-понимательным». Он имеет второй ярус понятий (см. рис. 3). Третий уровень имеет третий ярус понятий, раскрывающих содержание понятий второго яруса. Его можно назвать «понимательным». Целью образования в аспекте сказанного будет являться переход от «запоминательного» стандарта к «понимательному».
Понимание текста — это поиск соответствия информационной структуры текста имеющимся в памяти человека фреймам ситуаций. Ситуация — элемент решения задачи, который также может быть задан в форме отношения. Простым методом отыскания семантической структуры текста является предикат-
ныи, который имеет дело с текстовым субъектом, часто выполняющим роль имени фреИма, и иерархией текстовых предикатов, которая может быть представлена в виде дерева. На рис. 4 изображено дерево предикатнои структуры условного текста.
Р и с. 4
Трудность текста определяется количеством и качеством «шагов догадки», а в графологической модели — количеством скрытых ярусов, отображающих отношения. Если скрытые ярусы отсутствуют, то коэффициент трудности каждого яруса можно принять равным 1. Если же какой-либо ярус может быть развернут в 2 яруса, то для него коэффициент трудности к = 2, и т.д. Таким образом, каждый шаг догадки имеет свою трудность, которую, в частности, можно вычислить как произведение соответствующего коэффициента трудности к,
111!111Й1И1!Ш № 4,
количества вершин данного яруса т и количества учитываемых связей п.
Т = ктп.
Если допустить, что показанное на рисунке дерево не имеет свернутых ярусов, то коэффициент к для каждого яруса будет равен 1, и трудность каждого шага может быть легко вычислена:
Т1= Т2= Т3= 6.
Легко видеть, что суммарная трудность в этом случае равна 18.
Мы привели здесь самый простой метод исчисления трудности текста. Для строгого же расчета необходимо учитывать значительный спектр семантических пространств, что делает задачу полного семантического анализа текста трудновыполнимой. При моделировании восприятия текста необходимо также учитывать особенности организации оперативной памяти человека. Важными являются также вопрос о связи глубинных структур языка с поверхностными и вытекающая отсюда проблема искажения информации.
Используя предлагаемый метод исчисления трудности логико-гностических задач, мы можем выделить несколько уровней трудности стандарта по той или иной дисциплине и обеспечить образова-
тельный процесс в соответствии с желаемым уровнем. С применением данного метода легко решаются также проблемы калибровки тестов для единого государственного экзамена, аттестации образовательных учреждений, сопоставления уровней отечественного и зарубежного образования.
ПРИМЕЧАНИЯ
1 См.: Нгуен-Ксуан А., Жинь Шао. Умозаключения и стратегии решения задач // Вопр. психологии. 1997. № 1. С. 82—98.
2 См.: ЛамзинаН.А. Зависимость объема кратковременной памяти от длины алфавита запоминаемых сигналов // Психофизиологические закономерности восприятия и памяти. М., 1990. С. 155.
3 См.: Линдсей П., Норман Д. Переработка информации у человека: (Введение в психологию). М., 1974. С. 489—491.
4 См.: Жигачева Н.А., Рыженко Н.Г. Графовое моделирование структур решений сюжетных задач // Математические структуры и моделирование. Омск, 1999. Вып. 4. С. 104—117.
5 См.: Гидлевский А.В. О методологии понимания текста // Гуманитарные исследования. Омск, 2000. Вып. 5. С. 264—268.
6 См.: Гидлевский А.В. Простой метод исчисления трудности тестов в задачах точного измерения результата образования // ИО. 2003. № 4. С. 56—59.
7 См.: Доблаев Л.П. Смысловая структура учебного текста и проблемы его понимания. М., 1982. 176 с.
Поступила 21.06.04.
СИНТЕЗ ИНТУИТИВНО-ОБРАЗНОГО И РАЦИОНАЛЬНО-КРИТИЧЕСКОГО МЕТОДОВ ПОЗНАНИЯ — ОСНОВА ИНТЕГРАЦИИ ЗНАНИЯ В ДИДАКТИКЕ
Я.Д. Лебедев, доцент кафедры физики Вологодского государственного
технического университета
В работе рассматриваются возможности синтеза интуитивно-образного и рационально-критического методов познания в дидактике. Введение формализованных знаний рационально-критического стиля мышления в теорию обучения объясняется тем, что они вносят в научное познание организующий, доказательный и предсказательный характер. Используя некоторые понятия конечной математики, автор предлагает обобщенный базис системных описаний, позволяющий вычленять индивидуальные характеристики исследуемых объектов, и демонстрирует это на примере методологической культуры учителя.
Synthesis possibilities of the intuitively-descriptive and rational-critical methods of cognition in didactics are investigated in the paper. Introduction of formalized knowledge of the rational-critical thinking style into the theory of teaching is explained by the fact that it introduces organition, conclusiveness, and prediction into scientific knowledge. On the basis of some finite conceptions of mathematics generalised basis of system descriptions giving an opportunity to single out individual characteristics of investigated objects has been offered, this being shown on the example of teacher’s methodological culture.
© Я.Д. Лебедев, 2004
