CC BY
27Метод анализа результатов критериально-ориентированного тестирования в целях текущего контроля учебного процесса
Андрей Печников,
профессор кафедры кораблевождения, ВУНЦ ВМФ «Военно-морская академия»
Денис Печников,
доцент кафедры кораблевождения, ВУНЦ ВМФ «Военно-морская академия»
В статье раскрывается подход к решению задач текущего педагогического контроля методами критериально-ориентированного тестирования. Результаты тестирования рассматриваются не как индивидуальные достижения обучаемых, а как продукт взаимодействия преподавателя и обучаемых в процессе обучения. Предлагаемый метод анализа результатов тестирования в дополнении к уровню обученности обеспечивает оценку эффективности обучающих воздействий и реального проявления свойств обучаемости и учебной мотивации обучаемых.
Ключевые слова: текущий педагогический контроль, критериально-ориентированное тестирование, учебная мотивация, обучаемость, обучающее воздействие
Введение
Под педагогическим контролем обычно понимают «систему научно-обоснованной проверки результатов образования, обучения и воспитания»1 или «функцию управления образовательным процессом, осуществляемую с целью получения достоверной информации о ходе и результатах проводимой воспитательной и обучающей деятельности»2. Выделяют входной, текущий и итоговый виды контроля. В качестве перспективного средства реализации всех этих видов контроля рассматривается педагогическое тестирование.
Входной и итоговый контроль предваряют и завершают учебный процесс. Их результаты могут и должны учитываться при проектировании обучения, но они не ориентированы на корректуру уже начавшегося образовательного процесса. Эти виды контроля могут быть реализованы как средствами нормативно-ориентированного, так и критериально-ориентированного тестирования. В отличие от них текущий контроль реализуется непосредственно в процессе обучения, а его «важнейшей функцией является функция обратной связи, которая позволяет преподавателю получать сведения о ходе процес-
1 Балыхина Т.М. Словарь терминов и понятий тестологии. — М.: РУДН, 2000. — 86 с.
2 Коджаспирова Г.М., Коджаспиров А.Ю. Словарь по педагогике. — М.: ИКЦ «МарТ»; Ростов н/Д: Изд. центр «МарТ», 2005. — 448 с.
са усвоения у каждого учащегося и адаптировать процесс обучения к их потребностям»3.
В педагогике обратная связь определяется как «положительное или отрицательное воздействие результатов обучения на процесс освоения новых знаний и умений»4. Оценки успешности обучаемых, определяемые методами нормативно-ориентированного тестирования, здесь не информативны, поскольку не отражают соотношения вида «усвоил — не усвоил» между обучаемым и изученным содержанием обучения. Поэтому для решения задач текущего педагогического контроля могут использоваться только методы и средства критериально-ориентированного тестирования. Для установления соответствия существующих методов обработки результатов критериально-ориентированного тестирования целям текущего педагогического контроля прежде всего необходимо чётко определить функции самого этого вида педагогического контроля.
Функции текущего педагогического контроля реализуются в процессе решения коммуникативной задачи, определяемой как «задача совершенствования знаний одного субъекта-реципиента другим субъектом-решателем коммуникативной задачи. Требование коммуникативной задачи для её решателя (обучающего) формулируется как требование формирования образа изучаемого объекта и его представления реципиенту (обучаемому) в виде, обеспечивающем последним усвоение этого объекта. Критерием решённости коммуникативной за-
дачи является достижение достаточной условной полноты знаний обучаемого об изучаемом объекте, причём за эталонное принимается знание обучающего»5.
Эти функции «не ограничиваются аттестацией достигнутого обучаемыми уровня подготовленности, а включают предоставление обучающему наиболее полной информации о той создавшейся дидактической ситуации, разрешение которой является целью решения текущей коммуникативной задачи»6. Авторы, исследующие тестовые технологии как средство контроля процесса обучения, подтверждают такой вывод.
Так Н.Ф. Ефремова выделяет в качестве ведущей функции тестов их диагностическую, а не контрольно-оценочную функцию. Она определяет тесты как «инструментарий для выявления индивидуальных затруднений, их причин и направлений корректировок деятельности учащихся и учителей»7. М.Б. Че-лышкова, анализируя функции тестирования, отмечает, что в ситуации текущего педагогического контроля тесты предназначены для выявления пробелов в знаниях и слабых места в подготовке учащихся, выявления направления индивидуальной помощи в освоении нового ма-териала»8.
Полноту информации, необходимой для достижения целей текущего педагогического контроля, Е.И. Машбиц связывает с наличием следующих данных: 1) достаточность фонда знаний и умений учащегося для усвоения способа действия, предусмотренного учебной целью; 2) индивидуальные особеннос-
3 Талызина Н.Ф. Педагогическая психология. — М.: Изд. центр «Академия», 1998. — 288 с.
4 Вишнякова С.М. Профессиональное образование: словарь. Ключевые понятия, термины, актуальная лексика. — М.: НМЦ СПО, 1999. — 538 с.
5 Балл Г.А. Теория учебных задач: Психолого-педагогический аспект. — М.: Педагогика, 1990. — 184 с.
6 Печников А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. — Петродворец: ВВМУРЭ им. А.С. Попова, 1995. — 326 с.
7 Ефремова Н.Ф. Тестовый контроль в образовании: учёб. пособие. — М.: Логос, 2007. — 368 с.
8 Челышкова М.Б. Современные средства оценивания результатов обучения: учеб. пособие. — М.: Изд. центр «Академия», 2007. — 224 с.
ти учащегося, имеющие значение для достижения учебных целей; 3) эффективность в отношении индивидуальных особенностей учащегося отдельных тех видов обучающих воздействий (способов обучения), которые входят в методический арсенал обучающего9.
Анализ существующих процедур обработки результатов критериально-ориентированного тестирования
Во всех известных схемах обработки данных тестирования принято исходное положение Г. Раша о том, что успех участника тестирования в решении определённого тестового задания зависит, в основном, от двух факторов: трудности задания и уровня подготовленности испытуе-мого10. В соответствии с этим положением обученность испытуемого оценивается вероятностью того, что он правильно выполнит некоторое случайно выбранное тестовое задание, сформулированное в рамках тестируемой предметной области. Эта вероятность обозначается термином «функция успеха» и определяется как
p = p(s,t),
(!)
где уровень 5 обученности испытуемого и уровень £ трудности задания являются латентными параметрами, оценка которых и является целью тестирования.
Общепринятая схема оценки результатов тестирования
Пусть имеется испытуемых с различ-нойподготовленностью ^ (5е[0,1]; I = 1, п). Каждому испытуемому пред-
лагается один и тот же вариант теста, состоящий из т заданий различной трудности £ (£ е [0,1];] = 1,т)-Пусть индикатор ы успешности решения этих заданий определяются по дихотомному принципу: а- = 1, если ;-й испытуемый правильно выполнил ]-е задание, и = 0, если ;-й испытуемый выполнил ;-е задание неправильно.
Для обработки полученных результатов значения а ; сводятся в матрицу А = (а ¡) ответов, пример которой представлен в табл. 1.
Первичная обработка матрицы включает расчёт по каждой строке и по каждому столбцу соответствующих маргинальных сумм элементов
b = a. = У a..,
г г ^^ ij '
j=!
Cj = aj = У aj
i=1
> для i = 1, n; j = 1, m, (2)
Исходный балл Ь = ai отражает меру успеха ¿-го испытуемого, а балл с; = aj рассматривается как показатель трудности ]-го задания. Поскольку каждое из значений представляет собой апостериорную оценку функции успеха V;; = р(5,,£,), то в качестве первичных показателей, отображающих латентные параметры уровня обу-ченности -го испытуемого и уровня трудности ;-го задания, принимаются соответствующие им оценки математического ожидания
( ) b
p(si) — >
m C
p(tj) = ^. n
(3)
(4)
Оценки (3, 4), приведённые в табл. 1, представляют собой все данные, которые могут дать существующие методы анализа ре-
9 Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука — реформе школы). — М.: Педагогика, 1988. — 192 с.
10 Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests, 1960, Copenhagen, Denmark: Danish Institute for Educational Research.
Матрица ответов (11#9)
Таблица 1
Номер г испытуемого Номер ] тестового задания ь г
1 2 3 4 5 6 7 8 9
1 0 1 1 0 1 0 1 1 1 6 0,67
2 0 0 0 0 1 0 0 1 1 3 0,33
3 0 0 0 0 0 1 0 1 1 3 0,33
4 0 0 0 0 1 0 1 1 1 4 0,44
5 1 0 0 0 1 0 0 1 1 4 0,44
6 0 1 1 0 0 0 1 1 1 5 0,56
7 1 1 1 1 1 1 1 1 1 9 1,00
8 1 0 1 1 0 1 1 1 1 7 0,78
9 0 0 0 0 0 0 1 1 1 3 0,33
10 1 0 1 0 1 0 1 1 1 6 0,67
11 1 1 1 1 1 1 1 1 0 8 0,89
с. 5 4 6 3 7 4 8 11 10
0,45 0,36 0,55 0,27 0,64 0,36 0,73 1,00 0,91
0,55 0,64 0,45 0,73 0,36 0,64 0,27 0,00 0,09
Ранг 6 7 5 9 4 7 3 1 2
Ранг 1() 5 8 9 7 4 3 6 2 1
Сложность11 1() 82,5 141,3 189,0 126,0 68,9 55,8 96,6 43,4 31,6
зультатов критериально-ориентированного тестирования для решения задач текущего контроля учебной деятельности обучаемых.
Эти данные не несут информации об эффективности обучающих воздействий, реализованных при изучении тестируемой предметной области, об уровне учебной мотивации обучаемых и их индивидуальных характеристиках обучаемых, определяющих результативность их учебной деятельности. Поэтому они явно недостаточны для достижения целей текущего педагогического контроля. Кроме того, чтобы адекватно использовать оценки (3, 4) нужно чётко понимать смысл тех характеристик, которые они измеряют.
Смысл показателя трудности тестового задания
Если понятие и процедура оценки показателя (4) уровня обученности (подготовки, квалификации) испытуемого интуитивно понятны, то понятие «трудность задания» вызывает много вопросов. Поэтому рассмотрим его более подробно.
Под термином «трудность тестового задания (уровень трудности)» понимается «основная количественная характеристика тестового задания, не зависящая от выборки испытуемых и отражённая на определённой шкале»12.
Аналогичную трактовку приводят М.Ю. Олешков и В.М. Уваров: «Характеристика задачи (пункта) теста, отражающая статистический
11 Сложность оценивалась по описанной ниже методике В.П. Мизенцева.
12 ОСТ Т 1.1. Педагогические тесты, термины и определения. Отраслевой стандарт. — М.: Министерство образования РФ, 2001. — 26 с.
уровень её решаемости в данной выборке стандартизации»13. Такие дефиниции трудности задания корректны только в отношении нормативно-ориентированного тестирования, где, как указывает В.С. Ава-несов, «задания нельзя включать в настоящий тест до тех пор, пока не станет известной мера их трудно-сти»14.
Более общую и обтекаемую трактовку трудности задания дают Л. Крокер и Дж. Алгина15.
Они трактуют термин «уровень трудности (трудность) тестового задания (item difficulty)» как «основную статистическую характеристику тестового задания, определяемую долей испытуемых выборки, которые отвечают на это задание правильно»16. При этом указывается, «что это технический термин, который иногда кажется противоречащим общепринятой трактовке термина «трудность».
Суть этого противоречия в том, что по логике вещей трудность задания должна расти с ростом оценивающего её показателя, а фактически она растёт при уменьшении показателя (4). С целью устранения этого несоответствия наряду с показателем (4), оценивающим вероятность успеха, используется показатель вида
q(tj) = 1 - p(tj) = 1 - П (5)
n
который оценивает противоположную вероятность срыва выполнения задания и определяется термином «индекс трудности»17. Кроме показателей (4, 5) известная теория IRT (Item Response Theory) и реализую-
щие её модели для оценки трудности заданий используют более сложные показатели, которые сочетают оценки (4, 5).
Таким образом, «трудность тестового задания» — это условное наименование (обозначение) параметра тестового задания, который определяется экспериментальным путем на этапе разработки нормативно-ориентированного теста, служит средством формирования этого теста, но для оценки результатов тестирования испытуемых не используется. В процессе фактического тестирования заранее определённые значения трудности отдельных тестовых заданий могут использоваться в технологиях адаптивного нормативно-ориентированного тестирования для оптимизации процедуры выбора следующего задания.
С учётом указанного показатели (4, 5) трудности тестовых заданий в отношении целей критериально-ориентированного тестирования бесполезны, поскольку они не несут информации, необходимой для решения коммуникативной задачи. При этом остаётся открытым вопрос, что оценивают показатели (4, 5).
С формальной точки зрения, представленные в табл. 1 оценки показателей (4, 5) — это соответственно значения функций успеха и неуспеха, которые наиболее вероятны для рассматриваемой группы испытуемых при выполнении соответствующего .-ого тестового задания. Эти оценки рассматриваются в качестве характеристики .-го тестового задания, которая, как отмечает М.С. Мысик, позволяет «констати-
13 Олешков М.Ю., Уваров В.М. Современный образовательный процесс: основные понятия и термины. — М.: Минобрнауки РФ, 2006. — 143 с.
14 Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций). — Екатеринбург: ЦТ и МКО УГТУ-УПИ, 2005. — 98 с.
15 Крокер Л. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина; пер. с англ. — М.: Логос, 2010. — 668 с.
16 Крокер Л. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина; пер. с англ. — М.: Логос, 2010. — 668 с.
17 Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций). — Екатеринбург: ЦТ и МКО УГТУ-УПИ, 2005. — 98 с.
ровать, что с рассматриваемым заданием испытуемые справляются лучше (или хуже), но не дают никакого представления о том, почему»18.
Вопросы — почему одно тестовое задание труднее другого и чем определяется трудность тестовых заданий — довольно активно обсуждаются в работах А.В. Гидлевского, Т.В. Кошкаровой, А.П. Попова, И.Н. Елисеева, Е.Ю. Комаровой, О.Э. Наймушиной, Б.Е. Стариченко, И. С. Наумова, В. С. Выхованец. Взгляды авторов всех этих публикаций едины по нескольким позициям.
Во-первых, анализируя содержание рассматриваемых публикаций с позиций теории задач Б.А. Балла, можно прийти к выводу, что все их авторы рассматривают тестовое задание как частный случай учебной задачи: Некоторые из них прямо указывают на это: «В контексте нашей работы различие терминов «задача» и «задание» не является принципиальным, и по этой причине они будут использоваться как си-нонимы»19.
Во-вторых, все авторы согласны, что тестовое задание характеризуется вполне определённой величиной усилий, которые должны быть приложены испытуемым (обучаемым) для его решения. Третья согласованная позиция состоит в том, что величина усилий испытуемого может быть оценена субъективно и объективно, и в отношении этих оценок соответственно можно применять термины «трудность» и «сложность», формулируемые в педагогике в отношении учебных задач (см. табл. 2).
Далее мнения тестологов расходятся. Линия разделения мнений проходит по результатам установления соотношения между терминами «сложность» и «трудность.
Так, А.В. Гидлевский, Т.В. Кош-карова, А.П. Попов и И.Н. Елисеев рассматривают два подхода к решению проблемы исчисления трудности учебных тестовых заданий. Первый подход опирается на возможность оценки трудности задания, основываясь на характеристиках
Таблица 2
Взаимное соответствие понятий трудности и сложности задачи
в педагогике
Трудность (субъективная оценка) Сложность (объективная оценка)
«Мера сравнения ресурсов решателя задачи с ресурсами, необходимыми для её решения»20 «Объективная ресурсоемкость реального или предполагаемого процесса решения задачи»
«Субъективная характеристика задачи, зависящая от того, кто решает эту задачу»21 «Объективная характеристика задачи, которая определяется структурой процесса её решения»
«Субъективная категория, характеризующая готовность субъекта преодолеть препятствия, связанные с определённым объективным составом 99 деятельности»22 «Объективная категория, характеризующая состав деятельности, необходимой для решения задачи, независимо от того, кто эту деятельность выполняет»
18 Мысик М.С. Трудность тестовых заданий: планируемая и реальная (на материале французского языка) // Педагогическое образование в России. 2012. № 1. С. 181-193.
19 Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. — Екатеринбург, 2010. — 211 с.
20 Балл Г.А. Теория учебных задач: Психолого-педагогический аспект. — М.: Педагогика, 1990.- 184 с.
21 Гузеев В.В. Соотнесение сложности и трудности учебных задач с уровнями планируемых результатов обучения // Школьные технологии. — 2003. — № 3. — С. 50—56.
22 Лернер ИЯ. Факторы сложности познавательных задач // Новые исследования в педагогических науках. 1970. № 1. С. 86-91.
его сложности, под которыми понимаются минимальная длина алгоритма решения либо количество операций в неоптимизированных алгоритмах. Второй подход можно назвать сравнительным. Он предполагает, что трудность учебного тестового задания вводится через отношение числа учащихся, не решивших задачу, к общему количеству решавших её23.
Другими словами, эта группа авторов рассматривает трудность и сложность как названия двух способов оценки одной и той же характеристики тестового задания. При этом А.В. Гидлевский и Т.В. Кошкарова отдают предпочтение первому подходу и развивают объективные методы оценки24, а А.П. Попов и И.Н. Елисеев предпочитают сравнительный подход и развивают его модели25.
Если приверженцы сравнительного подхода никак не комментируют недостатки объективного подхода, то сторонники последнего активно критикуют альтернативные модели: «Классический (сравнительный) метод показал свою несостоятельность, так как возможность трансляции результатов тестирования конкретной группы испытуемых на все другие группы вызывает справедливые сомнения тестологов»26.
Кроме того, они констатируют безуспешность попыток найти взаимосвязь между показателями сложности и трудности ввиду недостатков предлагаемых подходов27. Другими словами, эти две группы авторов не видят перспектив сближения и сочетания развиваемых ими подходов.
М.С. Мысик, Е.Ю. Комарова, О.Э. Наймушина, Б.Е. Стариченко, И.С. Наумов и В.С. Выхованец, наоборот, считают, что субъективные и объективные оценки тестовых заданий оценивают не одну и ту же, а две разные характеристики, которые отличаются по своему смыслу, а потому должны иметь разные количественные и качественные оценки.
Под трудностью подразумевается, главным образом, затруднение или препятствие, характеризующееся высокой сложностью и требующее большого труда. В то время как «сложность» характеризуется как многообразность затруднительных препятствий28. Под сложностью понимается объективная характеристика задания, не зависящая от учащихся, а под трудностью — субъективная характеристика, непосредственно связанная с процессом и результатами решения задачи учени-
ками29.
23 Годлевский А.В., Кошкарова Т.В. Проблемы трудности учебных тестовых заданий // Образование и наука. 2009. № 10. С. 13-21.
24 Годлевский А.В. Простой метод оценки трудности учебных тестовых заданий // Интеграция образования. 2010. №4. С. 20-24. Гидлевский А.В., Кошкарова Т.В. Особенности применения субъект-предикатного подхода к оценке трудности дидактических тестовых заданий // Омский научный вестник. 2010. №4 (89).
25 Попов А.П. Аддитивность трудности тестовых заданий. // Наука и мир. Международный научный журнал. 2013. № 4 (4). С. 38-42. Попов А.П. Проблема оценки трудности тестовых заданий // Известия вузов. Северокавказский регион. Технические науки. 2012. №4. С. 115-120. Елисеев И.Н. Исследование погрешности расчёта трудности заданий теста на основе моделирования дихотомической матрицы ответов // Педагогическая информатика. 2011. № 4. С. 92-101. Елисеев И.Н. Экспериментальное подтверждение состоятельности оценок трудности заданий теста // Программные продукты и системы. 2012. №2. С. 153-156.
26 Гидлевский А.В., Кошкарова Т.В. Особенности применения субъект-предикатного подхода к оценке трудности дидактических тестовых заданий // Омский научный вестник. 2010. №4 (89).
27 Гидлевский А.В. Простой метод оценки трудности учебных тестовых заданий // Интеграция образования. 2010. №4. С. 20-24.
28 Комарова Е.Ю. Субъективная трудность и объективная сложность языкового тестирования // Вестник Тамбовского университета. Сер. Гуманитарные науки. 2011. Вып. 3(95). С. 105-109.
29 Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. — Екатеринбург, 2010. — 211 с.
Важно осознать, что степень трудности задания не совпадает со степенью его сложности. Степень сложности характеризуется объективной насыщенностью и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями уча-щихся30.
Эта группа авторов исходит из того, что между характеристиками трудности и сложности тестовых заданий существует та взаимная связь, которая определена в педагогике в отношении сложности и трудности учебной задачи: трудность характеризует возможность субъекта преодолеть объективную сложность задачи31.
Принимая это положение педагогики, авторы считают, что трудность — субъективное восприятие сложности и оценка теста учащимся как превышающий его возможности, а «степень сложности сказывается на трудности выполнения теста в зависимости от индивидуальных способностей учащихся. Они полагают, что сложность тестового задания — это объективная многофакторная количественная дидактическая характеристика учебного задания, отражающая вероятность выполнения задания учащимся и определяемая числом и характером умственных действий, необходимых для его решения норматив-
ным способом32. При этом считается, что «трудность задачи может быть получена путем сопоставления сложности задачи со знаниями, имеющимися у обучающегося, и не может быть больше сложности: в процессе обучения сложность задачи является достижимым пределом
33
трудности»33.
Различия в подходах этой группы авторов состоят в том, что М.С. Мысик, Е.Ю. Комарова, О.Э. Наймушина и Б.Е. Стариченко предлагают оценивать сложность и трудность заданий методом экспертной оценки, а И.С. Наумов и В.С. Выхованец развивают формализованные подходы к оценке структурной сложности взвешенного ориентированного мультиграфа, представляющего собой структуру содержания тестовых заданий.
Здесь целесообразно отметить, что кроме моделей А.В. Гидлевско-го, Т.В. Кошкаровой, И.С. Наумова и В.С. Выхованец давно известны модели В.П. Мизенцева34 и Л.П. Леонтьева35, которые прямо ориентированы на оценку семантической сложности познавательных объектов. Эти модели и соответствующие им методики были неоднократно апробированы и доказали свою объективность и адекватность.
Е.Ю. Комарова, М.С. Мысик, О.Э. Наймушина, Б.Е. Стариченко, И.С. Наумов и В.С. Выхованец формулируют следующие утверждения: трудность непосредственно связана
30 Комарова Е.Ю. Трудность и сложность языковых тестов: сущность, источники, преодоление // Иностранные языки в школе. 2012. № 2. С. 11-17.
31 Лернер ИЯ. Проблемное обучение. — М.: Знание, 1974. — 64 с. Лернер И.Я. Факторы сложности познавательных задач // Новые исследования в педагогических науках. 1970. № 1. С. 86-91.
32 Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. №2. С. 58-70. Наймушина О.Э., Стариченко Б.Е. Измерение уровня усвоения компонентов знаний по физике на основе многофакторной оценки сложности контрольных заданий // Мир науки, культуры, образования. 2009. № 7 (19). С. 106-109.
33 Наумов И.С., Выхованец В.С. Оценка трудности и сложности учебных задач на основе синтаксического анализа текстов. // Управление в больших системах. 2014. Выпуск 48. С. 97-131.
34 Мизинцев В.П., Кочергин А.В. Проблема аналитической оценки качества и эффективности учебного процесса в школе: учебное пособие к спецкурсу. — Куйбышев: Куйб. ГПИ, 1986. —131 с.
35 Леонтьев Л.П., Гохман О.Г. Проблемы управления учебным процессом (математические модели). — Рига: «Зинанте», 1984. — 239 с.
со сложностью36; трудность задания будет возрастать пропорционально его уровню сложности37; знание сложности заданий позволяет осуществить предсказание трудности их решения учащимися38 и т.п. На основе таких утверждений они естественно, так или иначе, формулируют вывод, что трудность является характеристикой производной от сложности, а критерием адекватности различных мер сложности является достаточно высокая степень соответствия (корреляции) между мерой сложности и мерой трудности задания39. Однако надёжно подтвердить такую степень соответствия не удаётся.
Например, М.С. Мысик, исследуя по результатам ЕГЭ связь между трудностью тестовых заданий и заявленными тремя уровнями их сложности (базовый, повышенный и высокий), отмечает парад оксаль-ное на её взгляд несоответствие между полученными статистическими оценками этих характеристик. Суть несоответствия состоит в том, что «...в 2009 году успешность выполнения заданий низшего базового уровня была сопоставима с успешностью выполнения заданий высокого уровня, а задания повышенного уровня оказались наиболее сложными для выполнения, а в 2010 году наименьший процент верно выполненных заданий пришёлся на базовый уровень».
Такие же примерно несоответствия были выявлены и в случаях, когда сложность тестовых заданий определялась не экспертными, а формальными методами. Так, например, описан эксперимент40, в ходе которого группе из 134 курсантов был предложен тест по знанию основных понятий навигации.
Результаты
экспериментальной оценки взаимосвязи трудности и сложности тестовых заданий и их обсуждение
Принятый для оценки взаимосвязи трудности и сложности заданий тест состоял из 50 заданий с выбором из предложенных 5 ответов единственного верного ответа. Сложность каждого из 50 тестовых заданий была оценена по методике В.П. Мизенцева. Связь показателей (5) трудности тестовых заданий с показателями сложности этих заданий оценивалась по критерию т3 ранговой корреляции Спирмана.
Полученный результат т3 = = 0,236 < т;005 = 0,272 свидетельствовал, что связь между трудностью и сложностью тестовых заданий в соответствии с принятой в психологии зоной неопределённости статистических оценок41 должна быть классифицирована как статистиче-
36 Комарова Е.Ю. Субъективная трудность и объективная сложность языкового тестирования // Вестник Тамбовского университета. Сер. Гуманитарные науки. 2011. Вып. 3(95). С. 105-109. Комарова Е.Ю. Трудность и сложность языковых тестов: сущность, источники, преодоление // Иностранные языки в школе. 2012. № 2. С. 11-17.
37 Мысик М.С. Трудность тестовых заданий: планируемая и реальная (на материале французского языка) // Педагогическое образование в России. 2012. № 1. С. 181-193.
38 Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. №2. С. 58-70.
39 Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. — Екатеринбург, 2010. — 211 с.
40 Палкин К.С., Печников А.Н., Печников Д.А. Метод управления длиной системы одиночных тестовых заданий с единственным верным ответом // Образовательные технологии и общество. 2015. Т. 18. № 1. — С. 544-560. Палкин К.С., Печников Д.А. Экспериментальная апробация метода интервальной оценки результатов выполнения системы тестовых заданий с единственным верным ответом // Образовательные технологии и общество. 2015. Т. 18. №1. — С. 535-543.
41 Остапенко Р.И. Математические основы психологии. Учебно-методическое пособие. — Воронеж: ВГПУ, 2010. — 76 с.
ски незначимая (случайная). В качестве наглядного подтверждения такого положения в табл. 1 приведён взятый наудачу фрагмент данных этогоэксперимента, который, имея для ] = 1,9оценку т3 = 0,59 < г005 = 0,68, в явном виде демонстрирует отсутствие непосредственной зависимости трудности тестового задания от его сложности.
Таким образом, либо методика В.П. Мизенцева не соответствует принятому критерию адекватности мер сложности заданий, либо неверен сам критерий этой адекватности.
Методика В.П. Мизенцева многократно апробирована: 1) она обеспечила разработку и экспериментальную проверку моделей обу-чаемости42; 2) она явилась основанием для разработки проблемно-ориентированной системы проектирования сценария обучения и управления процессом его реализа-ции43; 3) она обеспечила разработку метода декомпозиции содержания обучения на эпизоды автоматизированных учебных занятий44 и т.д. Другими словами, методика В.П. Мизенцева уже доказала свою адекватность.
Если методика В.П. Мизенцева адекватно оценивает сложность познавательного объекта, знание которого анализируется рассматриваемым тестовым заданием, то тогда некорректен сам критерий адекватности мер сложности тестовых заданий, в качестве которого принята высокая степень соответствия (корреляции) между мерой сложности и
мерой трудности задания45. Однако некорректность этого критерия ставит под сомнение общепринятое в педагогике положение о том, что трудность задачи характеризует возможность субъекта преодолеть объективную сложность задачи46.
Чтобы разобраться в этой противоречивой ситуации, достаточно привести оригинальную формулировку того положения Г.А. Балла, которое составило основание для рассматриваемого критерия адекватности мер трудности и сложности: при прочих равных условиях наиболее правдоподобной является та гипотеза, для которой ряд значений сложности даёт наиболее высокую корреляцию с рядом значений труд-
ности47.
Из этой формулировки следует, что высокая корреляция между оценками трудности и сложности — это не факт, который может составить основание для формулировки критерия, а только гипотеза, которая требует своей проверки. Кроме того, Г.А. Балл подчёркивает, что рассматриваемая гипотеза представляется правдоподобной только «при прочих равных условиях». Что мог иметь в виду Г.А. Балл под «прочими равными условиями»?
Если рассматривать уровень обученности только как характеристику и результат индивидуальной учебной деятельности обучаемого, то трудность учебного задания для обучаемого будет зависеть только от сложности задания. Чтобы обеспечить одинаковый уровень трудности всех тестовых заданий, доста-
42 Печников А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. — Петродворец: ВВМУРЭ им. А.С. Попова, 1995. — 326 с.
43 Воробьёв Г.А. Формализация задачи управления процессом обучения на основе построения иерархической понятийной сети знания: Дис. ... канд. техн. наук. — Пенза, 2010. — 155 с.
44 Бобов И.С. Модели и алгоритмы планирования предъявления содержания обучения для компьютерных систем обучения и интеллектуального тренажа ВМФ: Дис. ... канд. техн. наук. — Петродворец, 2003. — 120 с.
45 Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис.... канд. пед. наук. — Екатеринбург, 2010. — 211 с.
46 Лернер ИЯ. Проблемное обучение. — М.: Знание, 1974. — 64 с. Лернер И.Я. Факторы сложности познавательных задач // Новые исследования в педагогических науках. 1970. № 1. С. 86-91.
47 Балл Г.А. Теория учебных задач: Психолого-педагогический аспект. — М.: Педагогика, 1990. — 184 с.
точно обеспечить одинаковую сложность этих заданий. Именно такой подход имеет место в тестоло-гии.
Однако в теории педагогики уровень обученности, а значит, и результаты тестирования рассматриваются не как результаты индивидуальной учебной деятельности обучаемого, а как результаты корпоративной деятельности обучения, которые проявляются в деятельности обучаемого. Поэтому в числе факторов, определяющих трудность тестового задания, следует учитывать воздействие сложности объекта, тестируемого этим заданием, на деятельность как обучаемого, так и обучающего. Следует анализировать условия решения не учебной, а коммуникативной задачи.
Сегодня между целями текущего педагогического контроля и методами критериально-ориентированного тестирования имеет место противоречие, суть которого состоит в следующем. Текущий педагогический контроль реализуется с целью улучшения результатов учебной деятельности обучаемого путем изменения обучающих воздействий как параметров деятельности обучающего. Формулируя такую цель, мы предполагаем, что деятельность обучающего является фактором, определяющим результаты обучения. Однако, анализируя результаты тестирования, мы рассматриваем эти результаты только как продукт деятельности обучаемого и исключаем деятельность обучающего из своего анализа. Чтобы устранить это противоречие и обеспечить достижение целей текущего педагогического контроля, следует анализировать результаты тестирования как продукт корпоративной деятельности обучения, а не индивидуальной деятельности обучаемого.
Результат выполнения тестового задания как продукт взаимодействия обучающего и обучаемого
Под термином «учебный элемент (УЭ)» будем понимать «логически завершенный элемент содержания программы обучения, а под термином «учебный объект (УО)» — «информационный продукт, отображающий те стороны структуры или функционирования УЭ, на которые направлено конкретное обучающее воздействие»48. Таким образом, УО есть тот образ УЭ, который предъявляют обучающий или обучаемый друг другу в конкретной дидактической ситуации. В общем случае УО может быть представлен в идеальном (общение), материализованном (схема, действующая модель и т.д.) и смешанном виде.
Обучение представляет собой процедуру попеременного манипулирования УО (см. рис. 1), реализуемую двумя реальными субъектами (обучающим и обучаемым). В этой процедуре УО для обучающего и обучаемого в зависимости от реализуемого обучающего воздействия играет роль объекта управления или отображающего элемента.
Рис. 1. Схема взаимодействия обучающего и обучаемого в процессе решения коммуникативной задачи
48 Печников А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. — Петродворец: ВВМУРЭ им. А.С. Попова, 1995. — 326 с.
Выделяют два основных вида обучающих воздействий49: изложение учебного материала и учебную задачу. Если обучающий реализует первый вид воздействий и предъявляет изучаемый объект обучаемому, то для него УО является объектом управлении, а для обучаемого — отображающим элементом. Если реализуется второй вид обучающего воздействия, то обучаемый, манипулируя УО, решает задачу управления им, а обучающий — задачу на рефлексию этого УО. Первый вид обучающих воздействий обладает той особенностью, что его результаты могут быть выявлены только путем реализации второго вида обучающего воздействия. Именно эту цель преследуют текущий педагогический контроль и реализующие его методы критериально-ориентированного тестирования.
Для анализа влияния деятельно-стей обучающего и обучаемого на результативность (эффективность) обучения прежде всего следует определить виды деятельности, входящие в состав обучения, и организацию их взаимодействия. В педагогике эти вопросы наиболее обстоятельно рассмотрены В.М. Блино-
вым
50
(см. табл. 3).
Основываясь на его позициях, рассмотрим те виды деятельности, которые реализуют обучающий и обучаемый в процессе решения коммуникативной задачи.
Эффективность обучающего воздействия В.М. Блинов определяет на основе понятия «обучен-ность», под которой понимает «идеальное качество, предел, к которому стремятся любые результаты обуче-
ния». Он рассматривает обучен-ность как «продукт взаимодействия деятельностей обучающего и обучаемого ... некоторое отображение свойств личности обучаемого, сформированное в результате его участия в обучении». Уровень обу-ченности — это «достигнутая обучаемым степень приближения к обу-ченности, определяемая фактическим качеством усвоения». В отношении конкретного обучающего воздействия уровень обученности определяется как «результат сравнения фактического и эталонного качества усвоения УЭ, фигурирующего в формулировке цели рассматриваемого обучающего воздейст-
вия»51.
Л.П. Леонтьевым и О.Г. Гохма-ном52 обосновано, что УЭ может считаться усвоенным, когда все вершины и связи смысловой структуры образа этого УЭ, предъявленного обучаемым, полностью соответствуют его эталонной смысловой структуре. Введённое выше понятие сложности УЭ Л.П. Леонтьев и О.Г. Гохман обозначают термином «трудоемкость усвоения УЭ», понимаемым как «мера сложности изучаемого объекта, зависящая от его объёма и логической структуры, или, иначе, от числа входящих в него понятий (семантических единиц) и структуры отношений (связей) между ними».
На основе этих положений уровень обученности (усвоения УЭ), достигнутый в результате обучаю -щего воздействия первого вида (изложения учебного материала), выявляется путем измерения результатов выполнения тестового задания и оценивается как:
49 Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука — реформе школы). — М.: Педагогика, 1988. — 192 с.
50 Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). — М.: Педагогика, 1976. — 191 с.
51 Печников А.Н., Ветров Ю.А. Проектирование и применение компьютерных технологий обучения. Том 1. Часть 1. Концепция САО и моделирование процессов деятельности. Кн. 2. — СПб: БГТУ «Во-енмех», 2003. — 207 с.
52 Леонтьев Л.П., Гохман О.Г. Проблемы управления учебным процессом (математические модели). — Рига: «Зинанте», 1984. — 239 с.
Таблица 3
Характеристики деятельностей в составе обучения [В.М. Блинов, 1976]
Основные характеристики Название деятельности
Обучение Деятельность обучения Обучающая Учебная
Субъект деятельности Обучающий, обучаемый Активный -обучающий. Пассивный -обучаемый Обучающий Обучаемый
Объект деятельности Учебная деятельность обучаемого Обучающая деятельность Учебный элемент (УЭ) Собственное сознание обучаемого, учебный объект (УО)
Вид деятельности Групповая, кооперативная Индивидуальная управленческая Индивидуальная коммуникативная Индивидуальная, ограниченно познавательная
Цели деятельности Заданные изменения в субъекте учебной деятельности (обучаемом) Организация взаимодействия между обучающей и учебной деятельностями Создание условий для достижения целей учебной деятельности Усвоение УЭ как результат изменения сознания обучаемого
Средства деятельности Педагогическое общение Методы, приёмы и способы осуществления обучающей деятельности Материальные и идеальные модели УЭ Приемы и способы познавательной деятельности
Способ деятельности Управление учебной деятельностью обучаемого Формулировка и решение дидактической задачи Реализация обучающего воздействия путём представления УЭ в виде УО Манипулирование УО в процессе решения познавательной задачи
Продукт деятельности Фактические изменения в субъекте учебной деятельности (обучаемом) Вид обучающего воздействия как способ организации взаимодействия обучающего и обучаемого Предъявляемый обучаемому УО Прямой - усвоенный УЭ. Опосредованный - результат решения учебной задачи
К
об
тусв
(6)
где: Ко6 (Ко6 е[0,1]) - показатель уровня обученности (усвоения УЭ); 1эт — сложность (трудоемкость усвоения) УЭ, измеряемая количеством семантической информации, содержащейся в эталонной (нормативной) модели УЭ; 1усв — сложность усвоенной части УЭ (смысловой структуры той части предъявленного обучаемым образа УЭ, которая совпадает с эталонной (нормативной) моделью УЭ).
Чтобы оценить влияние на (6) всех видов деятельности, представленных в табл. 2, достаточно установить закономерность формирования той части нормативной модели УЭ, которая совпала с моделью обучаемого и оценивается как 1усв.
В теории семантических систем совокупность процедур реализации первого вида обучающего воздействия (изложение нового учебного материала) и оценки его результативности Н.М. Соломатин описывает как процесс информирования вида:
эт
Inf = Pi & p2 & p3 & P4 & p5 & Рб & p7
(7)
где: Inf — семантическая_операция информирования, p,- (г = 1,7) — процедуры информирования: генерирование (^1), передача (p2), приём (p3), хранение (p,), восприятие (p5), понимание (p6) и принятие решения (p7); & — знак последовательной конъюнкции двух аргументов p;p;+1, означающий возможность перехода к процедуре p!+1 только после завершения процедуры p.
Результаты (8) обусловливаются принципом истинности информирования, который определяет, что «истинность информирования ... имеет место только в том случае, если последовательная конъюнкция всех процедур информирования истинна, . истинность информирования отсутствует, если хотя бы одна из его процедур оказывается нереа-лизованной»53:
Inf = 1, при p1 & p2 &...& p7 = 1 ; 1 Inf = 0, при p1 v p2 v... v p7 = 0J '
(8)
Если рассматривается возможность частичной истинности информирования ( Inf е [0,1]), то процедура (8) принимает вид:
г=7
FC" = kik2k3k4^5k6k7Iam =ПkiI9T" , (9)
где: k (к{ е [0,1]; г = 1,7) — показатели эффективности процедур информирования.
Для представления (9) в соответствии с данными педагогики проанализируем принадлежность процедур информирования субъектам, участвующим в обучении, и видам их деятельности. При этом учтем указание Е.И. Машбица на то, что «изложение учебного материа-
ла — это не простое информирование, а педагогически направленное (т.е. учитывающее индивидуальные возможности и особенности обучаемых) развёртывание перед учащимися фрагмента учебной деятельности, вовлекающее их (явно или неявно) в эту деятельность»54.
В соответствии с этим указанием анализ целесообразно начать с деятельности обучаемого, которая определяет часть параметров деятельности обучающего. Свою лепту в процесс информирования обучаемый вносит процедурами приёма (р3), хранения (р4), восприятия (р5), понимания (р6) и принятия решения (р7).
Н.М. Соломатин указывает, что процедура приёма (р3) информации реализуется объектом-приёмником в виде последовательности микропроцедур, зависящей как от формы представления информации, так и вида объекта-приёмника (человек, ЭВМ). Кратко рассмотрим влияние формы информации и особенностей приёма информации человеком на эффективность обучения, соответственно обозначив их влияние коэффициентами &31 и £32.
В теории семантических систем рассматриваются однородные и комплексные формы представления информации. К однородным формам отнесены: текстовая ¿-форма (книги, документы), аудиальная Б-форма (речь, звуки); £-форма визуальная (жесты, пластика и т.д.); изобразительная С-форма (графика, рисунки, кино и т.п.). Комплексные ¿/-формы объединяют несколько однородных форм и представлены большим числом их сочетаний.
Особенности влияния форм информации на её приём человеком наиболее отчётливо сформулированы в нейролингвистическом программировании (НЛП). Здесь под
53 Перспективы развития вычислительной техники: в 11 кн.: Справ. пособие / Под ред. Смирнова Ю.М. Кн. 1: Информационные семантические системы / Н.М. Соломатин. — М.: Высш. шк., 1989. — 127 с.
54 Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука — реформе школы). — М.: Педагогика, 1988. — 192 с.
термином «репрезентативная система (РС)» понимается «разновидность памяти, обеспечивающая кодирование и хранение информации в виде тех или иных ассоциаций»55. Различают следующие виды РС: 1) визуальную — опирающуюся, в основном, на зрение; 2) аудиаль-ную — базирующуюся, в основном, на слухе; 3) кинестетическую — отдающую предпочтение осязанию и обонянию. Теория НЛП определяет, что люди используют все репрезентативные системы, но только в одной из них, называемой ведущей, информация осознается. Имеются верифицированные методики определения вида ведущей репрезентативной системы (ВРС) и апробированный подход к учёту ВРС при выработке обучающих воздействий.
Тип ВРС является врождённой характеристикой обучаемого. Возможное отрицательное влияние этой характеристики проявляется только в том случае, когда обучаю -щее воздействие не соответствует типу ВРС (например, когда УО предъявляется визуалу в аудиаль-ной форме, а аудиалу — в визуальной). В обычной процедуре информирования несоответствие типа ВРС форме представления информации — это неизбежное, случайным образом возникающее ограничение. Однако мы рассматриваем тот случай информирования, в котором, как указывает Е.И. Машбиц, должны учитываться индивидуальные возможности и особенности обучаемых (приёмников информации).
В нашем случае тип ВРС является той характеристикой, которая должна задавать форму предоставляемой обучаемому информации до её передачи. Поэтому £31 является не показателем эффективности
учебной деятельности обучаемого, а показателем эффективности деятельности обучения обучающего, который должен учесть тип ВРС обучаемого при выработке обучающих воздействий. Отсюда следует, что показатель &31 должен рассматриваться как частный показатель, входящий в групповой показатель ^ процедуры р1 генерирования учебной информации обучающим.
В качестве различия между человеком и ЭВМ в процедуре приёма информации, оцениваемой показателем £32, в теории семантических систем обсуждается тот факт, что компьютер может не принимать передаваемую ему информацию только в соответствии с заранее заданными правилами (запрет на приём отдельных видов информации и т.п.). В отличие от ЭВМ человек может отказаться от приёма информации произвольно и даже вопреки установлённым правилам («на одно ухо глухой, на другое не слышит»). Такой же способностью человек (обучаемый) обладает в отношении процедуры хранения (р4) информации («в одно ухо влетает, в другое вылетает»). Степень реализации способности произвольно не принимать и не хранить учебную информацию в педагогике и психологии связывается с уровнем учебной мотивации обучаемого.
Термин «мотивация» имеет много трактовок. В соответствии с целями анализа процесса информирования в обучении следует принять формулировку В.Г. Леонтьева, который определяет мотивацию как «процесс (процедуру) побуждения, реализации в действии и в поведении ... мотивационных установок, представляющих собой внутренние причины поведения и деятельности человека»56. По признаку соответ-
55 Бэндлер Р. Используйте свой мозг для изменений. Нейролингвистическое программирование — СПб.: Ювента, 1994. — 168 с. Гриндер М., Ллойд Л. Исправление школьного конвейера: НЛП в педагогике. — М.: Изд-во ИОИ, 2001г. — 37 с.
56 Леонтьев В.Г. Психологические механизмы мотивации учебной деятельности: Учебное пособие. — Новосибирск: НГПИ, 1987. — 91 с. Леонтьев В.Г. Мотивация и психологические механизмы её формирования. — Новосибирск: ГП «Новосибирский полиграфкомбинат», 2002. — 264 с.
чаемость есть стабильная характеристика учебной деятельности обучаемого; 2) фактическое проявление обучаемости существенно зависит от характера обучающей деятельности (приёмов, способов обучения); 3) проявление максимальной обучаемости возможно при «идеальной» деятельности обучающего, т.е. при полном соответствии обучающего воздействия характеру учебной деятельности обучаемого.
Обобщая выводы, сделанные в отношении показателей процедур информирования, реализуемых г-м обучаемым, можно интегральный показатель эффективности его деятельности представить в следующем виде
ствия мотивационных установок обучаемых целям обучения эти установки ранжируют по уровням учебной (учебно-познавательной) мотивации.
Наиболее подробная классификация этих уровней предложена А.К. Марковой57. Ей же были представлены средства диагностики этих уровней и приведены оценки их влияния на результаты обучения. Значит, уровень учебной мотивации определяет эффективность процедур приёма (р3) и хранения (р4) информации, что позволяет рассматривать его как групповой показатель эффективности учебной деятельности, агрегирующий частные показатели к32 и к3.
В качестве интегрального показателя эффективности процедур восприятия (р5), понимания (р6) и принятия решения (р7) рассматривается показатель обучаемости. Под обучаемостью обычно понимают способность человека к усвоению знаний и шире к учению, «тот комплекс психофизиологических (природных) свойств человека, под действием которых он воспринимает социальный опыт (идеи, знания и т.д.)»58.
Целям количественной оценки этой характеристики наиболее соответствует трактовка, в которой под обучаемостью понимается «способность обучаемого к усвоению вполне определённой части из того количества семантической информации, которое содержится и может быть им извлечено из эталонной модели УЭ в результате её однократного предъявления в виде, наиболее полно соответствующем специфическим особенностям данного обу-чаемого»59. В приведённом определении постулируются следующие общепринятые положения: 1) обу-
57 Маркова А.К., Матис Т.А., Орлов А.Б. Формирование мотивации учения: Кн. для учителя. — М.: Просвещение, 1990. — 192 с.
58 Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). — М.: Педагогика, 1976. — 191 с.
59 Печников А.Н., Шиков А.Н. Проектирование и применение компьютерных технологий обучения. — СПб.: Изд-во ВВМ, 2014. — 393 с.
КУД = к32 к4 к5 к,6 к/ = (10)
г 11111 г г'
где: КУД (КУД е [0,1]; г = 1~П) — интегральный показатель эффективности учебной деятельности; к32, к4 , к5, к,6,к (к?2,к4,к5,к,6,к7 е[0,1]) ¿ — ,т-ветственно показатели эффективности процедур приёма (р3), хранения (р4), восприятия (р5), понимания (рЛ и принятия решения (р7);
к1 = к&4, к2 = к5к6к7— соответствен, , ,' , ¿¿г
но показатели уровня учебной мотивации и обучаемости обучаемого.
Необходимо отметить, что обучаемость не только определяет показатель к2 = к^к^к] эффективности учебной деятельности. Наряду с ВРС она задаёт условия коммуникативной задачи и обусловливает эффективные способы её решения.
В рамках процесса (7) обучающий выполняет две процедуры: генерирование (р1) и передачу (р2) учебной информации.
В соответствии с приведённой выше особенностью педагогического информирования УО, который предъявляется обучаемому, должен
не только соответствовать нормативному УЭ, но и быть адаптирован к «индивидуальным возможностям и особенностям обучаемых»60. Поэтому в обучении процедура генерирования (^1) учебной информации должна включать две процедуры: планирования (ри) и формирования (р12) учебной информации.
Процедуру р11 обучающий реализует в деятельности обучения (см. табл. 2), которая выполняется в предметной области педагогики и имеет целью разработку дидактического плана изучения (ДПИ) УЭ, который представляет собой «адаптированную к познавательным возможностям обучаемого последовательность УО, презентация которых обеспечивает эффективное усвоение обучаемым рассматриваемого УЭ»61. В результате разработки ДПИ УЭ определяются: 1) необходимость декомпозиции УЭ на ряд компонент из-за ограниченных познавательных возможностей (свойства обучаемости) обучаемого; 2) число и последовательность предъявления выделенных компонент УЭ; 3) способы презентации УО, соответствующих всем выделенным компонентам УЭ (приёмы и способы обучения, применяемые для создания УО и его предъявления обучаемому). Представляется необходимым указать на ту особую роль, которую в разработке ДПИ УЭ играет обучаемость.
Все личностные характеристики обучаемого, определяющие условия обучения, не зависят от действий обучающего и должны учитываться последним при выработке обучаю -щего воздействия. Исключение со-
ставляет обучаемость. Она зависит от сложности (трудоемкости усвоения) УЭ, а потому может варьироваться действиями обучающего. Изменяя (обычно уменьшая) сложность УЭ, обучающий имеет возможность повысить свойство обучаемости, а, повысив обучаемость, обучающий повышает и эффективность соответствующего обучающего воздействия. Именно такую зависимость между обучаемостью и обу-ченностью имел в виду В.М. Блинов, утверждая, что «обученность следует рассматривать в качестве функционального проявления обу-чаемости»62.
Процедуры формирования (р12) и передачи (р2) учебной информации реализуются обучающим в рамках обучающей деятельности. Эта деятельность выполняется уже не в предметной области педагогики, а в предметной области изучаемой учебной дисциплины и представляет собой «развёртывание перед учащимися фрагмента учебной деятельности, вовлекающее их (явно или неявно) в эту деятельность»63.
По отдельности процедуры планирования (р11), генерирования (р12) и передачи (р2) информации являются латентными и проявляются только в виде единой презентации УО, которая в педагогике обозначается как обучающее воздействие. Поэтому «вся система предпочтений дидактики в отношении эффективности деятельностей обучающего формулируется как система предпочтений в отношении эффективности обучающего воз-действия»64. В соответствии с изложенными выше положениями инте-
60 Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука — реформе школы). — М.: Педагогика, 1988. — 192 с.
61 Печников А.Н., Шиков А.Н. Проектирование и применение компьютерных технологий обучения. — СПб.: Изд-во ВВМ, 2014. — 393 с.
62 Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). — М.: Педагогика, 1976. — 191 с.
63 Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука — реформе школы). — М.: Педагогика, 1988. — 192 с.
64 Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). — М.: Педагогика, 1976. — 191 с.
гральный показатель эффективность '-го обучающего воздействия целесообразно представить в виде
ков = к»к;! к'
"ОБ
У1 Я 2
'Уоу >
(11)
где: КОВ (КОВ е [0,1]; 3 = 1, т) — интегральный показатель эффективности обучающего воздействия; к^11, к]2, к2 (к1 \ к12, к2 е [0,1]) — соответственно показатели эффективности процедур планирования (ри), генерирования (р12) и передачи ^л2) учебной информации; = к) \ ¿1] = к)2 к2 соответственно показатели эффективности деятельности обучения и обучающей деятельности.
Подставляя (10,11) в (9), а полученный вид (10) в (7), имеем
ТУсв
К06 = ' = КуДКОВ (12)
¿7 ^т г 3
где: Ко (КЗ е [03'1]; г = ё~п; 3 = Щ — показатель уровня усвоения '-го УЭ ¿-м обучаемым; — интегральный показатель эффективности '-го обучающего воздействия (действий обучающего); К\Д (К,УД е [0,1]) — интегральный показатель эффективности учебной деятельности ¿-го обучаемого; 1?т — сложность (трудоемкость усвоения) эталонной модели 3'-го УЭ; 1зусв — сложность части '-го УЭ, правильно усвоенной ¿-м обучаемым.
Рассмотрим возможность оценки КУД, К'ОВ по результатам критериально-ориентированного тестирования.
Оценка результатов тестирования как продукта взаимодействия обучающего и обучаемых
В отношении результатов критериально-ориентированного тестиро-
вания и соответствующих им тестовых заданий (см. табл. 1) примем следующие допущения: 1) сложность Т' каждого из тестовых заданий определяется эталонной (нормативной) сложностью I?т тестируемого в нем УЭ, т.е. I = 1?т; 2) каждый из представленных в тестовых заданиях УЭ был предъявлен всем обучаемым в виде одного и того же обучающего воздействия; 3) обучаемость и уровень учебной мотивации всех обучаемых в процессе изучения тестируемых УЭ оставались неизменными.
Эти допущения абсолютно соответствуют специфике текущего педагогического контроля, который проводится в процессе или после проведения учебного занятия (нескольких связанных учебных занятий, проведённых на коротком отрезке времени) с целью выявления необходимости корректуры процесса обучения. В рассматриваемых случаях в отношении всех обучаемых реализуются одни и те же обучающие воздействия. Уровень учебной мотивации обучаемых, хотя и является наиболее неустойчивой характеристикой обучаемых, но на рассматриваемом сравнительно коротком отрезке времени может наряду с обучаемостью рассматриваться в качестве стабильного параметра деятельности обучаемого.
В принятых допущениях необходимо отдельно остановится на том требовании, что при критериально-ориентированном тестировании сложность тестовых заданий не должна завышаться за счёт искусственно создаваемой сложности формулировок самих заданий.
Такой приём изменения сложности заданий вслед за М.А. Лепи-ком65 рекомендует целый ряд авто-
65 Лепик М.А. Факторы сложности типовых текстовых задач: Автореф. дис. ... канд. пед. наук. — Тарту, 1989. — 18 с.
66 Мысик М.С. Трудность тестовых заданий: планируемая и реальная (на материале французского языка) // Педагогическое образование в России. 2012. № 1. С. 181-193.
ров, например, М.С. Мысик66, О.Э. Найму шина и Б.Е. Старичен-ко67. Его применение действительно обеспечивает более чёткую ранжировку обучаемых по результатам нормативно-ориентированного тестирования. Однако при решении задач критериально-ориентированного тестирования искусственное завышение сложности тестовых заданий идёт вразрез с целями текущего педагогического контроля, т.к. порождает неадекватность оценки сложившейся дидактической ситуации и может привести к неправильной формулировке коммуникативной задачи.
Результат выполнения любого тестового задания в соответствии с принятыми допущениями может быть из (12) представлен в виде
= КудК°В , (13)
Поиск множеств {КуОВ} и {Куд} неизвестных значений коэффициентов эффективности деятельности обучающего и обучаемых предлагается реализовать путем решения задачи нелинейного программирования вида
j =m i= n
XX К' - КУДКОВ )2 ^ min, j=i i=i
УДт^ОВ
КУДК
j
[0,1]; i = 1, n; j = 1, m
,(14)
в которой значения коэффициентов КОВ и Куд определяются путем минимизации суммы квадратов отклонений расчётных значений показателей К° = КудКОВ результативности выполнения тестовых заданий от их эмпирических значений а~, экспериментально установлённых в процессе тестирования.
В результате обработки данных критериально-ориентированного тестирования общепринятым способом обучающий получает информацию о единственной характеристике, которая полезна для достижения целей текущего педагогического контроля. Этой характеристикой являются оценки p(s{) того уровня обученности обучаемых, который был ими достигнут в результате анализируемого процесса обучения.
В итоге решения задачи нелинейного программирования в дополнении к этой единственной характеристике обучающий получает: 1) оценки эффективности К,ОВ
s и u J
всех обучающих воздействий, которые были реализованы в отношении тестируемых УЭ; 2) оценки эффективности Куд учебной деятельности обучаемых в период изучения УЭ, фигурирующих в выполненных обучаемыми тестовых заданиях.
Эта дополнительная информация позволяет существенно повысить определённость формулировки исходной ситуации и адекватность решения той коммуникативной задачи, в интересах разрешения которой проводилось тестирование.
Решение задачи (14) в отношении результатов тестирования, приведённых в табл. 1, представлено в табл. 4.
Для реализации (14) при i, j < 15 целесообразно использовать стандартную функцию «Solve (Поиск решения)» Microsoft Excel, а при i, j >15 — её расширенную версию «Premium SolverPlatform for Excel», которая предоставляется компанией Frontline Systems в свободном доступе.
67 Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. №2. С. 58-70. Наймушина О.Э., Стариченко Б.Е. Измерение уровня усвоения компонентов знаний по физике на основе многофакторной оценки сложности контрольных заданий // Мир науки, культуры, образования. 2009. № 7 (19). С. 106-109. Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. — Екатеринбург, 2010. — 211 с.
Таблица 4
Матрица анализа результатов тестирования как продуктов взаимодействия обучающего и обучаемых
Номер 1 испытуемого Оценка результата решения ] тестового задания КУД 1
1 2 3 4 5 6 7 8 9
1 0,61 0,50 0,76 0,39 0,77 0,46 0,93 0,97 0,97 0,97 0,67
2 0,34 0,28 0,42 0,22 0,43 0,25 0,51 0,54 0,54 0,54 0,33
3 0,30 0,24 0,37 0,19 0,38 0,22 0,45 0,47 0,47 0,47 0,33
4 0,45 0,37 0,56 0,29 0,57 0,34 0,69 0,72 0,72 0,72 0,44
5 0,41 0,34 0,51 0,27 0,52 0,31 0,63 0,66 0,66 0,66 0,44
6 0,51 0,42 0,64 0,33 0,65 0,38 0,78 0,82 0,82 0,82 0,56
7 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00 1,00 1,00
8 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00 1,00 0,78
9 0,36 0,29 0,44 0,23 0,45 0,27 0,54 0,57 0,57 0,57 0,33
10 0,62 0,51 0,78 0,40 0,79 0,47 0,95 0,99 0,99 0,99 0,67
11 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00 1,00 0,89
Ков 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00
Р(' 0,45 0,36 0,55 0,27 0,64 0,36 0,73 1,00 0,91
1' 82,53 141,3 189,0 126,0 68,9 55,8 96,6 43,4 31,6
Справедливость гипотезы Г.А. Балла о высоком уровне корреляции оценок сложности и трудности тестовых заданий
Формулируя свою гипотезу Г.А. Балл предполагает, что «при прочих равных условиях ... ряд значений сложности даёт наиболее высокую корреляцию с рядом значений трудности»68. Рассмотрим те условия, за счёт равенства может быть обеспечена высокая корреляция показателей р(Ь), трудности и Т(') сложности тестовых заданий.
Оценки 1(3) сложности тестовых заданий определяются только принятой эталонной (нормативной) структурой УЭ, а потому постоянны в любых условиях. Значит, равенство условий следует анализировать только в отношении показателей р(Ь), трудности тестовых заданий. Отвлечемся от трудности как от «затруднения, которое необ-
68 Балл Г.А. Теория учебных задач: Психолого-педагогический аспект. — М.: Педагогика, 1990. — 184 с.
69 Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. — Екатеринбург, 2010. — 211 с.
ходимо преодолеть субъекту для успешного решения задачи»69 и рассмотрим те показатели р(Ь), д(г'), которыми трудность оценивается.
Как отмечалось выше, показатели р(Ь), трудности — это значения функций успеха и неуспеха, которые наиболее вероятны для рассматриваемой группы испытуемых при выполнении соответствующего 3'-го тестового задания. В соответствии с (3, 5) исходный показатель р(' для каждого '-го задания рассчитывается как среднее арифметическое значение индикаторов а^ успешности выполнения этого задания.
Решая задачу текущего педагогического контроля, мы рассматриваем значения а- как адекватные следствия тех обуч ающих воздействия, которые были направлены на усвоение соответствующих УЭ. Поэтому обеспечить прочие равные условия для проявления свойства трудности во всех тестовых заданиях можно только путем фиксации в
показателе (13) эффективности обучения на одном и том же уровне всех параметров, не связанных с параметром I(j) сложности изучаемого УЭ. Таковыми параметрами являются: 1) эффективность обучающих воздействий, т.е КРВ = const; 2) уровень учебной мотивации обучаемых (испытуемых), т.е. h1 = k32ki = const .
В условиях, когда показатели эффективности обучающих воздействий одинаковы для всех воздействий, а уровни учебной мотивации всех обучаемых совпадают, различия между индивидуальными показателями (13) эффективности обучения могут быть вызваны воздействием единственного фактора — индивидуального свойства обучаемости обучаемых. Но, как указывалось выше, свойство обучаемости зависит от сложности изучаемого УЭ. Эта зависимость в педагогике обозначается термином «иллюзия усвоения» и состоит в том, что «чем больше трудоемкость (сложность) УЭ, тем меньше свойство обучаемости и ниже качество усвоения УЭ»70. Таким образом, в рассматриваемых условиях показатели p(tj) наиболее вероятных значений уров -ня усвоения j-х УЭ, принимаемые в качестве оценок трудности j-х учебных заданий, зависят только от индивидуальных свойств обучаемости рассматриваемой группы обучаемых, а значит, практически функционально зависят от сложности тестируемых в этих заданиях УЭ.
Отсюда следует, что, если в период изучения УЭ эффективности всех обучающих воздействий, а также уровни учебной мотивации всех обучаемых одинаковы, то различия в трудности учебных заданий могут определяться только сложностью тестируемых в них УЭ. Значит, в рассматриваемых условиях труд-
ность учебных заданий должна функционально зависеть от сложности тех УЭ, которые тестируются в этих учебных заданиях. О проявлении этой закономерности на практике и говорит Г.А. Балл, формулируя свою гипотезу.
Справедливость приведённых выше теоретических обоснований, да и самой гипотезы Г.А. Балла легко проверить на практике. Для осуществления такой проверки нужно, во-первых, привести оценки р(^), д(^) трудности тестовых заданий к одинаковой эффективности соответствующих им обучающих воздействий, а, во-вторых, оценить корреляционную связь между полученным рядом оценок приведённой трудности тестовых заданий с рядом оценок их сложности.
Привести эмпирические оценки Р(^), Я(^) трудности заданий к одинаковой эффективности соответствующих им обучающих воздействий проще всего, используя известную в эргономике операцию нормирования показателей качества («шкалирования отношений по базовому показателю качества»71). Если принять в качестве базового показателя качества эффективность обучающего воздействия, то нормированные значения показателей трудности примут вид:
^) = ^, (15)
КО
w(t,) = 1 - v(tj) = 1-
P(tj)
КОВ ,
j
(16)
где: w(t) — соответственно
нормированные оценки показателей р(^), значения которых соответствуют трудности .-го тестового задания при максимальной эффективности (К°В = 1) соответствующего обучающего воздействия.
70 Беспалько В.П. Основы теории педагогических систем. — Воронеж: Изд. Воронежского ун-та, 1977. — 236 с.
71 Информационно-управляющие человеко-машинные системы: Исследование, проектирование испытания: Справочник / Под общ. ред. А.И. Губинского и В.Г. Евграфова. — М.: Машиностроение, 1993. — 528 с.
Выберем из табл. 1 и табл. 3 те результаты тестирования (см. табл. 5), которые относятся к характеристикам трудности и сложности
тестовых задании и представлены в виде показателей, у которых измеряемое своИство растёт с ростом показателя.
Характеристики анализируемых тестовых заданий и соответствующих им обучающих воздействий (ОВ)
Таблица 5
Характеристики тестового задания и тестируемого в нём УЭ Номер тестового задания
1 2 3 4 5 6 7 8 9
Трудность q(t.) 0,55 0,64 0,45 0,73 0,36 0,64 0,27 0,00 0,09
Ранг q(tj) 6 7 5 9 4 7 3 1 2
Сложность 1() [сем. ед.] 82,5 141,3 189,0 126,0 68,9 55,8 96,6 43,4 31,6
Ранг /(') 5 8 9 7 4 3 6 2 1
Эффективность ОВ КОВ 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00
Ранг КОВ 1 4 3 5 1 6 2 7 8 8
Приведенная трудность 0,28 0,29 0,30 0,33 0,20 0,23 0,24 0,00 0,09
Ранг 6 7 8 9 3 4 5 1 2
Оценим зависимость приведённых в табл. 4 характеристик по коэффициенту т3 ранговой корреляции Спирмена, учитывая, что его
критические значения для числа т = 9 тестовых заданий составляют г°>05 = 0,68 и т ■0,01 = 0,83.
Оценка корреляции характеристик тестовых заданий
Таблица 6
Характеристики тестового задания и тестируемого в нём УЭ Трудность *($) Сложность 1() [сем. ед.] Эффективность ОВ КОВ ] Приведенная трудность w(t.)
Трудность q(t) 1
Сложность 1() [сем. ед.] 0,592 1
Эффективность ОВ К ОВ -0,788 -0,413 1
Приведенная трудность 0,804 0,900 -0,629 1
Приведённые в табл. 6 оценки свидетельствуют, что из шести исследованных связей неслучайной (статистически значимой) может быть признана только связь между сложностью и приведённой трудностью. Остальные связи являются либо неопределёнными, либо статистически незначимыми. Аналогичная картина имеет место и на описанной выше выборке из 134 испытуемых, проходивших тестирование по 50 тестовым заданиям. Здесь также из шести оцениваемых связей статистически значимой (неслучай-
ной) может быть признана только корреляция между приведённой трудностью и сложностью тестовых заданий, которая составляет Г = 0,412 > г/101 = 0,349 > г/105 = 0,272.
Таким образом, гипотеза Г.А. Балла справедлива: при прочих равных условиях (одинаковой эффективности всех обучающих воздействий, которые направлены на усвоение УЭ, составляющих содержание тестовых заданий), трудность тестовых заданий всегда будет значимо коррелировать с их сложностью.
