CC BY
110
Решение задач текущего педагогического контроля на основе анализа результатов критериально-ориентированного
тестирования
Печников Андрей Николаевич доктор педагогических наук, доктор технических наук, профессор, профессор кафедры
кораблевождения,
Военный институт (военно-морской) ВУНЦ ВМФ "Военно-морская академия", Ушаковская наб., д. 17/1, г. Санкт-Петербург, Россия, 197045; тел. +79119221982;
Печников Денис Андреевич кандидат технических наук, доцент, доцент кафедры кораблевождения, Военный институт (военно-морской) ВУНЦ ВМФ "Военно-морская академия", Ушаковская наб., д. 17/1, г. Санкт-Петербург, Россия, 197045; тел. +7921780580724; [email protected]
Аннотация
В статье раскрывается подход к решению задач текущего педагогического контроля на основе анализа результатов критериально-ориентированного тестирования обучаемых. Представляемый метод анализа результатов тестирования обеспечивает оценку эффективности обучающих воздействий, которые были реализованы в отношении познавательных объектов, фигурирующих в соответствующих тестовых заданиях, а также оценку реального проявления свойства обучаемости. The article deals with an approach to solving the problems of the current pedagogical control based on the analysis results criterion-based testing of knowledge of students. Represents the method of analysis of test results provides an assessment of the effectiveness of training activities that have been implemented in relation to cognitive objects appearing in the appropriate tests, as well as evaluating the real manifestation of the properties of learning.
Ключевые слова
текущий педагогический контроль, критериально-ориентированное тестирование, обучаемость, обучающее воздействие.
current pedagogical control, criterion-oriented testing, learning, instructional impact.
Введение
В общем случае под педагогическим контролем понимается "система научно-обоснованной проверки результатов образования, обучения и воспитания" [1] или "функция управления образовательным процессом, осуществляемая с целью получения достоверной информации о ходе и результатах проводимой воспитательной и обучающей деятельности" [2]. Выделяют входной, текущий и итоговый виды педагогического контроля. В качестве перспективного средства реализации всех этих видов контроля рассматривается педагогическое тестирование.
Входной и итоговый контроль предваряют и завершают учебный процесс. Их результаты могут и должны учитываться при проектировании обучения, но они не ориентированы на корректуру уже начавшегося образовательного процесса. Эти виды
контроля могут быть реализованы как средствами нормативно- ориентированного, так и критериально-ориентированного тестирования. В отличие от них, текущий контроль реализуется непосредственно в процессе обучения, а его "важнейшей функцией является функция обратной связи, которая позволяет преподавателю получать сведения о ходе процесса усвоения у каждого учащегося и адаптировать процесс обучения к их потребностям" [3].
В педагогике обратная связь определяется как "положительное или отрицательное воздействие результатов обучения на процесс освоения новых знаний и умений" [4]. Адаптировать процесс обучения к потребностям обучаемых на основе данных нормативно -ориентированного тестирования (Ваня знает лучше Пети, а Петя — лучше Тани) невозможно. Оценки успешности обучаемых, определяемые методами нормативно-ориентированного тестирования, здесь не информативны, поскольку не отражают связь между достигнутым уровнем усвоения и целью обучения. Оказать влияние на ход процесса обучения могут только оценки соотношения "усвоил - не усвоил" между обучаемым и изученным содержанием обучения. Поэтому целям текущего педагогического контроля соответствуют только методы и средства критериально-ориентированного тестирования, идентифицирующие соотношения "усвоил - не усвоил" между теми конкретными обучаемыми и теми конкретными познавательными объектами, в отношении которых реализуется рассматриваемый процесс обучения.
Для установления соответствия существующих методов критериально-ориентированного тестирования целям текущего педагогического контроля, прежде всего, необходимо четко определить содержание и функции самого этого вида педагогического контроля.
В соответствии с теорией учебных задач Г.А. Балла функции текущего педагогического контроля реализуются в процессе решения коммуникативных задач. Коммуникативная задача определяется как "задача совершенствования знаний одного субъекта-реципиента другим субъектом-решателем коммуникативной задачи" [5]. Требование коммуникативной задачи для ее решателя (обучающего) формулируется как требование формирования образа изучаемого объекта и его представления реципиенту (обучаемому) в виде, обеспечивающем последним усвоение этого объекта. "Критерием решенности коммуникативной задачи являются достижение достаточной условной полноты информации, несомой знанием обучаемого об изучаемом объекте, причем за эталонное принимается знание обучающего" [5].
В [6] показано, что роль текущего педагогического контроля в решении коммуникативной задачи не ограничивается аттестацией достигнутого обучаемыми уровня подготовленности, а состоит в предоставлении решателю (обучающему) наиболее полной информации о той дидактической ситуации, разрешение которой является целью решения текущей коммуникативной задачи.
Авторы, исследующие тестовые технологии как средство контроля процесса обучения, подтверждают такой вывод.
Так, Н.Ф. Ефремова, рассматривая тесты в качестве перспективной формы реализации текущего педагогического контроля, выделяет в качестве ведущей функции таких тестов их диагностическую, а не контрольно-оценочную функцию и определяет эти тесты как "инструментарий для выявления индивидуальных затруднений, их причин и направлений корректировок образовательной деятельности учащихся и учителей" [7].
М.Б. Челышкова, анализируя функции тестирования в процессе обучения, отмечает, что в ситуации текущего педагогического контроля тесты "предназначены для выявления пробелов в знаниях" [8] и должны найти "слабые места в подготовке учащихся и выявить направления индивидуальной помощи в освоении нового материала" [8]. Место и роль тестирования в общей процедуре текущего педагогического контроля она определяет в виде, приведенном на рис. 1.
Рис. 1. Модель функций тестирования в текущем контроле по М.Б. Челышковой [8]
Полноту информации, необходимой для реализации текущего педагогического контроля и решения коммуникативной задачи, Е.И. Машбиц связывает с "наличием следующих данных: 1) достаточность фонда знаний и умений учащегося для усвоения способа действия, предусмотренного учебной целью; 2) индивидуальные особенности учащегося, имеющие значение для достижения учебных целей" [9].
Приведенные в [10] результаты эргономического проектирования процедуры решения коммуникативной задачи позволяют представить состав этих данных в следующем уточненном виде: 1) данные об усвоении всех понятий и процедур, являющихся необходимыми для адекватного восприятия ИО; 2) данные об эффективности в отношении обучаемого (контингента обучаемых) отдельных видов обучающих воздействий (способов обучения), входящих в методический арсенал обучающего; 3) данные об уровне учебной мотивации обучаемых, а также других личностных и психофизиологических характеристиках обучаемых, определяющих результативность их учебной деятельности.
Рассмотрим возможности существующих методов анализа результатов критериально-ориентированного тестирования в получении этих данных.
Анализ существующих процедур обработки результатов критериально-ориентированного тестирования
Во всех известных схемах обработки результатов тестирования принято исходное положение Г. Раша (G. Rasch) о том, что "успех участника тестирования в решении определенного тестового задания зависит, в основном, от двух факторов: трудности задания и искушенности испытуемого" [11]. В соответствии с этим положением обученность испытуемого оценивается вероятностью того, что он правильно выполнит некоторое случайно выбранное тестовое задание, которое сформулировано в рамках тестируемой предметной области. Эта вероятность обозначается термином "функция успеха" и определяется как
p = p( s, t), (1)
где уровень я обученности испытуемого и уровень / трудности задания являются латентными (ненаблюдаемыми) параметрами, оценка которых является целью тестирования.
Рассмотрим общепринятую схему оценки этих латентных параметров.
Пусть имеется п испытуемых с различной подготовленностью ь) (я е [0,1]; ) = 1, п). Каждому испытуемому предлагается один и тот же вариант теста, состоящий из т заданий различной трудности (/ е [0,1]; ] = 1, т). Пусть индикаторы ау успешности решения этих заданий определяются по дихотомному принципу:
1, если) - ый участник правильно выполнил ] - ое задание; 0, если) - ый участник ] - ое задание выполнил неправильно
(2)
Индикаторы а у сводятся в матрицу А = (ау]) ответов, пример которой представлен в
табл. 1.
Бинарная матрица ответов (11х9)
Таблица 1
Номер ) испытуемого Номер] тестового задания Ь Р( Ь)
1 2 3 4 5 6 7 8 9
1 0 1 1 0 1 0 1 1 1 6 0,67
2 0 0 0 0 1 0 0 1 1 3 0,33
3 0 0 0 0 0 1 0 1 1 3 0,33
4 0 0 0 0 1 0 1 1 1 4 0,44
5 1 0 0 0 1 0 0 1 1 4 0,44
6 0 1 1 0 0 0 1 1 1 5 0,56
7 1 1 1 1 1 1 1 1 1 9 1,00
8 1 0 1 1 0 1 1 1 1 7 0,78
9 0 0 0 0 0 0 1 1 1 3 0,33
10 1 0 1 0 1 0 1 1 1 6 0,67
11 1 1 1 1 1 1 1 1 0 8 0,89
С] 5 4 6 3 7 4 8 11 10
р«]) 0,45 0,36 0,55 0,27 0,64 0,36 0,73 1,00 0,91
Я «]) 0,55 0,64 0,45 0,73 0,36 0,64 0,27 0,00 0,09
Ранг я (^) 6 7 5 9 4 7 3 1 2
Ранг I (]) 5 8 9 7 4 3 6 2 1
Сложность I (]) 82,5 141,3 189,0 126,0 68,9 55,8 96,6 43,4 31,6
Первичная обработка матрицы включает расчет по каждой строке и по каждому столбцу соответствующих маргинальных сумм элементов
а) =
k
bi=ai=S an'
j=1
C. = a. = £ aj
i=1
для i = 1, n; j = 1, да . (3)
Первичный балл bt = at отражает меру успеха i-ого испытуемого, а первичный балл Cj = a j рассматривается как показатель трудности j-ого задания.
Поскольку каждый из индикаторов a. представляет собой апостериорную оценку функции успеха p. = p(st, tj), то к качестве первичных показателей, отображающих латентные параметры уровня обученности i-ого испытуемого и уровня tj трудности j-ого задания, принимаются соответствующие им оценки математического ожидания
p(s¡) = b, (4)
m
c¡
p(tj) = - . (5)
n
Оценки (4,5), приведенные в табл. 1, представляют собой все те данные, которые могут дать существующие методы анализа результатов критериально-ориентированного тестирования для решения задач текущего контроля учебной деятельности обучаемых.
Эти данные не несут никакой информации об эффективности обучающих воздействий, реализованных при изучении тестируемой предметной области, об уровне учебной мотивации обучаемых и их индивидуальных характеристиках обучаемых, определяющих результативность их учебной деятельности. Поэтому они явно недостаточны для достижения целей текущего педагогического контроля и решения коммуникативной задачи.
Кроме того, как отмечают Ю.М. Нейман и В.А. Хлебников, чтобы адекватно применять модели (4,5) "нужно ответить на вопрос какой реальный смысл имеют понятия, которые они измеряют количественно" [12].
Если понятие и процедура оценки показателя (4) уровня обученности (подготовки, квалификации) испытуемого интуитивно понятны, то понятие "трудность задания", его соответствие своей оценке (5) и дальнейшее применение вызывают много вопросов. Поэтому рассмотрим понятие "трудность задания" более подробно.
В ОСТ Т 1.1. "Педагогические тесты, термины и определения" [13] и психологической энциклопедии [14] под термином "трудность тестового задания (уровень трудности)" понимается "основная количественная характеристика тестового задания, не зависящая от выборки испытуемых и отраженная на определенной шкале" [13,14]. Аналогичную трактовку приводят М.Ю. Олешков и В.М. Уваров: "характеристика задачи (пункта) теста, отражающая статистический уровень ее решаемости в данной выборке стандартизации" [15]. Такие дефиниции трудности задания корректны исключительно в отношении нормативно-ориентированного тестирования, где, как указывает В.С. Аванесов, "тестовые задания нельзя включать в настоящий тест до тех пор, пока не станет известной мера их трудности" [16], а "степень трудности (difficulty) тестовых заданий выявляется в период экспериментальной проверки тестов" [16].
Более общую и обтекаемую трактовку трудности тестового задания дают Л. Крокер (Linda Croker) и Дж. Алгина (James Algina) [17], а вслед за ними Т.М. Балыхина [1]. Они трактуют термин "уровень трудности (трудность) тестового задания (item difficulty)" как "основную статистическую характеристику тестового задания, определяемую долей испытуемых выборки, которые отвечают на это задание правильно" [1,17]. При этом
Л. Крокер (Linda Croker) и Дж. Алгина указывают, "что это технический термин, который иногда кажется противоречащим общепринятой трактовке термина "трудность" [17].
Суть этого противоречия в том, что по логике вещей трудность задания должна расти с ростом оценивающего ее показателя, а фактически она растет при уменьшении показателя (5). С целью устранения этого несоответствия в некоторых работах по тестологии (например, в [16,18,19] ) наряду с показателем (5), оценивающим вероятность успеха, используется показатель вида
q(tj ) = 1 - p(tj ) = 1 - ^, (6)
n
который оценивает противоположную вероятность срыва выполнения задания и определяется термином "индекс трудности". Кроме показателей (5,6) известная в тестологии теория IRT (Item Response Theory) и реализующие ее модели тестирования Раша и Бирнбаума для оценки трудности заданий используют более сложные показатели, которые сочетают оценки (5,6).
Таким образом, "трудность тестового задания" — это условное наименование (обозначение) параметра тестового задания, который определяется экспериментальным путем на этапе разработки нормативно-ориентированного теста, служит средством формирования этого теста, но для оценки результатов тестирования испытуемых не используется. В процессе фактического тестирования заранее определенные значения трудности отдельных тестовых заданий могут использоваться в технологиях адаптивного нормативно-ориентированного тестирования для оптимизации процедуры выбора следующего задания.
С учетом указанного показатели (5,6) трудности тестовых заданий в отношении целей и задач критериально-ориентированного тестирования бесполезны, поскольку они не несут информации, необходимой для реализации текущего педагогического контроля и решения коммуникативной задачи. При этом остается открытым вопрос, что оценивают, приведенные в табл. 1 значения показателей (5,6)?
Формально показатели (5,6), представленные в табл. 1, — это соответственно значения функций успеха и неуспеха, которые наиболее вероятны для рассматриваемой группы испытуемых при выполнении соответствующего j-ого тестового задания. Эти оценки рассматриваются в качестве характеристики j-ого тестового задания, которая, как отмечает М.С. Мысик, позволяет "констатировать, что с рассматриваемым заданием испытуемые справляются лучше (или хуже), но не дают никакого представления о том, почему" [20].
Вопрос почему одно тестовое задание труднее другого и чем определяется трудность тестовых заданий довольно активно обсуждается в целом ряде тестологических публикаций, например, в [21,22,23,24,25,26,27,28,29,30,31,32,33,34]. Взгляды авторов всех этих публикаций едины по нескольким позициям.
Во-первых, анализируя содержание рассматриваемых публикаций с позиций теории задач Б.А. Балла, можно придти к выводу, что все их авторы рассматривают тестовое задание как частный случай учебной задачи. Некоторые из них прямо указывают на это: "в контексте нашей работы различие терминов "задача" и "задание" не является принципиальным и по этой причине они будут использоваться как синонимы" [32].
Во-вторых, все авторы согласны, что тестовое задание характеризуется вполне определенной величиной усилий, которые должны быть приложены испытуемым (обучаемым) для его решения.
Третья согласованная позиция состоит в том, что величина усилий испытуемого может быть оценена субъективно и объективно, и в отношении этих оценок соответственно можно применять термины "трудность" и "сложность", формулируемые в педагогике в отношении учебных задач (см. табл. 1).
Таблица 2
Взаимное соответствие понятий трудности и сложности задачи в педагогике
Трудность (субъективная оценка) Сложность (объективная оценка)
"мера сравнения ресурсов решателя задачи с ресурсами, необходимыми для ее решения" [5] "объективная ресурсоемкость реального или предполагаемого процесса решения задачи" [5]
"субъективная характеристика задачи, зависящая от того, кто решает эту задачу" [35] "объективная характеристика задачи, которая определяется структурой процесса ее решения" [35]
"субъективная категория, характеризующая готовность субъекта преодолеть препятствия, связанные с определенным объективным составом деятельности" [36] "объективная категория, которая характеризует состав деятельности, необходимой для решения задачи, независимо от того, кто эту деятельность выполняет" [36]
Далее мнения тестологов в отношении трудности и сложности тестовых заданий расходятся. Линия раздела проходит по результатам установления соотношения между терминами "сложность" и "трудность".
Так авторы [21,22,23,24,25,26,27] рассматривают "два подхода к решению проблемы исчисления трудности тестовых заданий. ... Первый опирается на возможность оценки трудности задания, основываясь на характеристиках его сложности, под которыми понимаются . минимальная длина алгоритма решения (по А.Н. Колмогорову), либо число операций в неоптимизированных алгоритмах. Второй подход можно назвать успешностным или сравнительным. Он предполагает, что трудность тестового задания вводится через отношение числа учащихся, не решивших задачу, к общему количеству решавших ее" [23]. Другими словами, эта группа авторов рассматривает трудность и сложность как названия двух способов оценки одной и той же характеристики тестового задания. При этом авторы [21,22,23] отдают предпочтение первому подходу и развивают объективные методы оценки, а авторы [24,25,26,27] предпочитают сравнительный подход и развивают его модели.
Если приверженцы сравнительного подхода никак не комментируют недостатки первого, то сторонники объективного подхода активно критикуют существующие модели и процедуры оценки трудности тестовых заданий: "классический (сравнительный) метод показал свою несостоятельность, так как возможность трансляции результатов тестирования конкретной группы испытуемых на все другие группы вызывает справедливые сомнения тестологов [22]. Кроме того, они констатируют безуспешность попыток "найти взаимосвязь между показателями сложности и трудности . ввиду недостатков предлагаемых подходов" [21]. Другими словами, эти две группы авторов не видят перспектив сближения и сочетания развиваемых ими подходов.
Авторы [20,28,29,30,31,32,33,34], наоборот, считают, что субъективные и объективные оценки тестовых заданий оценивают не одну и ту же, а две разные характеристики, которые отличаются по своему смыслу, а потому могут иметь различающиеся количественные и качественные оценки.
"Под "трудностью" подразумевается, главным образом, затруднение или препятствие, характеризующееся высокой сложностью и требующее большого труда. В то время как "сложность" характеризуется как многообразность затруднительных препятствий" [28]. "Под сложностью понимается объективная (в большей или меньшей мере) характеристика задания, не зависящая от учащихся, а под трудностью - субъективная характеристика, непосредственно связанная с процессом и результатами решения задачи учениками" [32]. "Важно осознать, что степень трудности теста не совпадает со степенью его сложности. Степень сложности у теста характеризуется объективной насыщенностью и формой его
изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями учащихся" [28].
Далее авторы [20,28,29,30,31,32,33,34] исходят из того, что между характеристиками трудности и сложности заданий, существует та взаимная связь, которая определена в педагогике [5,9,35,36,37,38] в отношении сложности и трудности учебной задачи: "трудность характеризует возможность субъекта преодолеть объективную сложность задачи" [37].
Принимая это положение педагогики, авторы [20,28,29,30,31,32,33,34] считают, что "трудность - субъективное восприятие сложности и оценка теста учащимся как превышающий его возможности" [28], а "степень сложности сказывается на трудности выполнения теста в зависимости от индивидуальных способностей учащихся" [29]. Они полагают, что сложность тестового задания — это "объективная многофакторная количественная дидактическая характеристика учебного задания, отражающая вероятность выполнения задания учащимся и определяемая числом и характером умственных действий, необходимых для его решения нормативным способом" [30,32]. При этом считается, что "трудность задачи ... может быть получена путем сопоставления сложности задачи со знаниями, имеющимися у обучающегося, ... и не может быть больше сложности: в процессе обучения сложность задачи является достижимым пределом трудности" [33].
Различия в подходах этой группы авторов состоят в том, что в [20,28,29,30,31,32] предлагается оценивать сложность и трудность тестовых заданий методом экспертной оценки, а в [33,34] — развиваются формализованные подходы к оценке этих характеристик тестовых заданий и оценивается структурная сложность взвешенного ориентированного мультиграфа, в виде которого представляется содержание рассматриваемых заданий.
Здесь представляется целесообразным отметить, что вне зависимости от исследований, приведенных в [21,22,23,33,34], давно известны методики оценки структурной сложности графовых моделей В.П. Мизенцева [41] и Л.П. Леонтьева [42], которые прямо ориентированы на оценку семантической сложности познавательных объектов. Эти методики были неоднократно апробированы [6,10,43,44,45] и доказали свою объективность и адекватность. Условия корректного применения этих методик подробно представлены в [6,10,43,46].
Утверждая, что "трудность ... непосредственно связана со сложностью" [28,29], что "трудность задания будет возрастать пропорционально его уровню сложности" [20] и "знание сложности заданий позволяет осуществить предсказание трудности их решения учащимися" [30], естественно придти к так или иначе формулируемому в [30,31,32,33,34] выводу, что трудность является производной от сложности характеристикой, а "критерием адекватности различных мер сложности является достаточно высокая степень соответствия (корреляции) между мерой сложности и мерой трудности задания" [32].
Однако надежно подтвердить такую степень соответствия не удается. Так, например, М.С. Мысик исследуя связь между трудностью тестовых заданий и заявленными тремя уровнями их сложности (базовый, повышенный и высокий) по результатам ЕГЭ в Свердловской области по иностранным языкам отмечает парадоксальное на ее взгляд несоответствие между полученными статистическими оценками этих характеристик: "в 2009 году успешность выполнения заданий низшего базового уровня была сопоставима с успешностью выполнения заданий высокого уровня, а задания повышенного уровня оказались наиболее сложными для выполнения, а в 2010 году наименьший процент верно выполненных заданий пришелся на базовый уровень" [20].
Такие же примерно несоответствия были выявлены и в случаях, когда сложность тестовых заданий определялась не экспертными, а формальными методами. Так , например, в [39,40] описан эксперимент, в ходе которого группе из 134 курсантов был предложен тест по знанию основных понятий навигации. Тест включал 50 закрытых заданий с выбором из предложенных 5 альтернатив единственного верного ответа. Сложность каждого из 50 тестовых заданий была оценена по модифицированному в [6] варианту методики В.П.
Мизенцева. Связь показателей (6) трудности тестовых заданий с показателями сложности этих заданий оценивалась по критерию rS ранговой корреляции Спирмена.
Полученный результат rs = 0,236 < r°'"5 = 0,272 < rs0'01 = 0,349 свидетельствовал, что
связь между трудностью и сложностью тестовых заданий в соответствии с принятой в психологии зоной неопределенности статистических оценок [47,48] должна быть классифицирована как статистически незначимая (случайная). В качестве наглядного подтверждения такого положения в табл. 1 приведен взятый наудачу фрагмент из общей таблицы данных этого эксперимента, который, имея для j = 1,9 оценку rs = 0,59 < r°'"5 = 0,68 < r"'01 = 0,83, в явном виде демонстрирует отсутствие прямой зависимости трудности тестового задания от его сложности. Значит, либо методика В.П. Мизенцева [41] не соответствует принятому критерию адекватности мер сложности тестовых заданий, либо не верен сам критерий этой адекватности.
Методика В.П. Мизенцева [41] многократно апробирована: 1) в [6] она обеспечила разработку и экспериментальную проверку моделей обучаемости и метода определения индивидуальных стратегии изучения познавательных объектов с известной сложностью усвоения; 2) в [45] методика В.П. Мизенцева [41] явилась основанием для разработки проблемно-ориентированной системы проектирования сценария обучения и управления процессом его реализации; 3) в [46] рассматриваемая методика обеспечила разработку метода декомпозиции содержания обучения по эпизодам автоматизированных учебных занятий и метода оперативного планирования предъявления этого содержания. Другими словами, методика В.П. Мизенцева [41] на практике уже доказала свою адекватность.
Если методика В.П. Мизенцева [41] адекватно оценивает сложность познавательного объекта, знание которого анализируется рассматриваемым заданием, то тогда не корректен сам критерий адекватности мер сложности тестовых заданий, в качестве которого принята "высокая степень соответствия (корреляции) между мерой сложности и мерой трудности задания" [32]. Однако, некорректность этого критерия ставит под сомнение высказываемое в [5,9,35,36,37,38] и общепринятое в педагогике положение о том, что "трудность задачи характеризует возможность субъекта преодолеть объективную сложность задачи" [37].
Чтобы разобраться в этой противоречивой ситуации достаточно привести оригинальную формулировку того положения Г.А. Балла, которое составило основание для рассматриваемого критерия адекватности мер сложности: "При прочих равных условиях наиболее правдоподобной является та гипотеза, для которой ряд значений сложности дает наиболее высокую корреляцию с рядом значений трудности" [5]. Из этой формулировки, во-первых, следует, что высокая корреляция между трудностью и сложностью не факт, а только гипотеза, которая требует своей проверки. Во-вторых, в формулировке Г.А. Балла на себя обращает внимание указание на то, что рассматриваемая гипотеза представляется правдоподобной только "при прочих равных условиях" [5]. Что мог иметь в виду Г.А. Балл под "прочими равными условиями", если "трудность учебного задания рассматривается как функция двух составляющих: сложности задания и подготовленности учащегося" [32]?
Ничего кроме сложности задания, если рассматривать уровень подготовки обучаемых только как результат деятельности обучаемого, что имеет место в тестологии. Однако в педагогике уровень подготовки обучаемых, а, значит и результат тестирования, рассматриваются не только как продукты индивидуальной учебной деятельности обучаемого, но и как продукты корпоративной деятельности обучения, которые проявляется в деятельности обучаемого [49]. Именно с таких позиций Г.А. Балл [5], В.В. Гузеев [25], И.Я. Лернер [36,37], А.А. Столяр [38] и другие педагоги рассматривают результаты учебной деятельности (уровень обученности, уровень усвоения и т.п.), формулируя положение о зависимости трудности задачи от ее объективной сложности и уровня подготовки обучаемого. Поэтому, в числе условий формирования трудности тестового задания следует
учитывать воздействие сложности объекта, тестируемого этим заданием, на характер деятельности как обучаемого, так и обучающего.
Следует анализировать условия решения не учебной, а соответствующей ей коммуникативной задачи. Как показано выше, именно такой подход и соответствует целям текущего педагогического контроля.
Короче говоря, если мы хотим достичь цель текущего педагогического контроля и изменить результаты деятельности обучаемого, варьируя параметры деятельности обучающего, то следует отойти от принятой в тестологии схемы анализа результата тестирования как продукта учебной деятельности обучаемого и анализировать этот результат как продукт корпоративной деятельности обучения, оценивая влияние деятельности обучающего на условия деятельности обучаемого и ее результаты.
Анализ результата выполнения тестового задания как продукта групповой деятельности обучающего и обучаемого
Под термином "учебный элемент (УЭ)" будем понимать "логически завершенный элемент содержания программы обучения" [6], а под термином "учебный объект (УО)" -"информационный продукт, отображающий те стороны структуры или функционирования УЭ, на которые направлено конкретное обучающее воздействие" [6]. Таким образом, УО есть тот образ УЭ, который предъявляют обучающий или обучаемый друг другу в конкретной дидактической ситуации. В общем случае УО может быть представлен в идеальном (общение), материализованном (схема, действующая модель и т.д.) и смешанном виде.
В соответствии с [6] процедура решения коммуникативной задачи описывается как реализуемая двумя реальными субъектами (обучающим и обучаемым) процедура попеременного манипулирования УО (см. рис. 2). Последний для обучающего и обучаемого в зависимости от реализуемого обучающего воздействия играет роль объекта управления или отображающего элемента.
Обучающий
Учебный объект
Обучаемый
Рис. 2. Схема взаимодействия обучающего и обучаемого в процессе решения коммуникативной задачи
Выделяют два вида основных обучающих воздействий [9]: изложение учебного материала и учебную задачу. Если обучающий реализует первый вид воздействий и предъявляет УО обучаемому, то для него УО является объектом управления. В этом случае для обучаемого УО является отображающим элементом и обучаемый решает задачу на рефлексию УО. Если обучающий реализует второй вид обучающего воздействия и ставит перед обучаемым учебную задачу, то для обучаемого УО выступает в качестве объекта управления, а для обучающего - в качестве отображающего элемента. Здесь обучаемый, манипулируя с УО, решает задачу управления, а обучающий - задачу на рефлексию УО.
Первый вид обучающих воздействий обладает той особенностью, что результаты изложения учебного материала могут быть выявлены только путем реализации второго вида обучающего воздействия. Последний факт и определяет необходимость анализа результатов тестирования как показателя эффективности (результативности) предыдущего обучающего воздействия первого типа. Для проведения такого анализа, прежде всего, следует определить какие виды деятельности обучающий и обучаемый реализуют в процессе решения коммуникативной задачи и как эти виды деятельности влияют эффективность обучения.
В педагогике вопросы оценки эффективности обучения как вида групповой деятельности на качественном уровне наиболее обстоятельно рассмотрены В.М. Блиновым в [49]. В формализованном виде они наиболее подробно представлены в [6,10].
Для анализа результатов выполнения тестового задания как продукта групповой деятельности, обозначим те виды деятельности, которые в соответствии с [6,10,49] реализуют обучающий и обучаемый в процессе решения коммуникативной задачи. Характеристики этих деятельностей представлены в табл. 3.
Таблица 3
Характеристики деятельностей в составе обучения [6,10]
Основные характеристики Название деятельности
Обучение Деятельность обучения Обучающая Учебная
Субъект деятельности Обучающий, обучаемый Активный -обучающий. Пассивный -обучаемый. Обучающий Обучаемый
Объект деятельности Учебная деятельность обучаемого Обучающая деятельность Учебный элемент (УЭ) Сознание обучаемого, учебный объект (УО)
Вид деятельности Групповая, кооперативная Индивидуальная управленческая Индивидуальная ко ммуникативная Индивидуальная, ограниченно познавательная
Цели деятельности Заданные изменения в субъекте учебной деятельности (обучаемом) Организация взаимодействия между учебной и обучающей деятельностями Создание условий для достижения целей учебной деятельности Усвоение УЭ как результат изменения сознания обучаемого
Средства деятельности Педагогическое общение Методы и приемы осуществления обучающей деятельности Материальные и идеальные модели УЭ Приемы и способы познавательной деятельности
Способ деятельности Управление учебной деятельностью обучаемого Формулировка и решение дидактической задачи Реализация обучающего воздействия путем представление УЭ в виде УО Манипулирование УО в процессе решения познавательной задачи
Продукт деятельности Фактические изменения в субъекте учебной деятельности (обучаемом) Вид обучающего воздействия как способ взаимодействия субъектов обучения Предъявляемый обучаемому УО Прямой -усвоенный УЭ. Опосредованный -результат решения учебной задачи
Эффективность обучающего воздействия в [6,10,49] определяется на основе понятия "обученность".
В.М. Блинов определяет обученность как "идеальное качество, предел, к которому стремятся любые результаты обучения" [49]. Он рассматривает обученность как "продукт взаимодействия деятельностей обучающего и обучаемого" [49] и как "некоторое отображение свойств личности обучаемого, сформированное в результате его участия в обучении" [49]. Уровень обученности - это "достигнутая обучаемым степень приближения к обученности, определяемая фактическим качеством усвоения" [49]. В отношении конкретного обучающего воздействия уровень обученности определяется как "результат сравнения фактического и эталонного качества усвоения УЭ, фигурирующего в формулировке цели рассматриваемого обучающего воздействия" [6].
В [6,10] на основе данных теории семантических систем [50], теории управления учебным процессом [42] и теории учебных задач [5] обосновано, что состояние обученности в отношении рассматриваемого УЭ достигается, когда "все вершины и связи смысловой структуры предъявленного обучаемым образа УО полностью соответствуют эталонной (нормативной) смысловой структуре изучаемого УЭ" [6]. Введенное выше понятие сложности УЭ в [6,10,42] обозначается термином "трудоемкость усвоения УЭ" и определяется как "мера сложности изучаемого объекта, зависящая от его объема и логической структуры, или, иначе, от числа входящих в него понятий (семантических единиц) и структуры отношений (связей) между ними" [42]. На основе этих положений уровень обученности (усвоения УЭ), достигнутый в результате обучающего воздействия первого вида (изложения учебного материала, предъявления УО), выявляется путем измерения результатов выполнения соответствующего тестового задания и оценивается как
где: Коб (Коб е [0,1]) - показатель уровня обученности (усвоения УЭ); Iэт - сложность (трудоемкость усвоения) УЭ, измеряемая количеством семантической информации, содержащейся в эталонной (нормативной) модели УЭ; Iусв - сложность усвоенной части УЭ (смысловой структуры той части предъявленного обучаемым образа УЭ, которая совпадает с эталонной (нормативной) моделью УЭ).
Чтобы оценить влияние на (7) всех видов деятельности, представленных в табл. 2, достаточно установить закономерность формирования оценки Iд сложности той части
нормативной модели УЭ, которая совпала с моделью обучаемого.
В теории семантических систем совокупность процедур реализации первого вида обучающего воздействия (изложение нового учебного материала) и оценки его результативности описывается как процесс информирования вида [50]
где: Inf - семантическая операция информирования, pi (i = 1,7) - процедуры информирования: генерирование (p1), передача (p2), прием (p3), хранение (p4), восприятие (p5), понимание (p6) и принятие решения (p7); & - знак последовательной конъюнкции двух аргументов pt, pt+1, означающий возможность перехода к процедуре pi+1 только после завершения процедуры pi .
Результаты (8) обусловливаются принципом истинности информирования, который определяет, что "истинность информирования ... имеет место только в том случае, если
[6,10]
(7)
Inf = p1 & p2 & p3 & p4 & p5 & p6 & p7
(8)
последовательная конъюнкция всех процедур информирования истинна, ... информирование не происходит, если хотя бы одна из его процедур оказывается нереализованной" [50]:
Inf =1 при Pi&p2&...&p7 =1 ; 1 Inf = 0, при pl v p2 v...v p7 = 0
В [6,10] показано, что, если рассматривать возможность частичной истинности информирования (Inf е [0,1]), то процедура (8) принимает вид
I= к,к2kк,к5к6к71т = fl к,I, (10)
i =1
где: к1 (к1 е [0,1]; i = 1,7) - показатели эффективности процедур pt информирования.
Для представления (10) в соответствии с данными педагогики проанализируем принадлежность процедур информирования субъектам, участвующим в обучении, и видам их деятельности. При этом учтем указание Е.И. Машбица на то, что "изложение учебного материала — это не простое информирование, а педагогически направленное (т.е. учитывающее индивидуальные возможности и особенности обучаемых) развертывание перед учащимися фрагмента учебной деятельности, вовлекающее их (явно или неявно) в эту деятельность" [9]. В соответствии с этим указанием Е.И. Машбица анализ целесообразно начать с деятельности обучаемого, которая определяет некоторые параметры деятельности обучающего.
Свою лепту в процесс информирования обучаемый вносит процедурами приема (p3), хранения ( p4 ), восприятия ( p5 ), понимания ( p6 ) и принятия решения ( p7 ).
В теории семантических систем определено, что "процедура приема (p3) семантической информации реализуется объектом-приемником в виде последовательности микропроцедур, зависящей как от формы представления информации ... , так и вида объекта-приемника (человек, ЭВМ)" [50]. Кратко рассмотрим влияние формы информации и особенностей приема информации человеком на эффективность обучения, соответственно обозначив их влияние коэффициентами к31 и к32 .
В [50] рассматриваются однородные и комплексные формы представления информации. К однородным формам отнесены: текстовая t-форма (книги, документы), аудиальная S-форма (речь, звуки); g-форма визуальная (жесты, пластика и т.д.); изобразительная С-форма (графика, рисунки, кино и т.п.). Комплексные £/-формы объединяют несколько однородных форм и представлены большим числом их сочетаний.
Особенности влияния форм информации на эффективность ее приема человеком наиболее отчетливо сформулированы в психологической теории нейролингвистического программирования (НЛП) [51,52], где под термином "репрезентативная система (РС)" понимается "разновидность памяти, обеспечивающая кодирование и хранение информации в виде тех или иных ассоциаций" [53]. Различают следующие виды РС: 1) визуальную — опирающуюся, в основном, на зрение; 2) аудиальную — базирующуюся, в основном, на слухе; 3) кинестетическую — отдающую предпочтение осязанию и обонянию. НЛП определяет, что "люди используют все репрезентативные системы, но только в одной из них, называемой ведущей, информация осознается. При этом активное и правильное использование ведущей репрезентативной системы способствует развитию остальных" [52]. Имеются верифицированные методики определения вида ведущей репрезентативной системы (ВРС) и апробированный подход к учету ВРС при выработке обучающих воздействий. В [52,53,54] представлены конкретные методики дифференцированного
обучения с разделением обучаемых по типу ВРС и экспериментально доказана высокая эффективность их применения.
Тип ВРС является врожденной характеристикой обучаемого. Поэтому его возможное отрицательное влияние проявляется только в том случае, когда обучающее воздействие не соответствует типу ВРС (например, когда УО предъявляется визуалу в аудиальной форме, а аудиалу - в визуальной). В обычной процедуре информирования несоответствие типа ВРС форме представления информации - это неизбежное, случайным образом возникающее ограничение. Однако мы рассматриваем случай информирования, "учитывающий индивидуальные возможности и особенности обучаемых" [9]. В нашем случае тип ВРС является той характеристикой, которая должна задавать форму предоставляемой обучаемому информации до ее передачи. Поэтому ^ является не показателем эффективности учебной
деятельности обучаемого, а показателем эффективности деятельности обучения обучающего, который должен учесть тип ВРС обучаемого при выработке обучающих воздействий. Отсюда следует, что показатель ^ должен рассматриваться как частный показатель, входящий в групповой показатель ^ процедуры p1 генерирования учебной информации обучающим.
В качестве различия между человеком и ЭВМ в процедуре приема информации, оцениваемой показателем , в [50] обсуждается тот факт, что компьютер может не принимать передаваемую ему информацию только в соответствии с заранее заданными правилами (запрет на прием отдельных видов информации, запрет на прием информации от отдельных источников и т.п.), а человек может отказаться от приема информации произвольно и даже вопреки установленным правилам ("на одно ухо глухой, на другое не слышит"). Такой же способностью человек (обучаемый) обладает в отношении процедуры хранения (p4) информации ("в одно ухо влетает, в другое вылетает"). Степень реализации обучаемым его способности произвольно не принимать и не хранить учебную информацию в педагогике и психологии связывается с уровнем его учебной мотивации.
Термин "мотивация" имеет много трактовок. В соответствии с целями анализа процесса информирования в обучении следует принять формулировку В.Г. Леонтьева [55,56], который определяет мотивацию как "процесс (процедуру) побуждения, реализации в действии и в поведении ... мотивационных установок, представляющих собой внутренние причины поведения и деятельности человека" [55]. По признаку соответствия мотивационных установок обучаемых целям обучения эти установки ранжируют по уровням учебной (учебно-познавательной) мотивации. Наиболее подробная классификация этих уровней предложена А.К. Марковой в [57]. Там же представлены средства диагностики этих уровней и приведены оценки их влияния на результаты обучения.
Значит, уровень учебной мотивации определяет эффективность процедур приема (p3) и хранения (p4) информации, что позволяет рассматривать его в качестве группового показателя эффективности учебной деятельности, агрегирующего показатели и k4.
В [6,10] обосновано, что в качестве интегрального показателя эффективности процедур восприятия (p5), понимания (p6) и принятия решения (p7) в педагогике рассматривается показатель обучаемости.
Под обучаемостью в наиболее общем виде понимают способность человека к усвоению знаний и шире к учению. В.М. Блинов трактует обучаемость как "тот комплекс психофизиологических (природных) свойств человека, под действием которых он воспринимает социальный опыт (идеи, знания и т.д.)" [49]. Целям количественной оценки этой характеристики обучаемого наиболее соответствует трактовка, в которой под обучаемостью понимается "способность обучаемого к усвоению вполне определенной части из того количества семантической информации, которое содержится и может быть им
извлечено из эталонной модели УЭ в результате ее однократного предъявления в виде, наиболее полно соответствующем специфическим особенностям данного обучаемого" [10]. В последнем определении постулируются следующие общепринятые в педагогике положения: 1) обучаемость есть стабильная характеристика учебной деятельности конкретного обучаемого; 2) фактическое проявление обучаемости существенно зависит от характера обучающей деятельности (приемов, способов обучения); 3) проявление максимальной обучаемости возможно при "идеальной" деятельности обучающего, т.е. при полном соответствии обучающего воздействия характеру учебной деятельности обучаемого.
Обобщая выводы, сделанные в отношении показателей процедур информирования, реализуемых г-ым обучаемым, можно интегральный показатель эффективности его деятельности представить в следующем виде
КУД = к32 к4 к5 к6 к7 = ^к2, (11)
где: КУД (КУД е [0,1]; г = 1, п) — интегральный показатель эффективности учебной деятельности; к]2, к/, к5, к®, кг (к32, к4, к5, к®, к] е [0,1]) — соответственно показатели эффективности процедур приема (р3), хранения (р4), восприятия (р5), понимания (р6) и принятия решения (р7); И = к3к*, И2 = к5к^к] — соответственно показатели уровня учебной мотивации и обучаемости обучаемого.
Необходимо отметить, что обучаемость не только определяет показатель к2 = к] к6 к] эффективности учебной деятельности. Наряду с ВРС она задает условия коммуникативной задачи и обусловливает эффективные способы ее решения.
В рамках процесса (8) обучающий выполняет две процедуры: генерирование (р1) и передачу ( р2 ) учебной информации.
В соответствии с приведенной выше особенностью педагогического информирования УО, который предъявляется обучаемому, должен не только соответствовать нормативному УЭ, но и быть адаптирован к "индивидуальным возможностям и особенностям обучаемых" [9]. Поэтому в обучении процедура генерирования ( р1 ) учебной информации должна включать две процедуры: процедуру планирования (р11) и процедуру (р12) формирования информации.
Процедуру р11 обучающий реализует в деятельности обучения (см. табл. 2), которая выполняется в предметной области педагогики и имеет целью разработку дидактического плана изучения (ДНИ) УЭ, представляющего собой "адаптированную к познавательным возможностям обучаемого последовательность УО, презентация которых обеспечивает эффективное усвоение обучаемым рассматриваемого УЭ" [10]. В результате разработки ДНИ УЭ определяются [10]: 1) необходимость декомпозиции УЭ на ряд компонент из-за ограниченных познавательных возможностей (свойства обучаемости) обучаемого; 2) число и последовательность предъявления выделенных компонент УЭ; 3) способы презентации УО, соответствующих всем выделенным компонентам УЭ (приемы и способы обучения, применяемые для создания УО и его предъявления обучаемому). Представляется необходимым указать на ту особую роль, которую в разработке ДПИ УЭ играет обучаемость.
Все характеристики обучаемого, которые составляют условия коммуникативной задачи, не зависят от действий обучающего и просто учитываются им при выработке обучающего воздействия. Исключение составляет обучаемость, которая зависит от сложности (трудоемкости усвоения) УЭ, а потому может варьироваться действиями обучающего. Изменяя (обычно уменьшая) сложность УЭ, обучающий имеет возможность повысить свойство обучаемости, а, повысив обучаемость, обучающий повышает и эффективность соответствующего обучающего воздействия. Именно такую зависимость
между обучаемостью и обученностью имел ввиду В.М. Блинов, утверждая, что "обученность следует рассматривать в качестве функционального проявления обучаемости" [49].
Процедуры формирования (р12) и передачи (р2) учебной информации реализуются обучающим в рамках обучающей деятельности, которая выполняется в соответствии с принятым ДПИ УЭ уже не в предметной области педагогики, а в предметной области изучаемой учебной дисциплины и представляет собой "развертывание перед учащимися фрагмента учебной деятельности, вовлекающее их (явно или неявно) в эту деятельность" [9].
По отдельности процедуры планирования (р11) учебной информации, ее генерирования ( р12 ) и передачи ( р2 ) являются латентными и проявляются только в виде единой презентации
УО, которая в педагогике обозначается как обучающее воздействие. "Поскольку деятельность обучения и обучающая деятельность принадлежат одному агенту-носителю, их практическим проявлением является единое обучающее воздействие. Именно эффективность обучающего воздействия является объектом дидактических исследований, в результате чего и вся система предпочтений дидактики в отношении эффективности деятельностей обучающего формулируется как система предпочтений в отношении эффективности обучающего воздействия" [49]. Поэтому реально измеримым является показатель эффективности обучающего воздействия, который интегрирует показатели всех действий обучающего по решению коммуникативной задачи.
В соответствии с изложенным интегральный показатель эффективность /-ого обучающего воздействия обучающего целесообразно представить в виде
К°В = ^2 к] = , (12)
где: К°В (К°В е [0,1]; / = 1,т) — интегральный показатель эффективности обучающего
воздействия; к]1,к]2,к2 (к]1,к12,к2 е [0,1]) — соответственно показатели эффективности
процедур планирования (р11), генерирования (р12) и передачи (р2) учебной информации;
g\ = к", g2 = к12к2 — соответственно показатели эффективности деятельности обучения и
обучающей деятельности
Подставляя (11,12) в (10), а полученный вид (10) в (7), имеем
I Усв
Коб ==4г = КУД К0В, (13)
где: Ко (Ко е [0,1]; / = 1,п; / = 1,т) - показатель уровня усвоения/-ого УЭ г-ым обучаемым; К°В (К°В е [0,1]) — интегральный показатель эффективности/-ого обучающего воздействия (действий обучающего); КУД (КУД е [0,1]) — интегральный показатель эффективности
эт
учебной деятельности г-ого обучаемого; 1] - сложность (трудоемкость усвоения) эталонной модели/-ого УЭ; Ц™ - сложность части/-ого УЭ, правильно усвоенной г-ым обучаемым. Рассмотрим возможность оценки КУД, К°В по результатам тестирования.
Оценка эффективности действий обучающего и обучаемых на основе результатов критериально-ориентированного тестирования
В отношении результатов критериально-ориентированного тестирования и соответствующих им тестовых заданий (см. табл. 1) примем следующие допущения:
1) сложность I каждого из тестовых заданий определяется эталонной (нормативной)
сложностью 1эт тестируемого в нем УЭ, т.е. I = 1эт ;
2) каждый из представленных в тестовых заданиях УЭ был предъявлен всем обучаемым в виде одного и того же обучающего воздействия;
3) обучаемость и уровень учебной мотивации всех обучаемых в процессе изучения тестируемых УЭ оставались неизменными.
Эти допущения абсолютно соответствуют специфике текущего педагогического контроля, который проводится в процессе или после проведения учебного занятия (нескольких связанных учебных занятий, проведенных на коротком отрезке времени) с целью выявления необходимости корректуры процесса обучения. В рассматриваемых случаях в отношении всех обучаемых реализуются одни и те же обучающие воздействия. Уровень учебной мотивации обучаемых, хотя и является наиболее неустойчивой характеристикой обучаемых, но на рассматриваемом сравнительно коротком отрезке времени может наряду с обучаемостью рассматриваться в качестве стабильного параметра деятельности обучаемого.
В принятых допущениях необходимо отдельно остановится на том, что при критериально-ориентированном тестировании сложность тестовых заданий не должна завышаться за счет искусственно создаваемой сложности формулировок самих заданий. Такой прием изменения сложности заданий вслед за М.А. Лепиком [58] рекомендуется к использованию в [20,30,31,32,59]. Его применение действительно обеспечивает более четкую ранжировку обучаемых по результатам нормативно-ориентированного тестирования. Однако при решении задач критериально-ориентированного тестирования искусственное завышение сложности тестовых заданий идет вразрез с целями текущего педагогического контроля, т.к. порождает неадекватность оценки сложившейся дидактической ситуации и может привести к неправильной формулировке коммуникативной задачи.
Результат выполнения любого тестового задания в соответствии с принятыми допущениями может быть из (13) представлен в виде
Kf = КУДКОВ . (14)
Поиск множеств {к°в} и {КУД} неизвестных значений коэффициентов
эффективности деятельности обучающего и обучаемых предлагается реализовать путем решения задачи нелинейного программирования
j=m i=n
XX (flj - К У К ОВ )2 ^ min,
j=1 i=1 f, (15)
КУДКов £ [0,1]; i = \n; j = \m
в которой значения коэффициентов Ков и Куд определяются путем минимизации суммы квадратов отклонений расчетных значений показателей К°б = КУДКов результативности выполнения тестовых заданий от их эмпирических значений atj, экспериментально установленных в процессе тестирования.
Для решения (15) при i, j < 15 целесообразно использовать стандартную функцию "Solve (Поиск решения)" Microsoft Excel, а при i, j > 15 — ее расширенную версию "Premium Solver Platform for Excel", которая предоставляется компанией Frontline Systems в свободном доступе.
Решение задачи (15) в отношении результатов тестирования, приведенных в табл. 1, представлено в табл. 43.
Таблица 4
Матрица значений расширенного набора показателей
критериально-ориентированного тестирования_
Номер i испытуемого Оценка результата решения j тестового задания K?1 P(si)
1 2 3 4 5 6 7 8 9
1 0,61 0,50 0,76 0,39 0,77 0,46 0,93 0,97 0,97 0,97 0,67
2 0,34 0,28 0,42 0,22 0,43 0,25 0,51 0,54 0,54 0,54 0,33
3 0,30 0,24 0,37 0,19 0,38 0,22 0,45 0,47 0,47 0,47 0,33
4 0,45 0,37 0,56 0,29 0,57 0,34 0,69 0,72 0,72 0,72 0,44
5 0,41 0,34 0,51 0,27 0,52 0,31 0,63 0,66 0,66 0,66 0,44
6 0,51 0,42 0,64 0,33 0,65 0,38 0,78 0,82 0,82 0,82 0,56
7 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00 1,00 1,00
8 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00 1,00 0,78
9 0,36 0,29 0,44 0,23 0,45 0,27 0,54 0,57 0,57 0,57 0,33
10 0,62 0,51 0,78 0,40 0,79 0,47 0,95 0,99 0,99 0,99 0,67
11 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00 1,00 0,89
j 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00
Р (tj) 0,45 0,36 0,55 0,27 0,64 0,36 0,73 1,00 0,91
I (j) 82,53 141,3 189,0 126,0 68,9 55,8 96,6 43,4 31,6
В результате обработки данных критериально-ориентированного тестирования общепринятым способом обучающий получает информацию об единственной характеристике, которая полезна для достижения целей текущего педагогического контроля. Этой характеристикой являются оценки ) того уровня обученности обучаемых, который был ими достигнут в результате анализируемого процесса обучения.
В итоге анализа результатов тестирования предлагаемым методом в дополнении к этой единственной характеристике обучающий получает (см. табл. 3): 1) оценки эффективности К°В всех обучающих воздействий, которые были реализованы в отношении
тех УЭ, уровень усвоения которых тестировался; 2) оценки эффективности КУД учебной деятельности обучаемых в период изучения УЭ, фигурирующих в выполненных обучаемыми тестовых заданиях. Эта дополнительная информация позволяет существенно повысить определенность формулировки исходной ситуации и адекватность решения той коммуникативной задачи, в интересах разрешения которой проводилось тестирование.
Справедливость гипотезы Г.А. Балла о высоком уровне корреляции оценок сложности и трудности тестовых заданий
Формулируя свою гипотезу, Г.А. Балл предполагает, что "при прочих равных условиях ... ряд значений сложности дает наиболее высокую корреляцию с рядом значений трудности" [5]. Рассмотрим условия, за счет равенства которых может быть обеспечена высокая корреляция показателей p(tj), q(tj) трудности и I(j) сложности тестовых заданий.
Оценки I(j) сложности тестовых заданий определяются только принятой эталонной (нормативной ) структурой УЭ, а потому постоянны в любых условиях. Значит, равенство условий следует анализировать только в отношении показателей p(tj), q(tj) трудности
тестовых заданий. Отвлечемся от трудности как от "затруднения, которое необходимо преодолеть субъекту для успешного решения задачи" [32] и рассмотрим те показатели, которыми трудность оценивается. Как отмечалось выше, показатели p(tj), q(tj) — это
значения соответственно функций успеха и неуспеха, которые наиболее вероятны для рассматриваемой группы испытуемых при выполнении соответствующего j-ого тестового задания. При этом В соответствии с (3,5) исходный показатель p (tj) для каждого j-ого задания рассчитывается как среднее арифметическое значение индикаторов atj успешности
выполнения этого задания.
Решая задачу текущего педагогического контроля, мы рассматриваем значения индикаторов aij как результаты тех обучающих воздействия, которые были направлены на
усвоение соответствующих УЭ. Поэтому обеспечить прочие равные условия для проявления свойства трудности во всех тестовых заданиях можно только путем фиксации в показателе (14) эффективности обучения на одном и том же уровне всех параметров, не связанных с параметром I (j) сложности изучаемого УЭ. Таковыми параметрами являются: 1)
одинаковая эффективность всех обучающих воздействий, т.е К°В = const; 2) одинаковый
уровень учебной мотивации всех обучаемых (испытуемых), т.е. h1 = k32k4 = const.
Когда эффективность всех обучающих воздействий одинакова, а уровни учебной мотивации всех обучаемых совпадают, различия между индивидуальными показателями (14) эффективности обучения могут быть вызваны воздействием единственного фактора — индивидуального свойства обучаемости обучаемых. Но, как указывалось выше, свойство обучаемости зависит от сложности изучаемого УЭ. Эта зависимость обозначается в педагогике термином "иллюзия усвоения" и состоит в том, что "чем больше трудоемкость (сложность) УЭ, тем меньше свойство обучаемости и ниже качество усвоения УЭ" [10]. В рассматриваемых условиях показатели p(tj) наиболее вероятных значений уровня усвоения
j-ых УЭ, принимаемые в качестве оценок трудности j-ых учебных заданий, зависят только от индивидуальных свойств обучаемости рассматриваемой группы обучаемых, а значит практически функционально зависят от сложности тестируемых в этих заданиях УЭ.
Отсюда следует, что, если в период изучения УЭ эффективности всех обучающих воздействий, а также уровни учебной мотивации всех обучаемых одинаковы, то различия в трудности учебных заданий могут определяться только сложностью тестируемых в них УЭ. О проявлении этой закономерности на практике и говорит Г.А. Балл в своей гипотезе.
Справедливость приведенных выше обоснований, да и самой гипотезы Г.А. Балла легко проверить на практике. Для этого нужно, во-первых, привести оценки p(tj), q(tj) трудности тестовых заданий к одинаковой эффективности соответствующих им обучающих
воздействий, а, во-вторых, оценить корреляционную связь между полученным рядом оценок приведенной трудности тестовых заданий с рядом оценок их сложности.
Проще всего привести эмпирические оценки p(tj), q (tj) трудности заданий к
одинаковой эффективности соответствующих им обучающих воздействий, используя известную в эргономике операцию нормирования показателей качества ("шкалирования отношений по базовому показателю качества" [60]).
Если принять в качестве базового показателя качества эффективность обучающего воздействия, то нормированные значения показателей трудности примут вид
v(tj) = ^ , (I6)
P(tj)
P(ti)
К
w(tj) = 1 - v(tj) = 1 - ^БТ , (17)
Kj
где: v(tj), w(tj) - соответственно нормированные оценки показателей p(tj), q(tj.), значения которых соответствуют трудности .-ого тестового задания при максимальной эффективности (К°В = 1) соответствующего обучающего воздействия.
Выберем из табл. 1 и табл. 4 те результаты тестирования (см. табл. 5), которые относятся к характеристикам трудности и сложности тестовых заданий и представлены в виде показателей, у которых измеряемое свойство растет с ростом показателя.
Таблица 5
Характеристики анализируемых тестовых заданий и соответствующих им обучающих воздействий (ОВ)
Характеристики тестового задания и тестируемого в нем УЭ Номер тестового задания
1 2 3 4 5 6 7 8 9
Трудность q(tj) 0,55 0,64 0,45 0,73 0,36 0,64 0,27 0,00 0,09
Ранг q(tj) 6 7 5 9 4 7 3 1 2
Сложность I(.) [сем. ед.] 82,5 141,3 189,0 126,0 68,9 55,8 96,6 43,4 31,6
Ранг I (.) 5 8 9 7 4 3 6 2 1
Эффективность ОВ КОВ 0,63 0,51 0,78 0,41 0,80 0,47 0,96 1,00 1,00
Ранг КОВ 4 3 5 1 6 2 7 8 8
Приведенная трудность w(tj) 0,28 0,29 0,30 0,33 0,20 0,23 0,24 0,00 0,09
Ранг w(tj) 6 7 8 9 3 4 5 1 2
Оценим зависимость приведенных в табл. 5 характеристик по коэффициенту г ранговой корреляции Спирмена, учитывая, что его критические значения для числа т = 9 тестовых заданий составляют г!!'05 = 0,68 и г!!'01 = 0,83.
Таблица 6
Характеристики задания и тестируемого в нем УЭ Трудность q (tj) Сложность I(j) [сем. ед.] Эффективность ОВ КОВ Приведенная трудность w(tj)
Трудность д ) 1
Сложность I(}) [сем. ед.] 0,592 1
Эффективность ОВ КОВ -0,788 -0,413 1
Приведенная трудность w(tj) 0,804 0,900 -0,629 1
Приведенные в табл. 6 оценки свидетельствуют, что из шести исследованных связей неслучайной (статистически значимой) может быть признана только связь между сложностью и приведенной трудностью. Остальные связи являются либо неопределенными, либо статистически незначимыми. Аналогичная картина имеет место и в описанной выше выборке из 134 испытуемых, проходивших тестирование по 50 тестовым заданиям. Здесь также из шести оцениваемых связей статистически значимой (неслучайной) может быть признана только корреляция между приведенной трудностью и сложностью тестовых заданий, которая составляет гв = 0,412 > г°-т = 0,349 > г;0'05 = 0,272.
Таким образом, гипотеза Г.А. Балла справедлива: при прочих равных условиях (одинаковой эффективности всех обучающих воздействий, которые направлены на усвоение УЭ, составляющих содержание тестовых заданий) трудность тестовых заданий всегда будет значимо коррелировать с их сложностью.
Литература
1. Балыхина Т.М. Словарь терминов и понятий тестологии. - М.: РУДН, 2000. - 86с. URL: http://www.psYoffice.ru/slovar-s174.htm (дата обращения: 31.03.2015)
2. Коджаспирова Г.М., Коджаспиров А.Ю. Словарь по педагогике. - М.: ИКЦ «МарТ»; Ростов н/Д: Изд. центр «МарТ», 2005. - 448 с. URL: http://www.twirpx.com/file/64113/ (дата обращения: 31.03.2015)
3. Талызина Н.Ф. Педагогическая психология. - М.: Изд. центр "Академия", 1998. - 288с. URL: http://www.persev.ru/book/pedagogicheskaya-psihologiya (дата обращения: 31.03.2015)
4. Вишнякова С.М. Профессиональное образование: словарь. Ключевые понятия, термины, актуальная лексика. - М.: НМЦ СПО, 1999. - 538с. URL: http://mexalib.com/view/39189 (дата обращения: 31.03.2015)
5. Балл Г.А. Теория учебных задач: Психолого-педагогический аспект.- М.: Педагогика, 1990.- 184 с. URL: http://www.twirpx.com/file/165960/ (дата обращения: 31.03.2015)
6. Печников А.Н. Теоретические основы психолого-педагогического проектирования автоматизированных обучающих систем. - Петродворец: ВВМУРЭ им. А.С. Попова, 1995. - 326с. URL: http://www.twirpx.com/file/1235663/ (дата обращения: 31.03.2015)
7. Ефремова Н.Ф. Тестовый контроль в образовании: учеб. пособие. - М. : Логос, 2007. -368 с. URL: http://www.twirpx.com/file/1436309/ (дата обращения: 31.03.2015)
8. Челышкова М.Б. Современные средства оценивания результатов обучения: учеб. пособие. - М.: Изд. центр "Академия", 2007. - 224 с.
URL: http://www.twirpx.com/file/493016/ (дата обращения: 31.03.2015)
9. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения: (Педагогическая наука - реформе школы). - М.: Педагогика, 1988. - 192 с. URL: http://www.twirpx.com/file/52867/ (дата обращения: 31.03.2015)
10. Печников А.Н., Шиков А.Н. Проектирование и применение компьютерных технологий обучения. - СПб.: Изд-во ВВМ, 2014. - 393 с.
URL: http://elibrary.ru/download/98535745.pdf (дата обращения: 31.03.2015)
11. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests, 1960, Copenhagen, Denmark: Danish Institute for Educational Research.
URL: https://mmm1406.saniose14-verio.com/rascho/books.htm (дата обращения: 31.03.2015)
12. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. - Москва, 2000. - 168 с. URL: http://en.bookfi.org/book/507195 (дата обращения: 31.03.2015)
13. ОСТ Т 1.1. Педагогические тесты, термины и определения. Отраслевой стандарт. - М.: Министерство образования РФ, 2001. - 26с. URL:
http://www.orenipk.ru/bank/Text/t19 135.htm (дата обращения: 31.03.2015)
14. Психологическая энциклопедия. URL: http://gufo.me/content psy/trudnost-testovogo-zadaniiauroven-trudnosti-32463.html (дата обращения: 31.03.2015).
15. Олешков М.Ю., Уваров В.М. Современный образовательный процесс: основные понятия и термины. - М.: Минобрнауки РФ, 2006. - 143 с. URL: http://www.twirpx.com/file/520527/ (дата обращения: 31.03.2015)
16. Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций). - Екатеринбург: ЦТ и МКО УГТУ-УПИ, 2005. - 98с. URL: http://viperson.ru/data/200812/ibieibixiklmiuie.pdf (дата обращения: 31.03.2015)
17. Крокер Л. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина; пер. с англ. Н.Н. Найденовой, В.Н. Симкина, М.Б. Челышковой; под общ. ред. В.И. Звонникова, М.Б. Челышковой. - М.: Логос, 2010. - 668 с. URL: http://www.twirpx.com/file/1346290/ (дата обращения: 31.03.2015)
18. Олешков М.Ю. Современные образовательные технологии: учебное пособие. -Нижний Тагил: НТГСПА, 2011. - 144 с. URL: http://www.twirpx.com/file/529474/ (дата обращения: 31.03.2015)
19. Самылкина Н.Н. Современные средства оценивания результатов обучения. - М.: Бином, Лаборатория знаний, 2007. - 172 с. URL:
http://www.kodges.ru/nauka/psiholog/52022-sovremennye-sredstva-ocenivaniya-rezultatov.html (дата обращения: 31.03.2015)
20. Мысик М.С. Трудность тестовых заданий: планируемая и реальная (на материале французского языка) // Педагогическое образование в России. 2012. № 1. С. 181-193. URL: http://cyberleninka.ru/article/n/trudnost-testovyh-zadaniy-planiruemaya-i-realnaya-na-materiale-frantsuzskogo-yazyka (дата обращения: 31.03.2015).
21. Гидлевский А.В. Простой метод оценки трудности учебных тестовых заданий // Интеграция образования. 2010. №4. С. 20-24. URL:
http://cyberleninka.ru/article/n/prostoy-metod-otsenki-trudnosti-uchebnyh-testovyh-zadaniy (дата обращения: 31.03.2015).
22. Гидлевский А.В., Кошкарова Т.В. Особенности применения субъект-предикатного подхода к оценке трудности дидактических тестовых заданий // Омский научный вестник. 2010. №4 (89). URL: http://cyberleninka.ru/article/n/osobennosti-primeneniya-subekt-predikatnogo-podhoda-k-otsenke-trudnosti-didakticheskih-testovyh-zadaniy (дата обращения: 31.03.2015).
23. Гидлевский А.В., Кошкарова Т.В. Проблемы трудности учебных тестовых заданий // Образование и наука. 2009. № 10. С. 13-21. URL: http://www.twirpx.com/file/439291/ (дата обращения: 31.03.2015).
24. Попов А.П. Аддитивность трудности тестовых заданий. // Наука и мир. Международный научный журнал. 2013. № 4 (4). С. 38-42.
URL: http://scienceph.ru/d/413259/d/science-and-world--4-(4)-december.pdf (дата обращения: 31.03.2015).
25. Попов А.П. Проблема оценки трудности тестовых заданий // Известия вузов. Северокавказский регион. Технические науки. 2012. №4. С. 115-120.
26. Елисеев И.Н. Исследование погрешности расчёта трудности заданий теста на основе моделирования дихотомической матрицы ответов // Педагогическая информатика. 2011. № 4. С. 92-101. URL: http://rpio.ru/data/2736.pdf (дата обращения: 31.03.2015).
27. Елисеев, И.Н. Экспериментальное подтверждение состоятельности оценок трудности заданий теста // Программные продукты и системы. 2012. №2. С. 153-156.
URL: http://www.swsys.ru/index.php?page=10 (дата обращения: 31.03.2015).
28. Комарова Е.Ю. Субъективная трудность и объективная сложность языкового тестирования // Вестник Тамбовского университета. Сер. Гуманитарные науки. 2011. Вып. 3(95). С. 105-109. URL: http://elibrary.ru/download/36788461.pdf (дата обращения: 31.03.2015)
29. Комарова Е.Ю. Трудность и сложность языковых тестов: сущность, источники, преодоление // Иностранные языки в школе. 2012. № 2. С. 11-17. URL: http://elibrary.ru/item.asp?id=17395294 (дата обращения: 31.03.2015)
30. Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. №2. С. 58-70.
URL: http://elibrary.ru/download/27086160.pdf (дата обращения: 31.03.2015)
31. Наймушина О.Э., Стариченко Б.Е. Измерение уровня усвоения компонентов знаний по физике на основе многофакторной оценки сложности контрольных заданий // Мир науки, культуры, образования. 2009. № 7 (19). С. 106-109. URL: http://elibrary.ru/download/36075723.pdf (дата обращения: 07.03.2015).
32. Наймушина О.Э. Технология многофакторной оценки сложности учебных заданий по физике: Дис. ... канд. пед. наук. - Екатеринбург, 2010.- 211 с. URL: https://dvs.rsl.ru/inet/ (дата обращения: 31.03.2015).
33. Наумов И.С., Выхованец В.С. Оценка трудности и сложности учебных задач на основе синтаксического анализа текстов. // Управление в больших системах. 2014. Выпуск 48. С 97-131.
URL: http://www.mathnet.ru/links/4a5191c91fd70e256b28ee414d0a1955/ubs754.pdf (дата обращения: 31.03.2015).
34. Наумов И.С. Оценка трудности текстовой задачи на основе семантических сетей / Материалы конференции "Управление в технических, эргатических, организационных и сетевых системах" (УТЭ0СС-2012). - СПб.: ГНЦ РФ ОАО "Концерн "ЦНИИ "Электроприбор", 2012. - С. 1192-1196. URL: http://uteoss2012.ipu.ru/procdngs/1192.pdf (дата обращения: 31.03.2015).
35. Гузеев В.В. Соотнесение сложности и трудности учебных задач с уровнями планируемых результатов обучения // Школьные технологии. □ 2003. □ № 3. □ С. 5056.
36. Лернер И.Я. Проблемное обучение. - М.: Знание, 1974. - 64 с.
37. Лернер И.Я. Факторы сложности познавательных задач // Новые исследования в педагогических науках. 1970. № 1. С. 86-91.
38. Столяр А.А. Педагогика математики. - М. : Высшая школа, 1985. - 225 с.
39. Палкин К.С., Печников А.Н., Печников Д.А. Метод управления длиной системы одиночных тестовых заданий с единственным верным ответом // Образовательные технологии и общество (Educational Technology & Society). 2015. Т. 18. № 1. - С. 544560. URL: http://ifets.ieee.org/russian/periodical/izgurn.html (дата обращения: 31.03.2015).
40. Палкин К.С., Печников Д.А. Экспериментальная апробация метода интервальной оценки результатов выполнения системы тестовых заданий с единственным верным ответом // Образовательные технологии и общество (Educational Technology & Society). 2015. Т. 18. № 1. - С. 535-543. URL:
http://ifets.ieee.org/russian/periodical/izgurn.html (дата обращения: 31.03.2015).
41. Мизинцев В.П., Кочергин А.В. Проблема аналитической оценки качества и эффективности учебного процесса в школе: учебное пособие к спецкурсу. -Куйбышев: Куйбышевский ГПИ, 1986. -131с.
42. Леонтьев Л.П., Гохман О.Г. Проблемы управления учебным процессом (математические модели). - Рига: "Зинанте", 1984. - 239 с.
43. Печников А.Н., Ветров Ю.А. Проектирование и применение компьютерных технологий обучения. Том. Часть 1. Концепция САО и моделирование процессов деятельности. Кн. 2. - СПб.: БГТУ "Военмех", 2003. - 207с.
44. Воробьев Г.А., Малыш В.Н. Методика оценки семантической сложности графовых моделей учебных элементов // Известия высших учебных заведений. Поволжский регион. Технические науки. 2009. №1(9). С. 62-71.
URL: http://cYberleninka.ru/article/n/metodika-otsenki-semanticheskoY-slozhnosti-grafowh-modeley-uchebnyh-elementov (дата обращения: 31.03.2015)
45. Воробьёв Г.А. Формализация задачи управления процессом обучения на основе построения иерархической понятийной сети знания: Дис. ... канд. техн. наук. - Пенза, 2010.- 155 с.
46. Бобов И.С. Модели и алгоритмы планирования предъявления содержания обучения для компьютерных систем обучения и интеллектуального тренажа ВМФ: Дис. ... канд. техн. наук. - Петродворец, 2003.- 120 с.
47. Остапенко Р.И. Математические основы психологии. Учебно-методическое пособие. -Воронеж.: ВГПУ, 2010. - 76 с. URL: (дата обращения: 31.03.2015)
URL: http://www.twirpx.com/file/340346/ (дата обращения: 31.03.2015)
48. Сидоренко Е.В. Методы математической обработки в психологии. - СПб.: ООО «Речь», 2003. - 350 с. URL: http://www.twirpx.com/file/24412/ (дата обращения: 31.03.2015)
49. Блинов В.М. Эффективность обучения (методологический анализ определения этой категории в дидактике). - М.: Педагогика, 1976. - 191 с.
50. Перспективы развития вычислительной техники: в 11 кн.: Справ. пособие / Под ред. Смирнова Ю.М. Кн. 1: Информационные семантические системы / Н.М. Соломатин. -М.: Высш. шк., 1989. - 127с. URL: http://www.twirpx.com/file/24412/ (дата обращения: 31.03.2015)
51. Бэндлер Р. Используйте свой мозг для изменений. Нейролингвистическое программирование - СПб.: Ювента, 1994. - 168 с.
URL: http://www.twirpx.com/file/914007/ (дата обращения: 31.03.2015)
52. Гриндер М., Ллойд Л. Исправление школьного конвейера: НЛП в педагогике. - М.: Изд-во ИОИ, 2001г. - 37с. URL: http://www.klex.ru/ip (дата обращения: 31.03.2015)
53. Андронатий В.В. Дифференцированный подход к процессу обучения общеобразовательным предметам в профессиональном лицее: Дис. ... канд. пед. наук. -СПб., 1998 - 209 c.
54. Гузнаева О.Г. Система дифференцированной подготовки абитуриентов военно-морского института: Дис. ... канд. пед. наук. - Калининград: БВМИ, 2002. - 156с.
55. Леонтьев В.Г. Психологические механизмы мотивации учебной деятельности: Учебное пособие. - Новосибирск: НГПИ, 1987.- 91с.
56. Леонтьев В.Г. Мотивация и психологические механизмы ее формирования. -Новосибирск: ГП "Новосибирский полиграфкомбинат",2002. - 264 с.
URL: http://www.twirpx.com/file/536001/ (дата обращения: 31.03.2015).
57. Маркова А.К., Матис Т.А., Орлов А.Б. Формирование мотивации учения: Кн. для учителя. - М.: Просвещение, 1990. - 192с. URL: http://www.twirpx.com/file/493619/ (дата обращения: 31.03.2015).
58. Лепик М.А. Факторы сложности типовых текстовых задач: Автореф. дис. ... канд. пед. наук. - Тарту, 1989. - 18 с.
59. Методические рекомендации по разработке педагогических тестов контроля качества обучения студентов БТИ АлтГТУ.
URL: http://www.bti.secna.ru/education/org/stp/pril stp 12100 02.html (дата обращения: 31.03.2015)
60. Информационно-управляющие человеко-машинные системы: Исследование, проектирование испытания: Справочник / Под общ. ред. А.И. Губинского и В.Г. Евграфова. - М.: Машиностроение, 1993. - 528 с.
URL: http://www.twirpx.com/file/1398106/ (дата обращения: 31.03.2015)
