CC BY
27
УДК 37.022
Корчажкина О.М.
Институт проблем информатики Федерального исследовательского центра «Информатика и управление» Российской академии наук, г. Москва, Россия
О ВЕРОЯТНОСТНОМ И НЕЧЁТКОМ СПОСОБАХ ОЦЕНИВАНИЯ МЕТАПРЕДМЕТНЫХ КОМПЕТЕНЦИЙ УЧАЩИХСЯ
АННОТАЦИЯ
В статье приводится сопоставительный анализ двух способов оценивания латентных образовательных достижений учащихся, основанных на факторной теории оценки (Item Response Theory - IRT) и теории нечётких множеств. Проведённое исследование показало, что нечёткая модель применительно к достижению метапредметных образовательных результатов имеет больший практический потенциал, чем способ IRT, опирающийся на эмпирико-статистические методы, которые используются при вероятностном анализе больших массивов слабоструктурированных данных.
КЛЮЧЕВЫЕ СЛОВА
Латентные достижения, факторная теория оценки, теория нечётких множеств, метапредметные компетенции, образовательные результаты, эмпирико-статистические методы исследования, большие данные.
Korchazhkina O.M.
Institute of Informatics Problems, Federal Research Center "Computer Science and Control" of the Russian
Academy of Sciences, Moscow, Russia
ON PROBABILITY AND FUZZY METHODS TO ASSESS STUDENTS' METASUBJECT
COMPETENCES
ABSTRACT
The article offers a comparative analysis of two ways of how to assess students' latent achievements based on the Item Response Theory (IRT) and the Theory of Fuzzy Sets. The research shows that the fuzzy model implemented to the assessment of students' metasubject educational results has a greater practical potential than the IRT basis using empirical and statistical methods, which require analysing big data.
KEYWORDS
Latent achievements, Item Response Theory, Fuzzy Set Theory, metasubject competencies, educational results, empirical and statistical research methods, big data.
Вопросы качества педагогических изменении выходят на новыи уровень, когда ставится задача оценивания метапредметных компетенции учащихся, или, выражаясь языком Федерального государственного образовательного стандарта (ФГОС) общего образования второго поколения, оценки достижения планируемых метапредметных образовательных результатов при освоении учащимися основнои образовательнои программы. Очевидно, что метапредметные компетенции представляют собои латентные (не поддающимися непосредственному измерению) характеристики учебно-познавательнои деятельности, поскольку они как бы растворены и незримо присутствуют в различных формах этои деятельности, а потому их мониторинг и оценка сопряжены с определенными трудностями. Решению этих проблем, основными из которых являются определение содержания метапредметных компетенций, обсуждение выбора объектов оценки, обоснование выбора формы представления результатов оценки и способов оценивания, посвящена настоящая статья. Причем повышенное внимание предполагается уделить обсуждению выбора способа оценивания, поскольку этот вопрос, являясь наиболее дискуссионным в области методологии педагогических измерении, напрямую влияет на «определение сущности, цели, задач, обоснование методов педагогических измерении, шкалирования и правил интерпретации результатов» [1].
Содержание метапредметных компетенций. Под метапредметными компетенциями ФГОС понимает способность учащихся планировать и использовать в учебнои, познавательнои и
социальной практике межпредметные понятия и универсальные учебные действия (УУД) [11, с. 8].
Межпредметные понятия, или метапредметные знания, есть знания о знаниях и способах их получения, например: система, факт, закономерность, феномен, анализ, синтез и пр. Они не являются целью изучения большинства учебных предметов, где усваиваются понятия, подчиненные межпредметным и соподчиненные между собои [5, с. 216], а помогают формировать УУД, которые представляют собои минимальные содержательные элементы метапредметных компетенции и поэтому выступают в качестве основных деятельностных механизмов метапредметного содержания образования. Без УУД невозможно осуществление учебно-познавательнои деятельности [9, с. 22], поскольку они определяются как обобщенные деиствия, которые открывают возможность широкои ориентации учащихся в различных предметных областях и в строении самои учебнои деятельности, включая осознание ее целевои направленности, ценностно-смысловых и операциональных (деятельностных) характеристик [11, с. 8].
Выбор объектов оценки. Перевод скрытых качеств в непосредственно наблюдаемые напрямую связан с проблемои формализации. Объекты оценки метапредметных компетенции могут быть выделены только в том случае, если удастся нивелировать их латентные своиства, то есть выразить в явнои форме посредством содержательнои декомпозиции в виде более мелких составляющих и описать их сущность с помощью естественного языка или представить в числовом выражении. Такими структурными единицами являются, как было отмечено выше, межпредметные понятия, или метапредметные знания, и УУД.
Межпредметные понятия, которые являются знаниевыми компонентами метапредметных компетенции, не имеет смысла рассматривать в качестве отдельных объектов оценки, поскольку они напрямую связаны с УУД и проявляются в их реализации, подтверждая тем самым общеизвестныи тезис: кто способен правильно понимать, тот способен правильно деиствовать.
Поэтому единственными объектами оценки метапредметных компетенции целесообразно выбрать УУД, которые могут быть вербализованы с помощью глаголов мыслительных операции, совершаемых учащимися при решении учебно-познавательных задач. Мыслительные операции проявляются в рамках познавательных, коммуникативных и регулятивных УУД, которые могут быть четко расписаны и привязаны к различным видам учебно-познавательных задании. Это означает, что для оценки метапредметных образовательных результатов необходимо определить, какие УУД привлекает учащиися при выполнении конкретного учебно-познавательного задания -какого качества и в каком объеме. Чтобы поставить в соответствие учебнои задаче набор УУД, необходимых для ее выполнения, можно воспользоваться классификации учебно-познавательных задач, предложеннои в [10], и Кодификатором элементов содержания учебно-познавательных компетенции учащихся [6], в котором УУД представлены в виде глаголов мыслительных операции, классифицированных по трем группам - познавательных, коммуникативных и регулятивных УУД.
Если учитель умеет соотносить учебно-познавательные задания с УУД, то это дает ему возможность сделать подобныи подход практико-ориентированным и позволяет осуществлять оценку метапредметных компетенции непосредственно в процессе предметнои учебно-познавательнои деятельности на каждом уроке, не отводя этому дополнительное время.
Выбор формы представления результатов оценки. Поскольку оценка метапредметных образовательных результатов не может выражаться в виде «процентов» и «показателеи», так как является видом экспертнои оценки, естественно представлять эти результаты не в точном количественном выражении, а в терминах лексическои неопределенности, значениями которои являются не числа, а имена, то есть в терминах высокий, средний, низкий уровень с использованием уточняющих наречии весьма, довольно, определённо, скорее и пр. [8, с. 204, 208]. То есть оценка сформированности УУД в большеи мере субъективна и должна находиться в диапазоне с неопределенными границами.
Внутри диапазона с неопределенными границами учитывается как сложность задания, так и более детальные критерии, зависящие от вида задании, уровня сформированности компетенции учащихся, субъективных требовании эксперта и прочих латентных факторов.
Строго говоря, в лингвистических формулировках оценки метапредметных компетенции достаточно учесть два вида неопределенности: 1) неопределенность оценки эксперта, принимающая во внимание субъективные условия осуществления оценочных деиствии, которая выражает его предпочтения и показывает степень его уверенности в вынесенном решении, то есть достоверность его оценки, и 2) неопределенность, обусловленная неточными формулировками требовании к различным видам метапредметных компетенции в соответствии с Кодификатором, подразделение их на различные уровни по степени сложности и представленность этих показателеи в предметных заданиях.
Эти допущения позволяют конкретизировать поставленную задачу: она состоит в том, чтобы предложить способ оценки метапредметных образовательных результатов на основе учёта неопределённости экспертной оценки и неопределённости, возникающей в результате причисления выполняемого учебно-познавательного задания к тому или иному уровню сложности. Задачу формализации двух видов неопределенности можно решить, установив непрямое соответствие между балльнои системои оценок предметных образовательных результатов и формализованнои шкалои оценки метапредметных образовательных результатов. Это позволит установить форму представления результатов оценки определенного набора УУД, которым сопровождается каждое задание. Вопрос состоит в том, по каким законам должно устанавливаться это непрямое соответствие, или какой способ формализации неопределённости выбрать?
Как отмечается в [13, с. 74-76], неопределенность может выражаться в виде вероятности и в виде нечеткости: стохастическая (вероятностная) неопределенность «означает неопределенность появления события, которое является само по себе точно описанным», а лексическая неопределенность, или нечеткость, «означает неопределенность в описании события». В [4, с. 9] отмечается, что на основе реально наблюдаемых данных ставится задача воссоздания непосредственно ненаблюдаемого качества, измеряемого с помощью модели. Какую выбрать модель - вероятностную или нечеткую - для того, чтобы перевести скрытые качества в непосредственно наблюдаемые?
Рассмотрим оба способа формализации неопределенности - вероятностным и нечеткии.
Вероятностная модель оценивания на основе факторной теории оценки IRT
Вероятностныи способ формализации неопределенности базируется на факторнои теории оценки (Item Response Theory - IRT) [12], которую называют также вероятностнои или математическои теориеи измерении [1-4], тогда как дословныи перевод IRT можно представить как «теория оценки по результату выполнения задания». Эта теория базируется на вероятностных характеристиках, получаемых в результате обработки обширных массивов данных при тестировании достаточно большои выборки испытуемых. Отметим, что задания предлагаются испытуемым только в тестовом формате. Кроме того, оценки, которые получают испытуемые, демонстрируют их знания в определеннои предметнои области, то есть являются показателями предметных образовательных результатов.
Исторически факторная теория оценки явилась переложением на область психолого-педагогических измерении теории латентно-структурного анализа (LSA - Latent Structure Analysis), согласно которому на большои выборке испытуемых выявляются скрытые поведенческие факторы и осуществляется прогноз их проявления с помощью вероятностно-статистических моделеи. Сама факторная теория оценки раскрывает стохастические (вероятностные) закономерности точно описанного события в виде ответов учащихся на определенные задания. В каждом задании вероятность правильного ответа испытуемых должна расти по мере повышения уровня подготовленности испытуемых. Эти закономерности описываются с помощью функции математического ожидания, полученнои по результатам эмпирическои апробации и изображеннои на рис. 1 (цит. по [4]), где в - уровень подготовленности испытуемых, или уровень их знании, а Р(в) - вероятность успешно выполнить задание.
-3-2-1 в 1 2 3 0
Рис. 1. Подбор графического образа задания по результатам его эмпирической апробации
Очевидно, что вероятность успешного выполнения одного и того же задания для испытуемых с более высоким уровнем знании выше, чем для испытуемых с низким уровнем
подготовки. Функция Р(в), построенная путем аппроксимации набора эмпирических данных, представляет собой логистическую функцию экспоненциального типа
(1)
у(х) =
1+ех
дошедшую до нас из глубины XIX века, когда ее начали использовать для математического прогнозирования биологических изменении в природе. Эта функция представляет собои S-образную кривую, моделирующую рост вероятности наступления некоего события по мере изменения управляющих параметров - увеличения факторов риска, нарастания противоречии, напряженности, скорости, техногенных изменении и пр.
Теоретические исследования и практическая апробация показали (см. ссылки на литературу в [1-4]), что логистическая функция вида (1) наилучшим образом (то есть с минимальными отклонениями) отражает законы, которым подчиняется не только зависимость вероятности успешно выполнить задание Р(в) от уровня подготовки испытуемых в (см. рис. 1), но и зависимость вероятности успешно выполнить задание Р(в) от сложности самого задания р. На рис. 2 представлены графики зависимости вероятности Р(в, в) выполнения задании разнои степени сложности в1 и от уровня подготовки испытуемых в.
Рис. 2. Зависимость вероятности выполнения двух заданий разной степени сложности в1 и в2 от
уровня подготовки испытуемых в
Очевидно, что чем сложнее задание, тем более пологим является график функции Р(в, в).
Эти эмпирические кривые послужили основои математического аппарата теории вероятностеи, на которои основан подход ШТ.
Но является ли вероятностныи подход наиболее адекватно отражающим характеристики латентных процессов, которые сопровождают оценку метапредметных образовательных результатов? Или существуют другие, более эффективные методы оценивания? Для ответа на этот вопрос рассмотрим возможности математического аппарате нечеткои логики [13-15], которая также имеет дело с латентными параметрами и оперирует понятием неопределенности.
Модель оценивания на основе математического аппарата нечёткой логики
Метапредметные компетенции, как уже говорилось, являются латентными характеристиками способности учащихся осуществлять учебно-познавательную (предметную и метапредметную) деятельность, а их оценка сопряжена с двумя формами неопределенности: неопределенности объектов оценки и неопределенности экспертнои оценки этих объектов. В нечеткои логике эта неопределенность выражается коэффициентами достоверности, которые определяются через функцию принадлежности у = р(х), где х - аргумент, выражающии некоторое числовое множество.
Неопределённость объектов оценки выражается в нечетких лингвистических формулировках УУД по Кодификатору, которые должны быть сгруппированы по уровню их сложности при выполнении учебно-познавательных задач. Для каждого уровня сложности задании выбирается диапазон четких оценок (баллов) как область определения соответствующеи функции принадлежности, которая входит в зону нечеткости. Соответствующая функция принадлежности показывает, насколько достовернои является причисление некоторои группы УУД, необходимых для выполнения того или иного задания, к выбранному интервалу сложности, что демонстрирует степень уверенности учителя/эксперта в правильности принятои градации балльных оценок на соответствующих интервалах сложности задании [8, с. 207-208].
Функция принадлежности объектов оценки (УУД) является мерой достоверности, показывающей, насколько валидными являются выбранные задания для оценки того или иного набора УУД. Если исходить из классического определения валидности, то это «мера соответствия методик и результатов исследования поставленным задачам, адекватность интерпретации результатов выполнения задания по отношению к цели его выполнения, показатель меры соответствия задания цели его выполнения, показатель задания, характеризующии точность измерения исследуемого своиства, оценка адекватности задания исследуемои проблеме» (согласно http://btimes.ru/dictionary/validnost). В нашем случае под валидностью понимается мера соответствия, или правомерность использования задании, которые выбраны в зависимости от конкретных образовательных задач и условии обучения, для измерения метапредметных компетенции, представленных в виде набора соответствующих УУД.
Неопределённость экспертной оценки выражается в нечетких вербальных оценках эксперта типа скорее низкий (чем средний) уровень компетенции, довольно высокий уровень компетенции и т. п., которые коррелируются с четкими балльными оценками в соответствующих интервалах. А отвечающая им функция принадлежности показывает, насколько достовернои является вынесенная экспертная оценка [7, с. 111].
Однои из самых сложных процедур при построении нечеткои модели оценивания метапредметных образовательных результатов является процесс формализации двух форм лексическои неопределенности - субъективности экспертнои оценки, выраженнои в нечетких суждениях, и неопределенности объекта оценки, которая представлена нечеткими лингвистическими формулировками УУД по Кодификатору:
1. Вербальная формализация метапредметных компетенции в виде словесных формулировок, соответствующих УУД, отраженных в Кодификаторе элементов содержания учебно-познавательных компетенции учащихся [6];
2. Математическая формализация уровня сложности задании, для выполнения которых требуется владение метапредметными компетенциями, в виде соответствующих функции принадлежности р (k), где k - потенциальная оценка, которую может получить учащиися за выполненное задание;
3. Математическая формализация субъективнои оценки эксперта в виде соответствующих функции принадлежности р (а), где a - реальная оценка, выставленная экспертом;
4. Комбинированная формализация итоговои оценки метапредметных образовательных результатов через мультипликацию функции принадлежности р (k) и р (а) в единои области их определения. Это позволяет в рамках одного диапазона качественных значении (высокии, среднии, низкии уровень), производить более детальное различение в соответствии с субъективными требованиями эксперта и уровнем сложности задании, для которых требуется владение измеряемыми компетенциями.
0,»9 0.*0 fh(k) 171'1 1 >-
/ ! ? у
) /hit /
/
i
i ! fiS
/
О. И 1 \ /
/
i 1
/ !
f. / /
1 / / /
j / /
/
] /1 I /
О Ml / /
/111 \j
1 / ■У, /
Рис. 3. Зависимость функции принадлежности ^(к), определяющей степень соответствия наборов УУД заданиям четырёх интервалов сложности от потенциальных оценок в интервале от 0 до 10
Математическое описание нечётких характеристик на примере треугольных и трапецеидальных функции принадлежности р (к) и р (а) подробно представлено в работах [7; 8]. Однако выбор трапецеидальных и тем более треугольных функции принадлежности не позволяет получить достоверньш результат, поскольку вносит весьма значительную погрешность в процедуру оценки. Опора на эмпирические данные, предоставленные ШТ, позволили выбрать в
качестве функции принадлежности экспоненциальные логистические кривые, основой которых является формула (1), корректируемая весовыми коэффициентами и линеиными сдвигами по осям абсцисс и ординат.
Так функции принадлежности р(к) на рис. 3 показывают, насколько достоверно выбранныи набор УУД соответствует уровню сложности конкретного задания. Здесь к - потенциальная оценка, которую может получить учащиися за выполнение задания: чем сложнее задание, тем выше может быть максимальная оценка и тем более пологои является логистическая функция. Можно также сказать, что эти функции принадлежности демонстрируют степень уверенности учителя/эксперта в правильности принятои градации балльных оценок на соответствующих интервалах сложности задании.
Каждая из функции принадлежности на рис. 3 описывается экспоненциальнои логистическои функциеи в соответствующем интервале оценок, которые может получить учащиися за выполнение задания тои степени сложности, которая укладывается в один из выбранных интервалов - И1, И2, ИЗ или И4 (по мере роста сложности задании):
1. Интервал сложности задании 1 (И1): ^1(к) =
2. Интервал сложности задании 2 (И2): ^(к) =
0.72(2е -1)
1+2ек~1 0.53(2ей_2-1)
+ 0.5 (оценки 0-2); + 0.5 (оценки 0-4);
1+2ек~2 2ек~3-1
3. Интервал сложности задании 3 (И3): рз(к) = 1+2 к_3 + 0. 5 (оценки 0 - 7);
2ек~5-1
4. Интервал сложности задании 4 (И4): ^4(к) = к_5 + 0. 5 (оценки 0 - 10).
В соответствии с теориеи нечетких множеств лингвистические формулировки уровнеи оценки метапредметных компетенции соотносятся со значениями выбранных функции принадлежности р(а), задающих степень уверенности эксперта в принятом решении (рис. 4). Это означает, что явная неопределенность, присутствующая в любом экспертном оценивании и затрудняющая применение точных количественных методов и подходов, а также снижающая уверенность в получении достоверных результатов, приводит к необходимости определения достоверности принимаемых экспертом решении, что и делает функция принадлежности р(а). Аргументы а - это множество оценок, присваиваемых экспертом учащемуся за владение УУД.
у1(а)
Рис. 4. Функции принадлежности ц.(а) экспертных оценокметапредметных образовательных результатов для низкого, среднего и высокого уровня развития компетенций
Функции принадлежности р(а) в пределах четырех интервалов оценок эксперта а в соответствии с уровнями развития метапредметных компетенции выглядят следующим образом: 1. Низкии уровень развития метапредметных компетенции:
Рн(а) =
0.515(2е
-а+2.5
-1)
+ 0.5 (оценки 0-5);
1+2е-а+25
2. Среднии уровень 1 развития метапредметных компетенции:
№(а)
0.515(2еа_25-1)
+ 0.5 (оценки 0-5);
1+2еа_25
3. Среднии уровень 2 развития метапредметных компетенции:
№(а)
0.515(2е
-а+7.5
1+2е_а+75
+ 0.5 (оценки 5-10);
4. Высокий уровень развития метапредметных компетенции:
О 515(2еа_75-1) V*(a) = ' 1+(2еа-7.5 ' + 0- 5 (оценки 5-10).
В [8, с. 211] было предложено установить градацию экспертных оценок как нечетких суждении с тремя обобщенными уровнями компетенции - нижним, средним и высоким, каждыи из которых имеет деление на три дополнительных подуровня в соответствии с наречиями и наречными выражениями определённо, довольно, весьма, более или менее, скорее, крайне и пр. На основе этои модели в [7] был предложен алгоритм нечеткого автомата оценки метапредметных компетенции учащихся в зависимости от уровня сложности выполненных задании и оценок, присвоенных экспертами за это задание. Алгоритм реализован в среде Excel и основан на наложении (мультипликации) функции принадлежности и(к) и и (а) (рис. 5). Значения результирующеи функции принадлежности в общеи области определения (области оценок от 0 до 10) считаются надежными, если они находятся в интервале увереннои достоверности: 0,625 < (и (а) х рн(к)) < 1,0.
Результат, получаемыи с помощью нечеткого автомата, представляется в двух форматах: либо с помощью нечеткои формулировки низкий/средний/высокий уровень компетенции, сопровождаемои коэффициентом достоверности, либо только с помощью нечеткои формулировки определённо/более или менее/скорее низкий/средний/высокий уровень компетенции без коэффициента достоверности (рис. 6).
Рис. 5. Наложение функций принадлежности ^(к) (сплошныелинии) и а) (пунктир) в интервале единой шкалы оценок 0-10 для определения результирующей оценки,учитывающей степень достоверности соответствия наборов УУД заданиям к) и степень достоверности оценки эксперта ц(а)
В14
А В с D Е
Фамилия Имя уровень оценка результат
сложности
1 задания
2 3 4 5 6 7 3 9 10 ф1 3 6 довольно средний средний 0.86
ф2 2 4 эпределенно средний средний 1.0
фз 4 довольно высокий высокий 0.9
ф4 4 10 эпределенно высокий высокий 1.0
ф5 3 5 скорее средний средний 0.71
фй 3 5 довольно средний средний 0.86
ф7 3 7 скорее средний средний 0.75
фа 1 1 возможно низкий низкий 0.5
фЭ 3 4 эпределенно средний средний 1.0
Рис. 6. Интерфейс нечёткого автомата, выполненного с помощью приложения Excel, c результатами оценки УУД (метапредметных компетенций) в интервалах сложности заданий И1, И2, ИЗ и И4
Основные отличия рассматриваемых способов оценки компетенции учащихся - с помощью вероятностнои и нечеткои математическои модели - сведены в следующую таблицу:
Модель ^ Нечёткая модель
1.Ведущая идея обоснование возможности прогнозирования результатов выполнения тестовых задании различнои степени сложности (определение вероятности правильного ответа) измерение уровня сформированности метапредметных компетенции при выполнении задании разнои степени сложности через привлекаемые УУД
2. Цель предназначена для вероятностного прогнозирования успешности выполнения тестовых задании предназначена для экспертного оценивания выполнения конкретных учебно-познавательных задании
3. Объект измерения/контроля предметные знания метапредметные компетенции
4. Методика измерения и базис математического описания вероятностное прогнозирование (эмпирическая модель) основана на эмпирических (опытных, усредненных) данных нечеткая оценочная модель базируется на априорных данных, основанных на валидности задания (соответствия уровня его сложности уровню сложности привлекаемых для его выполнения УУД, а также предметных и метапредметных знании)
5. Неопределенность и способы ее формализации визуализация формальных характеристик тестовых задании вербальная и математическая визуализация содержательных характеристик учебно-познавательных задании
6. Число испытуемых надежность обеспечивается при большом числе испытуемых надежность обеспечивается при любом числе учащихся
7. Типы заданий, используемые при измерении тестирование (задания в виде тестов) задания и комплекты задании в различных форматах
8. Степень и мера сложности задании дифференцирующая способность задания (мера крутизны логистическои кривои зависимости вероятности успешного выполнения задания от уровня подготовленности испытуемого) определятся по четырем формальным признакам [4, с. 12-13]: 1) доля неправильных ответов испытуемых на каждое задание проектируемого теста; 2) потенциал сложности задания выражен отношением доли неправильных ответов на каждое задание проектируемого теста к вероятности успешного выполнения задания; 3) единая шкала уровня трудности задания и уровня подготовленности испытуемых (как натуральныи логарифм от п. 2); 4) параметр сложности задания (окончательная мера сложности задания), корректируемые в процессе шкалирования значения из п.3. дифференцирующая способность задания (мера крутизны логистическои кривои зависимости функции принадлежности в определенном числовом интервале сложности задании соответствующих метапредметных компетенции по Кодификатору) определяется по степени сложности метапредметных компетенции и метапредметных и предметных знании, которые необходимы для выполнения задания [7; 8]: 1) доля неправильных ответов испытуемых на каждое задание проектируемого теста не играет существеннои роли, поскольку мерои успешности выполнения задания является функция; принадлежности результирующеи логистическои кривои как мера достоверности принятого решения; 2) потенциал сложности задания выражен функциеи принадлежности в соответствующем интервале сложности задании соответствующих метапредметных компетенции по Кодификатору демонстрируют степень уверенности эксперта в правильности принятои градации балльных оценок на соответствующих интервалах сложности
задании; 3) единая балльная шкала, объединяющая баллы сложности задания и баллы как оценки эксперта за выполнение этого задания; 4) параметры сложности задания выступают в виде коэффициента достоверности в зависимости от балла в четырех интервалах сложности и задаются соответствующеи функциеи принадлежности.
9. Математическое описание своМства задании описываются с помощью «характеристических кривых задании» (Item Chararteristic Curves) своиства задании описываются с помощью функции принадлежности
10. Процедура шкалирования шкалирование осуществляется после тестирования и фактически является его результатом шкалирование осуществляется до процедуры оценки и задает общую область определения для двух функции принадлежности
Выводы. Проведя краткии сопоставительным анализ факторнои теории оценки IRT и теории нечетких множеств применительно к оцениванию планируемых метапредметных достижении учащихся, можно обозначить следующие ограничения инструментов вероятностного прогнозирования, предоставляемых IRT, по сравнению с возможностями математического аппарата нечеткои логики:
• объектом оценки в IRT являются, как правило, предметные знания, проверяемые с помощью процедуры тестирования. Тогда как в реальном учебном процессе перед учителем необходимо возникает проблема оценить степень достижения планируемых метапредметных образовательных результатов в процессе решения учебно-познавательных задач любых форматов, в том числе и с открытым ответом;
• метапредметные образовательные результаты представляют собои неопределённо описываемые события, вероятность появления которых не важна или заведомо известна. Преодолеть неопределенность описания события можно путем задания функции принадлежности, определяющих степень достоверности наступления события. Метод IRT позволяет преодолеть неопределённость точно описанного события через определение вероятности его наступления путем задания соответствующеи функции распределения;
• нечеткая модель надежно работает на произвольном числе учащихся - от одного до группы учащихся, учеников всего класса или параллели. Тогда как надежность метода IRT обеспечивается только при достаточно большой - до нескольких сотен - выборке испытуемых;
• метапредметные образовательные результаты в силу неопределенности описания требуют высокой степени формализации, которая может быть достигнута путем их декомпозиции на УУД и дальнеишем выражении через вербальные формулировки в виде глаголов мыслительных операции, что позволяет в максимальнои степени учесть нюансы и детали при нивелировании неопределенности. В методе IRT формализация характеристик объектов оценки осуществляется через шкалирование.
Таким образом, нечеткая модель, применяемая для оценки овладения универсальными учебными деиствиями и основанная на критериях достоверности, гораздо в большеи степени отвечает природе неопределенности, заложеннои в метапредметных компетенциях, и неопределенности экспертнои оценки этих компетенции, чем математическая теория измерении IRT, базирующаяся на вероятностных характеристиках, с помощью которых осуществляется прогнозирование результатов тестирования больших масс испытуемых.
Литература
1. Аванесов В.С. Вопросы методологии педагогических измерений // Педагогические измерения 2005. №1. http://testolog.narod.ru/EdMeasmt3.html.
2. Аванесов В.С. Основные понятия и положения математической теории измерений (Item Response Theory). http://gpo1006.keva.tusur.ru/node/4.
3. Аванесов В.С. Проблема педагогического измерения латентных качеств http://viperson.ru/articles/problema-pedagogicheskogo-izmereniya-latentnyh-kachestv.
4. Аванесов В.С. Item Response Theory: основные понятия и положения. http://testolog.narod.ru/Theory59.html.
5. Иванова О.А. Межпредметные понятия и формирование универсальных учебных действий на уроках математики // Известия Российского государственного педагогического университета им. А.И. Герцена. 2013. Выпуск № 161. С. 215-219. http://cyberleninka.ru/article/n/mezhpredmetnye-ponyatiya-i-formirovanie-universalnyh-uchebnyh-deystviy-pri-izuchenii-matematiki.
6. Кодификатор элементов содержания учебно-познавательных компетенций учащихся. https://sites.google.com/site/efficiencyolga/home/kodifikator-elementov-soderzania-ucebno-poznavatelnyh-kompetencij-ucasihsa.
7. Корчажкина О.М. Измерение метапредметных образовательных результатов: постановка задачи моделирования нечёткого автомата / Современные информационные технологии и ИТ-образование. - М.: МГУ. Т. 1 (№ 11), 2015. -638 с. С. 106-116.
8. Корчажкина О.М. Концепция оценки метапредметных образовательных результатов методами нечёткого моделирования / Современные информационные технологии и ИТ-образование [Электронный ресурс] / Сборник научных трудов VIII Международной научно-практической конференции / под ред. В.А. Сухомлина. - Москва: МГУ, 2013. - Т.2. - 357с. - 1 электрон. orn\ диск ^D-ROM). С. 204-217.
9. Корчажкина О.М. Метапредметное содержание образования во ФГОС общего образования // Педагогика. 2016. № 2. С. 16-25.
10. Корчажкина О.М. Типология заданий для электронных учебников: укрупнять или разделять? / Труды Международного конгресса по информатике: информационные системы и технологии (CSIS'2016). г. Минск, Республика Беларусь. 24 - 27 октября 2016 г. (в печати).
11. Федеральный государственный образовательный стандарт среднего (полного) общего образования. / М-во образования и науки Рос. Федерации. - М.: Просвещение, 2013. - 63 c. (Стандарты второго поколения).
12. Mislevy, R.J. How Developments in Psychology and Technology Challenge Assessment. Доклад на заседании учебного комитета Национальных академий естественных, инженерных и медицинских наук США (The National Academies of Sciences, Engineering, and Medicine) https://vimeo.com/136642747.
13. Piegat, A. Fuzzy Modeling and Control. - Heidelberg: Physica-Verlag, 2001. - 728 p.
14. Zimmermann, H.-J. Fuzzy set theory // WIREs Comp Stat, John Wiley & Sons, Inc. Vol. 2, May/June. 2010. P. 317-332. http://www.mv.helsinki.fi/home/niskanen/zimmermann_review.pdf
15. Zimmermann, H.-J. Fuzzy set theory and its applications / H.-J. Zimmermann. - 4th ed. - 514 p. http://kashanu.ac.ir/Files/Content/H_-
J_%20Zimmermann%20%20(auth_)%20Fuzzy%20Set%20Theory%E2%80%94and%20Its%20Applications%20%20200 1.pdf.
References
1. Avanesov V.S. Voprosyi metodologii pedagogicheskih izmereniy // Pedagogicheskie izmereniya 2005. #1. http://testolog.narod.ru/EdMeasmt3.html.
2. Avanesov V.S. Osnovnyie ponyatiya i polozheniya matematicheskoy teorii izmereniy (Item Response Theory). http://gpo1006.keva.tusur.ru/node/4.
3. Avanesov V.S. Problema pedagogicheskogo izmereniya latentnyih kachestv http://viperson.ru/articles/problema-pedagogicheskogo-izmereniya-latentnyh-kachestv.
4. Avanesov V.S. Item Response Theory: osnovnyie ponyatiya i polozheniya. http://testolog.narod.ru/Theory59.html.
5. Ivanova O.A. Mezhpredmetnyie ponyatiya i formirovanie universalnyih uchebnyih deystviy na urokah matematiki // Izvestiya Rossiyskogo gosudarstvennogo pedagogicheskogo universiteta im. A.I. Gertsena. 2013. Vyipusk # 161. S. 215-219. http://cyberleninka.ru/article/n/mezhpredmetnye-ponyatiya-i-formirovanie-universalnyh-uchebnyh-deystviy-pri-izuchenii-matematiki.
6. Kodifikator elementov soderzhaniya uchebno-poznavatelnyih kompetentsiy uchaschihsya. https://sites.google.com/site/efficiencyolga/home/kodifikator-elementov-soderzania-ucebno-poznavatelnyh-kompetencij-ucasihsa.
7. Korchazhkina O.M. Izmerenie metapredmetnyih obrazovatelnyih rezultatov: postanovka zadachi modelirovaniya nechYotkogo avtomata / Sovremennyie informatsionnyie tehnologii i IT-obrazovanie. - M.: MGU. T. 1 (# 11), 2015. - 638 s. S. 106-116.
8. Korchazhkina O.M. Kontseptsiya otsenki metapredmetnyih obrazovatelnyih rezultatov metodami nechYotkogo modelirovaniya / Sovremennyie informatsionnyie tehnologii i IT-obrazovanie [Elektronnyiy resurs] / Sbornik nauchnyih trudov VIII Mezhdunarodnoy nauchno-prakticheskoy konferentsii / pod red. V.A. Suhomlina. - Moskva: MGU, 2013. - T.2. -357s. - 1 elektron. opt. disk (SD-ROM). S. 204-217.
9. Korchazhkina O.M. Metapredmetnoe soderzhanie obrazovaniya vo FGOS obschego obrazovaniya // Pedagogika. 2016. # 2. S. 16-25.
10. Korchazhkina O.M. Tipologiya zadaniy dlya elektronnyih uchebnikov: ukrupnyat ili razdelyat? / Trudyi Mezhdunarodnogo kongressa po informatike: informatsionnyie sistemyi i tehnologii (CSIS'2016). g. Minsk, Respublika Belarus. 24 - 27 oktyabrya 2016 g. (v pechati).
11. Federalnyiy gosudarstvennyiy obrazovatelnyiy standart srednego (polnogo) obschego obrazovaniya. / M-vo obrazovaniya i nauki Ros. Federatsii. - M.: Prosveschenie, 2013. - 63 s. (Standartyi vtorogo pokoleniya).
12. Mislevy, R.J. How Developments in Psychology and Technology Challenge Assessment. Доклад на заседании учебного комитета Национальных академий естественных, инженерных и медицинских наук США (The National Academies of Sciences, Engineering, and Medicine) https://vimeo.com/136642747.
13. Piegat, A. Fuzzy Modeling and Control. - Heidelberg: Physica-Verlag, 2001. - 728 p.
14. Zimmermann, H.-J. Fuzzy set theory // WIREs Comp Stat, John Wiley & Sons, Inc. Vol. 2, May/June. 2010. P. 317-332. http://www.mv.helsinki.fi/home/niskanen/zimmermann_review.pdf
15. Zimmermann, H.-J. Fuzzy set theory and its applications / H.-J. Zimmermann. - 4th ed. - 514 p. http://kashanu.ac.ir/Files/Content/H_-
J_%20Zimmermann%20%20(auth_)%20Fuzzy%20Set%20Theory%E2%80%94and%20Its%20Applications%20%20200 1.pdf.
Поступила 15.10.2016
Об авторе:
Корчажкина Ольга Максимовна, старшии научныи сотрудник лаборатории «Проблемы информатизации образования» Института проблем информатики Федерального исследовательского центра «Информатика и управление» Россиискои академии наук, кандидат технических наук, [email protected].
