CC BY
37
Корчажкина О.М.
Институт проблем информатики Федерального исследовательского центра «Информатика и управление» Российской академии наук, г. Москва, к.т.н., старший научный сотрудник,
olgakomax@gmail . com
ИЗМЕРЕНИЕ МЕТАПРЕДМЕТНЫХ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ: ПОСТАНОВКА ЗАДАЧИ МОДЕЛИРОВАНИЯ НЕЧЁТКОГО АВТОМАТА
КЛЮЧЕВЫЕ СЛОВА
Метапредметные компетенции, метапредметные образовательные результаты, нечёткое моделирование, весовой коэффициент достоверности, экспертная оценка, функция принадлежности.
АННОТАЦИЯ
В статье обсуждается возможность автоматизации процедуры оценивания метапредметных образовательных результатов при освоении учащимися основной образовательной программы. Предлагается алгоритм решения задачи автоматизации методами нечёткого моделирования.
Оценка метапредметных образовательных результатов при освоении учащимися средней школы основной образовательной программы является одной из наиболее проблемных зон в области мониторинга и оценки качества образования в условиях перехода на ФГОС второго поколения. К настоящему времени решению этой проблемы посвящено довольно много исследований (см., например, обзоры и списки литературы в [2; 9]), однако все они носят частный характер, ограниченный конкретными условиями обучения. Тогда как современному педагогу хотелось бы иметь универсальную методику измерения метапредметных образовательных результатов, которую он мог бы применить в любой предметной области для любого выбранного набора метапредметных компетенций7.
В [2] была предложена концепция оценки метапредметных образовательных результатов методами нечёткого моделирования. В рамках компетентностного похода к трактовке понятия метапредметные компетенции была обоснована необходимость рассматривать оценку метапредметных образовательных результатов как лингвистическую неопределённость, а в качестве математического аппарата для её описания и формализации предлагалось использовать теорию нечётких множеств, позволяющую на практике производить оценку метапредметных образовательных результатов.
Результат предлагалось выражать в виде словесной формулировки типа определённо низкий, скорее средний (чем высокий) или весьма высокий уровень развития метапредметных компетенций, или же использовать более чёткие формулировки типа определённо низкий/средний/высокий уровень развития метапредметных компетенций, но сопровождать его весовым коэффициентом достоверности вынесенного решения в диапазоне от 0,5 до 1,0.
Ранее для оценки метапредметных компетенций традиционно предлагались лишь два пути: критериальное и распределённое (проникающее) оценивание (обзор см. в [2]), в которых применялось либо прямое балльное оценивание, либо детальное описание результатов выполнения работ, сходное с описанием результатов психологического тестирования. Подобные методики носили ограниченный характер, поскольку были достаточно трудоёмкими и не поддавались автоматизации.
Однако в последнее время появились публикации, в которых внимание уделяется, во-первых, оценке конкретных метапредметных компетенций в соответствии с требованиями ФГОС, а во-вторых, делается попытка автоматизации самой процедуры оценивания. Так, например, команда специалистов Московского городского психолого-педагогического университета и Психологического института РАО предложила компьютерную методику оценки шестнадцати метапредметных компетенций (разделённых на четыре группы — умение учиться, способность
7 Метапредметные компетенции учащегося — совокупность обобщённых способов действий (универсальных учебных действий (УУД) — познавательных, коммуникативных и регулятивных), обеспечивающих продуктивное осуществление учебно-познавательной деятельности [1].
решать творческие задачи, обобщённые мыслительные действия, способность решать социальные задачи), основанную на специально организованном диагностическом тестировании учащихся начальной школы по типу психологических тестов [9].
Помимо психологического подхода существует также технический подход специалистов пермской научной школы под руководством М. А. Марценюка, представленный в ряде публикаций [4-6], где развиваются методы нечёткой логики применительно к оценке рейтинга студентов высшей школы.
В [4] описывается применение метода матричной реализации алгоритмов нечёткого вывода к оценке успеваемости студентов в условиях учёта большого количества разнообразных критериев. Для описания степени истинности нечётких высказываний в виде критериальных оценок авторы предлагают использовать их матричное представление через базисные векторы, обладающие различной степенью достоверности. Кроме нечётких высказываний через матричное представление вводятся также искомые нечёткие переменные по заданным значениям исходных переменных с использованием логических правил вида «если..., то...» и др., принимающих в расчёт факт связи между предпосылкой, следствием и степенью выполнения правила.
Аппарат нечёткой логики авторы предлагают использовать с опорой на тот факт, что формулировки уровня успеваемости студентов в нормативных документах вузов выглядят как лингвистические переменные: оценка «отлично», «глубокое знание», «полное знание», «правильное, но не всегда точное», «поверхностные знания» и пр. Для решения этой задачи авторы предлагают обобщённую структурную схему процесса формирования оценки успеваемости студента с использованием нечёткого логического вывода. Согласно схеме чёткие оценки по определённому набору критериев переводятся в выходную чёткую оценку, учитываемую в рейтинге студента, через чёткие оценки критериев, нечёткие переменные-предпосылки и нечёткие переменные-результаты, поступающие как входные данные на блок введения нечёткости, блок нечёткого логического вывода и блок получения чёткого результата соответственно.
Авторы отмечают, что модель нечеткого автомата используется в тех случаях, когда «(1) предметная область описывается экспертом лингвистическими (словесными) правилами; (2) трудно разработать достаточно простую математическую модель предметной области; (3) необходима высокая гибкость в настройках системы управления; (4) требуется расширить область значений входных параметров «четкого» автомата без введения дополнительных состояний и др.» [5, с. 706].
В работах [5; 6] описывается нечеткий автомат, обладающий конечной памятью, который сводится к нечеткой комбинационной схеме с явно выделенным блоком памяти. Сравниваются модели нечёткого логического автомата и нечёткой комбинационной схемы на примере решения задачи оценки общей успеваемости студента, состоящей из набора последовательных оценок. Показано, что модель, построенная по принципу нечёткой комбинационной схемы, обладает простотой реализации и повышенным быстродействием по сравнению с классическими моделями нечетких автоматов.
Возвращаясь к дальнейшему развитию идеи построения нечёткой информационной модели для оценки уровня развития метапредметных компетенций учащихся, которую затем можно будет подвергнуть автоматизации, нам потребуется, прежде всего, задать начальные условия. Эти условия выступают в виде элементов содержания метапредметных компетенций, или УУД по Кодификатору, зависящих от конкретных образовательных задач и условий обучения, увязанных с процедурой экспертного оценивания [2, с. 207-208]. Таким образом будет соотнесены друг с другом два нечётких понятия: неопределённость объектов оценки — метапредметных компетенций, а также субъективность процесса оценки и его результата, выраженного в виде нечётких суждений.
Неопределённость объектов оценки выражается в нечётких лингвистических формулировках метапредметных компетенций по Кодификатору, которые при выполнении учебно-познавательных задач должны быть сгруппированы по уровню их сложности. Для каждого уровня сложности заданий выбирается диапазон чётких оценок (баллов) как область определения соответствующей функции принадлежности, которая входит в зону нечёткости. Соответствующая функция принадлежности показывает, насколько достоверной является причисление некоторой группы метапредметных компетенций, необходимых для выполнения того или иного задания, к выбранному интервалу сложности.
Неопределённость экспертной оценки выражается в нечётких вербальных оценках
эксперта типа скорее низкий (чем средний) уровень компетенций, довольно высокий уровень компетенций и т. п. (см. далее табл.1), которые коррелируются с чёткими балльными оценками в соответствующих интервалах. А соответствующая функция принадлежности показывает, насколько достоверной является вынесенная экспертная оценка.
Нечёткая информационная модель для оценки уровня развития метапредметных компетенций учащихся, представленная на рис.1, имеет три зоны:
оценок виде функций принадлежности)
Рис. 1. Нечёткая информационная модель для оценки уровня развития метапредметных компетенций
учащихся
• входную зону чётких оценок от 1 до 10, в которой находятся два блока — «баллы за задание» к, объективно установленные в соответствии со сложностью задания, и «баллы эксперта» а — субъективные баллы, которые мог бы выставить эксперт в ходе оценивания совокупности выполненных заданий8;
• центральную зону — зону нечёткости, в которой происходит преобразование чётких оценок к и а в весовые коэффициенты достоверности принятых решений через соответствующие функции принадлежности ^к(к)и ^а(а); в этой зоне строится также результирующая функция принадлежности р(г), получаемая путём мультипликации двух исходных;
• выходную зону нечётких оценок, где по каждой измеряемой группе метапредметных компетенций выносится комплексная экспертная оценка, состоящая из нечёткой вербальной формулировки и весового коэффициента достоверности этой оценки9.
Для решения задачи с использованием нечёткой информационной модели, как было показано в [2], задаются два универсальных множества, или носителя, ик(к) и иа(а), которые включают в себя все рассматриваемые числовые объекты — к и а. И пусть это будут ряды чисел от 1 до 10, представляющие собой: к — баллы, получаемые учащимися за выполнение заданий различной степени сложности, по которым можно проследить уровень развития их метапредметных компетенций, и а — баллы, которые мог бы присваивать эксперт в ходе оценивания совокупности выполненных заданий.
Каждому из этих универсальных множеств поставлены в соответствие нечёткие множества: множество элементов содержания метапредметных компетенций, заключённых в разноуровневых заданиях — К(к) и множество оценок, выносимых экспертом — А(а), причём каждое нечёткое множество соотнесено с некоторыми содержательными понятиями или оценочными суждениями. Затем путём формализации содержания этих понятий или суждений задаются функции принадлежности Цк(к) и ^а(а), каждая из которых с помощью весовых коэффициентов отражает степень достоверности оценивания метапредметных компетенций с помощью выбранных заданий к и степень уверенности эксперта в принятом решении а соответственно.
Таким образом, исходя из принятых начальных условий, инвариант метапредметные
8 В нашей нечёткой информационной модели блок «баллы за задание» соответствует блоку «нормативные документы», а блок «баллы эксперта» — блоку «индивидуальные требования преподавателя» в структурной схеме, приведённой в [4, с. 112].
9 В отличие от [4, с. 112] выходные данные выражаются не в виде баллов для добавления к рейтингу студентов, а остаются нечёткими и выдаются в виде вербальной формулировки согласно табл. 1, сопровождаемой коэффициентом достоверности.
образовательные результаты можно воспринимать как совокупность двух понятий — сложности заданий, выявляющих уровень метапредметных компетенций учащегося, и их экспертной оценки, что выражается результирующей функцией принадлежности р(г)= ^к(г) x ^а(г), где г — совокупная балльная оценка на выходе нечётной информационной модели. Очевидно, что переменные к, а и г принадлежат одному и тому же числовому ряду, что позволяет рассматривать соответствующие функции на единой числовой оси.
Для того чтобы увязать УУД с конкретными образовательными задачами, необходимо рассматривать их не изолированно, а через реальные задания, выполняемые учащимися. Это объясняется тем фактом, что метапредметные компетенции не могут существовать отдельно от конкретных учебно-познавательных задач: они могут быть выявлены только через выполнение предметных, межпредметных или абстрактно-логических заданий. Поэтому на первом этапе целесообразно разделить область определения к множества УУД К(к) не по группам метапредметных компетенций, как это сделано в Кодификаторе, а по уровню их сложности, что больше отвечает практике оценивания, поскольку даёт возможность сочетать метапредметные и предметные компетенции.
Поэтому для практического применения предлагаемой методики все УУД из кодификатора разделены на четыре степени сложности И1, И2, И3 и И4, названные интервалами сложности, и в пределах каждого интервала заданы диапазоны их оценки по балльной шкале. Например, к интервалу сложности И1 с оценками от 0 до 2 можно отнести УУД из раздела 1.5 [1]: «Следование морально-этическим и психологическим принципам общения и сотрудничества». К интервалу И2 с оценками от 0 до 4 могут быть отнесены УУД из раздела 2.1 «Этап предварительных (подготовительных) познавательных действий». К интервалу И3 с оценками от 0 до 7 можно причислить УУД 2.8 «Логические действия», а к интервалу И4 с оценками от 0 до 10 — самые сложные УУД, например, 2.3 «Этап поиска решения проблемы, проведения исследований (проектных работ) с поэтапным контролем и коррекцией результатов».
Четыре интервала сложности были выбраны по той причине, что на практике такое разделение достаточно полно отражает всё многообразие УУД, включённых в Кодификатор. С другой стороны, подобное деление УУД по степени сложности является условным и приблизительным, поэтому учитель (или эксперт) может варьировать УУД, относя их то к одному, то к другому интервалу сложности в зависимости от конкретных учебно-познавательных задач.
Кроме того, напомним, что ранее нами была принята экспертная шкала оценивания метапредметных компетенций в «грубой» градации: низкий, средний, высокий уровень компетенций, конкретизированная с помощью наречий весьма, довольно, скорее..., чем... , которая является субъективной и неопределённой и всецело зависит от предпочтений эксперта.
Таким образом, чтобы получить решение задачи, требуется соотнести, скоррелировать баллы, набранные учащимся при выполнении заданий из соответствующих интервалов сложности по Кодификатору, с экспертными оценками в виде низкий, средний или высокий уровень. То есть для определения конечной оценки необходимо учитывать два нечётких множества — множество элементов содержания метапредметных компетенций К(к)10, прошедших градацию по степеням сложности заданий, и множество оценок метапредметных компетенций, выносимых экспертом А(а)11, для чего требуется рассмотреть пересечение полученных множеств И(г)12= К(к)А(а). На основании подобной операции можно будет объективно, насколько это вообще возможно, оценить уровень развития метапредметных компетенций учащегося в соответствии со степенью сложности выполненных им заданий, а также с критериями, установленными экспертом. Тем самым будет произведён учёт двух факторов неопределённости: оценки сложности заданий и субъективности экспертной оценки.
Начнём с множества значений лингвистической переменной к. Примем начальные условия, при которых лингвистическая переменная к, приобретая значение элементов содержания метапредметных компетенций и образуя два нечётких множества — множество понятий Кк(к) и терм-множество Тк(К), задаваемых универсальным множеством ик(к), так называемым носителем
10 Множество прошедших градацию по степени сложности элементов содержания метапредметных компетенций К(к) заключает в себе планируемый, эталонный уровень, заложенный во ФГОС и воплощённый в реальных учебно-познавательных задачах.
11 Множество оценок метапредметных компетенций, выносимых экспертом, А(а) показывает реализуемый уровень оценок, характеризующий результаты, определяемые экспертом (учителем) в зависимости от своих профессиональных предпочтений и условий обучения.
12 Множество результирующих оценок уровня развития метапредметных компсетенций Я(г) характеризует уровень объективных, реальных достижений учащегося.
диапазона сложности заданий, определяет понятие метапредметные компетенции в четырёх интервалах сложности, требующих применения универсальных учебных действий — И1, И2, И3 и И4.
Здесь и в дальнейшем будем ориентироваться на метод прямых экспертных оценок, при котором каждому значению элемента универсального множества ик(к) поставлено в соответствие некоторое нечёткое число, задаваемое функцией принадлежности. Для каждого диапазона оценок (интервала значений лингвистической переменной к в ряду натуральных чисел в соответствии с интервалами сложности заданий И1, И2, И3 и И4) зададим следующие треугольные функции принадлежности, демонстрирующие, как было показано в [2, с. 209], степень соответствия сложности заданий выбранному набору компетенций (рис. 2):
ри(к) = к/2 для заданий низкого уровня сложности И1, где к = [1, 2];
№(к) = к/4 для заданий среднего уровня сложности И2, где к = [1, 2, 3, 4];
Ркз(к) = к/7 для заданий повышенного уровня сложности И3, где к = [1, 2, 3, 4, 5, 6, 7];
Рк4(к) = к/10, для заданий высокого уровня сложности И4, где к = [1,... 10].
1.0- (1м(к) : У Цк1(к) цШ)
0.5-
- -1- - - - -1-^- -1-Н
12345^739 10
Рис. 2. Функции принадлежности (к) интервалов сложности заданий соответствующих метапредметных
компетенций по Кодификатору.
Форма функций принадлежности рк(к) учитывает тот факт, что эксперт, будучи лицом, принимающим решение на основе субъективных критериев, не всегда абсолютно уверен, что выполнение учащимся того или иного задания на оценку, которую он получит за предметное содержание ответа, полностью соответствует той же оценке за уровень развития метапредметных компетенций. Поэтому и выбирается треугольная функция принадлежности р.к(к), которая принимает максимальное значение «1» при максимальных баллах, что демонстрирует полную уверенность эксперта в правильности принятой им уровневой градации заданий, то есть в том, насколько обоснованно он причислил этот тип заданий к данному интервалу сложности. А более низкие баллы, которые может получить учащийся, усиливают сомнения эксперта в правильности принятого решения.
Итак, функции принадлежности, построенные на рис. 2, демонстрируют степень уверенности эксперта в правильности принятой градации балльных оценок на соответствующих интервалах сложности заданий.
Выбирая задание для выполнения учащимися с целью оценки развития метапредметных компетенций, учитель должен каждому заданию поставить в соответствие определённый набор метапредметных компетенций, который предполагается оценить. Самый простой случай — когда все метапредметные компетенции для одного задания принадлежат одному и тому же интервалу сложности. Тогда за задание может быть выставлена только одна оценка, в соответствии только с одной функцией принадлежности, по которой затем можно будет вынести итоговое заключение. Если же в задании проверяются УУД нескольких уровней сложности, то требуется учитывать несколько функций принадлежности, что значительно усложняет задачу.
Теперь перейдём к нечёткому множеству оценок эксперта. Согласно алгоритму для множества значений лингвистической переменной а необходимо задать соответствующее нечёткое множество Аа(а) как множество оценок метапредметных компетенций, которые эксперт присваивает в результате анализа полученных учащимся баллов.
В [2, с. 211] было предложено представить градацию уровней экспертных оценок как нечётких суждений в виде таблицы с тремя обобщёнными уровнями компетенций — нижним, средним и высоким, каждый из которых имеет деление на три дополнительных подуровня в соответствии с наречиями и наречными выражениями определённо, довольно, весьма, более или
менее, скорее, крайне и пр. Однако в отличие от материалов 2013 года, где элементы оценочных суждений эксперта были объединены в указанные диапазоны в виде треугольных функций принадлежности ^ан(а), ^аср(а) и ^ав(а), в настоящем исследовании выбраны их трапецеидальные формы (рис. 3):
Ран1(а)= 1, а = [0,1]; ^(а), а = [1,5]; Раср1(а), а = [0,4]; Раср2(а) = 1, а = [4,6]; ^асрз(а), а = [6,10]; А1ав1(а), а = [5,9]; /гав2(а) = 1,а= [9,10].
Рис. 3. Функции принадлежности ^а(а) экспертных оценокметапредметных образовательных результатов для низкого, среднего и высокого уровня развития компетенций.
В табл. 1 показано, как в соответствии с теорией нечётких множеств можно соотнести лингвистические формулировки уровней оценки метапредметных компетенций со значениями выбранных трапецеидальных функций принадлежности ^а(а), задающих степень уверенности эксперта в принятом решении (рис. 3). Напомним, что аргументы а — это члены нечёткого множества А(а), которые представляют собой множества оценок метапредметных компетенций, присваиваемых экспертом в результате анализа полученных учащимся баллов. При этом было изначально принято, что сами значения оценок метапредметных компетенций а находятся в диапазоне [1;10], а степень уверенности эксперта, в свою очередь, выражается с помощью весового коэффициента достоверности, расположенного в диапазоне «уверенной достоверности» [0,625;1,0]. Введённый здесь диапазон «уверенной достоверности», нижняя граница которого задаётся значением 0,625 (а не 0,5) функции принадлежности, определяется ординатами точек пересечения трапецеидальных (а не треугольных) функций принадлежности для интервалов низкого, среднего и высокого уровня сложности заданий (см. рис. 3).
Таблица 1
Лингвистические формулировки уровней оценки метапредметных компетенций для трапецеидальных
функций принадлежности
а 0-1 1-2 2-2,5 2,5-3 3-4 4-6 6-7 7-7,5 7,5-8 8-9 9-10
Ра(а) 1,0 1,0- 0,8- 0,625- 0,8- 1,0 1,0-0,8 0,8- 0,625- 0,8- 1,0
0,8 0,625 0,8 1,0 0,625 0,8 1,0
уров низкий уровень средний уровень компетенций высокий уровень
ни компетенций компетенций
мет опре боле скоре скоре весь опре более скоре скоре весь опре
апре делё е е е ма/д делё или е е ма/д делё
дме нно или низки средн овол нно менее средн высок овол нно
тны низк мене й (чем ий ьно сред средн ий ий ьно высо
х ий е средн (чем сред ний ий (чем (чем высо кий
ком уров низк ий) низки ний уров урове высок средн кий уров
пете ень ий урове й) уров ень нь ий) ий) уров ень
нци комп уров нь урове ень комп компе урове урове ень комп
й етен ень компе нь комп етен тенци нь нь комп етен
ций комп тенци компе етен ций й компе компе етен ций
етен й тенци ций тенци тенци ций
ций й й й
Значения функций принадлежности из табл. 1 показывают, насколько уверенно эксперт выносит решение об оценке уровня компетенций учащихся. Так, например, ^ан(а)= 0,7 означает,
что лингвистическая оценка скорее низкий (чем средний) уровень компетенций, выносимая экспертом, соответствует оценке определённо низкий уровень компетенций с весом (уровнем уверенности) 0,7. Аналогично лингвистическая оценка весьма/довольно высокий уровень компетенций при fas(a)= 0,84 соответствует весу 0,84 оценки определённо высокий уровень компетенций.
Таким образом, комплексная оценка метапредметных компетенций может выражаться двумя способами: либо с помощью нечёткой формулировки низкий/средний/высокий уровень компетенций, сопровождаемой коэффициентом достоверности, либо только с помощью нечёткой лингвистической формулировки определённо/более или менее/скорее ... без коэффициента достоверности.
Итак, на графике рис. 3 можно выделить следующие нечёткие области значений функций принадлежности (по вертикальной оси):
• если 0,625<и<1, то экспертная оценка находится в диапазоне уверенной достоверности; это означает, что с помощью заданий, выданных учащемуся, эксперт может с допустимой долей уверенности (нечёткости), определяемой соответствующим весовым коэффициентом достоверности, оценить уровень его компетенций;
• при 0,5<и<0,625 экспертная оценка находится в диапазоне спорной достоверности; это означает, что условия и параметры оценивания не в полной мере позволяют оценить уровень развития метапредметных компетенций и лучше показатели этого диапазона исключить из рассмотрения;
• при ju<0,5 экспертная оценка находится в диапазоне полной недостоверности и условия и параметры оценивания должны быть полностью пересмотрены: потребуется изменить критерии оценивания или уровень сложности заданий.
Очевидно, что по сравнению с треугольной трапецеидальная форма функций принадлежности fa(a) позволяет, во-первых, расширить диапазон уверенности эксперта в выносимых решениях за счёт верхнего основания трапеции, а во-вторых, сужает диапазон уверенной достоверности с [0,5; 1] до [0, 625; 1], что также позволяет сделать экспертную оценку более конкретной и строгой.
Как на основе выбранных нечётких множеств K(k) и A(a) вынести заключение об уровне сформированности метапредметных компетенций учащихся? Задача сводится к процессу нахождения соответствия между функциями принадлежности fa(k) и fa(a) этих множеств. При этом экспертные оценки уровня метапредметных компетенций будут также представлять собой нечёткие множества, укладывающиеся в соответствующие диапазоны — низкий, средний и высокий с определённой степенью нечёткости, выраженной, как уже говорилось, коэффициентами достоверности выносимых решений. То есть эти множества будут содержать нечёткие числа, показывающие степень достоверности экспертных оценок в виде лингвистических формулировок. В результате решения этой задачи будет создана нечёткая информационная модель процедуры оценки метапредметных образовательных результатов.
Построим функции принадлежности ^ан(а), ^аср(а), fae(a) и fa(k) в единых координатах (рис. 4), соотнесём задания И1, И2, И3 и И4 с возможностями оценивания и проанализируем полученные графические результаты. Очевидно, что имеет смысл ставить в соответствие функции принадлежности fa(a) и fa(k) только в тех случаях, когда они имеют общие области определения в диапазоне уверенной достоверности [0, 625; 1].
М™(а) М*сг(а) Цче(а)
Какие задания нужно выполнить учащемуся и какие оценки за них получить, чтобы эксперт вынес заключение о низком, среднем или высоком уровне метапредметных компетенций?
Высокий уровень компетенций. Из правой части графика на рис. 4 следует, что высокий уровень развития метапредметных компетенций вполне адекватно (с коэффициентом достоверности от 0, 625 до 1) оценивается с помощью заданий интервала сложности И4, если учащийся набирает за их выполнение от 7,5 до 10 баллов, поскольку значения функций принадлежности ^ав(а) и ^(к) находятся в диапазоне уверенной достоверности. В этом случае эксперт может дать оценки: скорее высокий (чем средний), весьма/довольно высокий или определённо высокий уровень компетенций, соответственно. Если учащийся набирает в заданиях И4 от 5 до 7,5 баллов или ниже (при этом ^ав(а) находится в диапазонах спорной достоверности и полной недостоверности), то эксперт должен «переместиться» в диапазон уверенной достоверности области определения функции ^аср(а) и оценить уровень метапредметных компетенций как определённо средний, более или менее средний или скорее средний (чем высокий).
Кроме того, из графика рис. 4 видно, что даже самых высоких баллов, полученных за задания И3 и, тем более, И2 и И1, не достаточно для оценивания уровня метапредметных компетенций как высокого, поскольку соответствующие функции принадлежности ^ы,2,з(к) и ^ав(а) не имеют общих областей определения в диапазоне уверенной достоверности.
Средний уровень компетенций. Аналогичные графики для среднего уровня компетенций, представленные в центральной части рис. 4, показывают, что заданий И1 не достаточно для оценки уровня компетенций как среднего, поскольку общая область определения функций ^и(к) и Раср(а) лежит в диапазоне полной недостоверности.
Для того, чтобы эксперт с полной уверенностью (^аср(а) = 1) вынес заключение об определённо среднем уровне компетенций, учащемуся при выполнении любых заданий необходимо набрать от 4 до 6 баллов. Задания И1 не имеют оценки в 4 балла, поэтому выполнения заданий И1 даже с наивысшим баллом недостаточно, чтобы сделать заключение о среднем уровне компетенций. Тогда как оценка в 2,5 балла за задания И2 уже находится на самой нижней границе уверенной достоверности, что означает заключение эксперта скорее средний (чем низкий) уровень компетенций (или определённо средний уровень с коэффициентом достоверности 0,625).
Итак, если учащийся при выполнении заданий И2 набирает от 2,5 до 4 баллов, то его уровень эксперт вправе оценить как скорее средний (чем низкий) или весьма/довольно средний. Оценки заданий И2 ниже, чем 2,5, не рассматриваются, поскольку не попадают в диапазон уверенной достоверности.
Теперь рассмотрим задания уровня И3 с функцией принадлежности ^кз(к). Каков должен быть разброс оценок, полученных за эти задания, чтобы можно было сделать заключение о среднем уровне компетенций? Из графиков центральной части рис. 4 видно, что оценки в 4 балла не достаточно для вынесения уверенного экспертного заключения, поскольку ^кз(4) = 4/7=0,57, что не укладывается в диапазон уверенной достоверности. Минимальная оценка за задания И3, попадающая в диапазон уверенной достоверности, составляет 0,625х7=4,375.
Итак, достоверность оценки эксперта при выполнении учащимися заданий И3 начинается с 4,375 баллов (вход в диапазон достоверности). Поэтому в зависимости от набранных баллов — примерно от 4,4 до 7 баллов учащийся может оцениваться как имеющий весьма/довольно средний, более или менее средний, скорее средний (чем высокий) уровень компетенций соответственно (или определённо средний с разными весовыми коэффициентами достоверности). Аналогично, если учащийся в заданиях И4 наберёт от 6,25 до 7,5 баллов, то эксперт с разной степенью уверенности причисляет уровень его компетенций к определённо среднему.
Низкий уровень компетенций. Графики для оценивания компетенций низкого уровня представлены на начальном участке оси абсцисс графика на рис. 4. Очевидно, что задания И3 и И4 находятся вне диапазона достоверности оценки компетенций низкого уровня, поэтому если за эти задания будет набрано от 2,5 до 7 или 10 баллов, то эксперту необходимо при поиске своего решения переместиться на средний уровень. Если же за эти задания учащийся получает ниже 2,5 баллов, то эксперту необходимо воспользоваться более достоверными результатами, привлекая здания И1 и И2.
Набрав 1-2 балла при выполнении заданий И1 и 2-2,5 балла за задания И2, учащийся получает оценку: весьма/довольно низкий и скорее низкий (чем средний) уровень компетенций.
Графики на рис. 4 эксперт может использовать, чтобы производить оценивание метапредметных образовательных результатов в том случае, если он согласен с допущениями, принятыми в условиях настоящей задачи, то есть алгебраическим представлением функций
достоверности. В противном случае он может задать иные начальные условия и затем уже воспользоваться предложенным алгоритмом графического (качественного) решения задачи.
Ограничения приведённого качественного рассуждения изложены в [2, с. 215-216], где предложено использовать более надёжный метод, учитывающий алгебраическое произведение нечётких множеств А(а) и К(к):
R(r) = А(г) К(г), или р(г) = ра(г) • рк(г) (г R).
Очевидно, что по вновь полученному нечёткому числу R(r) можно определить, какой уровень развития метапредметных компетенций имеет учащийся, и каков вес этой оценки, то есть насколько уверено эксперт вынес своё решение.
Рассмотрим пример пересечения множеств А(г)К(г) в диапазоне значений аргумента [2,5;7] для двух функций принадлежности Раср(г) треугольной и трапецеидальной формы и заданий уровня сложности ИЗ с функцией принадлежности Цкз(г) = г/7 (рис. 5).
0 1 2 3456^89 10
Рис. 5. Пример пересечения функций принадлежности Раср(г) и Ркз(г) на одном универсуме R(r) при получении функции принадлежности рг(г) инварианта метапредметные образовательные результаты для треугольной и трапецеидальной функций принадлежности Рг(г).
Результирующую функцию принадлежности р(г) треугольной формы можно рассчитать по формуле ^гд (г) = г2 /35 при г = [0;5] и Ргл(г) = (10-г)г/35 при г = [5;7], а для трапецеидальной формы имеем: Цг п(г)= г2 /28 при г = [0;4], рг п(г)= г/7 при г = [4;6] и рг п(г)= (10-г)г/28 при г = [4;7]. Результат перемножения можно также представить в числовой форме: в табл. 2 серый цвет заливки выделяет значения, вошедшие в диапазон достоверности при треугольной и уверенной достоверности при трапецеидальной форме функции принадлежности.
Таблица 2
Значения результирующей функции принадлежности, учитывающей степень сложности заданий и оценку эксперта_
вид функции Раср(г) г 2,5 3 4 4,18 4,375 5 6 7
треугольник Ргл(г) 0,18 0,26 0,46 0,50 0,547 0,71 0,69 0,60
трапеция Рг п(г ) 0,22 0,32 0,57 0,60 0,625 0,71 0,86 0,75
Треугольная функция принадлежности рал(г). Максимальный коэффициент достоверности оценки уровня развития метапредметных компетенций как определённо среднего при 5 баллах равен 0,71, тогда как при 7 баллах этот вес уменьшается до 0,6. Это означает, что во втором случае эксперт склоняется в сторону более высокой оценки, и теперь требуется учитывать дополнительные данные, например, полученные при выполнении заданий И4. Кроме того, число баллов, попадающих в диапазон достоверности функции принадлежности Ргл(г) [0,5;1], сужается до отрезка [4,18;7]. Это говорит о том, что даже 4-х баллов, набранных учащимся за задания И3, не достаточно для уверенного заключения эксперта об определённо среднем уровне метапредметных компетенций, и для того чтобы выйти на этот уровень, учащемуся потребуется выполнять более сложные задания.
Трапецеидальная функция принадлежности Цап (г). В этом случае число баллов, попадающих в диапазон уверенной достоверности [0,625;1] результирующей функции принадлежности ргп (г), сужается до отрезка [4,375;7], а значения самой функции увеличиваются, достигая максимума 0,86 при 6 баллах, и далее уменьшается до 0,75 при 7 баллах. Таким образом, самая уверенная экспертная оценка как определённо средний уровень компетенций с весом 0,86
получается при 6-ти баллах, тогда как при треугольной функции достоверности она достигала максимума при 5-ти баллах.
Если учащийся получает 7 баллов за задания интервала сложности И3, то снижение значения результирующей функции достоверности говорит о том, что учащийся может претендовать и на более высокую экспертную оценку, например, скорее высокий, чем средний, уровень компетенций, однако для этого следует учесть оценки, полученные им за задания И4, которые, естественно не должны быть ниже тех же 6-ти баллов.
Сравнивая результаты, полученные с помощью треугольных и трапецеидальных функций принадлежности экспертных оценок, можно сделать вывод о том, что трапецеидальная функция принадлежности даёт эксперту возможность использовать менее жёсткие критерии при вынесении своей оценки, но при этом за счёт сужения диапазона достоверности получить более объективные результаты. Поэтому, выбирая форму функции принадлежности Ра(а) в виде трапеции, не следует «слишком смягчать» возможность эксперта выбрать наилучшее решение, то есть не рекомендуется «растягивать» единичные, то есть максимальные, значения соответствующей функции принадлежности более чем на два шага оценок по оси абсцисс (длину верхнего основания трапеции).
Когда заходит вопрос о практическом применении изложенной концепции оценки метапредметных образовательных результатов, то необходимо, прежде всего, выработать пошаговый алгоритм составления компьютерной программы. На её вход заводятся оценки, полученные учащимися за выполнение тех или иных заданий разной степени сложности, а на выходе получают два параметра — элемент нечёткого лингвистического множества оценок метапредметных компетенций в виде словесной формулировки в соответствии с табл. 1, а также в случае необходимости весовой коэффициент достоверности от 0, 625 до 1, показывающий степень уверенности эксперта в вынесенном решении. Если получается неоднозначная экспертная оценка, то выбирается та из формулировок, которая имеет наибольший весовой коэффициент достоверности. При этом виды функций принадлежности Рк(к) и Ра(а) задаются заранее и служат параметрами системы.
На начальном этапе, пока ещё не полностью автоматизирована процедура оценки метапредметных компетенций, в качестве такой программы может использоваться свободно распространяемая программа для графических построений Wplotru, которой пользуются многие учителя математики на своих уроках. На рис. 6 приведён пример её применения к вычислению результирующей функции принадлежности в процессе решения задачи по созданию нечёткой модели автомата для оценки метапредметных образовательных результатов.
Рис. 6. Пример вычисления результирующих функций принадлежности Рг12,э,4(г) инварианта метапредметные образовательные результаты путём перемножения функций Раср(г) и Рк1,2,э,4(г) на одном универсуме R(г) с помощью программы Wplotгu
Выразим эту процедуру в виде пошагового алгоритма и представим его как техническое задание на создание нечёткой модели автомата для расчёта весовых коэффициентов достоверности при экспертной оценке. Этот алгоритм можно назвать частичной автоматизацией оценки метапредметных образовательных результатов.
Начальные условия. Учитель выбирает предметное задание и устанавливает набор метапредметных компетенций, необходимых учащемуся для его решения. Этот набор осуществляется в соответствии с типологией учебно-познавательных задач и Кодификатором [1-2]. Оценка именно этих метапредметных компетенций будут производиться в процессе реализации алгоритма.
Шаг 1. Выбирается диапазон значений к, по которым будет производиться оценка выполненных заданий, градуированных в соответствии с их сложностью, и задаются функции принадлежности fa(k) для заданий из каждого интервала сложности. В результате выполнения каждого задания учащийся получает оценку к.
Шаг 2. Независимо от заданий эксперт в соответствии со своими предпочтениями предлагает функции принадлежности у.ан,ср,в(а) для низкого, среднего и высокого уровня развития метапредметных компетенций соответственно.
Шаг 3. С помощью программы Wplotru производится мультипликация функций принадлежности ^к(к) и Ран,ср,в(а), в результате которой получаются результирующие функции принадлежности рш,ср,в(г).
Шаг 4. Для балла к, полученного учащимся за выполнение задания, пользуясь результирующей функцией принадлежности рГн,ср,в(г), вычисляется весовой коэффициент достоверности. При этом учитывается, что выбрать следует только ту из трёх функций pm(r), ßrcp(r) или ^re(r), для которой эта оценка к (или r на одном универсуме R(r)) является существенной, т.е. укладывается в диапазон уверенной достоверности [0,625;1].
Выходные параметры. Имеем вербальную оценку метапредметных образовательных результатов (конкретных УУД) в виде лингвистической формулировки (определённо низкий, средний, высокий уровень компетенций) и соответствующий ей весовой коэффициент достоверности. Можно также расширить лингвистическую формулировку с помощью наречий согласно табл. 1, однако в этом случае весовой коэффициент достоверности указывать не требуется.
Примечание. Для того чтобы получить комплексную оценку метапредметных компетенций, необходимых для решения некоторой задачи и соизмеримых друг с другом по сложности, достаточно на входе задать только одну функцию принадлежности ^к(к). Если же для решения задачи требуется владение разными по степени сложности метапредметными компетенциями, то для каждой из них потребуется задавать свою функцию принадлежности, ибо их области определения могут отличаться друг от друга максимальным баллом.
Литература
1. Корчажкина О.М. Кодификатор элементов содержания учебно-познавательных компетенций учащихся. https://sites.google.com/site/efficiencyolga/home/kodifikator-elementov-soderzania-ucebno-poznavatelnyh-kompetencij-ucasihsa.
2. Корчажкина О.М. Концепция оценки метапредметных образовательных результатов методами нечёткого моделирования / Современные информационные технологии и ИТ-образование [Электронный ресурс] / Сборник научных трудов VIII Международной научно-практической конференции / под ред. В.А. Сухомлина. — Москва: МГУ 2013. — Т.2. — 352с. — 1 электрон. om\ диск ^D-ROM). — ISBN 978-5-9556-0156-4 — С. 204-217.
3. http://conf.it-edu.ru/sites/default/files/elektronnyy_sbornik_verstka_tom_2.pdf.
4. Кудаев М. Р., Богус М. Б., Кятова М. К. Система учебных и познавательных задач при изучении гуманитарного предмета / Вестник Адыгейского государственного университета. 2006. № 1. http://cyberleninka.ru/article/n/sistema-uchebnyh-i-poznavatelnyh-zadach-pri-izuchenii-gumanitarnogo-predmeta.
5. Марценюк М А., Поляков В. Б., Селетков И П. Нечёткий алгоритм многофакторной оценки рейтинга студента / Сборник научных трудов VIII Международной научно-практической конференции / под ред. В.А. Сухомлина. — М.: МГУ 2013. — Т.2. — 352с. — 1 электрон. om\ диск ^D-ROM). — ISBN 978-5-9556-0156-4 — С. 107-117.
6. http://conf.it-edu.ru/sites/default/files/elektronnyy_sbornik_verstka_tom_2.pdf.
7. Марценюк М А., Селетков И П. Модель нечёткого автомата для оценки успеваемости студентов / Сборник избранных трудов IX Международной научно-практической конференции. Под ред. В.А. Сухомлина. — М.: ИНТУИТ.РУ 2014. — 957 с. — С. 703-714. http://elibrary.ru/download/89739816.pdf.
8. Марценюк М А., Селетков И П. Приведение конечного нечёткого автомата к нечёткой комбинационной схеме с блоком памяти / Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникация. Управление. 2014. № 6 (210). — С. 67-80. http: //ntv.spb stu.ru/telecom/article/T6.210.2014_08/.
9. Новиков А. М. Методология учебной деятельности. — М.: Эгвес, 2005. — оо с.
10. Программа графических построений Wplotru. http://www.pcmath.ru/?parent=15&page=24, http://www.proshkolu.ru/user/Olg-a-ndreevna/file/885302/.
11. Улановская И.М. Компьютерный пакет методик оценки метапредметных результатов начальной школы / Электронный журнал «Психологическая наука и образование psyedu. ru». 2014 г. № 2. — С. 306-319. http://psyedu.ru/journal/2014/2/Ulanovskaya.phtml.
