ПРОБЛЕМА ОБЪЕКТИВНОЙ ОЦЕНКИ ЗНАНИЙ ОБУЧАЮЩЕГОСЯ Текст научной статьи по специальности «Компьютерные и информационные науки»

ПЕДАГОГИКА

ф Ф

Ученые записки Крымского федерального университета имени В. И. Вернадского Социология. Педагогика. Психология. Том 7 (73). 2021. № 1. С. 77-85.

УДК 378:004 DOI: 10.37279/2413-1709-2021-7-1-77-85

ПРОБЛЕМА ОБЪЕКТИВНОЙ ОЦЕНКИ ЗНАНИЙ ОБУЧАЮЩЕГОСЯ Апатова Н. В.1, Гапонов А. И.2

12Институт экономики и управления (структурное подразделение) ФГАОУ ВО «Крымский

федеральный университет им. В.И. Вернадского», Симферополь, Республика Крым, Россия

E-mail: apatova@list.ru1, bal8996@mail.ru2

В статье рассматривается возможность определения уровня освоения обучающимися изучаемой темы на основании пяти факторов усвоения знаний: 1. Понимание (П); 2. Узнавание (У); 3. Воспроизведение (В); 4. Применение (Пр); 5. Творчество (Т). При этом расчёты выполняются посредством совместного использования в упрощенном виде метода анализа иерархий и теории нечетких множеств. С целью снижения субъективности, присущей рейтинговой системы оценивания, предлагается использование элементов метода анализа иерархий и нечеткой логики. На основе рассмотренной методики оценивания усвоения обучающимися учебного материала высказывается предположение о возможности свести влияние субъективного фактора к минимуму. Ключевые слова: факторы освоения знаний, анализ иерархий, нечеткие множества.

ВВЕДЕНИЕ

Обеспечение качества диагностики уровня освоения знаний обучающимися образовательных организаций основана на адекватном, обоснованном, приемлемом и доступном математическом аппарате. Адекватность и обоснованность математического аппарата позволяет существенно уменьшить влияние субъективного фактора на оценку освоения знаний и свести к минимуму возражения о его применении. С другой стороны, приемлемость дает возможность пользоваться в качестве диагностики конкретной рассматриваемой ситуации с учетом только ей присущих нюансов. Под доступностью же подразумевается возможность использовать предлагаемый математический алгоритм преподавателями, обладающими необходимым минимумом элементов предлагаемого математического аппарата.

Цель статьи - рассмотреть возможность определения уровня освоения обучающимися изучаемой темы на основании пяти факторов усвоения знаний: 1. Понимание; 2. Узнавание; З.Воспроизведение; 4. Применение; 5. Творчество.

ИЗЛОЖЕНИЕ ОСНОВНОГО МАТЕРИАЛА

В современной педагогической литературе огромное количество трудов посвящено вопросу оценки обучающимся осваиваемых знаний, подробный список соответствующих публикаций приведен в работе [1]. Не вступая в дискуссию со множеством безусловно авторитетных источников, ограничимся описанием

77

возможностей для указанной цели алгоритмов Теории Нечетких Множеств (ТНМ) и Методом Анализа Иерархий (МАИ).

Основы теории практического использования нечеткого моделирования относятся к 1965 году и изложены американским математиком Лотфи Заде в работе

[2]. С тех пор системы, основанные на нечеткой логике, одинаково успешно применяются как в управлении высокотехнологическими процессами, так и при принятии сложных управленческих решений в условиях неопределенности. Причем, весьма приблизительный обзор работ, опубликованных за последние 50 лет, демонстрирует неубывающую эффективность использования аппарата теории нечетких множеств в решении различных прикладных задач.

Кратко изложим основные этапы оценивания успешности освоения обучающимся изучаемого материала на основе алгоритма ТНМ, используя прикладной пакет Fuzzy Logic Toolbox программной среды MATLAB [3].

Пусть необходимо оценить уровень освоения изучаемой обучающимся темы на основании пяти факторов усвоения знаний: 1. Понимание (П); 2. Узнавание (У); 3. Воспроизведение (В); 4. Применение (Пр); 5. Творчество (Т).

Алгоритм оценивания выглядит следующим образом [3]:

1. Присваиваем оцениваемым объектам, представляющие входные лингвистические переменные имена, например, «Понимание (П)».

2. Область определения, входных лингвистических переменных, формирующих итоговую оценку - выходную лингвистическую переменную (ИО), разбиваем на несколько составляющих, которые называются «лингвистическими термами» и присваиваем им соответствующие имена. Такую же процедуру выполняем и для выходной лингвистической переменной ИО. Например, такие лингвистические термы могут иметь имена «Неудовлетворительно (Н)», «Удовлетворительно «(У)», «Хорошо (Х)», «Отлично (О)».

Теперь каждая лингвистическая переменная имеет четыре значения (оценки) -лингвистических терма. В свою очередь «лингвистический терм» - это нечеткое множество, в котором определена так называемая функция принадлежности ц{х), ставящая в соответствие каждому элементу области определения действительное число от 0 до 1. Поставим в соответствие лингвистическим термам входных и выходной переменным треугольные функции принадлежности, определяющие степень принадлежности численного значения переменной лингвистическому терму или степень истинности принадлежности этого значения соответствующему терму

[3]. Аналитическое выражение для такой функции имеет следующий вид:

0, х < a;

Ц (х, a, b, c) = <

* tnmj

х - a 1

a < х < b;

b-a с - х

c - Ь 0, х > c

b < х < c;

78

Где а, с - абсциссы концов основания треугольника, Ь - абсцисса его вершины. На рисунке 1 представлен график треугольной функции принадлежности

Рис. 1. График треугольной функции принадлежности.

Численное значение функции принадлежности определяет, насколько рассматриваемое значение лингвистического терма соответствует определяющему его понятию (фактору) и, как отмечено выше, может иметь оценки «отлично» (О), «хорошо (Х), «удовлетворительно» (У), «неудовлетворительно» (Н). А именно: пусть имя лингвистической переменной «Понимание» с областью определения [0; 9] (границы отрезка выбраны исключительно из соображений удобства). Если терм «Понимание» оценен на 4, то он в большей степени принадлежит оценке

2

«удовлетворительно» ^ (4) = —, но уже со степенью «истинности» 1/3 этот терм можно оценить на оценку «хорошо», т.к. (4) = ^ .

Рис. 2. График функции принадлежности для лингвистических переменных.

Итоговую оценку (нечеткий вывод) получаем на основании алгоритма Мамдани [3], автоматически реализующегося в пакете Fuzzy Logic Toolbox. Нам только остается составить базу правил вида: «ЕСЛИ «П» есть «Х», И «У» есть «Х», И «В» есть «X», И «Пр» есть «Н», И «Т» есть «У», ТО «ИО» (итоговая оценка) есть «У»».

79

Визуализация нечеткого вывода, например, для условных переменных МА, МВ, ПМ, ОР имеет следующий вид [1]:

Рис. 4. Визуализация нечеткого вывода для МА = 5; МВ = 6; ПМ = 8; ОР = 1, ИО = 3,91.

Что можно оценить как «Скорее «Удовлетворительно»», но «В определенной степени «Хорошо»».

Основные принципы Метода Анализа Иерархий (МАИ) были изложены более двадцати лет назад в монографии американского математика Томаса Саати [4]. С тех пор этот метод нашел самое разнообразное приложение во всевозможных задачах принятия решений в экономике, бизнесе, политике, медицине и пр. Математический инструмент системного подхода к сложным проблемам принятия решений используется, начиная с выбора оптимальной стратегии планирования, анализа рисков, распределения ресурсов, принятия кадровых решений вплоть до оценки произведений искусства и «управления подготовкой аварийно-спасательных формирований».

В соответствии с этим принципом нашей задачей является принятие решения, о том, какой оценки заслуживает обучаемый за освоенный объем знаний.

Для этой оценки используются различные математические модели, подробно описанные в работах, ссылки на которые приведены в статье [1]

В отмеченных методах оценивания в той или иной степени присутствует субъективная составляющая эксперта (преподавателя). Не лишены этих недостатков и рассматриваемые здесь методы. Однако при их надлежащей «настройке» предоставляется возможность избежать чересчур «грубого» вмешательства субъективного фактора.

Использование МАИ заключается агрегирования балльных оценок на основании применения матрицы парных сравнений [4].

80

Пусть уровень освоения обучающимися изучаемой темы оценивается на основании вышеприведенных пяти факторов: П, У, В, Пр, Т. В общем случае каждый из п факторов имеет определенную «ценность» - вес, значение которого выражается положительным числом ( = 1,2,..., п), и задается «экспертом». Из

чисел а у, показывающих во сколько раз вес фактора превышает вес фактора Л •, составляем матрицу парных сравнений. Эти числа определяются экспертом в результате попарного сравнения факторов.

С а а а ^

а11 а12... а1п

где ау =

wi

wi

ау =

Л =

а=

а

а21 а22...а2 п

V ап1 ап 2...апп У

1, Ё щ=1.

Компоненты Ятах , нормированного на единицу собственного вектора (щ = щ, щ...,щ) , соответствующего максимальному собственному значению

матрицы А, равны значениям соответствующих локальных приоритетов -«ценности» (с точки зрения эксперта) каждого фактора.

Аналогично находятся оценки по всем факторам для каждого обучающегося, равные компонентам нормированного вектора приоритетов (1 - номер фактора; к = 1,2,...,т - «номер» обучающегося). Для этого эксперт сравнивает соответствующие факторы для всех обучающихся. Соответственно мы должны рассмотреть п квадратных матриц размерностью т х т (т - количество обучающихся).

п

На основании полученных данных по формуле Рк = Ё щкр к для

1=1

обучающегося к вычисляем значения «глобальных» приоритетов факторов. Выполнив такие вычисления для всех обучающихся, делаем вывод об уровне освоения каждым из них изучаемого материала.

Изложение приведенных алгоритмов определения оценок хоть и обладает достаточной эффективностью, но представляет довольно громоздкую процедуру, тем более, для лиц, не владеющих в достаточной степени рассматриваемым здесь специфическим математическим аппаратом.

В связи с этим, приведем предложенный в работе [5] упрощенный, но достаточно эффективный алгоритм многокритериального анализа, основанный на совместном использовании принципа оценок лингвистических переменных Белмана-Заде [2] и метода парных сравнений Саати [4].

1

81

Предположим, что преподаватель затрудняется даже качественно оценить значения факторов, но может определить преимущество рассматриваемых обучающихся по каждому из них.

Во избежание перегруженности математическими выкладками будем считать, что все рассматриваемые факторы имеют одинаковую важность.

Итак, на первом этапе преподаватель проводит парные сравнения показателей факторов по девятибалльной шкале [4] (Таблица 1), и результаты записывает в виде матриц парных сравнений

( к к \

А =

11 12 кк V а21 а22 У

элементы которых отражают преимущество обучающегося 1 над обучающимся 2 по факторам Ак (к = 1, 2, 3, 4, 5). Несложные вычисления позволяют найти значения компонент собственных векторов указанных матриц:

МАк (°1 ) = 7Т^Г, МАк (°2 ) = Т~Г 1 + а21 1 + а12

Таким образом, числа Млк(р1), I = 1,2, имеющие значения от 0 до 1 можно рассматривать в качестве характеристики уровня освоения обучающимся изучаемой темы по рассматриваемым факторам, равным значениям функций принадлежности нечетких множеств, соответствующих этим факторам. При этом, чем больше числа Млк(р1), I = 1, 2, тем выше оценка по соответствующему фактору.

Представим девятибалльную шкалу парных сравнений, в соответствии с которой будем оценивать преимущество обучающегося ог над обучающимся о2 по рассматриваемым факторам.

Таблица 1

Шкала парных сравнений

Степень преимущества Определение

1 Отсутствует преимущество о1 над о2.

2 Слабое преимущество о над о2.

3 Среднее преимущество ох над о2.

4 Преимущество о1 над о2 выше среднего.

5 Умеренно сильное преимущество о1 над о2.

6 Сильное преимущество о1 над о2.

7 Очень сильное преимущество о над о2.

8 Почти абсолютное преимущество о над о2.

9 Абсолютное преимущество о1 над о2.

82

Если преимущество О над О имеет одно из приведенных значений, то оценка преимущества о2 над ох будет иметь обратное значение. Например, если по критерию А2 о1 в 5 раз превосходит о2 , т.е., если а222 = 5, то а= ^.

Высказывания преподавателя относительно парных сравнений факторов, определяющих уровень освоения обучающимися О и о2 изучаемой темы, определяемые матрицами парных сравнений, и соответствующие им значения функций принадлежности нечетких множества приведены в таблице 2.

Таблица 2

Парные сравнения факторов

Фактор Парные сравнения Значения функций принадлежности

П Слабое преимущество о2 над о1 . Мп (°2 ) =0,33 Ип (О2) =0,67

У Преимущество О над о2 выше среднего. Му (О2) =0,8 Му (о2 ) =0,2

В Отсутствует преимущество О над о2 . Мв (о2 ) =0,5 Мв (о2 ) =0,5

Пр Почти абсолютное преимущество О над о2 . Мпр (О2) =0,89 Мпр (о2 ) =0,11

Т Среднее преимущество о2 над ох . Мт(ох ) =0,25 Мт (О2) =0,75

На следующем этапе для интегральной итоговой оценки уровня освоения обучающимися изучаемой темы руководствуемся принципом Беллмана-Заде [2], согласно которому решением является результат, у которого минимальное значение фактора (значений функций принадлежности) предложенной группы факторов максимально среди всех минимальных значений рассматриваемых вариантов. Таким образом, итоговое нечеткое множество определяется как результат пересечения нечетких множеств, для каждого из обучающихся. Поскольку в теории нечетких множеств операция пересечения соответствует минимуму функций принадлежностей по всем факторам, то, в соответствии со значениями функций принадлежности, приведенными в последнем столбце таблицы 2, получаем следующие численные Итоговые Оценки освоения обучающимися изучаемой темы: Обучающийся 1, ИО = 0,25; обучающийся 2, ИО = 0,11.

83

Полученные результаты показывают, что для приведенных парных сравнений первый обучающийся обладает более чем двукратным преимуществом в освоении изучаемой темы.

В случае же неравновесных факторов подобная задача решается аналогично, но с использованием коэффициентов относительной важности рассматриваемых факторов [5].

ВЫВОДЫ

«Недостаток рейтинговой системы — количество очков за то или иное учебное достижение назначается экспертным способом и может сильно варьироваться, отражая в своей произвольности вкусы и пристрастия, сложившиеся в разных педагогических колективах» [6].

По нашему мнению, использованием элементов Метода Анализа Иерархий и Нечеткой логики, этот недостаток можно если и не устранить, то, по крайней мере, свести его влияние к минимуму.

Список литературы

1. Апатова Н. В. Оценка освоения темы «матрица» при изучении дисциплины «математика для экономистов» с использованием теории нечетких множеств / Н. В. Апатова, А. И. Гапонов // Проблемы современного педагогического образования. - 2018. - Т. 59, № 1. - С. 47-56.

2. Zade L. A. Fuzzy sets / L. A. Zade // Information and control. - 1965. - Vol. 8, No. 3. - P. 338-353.

3. Леоненков А. В. Нечеткое моделирование в среде MATLAB и fuzzyTECH / А. В. Леоненков -СПб.: БХВ. Петербург, 2015. - 736 с.

4. Саати Т. Принятие решений. Метод анализа иерархий / Т. Саати. - М.: «Радио и связь», 1993. -278 с.

5. Ротштейн А. П. Нечеткий многокритериальный анализ вариантов с применением парных сравнений / А. П. Ротштейн, С. Д. Штовба // Известия РАН. Теория и системы управления. - 2001. - № 3. - С. 150-154.

6. Евсеев А. И. Разработка компьютерных средств обучения/ А. И. Евсеев, Е. А. Ахромушкин// [Электронный ресурс]. - URL http://www.znannya.org/?view=mark-standards-of-mastering (дата обращения: 21.05.2020).

THE PROBLEM OF OBJECTIVE ASSESSMENT OF THE STUDENT'S

KNOWLEDGE

Apatova N. V.1, Gaponov A. I.2

12Institute of Economics and Management of the V.I. Vernadsky Crimean Federal University, Simferopol, Republic of Crimea, Russian Federation E-maile: apatova@list.ru1, bal8996@mail.ru2

In the modern pedagogical literature a large number of works are devoted to the issue of evaluating students mastered knowledge. Ensuring the quality of diagnostics of the level of knowledge acquisition by students of educational organizations is based on an adequate, reasonable, acceptable and accessible mathematical apparatus. The adequacy and validity of the mathematical apparatus allows you to significantly reduce the influence

84

of the subjective factor on the assessment of knowledge acquisition and minimize objections to its application. On the other hand, acceptability makes it possible to use a specific situation under consideration as a diagnosis, taking into account only its inherent nuances. Accessibility also means the ability to use the proposed mathematical algorithm by teachers who have the necessary minimum of elements of the proposed mathematical apparatus.

The article considers the possibility of determining the level of development of the studied topic by students on the basis of five factors of knowledge acquisition: 1. Understanding; 2. Recognition; 3.Reproduction; 4. Application; 5. Creativity. In this case, the calculations are performed by using a simplified method of hierarchy analysis and fuzzy set theory in order to reduce the subjectivity inherent in the rating system of evaluation, the use of elements of the hierarchy analysis method and fuzzy logic is proposed.

The fuzzy set theory algorithm is implemented using the fuzzy Logic Toolbox application package of the MATLAB software environment. Using the method of hierarchy analysis is to aggregate scores based on the application of a matrix of paired comparisons. The synthesis of these methods allows us to obtain a fairly effective comparative assessment of students development of educational material.

On the basis of the considered methodology for evaluating students assimilation of educational material, it is suggested that it is possible to reduce the influence of a subjective factor to a minimum.

Keywords: factors of knowledge development, analysis of hierarchies, fuzzy sets.

References

1. Apatova N.V. and Gaponov A.I., Evaluation of the development of the theme "matrix" in the study of the discipline "mathematicsfor economists" using fuzzy set theory, Problems of modern pedagogical education, 59, 1, 47 (2018).

2. Zade L.A., Fuzzy sets, Information and control, 8, 3, 338 (1965).

3. Leonenkov A.V., Fuzzy modeling in MATLAB and fuzzyTECH, 736 p. (BKHV. Peterburg, SPb., 2015).

4. Saaty T.A., Conflict Resolution. The Analytic Hierarchy Process, 278 p. (Radio and communications, M., 1989).

5. Rotshteyn A.P. and Shtovba S.D., Fuzzy Multicriteria Analysis of Variants with the Use of Paired Comparisons, Journal of Russian Academy of Sciences. Theory and control systems, 3, 150 (2001).

6. Yevseyev A.I., Development of computer learning tools [electronic resource]. URL http://www.znannya.org/?view=mark-standards-of-mastering (date accessed: 21.05.2020).

85