CC BY
10Научная статья УДК 338.2, 373.1
doi: 10.34822/2312-3419-2022-3-46-53
НЕЧЕТКО-МНОЖЕСТВЕННАЯ МЕТОДИКА КОМПЛЕКСНОЙ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ
Валерия Александровна Безуевская1, Татьяна Александровна Грошева
1 Сургутский государственный университет, Сургут, Россия 2Югорский государственный университет, Ханты-Мансийск, Россия 11114@surgu.ru, https://orcid.org/0000-0002-5744-0811 2t_grosheva@ugrasu.ruhttps://orcid.org/0000-0002-4248-052X
Аннотация. Предложена нечетко-множественная методика комплексной оценки качества образовательных результатов обучающихся общеобразовательных организаций, представляющая собой модификацию спектр-балльной методики, разработанной и реализуемой в Ханты-Мансийском автономном округе - Югре с 2017 года. Представленная нечетко-множественная методика построения «оценки индекса образовательных результатов» и «оценки индекса социального благополучия школ» позволяет рассчитать комплексные оценки каждого индекса не обычным усреднением, а агрегированием числовых значений их показателей на основе системы нечетко-логических выводов. Существенно, что при этом происходит ранжирование образовательных учреждений и лингвистическое распознавание термов уже на этапе рассмотрения каждого из показателей. Разбиение универсальных множеств лингвистических переменных на термы осуществляется таким образом, что при этом происходит автоматическое разделение образовательных учреждений на квартили в соответствии с исходной спектр-балльной методикой. Модификация методики включает в себя также обоснованный выбор весовых коэффициентов показателей посредством использования схемы попарных сравнений на основе усреднения группы экспертных оценок. Предложенная методика может быть легко реализована в программное обеспечение.
Ключевые слова: оценка качества, менеджмент образования, лингвистическая переменная Финансирование: статья подготовлена на основе результатов исследований, проводимых в рамках государственного задания Ханты-Мансийского автономного округа - Югры на выполнение научно-исследовательской работы «Разработка типовых решений внедрения и сопровождения лин-технологий в организациях образования и здравоохранения округа».
Для цитирования: Безуевская В. А., Грошева Т. А. Нечетко-множественная методика комплексной оценки качества образовательных результатов // Вестник Сургутского государственного университета. 2022. № 3 (37). С. 46-53. DOI 10.34822/2312-3419-2022-3-46-53.
Original article
FUZZY-MULTIPLE METHODOLOGY OF A COMPREHENSIVE ASSESSMENT OF THE QUALITY OF EDUCATIONAL PERFORMANCE
Valeriya A. Bezuevskaya1, Tatyana A. Groshevaш
1Surgut State University, Surgut, Russia 2Yugra State University, Khanty-Mansiysk, Russia 11114@surgu.ru, https://orcid.org/0000-0002-5744-0811 2t_grosheva@ugrasu.ruhttps://orcid.org/0000-0002-4248-052X
Abstract. The article proposes fuzzy-multiple methodology for а comprehensive assessment of the quality of educational performance of students in general educational institutions. The methodology is a modification of spectrum-point-based methodology developed and implemented in the Khanty-Mansi Autonomous Okrug - Ugra since 2017. The presented fuzzy-multiple methodology of constructing the "edu-
cational results index assessment" and the "school social well-being index assessment" makes it possible to calculate the complex estimates of each index not by ordinary averaging, but by aggregating numerical values of their indicators based on a system of fuzzy logical conclusions. At the same time, a significant process occurs: educational institutions are being ranked and linguistic recognition of terms is at the stage of consideration of each indicator. The division of universal sets of linguistic variables into terms is carried out in such a way that the educational institutions are automatically divided into quartiles according to the original spectrum-point-based methodology. Modification of the methodology also includes reasonable selection of the weight ration indicators using a pairwise comparison scheme based on averaging of a group of expert assessments. The proposed methodology can be easily implemented as software.
Keywords: quality assessment, educational management, linguistic variable
Funding: the article was prepared based on the results of research carried out within the framework of the State order of the Khanty-Mansi Autonomous Okrug - Ugra to conduct the research on the topic "Development of standard solutions for the introduction and support of lean technologies in educational and healthcare organizations of the Okrug".
For citation: Bezuevskaya V. A., Grosheva T. A. Fuzzy-Multiple Methodology of a Comprehensive Assessment of the Quality of Educational Performance // Surgut State University Journal. 2022. No. 3 (37). P. 46-53. DOI 10.34822/2312-3419-2022-3-46-53.
ВВЕДЕНИЕ
Начиная с 2017 г. в Ханты-Мансийском автономном округе - Югре на системной основе реализуется разработанная при участии авторов настоящей статьи комплексная оценка качества образовательных результатов обучающихся образовательных организаций [1]. Ключевая задача оценки - идентификация (на уровне региона) школ со стабильно высокими и стабильно низкими образовательными результатами, которая является задачей федерального уровня, реализуется в большинстве субъектов России и остается актуальной на текущий момент. Более ранние научные исследования авторов [2] представляют результаты анализа организационно-управленческих механизмов комплексной оценки с позиции подходов «бережливого региона». В продолжение исследования в статье рассматриваются непосредственно сама методика оценки и потенциал ее совершенствования на основе системы нечетко-логических выводов.
В системе российского индекса научного цитирования (далее - РИНЦ) за период 2017-2022 гг. содержится более 1400 исследований, связанных с методикой оценки качества образования. В работах рассматриваются различные уровни образования, начиная с дошкольного и заканчивая высшим. Наиболее часто поднимаются вопросы цифровизации и использования цифрового следа в контексте комплексных оценок каче-
ства, роли и значимости социологических опросов при проведении оценки, а также учета контекстных данных (социального благополучия организаций). Так, при анализе подходов к оценке качества дошкольного образования региона С. А. Тихонина и соавт. [3] акцентируют внимание на преимуществах инструментов шкал ECERS-R, позволяющих оценивать образовательную среду по стандартным компонентам.
В статье И. М. Реморенко [4] поднимается проблема состава показателей в методиках оценки качества образования, их нормирования и интерпретации полученных на их основе усредненных результатов; предлагается при проведении оценки качества образования использовать различные (альтернативные) подходы, на основании совокупности которых интерпретируются результаты и принимаются комплексные управленческие решения.
В работе С. Л. Данильченко [5] отмечается неоднородность и многоаспектность «комплексности» при оценке качества образования; в качестве ключевых областей комплексной оценки выделяются: результаты образования учащихся, совокупные результаты деятельности образовательной организации (например, сохранность контингента), социальные последствия работы организации (репутация, вклад в развитие местного сообщества) и т. п. Исследование определяет приоритетом оценки качества ее механизм (как совокупность оцениваемых областей),
а также инструмент процесса оценки - цифровой конструктор. При этом проблемы «пересечения» областей оценки, причинно-следственных связей, разграничения основных и контекстных данных остаются за пределами анализа.
Необходимо отметить, что ключевые проблемы интерпретации и использования результатов комплексной оценки качества образовательных результатов обучающихся образовательных организаций Ханты-Мансийского автономного округа - Югры (далее -комплексная оценка образования Югры) связаны именно с используемой методикой оценки как в части альтернативности ее отдельных аспектов, так и в части разграничения и корреляции основных оцениваемых и контекстных данных.
За шесть лет своего развития методика комплексной оценки образования Югры претерпела как серию изначально предопределенных изменений, так и ряд существенных трансформаций, среди которых:
- ежегодный пересмотр состава показателей оценки в зависимости от количества и емкости (охвата обучающихся) проводимых за год, предшествующий оценке, оценочных процедур (например, исключение из оценки результатов основного государственного экзамена за 2019-2020 учебный год в период пандемии);
- изменение количества и состава групп оцениваемых организаций (от двух групп -сельские малокомплектные и иные школы в 2017 г. до семи групп, среди которых только с 2021 г. выделена отдельная группа -«организации, имеющие особенности осуществления образовательной деятельности»: колледжи, кадетские школы, православные гимназии, школы творческой и спортивной направленности);
- уточнение подходов и усложнение критериев выделений школ «группы риска», в том числе через анализ отклонений среднеарифметических и среднегеометрических показателей;
- установление требования по исключению из оценки данных, относимых к необъективным по результатам внешних независимых оценочных процедур.
Неизменными на протяжении всех лет проведения комплексной оценки образования Югры остаются принципы оценки, а также используемые критерии, группы показателей и алгоритмы формирования результата.
Необходимо отметить, что изначально методикой комплексной оценки образования Югры разграничены критерии идентификации (показатели, на основании которых комплексно оцениваются образовательные результаты обучающихся школ) и критерии контекстного анализа (социальные условия работы школы, тип образовательной организации и ее кадровый состав), с использованием которых интерпретируются полученные результаты и разрабатывается комплекс управленческих решений по повышению качества образования. Комплексность проводимой оценки не допускает «смешения» показателей идентификации и контекстуали-зации в единый совокупный индекс.
Используемая в Югре методика комплексной оценки образования представляет собой пример спектр-балльной методики оценки, ключевыми параметрами которой являются:
- декомпозиция используемых критериев оценки на показатели через установленные укрупненные группы показателей (подиндексы), например, по критерию идентификации «Устойчивость образовательных результатов» подгруппа показателей «Олимпиады и конкурсы» представлена тремя показателями, отражающими как охват участия в олимпиадах, так и его результативность;
- обоснование устойчивости итоговых результатов за счет включения в оценку показателей по трем учебным годам, предшествующим проведению оценочной процедуры;
- введение весовых коэффициентов для групп показателей в зависимости от их значимости (основные или вспомогательные);
- использование индексного метода формирования итогового результата с нормированием по фактическим значениям показателей.
Согласно методике итоговый индекс образовательных результатов для каждой образовательной организации принимает значения от 0 до 1 и формируется на основе значений пяти подиндексов, взвешенных с учетом установленных весовых коэффициентов.
По значению итогового индекса школы формируются в списки от меньшего значения к большему и выделяются в квартили в разрезе семи типов организаций. Именно на основании квартилей идентифицируются школы со стабильно высокими и низкими образовательными результатами.
Таким образом, в рамках используемой методики комплексной оценки образования Югры четко проводятся разграничения основных оцениваемых и контекстных данных. Первые используются для проведения оценки и формирования итогового комплексного показателя, а вторые - для уточнения полученных данных, интерпретации и использования результатов оценки.
Проблемой комплексной оценки по рассматриваемой методике остается ее недостаточная вариативность, затрудняющая общественную и управленческую оценку значимости полученных результатов. Целью настоящего исследования является разработка нечетко-множественной модификации методики комплексной оценки качества образовательных результатов обучающихся образовательных организаций Ханты-Мансийского автономного округа - Югры, устраняющая выявленные недостатки.
МАТЕРИАЛЫ И МЕТОДЫ
В целях повышения универсальности методики, а также ее вариативности, на основе анализа исследований по теории нечетких множеств и ее практического применения в сравнительных измерениях [6-11] предложена ее нечетко-множественная модификация, включающая в себя несколько этапов [8]:
1-й этап. Формирование списка исследуемых показателей для образовательных учреждений.
2-й этап:
2.1. Вычисление индексов показателей по формулам (1) - (6) и их нормирование путем выбора линейной зависимости, переводящей наибольшее значение показателя по исследуемой группе образовательных учреждений в единицу, а наименьшее - в ноль.
2.2. Вычисление объемов квартилей, а также их границ по формулам:
MK = [М4],
(1)
где MK - целая часть от деления числа образовательных учреждений М на 4;
М1 = МК +1; M2 = 2 х MK + 1; M3 = 3 х MK + 1; М4 = М.
(2)
где М1, М2, М3, М4 - границы квартилей.
2.3. Ранжирование полученных значений в порядке возрастания, нахождение границ термов по формулам:
A1 = 0,5 (XM1 + XM1 + 1); A2 = 0,5 (Xm2 + Xm2 + 1); A3 = 0,5 (Хмз + Хмз + 1),
(3)
где А1, А2, А3 - границы термов;
XM1, XM2, XM2 - граничные значения показателя Х.
Таким образом, осуществляется автоматическое разбиение образовательных учреждений на квартили в соответствии с исходной методикой.
Этап 3. Определение весовых коэффициентов показателей внутри групп, а также весов каждой из групп на основе нечетко-множественного метода попарных соотношений [10]. Для построения весовых коэффициентов предлагается использовать группу из п экспертов. На первом этапе каждый из экспертов должен определить парные соотношения:
1, V > V,
m = s ,
у 10, v ^V,, i, j — I,---, k
(4)
где д - количественная оценка значимости
/-го показателя,
k - количество показателей в группе. Тогда экспертная оценка весового коэффициента /-го показателя внутри группы вычисляется по формуле:
ш. =
к
I
1=1
m,.,.
ij к к
(5)
II
г=1 1=1
m
Тогда весовой коэффициент /-го показателя в группе вычисляется осреднением полученных весовых коэффициентов по группе экспертов:
1 п
щ =1X щ,1=1'-'к• (6) п ]=1
Аналогично определяются весовые коэффициенты групп. Тогда итоговые весовые коэффициенты показателей вычисляются перемножением их весовых коэффициентов внутри групп на весовые коэффициенты соответствующих групп.
Этап 4. Оценка значений показателей на основе теории нечетких множеств. Вводятся лингвистические переменные ^ = «оценка индекса образовательных результатов» и = «оценка индекса социального благополучия школ». Универсальным множеством для пе-
ременной g является отрезок [0,1], а множеством значений переменной g - терм-множество О=(, О, О, О}, где О = «низкий результат»; О = «результат ниже среднего»; О3 = «результат выше среднего»; О = «высокий результат».
Каждый терм из множества ( является именем нечеткого подмножества на отрезке [0,1], причем каждое нечеткое подмножество представляет собой нечеткое трапециевидное число (рис. 1). Соответствующие функции принадлежности заданы в табл. 1.
Терм Gi Функция принадлежности нечеткого множества Gi
Gl - «низкий результат» M = 1, 0 < g < 0,9 A 5 / ч --(g -0,9Ai), 0,9A < g < 1,1Ai { A1
G2 - «результат ниже среднего» Mi = 5(g - 0,9 a ), 0,9 a < g < 11A = 1,1,14 < g < 0,9A -A(g - 0,9Ai ), 0,9Ai < g < 1,14 A2
Gз - «результат выше среднего» Mi =< — (g - 0,9A2 ), 0,9 A2 < g < 1,1A2 A2 1, 1,1A2 < g < 0,9A3 - — (g - 0,9A4 ), 0,9 A3 < g < 1,1A4 A3
Рис. 1. Функции принадлежности подмножеств терм-множества g
Примечание: составлено авторами.
Таблица 1
Функции принадлежности подмножеств терм-множества G
Окончание табл. 1
Терм Gi Функция принадлежности нечеткого множества Gi
G4 - «высокий результат» V =■ — (g -0,9A ), 0,9A < g < 1,1 A A 1, 1,1A < g < 1
Примечание: составлено авторами.
Каждое нормированное значение показателя, вычисленное по формулам (1) - (6), является числовой переменной, принимающей свои значения на промежутке [0,1]. Тогда каждая из этих числовых переменных представляет собой множество, являющееся носителем лингвистической переменной Вг, состоящей из следующих термов:
В = «низкий уровень показателя X. »;
2 = «уровень показателя Х; ниже среднего»; Вг3 = «уровень показателя X. выше среднего»; Вг4 = «высокий уровень показателя Х». Каждая лингвистическая переменная Вг имеет трапециевидную функцию принадлежности, которая описывается рис. 1 и табл. 1.
Для формирования правила перехода от нормированных значений показателей Х-к высказываниям о g1 = «оценке индекса образовательных результатов» и = «оценке индекса социального благополучия школ» О - О, О, О3, О4 } учитываются веса показателей, рассчитанные на этапе 3. Согласно теории нечетких множеств, правило перехода от значений показателей Х- к весам термов лингвистических переменных g1, имеет вид:
N
р,, (7)
г=1
где - значение функций принадлежности
соответствующих термов;
N - количество показателей в группе. Вычислив веса термов по формуле (7) лингвистических переменных О, получим значения самих переменных £, £2 по формуле:
4
£ = Е р, • , (8)
где - середина промежутка, который является носителем терма ( ,ау4].
Значение функции принадлежности будем рассматривать как меру истинности терма ( . Например, если было установлено, что £ - 0,52, то отличную от нуля функцию принадлежности имеют два терма: ( = «результат ниже среднего» и ( = «результат выше среднего». При этом
д (0,52) - 0,3,
Дз (0,52) - 0,7 . Следовательно, для £ - 0,52
высказывание «оценка индекса «результат выше среднего» является более истинным, чем «результат ниже среднего».
Таким образом, на основании полученных значений лингвистической переменной £ можно построить £ = «оценку индекса образовательных результатов» и £ = «оценку индекса социального благополучия школ». Итоговая оценка каждой из школ может быть получена агрегированием двух полученных оценок на основе вышеописанной схемы.
РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ
Построенная методика «оценки индекса образовательных результатов» и «оценки индекса социального благополучия школ» позволяет рассчитать комплексные оценки каждого из индекса не усреднением, а нечетко-множественным агрегированием числовых значений показателей. Существенно, что при этом происходит ранжирование образовательных учреждений и лингвистическое распознавание термов уже на этапе рассмотрения каждого из показателей. Кроме того, разбиение универсального множества на термы осуществляется таким образом, что
при этом происходит автоматическое разделение образовательных учреждений на квартили. Модификация исходной методики включает в себя также выбор весовых коэффициентов показателей за счет их попарных сравнений на основе экспертных оценок. Методика допускает варьирование списка показателей и перенос на другие регионы и муниципальные образования. Таким образом, нечетко-множественная модификация методики комплексной оценки качества образовательных результатов позволяет научно обоснованным способом решить проблему, обозначенную исследователями ранее [4] и связанную с необходимостью одновременного применения альтернативных подходов, на основании совокупности которых интерпретируются результаты и принимаются комплексные управленческие решения в области оценки качества образования.
Список источников
1. Методика комплексной оценки качества образовательных результатов обучающихся образовательных организаций, расположенных на территории Ханты-Мансийского автономного округа -Югры на 2022 год. URL: https://iro86.ru/images/ Методика_2022^ (дата обращения: 20.08.2022).
2. Грошева Т. А., Дивеева Г. В. Реализация подходов «бережливого региона» в развитии системы оценки качества образования Ханты-Мансийского автономного округа - Югры // Вестн. Югорск. гос. ун-та. 2022. № 1 (64). С. 147-154.
3. Тихонина С. А., Клочкова Т. Н., Шрайнер О. В. О роли социологических исследований в оценке качества дошкольного образования в регионе // Миссия конфессий. 2020. Т. 9, № 7 (48). С. 796-803.
4. Реморенко И. М., Зададаев С. А. Качество общего образования о методиках и результатах интерпретируемой оценки // Образоват. политика. 2020. № 3 (83). С. 32-37.
5. Данильченко С. Л. Комплексная система оценки качества образования как совокупность организационной структуры, методик, процессов и ресурсов // Междунар. журн. экспериментал. образования. 2017. № 3-2. С. 179-184.
6. Заде Л. А. Понятие лингвистической переменной и его применение к принятию приближенных решений. М. : Мир, 1976. 165 с.
7. Kramarov S., Temkin I., Khramov V. The Principles of Formation of United Geo-Informational Space Based on Fuzzy Triangulation // Procedia Computer Science. 2017. No. 120. P. 835-843.
ЗАКЛЮЧЕНИЕ
Предложен новый подход к построению оценки результативности и качества образования на основе применения алгоритмов и методов нечеткой логики. Предложенное решение позволяет значительно повысить вариативность в интерпретации, а также общественной и управленческой оценки образовательных результатов.
Проведенный анализ позволяет интерпретировать результаты и принимать комплексные управленческие решения в области оценки качества образования. Дальнейшие изыскания будут направлены на разработку теоретических положений применения предложенной методики с использованием искусственного интеллекта для прогнозирования развития региональной системы общего образования.
References
1. Metodika kompleksnoi otsenki kachestva obra-zovatelnykh resultatov obuchaiushchikhsia obra-zovatelnykh organizatsii, raspolozhennykh na terri-torii Khanty-Mansiiskogo avtonomnogo okruga -Iugry na 2022 god. URL: https://iro86.ru/images/ MerogHKa_2022.pdf (accessed: 20.08.2022). (In Russian).
2. Grosheva T. A., Diveeva G. V. Implementation of the Approaches of the "Lean Region" in the Development of the System for Assessing the Quality of Education of the Khanty-Mansi Autonomous Okrug - Ugra // Ugra State University Bulletin. 2022. No. 1 (64). P. 147-154. (In Russian).
3. Tikhonina S. A., Klochkova T. N., Shrainer O. V. On the Role of Sociological Research in Assessing the Quality of Preschool Education in the Region // Mission Confessions. 2020. Vol. 9, No. 7 (48). P. 796-803. (In Russian).
4. Remorenko I. M., Zadadaev S. A. General Education Quality about Methods and Results of the Interpreted Assessment // Educational Policy. 2020. No. 3 (83). P. 32-37. (In Russian).
5. Danilchenko S. L. Kompleksnaia sistema otsenki kachestva obrazovaniia kak sovokupnost organi-zatsionnoi struktury, metodik, protsessov i resursov // International Journal of Experimental Education. 2017. No. 3-2. P. 179-184. (In Russian).
6. Zade L. A. Poniatie lingvisticheskoi peremennoi i ego primenenie k priniatiiu priblizhennykh reshenii. Moscow : Mir, 1976. 165 p. (In Russian).
7. Kramarov S., Temkin I., Khramov V. The Principles of Formation of United Geo-Informational Space
8. Крамаров С. О., Сахарова Л. В., Храмов В. В. Мягкие вычисления в менеджменте: управление сложными многофакторными системами на основе нечетких аналог-контроллеров // Науч. вестн. Южного ин-та менеджмента. 2017. № 3. С. 42-51.
9. Блюмин С. Л., Шуйкова И. А., Сараев П. В., Черпаков И. В. Нечеткая логика: алгебраические основы и приложения : моногр. Липецк, 2002. 111 с.
10. Конышева Л. К., Назаров Д. М. Основы теории нечетких множеств. СПб. : Питер, 2011. 192 с.
11. Нестерова С. И., Лукша С. В. Применение многомерного сравнительного анализа в оценке финансового состояния нефтеперерабатывающей организации // Вестн. Междунар. ин-та рынка. 2018. № 2. С. 36-42.
Информация об авторах
В. А. Безуевская - кандидат педагогических наук. Т. А. Грошева - кандидат экономических наук, доцент.
Based on Fuzzy Triangulation // Procedia Computer Science. 2017. No. 120. P. 835-843.
8. Kramarov S. O., Sakharova L. V., Khramov V. V. Soft Computing in Management: Management of Complex Multivariate Systems Based on Fuzzy Analog Controllers // Scientific Bulletin of the Southern Institute of Management. 2017. No. 3. P. 42-51. (In Russian).
9. Blyumin S. L., Shuikova I. A., Saraev P. V., Cherpakov I. V. Nechetkaia logika: algebraicheskie osnovy i prilozheniia : Monograph. Lipetsk, 2002. 111 p. (In Russian).
10. Konysheva L. K., Nazarov D. M. Osnovy teorii nechetkikh mnozhestv. St. Petersburg : Piter, 2011. 192 p. (In Russian).
11. Nesterova S. I., Luksha S. V. The Application of Multivariate Comparative Analysis in Assessing the Financial Condition of the Refining Organization // Vestn. Mezhdunar. in-ta rynka. 2018. No. 2. P. 36-42. (In Russian).
Information about the authors
V. A. Bezuevskaya - Candidate of Sciences (Education). T. А. Grosheva - Candidate of Sciences (Economics), Associate Professor.
