Алгоритм и математическая модель комплексной оценки качества деятельности образовательных организаций Текст научной статьи по специальности «Науки об образовании»

УДК 519.7 ББК 74

Р.Р. ФАТХУЛЛИН, И Г. СИДОРКИНА

АЛГОРИТМ И МАТЕМАТИЧЕСКАЯ МОДЕЛЬ КОМПЛЕКСНОЙ ОЦЕНКИ КАЧЕСТВА ДЕЯТЕЛЬНОСТИ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ

Ключевые слова: оценка качества образования, информационная энтропия, свертка критериев, алгоритм оценки качества деятельности образовательных организаций, математическая модель оценки качества, образовательная квалиметрия.

Одной из ведущих тенденций развития образования в мире в настоящее время является создание системы комплексной оценки качества образования. Сегодня активно разрабатываются подходы к определению качества образования, исследуются различные его аспекты, индикаторы и показатели. Комплексная оценка качества деятельности образовательных организаций - это многоэтапная задача, для решения которой необходимо установить алгоритм и процедуру их оценки. В данной статье предложены алгоритм и математическая модель (квалиметрическая) комплексной оценки качества деятельности образовательных организаций региональной системы образования. Математическая модель основана на информационной энтропии и предусматривает использование свертки показателей качества в интегрированную комплексную оценку. При реализации данной математической модели могут вырасти такие важные качественные показатели комплексной оценки качества деятельности образовательных организаций, как объективность оценки, масштабируемость, простота и удобство использования. Полученные результаты могут широко использоваться при комплексной оценке качества деятельности образовательных организаций на различных уровнях и типах образования.

В субъектах Российской Федерации (РФ) в течение нескольких последних лет в рамках реализации целевых программ развития системы образования происходит активный процесс формирования региональной системы оценки качества образования (РСОКО), которая рассматривается как составная часть общероссийской системы оценки качества образования. РСОКО формируется как сбалансированная система оценочных технологий и процедур оценки качества образования, осуществляемых на различных уровнях и с участием различных субъектов РФ.

Под качеством образования следует понимать интегральную характеристику системы образования, отражающую степень соответствия реальных достигаемых образовательных результатов и условий обеспечения образовательного процесса личностным ожиданиям субъектов образования, социальным запросам и государственно-нормативным требованиям. Оценка качества образования подразумевает оценку качества деятельности образовательных организаций (ОО), муниципальных образовательных систем, образовательных программ, индивидуальных образовательных достижений и деятельности педагогических работников с учетом таких аспектов, как условия, процессы и результаты.

Таким образом, актуальной становится задача построения математической модели оценки качества деятельности системы региональных ОО, которая на более объективной основе предоставляла бы возможность управления

ОО субъекта РФ. Математическая модель - это «эквивалент объекта, отражающий в математической форме важнейшие его свойства - законы, которым он подчиняется, связи, присущие составляющим его частям, и т.д.» [4]. Обычно существует в триадах «модель-алгоритм-программа» [3].

Алгоритм математической модели оценки качества деятельности системы ОО с позиции оценки показателей качества состоит из следующих этапов (рис. 1).

Рис. 1. Алгоритм комплексной оценки качества ОО

1. Определение цели оценки. Оценка качества деятельности ОО может проводиться в разных целях. В зависимости от цели оценки меняются подходы к выбору показателей качества ОО. Так, например, при оценке качества образовательной деятельности на данном этапе возможно решение следующих задач: принятие обоснованных управленческих решений, выявление факторов, влияющих на повышение качества образования обучаемых, определение рейтинга ОО и стимулирующих выплат педагогическим работникам по результатам оценки и т.д. При этом важная задача мониторинговых исследований - собрать необходимую достоверную информацию для достижения данных целей.

2. Кластеризация ОО. При оценке качества деятельности ОО следует учитывать степень взаимосвязи (корреляции) объектов образовательной системы. Качество различных ОО, разделенных между собой по типу, территориально, количеству обучающихся и т.п., не рекомендуется сравнивать, так как в данном случае оценка будет необъективной. Поэтому необходимо вы-

явить ОО с высокой степенью взаимосвязи и объединить их в образовательные кластеры. Образовательный кластер представляет собой совокупность ОО, имеющих наиболее близкую степень взаимосвязи. Степень взаимосвязи характеризуется коэффициентом н.

Пусть задано конечное множество О элементарных объектов региональной образовательной системы. Под элементарными объектами о рассмотрим ОО, входящие в совокупность региональной системы образования. Объекты являются однородными и образуют множество:

О = {0ь02,...,0„}, (1)

где о - ОО; п - количество ОО исследуемой образовательной системы.

При оценке качества образования важным аспектом является однородность ОО по отношению друг к другу, т.е. они характеризуются определенной системой однотипных индикаторов и показателей. Исходную информацию о системе однородных ОО в образовательном кластере можно представить в виде следующей матрицы С :

С = О (а,); , = \Ы;} = (2)

где с, - образовательный кластер; ёС - максимальное количество ОО, входящих в один образовательный кластер; о,](с1) - ,-й объект/-го образовательного кластера; М - количество кластеров.

Для расчета степени взаимосвязи ОО предлагается использовать коэффициент множественной качественной конкордации [5]:

п п т

11 а ^

Ж (О) = 1 - ,=1 м И=1

Л Х/И

пт(т -1)

(3)

где X - значение нормированного показателя качества; п - количество ОО; т - количество показателей.

Расчет данного коэффициента позволяет сгруппировать ОО по кластерам в соответствии с выбранным пороговым значением коэффициента конкордации. Условие отбора однородных ОО по кластерам:

Но) (4)

где м>(о,) - коэффициент взаимосвязи; X - пороговое значение (коэффициент конкордации).

Л

С =

у ам

Л

(5)

где см - образовательный кластер; М - количество кластеров; N - количество ОО в кластере; ом^г - ОО М-го кластера.

Если для/-го ОО количество смежных с ним объектов меньше ёС, то оставшиеся элементы й строки матрицы С заменяются нулями.

о

о

о

12

а

о

о

о

2

21

22

о

о

о

MN

3. Определение номенклатуры показателей качества. Все ОО характеризуются системой показателей (количественные характеристики) х, характеризующих их свойства и степень взаимосвязи с другими ОО образовательной системы. Введем в рассмотрение вектор показателей X деятельности ОО, отражающий наиболее важные характеристики рассматриваемого объекта:

X = {хх , х2Хт }, (6)

где х - значение показателя качества; т - число показателей качества системы.

Матрица количественных характеристик:

X = {Ху; 7 = 1т у = (7)

где Ху - значение у-й количественной характеристики 7-го ОО; ^ - число характеристик; т - число показателей качества системы.

Исходную информацию о системе однородных ОО можно представить в виде следующей матрицы:

^х11 х12 ... х1т ^

X (7) =

х21 х22 ... х2т

(8)

V хп1 хп 2 ... хт

где X е Ят; 7 е Я1; Ят - т-мерное евклидово пространство; п - количество ОО; т - количество показателей качества ОО; ху - значение у-го показателя для 7-го ОО; 7 = 1, 2, ..., п; у = 1, 2, ..., т; 7 - момент времени, на который строится срез данных.

4. Определение значений базовых и единичных показателей качества. На данном этапе определяются значения базовых х* и единичных показателей х7 для каждого 7-го показателя качества. Обычно значения базовых показателей подбираются на основе выбора базового образца ОО. В случае если базовый образец по данному показателю определить сложно, необходимо назначить интервалы хшт и хтах допускаемого изменения значений абсолютных показателей отдельных характеристик объекта оценки.

5. Нормирование показателей качества. Оперировать с величинами (вычислять суммы, сравнивать друг с другом) можно только тогда, когда они соизмеримы, т.е. сведены к единой мере (в некоторых случаях нужно оценивать одновременно компьютеры и преподавателей, в других - квадратные метры школьных классов и часы, отведенные на практические занятия). Предлагается использовать подход на основе статистики качества [6]. Чтобы избежать данных несоответствий, оценки по показателям делают безразмерными, чтобы они принимали значения от 0 до 1, т.е. значение показателя разбивается на одно и то же число интервалов, и номер интервала, в который попадает значение показателя, определяет значение меры качества данного показателя. Один из способов нормирования по эталону, который имеет вид:

х'= 4, (9)

х*

где хг' - нормированное значение 7-го показателя; х** - эталонное значения 7-го показателя; х7 - значения 7-го показателя; 7 = 1, 2, ., т.

Часть показателей имеет негативное влияние. Следовательно, показатель требуется не максимизировать, а минимизировать. Например, показатель «численность выпускников 11 класса, получивших результаты ниже установленного минимального количества баллов»1. Тогда необходимо взять обратную величину, т.е. отношение эталонного значения к измеренному:

X=—. (10)

X

В случае если базовый показатель определить сложно, необходимо назначить интервалы хш1п и хтах допускаемого изменения значений абсолютных показателей отдельных характеристик объекта оценки:

х =■

„шах _ „ -М -М

/ / ...шт

(11)

X — X"

Х=_х_х-, (12)

.у-тах _гтт

где х7 - значения 7-го показателя; хгш1п, хшах - минимально и максимально возможные значения 7-го показателя качества, соответственно.

Получаем матрицу нормированных значений показателей качества:

х12 ... х1т ^

X' (7) =

х21 х22 ... х2и

(13)

V хп1 хп2 ... хт

где п - количество ОО; т - количество показателей качества; х'ц - значение

нормированного аналога качества 7-го показателя для]-й ОО; 7 - момент времени, на который строится срез данных.

6. Определение значимости показателей качества. На данном этапе в зависимости от выбора метода свертки показателей качества, выбирается способ определения значимости показателей качества.

6.1. Выбор метода нахождения коэффициентов весомости показателей качества. В данном случае используется метод определения значимости показателей качества через информационную энтропию. В других случаях способ определения значимости показателей качества зависит от выбора метода свертки показателей в комплексную оценку.

6.2. Расчет значимости показателей качества. Оценка качества ОО с помощью энтропии, т.е. с помощью оценки его неопределенности (неупорядоченности) имеет ценность в том, что чем больше «определенность» исследуемого образовательного объекта, тем больше известен объем информации об объекте образования. Следовательно, чем больше осуществляется взаимодействие с ним, тем качество данного образовательного объекта выше. Оценим качество ОО в единицах измерения количества информации (величины энтропии) [2].

1 Об утверждении показателей деятельности образовательной организации, подлежащей самообследованию: приказ Министерства образования и науки РФ от 28.01.2014 г. № 1324 // Рос. газета. Фед. выпуск. 2014. № 6310, 19 фев.

Для определения значимости показателей качества используем функцию информационной энтропии [7], зависящую от частоты появления события (собственная информация случайной величины). Энтропия - это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения [7]. Собственная информация -статистическая функция дискретной случайной величины. Собственная информация является случайной величиной, которую следует отличать от ее среднего значения - информационной энтропии. Определим энтропию случайной величины, введя предварительно понятия распределения случайной величины X, имеющей конечное число значений (индикаторов или показателей) [1]:

k,

Px(x,) = p, , p, >0, i = 1,2,...,m; (14)

K

m

I p, = 1, (15)

,=i

где PX - распределение случайной величины X; k, - относительная частота (вероятность) наступления события X; p, - количество благоприятного наступления события X; K - общее количество событий, и собственной информации:

I (X) = - log Px (X). (16)

По К. Шеннону, информационная энтропия H для независимых случайных событий x c m возможными состояниями (от 1 до m, где p - функция вероятности) рассчитывается по формуле [7]:

m

H(X) = E(I(X)) = -I p, log2 p,, (17)

,=1

или, что тождественно:

H (X) = Ip, log2 pi—1. (18)

,= I p, )

Энтропия является количеством, определенным в контексте вероятностной модели для источника данных. Заметим, что для источника информации, который генерирует данные, состоящие только из одинаковых показателей, энтропия равна нулю:

m

H (X) = -I log21 = 0. (19)

,=1

Смысл и результативность данной формулы не изменятся, если заменить логарифм по основанию два натуральным логарифмом, тогда информационная энтропия равна:

m i 1 1 m i 1 A

Hj (X) = Ip, log21 — I = cIp, lnl — (20)

,=1 I p,) ,=1 I p,)

где p, - вероятность наступления события; H(X) - количество информации о событии (информационная энтропия, значимость) j-го показателя качества; j - порядковый номер показателя для ,-го образовательного объекта.

Величина Н(Х) дает количество информации о событии, вероятность наступления которого равна р,. Таким образом, количество информации о событии определяется как величина, обратно пропорциональная вероятности наступления события. Итак, информация и энтропия - понятия, которые, с одной стороны, представляют объективные характеристики процессов и явлений образовательных объектов, с другой - отражают потребности человека и, следовательно, могут быть использованы для характеристики качества ОО.

7. Расчет комплексной оценки уровня качества ОО. ОО как система характеризуется интегральным показателем качества, который нельзя непосредственно вывести из отдельных показателей деятельности, образующих ее, и не является просто суммой данных компонентов. В данном методе интегральное качество ОО на данном этапе его функционирования находится не как простая сумма качеств ее элементов, а ранжируется как интегральная сумма вида:

т

Ч, = У ,, (21)

]=1

где д, - интегральная оценка ,-й ОО; х] - значение нормированного показателя качества (нормированная оценка) ,-го объекта по ]-му показателю; Н] -некоторый коэффициент, который зависит от степени влияния каждого образовательного фактора и который является тем самым не субъективным (назначенным экспертом), а объективным, полученным из статистических зависимостей коэффициентом значимости каждой характеристики на данном этапе функционирования образовательной системы; т - количество показателей оценки образовательного объекта.

Матрицу оценок однородных объектов образовательной системы можно представить в следующем виде:

б = [д,];, = 1М;] = (22)

где ч,] - интегральная оценка ]-й ОО ,-го образовательного кластера; ^ - количество ОО в ,-м образовательном кластере; М - число образовательных кластеров.

На основании выражений (1)-(22) получаем математическую модель оценки показателей качества деятельности системы однородных ОО:

а х ')=1

( т Ъ Г гЛ\

У^ 1п £ К

К к

V ] ^J

х', (23)

где К - общее число событий (К = т); к] - число благоприятного наступления события X; х] - значение нормированного показателя качества; п - количество ОО; т - количество показателей качества.

8. Анализ полученной оценки качества ОО и принятие решения.

Выводы. В работе предложен алгоритм комплексной оценки качества деятельности ОО, включающий в себя следующие этапы: определение цели оценки качества образования, кластеризацию ОО, выбор номенклатуры пока-

зателей качества, определение значений и нормирование показателей качества, определение значимости показателей качества, расчет комплексной оценки для каждой ОО, а также анализ полученной информации. На основе предложенного алгоритма оценки разработана универсальная математическая (квалиметрическая) модель оценки качества деятельности ОО, основанная на информационной энтропии, позволяющая представить в комплексном виде всю региональную систему образования в различных сферах образовательной деятельности, как в целом по субъекту РФ, так и муниципальному образованию и отдельным ОО региона.

Литература

1. Габидулин Э.М., Пилипчук Н.И. Лекции по теории информации. М.: МФТИ, 2007. 214 с.

2. Денисова А.Л., Зайцев Е.В., Молоткова Н.В. Информационная основа потребительской оценки товаров и услуг: современные методы и подходы [Электронный ресурс]. URL: Доступ: http://window.edu.ru/catalog/pdf2txt/019/38019/15817?p_page=2 (Дата обращения: 20.06.2016).

3. Самарский А.А., Михайлов А.П. Математическое моделирование: Идеи. Методы. Примеры. 2-е изд., испр. М.: Физматлит, 2001. 320 с.

4. СоветовБ.Я., Яковлев С.А. Моделирование систем. 3-е изд., перераб. и доп. М.: Высш. шк., 2001. 343 с.

5. Фатхуллин Р.Р. Топометрика сходства образовательных объектов // Электронное обучение в непрерывном образовании 2015: сб. науч. тр. II Междунар. науч.-практ. конф. (Россия, Ульяновск, 16-18 марта 2015 г): в 2 т. / Ульяновск: Изд-во УлГТУ, 2015. Т. 2. С. 170-174.

6. Фатхуллин Р.Р. Обоснование инвариантности решений, основанных на образовательной квалиметрии и теории нейронных сетей при оценке качества деятельности образовательных организаций // NB: Кибернетика и программирование. 2014. № 6. С. 33-73. DOI: 10.7256/2306-4196.2014.6.13477. URL: http://e-notabene.ru/kp/article_13477.html.

7. Шеннон К. Работы по теории информации и кибернетике. М.: Изд-во иностр. лит.,

2002.

ФАТХУЛЛИН РОБЕРТ РИФОВИЧ - аспирант кафедры прикладной математики и информатики, Марийский государственный университет, Россия, Йошкар-Ола 1in.robert@gmai1. ги).

СИДОРКИНА ИРИНА ГЕННАДЬЕВНА - доктор технических наук, профессор кафедры информационной безопасности, Поволжский государственный технологический университет, Россия, Йошкар-Ола (igs592000@mai1.ru)._

R. FATKHULLIN, I SIDORKINA ALGORITHM AND MATHEMATICAL MODEL OF COMPLEX QUALITY ASSESSMENT OF EDUCATIONAL ORGANIZATIONS

Key words: quality assessment of education, informational entropy, criteria convolution, quality assessment algorithm of educational organizations, mathematical model of quality assessment, educational qualimetry.

One of the major trends in the development of education in the world at the moment is to create a comprehensive system of quality assessment of education. Today approaches to determining the quality of education are actively developed, its various aspects, indicators and indices are investigated. The integrated assessment of the effectiveness of educational institutions is a multi criteria problem for which solution it is necessary to establish criteria and procedures for its evaluation. In this article, the algorithm and mathematical model (qualimetric) the comprehensive quality assessment of educational organi-

zations of the regional education system are proposed. The mathematical model is based on the information entropy, and involves the use of convolution quality indicators into the integrated comprehensive assessment. During the realization of this mathematical model such important quality indicators of complex assessment of the activity quality of educational organizations as objectivity of assessment, scalability, simplicity and usability can grow. The obtained results can be widely used in the integrated quality assessment of educational organizations at the various levels of education.

References

1. Gabidulin E.M., Pilipchuk N.I. Lektsii po teorii informatsii [Lectures on the theory of information]. Moscow, MFTI Publ., 2007, 214 p.

2. Denisova A.L., Zaitsev E.V., Molotkova N.V. Informatsionnaya osnova potrebitel'skoi ot-senki tovarov i uslug: sovremennye metody i podkhody [Information-based consumer evaluations of products and services: modern methods and approaches]. Available at: http://window.edu.ru/cata-log/pdf2txt/019/38019/15817?p_page=2 (Accessed 20 June 2011).

3. Samarskii A.A., Mikhailov A.P. Matematicheskoe modelirovanie: Idei. Metody. Primery. 2-e izd., ispr. [Mathematical modeling: Ideas. Methods. Examples. 2nd ed.]. Moscow, Fizmatlit Publ., 2001, 320 p.

4. Sovetov B.Ya., Yakovlev S.A. Modelirovanie sistem. 3-e izd., pererab. i dop. [Modeling of systems]. Moscow, Vysshaya shkola Publ., 2001, 343 p.

5. Fatkhullin R.R. Topometrika skhodstva obrazovatel'nykh ob"ektov [Topometric similarities of educational facilities]. Elektronnoe obuchenie v nepreryvnom obrazovanii 2015: sb. nauch. tr. II Mezhdunar. nauch.-prakt. konf. (Rossiya, Ul'yanovsk, 16-18 marta 2015 g): v 2 t. [Proc. of Int. Proc. «E-learning in continuing education 2015»]. Ul'yanovsk, 2015, vol. 2, pp. 170-174.

6. Fatkhullin R.R. Obosnovanie invariantnosti reshenii osnovannykh na obrazovatel'noi kvali-metrii i teorii neironnykh seteipri otsenke kachestva deyatel'nosti obrazovatel'nykh organizatsii [Justification invariance solutions based on educational qualimetry and neural net theory in quality assessment of activities educational organizations]. NB: Kibernetika iprogrammirovanie [Cybernetics and programming], 2014, no. 6, pp. 33-73. DOI: 10.7256/2306-4196.2014.6.13477. Available at: http://e-notabene.ru/kp/article_13477.html.

7. Shennon K. Raboty po teorii informatsii i kibernetike [Work on the theory of information and Cybernetics]. Moscow, 2002.

FATKHULLIN ROBERT - Post-Graduate Student of Applied Mathematics and Informatics Department, Mari State University, Russia, Yoshkar-Ola.

SIDORKINA IRINA - Doctor of Technical Sciences, Professor of Information Security Department, Volga State University of Technology, Russia, Yoshkar-Ola.

Ссылка на статью: Фатхуллин Р.Р., Сидоркина И.Г. Алгоритм и математическая модель комплексной оценки качества деятельности образовательных организаций // Вестник Чувашского университета. - 2016. - № 3. - С. 227-235.