CC BY
44
УДК 519.81
Схема расчета интегральных показателей эффективности региональной системы образования
© Цыбиков Анатолий Сергеевич
кандидат педагогических наук, старший преподаватель кафедры информационных технологий Бурятского
государственного университета
Россия, 670000, г. Улан-Удэ, ул. Ранжурова, 5
E-mail: cas313@rambler.ru
© Фомицкая Галина Николаевна
доктор педагогических наук, доцент, ректор Бурятского республиканского института образовательной политики
Россия, 670000, Улан-Удэ, ул. Советская, 30 E-mail: galinaf1961@mail.ru
Работа посвящена совершенствованию информационной системы комплексной оценки эффективности региональной системы образования (КОЭРСО) на основе разработки нового алгоритма расчета интегральных показателей. Применяется дельфийский метод экспертных оценок и метод весовых коэффициентов для учета уровней компетентности экспертов и степени значимости первичных индикаторов по отношению к интегральному показателю. В разработанной нами схеме расчета ИП применяются только стандартные и общепризнанные методы. Схема ориентирована на повышение информативности, чувствительности и гибкости ИП. Алгоритм расчета состоит из 5 шагов, при котором шаги 3 и 4 могут циклически повторяться в зависимости от уровня согласованности мнений экспертов. Таким образом, информационная система КОЭРСО может быть модифицирована на основе практического внедрения данного алгоритма. Что касается автоматизации, то процедура экспертного опроса может быть реализована в виде дополнительного специального модуля к системе.
Ключевые слова: интегральный показатель эффективности системы образования, экспертное оценивание, метод весовых коэффициентов.
Scheme of calculation of integral effectiveness indicators of the regional education system
Anatoly S. Tsybikov
PhD in Education, Senior lecturer, Department of Information Technology, Buryat State University 5 Ranzhurova St., Ulan-Ude, 670000 Russia
Galina N. Fomitskaya
EdD, Rector of Buryat Republic Institute for Education Policy 30 Sovetskaya St., Ulan-Ude, 670000 Russia
The work is dedicated to the improvement of information system of integrated assessment of the effectiveness of the regional education system through the development of a new algorithm for calculation integral indicators. The Delphi method of expert evaluations and the method of weighting coefficients are used to account the experts' levels of competence and the degree of importance of the primary indicators against the integral indicator. In the scheme of calculation of SP developed by us only the standard and conventional methods are applied. The scheme is focused on increase of informational content, sensitivity and flexibility of SP. The algorithm of calculation consists of 5 steps at which steps 3 and 4 can cyclically repeat depending on the level of coherence of opinions of experts. Thus, information system of KOERSO can be modified on the basis of practical introduction of this algorithm. As for automation, procedure of expert poll can be realized in the form of the additional special module to system.
Keywords: integral indicator of the effectiveness of the education system, expert evaluation, method of weighting coefficients.
Начиная с 2009 г. Министерство образования и науки Республики Бурятия реализует масштабный веб-ориентированный проект «Комплексная оценка эффективности региональной системы образования (КОЭРСО)». Данный проект является межведомственным, так как направлен на выявление эффективности и результативности региональной системы образования по экономическим, политическим и социальным направлениям с учетом социокультурной, этнодемографической и экономико-географической многомерности общероссийского образовательного пространства. Предметом мониторинга развития системы образования выступают состояния и изменения данной системы образования в определенные периоды времени. Важным является не только анализ отдельных количественных и качественных показателей, но и сама динамика этих изменений. Тем самым успешная реализа-
ция данного проекта предполагает принятие взвешенных управленческих решений для повышения эффективности системы образования.
В настоящее время в информационной системе КОЭРСО рассчитывается определенный набор интегральных показателей (ИП), отражающих эффективность и результативность региональной системы образования. Основными среди них являются следующие три ИП: ИПАРО — Индекс проектной активности работников образования, УОКР — Индекс образовательной капитализации населения республики, УОИ — Вклад системы образования в развитие экономики.
Однако кроме общих методологически правильных подходов имеется в системе КОЭРСО ряд неразрешенных технологических проблем, одна из которых связана с вычислением вышеназванных ИП. В ходе детального математического анализа существующей системы расчета ИП выявлены следующие недостатки:
- в системе расчета не учитывается или учитывается в грубой форме уровень значимости вклада первичных индикаторов по отношению к ИП, что существенно снижает адекватность модели расчета;
- не предусмотрена адаптивность (гибкость) системы расчета к различным изменениям в сфере образования.
Для устранения обнаруженных недостатков в данной работе предлагается новая математической модель расчета ИП на основе методов теории принятий решений, в том числе математико-статистических.
Цель исследования — разработать адекватную и гибкую методику расчета ИП эффективности региональной системы образования.
Предлагаемая методика расчета ИП. В результате изучения ряда работ [1-5] предлагается следующий подход к вычислению ИП, основанный на методах теории принятий решений. Итак, алгоритм расчета формируется из пяти расчетных шагов.
Шаг 1. Формирование экспертной группы. Основная задача первого этапа — это сформировать экспертную группу, которая способна корректно решить поставленные перед ней задачи для проставления оценок первичным показателям. Минимальное количество экспертов согласно [1] можно определить по формуле:
т = 0,5 ^ — + 5 ^,
где р — возможная ошибка результатов экспертизы. Если достоверность результатов принять равным 95 %, тор будет равен 0,05, и согласно формуле т = 32,5.
Таким образом, для проведения экспертного опроса потребуется не менее 32 экспертов. Что касается состава экспертной группы, то ее можно определить различным образом, например, приблизительно равное количество экспертов из руководителей соответствующих управленческих образовательных структур, учителей (педагогов) и ученых.
Шаг 2. Определение компетентностного «веса» экспертов. На этом этапе проводится анкетирование экспертов для оценки их уровня компетентности в данной области. Анкета должна содержать вопросы, касающиеся профессионального уровня, опыта работы, инновационной деятельности, способности к независимому суждению. После анкетирования эксперты оценивают по 10-балльной шкале уровень компетентности друг друга по анкетам. Результаты анкетирования можно представить в виде несимметричной таблицы парных оценок (табл. 1). В таблице приводятся формулы расчета весовых коэффициентов экспертов.
Таблица 1
Определение весовых коэффициентов компетентности экспертов
Эксперты Э1 Э2 Эз Э ш «Вес» эксперта (К^
Э1 - К12 К13 К1ш К = 2 К /ю(т -1)
Э2 К21 - К23 К2ш К2 = 2 К2, /щт - 1)
Эз Кз1 К32 - К3ш Кз = 2ЬКз, /10(т -1) 1=1 /
-
Э Кш1 Кш2 Кш3 - Кт =2 Кт1 ^10(т -1)
Шаг 3. Тестирование и обработка результатов. На данном этапе проводится опрос, в ходе которого эксперты должны проставить баллы от 0 до 10 первичным индикаторам (показателям) в зависимости от степени собственной субъективной оценки важности данного показателя по отношению к сути ИП. Затем проставленные баллы каждого эксперта ранжируются по степени важности согласно общепринятым правилам. Далее ранги умножаются на весовой коэффициент компетентности соответствующего эксперта. При этом для определения суммарной взвешенной оценки г7 7-го индикатора следует использовать простое суммирование оценок этого варианта, предварительно умноженные на «веса» экспертов, т. е.
= 1 * о К =1
]=1 ]=1
где Г 0 — начальный ранг 7-го первичного индикатора от7-го эксперта, К — весовой коэффициент 7-го эксперта. Суммарная средняя оценка всех сравниваемых вариантов г для стандартизированной ранговой системы, согласно [3], определяется из следующего выражения:
1 (п +1) т
г = — / / гн = ---—
П 7=1 7=1 2
Шаг 4. Проверка мнений экспертов на согласованность, формирование единого мнения. Для оценки уровня согласованности мнений экспертов рабочей группы используют коэффициент конкор-дации Ж, т. е. коэффициент ранговой корреляции экспертов этой группы, который обычно рассчитывают по формуле, предложенной Кендаллом. При этом Ж, согласно [3], определяют как отношение
п
5 = / (г — г)2
фактически полученной величины 7 (сумма квадратов отклонений суммарных оценок
7=1
каждого из вариантов от суммарной средней оценки всех вариантов) к ее максимальному значению Бтах для одной и той же группы экспертов и числа сравниваемых вариантов, по формуле:
Ж = — =-5-
5 1 т
шах — т2 ( — п) — т/т7
12 7=1
где Т7 = 12И=\ (( — ) — коэффициент, учитывающий наличие связанных вариантов у 7-го эксперта; И — число групп одинаковых рангов вариантов у 7-го эксперта; к — номер группы одинаковых рангов вариантов у 7-го эксперта; 17 — число одинаковых рангов вариантов в к-й группе у 7-го эксперта. При отсутствии связанных вариантов у всех экспертов рабочей группы выражение упрощается и принимает следующий вид:
Ж =-*- = 12 •5
5шах т ( — П).
Оценку значимости коэффициента конкордации проводят по критерию X . Согласно [2] величина 2 2 Ж имеет X — распределение с V = п - 1 степенями свободы. Расчетное значение критерия X определяют по следующему выражению: х2 = т (п — 1)Ж. Табличное (критическое) значение критерия
х определяют обычно при уровне значимости а = 0,05 и числе степеней свободы V = п - 1. Если 2 2 X < Хг , т.
е. расчетное значение больше табличного, то с вероятностью 95 % можно утверждать, что мнения экспертов рабочей группы являются вполне согласованными, иначе — мнения экспертов не являются согласованными.
Для качественной оценки степени согласованности мнений экспертов можно использовать вер-бально-числовую шкалу [4], предложенную Марголиным (табл. 3).
Таблица 3
Оценка степени согласованности мнений экспертов по шкале Марголина
№ Значение коэффициента конкордации Степень согласованности мнений экспертов
1 0 < W < 0,1 Согласованность отсутствует
2 0,1 < W < 0,3 Согласованность очень слабая
3 0,3 < W < 0,5 Согласованность слабая
4 0,5 < W < 0,7 Согласованность умеренная
5 0,7 < W < 0,9 Согласованность высокая
6 0,9 < W < 1 Согласованность очень высокая
Если согласованность экспертов не достигнута или она слабая, то согласно методике Делфи [1] необходимо провести обсуждение (конференцию) среди экспертов о степени важности первичных индикаторов по отношению к ИП. Как правило, при обсуждении эксперты начинают заслушивать обоснования тех экспертов, у которых «вес» компетентности относительно выше. В результате обсуждений эксперты должны приблизиться к единому мнению и перейти к Шагу 3.
Шаг 5. Расчет ИП. Перед тем как рассчитать ИП, необходимо перевести все значения первичных индикаторов (xi) в единую шкалу. Предлагается перевести все значения в проценты (доли) от максимально возможного значения. Если все значения перевести в доли, то значение ИП также можем получить как долю от максимально возможного, что существенно повышает его информативность. И наконец, формула для вычисления ИП представляет собой взвешенную среднюю от первичных индикаторов:
ИП = Y^rxJ£r ,
i=1 / i=1 '
где n — количество первичных показателей; m — количество экспертов; xi — значение первичного индикатора в долях; ri — весовой коэффициент i-го первичного индикатора.
Заключение. В разработанной нами схеме расчета ИП применяются только стандартные и общепризнанные методы. Схема ориентирована на повышение информативности, чувствительности и гибкости ИП. Алгоритм расчета состоит из 5 шагов, при котором шаги 3 и 4 могут циклически повторяться в зависимости от уровня согласованности мнений экспертов.
Таким образом, информационная система КОЭРСО может быть модифицирована на основе практического внедрения данного алгоритма. Что касается автоматизации, то процедура экспертного опроса может быть реализована в виде дополнительного специального модуля к системе.
Литература
1. Мишин В. М. Исследование систем управления: учебник для вузов. — М.: Юнити-Дана, 2012. — 527 с.
2. Орлов А. И. Организационно-экономическое моделирование. Теория принятия решений. — М.: КНОРУС, 2011. — 568 с.
3. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. — М.: Статистика, 1974. — 160 с.
4. Марголин Е. Методика обработки данных экспертного опроса // Полиграфия. — 2006. — № 5. — С. 14-16.
5. Лукичева Л. И., Егорычев Д. Н. Управленческие решения. — М.: Омега-Л, 2009. — 383 с.
References
1. Mishin V. M. Issledovanie sistem upravleniya [Research of Management Systems]. Moscow: Yunita-Dana Publ., 2012. 527 p.
2. Orlov A. I. Organizatsionno-ekonomicheskoe modelirovanie. Teoriya prinyatiya reshenii [Organizational Economic Modeling. Decision Theory]. Moscow: KNORUS Publ., 2011. 568 p.
3. Beshelev S. D., Gurvich F. G. Matematiko-statisticheskie metody ekspertnykh otsenok [Mathematical and Statistical Methods of Expert Evaluation]. Moscow: Statistika Publ., 1974. 160 p.
4. Margolin E. Metodika obrabotki dannykh ekspertnogo oprosa [Methods of Processing Expert Survey Data]. Poligrafiya - Po-lygraphy. 2006. No. 5. Pp. 14-16.
5. Lukicheva L. I., Egorychev D. N. Upravlencheskie resheniya [Managerial Decisions]. Moscow: Omega-L Publ., 2009. 383 p.
