Интегральная оценка эффективности образовательных учреждений по совокупности интервальных экспертных оценок частных показателей Текст научной статьи по специальности «Экономика и бизнес»

УДК 330.42

ИНТЕГРАЛЬНАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ ОБРАЗОВАТЕЛЬНЫХ УЧРЕЖДЕНИЙ ПО СОВОКУПНОСТИ ИНТЕРВАЛЬНЫХ ЭКСПЕРТНЫХ ОЦЕНОК ЧАСТНЫХ ПОКАЗАТЕЛЕЙ

П.К. Кобяков1

ФБУ "Федеральный ресурсный центр по организации подготовки управленческих кадров", 190068, г. Санкт-Петербург, набережная канала Грибоедова, д. 88-90.

Обсуждается необходимость составления рейтингов программ дополнительного профессионального образования с позиции интересов государства, региона, образовательного учреждения, слушателей программ. Предложен вариант оценки рынка образовательных услуг в Санкт-Петербурге, позволяющий определить его состояние и возможные пути развития на основе динамики последних лет.

Ключевые слова: рынок образовательных услуг, дополнительное профессиональное образование, показатели эффективности, оценка эффективности.

INTEGRAL EVALUATION OF THE EFFECTIVENESS EDUCATIONAL INSTITUTIONS ON SET INTERVAL OF EXPERT ASSESSMENTS OF

SPECIFIC INDICES

P.K. Kobiakov

St.Petersburg State Budgetary Institution "Resource Center", 190068, St. Petersburg, Griboyedov Canal Embankment, 88-90

The need to rank programs of additional professional education from the standpoint of the interests of the state, region, educational institutions and students is presented. Offered the option of evaluation of the educational services market in St. Petersburg, to determine its condition and possible ways of development based on the dynamics of recent years.

Keywords: educational services market, additional professional education, performance indicators, evaluation of effectiveness.

Экономические отношения, утверждающиеся в информационном обществе, обуславливают необходимость для работников постоянно повышать свою квалификацию, более того фактически несколько раз в течение жизни менять профессию. Сфера образования все больше соединяется с экономической сферой жизни общества, а образовательная деятельность становится определяющей компонентой не только экономического, но и всего общественного развития.

Личность в информационном обществе получает новые возможности для развития и самореализации, но осуществление этих возможностей обусловлено качеством анализа эффективности действующих образовательных институтов и систематической работой по их совершенствованию с учетом специфики всех групп населения.

Изменение роли знаний и информации в общественном развитии, постепенное превращение знаний в основной капитал принципиально меняет роль сферы образования в струк-

туре общественной жизни. Естественно, в различных странах, регионах и даже группах населения проявляются значительные различия, образовательная система адаптируется к сложившейся общественной структуре и обеспечивает специфические требования. Однако так или иначе, неуклонное становление информационной цивилизации затрагивает все общественные слои, выдвигая сферу образования в центр общественной жизни, вызывая ее тесное переплетение со всеми основными элементами общественной структуры.

В российской практике стала применяться технология составления рейтингов, ранее используемая зарубежными университетами. Ведется рейтинг ВУЗов Российской Федерации, на основании которого рассматриваются предложения о сокращении количества ВУЗов и закрытии менее эффективных из них. Вопрос продвижения ВУЗов, в том числе на международной арене также осуществляется на основании рейтингов.

1Петр Кириллович Кобяков - директор СПб ГБУ "Ресурсный центр", тел.: (812) 326-42-75, e-mail: p. kobyakov@yahoo. com

Министерством образования и науки Российской Федерации ставится задача продвижения отечественных ВУЗов в международных рейтингах, реализация совместных образовательных программ с другими зарубежными университетами, привлечение иностранных профессоров для обучения наших студентов, развитие международной академической мобильности для студентов и преподавателей вузов. В связи с вышеизложенным для оперативного принятия решений (выбор оптимального пути развития при данных условиях) необходим новый инструмент оперативного оценивания, так как система не является консервативной как раньше.

При текущем анализе качества обучения и оценке эффективности учреждений высшего профессионального образования весьма привлекательно выбрать один показатель, который в упрощенной форме учитывает все основные факторы.

Попытка провести анализ эффективности инвестиций в образование с позиции общепринятого в экономических исследованиях метода «издержки-выгоды» принята в [1].

Такой подход позволяет получить достаточно убедительную и достоверную оценку эффективности инвестиций в образовании на государственном уровне. Метод базируется на большом объеме статистических данных, позволяет получить оценки лишь по завершению анализируемого временного интервала, но труднореализуем на практике.

В большинстве случаев при исследовании эффективности сложных социальных процессов, используется метод интервальных экспертных оценок частных показателей эффективности [2]. Частные показатели эффективности должны достаточно полно характеризовать исследуемый процесс, событие. Количество выбираемых частных показателей эффективности для оценки эффективности социально-экономических процессов, в том числе оценки роли университетов в социально-экономическом развитии региона и страны, принципиально не ограничено.

Вопросы организации экспертного опроса, цели и задачи экспертного опроса, квалификации экспертов подробно рассмотрены в [8]. Рекомендуемое количество экспертов не менее 20-30 человек. Как правило, оценки экспертов носят не числовой характер, измерены в порядковой шкале, например, - «очень низкий уровень» (ОНУ), "низкий уровень" (НУ), "средний уровень" (СУ), "высокий уровень" (ВУ), "очень высокий уровень" (ОВУ), т.е. носят интервальный характер.

Такой подход позволяет совместить как качественный, так и количественный подход в экспертных оценках. Весь диапазон возможных

значений каждого частного показателя эффективности разбивается на интервалы в соответствии с порядковой шкалой, т.е. порядковая шкала конвертируется в шкалу метрическую. Качественной оценке эксперта присваивается интервал возможных значений нормированного оцениваемого параметра [7,8,9].

Для удобства и наглядности представления результатов свертки (формирования интегральной оценки показателей эффективности) используем метрическую шкалу 0-1 с шагом 0,2 для выбранной пятиступенчатой порядковой шкалы. Такой выбор не ограничивает общих выводов при рассмотрении вариантов формирования интегральных оценок эффективности. Можно выбрать любую другую порядковую шкалу и соответствующую ей метрическую шкалу (0-5, 0-10, 0-100) для наглядного представления интегральных оценок эффективности.

Исходными данными для формирования интегральной оценки эффективности является набор из частных показателей эффективности ПЭ( , где г = 1..Ы, где N - количество частных показателей эффективности представленных в виде таблиц и (или) графиков.

Пример заполнения таблицы вероятностей оценок экспертов для -того частного показателя эффективности представления в табл. 1.

Таблица 1 - Вероятности оценок экспертов для -того частного показателя эффективности

В таблице обозначение 51— вероятность ("частость") выбора экспертами интервала порядковой шкалы ОНУ.

в1 = М1Ч 'м,

где: В1 - количество экспертов, участвовавших в оценке эффективности ього частного показателя эффективности; М 1г- количество экспертов, выбравших при оценке эффективности -ого частного показателя эффективности интервал ОНУ порядковой шкалы.

Аналогичным образом вычисляются и другие вероятности В2Ь В3Ь В4^, В5^. Очевидно, что В11 + В21 + —.+В51 = 1.

При заполнении таблиц исходим из предположения, что мнения экспертов взаимно независимы, а истинное значение оценки экс-

Обозна-

чение интервала порядковой шка- НУ У У У ВУ

лы

Значение

интервала ПЭ1 0,2 ,2-0,4 ,4-0,6 ,6-0,8 ,8 -1,0

Вероятность выбора экспертов данно- В11 В21 В31 В41 В51

го интервала

Интегральная оценка эффективности образовательных учреждений.

пертов распределены равновероятно внутри каждого интервала.

Пример графического представления вероятностей оценок экспертов для -ого част-

ного показателя эффективности представлен на рис.1

-ну а -

од

ВЦ . и

0,2

0,3 0*4 0.5 0,6

Чрстость (вероятность) ■

В4;

0,7

1. «

0,9

Рисунок 1 - Вероятности оценок экспертов для -ого частного показателя эффективности

Первичная обработка совокупности частных показателей эффективности заключается в расстановке показателей по рангу в порядке убывания значимости. Ранжировка частных показателей эффективности производится группой специалистов в данной области.

Оценка эффективности социально-экономических процессов в т.ч. регионального рынка дополнительного профессионального образования совокупностью частных показателей достаточна эффективна, не требует значительных временных, финансовых затрат и включает в себя следующие этапы:

- формирование перечня частных показателей эффективности;

- первичная обработка совокупности частных показателей эффективности;

- экспертные оценки частных показателей эффективности (выбор шкалы оценок, нормирование);

- формирование интегральной оценки эффективности. Свертка частных показателей эффективности.

При формировании перечня частных показателей эффективности предпочтение следует отдавать таким показателям, в которых прямо или опосредованно просматривается зависимость показателей от величины инвестиций.

При оценке роли университетов в развитии регионов и страны могут быть использованы следующие частные показатели эффективности: качество образовательных программ, методическое обеспечение учебного процесса, качество и техническое оснащение аудиторий, кадровый состав, удовлетворенность слушателей образовательных программ.

Для формирования обобщенного показателя эффективности по совокупности набора частных показателей эффективности используются различные алгоритмы.

Простейший способ формирования обобщенного показателя эффективности - присвоение обобщенному показателю эффективности значения первого по важности частного показателя эффективности ПЭ = ПЭг.

Все остальные показатели эффективности переводятся в разряд ограничений [10,11]. Способ прост при практическом применении. Существенным недостатком является то, что при его формировании используется лишь незначительная часть имеющихся статистических данных.

Иногда для сравнения вариантов решения и оценки изменения эффективности социально-экономических процессов во времени используют метод последовательных уступок [10]. При отборе предпочтительного варианта выбирают вариант, у которого первый частный показатель эффективности несколько уступает максимальному значению, но второй показатель существенно превышает значение второго показателя первого варианта и т.д. Такой подход можно использовать для анализа сложных социально-экономических процессов (решений), когда не удается обосновать возможность использования какого либо алгоритма сверки для получения обобщенного показателя эффективности и методом последовательных уступок ищется компромиссный вариант.

В известных научных публикациях моделирование интегрального показателя как функции распределения вероятностей предложено не было, наиболее широкое применение получил способ формирования обобщенного пока-

зателя эффективности как аддитивную свертку частных показателей эффективности [4,7,8]:

п

ПЭ = ^ ВК1 • ПЭг ,

1=1

где: ВК1 - весовой коэффициент (значимость i-того частного показателя эффективности); ПЭ; - среднее значение -того частного показателя эффективности; ПЭг = ОНУ • В11 + НУ •

£2г+...+ОВУ^5г, где ОНУ, НУ,... ОВУ -средние значения ¿-ого частного показателя эффективности порядковых интервалов ОНУ,

НУ,....ОВУ соответственно, В11, В2{..... В51 -

вероятность выбора экспертами интервала порядковой шкалы ОНУ, НУ,....ОВУ соответственно.

Если частные показатели эффективности имеют соизмеримую значимость и не ранжированы, то ВК( =

Если частные показатели эффективности ранжированы по степени убывания значимости, то их весовые коэффициенты определяются экспертами или рассчитываются по формуле Фишберна [6]:

2(п — г + 1)

г п(п + 1) , где: п - количество показателей; г - номер текущего показателя.

Достоинства такого метода свертки -его простота, недостаток - используется не вся доступная статистическая информация.

Для принятия решения наглядным является представление совокупности частных показателей эффективности в виде многоугольника, координаты вершин которого соответствуют значениям частных показателей эффективности с учетом и без учета весовых коэффициентов [1,3]. Такое графического представление совокупности частных показателей эффективности облегчает принятие решения о предпочтительном направлении инвестиций для повышения интегрального показателя эффективности.

Так как, при достаточно большом количестве частных показателей эффективности плотность распределения вероятности обобщенного показателя стремится к симметричной форме, то значение обобщенного показателя эффективности не хуже среднего значения достигается всего лишь с вероятностью 0,5.

Наиболее полные и достоверные характеристики обобщенного показателя эффективности на основе набора таблиц частных показателей эффективности обеспечивает метод математического моделирования. Суть метода состоит в том, что в соответствии со статистическими оценками частных показателей эффективности как случайных величин, заданных таблично или графически, генерируется реализация частных показателей эффективности ПЭ;,

где г = 1, п. Пример моделирования текущего значения -того частного показателя эффективности отмечен на рис 1, где генерируется случайное число РСВ(0,1) равномерно распределенного на интервале значений (0,1) - точка "а" на рис.1 определяет соответствующий интервал порядковой шкалы. Вероятность попадания РСВ(0,1) на какой-либо интервал В1г, В2г,.... В5( зависит только от величины интервала и не зависит от взаимного расположения интервалов. Текущее значение эффективности частного показателя эффективности рассчитывается по формуле

ПЭг = НГг + (ВГг — НГг) • РСВ(0,1).

Далее вычисляется текущее значение интегрального показателя эффективности как средневзвешенное значение частных показателей, а так же текущее значение интегрального показателя эффективности с учетом весовых коэффициентов. Вычисленные значения записываются. Процедура повторяется многократно (рис. 2). Алгоритм генерирования случайных величин заданных таблично, графически и т.д., необходимых объем выборки подробно рассмотрены в [12,13].

При достаточно большом количестве частных показателей эффективности заданных в виде гистограмм как случайные величины, интегральный показатель эффективности в соответствии с центральной предельной теоремой [11] можно рассматривать как случайную величину, распределенную по нормальному закону с параметрами: математическое ожидание МО = ПЭ

дисперсия

п

д =

1=1

где О; - дисперсия ^того частного показателя эффективности.

Условие применимости аппроксимации N > 5 10, если значимость частных показателей эффективности соизмерима и N >10 15, если частные показатели ранжированы и им присвоены весовые коэффициенты.

Достоинство такого метода - полный учет имеющихся статистических данных, недостаток - трудность реализации условий применимости центральной приведенной теоремы.

Представленный на рис.3. алгоритм полностью учитывает статистические данные частных показателей эффективности, основанные на интервальных экспертных оценках, не имеет никаких ограничений на количество используемых частных показателей эффективности, закономерностей их описывающих и обеспечивает для дальнейшего анализа не только средним значением интегрального показателя эффективности, но и моментами любого порядка и квантилями различной величины.

Интегральная оценка эффективности образовательных учреждений...

ВК1 =

2(и-г + 1)

п(п + 1)

Вычислить О

Вычислить СКО =

Построить гистограмму ПЭ;

Ввод

1

Вычислить м ПЭ =^ПЭ; 7=1

Моделирование ПЭ]1 1 = 1+N

_б_ 1-

Вычислить ПЭ;

Запись в память ПЭ]

К =1 рда

7=0

7=7 + 1

Печать результатов ПЭ, О, СКО, гистограмма

г = 1 + м

Конец

Ввод

I = 1,.., N - номер частного показателя эффективности К - ключ выбора весовых коэффициентов (ВК1)

К =

ВЫ = — , если К = 1

\ВЫ =

2(п - I + 1)

, если К = 2

п(п + 1)

Матрица N X 5 плотности распределения вероятности N частных показателей эффективности ] = 1,..,М - номер цикла моделирования ПЭ - среднее значение интегрального показателя эффективности

ПЭу - значение частных показателей эффективности I = 1,.., N на ] - том цикле моделирования ПЭ/ = • ПЭу - значение интегрального показате-

ля эффективности на ] — том цикле моделирования ПЭ - среднее значение интегрального показателя эффективности

В - Дисперсия интегрального показателя эффективности

1

Б= -

п

1*1

^(ПЭ; — ПЭ)2

4=1

Шкала гистограммы ПЭ/ с шагом 0,1

0 < ПЭ/ < 0,1

0,1 < ПЭ/ < 0,2

0,2 < ПЭ/ < 0,3

0,3 < ПЭ/ < 0,4

0,4 < ПЭ/ < 0,5

0,05 < ПЭ/ < 0,6

0,6 < ПЭ/ < 0,7

0,7 < ПЭ/ < 0,8

0,8 < ПЭ/ < 0,9

0,9 < ПЭ/ < 1,0

Рисунок 2 - Схема алгоритма расчета функции распределения вероятности

Данная методика применена на практике в СПб ГБУ "Ресурсный центр", первый этап ее внедрения показал ее практическую применимость. Кроме того, помимо задач оценивания системы дополнительного профессионального образования, качества образовательного процесса в ВУЗах ее можно применять и для коротких (длительностью одна-две недели) программ повышения квалификации, чтобы вно-

сить оперативные улучшения от программы к программе. С учетом анализа динамики используемых показателей возможен объективный прогноз происходящих в региональной экономике процессов и, соответственно, определения потребностей в сфере образования с реализацией гибкой системы профессиональной переподготовки.

i = 0

1

i = i + 1

а

б

Рисунок 3 - Схема алгоритма расчета ПЭ/i

Литература

1. Осеевский М.Э., Развитие мегаполиса и обеспечение высокого качества жизни: проблемы и решения, Инновации, 01(183), январь, 2014.

2.State of the World's Cities 2012/2013. Prosperity of Cities. UN Habitat. For a Better Urban Future.

3. Тихонов А.Н., Абрамешин А.Е., Воронина Т.П., Иванников А.Д., Молчанова О.П. Управление современным образованием: социальные и экономические аспекты. Монография, М.: Вите-Пресс, 1998.

4. Кобяков П.К., Горин Е.А., Оценка эффективности рынка образовательных услуг для малого предпринимательства в Санкт-Петербурге.

5. Потапов Д.К. Евстафьев В.В. О Методиках определения весовых коэффициентов в задаче оценки надежности коммерческих банков. http://ibl.ru/konf/140509/60.pds.

6. Фишберн П. Теория полезности для принятия решений М. Изд-во Наука 1990 г.

7. Г.Ю. Силкина, Н.М.Больсловская, И.Ю.Харитонова, Математические аспекты в теории измерений в экономике. Научно-технические ведомости СПБГПУ серия Экономические науки 1-1 2013 с 140-147.

8. А.И. Орлов. Экспертные оценки. Журнал «Заводская лаборатория» 1996 Т62 №1 с.54-б0.

9. Е.В. Драгунова Проблемы конкурентно способности в современной экономики. Журнал «Проблемы современной экономики» №3(35)2011.

10. А.И. Орлов. Теория принятия решений. Учебник для ВУЗов. М.:издательство «Экзамен», 2006, 576с.

11. И.Г. Венецкий, В.И. Венецкая. Основные мате-матико-статистические понятия и формулы в экономическом анализе, М. Статистика, 1974, 279 с.

12. Ажмухамедов И.М. Моделирование на основе экспертных суждений процесса оценки информационной безопасности. Вестник астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. Выпуск №2.

13.В.В.Быков. Цифровое моделирование в статистической радиотехнике, Изд-во советское радио 1971, 328 с.

14. Сидоров Ю.Е., Кобяков П.К. Оценка эффективности многоканального обнаружителя пачки радиосигналов при априорной неопределенности. Научно-технические ведомости СПбГПУ 3'2008. Информатика. Телекоммуникации. Управление.