CC BY
19
Методика оперативного мониторинга эффективности образовательных учреждений по совокупности интервальных экспертных оценок частных показателей
П. К. Кобяков,
СПб ГБУ «Санкт-Петербургский межрегиональный ресурсный центр», директор
Е. А. Горин,
профессор, Санкт-Петербургский государственный экономический университет
Обсуждается использование оперативных методик оценки эффективности работы образовательных учреждений. Предложен алгоритм определения сравнительного уровня качества образовательного процесса по совокупности интервальных экспертных оценок частных показателей.
Ключевые слова: рынок образовательных услуг, показатели эффективности, экспертный опрос, оценка эффективности.
о
со
(У)
<
00 О X X
Мировой процесс формирования информационного общества и социально-экономические изменения, происходящие в различных сферах человеческой деятельности, требуют адекватных преобразований в системе образования, совершенствования профессиональной подготовки и переподготовки как специалистов, так и различных слоев населения. Формирование индустрии информационных и коммуникационных услуг, ориентированной на массового потребителя, заставляют образовательную сферу непрерывно обновлять как свою стратегию развития, так и способы ее реализации. Особенно это становится актуальным с учетом активного роста рынка применения информационных технологий, развития дистанционного обучения. По оценкам экспертов в сфере бизнес-образования, рост этого ставшего сильно конкурентным рынка ежегодно составляет до 20-25%.
Технология составления рейтингов, ранее используемая зарубежными университетами, стала широко применяться в отечественной практике. На основе оценки российских вузов рассматриваются предложения о сокращении их количества с закрытием наименее эффективных, а также объединением на общей профильной или территориальной платформе. Вопрос престижности и статуса вузов, в том числе на международном уровне, также осуществляется на основании рейтингов. Министерством образования и науки
Российской Федерации ставится задача укрепления позиций отечественных вузов в международных сравнительных классификациях, реализация совместных образовательных программ с зарубежными университетами, привлечение иностранных профессоров и экспертов, развитие международной академической мобильности для студентов и преподавателей вузов. Вместе с этим вступление в силу с 01.09.2013 г. Федерального Закона от 29.12.2012 г. № 273-Ф3 «Об образовании в Российской Федерации» открыло новые возможности для сетевого взаимодействия вузов, развития дополнительных программ сотрудничества. В связи с этим, для выбора оптимального пути развития при данных условиях, а главное — для оперативного принятия корректирующих решений, необходим новый инструмент быстрого оценивания, так как образовательная система уже не является консервативной как раньше, а во все большей степени должна мобильно реагировать на постоянно меняющиеся требования. В ряде случаев, соответствующие новации должны вноситься в процесс обучения от потока к потоку, иногда даже при проведении одного курса.
При текущем анализе качества обучения и оценке эффективности учреждений высшего профессионального образования весьма привлекательно выбрать один показатель, который в упрощенной форме учитывает все основные факторы.
Попытка провести анализ эффективности инвестиций в образование с позиции общепринятого в экономических исследованиях метода «издержки-выгоды» принята в [1]. Такой подход позволяет получить достаточно убедительную и достоверную оценку эффективности инвестиций в образование на государственном уровне. Метод базируется на большом объеме статистических данных, позволяет получить оценки лишь по завершению анализируемого временного интервала, труднореализуем на практике.
В большинстве случаев при исследовании эффективности сложных социальных процессов, используется метод интервальных экспертных оценок частных показателей эффективности [2]. Частные показатели эффективности должны достаточно полно характеризовать исследуемый процесс, событие. Количество выбираемых частных показателей эффективности для исследования происходящих социально-экономических процессов, в том числе оценки роли университетов в социально-экономическом развитии региона и страны, принципиально не ограничено.
Вопросы организации экспертного опроса, цели и задачи таких исследований, квалификации экспертов подробно рассмотрены в [8]. Рекомендуемое количество экспертов не менее 20-30 человек. Как правило, оценки экспертов носят не числовой характер, измерены в порядковой шкале, например, «очень низкий уровень» (ОНУ), «низкий уровень» (НУ), «средний уровень» (СУ), «высокий уровень» (ВУ), «очень высокий уровень» (ОВУ), т. е. носят интервальный характер.
Такой подход позволяет совместить как качественный, так и количественный подход в экспертных оценках. Весь диапазон возможных значений каждого частного показателя эффективности разбивается на интервалы в соответствии с порядковой шкалой, т. е. порядковая шкала конвертируется в шкалу метрическую. Качественной оценке эксперта присваивается интервал возможных значений нормированного оцениваемого параметра [7-9].
Для удобства и наглядности представления результатов свертки (формирования интегральной оценки показателей эффективности) используем метрическую шкалу 0...1 с шагом 0,2 для выбранной пятиступенчатой порядковой шкалы. Такой выбор не ограничивает общих выводов при рассмотрении вариантов формирования интегральных оценок эффективности. Можно выбрать любую другую порядковую шкалу и соответствующую ей метрическую шкалу (0...5, 0...10, 0...100) для наглядного представления интегральных оценок эффективности.
Исходными данными для формирования интегральной оценки эффективности является набор из частных показателей эффективности ПЭг , где г=1, ..., N N — количество частных показателей эффективности представленных в виде таблиц и (или) графиков.
Пример заполнения таблицы вероятностей оценок экспертов для г-го частного показателя эффективности представления в табл. 1.
В табл. 1 показатель В1г — вероятность («частость») выбора экспертами интервала порядковой шкалы ОНУ:
Таблица 1
Обозначение интервала порядковой шкалы ОНУ НУ СУ ВУ ОВУ
Значение интервала ПЭ1 0-0,2 0,2-0,4 0,4-0,6 0,6-0,8 0,8-1,0
Вероятность выбора экспертами данного интервала В1г В2г В3г В4г В5г
В1г=(М1г)/М,
где М — количество экспертов, участвовавших в оценке эффективности г-го частного показателя эффективности; М1г — количество экспертов, выбравших при оценке эффективности г-го частного показателя эффективности интервал ОНУ порядковой шкалы.
Аналогичным образом вычисляются и другие вероятности В2г, В3г, ..., В5г. Очевидно, что В1г+В2г+...+В5г=1.
При заполнении таблиц исходим из предположения, что мнения экспертов взаимно независимы, а истинные значения оценки экспертов распределены равновероятно внутри каждого интервала.
Пример графического представления вероятностей оценок экспертов для г-го частного показателя эффективности представлен на рис. 1.
Первичная обработка совокупности частных показателей эффективности заключается в расстановке показателей по рангу в порядке убывания значимости. Ранжирование частных показателей эффективности производится группой специалистов в данной области.
Оценка эффективности социально-экономических процессов в том числе регионального рынка дополнительного профессионального образования совокупностью частных показателей достаточна эффективна, не требует значительных временных и финансовых затрат, включает в себя следующие этапы:
• формирование перечня частных показателей эффективности;
• первичная обработка совокупности частных показателей эффективности;
• экспертные оценки частных показателей эффективности (выбор шкалы оценок, нормирование);
• формирование интегральной оценки эффективности. Свертка частных показателей эффективности.
При формировании перечня частных показателей эффективности предпочтение следует отдавать таким
о
со ел
<
СО О
Рис. 1. Графическое представление вероятностей оценок экспертов
показателям, в которых прямо или опосредованно просматривается зависимость показателей от величины инвестиций.
При оценке роли университетов в развитии регионов и страны могут быть использованы следующие частные показатели эффективности: качество образовательных программ, методическое обеспечение учебного процесса, качество и техническое оснащение аудиторий, кадровый состав, удовлетворенность слушателей образовательных программ.
Для формирования обобщенного показателя эффективности по совокупности набора частных показателей используются различные алгоритмы.
Простейший способ формирования обобщенного показателя эффективности — присвоение ему значения первого по важности частного показателя эффективности ПЭ=ПЭ1.
Все остальные показатели эффективности переводятся в разряд ограничений [10, 11]. Такой способ прост при практическом применении. Существенным недостатком является то, что при его формировании используется лишь незначительная часть имеющихся статистических данных.
Иногда для сравнения вариантов решения и оценки изменения эффективности социально-экономических процессов во времени используют метод последовательных уступок [10]. При отборе предпочтительного варианта выбирают вариант, у которого первый частный показатель эффективности несколько уступает максимальному значению, но второй показатель существенно превышает значение второго показателя первого варианта и т. д. Такой подход можно использовать для анализа сложных социально-экономических процессов (решений), когда не удается обосновать возможность использования какого либо алгоритма сверки для получения обобщенного показателя эффективности и методом последовательных уступок ищется компромиссный вариант.
В известных научных публикациях моделирование интегрального показателя как функции распределения вероятностей предложено не было, наиболее широкое применение получил способ формирования обобщенного показателя эффективности как аддитивная свертка частных показателей эффективности [4,7,8]:
ПЭ=2 В Кг ПЭг,
¿=1
^ где ВКг — весовой коэффициент (значимость г-го ^ частного показателя эффективности); ПЭг — среднее ^ значение 1-го частного показателя эффективности;
$ ПЭг=ОНУ В1г +НУ В2г+...+ОВУ В5г,
где ОНУ, НУ,..., ОВУ — среднее значение г-го частно-
^ го показателя эффективности порядковых интервалов
^ ОНУ, НУ, ...,ОВУ, соответственно; В1г, В2г, ..., В5г —
Ц вероятность выбора экспертами интервала порядковой
^ шкалы ОНУ, НУ, ..., ОВУ, соответственно. ^ Если частные показатели эффективности имеют
О соизмеримую значимость и не ранжированы, то:
X
5 ВКг=1/п.
Если частные показатели эффективности ранжированы по степени убывания значимости, то весовые коэффициенты определяются экспертами или рассчитываются по формуле Фишберна [6]:
ВКг=(2 (п-г+1))/(п (п+1)),
где п — количество показателей; г — номер текущего показателя.
Достоинства такого метода свертки — его простота, недостаток — используется не вся доступная статистическая информация.
Для принятия решения наглядным является представление совокупности частных показателей эффективности в виде многоугольника, координаты вершин которого соответствуют значениям частных показателей эффективности с учетом и без учета весовых коэффициентов [3, 4]. Такое графического представление совокупности частных показателей эффективности облегчает принятие решения о предпочтительном направлении инвестиций для повышения интегрального показателя эффективности.
Так как, при достаточно большом количестве частных показателей эффективности плотность распределения вероятности обобщенного показателя стремится к симметричной форме, то значение обобщенного показателя эффективности не хуже среднего значения достигается всего лишь с вероятностью 0,5.
Наиболее полные и достоверные характеристики обобщенного показателя эффективности на основе набора таблиц частных показателей эффективности обеспечивает метод математического моделирования. Суть метода состоит в том, что в соответствии со статистическими оценками частных показателей эффективности как случайных величин, заданных таблично или графически, генерируется реализация частных показателей эффективности ПЭг, где г= 1, п. Пример моделирования текущего значения г-го частного показателя эффективности отмечен на рис 1, генерируется случайное число РСВ (0, 1) равномерно распределенного на интервале значений (0, 1) — точка «а» на рис. 1 определяет соответствующий интервал порядковой шкалы. Вероятность попадания РСВ (0, 1) на какой-либо интервал В1г, В2г, ..., В5г зависит только от величины интервала и не зависит от взаимного расположения интервалов. Текущее значение эффективности частного показателя эффективности рассчитывается по формуле
ПЭг = НГг + (ВГг - НГг) РСВ (0, 1).
Вычисляется текущее значение интегрального показателя эффективности как средневзвешенное значение частных показателей, а так же текущее значение интегрального показателя эффективности с учетом весовых коэффициентов. Вычисленные значения записываются. Процедура повторяется многократно, как показано на рис. 2. Алгоритм генерирования случайных величин заданных таблично, графически и т. д., необходимых для достаточного объема выборки, подробно рассмотрен в [12, 13].
Рис. 2. Алгоритм расчета функции распределения вероятности
При достаточно большом количестве частных показателей эффективности, заданных в виде гистограмм как случайные величины, интегральный показатель эффективности в соответствии с центральной предельной теоремой [11] можно рассматривать как случайную величину, распределенную по нормальному закону с параметрами:
математическое ожидание
МО=ПЭ,
дисперсия
д=2 В Кг ГИ,
где Di — дисперсия г-го частного показателя эффективности.
Условие применимости аппроксимации N > 5...10, если значимость частных показателей эффективности соизмерима и N >10...15, если частные показатели ранжированы и им присвоены весовые коэффициенты, что продемонстрировано на рис. 3.
Достоинство такого метода — полный учет имеющихся статистических данных, недостаток — трудность реализации условий применимости центральной предельной теоремы.
Представленный алгоритм полностью учитывает статистические данные частных показателей эффективности, основанные на интервальных экспертных оценках, не имеет никаких ограничений на количество используемых частных показателей эффективности, закономерностей их описывающих и обеспечивает для дальнейшего анализа не только среднее значение интегрального показателя эффективности, но и по моментам любого порядка и квантилям различной величины.
Кроме процедуры определения качества образовательного процесса в вузах и уровня дополнительного профессионального образования в любых учебных учреждениях, предложенная методика может применяться при реализации «коротких» (длительностью одна-две недели) программ повышения квалификации с внесением оперативных изменений в формат и порядок образовательного процесса и его улучшения не только в каждом последующем потоке, но и в одном учебном цикле.
о
со ел
<
СО О
со
СП
Рис. 3. Алгоритм расчета ПЭг
10. 11.
Список использованных источников В. В. Глухов, Е. А. Горин, М. Э. Осеевский. Управление инновационным социально-экономическим развитием мегаполиса: методология, принципы, механизмы. СПб: Политехнический университет, 2012.
State of the World's Cities 2012/2013. Prosperity of Cities. UN Habitat. For a Better Urban Future.
А. Н. Тихонов, А. Е. Абрамешин, Т. П. Воронина, А. Д. Иванни-ков, О. П. Молчанова. Управление современным образованием: социальные и экономические аспекты. М.: Вите-Пресс, 1998. П. К. Кобяков, Е. А. Горин. Оценка эффективности рынка образовательных услуг для малого предпринимательства в Санкт-Петербурге//Инновации, № 1, 2014. Д. К. Потапов, В. В. Евстафьев. О методиках определения весовых коэффициентов в задаче оценки надежности коммерческих банков. http://ibl.ru/konf/140509/60.pds. П. Фишберн. Теория полезности для принятия решений. М.: Наука, 1990.
Г. Ю. Силкина, Н. М. Больсловская, И. Ю. Харитонова. Математические аспекты в теории измерений в экономике//Научно-технические ведомости СПБГПУ, серия «Экономические науки», № 1, 2013.
А. И. Орлов. Экспертные оценки//Заводская лаборатория, т. 62, № 1, 1996.
Е. В. Драгунова. Проблемы конкурентоспособности в современной экономике//Проблемы современной экономики, № 3, 2010.
А. И. Орлов. Теория принятия решений. М.: Экзамен, 2006. И. Г. Венецкий, В. И. Венецкая. Основные математико-
статистические понятия и формулы в экономическом анализе. М.: Статистика, 1974.
12. И. М. Ажмухамедов. Моделирование на основе экспертных суждений процесса оценки информационной безопасности// Вестник Астраханского государственного технического университета, серия «Управление, вычислительная техника и информатика», № 2, 2009.
13. В. В. Быков. Цифровое моделирование в статистической радиотехнике. М.: Советское радио, 1971.
14. Ю. Е. Сидоров, П. К. Кобяков. Оценка эффективности многоканального обнаружителя пачки радиосигналов при априорной неопределенности//Научно-технические ведомости СПбГПУ, серия «Информатика. Телекоммуникации. Управление», № 3, 2008.
On-line monitoring method of the efficiency of educational institutions on set interval expert
estimates of private rates P. K. Kobyakov, State Budgetary Institution «St. Petersburg Interregional Resource Center».
E. A. Gorin, professor, St. Petersburg State Economical University.
Discusses the use of operational methods for evaluating the performance of educational institutions. The algorithm of determination of the comparative quality of the educational process on set interval expert estimates of private rates.
Keywords: educational services market, performance indicators, expert interview, performance evaluation.
о
(N
J <
cû О
4.
