CC BY-NC-ND
188
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. ПетрУщенко
оценка результативности
УНИВЕРСИТЕТОВ
с помощью оболочечного
АНАЛИЗА данных1
Представлен обзор литературы, посвященной оценке результативности деятельности вузов. Рассматриваются формулировки моделей оболочечного анализа данных. Проанализирована специфика их применения к анализу эффективности университетов в зависимости от их специализации. Описан опыт практического использования этих моделей применительно к вузам в Великобритании, Германии, Греции, Австралии, Канаде; обсуждаются вопросы сопоставимости результатов и согласованности моделей. Проведен сравнительный анализ результативности российских вузов с учетом их ресурсного потенциала.
Ключевые слова: высшее образование; оболочечный анализ данных; результативность.
В современном мире управление любыми социально-экономическими объектами, в том числе вузами, тесно связано с оценкой их деятельности. Такая оценка позволяет понять слабые и сильные стороны учебных заведений, а значит, помогает разработать эффективную стратегию их развития. *
Обзор литературы подготовлен при финансовой поддержке Министерства образования и науки Российской Федерации в рамках договора № 13. G25.31.0033 от 7 сентября 2010 г., заключенного между Министерством образования и науки Российской Федерации и ЗАО «Авикомп Сервисез» с целью реализации комплексного проекта «Создание высокотехнологичного производства инновационных программно-аппаратных комплексов для эффективного управления предприятиями и отраслями экономики современной России». Эмпирическая часть исследования реализована в рамках проекта «Формирование системы мониторинга экономики науки для оценки состояния сферы науки и технологий и демонстрации новых научных достижений» (государственный контракт Минобрнауки России № 13.521.12.1011 от 26 сентября 2011 г.). Работа была частично поддержана Лабораторией анализа и выбора решений и Лабораторией экономики инноваций в рамках программы фундаментальных исследований НИУ ВШЭ в 2012 г.
Статья поступила в редакцию в ноябре 2012 г.
Аннотация
15
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
Решить эту задачу помогает ранжирование университетов по различным критериям. Для его осуществления необходимо выбрать критерии и модели их агрегирования при составлении интегрального показателя качества научной и учебно-образовательной деятельности того или иного учебного заведения.
Существуют два принципиально отличных друг от друга подхода к построению модели агрегирования. В первом случае органы, регулирующие образовательную и научную деятельность вузов, пользуются линейными свертками критериев, определяя важность последних с помощью экспертных оценок. После этого все университеты, заранее зная входящие в рейтинг критерии, а также их относительные важности, стараются организовывать свою деятельность таким образом, чтобы максимизировать критерии с наибольшим весом.
Ниже представлен другой подход к построению модели агрегирования, и он может играть важную роль в стимулировании конкуренции между вузами. При его реализации оценка эффективности2 работы вузов представляет значимость не только на уровне менеджмента самих университетов, но и на уровне государственного управления системой высшего образования. Для достижения максимальной результативности — а значит, и максимального объема финансирования — учебным заведениям приходится ориентироваться на лидеров в своей специализации и пытаться конкурировать с ними.
Однако определенной методики для оценки результативности вузов пока не разработано, используются разные модели, в которых оцениваются различные аспекты их деятельности. Данная работа имеет целью собрать и систематизировать опыт оценивания эффективности вузов в разных странах с помощью оболочечного анализа данных (Data Envelopment Analysis, DEA) и оценить научно-образовательный потенциал российских вузов.
1. Обзор моделей оболочечного анализа данных
Основная идея непараметрической модели DEA [Charnes et al., 1978] заключается в представлении эффективности университета (в общем случае — любой фирмы, производящей какой-либо продукт) в виде отношения его результатов (выходных параметров) к потраченным ресурсам (входным параметрам).
Рассмотрим задачу дробно-линейного программирования:
max
Щ,Р]
_ YJt=lUikXik\
et
(1)
16
В западной академической литературе понятие «результативность» часто используется как синоним эффективности (efficiency), поэтому мы будем использовать оба термина, особенно в обзоре западных работ.
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
при ограничениях
^i=iuikxik <• -1 ь _ -I
■iUwjk~ ' " "
, V i,j: щ > 0, Vj > О
,Я;
(2)
где R — количество анализируемых университетов; M — количество выходных параметров; N — количество входных параметров; xk — i-й выходной параметр k-го университета; qjk — j-й входной параметр k-го университета; uik и vjk — весовые коэффициенты, представляющие важность соответствующих входных или выходных параметров. Здесь ek обозначает эффективность k-го университета.
Задача (1) представляет собой формулировку модели DEA. Основное преимущество данной модели заключается в автоматическом выборе весовых коэффициентов и для каждого входного и выходного параметра согласно критерию (1).
Кроме того, задача дробно-линейного программирования (1) с ограничениями (2) может быть приведена к задаче линейного программирования с помощью преобразования, предложенного А. Чарнзом и В. Купером [Charnes, Cooper, 1962]:
min вкЛ ^
(3)
при ограничениях
(~Чк + Q • Л > 0;
вкхк -Х-Л>0; (4)
. Л > 0,
где 9k — скаляр, представляющий эффективность k-го университета; X — Rx1 вектор констант; Q — MxR матрица выходных параметров всех университетов; X — NxR матрица входных переменных. В данной формулировке константа 9к лежит в отрезке [0, 1], причем значение 9к = 1 указывает на 100%-ную эффективность k-го университета относительно данной выборки и выбранных параметров входа и выхода.
Модель (3) с ограничениями (4) носит название модели DEA с постоянной отдачей от масштаба (Constant Return to Scale, CRS). Применение такой модели DEA оправданно в том случае, когда все анализируемые университеты оперируют в оптимальном для них объеме выпуска [Coelli et al., 2005].
В результате решения одной из двойственных задач (см. формулы (1)-(2) или (3)-(4)) находится оптимальный коэффициент результативности для каждого вуза. Этот балл рассчитывается путем повторения описанной выше процедуры индивидуально для каждого учебного заведения относительно тех, которые находятся в выборке. Значение этого показателя меньше или равно 1.
17
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
В первом случае вуз считается менее эффективным по сравнению с другими, во втором — максимально результативным относительно исследуемой выборки.
Построение границ эффективности по методу DEA позволяет получить представление об относительном положении вуза, которое характеризует его ключевую деятельность в многомерном пространстве входных и выходных параметров на основе расчета эталонов эффективности по исходной выборке и определения относительной результативности каждого вуза, включенного в выборку. В случае модели (1-2) в качестве границы эффективности будет выступать кривая производственных возможностей, для модели (3-4) — изокванта (кривая фиксированного объема производства при прочих равных).
Графическая иллюстрация метода DEA по модели (3-4) для случая, когда объекты характеризуются двумя входными параметрами и одним выходным и в качестве границы эффективности анализируется изокванта, представлена на рис. 1, где xv x2 — входные параметры, q — выходной параметр.
Рис. 1 Граница эффективности при задаче DEA по
минимизации ресурсов вузов [Coelli et al., 2005]
Из рис. 1 видно, что множество эталонных вузов (эффективных по выборке) состоит из учебных заведений под номерами 2 и 5. Их комбинация определяет оболочечную поверхность3, или границу
3 Для DEA эта поверхность представляет собой кусочно-линейную кривую, построенную по наблюдаемым показателям вузов. С другой стороны, возможно и эконометрическое моделирование функциональной зависимости результирующего показателя от факторов производства. Оно осуществляется с использованием параметрических методов оценки результативности вузов. Наиболее широкое применение в эконометрическом моделировании в качестве целевой функции вузов получила функция Кобба — Дугласа.
18
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
эффективности, относительно которой оценивается эффективность 1-го, 3-го и 4-го учебных заведений. Эффективность, например, вуза под номером 4 рассчитывается как отношение отрезка 047 к отрезку 04. Для этого университета ближайшими эффективными вузами будут 2 и 5, именно их относят к группе эталонов (peers) для этих неэффективных университетов. В свою очередь, 17, 37, 47 являются проекциями неэффективных вузов на границу эффективности. Соответствующие для них значения х1, х2 и q представляют собой эффективные цели (targets) для низкорезультативных вузов, т.е. значения входных и выходных переменных, которые для них по данной выборке считаются оптимальными.
Кроме модели (3) отдельно принято выделять версию DEA с учетом эффекта масштаба. Ее отличие заключается в добавлении еще одного ограничения к (4):
Эта версия модели (3), с ограничениями (4)-(5) носит название модели DEA с переменной отдачей от масштаба (Variable Return to Scale, VRS). Ограничение гарантирует сравнение неэффективных университетов только с вузами приблизительно такого же размера, что не обязательно в модели с постоянной отдачей от масштаба. В. Подиновский также предлагает промежуточную модель DEA, в которой есть возможность оценивать некоторые параметры входа и выхода с точки зрения постоянной отдачи от масштаба, а некоторые — с точки зрения переменной [Podinovski, 2004]. Такой подход позволяет уменьшить разрыв между оценками, полученными с помощью разных моделей DEA.
В модели DEA существует возможность оценить эффект масштаба (Scale Economies) с помощью следующей формулы:
где SE — эффект масштаба; 9CRS — значение эффективности, полученное с помощью модели CRS; 9^ — значение эффективности, полученное с помощью модели VRS.
Модель DEA с переменной отдачей от масштаба удобнее всего иллюстрировать в случае, когда объекты имеют единственный параметр входа и выхода, например как на рис. 2. Наиболее высокой эффективности вуз достигает в точке 3, для которой характерна максимально возможная результативность вложенного ресурса. Это случай постоянной отдачи от масштаба. Как правило, в течение жизненного цикла у университетов происходит смена эффекта масштаба. Может наблюдаться возрастающая отдача от масштаба, особенно на первых этапах введения новых образовательных продуктов или реализации научных и инновационных проектов (например, отрезок, представленный вузами 1 и 3). После достижения точки насыщения появляется убывающая отдача от масштаба (см. отрезок, который соединяет университеты под номерами 3 и 5).
1ТЛ = 1.
(5)
(6)
19
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
Рис. 2 Графическое представление модели с переменной и постоянной отдачей от масштаба [Coelli et al., 2005]
Модель (3) с ограничениями (4) является ориентированной на вход, т.е. эффективность анализируется с точки зрения того, можно ли уменьшить расход ресурсов, производя при этом неизменное количество продукта. Однако эффективность можно оценивать и с точки зрения возможности повысить результаты, не наращивая при этом использование ресурсов. Для второго случая существует модель DEA, ориентированная на выход. Более формально:
maxq>k, (7)
<ркЛ
при ограничениях
~<Рк • + <?Я > О,
хк - XX > 0, (8)
. Я > О,
где все переменные, кроме <рк, обозначают те же величины, что и в формулах (3)-(4). В данной модели величина срк изменяется от 1 до ж, поэтому результативность каждого университета принято оценивать величиной1. К модели (7) также может быть добавлено ограничение (5). <рк
Вектор коэффициентов Я можно содержательно интерпретировать как набор теневых цен соответствующих входных и выходных параметров. Теневая цена — это максимальная стоимость, которую университет мог бы заплатить за увеличение данного
20
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
параметра на единицу. Теневые цены характеризуют эффективность использования каждого из ресурсов.
При решении задачи линейного программирования (3) или (7) при ограничениях (4), (4)-(5) или (8) может иметь место неадекватное оценивание вектора теневых цен. Чтобы избежать этой ситуации, Т. Коэлли [Coelli et al., 2005], а также многие авторы, занимающиеся эмпирическим приложением модели DEA к оценке эффективности, используют методику ценностных суждений. Суть ее заключается во введении дополнительных ограничений на элементы вектора X.
Ainf — ^ — Asup< (9)
где Xinf — вектор нижних ограничений на теневые цены, а Xsup — вектор верхних ограничений. С выбором данных векторов возникают определенные трудности, так как они должны отражать экспертное мнение. Как один из подходов к решению этой проблемы В. Подиновский предлагает методику установления нижних и верхних ограничений с помощью определения оптимальных обменных соотношений между параметрами входа и выхода [Podinovski, 2005]. На практике каждый автор вводит собственные оценки Xinf и Xsup.
Далее проанализируем работы, в которых для оценки эффективности деятельности вузов используются модели DEA. В отечественной литературе нам известно только одно такое эмпирическое исследование. В нем оценена классическая модель DEA, где в качестве показателей ресурсной обеспеченности учебных заведений рассматривались численность студентов, удельный вес в общей численности штатного профессорско-преподавательского состава (ППС) сотрудников с ученой степенью, а также фондовооруженность. В качестве результатов исследовались рейтинги качества приема в вузы и научной публикационной активности. Кроме этого, была оценена модель, которая в качестве результатов дополнительно к перечисленным выше включала соотношение бюджетного и конкурсного внебюджетного финансирования вузов. В этой работе на примере почти 30 российских вузов было показано, что более точные и согласованные с международной практикой оценки результативности получаются с учетом механизмов финансирования университетов [Abankina et al., 2012]. В связи с тем что в отечественной литературе эти модели не получили должного распространения, в обзорной части данной статьи внимание будет сконцентрировано на работах, в которых проводится анализ зарубежных университетов.
2. Анализ практики оценки эффективности университетов
Дж. Джонс оценивала эффективность 109 английских уни- 2.1. Велико-верситетов за 2000/2001 учебный год [Johnes, 2006], уделив британия
большое внимание выбору входных и выходных переменных для _________
модели DEA. Предлагаемый ею набор параметров для
21
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
проведения оценки приведен в приложении. Прокомментируем лишь ряд переменных. Входной параметр «качество студентов, обучающихся в университете» определялся как численность студентов, скорректированная на их средний балл. Под показателем исследовательской деятельности вуза в качестве одного из индикаторов результата понималось число грантов, полученных университетом. Индикатор, характеризующий качество выпускников, рассчитывался как:
GradQual = N± • 30 + N2 • 25 + JV3 • 20 + N4 • 15 + N5 • 10,(10)
где N— численность выпускников, получивших диплом /-ой категории4.
Кроме данной спецификации модели была протестирована также усеченная ее версия. В ней в качестве ресурсных показателей не учитывались численность ППС и расходы на библиотечные нужды, так как вклад этих индикаторов в показатели результативности оказался незначительным.
В работе осуществлена попытка выявить структурные различия между университетами, принадлежащими к разным категориям:
• категория 1-47 вузов, имевших статус университета до вступления в силу Закона о дополнительном и высшем образовании5 1992 г.;
• категория 2-34 вуза, получивших статус университета после 1992 г.;
• категория 3-28 колледжей, готовящих специалистов в таких областях знаний, как музыка, театр, образование и т.п.
Средние значения эффективности для трех категорий университетов приведены в табл. 1. Использована стандартная формулировка модели DEA с постоянной и переменной отдачей от масштаба. Для каждого университета вычислялся эффект масштаба.
Таблица 1 Средние значения эффективности
и количество эффективных университетов
[Johnes, 2006]
Модель с полным набором данных Модель с усеченным набором данных
Для всей выборки 94,61% 61 из 109 92,51% 51 из 109
Для категории 1 96,34% 28 из 47 94,25% 24 из 47
Для категории 2 94,25% 18 из 34 92,80% 15 из 34
Для категории 3 92,14% 15 из 28 89,27% 12 из 28
4 Всего в Англии существует пять категорий дипломов.
5 Further and Higher Education Act 1992 http://www.legislation.gov.uk/ ukpga/1992/13/contents
22
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Как и следовало ожидать, результаты двух моделей с разным набором входных и выходных параметров согласуются между собой. При использовании усеченного набора данных результативность университетов оказалась в среднем незначительно меньше, а в целом уровень эффективности английских университетов является высоким.
Наличие структурных различий в оценках эффективности университетов, принадлежащих к разным категориям, оценивалось на основе исследования [Charnes et al., 1981]. В результате различий выявлено не было. Во всех категориях средняя эффективность составляет примерно 90%, а эффективными являются около 50% общего числа анализируемых вузов.
А. Атанассопулос и Э. Шейл [Athanassopoulos, Shale, 1997], анализируя эффективность английских университетов, выбирали входные и выходные параметры модели таким образом, чтобы оценить результативность с точки зрения понесенных вузом издержек и потраченных ресурсов. С помощью модели DEA они произвели оценку 45 английских университетов на основании данных за 1992 г. Эффективность оценивалась в рамках двух разных подходов. В первом случае о результативности судили на основании того, насколько эффективно университету удалось распределить имевшийся у него объем финансирования для выполнения поставленных задач. Во втором случае деятельность вуза оценивалась с точки зрения сравнительной (относительно других вузов) эффективности использования им факторов производства (ресурсов) для достижения целей. Соответственно данным подходам авторы сформировали два разных набора входных и выходных параметров (табл. 2). Для нахождения значений эффективности применялись две стандартные спецификации модели DEA — с постоянной и переменной отдачей от масштаба.
Таблица 2 Различные наборы показателей
эффективности [Athanassopoulos, Shale, 1997]
Эффективность по издержкам Эффективность по ресурсам
Вход Выход Вход Выход
• Совокупные издержки • Расходы на научные проекты • численность выпускников • численность обладателей ученых степеней, защитившихся в данном университете • Рейтинг научной и публикационной активности • численность студентов • численность аспирантов • численность ППС • Рейтинг качества абитуриентов • Расходы на научные проекты • Расходы на библиотечный фонд и компьютерное оснащение • численность выпускников • численность обладателей ученых степеней, защитившихся в данном университете • Рейтинг научной и публикационной активности
23
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
Как видно из табл. 2, разница в выборе параметров прослеживается только во входных переменных. В первом случае они представляют собой издержки вуза, а во втором — имеющиеся у него ресурсы. Оценивая эффективность по издержкам, авторы учитывали тот факт, что университеты, сфокусированные на научном направлении подготовки студентов, несут большие издержки, чем вузы, осуществляющие прикладную подготовку. Поэтому все университеты, вошедшие в анализируемую выборку, были разбиты на три подгруппы:
• научное направление подготовки (science orientation) — больше 55% студентов обучаются на кафедрах, ведущих научные исследования;
• сбалансированная подготовка (balanced orientation) — на кафедрах, ведущих научные исследования, обучаются от 45 до 55% студентов;
• прикладная подготовка (non-science orientation) — на кафедрах, ведущих научные исследования, обучаются менее 45% студентов.
Эффективность по издержкам вычислялась следующим образом. Сначала оценивалась результативность только университетов 1-й подгруппы, после этого к ним добавлялись все университеты 2-й подгруппы, при этом значения эффективности пересчитывались для выборки, состоящей из двух подгрупп. На третьем шаге оценивалась эффективность всех 45 университетов, представленных в выборке.
Оказалось, что вузы, бывшие эффективными на одной из стадий описанного выше алгоритма, часто становятся неэффективными при добавлении в выборку университетов из других подгрупп. То есть вузы с научной направленностью подготовки имеют более высокие издержки, и за счет этого они становятся неэффективными при включении в анализ вузов, осуществляющих прикладную подготовку.
Для того чтобы избежать подобных искажений в оценках, авторы внесли следующую поправку. Итоговой оценкой эффективности университета, входящего в i-ю подгруппу (/ = 1, 2, 3), является оценка, полученная им на /-м шаге алгоритма. Таким образом, для каждого из этапов определяются свои значения эффективности, которые приведены в табл. 3.
Таблица 3 Значения эффективности университетов
по издержкам [Athanassopoulos, Shale, 1997]
Научное направ- ление Сбаланси- рованная подготовка Все университеты Итоговые значения
CRS VRS CRS VRS CRS VRS CRS VRS
Среднее значение 90,42 95,42 81,12 88,25 71,36 83,14 85,76 92,74
Минимум 66,86 71,15 43,45 54,02 36,73 49,18 45,04 49,18
Количество эффективных университетов 3 7 6 13 4 15 11 27
Количество университетов 12 25 45 45
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Авторы обращают внимание на тот факт, что только значения результативности трех больших университетов (с численностью студентов свыше 10 000 человек) существенно увеличились при переходе от CRS к VRS-модели. Причем эти университеты остались, тем не менее, неэффективными. На этом основании авторы пришли к выводу, что невозможно достичь эффективного функционирования только за счет увеличения размера вуза.
При подсчете эффективности вузов с учетом их ресурсной обеспеченности авторы столкнулись с часто встречающейся на практике проблемой «неадекватного» оценивания коэффициентов, используемых моделью DEA. Для получения более реалистичных оценок применяются так называемые оценочные суждения, т.е. фактически строятся дополнительные ограничения на коэффициенты базовой модели DEA.
Авторы предложили три разных варианта оценочных суждений, которые вводятся в модель последовательно. На каждом этапе, таким образом, рассчитываются отдельные оценки эффективности для каждого университета из выборки. Результаты работы с моделью приведены в табл. 4.
Таблица 4 Ресурсная эффективность с использованием оценочных суждений [Athanassopoulos, Shale, 1997]
Без суждений Суждение 1 Суждение 2 Суждение 3
Среднее 97,16 93,83 95,27 95,98
Минимум 77,85 68,65 75,97 77,85
Количество эффективных университетов 27 14 19 23
Максимальное изменение эффективности — -13,69 -11,87 -16,79
С введением дополнительных ограничений на коэффициенты модели DEA эффективность университетов в среднем по выборке снизилась, что свидетельствует о целесообразности использования выбранного подхода, так как полученные в первом столбце таблицы оценки эффективности, по мнению авторов, не отражали реальной картины в сфере высшего образования Великобритании в 1997 г.
Дж. Бизли [Beasley, 1995] оценил эффективность факультетов химии и физики 52 английских университетов. Соответствующие переменные для модели DEA представлены в приложении. В Англии существует внутренняя система оценки факультетов с четырьмя градациями: Star, A+, A, A-, что и определило выбор четырех фиктивных переменных в качестве характеристик качества работы. Оценивалась не только общая результативность
25
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
факультетов, но и отдельно их научная и образовательная деятельность. Описательная статистика полученных оценок эффективности приведена в табл. 5.
Таблица 5 Исследовательская и образовательная
эффективность естественно-научных факультетов английских университетов [Beasley, 1995]
Химические факультеты Физические факультеты
Вид эффективности
Образо- вательная Научная Образо- вательная Научная
Среднее значение(%) 66,59 87,56 64,79 84,93
Минимальное значение 34 63 32 54
Количество эффективных вузов 3 8 1 8
Из полученных Дж. Бизли результатов видно, что английские вузы в среднем дальше от границы образовательной, чем от границы исследовательской результативности. Немецкие и российские университеты, как будет показано ниже, напротив, в среднем ближе к границе образовательной результативности, чем к границе исследовательской.
Таким образом, Дж. Бизли реализовал модификацию базовой модели DEA с целью получить возможность оценить одновременно несколько компонентов эффективности. Как и А. Атанассопулос и Э. Шейл [Athanassopoulos, Shale, 1997], он применил оценочные суждения, которые позволяют более точно восстановить форму границы эффективности.
В исследовании Э. Флегга [Flegg et al., 2004] использованы четыре версии базовой модели DEA, с помощью которых оцениваются четыре вида эффективности английских университетов за период с 1980/1981 по 1992/1993 учебный год:
1) техническая эффективность (Technical Efficiency, TE) рассчитывается с помощью стандартной модели (7) с ограничениями (8);
2) эффективность от масштаба (Scale Efficiency, SE) определяется как отношение технической эффективности к эффективности при переменной отдаче от масштаба, т.е. эффективности, полученной с помощью модели (7) с ограничениями (8) и (5);
3) чистая техническая эффективность (Pure Technical Efficiency, PTE) находится с помощью решения следующей задачи линейного программирования:
ma х(р, (11)
(р,А
26
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
при ограничениях
'~<Р • <7fc + QA > О,
ХЛ-хк = 0, (12)
< „
14 = 1,
< А > О,
где все обозначения совпадают с описанными в первой части статьи, а 1 представляет собой значение чистой технической эффективности;
4) эффективность загрузки (Congestion Efficiency, CE) рассчитывается как отношение эффективности с переменной отдачей от масштаба к чистой технической эффективности.
Показано, что значения всех четырех видов эффективности связаны между собой следующим образом:
TEi=SEi-CEi-PTEi, (13)
где i — номер университета в оцениваемой выборке.
Входные и выходные показатели, которые предложил Э. Флегг для оценки эффективности высших учебных заведений с учетом издержек, приведены в приложении. В качестве одной из входных переменных выбраны расходы как совокупные издержки вуза, за исключением фонда оплаты труда ППС.
Итоговые значения эффективности представлены на рис. 3, из которого видно, что университеты за рассматриваемый период смогли в среднем увеличить техническую эффективность на 10-12% благодаря росту остальных трех составляющих эффективности.
Рис. 3 Средние значения эффективности
английских университетов за период с 1980/1981 по 1992/1993 учебный год [Flegg et al., 2004]
27
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
Таким образом, судя по результатам представленных исследований, английские университеты выполняют свои функции достаточно эффективно. Большинство вузов оперирует на уровне эффективности 90-95%.
2.2. Греция Г. Катаракис и М. Катараки проанализировали эффективность
_______________ 20 греческих университетов тремя разными способами [Katharakis,
Katharaki, 2010]. Первая модель представляет собой простое ранжирование вузов на основе показателей, выбранных в качестве индикаторов эффективности деятельности университетов. Критерии сравнения вузов отбирались на основании следующих требований [Hufner, 1991]:
• совместимость с целью университета (образовательная или исследовательская);
• возможность количественного измерения и стандартизации (необходимо для сравнения разных университетов);
• простота и адекватность тому, что данный показатель должен измерять;
• приемлемость для всех университетов в исследуемой выборке.
Авторы остановили свой выбор на следующих показателях эффективности вузов:
• операционные издержки6 в расчете на одного выпускника (D1);
• численность выпускников в расчете на 100 человек из числа профессорско-преподавательского состава (D2);
• численность активных студентов, работающих или участвующих в исследованиях, проводимых университетом, в расчете на 100 выпускников (D3);
• доход от исследовательской деятельности в расчете на одного преподавателя (D4);
• численность студентов в расчете на 100 выпускников (D5).
По этим показателям были собраны данные для всех 20 вузов
из выборки. Проведено ранжирование, которое выявило лидера по каждому из них. Результаты представлены в табл. 6.
Таблица 6 Верхние позиции рейтинга
20 греческих университетов, согласно различным моделям оценки [Katharakis, Katharaki, 2010]
Рейтинг, первые пять мест Номера университетов (N, i = 1 20) с наибольшим значением индикаторов
Di D2 D3 D5
№ 1 N8 N8 N6 N6
№ 2 N4 N9 N8 N18
№ 3 N9 N4 N9 N12
№ 4 N7 N19 N4 N14
№ 5 N10 N6 N2 N20
28
В данном случае имеются в виду расходы вуза, связанные с подготовкой и организацией учебно-образовательного процесса.
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Далее Г. Катаракис и М. Катараки применили модель DEA с постоянной отдачей от масштаба и ориентацией на входные параметры. Как и в исследовании [Flegg et al., 2004], при определении входных переменных в операционные издержки не входил фонд оплаты труда сотрудников университета. Выбор остальных параметров сравним с предыдущими работами (см. приложение). На основе представленного набора индикаторов сформированы две модели: первая включает выходной показатель дохода от научно-исследовательской деятельности, а вторая его не учитывает. Авторы делают вывод о согласованности результатов, полученных с помощью этих моделей.
Н. Авкиран с помощью модели DEA оценивал три аспекта 2.3. Ав-эффективности австралийских университетов [Avkiran, 2001]: стралия
общую эффективность (overall efficiency), качество преподава- ___
ния (performance on delivery of educational services) и результативность привлечения платежеспособных студентов к обучению в университете (performance on fee-paying enrolments).
Базовый набор входных и выходных параметров для оценки общей эффективности представлен в приложении. В качестве выходных переменных при оценке качества преподавания использованы следующие показатели:
• удельный вес отчисленных студентов в общей численности студентов;
• средняя успеваемость студентов;
• удельный вес студентов, работающих полный рабочий день параллельно с обучением, в общей численности студентов.
Ввиду сокращения объема государственного финансирования австралийским университетам приходится активно привлекать студентов, готовых платить за образование. Для оценки эффективности привлечения платежеспособных студентов использовались следующие выходные параметры:
• численность иностранных студентов, оплачивающих обучение;
• численность отечественных аспирантов, не оплачивающих обучение.
Применялась DEA VRS-модель, ориентированная на максимизацию выходных параметров. Автор обосновал такой выбор версии модели тем, что менеджмент вуза имеет возможность контролировать входные параметры, а также сильной зависимостью эффективности деятельности университета от его размера. Действительно, чем крупнее вуз, тем легче ему оперировать на рынке образовательных услуг, а следовательно, тем выше может быть его эффективность.
Результаты работы моделей для выборки из 36 вузов за 1995 г. представлены в табл. 7.
29
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
Таблица 7 Сравнительный анализ работы
трех моделей при оценке эффективности австралийских вузов [Avkiran, 2001]
Средняя эффективность (%) Стандартное отклонение Минимальная эффективность (%) Количество вузов на границе
Модель 1 95,53 10,11 44,88 23 из 36
Модель 2 96,67 3,50 87,83 11 из 36
Модель 3 63,39 29,07 15,32 10 из 36
Полученные результаты свидетельствуют о том, что по способности привлекать иностранных студентов австралийские вузы сильно отличаются друг от друга.
Эффективность 36 австралийских университетов за 1995 г. анализировалась и еще в одной работе [Abbott, Doucouliagos, 2003], в которой были выбраны четыре входных и два выходных параметра (см. приложение).
Оценка эффективности проводилась в несколько этапов. Сначала анализировалась вся совокупность исследуемых вузов, затем университеты были разбиты на кластеры, и каждый кластер оценивался в отдельности. Разделение выборки на группы осуществлялось на основании соотношения двух показателей: численности студентов в эквиваленте полной занятости и размера полученных грантов. В результате проведения эмпирического анализа было выявлено, что все университеты разбиваются на три кластера по указанному признаку. Использовалась DEA VRS-модель, а также для каждого университета вычислялся эффект масштаба. Результаты представлены в табл. 8.
Таблица 8 Распределение австралийских университетов по уровню эффективности [Abbott, Doucouliagos, 2003]
Интервал эффективности Все университеты Кластер 1 (высокий показатель) Кластер 2 (низкий показатель)
0-0,6 3 6 0
0,6-0,8 3 0 5
0,8-0,85 6 0 5
0,85-0,9 11 12 0
0,9-0,95 14 18 11
0,95-1 64 65 79
Примечание. Округление до целых произведено в большую сторону, поэтому для общей выборки и кластера 1 сумма превышает 100% на 1%.
Авторы также осуществили группировку университетов по их местоположению (город или сельская местность). Полученные на основе такого разбиения результаты оказались сильно схожими с данными базовой модели. Сделан вывод об относительно высоком уровне эффективности австралийских университетов.
30
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
С. Уорнинг, измеряя эффективность немецких университетов, 2.4. Германия
предпринял попытку выделить стратегические группы вузов в си- _______________
стеме высшего образования [Warning, 2004]. Для анализа результативности 73 государственных университетов данные для входных и выходных параметров модели DEA собраны за период с 1997 по 1999 г.
Эффективность оценивалась с помощью пяти разных моделей DEA (табл. 9). При выборе параметров для проведения оценки делался акцент на различии университетов по направлению подготовки (естественные или социальные науки), а также по качеству образовательной и исследовательской деятельности.
Таблица 9 Спецификации моделей DEA,
использованных для оценки эффективности немецких университетов [Warning, 2004]
Вход Выход
Модель 1 Исследовательская эффективность 1) Фонд оплаты труда 2) Все остальные расходы 1) число публикаций по социальным наукам 2) число публикаций по естественным наукам
Модель 2 Образовательная эффективность 1) Фонд оплаты труда 2) Все остальные расходы 1) численность выпускников по направлениям естественных наук 2) численность выпускников по направлениям социальных наук
Модель 3 Эффективность вуза в подготовке специалистов в области социальных наук 1) Фонд оплаты труда 2) Все остальные расходы 1) число публикаций по социальным наукам 2) численность выпускников по направлениям социальных наук
Модель 4 Эффективность вуза в подготовке специалистов в области естественных наук 1) Фонд оплаты труда 2) Все остальные расходы 1) число публикаций по естественным наукам 2) численность выпускников по направлениям естественных наук
Модель 5 Общая эффективность 1) Фонд оплаты труда 2) Все остальные расходы 1) число публикаций 2) по естественным наукам 3) численность выпускников образовательных программ по естественым наукам 4) число публикаций 5) по социальным наукам 6) численность выпускников образовательных программ по социальным наукам
31
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
К естественным наукам в данной работе отнесены математика, медицина, химия, физика, биология, сельское хозяйство и инженерные специальности, к социальным — право, экономика, социология, лингвистика, а также творческие специальности. Таким образом, каждая из предложенных моделей отвечала за определенный вид эффективности университета. В качестве входных параметров во всех моделях выбраны издержки университета.
На основании результатов работы моделей (табл. 10) можно сделать вывод, что в среднем образовательная эффективность немецких университетов выше, чем исследовательская, а эффективность подготовки специалистов в области естественных наук выше, чем специалистов социальных наук. Показатель общей эффективности выше всех остальных, поскольку в данной модели комбинируются оценки эффективности, полученные из остальных моделей.
Таблица 10 Эффективность немецких университетов
согласно различным моделям [Warning, 2004]
Модель 1 Модель 2 Модель 3 Модель 4 Модель 5
Среднее 0,449 0,628 0,460 0,586 0,719
Минимум 0,001 0,108 0,014 0,005 0,165
Стандартное отклонение 0,297 0,232 0,301 0,267 0,236
Количество эффективных вузов 4 5 3 5 13
Корреляции между моделями с разными комбинациями входных и выходных параметров приведены в табл. 11. Логично было бы ожидать отрицательной корреляции между моделями 1 и 2, т.е. между образовательной и исследовательской эффективностью, а также между моделями 3 и 4: вкладывая ресурсы в одно из направлений развития, вуз неизбежно будет отставать в другом. Однако в исследовании данное предположение не подтвердилось: получена низкая положительная корреляция между показателями эффективности, оцененными с помощью разных моделей. Автор рассматривает этот результат как один из индикаторов отсутствия стратегических групп вузов, основанных на различии в направлении деятельности.
32
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Таблица 11 Корреляции показателей эффективности
немецких вузов, полученных на основании различных моделей [Warning, 2004]
Модель 1 Модель 2 Модель 3 Модель 4 Модель 5
Модель 1 1
Модель 2 0,188 1
Модель 3 0,834 0,351 1
Модель 4 0,217 0,750 0,073 11
Модель 5 0,594 0,835 0,682 0,620 1
Далее С. Уорнинг сделал попытку выявить стратегические группы вузов по направлению деятельности (исследовательская и образовательная специализация) и по специализации в подготовке студентов (социальные или естественные науки). Основная идея заключалась в построении квантильной регрессии объясняющих переменных на полученные с помощью DEA оценки эффективности. Квантильная регрессия в соответствии с [Koenker, 2005] представляется в виде:
Y = X-p+u, (14)
где Y — n х 1 вектор значений зависимой переменной; X — n х к матрица объясняющих переменных; u — n х 1 вектор ошибок;
Р — к х 1 вектор коэффициентов для оценки; n — количество наблюдений; к — количество объясняющих переменных.
В данном случае под вектором Y понимаются значения эффективности, вычисленные с помощью модели DEA. Использовались два значения параметра т (уровней квантильной регрессии), а именно 0,75 и 0,25. Таким образом, анализ фокусируется на разных группах университетов. В первом случае модель квантильной регрессии производит расчет вектора неизвестных параметров р для высокоэффективных университетов, во втором случае — для низкоэффективных. Набор объясняющих переменных представлен в табл.12.
В результате проведенного анализа выяснилось, что влияние стратегических переменных на значения эффективности незначимо. Следовательно, нельзя сделать вывод о разделении немецких университетов на группы по направлению деятельности и подготовки выпускников.
М. Макмиллан и ч. Уинг дополнительно учитывали влияние 2.5. Канада
факторов среды на разброс оценок эффективности [McMillan, ___________
Wing, 2006]. Входным параметром для модели DEA они выбрали общие издержки, понесенные вузом. Использовались два набора входных и выходных параметров — полный и усеченный. В усеченном наборе некоторые выходные переменные модели рассматривались как переменные среды (см. приложение). Влияние
33
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
Таблица 12 Набор объясняющих переменных для
проведения регрессии и выявления стратегических групп университетов [Warning, 2004]
Стратегические переменные: направление деятельности университета(исследовательская, образовательная) Стратегические переменные: направление подготовки выпускников(естественно-научные или социальные дисциплины)
1) число публикаций по естественным наукам в расчете на 100 выпускников 2) число публикаций по социальным наукам в расчете на 100 выпускников 1) Удельный вес публикаций по естественным дисциплинам в общем объеме 2) Удельный вес выпускников, обучавшихся естественным наукам, в общей численности
Общие для обеих моделей объясняющие переменные
1) число полученных грантов 2) численность студентов 3) Возраст университета 4) численность населения, живущего рядом с университетом 5) Нахождение университета на западе (фиктивная переменная) 6) Обучение медицинской специальности (фиктивная переменная) 7) число университетов в округе
факторов среды на оценки эффективности, полученные с помощью DEA, оценивалось с помощью регрессионного анализа.
Показатели эффективности 45 канадских университетов за 1992/1993 учебный год, полученные с помощью разных модификаций модели DEA, представлены в табл. 13.
Таблица 13 Результаты DEA-модели [McMillan, Wing, 2006]
DEA DEA с учетом параметров окружающей среды
Усеченный набор данных Полный набор данных Усеченный набор данных Полный набор данных
Среднее значение 0,914 0,974 0,922 0,975
Медиана 0,961 1 0,956 0,989
Стандартное отклонение 0,106 0,061 0,078 0,035
Количество эффективных университетов 18 35 3 5
Таким образом, канадские университеты являются достаточно эффективными, однако учет влияния параметров окружающей среды сказался на числе эффективных университетов.
34
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Информация для оценки результативности российских вузов с учетом их ресурсной обеспеченности была взята из базы данных Мониторинга деятельности образовательных учреждений высшего профессионального образования в сфере исследований и разработок и кооперации с организациями предпринимательского сектора, сведений о вузах Министерства образования и науки РФ за отчетный период, а также из открытых источников (проект «Общественный контроль за процедурами приема в вузы как условие обеспечения равного доступа к образованию»). В выборку с учетом полноты и корректности представления данных вошли 200 вузов.
Наиболее многочисленные группы составили вузы технического (78 вузов) и классического (59 вузов) профиля, поэтому было принято решение на их примере провести сравнительный анализ результативности вузов с учетом их ресурсного потенциала. Для этого был использован один из классических непараметрических методов оценки относительной результативности вузов по выборке — метод оболочечного анализа с постоянной отдачей от масштаба.
Для анализа образовательного потенциала (модель 1) вузов в качестве входных параметров были использованы такие показатели, как удельное бюджетное финансирование, удельный вес обладателей ученых степеней в общей численности ППС и совокупная численность ППС. Показателями результата в модели 1 при данном количестве ресурсов были средний балл первокурсников, поступивших по ЕГЭ, и суммарный контингент, т.е. численность студентов, обучающихся на бюджетных и платных местах. Этот набор выходных индикаторов характеризует выбор студентами вузов именно этого профиля с учетом их численности и качества академической подготовки.
Модель 2 оценивала результативность научно-учебной деятельности вузов. Как и в модели, учитывающей только образовательную деятельность вузов, входные показатели включали удельное бюджетное финансирование и удельный вес обладателей ученых степеней в общей численности ППС. Дополнительно в качестве входного показателя был задействован средний балл ЕГЭ. Эти параметры отражают тот кадровый потенциал, который вуз привлекает в лице студентов и может использовать для повышения уровня своей исследовательской деятельности, в том числе для развития кооперации ППС со студентами в рамках работы над совместными научно-исследовательскими проектами. В качестве результирующих показателей, кроме суммарного контингента, выступали взвешенный вес кадрового резерва (молодых работников) в общей численности ППС и научных работников (по категориям)7 и публикационная актив-
3. Исследование российских государственных вузов
Расчет показателя проведен для трех категорий кадрового резерва, принимающих участие в научных исследованиях и разработках: докторов наук в возрасте до 40 лет, кандидатов наук в возрасте до 35 лет и молодых научных работников и ППС без ученой степени в возрасте до 30 лет. Для удельных весов
35
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
ность сотрудников вуза, а именно число научных статей в рецензируемых журналах в расчете на 100 сотрудников.
Спецификация обеих моделей в таком виде стала возможной как для технических, так и классических вузов, так как отсутствовала корреляционная зависимость между переменными внутри групп входных и результирующих показателей по данным вузам. Табл. 14-15 и 16-17 представляют корреляционные матрицы входных и выходных показателей по обеим моделям для технических и классических вузов соответственно.
Таблица 14 Корреляционная матрица входных и выходных показателей для модели 1 — технические вузы
stud ege ubf pds pps
stud 1,0000
ege 0,1601 1,0000
ubf 0,0681 0,5784*** 1,0000
pds -0,0031 0,0889 0,0033 1,0000
pps -0,2885 -0,0186 0,0070 0,0996 1,0000
Примечание. *** обозначена статистическая значимость коэффициента парной корреляции на 1%-ном уровне значимости.
Обозначения: stud — суммарный контингент; ege — средний балл первокурсников, поступивших по ЕГЭ; ubf — объем бюджетного финансирования в расчете на одного студента; pds — удельный вес кандидатов и докторов наук в общей численности ППС; pps — совокупная численность ППС.
Таблица 15 Корреляционная матрица входных и выходных показателей для модели 2 — технические вузы
ypps pub stud ubf pds ege
ypps 1,0000
pub 0,0616 1,0000
stud -0,0500 0,2880 1,0000
ubf -0,0764 -0,0328 0,0681 1,0000
pds 0,3792*** -0,1336 1 О О о со 0,0033 1,0000
ege -0,0280 -0,0371 0,1601 0,5784*** 0,0889 1,0000
Примечание. *** обозначена статистическая значимость коэффициента парной корреляции на 1%-ном уровне значимости.
Обозначения: ypps — взвешенный вес кадрового резерва (молодых работников) в общей численности ППС и научных работников (по категориям); pub — число научных статей в рецензируемых журналах в расчете на 100 сотрудников; stud — суммарный контингент; ubf — объем бюджетного финансирования в расчете на одного студента; pds — удельный вес кандидатов и докторов наук в общей численности ППС; ege — средний балл первокурсников, поступивших по ЕГЭ.
молодых работников в общей численности ППС и научных работников соответствующей категории кадрового резерва экспертно были назначены следующие веса: 0,4; 0,3 и 0,3.
36
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Таблица 16 Корреляционная матрица входных и выходных показателей для модели 1 — классические вузы
stud ege ubf pds pps
stud 1,0000
ege 0,4694*** 1,0000
ubf 0,3941*** 0,2167 1,0000
pds -0,0633 -0,0941 -0,0393 1,0000
pps 0,3013 0,1637 0,1589 0,1536 1,0000
Примечание. *** обозначена статистическая значимость коэффициента парной корреляции на 1%-ном уровне значимости.
Обозначения: stud — суммарный контингент; ege — средний балл первокурсников, поступивших по ЕГЭ; ubf — объем бюджетного финансирования в расчете на одного студента; pds — удельный вес кандидатов и докторов наук в общей численности ППС; pps — совокупная численность ППС.
Таблица 17 Корреляционная матрица входных и выходных показателей для модели 2 — классические вузы
ypps pub stud ubf pds ege
ypps 1,0000
pub -0,2201 1,0000
stud -0,1123 -0,1903 1,0000
ubf -0,2317 0,1378 0,3941*** 1,0000
pds 0,2575 -0,2694 -0,0633 -0,0393 1,0000
ege -0,0365 -0,1421 0,4694*** 0,2167 -0,0941 1,0000
Примечание. *** обозначена статистическая значимость коэффициента парной корреляции на 1%-ном уровне значимости.
Обозначения: ypps — взвешенный вес кадрового резерва (молодых работников) в общей численности ППС и научных работников (по категориям); pub — число научных статей в рецензируемых журналах в расчете на 100 сотрудников; stud — суммарный контингент; ubf — объем бюджетного финансирования в расчете на одного студента; pds — удельный вес кандидатов и докторов наук в общей численности ППС; ege — средний балл первокурсников, поступивших по ЕГЭ.
Результаты расчетов по обеим моделям для технических и классических вузов представлены на рис. 4-7. Технические вузы по уровню результативности можно разбить на три группы:
1- я группа — низкая результативность (до 0,6);
2- я группа — средняя результативность (от 0,6 до 0,9);
3- я группа — высокая результативность (от 0,9 до 1).
Картина распределения классических вузов по уровню эффективности более сложная. Университетов средней результативности среди них довольно мало, расслоение более резкое. Если применить те же основания группировки, что и для технических вузов, то группы получатся примерно равными. Однако группы вузов с низкой и высокой результативностью сосредоточены на границах — особенно группа с низкой результативностью, которая
37
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
практически вся расположена вокруг показателя 0,5, т.е. заметно смещена. Группа со средней эффективностью «размазана», и если и говорить о смещении, то, скорее, в сторону значения 0,6, т.е. к нижней границе, а не к верхней, как в группах с низкой и высокой результативностью. Так что деление на группы, аналогичное произведенному для технических вузов, в случае классических университетов не столь убедительно. Это означает, что применительно к вузам этого профиля нет содержательных оснований различать результативность на уровне 0,5 и 0,6.
Рис. 4 Распределение баллов результативности
для технических вузов по модели 1
GQ
О
«
О > 0) ш
£ £
20 15 1 10 5 0
0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9
Балл результативности
1
Рис. 5
Распределение баллов результативности для технических вузов по модели 2
U
о
«
0 S'
ВО ш
5 g
20
15
10
5
0
“I------1
0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Балл результативности
38
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Рис. 6
Распределение баллов результативности для классических вузов по модели 1
GQ
8
О S'
“ S
8 *
■г О
ч
О s
£ о
“ о то =: Si
15 п
10 -
5
0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Балл результативности
Рис. 7
Распределение баллов результативности для классических вузов по модели 2
00
О
СО
>
00
X
S
X
о
ф
т
S
о
о
си
20
15
10 Н
0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9
Балл результативности
0
5
0
Из рис. 4 и 6 видно, что распределение по результативности образовательной деятельности в группах технических и классических вузов сходное. Удельный вес относительно результативных вузов сравним и находится в диапазоне 80-90%. Для группы классических вузов он несколько выше — отчасти, видимо, по той причине, что в ней было на 24,4% меньше вузов, чем в группе технических. Чем меньше количество анализируемых вузов, тем большее число вузов может оказаться на границе эффективности, соответственно будет наблюдаться меньший разброс в баллах результативности. Таким образом, размер выборки исследуемых вузов может иметь решающее значение, особенно при принятии управленческих решений в отношении вузов. В нашем случае это не привело к существенным различиям в итоговых оценках. Так, удельный вес наиболее результативных вузов в общем числе классических университетов превысил аналогичный показатель по техническим учебным заведениям всего на 4,5 процентного пункта.
По модели 2 (рис. 5 и 7) среди классических в группу высокоэффективных попало на 3,7 процентных пункта больше вузов, чем
39
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
среди технических. Это также может быть связано с разными размерами исследуемых подвыборок. В то же время группа технических вузов отличалась более высоким потенциалом в научно-учебной работе — в диапазоне 70-90% от максимально результативных вузов. Высокоэффективные в научно-учебной работе вузы составили 46,2% от общего числа анализируемых технических вузов. Напротив, в общем числе классических вузов наибольший удельный вес имели вузы, чей научно-учебный потенциал достиг только среднего уровня, т.е. 50-60% — почти половина выборки (45,8%).
Модель 2 (см. рис. 5) для технических вузов дает более интересные результаты, чем для классических. Она расслаивает вузы на три группы — с низкой, средней и высокой результативностью. В группе со средними показателями эффективности оказались очень известные технические университеты, имеющие довольно сильный бренд. Очевидно, их показатели результативности ниже потенциально возможных при тех ресурсах, которыми они располагают. Если не соотносить возможности этой группы вузов с их ресурсной обеспеченностью, то можно было бы говорить о высоких показателях, однако потенциал этих вузов недоиспользован, именно поэтому они оказались в группе со средними показателями результативности.
В группу высокоэффективных вузов вошли сильные региональные вузы, которые более активно используют свой потенциал и даже при невысокой ресурсной обеспеченности достигают значимых результатов. Для классических вузов, как и для технических, расчеты по модели 2 более убедительны, чем по модели 1. Однако в управлении вузами стоит задача разработки разной политики по отношению к вузам разной результативности, а для этого необходимо правильно провести границу между группами классических университетов с низкой и средней результативностью. У вузов средней результативности есть потенциал развития с опорой на собственные ресурсы, тогда как вузы низкой результативности отличаются слабыми показателями как в образовательной, так и в научной деятельности. Они не могут привлечь сильных мотивированных студентов и не обладают достаточными финансовыми ресурсами.
На показатель результативности вузов — как технических (см. рис. 4 и 5), так и классических (см. рис. 6 и 7) — существенно влияет фактор публикационной активности. Неважно, считать значимой парную корреляцию между баллами ЕГЭ и удельным финансированием или не считать, эта связь не играет существенной роли (см. табл. 16 и 17). А публикационная активность меняет картину: без нее получилась бы красивая гладкая гистограмма, с учетом же публикационной активности вузы распадаются на группы по результативности. Одним вузам публикационная активность позволяет приблизиться к порогу результативности, на показатели эффективности других она почти не влияет, а есть вузы, которые несут существенные потери при включении этого фактора в анализ.
40
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Это означает, что при принятии управленческих решений, рассчитывая результативность вузов, есть смысл выделять в особую группу вузы, у которых есть барьеры на пути к публикациям, поскольку эти особые условия могут вызвать значимое (и неоправданное) снижение показателей их эффективности.
Как классические, так и технические университеты обладают в среднем более высоким потенциалом в области образовательной деятельности, чем в научно-учебной (табл. 18). Кроме этого, если образовательная деятельность является приоритетом как для технических, так и для классических вузов (дисперсия баллов результативности для модели 1 меньше, чем для модели 2), то фокус на научно-образовательной деятельности характерен не для всех вузов. В этом отношении как технические, так и классические вузы более далеки от границы своих потенциальных возможностей.
Таблица 18 Описательные статистики баллов
результативности для технических и классических вузов
Модель 1 Модель 2
Описательные статистики баллов результативности для технических вузов
Среднее значение (%) 71,68 66,22
Дисперсия(%) 2,78 4,61
Описательные статистики баллов результативности для классических вузов
Среднее значение (%) 73,36 65,57
Дисперсия(%) 3,12 4,42
На основе полученных баллов результативности можно судить о том, насколько согласуются две миссии российских вузов (модели 1 и 2). Для технических вузов коэффициент парной корреляции этих оценок, как и коэффициент ранговой корреляции (коэффициент Спирмена) статистически значимы на 1%-ном уровне значимости и равны 35,1 и 36,4% соответственно. В группе классических вузов наблюдалась меньшая согласованность стратегических ориентиров: коэффициент парной корреляции баллов результативности классических вузов по этим двум моделям менее 20% (19,9%) и незначим, а коэффициент Спирмена — 22,7% со значимостью на 1%-ном уровне.
Сопоставляя показатели эффективности российских вузов с данными о результативности зарубежных университетов (см. раздел 2), можно отметить, что российские вузы в среднем по уровню эффективности уступают канадским [McMillan, Wing, 2006] и английским университетам. Например, Дж. Джонс [Johnes, 2006] показала, что средняя эффективность даже тех английских вузов, которые специализируются в области музыкального или
41
Л Вопросы образования. 2013. № 2 http://vo.hse.ru
4. Заключение театрального искусства, превышает 90%. А минимальный уровень эффективности английских вузов с учетом их научного профиля составляет 66,86% [Athanassopoulos, Shale, 1997] — этот показатель близок к характеристике текущего научно-образовательного потенциала государственных российских вузов (см. табл. 18). По показателям образовательной деятельности российские классические (73,36%) и технические вузы (71,68%) в среднем выглядят более эффективными по сравнению с химическими (66,59%) и физическими (64,79%) факультетами английских вузов, а в сфере научной деятельности ситуация обратная [Johnes, 2006]. В то же время по среднему уровню результативности российские вузы сравнимы с австралийскими [Avkiran, 2001], при этом в нашем случае выявлен меньший разброс в баллах. Российские вузы являются более эффективными, чем их немецкие коллеги, у которых среднее значение результативности по одной из моделей составило только 71,9% [Warning, 2004]. Проведенный анализ практического опыта оценки результативности вузов показал, что классическая модель DEA получила широкое распространение в прикладных исследованиях по оценке эффективности работы вузов. Эти модели могут быть модифицированы. Например, в них могут быть включены оценочные суждения (дополнительные ограничения на коэффициенты модели DEA), использована кластеризация множества анализируемых университетов [Athanassopoulos, Shale, 1997; Johnes, 2006] или проведен учет параметров среды [McMillan, Wing, 2006]. В проанализированных нами работах (см. [Kempkesa, Pohl, 2010; McMillan, Wing, 2006]) сделана попытка оценить сопоставимость различных моделей оценки эффективности и целесообразность использования той или иной методики на практике, т.е. сделать вывод о границах применимости моделей. Однако приходится признать, что сформулировать и представить четкие границы использования данных методов вряд ли возможно, поскольку эти модели работают с реальными данными и очень сильно зависят от исследуемого объекта. В эмпирической части исследования был проанализирован потенциал российских государственных вузов в образовательной и научно-учебной деятельности. Технические и классические вузы показали сравнимое распределение баллов результативности по образовательному профилю. При этом в каждой подгруппе эффективность более половины вузов (55,1 и 59,3% технических и классических вузов соответственно) превысила или оказалась равна 80%, т.е. они являются относительно производительными вузами. Технические вузы характеризовались в среднем более высоким научно-образовательным потенциалом, чем классические: у 46,2% технических вузов балл научно-образовательной эффективности составил от 70 до 90%. В группе классических вузов преобладали учебные заведения со средним потенциалом
42
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
научно-образовательной деятельности — 50-60% от потенциально возможного по анализируемой выборке вузов.
Расчеты по модели 2, которая учитывает научно-образовательную деятельность вузов, позволяют выявить группы вузов с высокой, средней и низкой результативностью. При расчете баллов эффективности в однородных группах вузов (отдельно для технических и классических университетов) получаются содержательно убедительные результаты. При использовании публикационной активности для отдельных вузов необходимо «делать скидку» на закрытость их научных исследований, а значит, рассчитывать показатели их эффективности без публикационной активности. Пограничные значения показателей при делении вузов на группы с низкой, средней и высокой результативностью можно установить одинаковые для технических и классических университетов:
• до 0,6 — низкая результативность;
• 0,6-0,9 — средняя результативность;
• выше 0,9 — высокая результативность.
В результате проведенного исследования было показано, что подобные расчеты результативности вузов необходимо сделать для учебных заведений, сравнимых по профилю и базовым характеристикам. Необходима выборка, в состав которой войдет около 60 наблюдений, чтобы было возможно проводить соответствующие расчеты для трех-четырех ресурсных и двух результирующих параметров. Кроме этого, важно разработать такую систему входных и выходных показателей, чтобы они оценивали реализацию миссии или достижение стратегических ориентиров всех вузов, которые их формулируют в своих программах развития.
43
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
Приложение. Входные и выходные параметры для модели DEA
Автор- ский коллек- тив Входные параметры DEA Выходные параметры DEA
(О о о N <Л 0) с ■С о —) • Качество обучающихся в университете студентов • Численность аспирантов • численность ППС • Амортизация вуза • Расходы на библиотечные нужды и компьютерное оснащение • Административные расходы • Показатель исследовательской деятельности • Количество ученых степеней, выданных на программах послевузовской подготовки • Качество выпускников
р О) О) 0) л £ (Л (Л о 3 о а о (Л (Л л с л £ < Эффективность по издержкам Эффективность по ресурсам Эффективность по издержкам Эффективность по ресурсам
• Совокупные издержки • Расходы на научные проекты • численность студентов • численность аспирантов • численность ППС • Рейтинг качества абитуриентов • Расходы на научные проекты • Расходы на библиотечный фонд и компьютерное оснащение • численность выпускников • численность обладателей ученых степеней, защитившихся в данном университете • Рейтинг научной и публикационной активности • численность выпускников • численность обладателей ученых степеней, защитившихся в данном университете • Рейтинг научной и публикационной активности
Beasley (1995) • Общие издержки • Расходы на техническое оборудование • Расходы на исследования • численность студентов бакалавриата • численность студентов магистратуры • численность студентов аспирантуры • Рейтинг публикационной и научной деятельности • четыре фиктивные переменные, отражающие оценку работы департамента
44
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
Л
Автор- ский коллек- тив Входные параметры DEA Выходные параметры DEA
? о о w я +* 0) о> D) 0) LL • численность сотрудников университета • численность студентов бакалавриата • численность магистров и аспирантов • Совокупные расходы (включаются все издержки, кроме фонда оплаты труда профессорско-преподавательского состава) • Доход от исследовательской и консультационной деятельности вуза • число выданных дипломов бакалавриата • число выданных дипломов магистратуры и число защищенных диссертаций на получение степени PhD
.2 2 ■* «о (I lO 1- я 1Я £ о £-£c\i я — Я V ** • численность ППС • численность административных сотрудников • численность студентов • Операционные издержки, за исключением фонда оплаты труда сотрудников университета • численность выпускников • Доходы от научно-исследовательской деятельности университета
о о N с я • численность научных работников • численность административных сотрудников • численность студентов • численность аспирантов • Сумма средств, полученных университетом на грантовой основе на исследования • Процент отчисленных студентов • Средняя успеваемость студентов • Удельный вес студентов, работающих полный рабочий день в течение обучения, в общей численности студентов
<л о ^ D) ■м ш ^ +-со 2=° ■О go 5 ОСМ о О • численность ППС в эквиваленте полной занятости • численность неакадемического персонала • Издержки университета, за исключением фонда оплаты труда • Внеоборотные активы как прокси-переменная для акционерного капитала • численность студентов в эквиваленте полной занятости • Размер грантов, полученных университетом для проведения научных исследований
я о (Л -г- Ф о ф-§ *11 • численность технического персонала • численность ППС • Текущие расходы • Количество грантов • численность выпускников
45
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
Автор- ский коллек- тив Входные параметры DEA Выходные параметры DEA
Warning (2004) Модель по оценке общей эффективности
• Фонд оплаты труда • Все прочие издержки • число публикаций по естественным наукам • численность выпускников по естественным наукам • число публикаций по социальным наукам • численность выпускников по социальным наукам
w о w я +* 0) л с 5 с л п < Модель А Модель B Модель А Модель B
• численность студентов (бюджетный и внебюджетный контингенты) • Доля штатных ППС с ученой степенью в общей численности ППС (д.э.н. и к.э.н.) • Фондовооруженность • Рейтинг качества приема (среднее значение ЕГЭ) • Рейтинг научной и публикационной активности • Рейтинг качества приема (среднее значение ЕГЭ) • Рейтинг научной и публикационной активности • Объем внебюджетных доходов / объем бюджетного финансирования
Модель 1 • Удельное бюджетное финансирование вузов • Удельный вес обладателей ученых степеней в общей численности ППС • Совокупная численность ППС • Средний балл первокурсников, поступивших по ЕГЭ • численность студентов, обучающихся на бюджетных и платных местах
Модель 2 • Удельное бюджетное финансирование вузов • Удельный вес обладателей ученых степеней в общей численности ППС • Средний балл ЕГЭ • Взвешенный вес кадрового резерва (молодых работников) в общей численности ППС и научных работников (по категориям) • Публикационная активность сотрудников вуза, а именно число научных статей в рецензируемых журналах в расчете на 100 сотрудников
46
И.В. Абанкина, Ф.Т. Алескеров, В.Ю. Белоусова, К.В. Зиньковский, В.В. Петрущенко Оценка результативности университетов с помощью оболочечного анализа данных
1. Abankina I.V., Aleskerov F.T., Belousova V.Y., Bonch-Osmolovs-kaya A.A., Petruschenko V.V., Ogorodniychuk D., Yakuba V.I., Zin’kovsky K.V. (2012) University efficiency evaluation with using its reputational component / Proceedings of the 4th International Conference on Applied Operational Research. Bangkok: Tadbir Operational Research Group. P. 244-253.
2. Abbott M., Doucouliagos C. (2003) The efficiency of Australian universities: A data envelopment analysis // Economics of Education Review. Vol. 22. P. 89-97.
3. Athanassopoulos A.D., Shale E. (1997) Assessing the comparative efficiency of higher education institutions in the UK by the means of Data Envelopment Analysis // Education Economics. Vol. 5. P. 117-134.
4. Avkiran N.K. (2001) Investigating technical and scale efficiencies of Australian Universities through Data Envelopment Analysis // SocioEconomic Planning Sciences. Vol. 35. P. 57-80.
5. Beasley J. (1995) Determining teaching and research efficiencies // Journal of the Operational Research Society. Vol. 46. P. 441-452.
6. Charnes A., Cooper W., Rhodes E. (1978) Measuring the efficiency of decision-making units // European Journal of Operational Research. Vol. 2. P. 429-444.
7. Charnes A., Cooper W., Rhodes E. (1981) Evaluating program and managerial efficiency: An application of Data Envelopment Analysis to program follow through // Management Science. Vol. 27. P. 668-697.
8. Charnes A., Cooper W. (1962) Programming with linear fractional functional // Naval Research Logistics Quarterly. Vol. 9. P. 181-186.
9. Coelli T., Rao D., O’Donnell C., Battese G. (2005) An introduction to efficiency and productivity analysis, N.Y.: Springer.
10. Flegg A., Allen D., Field K., Thurlow T. (2004) Measuring the efficiency and productivity of British universities: An application of DEA and the Malmquist approach. Unpublished.
11. HQfner K. (1991) Accountability / Ph. Altbach (ed.) International higher education: An Encyclopedia. Part 1. N.Y.: Garland Publishing. P. 47-58.
12. Johnes J. (2006) Data Envelopment Analysis and its application to the measurement of efficiency in higher education // Economics of Education Review. Vol. 25. P. 273-288.
13. Katharakis G., Katharaki M. (2010) A comparative assessment of Greek universities’ efficiency using quantitative analysis // International Journal of Educational Research. Vol. 49. P. 115-128.
14. Kempkesa G., Pohl C. (2010) The efficiency of German universities — some evidence from nonparametric and parametric methods // Applied Economics. Vol. 42. P. 2063-2079.
15. Koenker R. (2005) Quantile regression. Cambridge University Press.
16. McMillan M., Wing H.C. (2006) University efficiency: A comparison and consolidation of results from stochastic and non-stochastic methods // Education Economics. No. 14. P. 1-30.
17. Pastor T., Ruiz L., Sirvent I. (2002) A statistical test for nested radial DEA models // Operations Research. Vol. 50. P. 728-735.
a
Литература
47
Вопросы образования. 2013. № 2 http://vo.hse.ru
Л
18. Podinovski V. (2004) Bridging the gap between the constant and variable returns-to-scale models: Selective proportionality in data envelopment analysis // Journal of the Operational Research Society // Vol. 55. P. 265-276.
19. Podinovski V. (2005) The explicit role of weight bounds in models of data envelopment analysis // Journal of the Operational Research Society. Vol. 56. P. 1408-1418.
20. Warning S. (2004) Performance differences in German higher education: Empirical analysis of strategic groups // Review of Industrial Organization. Vol. 24. P. 393-408.
