CC BY
70
УДК 338.46:378
Е. Б. Гаффорова 1, А. В. Карловский 2
Тихоокеанский государственный экономический университет пр. Океанский, 19, Владивосток, 690091, Россия E-mail: 1 [email protected]; 2 [email protected]
О ПОДХОДАХ К ОЦЕНКЕ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ВУЗОВ
Целью статьи является обоснование целесообразности применения методологии анализа среды функционирования (АСФ) для решения задач оценки и анализа эффективности деятельности высших учебных заведений. Для этого осуществляется обзор существующих подходов к оценке эффективности деятельности вузов и проводится их краткий сравнительный анализ. Рассматривается применение методология АСФ для оценки эффективности деятельности вузов с позиции различных подходов, а также приводятся доводы о целесообразности применения данной методики в контексте деятельности вузов.
Ключевые слова: оценка эффективности, анализ эффективности, эффективность, деятельность, образовательное учреждение, высшее учебное заведение, вуз, анализ среды функционирования, АСФ, методология, подходы, классификация.
Мировой финансово-экономический кризис отразился на всех отраслях народного хозяйства страны, в том числе и на сфере высшего образования. Основными проявлениями влияния кризиса на образование можно считать [1]:
• сокращение контингента обучаемых,
• сокращение спроса на платное образование,
• сокращение госфинансирования,
• снижение спроса на выпускников со стороны бизнеса,
• сокращение возможностей финансирования вузов бизнесом.
Таким образом, вузы, поставленные в условия ограничения ресурсов и ужесточающейся конкуренции, вынуждены предпринимать различные меры по преодолению кризиса: сокращение своих расходов, повышение эффективности деятельности, поиск новых конкурентных преимуществ.
В свою очередь, основным условием достижения высокой эффективности деятельности является действенная система управления, а не наличие разнообразных ресурсов, как считалось еще не так давно. С учетом этого, в настоящее время на первый план выходят вопросы создания и функционирования современных систем управления, основной задачей которых следует считать обеспечение условий для эффективной деятельности организации.
Анализ отечественных и зарубежных публикаций показывает значительный рост интереса к измерению и сравнению эффективности деятельности высших учебных заведений, а также элементов их организационной структуры (кафедр, факультетов). Отсутствие объективной информации об использовании основных ресурсов и достигаемых при этом характеристиках деятельности является «тормозом» в выборе стратегии и оперативных мер при управлении подразделениями и вузом в целом.
Безусловно, современный вуз является сложной социально-экономической системой, а оценка эффективности деятельности любой системы является комплексной задачей и, как правило, не тривиальной. Ее решение изначально предполагает возможность измерения затрат и результатов деятельности рассматриваемой системы. В общем случае, оценка эффективности представляет собой соотношение, которое характеризует их связь. Как правило, под результатом понимаются какие-либо количественные (натуральные или стоимостные) показатели. В контексте вуза это могут быть: количество выпускников, успеваемость обучающихся, объемы выпускаемой печатной продукции и т. п. В свою очередь, не менее важной задачей является и точное определение затрат, произведенных на достижение тех или иных результатов.
ISSN 1818-7862. Вестник НГУ. Серия: Социально-экономические науки. 2009. Том 9, выпуск 3 © Е. Б. Гаффорова, А. В. Карловский, 2009
Специфика оценки эффективности деятельности вузов определяется рядом важнейших факторов и в первую очередь особенностями производимого вузами продукта. Значительное количество исследований и публикаций относительно определения основного процесса и результата деятельности вуза до сих пор не привели к выработке однозначного мнения [2]. Тем не менее большинство исследователей считают, что продуктом деятельности вуза является образовательная услуга, характеристики которой с точки зрения качества и используемых при этом ресурсов складываются из процесса ее оказания и полученного при этом результата (компетенций выпускника). Следовательно, при оценке эффективности деятельности, применяемой, как правило, в отношении субъектов оказания услуги (кафедр, факультетов, институтов) во внимание должна приниматься вся совокупность характеристик процесса и результата, что создает существенные трудности в выработке подхода к такой оценке.
Выбор метода оценки деятельности вузов полностью определяется ее целью. Можно выделить три основных источника потребности информации об эффективности деятельности вуза и его структурных элементов.
1. Оперативное управление и контроль за деятельностью вуза и его подразделений, осуществляемые высшим или средним звеном управления. Как правило, здесь возникает потребность в информации об отдельных аспектах их деятельности.
2. Стратегическое управление вузом, которое осуществляется со стороны высшего руководства. В данном случае требуется комплексная оценка деятельности вуза, а не анализ его отдельных составляющих.
3. Внешние группы заинтересованных сторон, такие как государство, предприятия, независимые организации. Их заинтересованность обусловлена в значительной мере тем, что имеет место разделение роли получателя и источника финансирования услуг, а также сравнительно одинаковым уровнем стоимости услуг у конкурирующих вузов. В этой ситуации стандартные рыночные механизмы отбора наиболее эффективных организаций не срабатывают, так как «клиентов» вузов в большинстве случаев интересует лишь качество и объем оказанных ему услуг, а не их цена.
Используя представленную в работе [3] классификацию и рассматривая ее применительно к деятельности вуза, можно выделить несколько подходов к оценке и анализу эффективности деятельности, основанных на применении различных математических методов. В общем случае принципиальное отличие описанных ниже подходов заключается в методе определения границы (нормы) эффективности функционирования исследуемых объектов. А сходство выражается в широком применении методов сравнительного анализа на этапе непосредственной оценки эффективности. Необходимо также отметить, что приводимая классификация достаточно условна, поскольку на практике обычно имеет место синтезирование описанных подходов.
Многофакторный подход. Является одним из наиболее распространенных подходов к оценке эффективности, применяемых в вузах. При факторном анализе выявляются отдельные факторы, влияющие на изменение результативного показателя или процесса, устанавливаются формы детерминированной (функциональной) или стохастической зависимости между результативным показателем и определенным набором факторов, а также выясняется роль отдельных факторов в изменении результативного экономического показателя. Основой данного подхода является определение степени воздействия каждого фактора на уровень результативного показателя с помощью техники индексного анализа и метода цепных подстановок. В дальнейшем анализ эффективности производится путем сравнения нормативных (установленных с помощью прогнозирования значений результирующего показателя на основе полученных зависимостей) показателей с фактическими результатами деятельности.
Данный подход применяется в основном для внутренних нужд и закрывает потребности в оценке на оперативном и стратегическом уровне управления. В качестве объектов исследования обычно представлены отдельные структурные элементы вуза (кафедры, факультеты, научные центры и т. п.) или вуз в целом. Оценка производится по отдельным аспектам деятельности исследуемых объектов. Что же касается его применения в целях внешней оценки, то данный подход применяется достаточно редко.
Несмотря на кажущуюся простоту, в данном случае отмечается высокая расчетная трудоемкость работ, что требует автоматизации аналитических вычислений. Кроме того, отсутствие единой методологии формирования набора факторов, определяющих эффективность, закладывает некоторый уровень неопределенности в конечную полноту и достоверность полученных результатов анализа. Ориентация же на внутренние факторы эффективности не позволяет отслеживать влияние наиболее значимых в современных условиях факторов внешней среды.
На наш взгляд, данный подход обладает одним очень существенным недостатком, который можно охарактеризовать понятием «частный характер». В результате такой оценки можно получить информацию лишь об отдельных аспектах деятельности вузов. Рассматриваемый подход не может дать объективного представления об эффективности работы всей организации в целом как системы.
Таким образом, с достаточной степенью уверенности можно утверждать: применение факторного подхода для целей оперативного управления и контроля отдельными аспектами деятельности вуза вполне оправдано. Однако он совершенно не пригоден для комплексного анализа функционирования вуза.
Отраслевой подход. Получил особенное распространение в 70-80-х гг., во время активного проведения социалистических соревнований между предприятиями одной отрасли. Не исключение в этом плане и высшие учебные заведения. Фактически социалистическое соревнование было неотъемлемой частью системы подготовки специалистов в высших учебных заведениях.
Сравнение происходило на основе единого интегрального показателя, главной характеристикой которого должно было быть наиболее объективное и достоверное отражение реального вклада вузов в конечный народно-хозяйственный результат. Одной из сложностей подведения итогов межвузовского соревнования была трудность точного измерения конечного народно-хозяйственного результата деятельности коллектива вуза - все те качества, которые приобрел выпускник вуза.
Окончательная оценка и проверка знаний, умений и навыков возможна только после адаптации молодого специалиста по месту работы. Поскольку четкая обратная связь вузов с коллективами, где работали выпускники, была недостаточно отработана, то приходилось использовать промежуточные показатели и результаты. К ним относились уровни развития учебно-методической, научно-исследовательской, воспитательной и других видов работ.
Анализ эффективности в данном случае производился путем сопоставления полученных результатов проведенной оценки между собой, выявляя тем самым эффективно и неэффективно функционирующие вузы.
Современной реализацией данного подхода является методология рейтинговой оценки деятельности образовательных учреждений, которая основана на тех же принципах, что и социалистические соревнования. Однако, в отличие от социалистических соревнований, в современном рейтинге в качестве показателя эффективности используется не вклад вуза в народное хозяйство, а некий показатель степени реализации потенциальных возможностей, который рассчитывается как отношения потенциала вуза к его активности. Кроме того, рейтинг определяется не среди всех вузов, а только среди родственных: классических университетов, политехнических, машиностроительных, железнодорожных и т. д.
Наиболее известным и представительным является рейтинг высших учебных заведений Министерства образования и науки Российской Федерации. Данный рейтинг отражает заинтересованность государственных органов власти. Цель расчета данного рейтинга высших учебных заведений заключается в информировании общества и сферы потребления специалистов, федеральных органов управления высшим образованием, а также руководства вуза и его коллектива об уровне и результативности деятельности вуза.
К положительным моментам можно отнести то, что отраслевой подход обеспечивает возможность объективного сравнения с системами - аналогами в простой и доступной форме. При этом все необходимые аналитические вычисления обладают низкой расчетной трудоемкостью.
Особенности применения данного подхода позволяют закрыть потребности в оценке на стратегическом уровне за счет проведения оценок деятельности структурных элементов вуза,
а также на уровне внешних групп интересов, за счет сравнения результатов деятельности конкретного вуза с результатами других вузов.
Существенным недостатком данного подхода, по нашему мнению, является то, что отраслевой подход, как и многофакторный, не учитывает влияние факторов внешней среды на эффективность работы вуза. Кроме того, при расчете рейтинга широко распространено использование коэффициентов значимости для разных показателей. Эти коэффициенты обычно получаются экспертным путем. По нашему мнению, данный факт в значительной степени снижает объективность рейтинговых оценок.
Необходимо отметить, что наряду с реализацией отраслевого подхода методология рейтинговой оценки реализует также и комплексный подход к оценке.
Комплексный подход. Также широко распространен в области оценки и анализа эффективности деятельности вузов. С позиции данного подхода вуз рассматривается как сложная система, а функционирование всех структурных элементов этой системы представляется в виде совокупности процессов и подпроцессов, которые описываются системой взаимосвязанных показателей. Такая система строится по иерархическому принципу и соотносится с уровнями управления в вузе. Уточнение обобщающего показателя системой частных дает возможность гибко менять приоритеты оценки в соответствии с требованиями и целями анализа эффективности. Кроме того, комплексный подход отличают мобильность, простота и универсальность получения конечного результата оценки. Однако отсутствие единой методологии формирования набора частных показателей и обобщающих процедур делает практически невозможным сопоставление с системами-аналогами. Эти условия накладывают ограничение на использование данного подхода в основном в целях оперативного и стратегического управления.
Однако отметим, что в настоящее время существуют методики комплексной оценки деятельности вузов (например, комплексная оценка деятельности вузов в процессе их лицензирования, аттестации и аккредитации), которые позволяют в некоторых случаях производить сопоставление полученных результатов оценки между собой.
Наиболее известными способами применения данного подхода в контексте оценки и анализа деятельности вузов являются современные модели управления качеством, стратегического управления, системы сбалансированных показателей, панелей индикаторов и пр.
Характерной особенностью всех этих подходов является целеориентированность. В таком контексте эффективность рассматривается и оценивается как степень достижения поставленных целей [4]. Цели в свою очередь устанавливаются в виде нормативных значений конкретных показателей. Основой для установления нормативов является проведение различных аналитических мероприятий, основанных на разных статистических методах, методах прогнозирования, методе принятия решений, экспертном методе и т. п.
Критериальный подход. Является наиболее прогрессивным и в то же время наиболее трудоемким из всех нами рассматриваемых. Суть его заключается в рассмотрении в качестве критерия эффективности одного из показателей, по величине которого судят об эффективности функционирования исследуемого объекта в целом, о соответствии каждого альтернативного варианта поставленной цели. Следовательно, выбор того или иного критерия эффективности во многом обусловлен теми стратегическими целями, которые преследует организация в своей деятельности. В экономической теории такой показатель принято называть «полезный эффект».
В рамках данного подхода распространены такие варианты постановки оптимизационных задач, как:
• максимизация полезного эффекта при ограниченных ресурсах;
• минимизация ресурсов при заданном уровне полезного эффекта.
В первом случае критерием эффективности (оптимизации) является величина полезного эффекта, а во втором - сумма затрат на достижение заданного эффекта.
Следует отметить, что для сложных организационных систем, каким является современный вуз, получить критерий общей эффективности в виде скалярной функции не удается. В этом случае используется векторный многокомпонентный критерий, составляющие которого - самостоятельные, независимые друг от друга критерии. Для векторного критерия наиболее эффективным способом оценки является выбор тех или иных управленческих реше-
ний, оптимальных по Парето [2; 3]. В таком контексте критериальный подход объединяет комплексный подход, за счет использования в качестве исходных данных некоторой системы параметров, а также многофакторный подход, расширяя его на случай многопараметрического выпуска.
За последние десятилетия разработано несколько вариантов реализации данного подхода, среди которых наиболее развитым является способ оценки и анализа эффективности в рамках методологии Анализа Среды Функционирования (АСФ).
Методология Анализа Среды Функционирования (АСФ) или в англоязычном варианте Data Envelopment Analysis (DEA) - сравнительно новый подход к оценке эффективности. Его основоположниками были известные американские специалисты А. Чарнес и В. Купер [5].
В последнее время на западе начался настоящий бум по применению этой методологии для анализа деятельности крупных компаний (нефтяных компаний, банков, компьютерных фирм, библиотек и образовательных учреждений и т. п.) [6]. Несмотря на это, в нашей стране данный метод не использовался и практически неизвестен. Однако потенциальная потребность и эффект от его применения могут быть значительными.
В соответствии с данной методологией, оценка и анализ эффективности функционирования исследуемого объекта основываются на его представлении в качестве «черного ящика», имеющего входные («ресурсы») и выходные («выпуск») параметры, а также функцию, которая их связывает. При этом нет необходимости в построении строгой аналитической формы этой функции.
В основе исследования лежит построение так называемой «эффективной границы». Для корректности построения такой границы, а также для содержательности полученных оценок рассматривается множество подобных исследуемых объектов. Математически такой подход сводится к построению большого семейства оптимизационных задач. В результате решения этих задач будет построена граница эффективности, которая определяется деятельностью наиболее эффективно функционирующих объектов из всей совокупности. Такая граница принимается за 100 % эффективности, и дальнейшее рассуждение построены на анализе отклонений деятельности отдельных объектов от этой границы.
Возможность и целесообразность применения методологии АСФ для оценки эффективности деятельности кафедры может быть проиллюстрирована следующим примером. Рассматривая кафедру как функционирующий объект, а всю ее деятельность как совокупность процессов, можно определить входные параметры (например, показатели, характеризующие ППС кафедры, материально-технические условия и т. п.), которые определяют деятельность кафедры, и выходные (например, характеризующие успеваемость студентов кафедры, объемы выпускаемой научно-методической продукции и т. п.). Рассматривая достаточно большую совокупность кафедр (принимаем, что в масштабах одного вуза кафедры функционируют в однородных условиях), с помощью метода АСФ можно построить границу эффективности деятельности для данной совокупности исследуемых кафедр и подсчитать уровень эффективности для каждой «неэффективной» кафедры, а также определить набор эталонных величин из эффективных кафедр. Таким образом, с помощью АСФ можно установить образцы наиболее эффективной деятельности, а также обеспечить измерение эффективности в избранном масштабе для каждой кафедры и дать рекомендации по ее улучшению.
Сравнивая методологию АСФ, а также применяемые в ее рамках методы с другими методиками оценки, можно выделить ряд существенных преимуществ.
1. Отсутствие необходимости определения строгой аналитической зависимости между входными и выходными параметрами дает более широкие возможности по адаптации метода к различным контекстам его применения.
2. В отличие от методик оценки эффективности, использующих различные искусственные весовые коэффициенты (рейтинговый подход), методология АСФ использует механизмы получения оценки только лишь на основании объективных данных о количестве используемых ресурсов и выпущенной продукции. За счет такого подхода можно говорить о значительной степени объективности получаемой оценки.
3. В отличие от статистических методов оценивания эффективности, в которых норма эффективности определяется путем прогнозирования выходных параметров на основании статистической зависимости и с учетом уровня входных параметров, в методологии АСФ норма эффективности определяется как уровень наиболее эффективно функционирующих реальных объектов из всей совокупности рассматриваемых.
Однако несмотря на очевидные преимущества, метод АСФ, как и большинство методов расчета эффективности деятельности организаций, имеет определенные ограничения.
1. К сожалению, АСФ остается достаточно трудным для восприятия, особенно в части подбора взвешенных значений и строгом математическом оформлении процедуры.
2. Некоторые тонкости метода может хорошо понять только тот специалист, который владеет навыками работы с компьютером на уровне опытного пользователя.
3. При интерпретации полученных результатов следует соблюдать известную осторожность.
4. В случае выборки, состоящей только из «плохих» объектов оценивания, лучшими могут назначаться объекты, таковыми не являющиеся. Иначе говоря, могут выбираться лучшие из худших. Тогда будут даны рекомендации по достижению самого высокого уровня эффективности в выборке для объектов, не соответствующих эталонному уровню эффективности.
На наш взгляд, применение методологии АСФ для оценки и анализа функционирования вузов и их структурных элементов позволит реализовать сразу несколько подходов к оценке эффективности.
Во-первых, особенности методологии АСФ (в частности, для проведения оценки и анализа необходимо наличие совокупности аналогичных, однородно функционирующих объектов) позволяют использовать ее для оценки и сравнения эффективности функционирования совокупности однородных вузов в целом (например, однородных по профилю деятельности, по статусу, по территориальном признаку и т. п.). В таком контексте применения АСФ достигается реализация отраслевого подхода.
Во-вторых, за счет применения методологии АСФ для оценки и анализа эффективности функционирования вуза на различных уровнях управления (уровнях вуза в целом, факультета, кафедры) можно добиться реализации комплексного подхода к оцениванию, а также применять АСФ в целях оперативного, тактического и стратегического управления.
В-третьих, использование в рамках методологии АСФ оптимизационных задач для определения эффективности исследуемых объектов позволяет реализовать критериальный подход к оценке эффективности.
Подводя итог, отметим, что методология АСФ прекрасно дополняет все существующие ныне методы оценки эффективности деятельности вузов. В конечном итоге, применение нескольких методов для оценки одного и того же объекта позволит получить максимально объективные результаты.
Список литературы
1. Высшее образование: пережить кризис [Электронный ресурс]: Общественно-экономический сервер «Открытая экономика» («Open Economy»), 2009. Режим доступа: http://www.opec.ru/docs.aspx?id=389&ob_no=88375
2. Балабан В. А., Гаффорова Е. Б. Управление качеством образования в вузе: проблемы и решения. Владивосток: Изд-во ДВГАЭУ, 2003. 228 с.
3. Паринов Д. В. Подход к оценке и анализу эффективности функционирования производственных систем // Экономические проблемы организации и управления производством в условиях рынка: Сб. науч. тр. Воронеж: ВГТУ, 2000. С. 4-6 (88).
4. Гаффорова Е. Б. Организационные и методологические основы управления качеством в интегративной системе менеджмента предприятия: Дис. ... д-ра экон. наук. СПб., 2009. 341 с.
5. Charnes A., Cooper W. W., Rhodes E. Measuring the Efficiency of Decision Making Units // European Journal of Operational Research. 1978. Vol. 2. P. 427-444.
6. Emrouznejad A., Parker B, Tavares G. Evaluation of Research in Efficiency and Productivity: A Survey and Analysis of the First 30 Years of Scholarly Literature in DEA // Journal of Socio-Economics Planning Science. 2008. Vol. 42(3). P. 151-157.
Материал поступил в редколлегию 23.05.2009
E. B. Gafforova, A. V. Karlovskiy
ABOUT APPROACHES TO THE EFFECTIVENESS OF HIGHER EDUCATION INSTITUTIONS
ASSESSMENT
The purpose of the article is to substantiate the expediency of the Data Envelopment Analysis (DEA) methodology to solve the issues of assessing and analyzing the higher education institution activities effectiveness. For this purpose the current approaches to the assessment of higher education institutions effectiveness have been reviewed and their brief comparative analysis have been made. The application of DEA methodology to assess higher education institutions effectiveness from the positions of application in the university activities have been described.
Keywords: assessing, analysis, activities effectiveness, university, higher education institution, data envelopment analysis, DEA, methodology, approaches, classification.
