Обзор международного опыта оценки эффективности образования

Беляков Николай Сергеевич; Беляков Сергей Анатольевич

ОБЗОРЫ

ОБЗОР МЕЖДУНАРОДНОГО ОПЫТА ОЦЕНКИ ЭФФЕКТИВНОСТИ ОБРАЗОВАНИЯ

Н. С. Беляковa, С. А. Беляковь

aABB, Цюрих, Швейцария bРоссийская Академия народного хозяйства и государственной службы при Президенте Российской Федерации Россия, 119571, г. Москва, просп. Вернадского, 82, стр. 5; [email protected]

Ключевые слова: образование, эффективность образования, оценка эффективности, оценка эффектив -ности образования.

В статье представлен обзор зарубежной литературы, посвященной вопросам эффективности системы образо -вания с целью выявления основных подходов к определению содержания понятия «эффективность» и основных направлений ее оценки в сфере образования.

Проведенный анализ охватывает научные статьи из профильных журналов с порталов Science Direct и Springer Link. Зарубежные авторы указывают на двойственность содержания понятия эффективности как аналога коэффициента полезного действия в технике («efficiency») и состояния полного достижения поставленных целей («effectiveness»). Проводимые исследования направлены на формирование научной базы реформирования системы образования для повышения ее производственной эффективности (production efficiency), соотносящей входные параметры (время и ресурсы) с образовательным процессом для получения желаемого результата. Данный подход стал основополагающим, что подтверждается многочисленными работами в этой области. В большинстве случаев авторы рассматривают влияние какого-либо определенного параметра системы на затраты или сравнивают эффективность учебного заведения по отношению к «эталону», в качестве которого выбирается по тем или иным соображениям, критериям одно из учебных заведений. Сравнение с «эталоном» представляется как в виде разности значений эффективности, так и на основе более сложных математических методов, например, на основе «анализа среды функционирования». Некоторые авторы приходят к выводу, что все известные методы оценки эффективности не могут быть использованы для создания моделей управления, что ставит под вопрос практическую значимость реформ системы образования. В редких случаях авторы рассматривают проблему с точки зрения повышения эффективности учебного или научно-исследовательского процесса в целом.

Анализ показал, что отраженные в зарубежной литературе подходы не позволяют выделить однозначно приемлемого варианта оценки эффективности образования, который может быть использован в практике управления российским образованием (с учетом разработки программ развития).

роведение анализа мирового опыта оценки эффективности образования связано с рядом сложностей. Во-первых, это поиск необходимых, достоверных и относящихся к теме исследования источников, в основном научных статей в профильных рецензируемых изданиях. Во-вторых, использование различных терминов на английском языке не носителями этого языка усложняет восприятие и трактовку, поскольку может вести к разночтениям и неправильной интерпретации. В-третьих, тематика эффективности является сама по себе сложной и, соответственно, непо-

пулярной темой, что еще более затрудняет поиск. Наконец, в силу того, что тема не является популярной, все исследования носят очаговый характер и, следовательно, редко бывают всеобъемлющими. Естественно ожидать, что количество работ, представляющих оформленные теории или какие-либо проверенные подходы, отработанные на большом количестве международных данных, будет ограничено.

Существует большое количество иностранной литературы, посвященной проблемам образования в целом, вопросам школьного и высшего

образования, образовательной политики и экономики. К такой литературе относятся, в частности, монографии и учебные пособия многопрофильных издательств, труды конференций как по тематике исследования, так и в смежных областях, отчеты по грантам правительств и некоммерческих организаций, а также многочисленные научные рецензируемые журналы, которые в большинстве своем представлены на научных порталах Springer Link (http://link.springer.com/) и Science Direct (http://www.sciencedirect.com/). Среди этих журналов можно выделить, например, «Procedia -Social and Behavioral Sciences», «Economics of Education Review», «Studies in Educational Evaluation», «International Journal of Educational Research», «Educational Research Review» и т. д. Тематика журналов охватывает такие актуальные проблемы системы образования, как финансирование и экономика, политика и законодательство в сфере образования, человеческий капитал, его производство, возврат инвестиций и др.

Как правило, исследования по системам образования в целом и рассматриваемой проблеме можно разделить на четыре основные части:

- обработка и анализ информации в отдельно взятой стране или в отдельно взятом учебном заведении на основе опросов и статистических данных;

- создание концептуальной модели, чаще всего упрощенной, на основе нескольких примеров в одной стране;

- проведение литературного обзора с целью обобщения полученных и опубликованных ранее результатов по теме исследования, в большинстве случаев без проведения должного обоснования и, как следствие, без конкретных выводов или рекомендаций по последующим шагам;

- создание концепции, которая позволяет описать основные закономерности поведения на основе имеющейся статистики.

Число источников по теме, связанной с эффективностью образования, само по себе невелико. Проведенный анализ позволяет говорить только лишь о десятках работ, в которых так или иначе рассматривается образование с точки зрения оценки его эффективности, причем сюда относятся все виды и уровни образования как в общих, так и частных случаях: только школьное образование, образование в школах определенного вида, например, государственных, вузах определенной направленности или определенного региона и т. д.

Изначально используемое в экономике понятие «эффективности» было заимствовано из ин-

женерной и производственной сферы и означало «минимизацию ресурсов при максимально возможном производстве» [1]. В англоязычной литературе понятие «efficiency», то есть эффективность аналогично понятию КПД, часто используется либо в связке, либо даже вместо понятия «effectiveness», означающего (в общем случае) полное достижение цели. Русскоязычными аналогами в данном случае могут быть понятия «снижение затрат» как и при определении коэффициента полезного действия и «качество полученного результата» или «результативность».

Необходимо также отметить, что в современной иностранной литературе, посвященной проблемам определения и расчета эффективности образования, наблюдается определенный разрыв между прикладными исследованиями и их теоретической базой. Термин «эффективность» хотя и используется достаточно часто, а в профильных материалах - повсеместно, либо не всегда имеет конкретное и четкое определение, либо эти определения различаются от источника к источнику даже в рамках исследований одного автора. Данное наблюдение подтверждается исследователями [2], что лишь указывает на отсутствие устоявшейся или хотя бы складывающейся терминологии и единого подхода к проблеме эффективности образования. Так, например, термин «эффективность» может использоваться и в качестве конечной цели исследования (например, эффективность учебного заведения в рамках национальной программы), и в качестве одного из инструментов для достижения поставленной цели, отличной от эффективности. Например, оценка эффективности как показатель, который измеряется для достижения определенных целей образовательной деятельности.

Кроме этого, во многих случаях термин «эффективность» используется только лишь в заголовке статьи и в ее аннотации, тогда как в основном тексте, то есть в постановке проблемы, описании методов и подходов к ее анализу или решению, а также в выводах нет не только каких-либо качественных или количественных оценок эффективности, но даже просто ее упоминания [3-5].

Так, в работе, посвященной повышению эффективности учебного процесса за счет улучшения взаимодействия между университетами и промышленностью [3], термин «эффективность» встречается лишь в заголовке и в аннотации, а сама статья посвящена описанию частного примера совместной работы учебного заведения и предприятия транспортной отрасли. Кроме этого, на основе выбранного примера делается вывод

о полезности такого взаимодействия, причем без какого-либо обобщения. Фактически авторы описывают лишь один из частных случаев.

Похожую ситуацию можно наблюдать в исследовании, где автор рассуждает о качестве образования как о «продукте гармонии, эффективности и сплоченности внутри организации» [4]. Здесь также термин «эффективность» используется лишь в заголовке и в заключении, где автор цитирует другую работу и утверждает, что «качество образования сегодня приравнивается к результату внутренней и внешней эффективности».

Наконец, в работе «Эффективность и равноправие [equity] в школах в мире» [5] понятие эффективности также использовано лишь в заголовке и в двух местах на двадцати страницах текста мелким шрифтом в две колонки, причем содержательный смысл понятия «эффективности» также теряется. Единственным утверждением по теме эффективности в статье является то, что «эффективность и государственный капитал являются важными вопросами государственной политики» в сфере образования.

Таким образом, можно считать, что проблема определения и оценки эффективности образования разработана недостаточно. Кроме этого, само понятие «эффективности» трактуется различными авторами по-разному и отсутствие устоявшейся терминологии говорит о том, что данная тема является как минимум развивающимся направлением как экономики, так и других социально-гуманитарных наук.

Развитие понятия «эффективность образования», его оценки

Оценка эффективности системы образования рассматривалась политиками, экономистами и учеными примерно с 1970-х гг., когда стали появляться достаточно объемные исследования в рамках государственных программ финансирования. Основной целью таких исследований было создание научной базы для реформирования системы образования с целью повышения ее эффективности. Одной из наиболее ранних доступных работ, которая достаточно полно и системно рассматривает проблему оценки эффективности образования, является работа под названием «Критерии эффективности и равноправия (equity) для формирования бюджета и финансирования образования» [6].

В ней эффективность в системе образования определена как «потенциал для увеличения желаемых показателей образования без увели-

чения количества использованных ресурсов». Эффективность здесь подразумевает не увеличение какого-либо одного выходного параметра системы образования, например, числа выпускников, а улучшение всех показателей системы при снижении затрат, например, путем внедрения новых подходов в образовании. При этом высвобожденные ресурсы могут быть перенаправлены на улучшение других показателей.

По мнению автора, существует определенный компромисс между увеличением эффективности и доступностью образования, который заключается в том, что количество ресурсов является в любом случае ограниченным. Это означает, что в таких условиях можно либо повышать эффективность, либо равноправие / справедливость. Однако автор признается, что критерии справедливости или являются неопределенными, или же используются бездумно, хотя само понятие «справедливость» ориентировано на оценку распределения «полезности образования». Тем не менее существуют ситуации, при которых как улучшение в области эффективности, так и повышение доступности образования могут быть достигнуты одновременно, например, когда любое изменение повлечет за собой улучшение (ситуация, когда сделать хуже уже невозможно).

Эффективность имеет две составляющих [6]:

- производственная эффективность (production efficiency), которая соотносит входные параметры (время и ресурсы) с образовательным процессом для получения желаемого результата;

- обменная эффективность (exchange efficiency), которая соотносит выходные результаты системы образования с образовательными запросами общества.

Развитие понятия «производственная эффективность» в понятие «экономическая эффективность» подробно описано [1], автором последняя трактуется как «минимизация всех затрат для получения результата заданной ценности», то есть именно с точки зрения финансовой эффективности. Однако использование этого понятия для анализа экономической системы возможно лишь при полном ее понимании: входных и выходных параметров, протекающих внутри процессов и результатов деятельности системы [1]. Такой подход к системе образования позволил автору выделить следующие составляющие:

- входные параметры, описывающие характеристики:

• учащихся;

• преподавателей;

• места обучения (учебного заведения);

• оборудования и методического обеспечения;

• материальной базы (здания, помещения и т. п.);

- процессы образовательного учреждения, преобразующие входные параметры в выходные:

• форма образовательной деятельности (уроки, лекции, семинары, лабораторные работы, индивидуальные занятия и т. п.);

• альтернативные технологии;

• использование времени обучающихся и преподавателей;

- выходные параметры, которые являются непосредственным результатом образовательного процесса (их измерение часто затруднено или просто невозможно):

• достижения в области познания;

• улучшенные навыки;

• изменения в сознании;

• изменения в поведении;

- результаты деятельности системы, которые проявляются во взаимоотношении продуктов деятельности системы с социальной средой. Это не только непосредственные выпускники, но и общество в целом. К ним можно отнести:

• трудоустройство;

• заработная плата;

• статус;

• изменения в сознании;

• изменения в поведении.

Под характеристиками автор подразумевает как доступность данных параметров в целом, так и качество, потенциальную возможность их использования. Именно взаимодействие процессов с входными параметрами определяет затраты на образование, которые понимаются в простом смысле стоимости ресурсов в течение определенного периода времени, например, часов преподавательской работы в год. Сравнение затрат со значениями выходных параметров может быть использовано для оценки внутренней эффективности - параметра, показывающего, насколько хорошо система достигла поставленных целей. Если же эти показатели можно оценить в денежном эквиваленте, то чтобы быть эффективной, система должна создавать большую выгоду при меньших затратах.

Заметим, что, несмотря на детальное обсуждение всех характеристик системы, а также на выявление возможных ограничений при создании модели, автор не дает определенного заключения

и не делает вывода о целесообразности ее использования. Кроме этого, автор не описывает детального механизма получения и оценок указанных индикаторов, так что можно лишь предполагать, каким образом получаются эти оценки и как они коррелируют между собой. По сути, в работе [1] предложена широкая база для достаточно детального и обоснованного подхода к оценке эффективности, который может быть использован при создании правительственных программ по планированию и поддержке системы образования.

Аналогичный подход при рассмотрении эффективности образовательного учреждения использован и в других работах [7-14], согласно такому подходу авторы используют соотношение между различными параметрами в виде суммы с весовыми коэффициентами, а отклонение определяется как разница между расчетным значением для исследуемого учебного заведения и «эталоном». Эффективность учебного заведения рассматривается при этом только лишь с точки зрения материальных затрат, то есть количества денег на формальную подготовку учащегося по установленной программе. Повышение такой эффективности, также называемой «производственной» [9], возможно в двух направлениях:

(1) снижение затрат для достижения фиксированного результата (см., например, [10, 11]) или

(2) увеличение результата при неизменных затратах [13, 14].

Однако в большинстве случаев авторы рассматривают лишь влияние какого-либо определенного аспекта учебного заведения на затраты. Это может быть, например, оптимизация расписания, стоимость зданий и т. п.

Таким образом, эффективность рассчитывается через соотношение взвешенных выходных показателей к взвешенным входным параметрам, которые используются для определения затрат учебного заведения, причем веса определяются различными авторами по-разному на основе соображений, связанных с важностью, доступностью статистики и т. п. По сути, это соотношение определяет коэффициент полезного действия системы -соотношение выхода к затратам, которое может быть меньше либо равно единице. Полученные функциональные соотношения для различных учебных заведений представляют собой задачу многомерной оптимизации для определения весовых коэффициентов, которые затем подставляются в функциональную зависимость для расчета коэффициента эффективности. Если при этом использовать одно из учебных заведений в качестве

«эталона», то можно определить количественное отклонение не от гипотетического значения, равного единице, а от конкретного. Данный метод, который получил название «анализ среды функционирования» (АСФ, DEA или data envelopment analysis), является одним из наиболее распространенных в западной литературе при оценке экономической эффективности системы.

Похожий подход использован и в работе «Educational systems efficiency in European Union countries: Studies in Educational Evaluation» [15]. Так, по мнению автора, «страна обладает более эффективной системой образования, если при данных входных параметрах (доступных внутри страны образовательных ресурсах и социальном положении) ее учащиеся показывают более высокие результаты в математике, чтении и науках» [15]. Под науками, по-видимому, подразумеваются естественно-научные предметы. Под социальным положением автор понимает такие вещи, как наличие условий для занятий (например, рабочего стола, книжек, доступа в сеть Интернет), бытовые условия дома (своя комната, наличие бытовой техники, телефона, компьютера и автомобиля), социальный статус хотя бы одного из родителей ученика. Эти данные были получены автором путем проведения опроса, а ответы были представлены по шкале от 0 (полное отсутствие) до 9.

Однако полученные авторами результаты расчетов в 24 странах выявили серьезные расхождения в оценке эффективности систем образования, поэтому число входных параметров было расширено: были добавлены пол учащегося, система управления школой, размер школы и размер населенного пункта, где находится учебное заведение. Анализ, проведенный на основе метода, предложенного ранее [16], носит, скорее, статистический, нежели экономический или управленческий смысл. Авторы рассматривают полученную статистику входных и выходных показателей, на основе которой по методу анализа среды функционирования рассчитывают показатель эффективности системы в целом по стране. Поскольку статистических данных было недостаточно, что могло внести определенную погрешность, с помощью методов статистического моделирования (метод бутстрэп) был проведен анализ и построены эмпирические распределения таких параметров. Это позволило методом Монте-Карло сгенерировать большее количество данных и тем самым уточнить результаты.

Сгруппированные автором результаты показали, что наиболее эффективной страной с точ-

ки зрения конвертации входных ресурсов в выходные показатели является Финляндия, а к самой неэффективной группе относятся Болгария и Румыния, показавшие наименьшие результаты по математике, чтению и естественно-научным предметам. Заметим, что авторы не делают определенных выводов о том, что и как необходимо исправить для повышения эффективности, а только лишь заявляют, что полученные результаты могут быть использованы для создания общего подхода к повышению эффективности системы образования в Европе вообще.

Интересным также представляется подход, связанный с определенного рода декомпозицией понятия эффективности [17], предложенный для более детального расчета величины эффективности системы образования в целом. Так, автор предлагает рассматривать эффективность через структуру системы:

- входные данные: склонности, квалификация и подготовка поступающих;

- процессы внутри системы: эффективность учебного заведения и эффективность преподавания (расписание, «миссия» и организация, система мониторинга и оценок, образовательные материалы, поведение учителей и т. п.);

- выходные параметры: образовательная эффективность в целом.

К сожалению, дальше предложения структуры системы и описания каждого типа данных (их значения и теоретического влияния на эффективность) автор не идет, а в заключении дает лишь рекомендации по темам дальнейших исследований. Хотя данная концепция отнесена к анализу эффективности системы образования, которую автор называет «образовательной эффективностью», по сути, работа является некоторым обобщением уже предложенного подхода [18-21], она не дает ответа на вопрос, как именно рассчитывать эту эффективность. Тем не менее использование системного подхода вида «входные параметры - процесс - результат» можно считать традиционным при проведении исследований эффективности образования, разница заключается в основном в выборе и оценке входных и выходных параметров и определении их зависимости. Последнее представляет собой наиболее трудную задачу с точки зрения моделирования.

С экономической и социальной точек зрения основными трудностями при оценке эффективности сферы высшего образования, по мнению Джил Джонс, автора работы «Метод анализа среды функционирования и его применение к оцен-

ке эффективности высшего образования» [22], являются:

- некоммерческая природа системы образования во многих странах;

- отсутствие четкого и понятного определения стоимости входных и выходных параметров системы;

- множественность выходных параметров при оценке вузов при большом числе входных параметров, которые теоретически могут оказать влияние на результат деятельности.

В работе Дж. Джонс [22] используется похожий на более ранний подход [6], когда эффективность понимается в смысле отношения наблюдаемого результата к максимально возможному, который может быть достигнут при указанных значениях входных параметров [23]. Идея подхода заключается в построении производственной функции учебного заведения (или системы образования) для измерения эффективности на основе конкретных известных значений входных и выходных параметров системы. Для ее построения можно использовать статистический подход, когда функция предполагается определенного, заданного вида, а ее коэффициенты (параметры) подбираются на основе известной статистики и минимизации погрешности, что фактически повторяет предложенные другими авторами решения. Автор использует метод на основе АСФ, который, по сути, является одним из методов линейного программирования, или многомерной оптимизации, когда процесс описывается многомерной функцией многих переменных, то есть функцией, использующей ряд входных параметров в качестве переменных и переводит их в ряд значений, количество которых в общем случае не равно количеству переменных. При этом вид функции определяется на основе наиболее эффективной системы, известной на данный момент, поскольку данная методология подразумевает, что если одна система смогла достичь определенных результатов, то и другая подобная система может достичь таких же результатов при схожих условиях [23-25].

Для исследования в работе Дж. Джонс [22] использовались статистические данные по вузам Англии за один академический год, а измерения проводились по ряду показателей, которые учитывают такие параметры, как число поступивших на различные программы, финансовые затраты вуза на образовательный процесс, материальное обеспечение и управление (входные показатели), а также успеваемость, количество выданных дипломов, количество выданных грантов на ис-

следования (выходные показатели). На основе полученной статистики были проведены расчеты и выявлены зависимости эффективности различных вузов. Так, результаты расчетов показали, что в целом по вузам Англии уровень эффективности системы образования является высоким и варьируется в пределах от 93 % до 95 % в зависимости от выбранной схемы расчета.

Несмотря на высокий средний уровень эффективности системы в целом, отдельные вузы продемонстрировали значения, существенно отличающиеся от среднего, наименьшее из которых было равно 60 %. Полученные значения автор сравнила с результатами расчетов, основанных на более ранней статистике, которые также подтвердили общие тенденции - высокий средний уровень и аналогичные вузы с существенно более низкими результатами. Валидация метода также была проведена для других типов организаций, которые не нацелены на получение прибыли (например, больницы), что подтвердило результаты, полученные другими авторами. При этом использование метода в коммерческом секторе ведет к более противоречивым результатам, это теоретически подтверждает отсутствие влияния коммерческой составляющей на эффективность высшего учебного заведения.

Очевидно, что данный анализ сравнивает эффективность вузов по отношению к некоторому «эталону», который выбирается по каким-либо соображениям (автора, статистики или общественного опроса) как наиболее эффективная система в отрасли. Отметим также, что полученные авторами стабильно высокие результаты для большинства вузов свидетельствуют лишь об одинаковом уровне эффективности по сравнению с «эталоном», а не об общей эффективности в целом. Данная методология не позволяет выделить проблемные места в системе, если это уже имеет место внутри «эталона», поскольку функциональная зависимость между входными и выходными параметрами уже учитывает заложенные в системе проблемы.

Тем не менее аналогичная методология использовалась и далее [26] для оценки эффективности 20 греческих вузов. Для выбора значимых параметров авторы рассмотрели такие показатели, как подушевые затраты на образование, количество выпускников на единицу профессорско-преподавательского состава (ППС), количество активных студентов к общему числу выпускников, уровень исследовательской активности на единицу ППС и т. д. В качестве входных авторы использовали число ППС и долю ППС, занимающе-

гося научной деятельностью, количество вспомогательного персонала, количество студентов, затраты на образовательный процесс, тогда как выходными были приняты количество выпускников и доход (финансирование) от научных разработок. По мнению авторов, финансирование научной деятельности отражает качество и количество результатов НИР вуза, а также дает более полную картину, чем количество публикаций или ссылок [26, 27].

Такое различие во входных и выходных параметрах прослеживается и в других исследованиях. Так, например, как входные параметры в ряде случаев использовались ([20, 26-35] и др.):

- численность ППС и обслуживающего персонала;

- общее число сотрудников вуза;

- затраты на обучение (в том числе заработная плата сотрудников);

- число студентов различных программ обучения;

- число аспирантов;

- стоимость активов;

- число факультетов;

- финансирование научной деятельности;

- средний балл при поступлении;

- затраты на библиотечный фонд и информационные технологии;

- расчетное число научных грантов на единицу ППС и т. д.

Несмотря на большое разнообразие входных и выходных параметров, большинство авторов используют количественные показатели, связанные с числом студентов и ППС, а также подушевыми затратами на образовательную деятельность, которые затем применяют в качестве основополагающих статистических данных для оценки эффективности.

По вопросу выходных параметров при описании системы и построении статистических оценок также наблюдаются серьезные расхождения. Так, те же авторы используют следующие количественные показатели для характеристики результатов деятельности системы:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

- число выпускников разного уровня обучения (выданных дипломов);

- число публикаций;

- финансирование научной деятельности;

- средневзвешенные рейтинги исследователей;

- число публикаций в научных журналах;

- индексы цитируемости публикаций;

- количество изданных книг (авторов или редакторов);

- число студентов (очных или заочных);

- число защищенных диссертаций (магистерских и докторских) и т. п.

Заметим, что разные авторы могут использовать одни и те же параметры как в качестве входных, так и в качестве выходных, подводя тем самым различную базу под получаемые выводы. Это означает, что использование системного подхода понимается разными авторами по-разному, а методология анализа среды функционирования базируется на той статистике, которую соберут сами авторы.

Использование методологии АСФ не ограничивается только лишь сферой высшего образования. Так, этот метод был применен для анализа эффективности школ в связи с потенциальной возможностью реформирования системы школьного образования, установления новых образовательных стандартов для учеников и учителей, а также разработкой системы поощрений для наиболее успевающих [36]. Авторы использовали понятие «производственная эффективность» применительно к школам, что фактически означает применение подхода АСФ. Стоит сказать, что авторы явно подчеркивают относительность такой оценки, поскольку «не зная настоящей величины эффективности изучаемой организации, невозможно определить, какой метод дает наилучший результат» [36]. Авторы подразумевают, что проверка метода на адекватность не может быть проведена должным образом, поскольку значение эффективности является расчетной характеристикой, которая не может быть установлена экспериментально и, следовательно, является субъективной. Поэтому выбор метода ее оценки основывается лишь на косвенных доказательствах и наблюдениях. Другими словами, использование различных методов с привлечением одних и тех же статистических данных будет давать разные результаты, что естественно ставит вопрос о том, какой из этих результатов будет считаться правильным.

В итоге, несмотря на проведенные исследования и сравнение методологии АСФ с методом наименьших квадратов (и его модификациями), авторы на основании имеющихся у них данных приходят к выводу, что все известные методы оценки эффективности не могут быть использованы для создания моделей управления на основании показателей эффективности организации. Этот вывод фактически поставил под вопрос обоснованность предлагавшихся, например, реформ школьного образования, поскольку их эффективность не могла быть подтверждена.

Стоит также отметить, что авторы скептически настроены по поводу рейтингов учебных заведений, а также не советуют использовать только лишь результаты тестов или других проверок знаний учеников для построения любых моделей и выводов на их основе. Авторы считают, что оценки знаний учеников зависят не только от их личных качеств, но и от условий обучения, например, материально-технической базы образовательного учреждения, квалификации преподавателей. С другой стороны, получение средневзвешенной оценки этих показателей связано с трудностями выбора весов, то есть определения важности и приоритетности одних предметов перед другими, существующие средства измерения, по мнению авторов, основаны на тестах и испытаниях, которые неадекватно оценивают навыки студентов (способность к логике, рассуждениям и т. п.). В результате авторы приходят к выводу, что «наши знания о том, какие факторы влияют на выходные показатели образования, недостаточны».

Таким образом, понятие «образовательной эффективности» основывается на работах по экономической эффективности, производственных функциях, а также социологических исследованиях вида «затраты - выпуск» [17]. Ранние работы рассматривали в основном такие входные параметры системы образования, которые можно легко представить в денежном эквиваленте, рассматривая тем самым образование как инвестиционную деятельность и определяя ее отдачу [37, 38]. Дальнейшее развитие подходов к оценке эффективности системы образования (как школьного, так и высшего) связано с расширением использования аппарата социологии, в частности, учета различий в подготовке и социальной принадлежности учащихся. В ряде работ (см., например, [39, 40]) были сделаны выводы, что, даже если специально уравнять «качество» поступающих, учебные заведения все равно будут отличаться по эффективности, это связано с организационными особенностями, различиями в расписаниях, общим климатом в школах и т. п.

Необходимо учитывать, что эффективность системы образования рассматривалась авторами с точки зрения повышения эффективности учебного или научно-исследовательского процесса. Так, исследователями утверждается, что повышение эффективности подготовки студентов возможно через улучшенное взаимодействие между промышленностью и вузами [41]. Это, в частности, достигается за счет:

- профессионального роста преподавателей;

- создания материальной базы для проведения

научных исследований;

- проведения фундаментальных исследований;

- публикации результатов этих исследований (внесение вклада в общее развитие науки);

- подготовки студентов к профессиональной деятельности.

Однако дальнейшие рассуждения авторов [41] касаются лишь того, как улучшить взаимодействие между вузами и промышленностью, в ее широком понимании, в том числе стимулировать вузы на подготовку необходимых специалистов. Если утверждение «сфера услуг [в лице системы образования] должна обладать достаточными компетенциями и знаниями, чтобы понять требования [промышленности] указывает на необходимость изменений в вузах, то это относится к взаимодействию между двумя системами. Формально авторы пытаются построить модель, вводя в качестве третьей составляющей правительство, которое должно будет стимулировать эти взаимоотношения, заявляя при этом, что «если государство примет политику для ликвидации данного разрыва, можно говорить, что эффективность как образования, так и промышленности увеличится». К сожалению, при этом не приводится никаких результатов, которые могли бы подкрепить данное заявление, так что его можно рассматривать лишь как одно из возможных предположений.

Отметим также, что само понятие «эффективность образования» или вуза используется в работе как данность [41], без какой-либо количественной или хотя бы качественной оценки. Кроме этого, авторы рассматривают проблему исключительно применительно к Турции, а задача повышения эффективности сводится к улучшению взаимодействия (взаимопонимания) между вузами и промышленностью. Это взаимодействие определяется наличием совместных конференций, стажировок студентов, студенческих проектов в промышленности, а основную проблему авторы видят именно в существующей структуре вузов -ее неспособность понять нужды производственного сектора, следовательно, проводить прикладные исследования.

Другим аспектом эффективности системы образования можно назвать конкуренцию образовательных учреждений за ресурсы. Для стимулирования конкуренции вузами и таким образом повышения эффективности европейской системы высшего образования правительства ряда европейских стран и правительство Евросоюза в целом ввели в эту систему рыночные и квазирыночные механизмы [42], в частности, конкурентное

финансирование. Эта квазирыночность заключается в том, что система образования функционирует не по законам рынка (как коммерческие организации), а являются искусственным образованием, которое контролируется государством и финансируется из бюджета. С начала 2000-х гг. данной теме были посвящены многочисленные работы (см., например, [43-47]), однако все они, как правило, содержат лишь одностороннее исследование влияния единичного фактора на систему образования конкретной страны, представляют при этом противоречивые результаты.

Авторы [42] используют подход, предложенный ранее [16], рассматривая так называемую границу производственных возможностей вузов (production frontier), которая определяет лучшие практики на основе работы ведущих вузов. Эти вузы по умолчанию признаются формально эффективными. Таким образом, неэффективность определяется величиной отклонения от данных практик, все вузы, работающие ниже этой границы, автоматически признают формально неэффективными. Фактически данный метод представляет собой не что иное как описанное ранее отклонение от «эталона», которое определятся исходя из некоторых удобных соображений, а отклонение считается на основе полученной в результате вычислений эффективности, причем эффективность «эталона» принимается за 100 %.

Повышение эффективности и влияние на границу возможностей рассматривается в рамках финансирования по различным конкурентным схемам. В качестве измерителя авторы используют функцию расстояния, по сути, измеряя «расстояние» между двумя состояниями. В простейшем случае это разница между вычисленными значениями эффективности, а в более сложном - «расстояние» между двумя «точками», то есть между двумя наборами параметров, характеризующих два сравниваемых вуза, например, некоторый рассматриваемый и эталонный. Заметим, что здесь точка и расстояние понимаются в рамках многомерного пространства, что не меняет сути исследования. Аналогично проводимым ранее исследованиям и предложенным методологиям вуз определяется как система, описываемая входными, выходными и внутренними параметрами. По мнению авторов, входные параметры задаются внешней средой (в частности, политикой государства) и являются для всех одинаковыми, а выходные параметры являются функцией внутренних и входных. С использованием эмпирической функции, статистически подобранной по известным данным и описывающей поведение

вуза (вернее, некоторую эмпирическую зависимость между входными и выходными параметрами), по значениям параметров рассчитываются показатели состояния любого вуза, которые сравниваются со значением границы производственных возможностей (то есть фактически «эталоном»), и на основании этого сравнения строится оценка эффективности. Данный подход является прямым продолжением методологии на основе анализа среды функционирования.

Очевидно, что выбор некоторого вуза в качестве «эталона» подразумевает стопроцентную эффективность этого вуза, хотя в реальности он может иметь какие-то отклонения. Использование статистических и социологических данных этого вуза и построение на их основе эмпирической функции его поведения как системы сразу же закладывает проблемы, которые, возможно, имеют место внутри этой организации. Использование предубеждения об абсолютной (или даже наивысшей в системе) эффективности вуза может заложить скрытые внутри его структуры проблемы таким образом, что при анализе других институтов и при последующем их реформировании эти проблемы будут насильно внедрены или как минимум останутся незамеченными.

Основной целью исследования [42] являлось проведение анализа влияния конкурентной модели финансирования на эффективность вузов. При этом авторы ограничились лишь несколькими параметрами, которые выбирались на основе других работ и рассуждений иных авторов, а также исходя из имеющейся доступной статистики и результатов социологических опросов без детального обсуждения их значимости. Отметим также, что фокус сделан на «научную» составляющую вуза: численность и структура ППС, число публикаций и т. д., а выводы не могут быть распространены на остальные учреждения. Авторы сами признаются, что исследования желательно распространить на другие страны и учебные заведения, а использованные параметры не позволяют делать однозначные выводы. Одним из предложений является использование альтернативных методов исследования и последующее сравнение результатов для их валидации.

Таким образом, проведенный анализ литературных источников зарубежных авторов позволяет сделать следующие выводы:

- проблема оценки эффективности системы образования хотя и является актуальной, тем не менее остается до конца не решенной, поскольку является сложной или кажется слишком очевидной;

- эффективность образования в большинстве случаев понимается как «экономическая» или «техническая» - минимизация затрат при достижении такого же результата,- но с учетом в том числе и социальных аспектов системы;

- в абсолютном большинстве моделей используется системный подход вида «входные параметры - система (и ее внутренние параметры) -выходные параметры». Поведение системы при этом описывается некоторой эмпирической функцией многих переменных, которая подбирается на основе статистических данных;

- входные, внутренние и выходные параметры не являются определенными и выбираются авторами по-разному исходя из собственных рассуждений;

- использование анализа среды функционирования и оценка отклонения от «эталона» являются субъективными и не могут быть распространены на систему образования в целом;

- анализ проводится по малым выборкам данных (в рамках отдельных стран), а качество статистических данных не является стопроцентным;

- выводы, сделанные различными авторами, не позволяют выбрать единственно правильную методологию оценки эффективности системы образования.

Список литературы

1. Windham D. M. Effectiveness Indicators in the Economic Analysis of Educational Activities. Int. J. Educ. Res., 1988, vol. 12, pp. 576-666.

2. Kosor M. M. Efficiency Measurement in Higher Education: Concepts, Methods and Perspective. Procedia -Social and Behavioral Sciences. 2013, vol. 106, pp. 1031-1038.

3. Kendra M., Camaj J., Masek J., Ponicky J. Increasing Efficiency of the Learning Process by an Active Cooperation Between Universities and Industry. Procedia - Social and Behavioral Sciences, 2014, vol. 176, pp. 14-19.

4. Pabon N. D. Quality of Higher Education: a Product of Harmony, Efficiency and Solidarity in Organizations. Procedia - Social and Behavioral Sciences, 2014, vol. 116, pp. 3582-3587.

5. Hanushek E. A. Efficiency and Equity in Schools around the World. Economics of Education Review, 2003, vol. 22, pp. 481-502.

6. McMahon W. W. Efficiency and Equity Criteria for Educational Budgeting and Finance. University of Illinois, Faculty Working Paper No. 733, 1980.

7. Gimenez V. M., Martinez J. L. Cost efficiency in the university: A departmental evaluation model. Economics of Education Review, 2006, no. 25, pp. 543-553.

8. Misra K., Grimes P. W., Rogers K. E. Does competition improve public school efficiency? A spatial analysis. Economics of Education Review, 2012, no. 31, pp. 1177-1190.

9. Daneshvary N., Clauretie vol. M. Efficiency and Costs in Education: year-round versus Traditional Schedules. Economics of Education Review, 2001, no. 20, pp. 279-287.

10. Barrow M. M. Measuring local education authority performance: a frontier approach. Economics of Education Review, 1991, no. 10, pp. 19-27.

11. Jimenez E. The structure of education costs: multi-product cost functions for primary and secondary schools in Latin America. Economics of Education Review, 1986, no. 5, pp. 25-39.

12. Webster W. J., Mendro R. L., Almauger vol. O. Effectiveness indices: a «value added» approach to measuring school effect. Studies in Educational Evaluation, 1994, no. 20, pp. 113-145.

13. Deller S. C., Rudnicki E. Production efficiency in elementary education: the case of Maine public schools. Economics of Education Review, 1993, no. 12, pp. 45-57.

14. Hanushek E. A. The economics of schooling: production and efficiency in public schools. Journal of Economic Literature, 1986, no. 24, pp. 1141-1177.

15. Giambona F., Vassallo E., Vassiliadis E. Educational systems efficiency in European Union countrie. Studies in Educational Evaluation, 2011, no. 37, pp. 108-122.

16. Shephard R. W. Theory of Cost and Production Functions. Princeton: Princeton University Press, 1970.

17. Creemers B. P. M., Scheerens J. Developments in the educational effectiveness research programme. International Journal of Educational Research, 1994, vol. 21, no. 2, pp. 125-140.

18. Scheerens J., Creemers B. P. M. Conceptualizing school effectiveness. International Journal of Educational Research, 1989, vol. 13, no. 7, pp. 691-706.

19. Scheerens J. School effectiveness research and the development of process indicators of school functioning. School Effectiveness and School Improvement, 1990, no. 1, pp. 61-80.

20. Scheerens J. Process indicators of school functioning: a selection base on the research literature on school effectiveness. Studies in Educational Evaluation, 1991, no. 17, pp. 371-403.

21. Stringfield S. C., Slavm R. E. A hierarchical longtudi-nal model for elementary school effects: Evaluation of educational effectiveness, ed. B. P. M. Creemers, G. J. Reezigt, Groningen: ICO, 1992.

22. Johnes J. Data envelopment analysis and its application to the measurement of efficiency in higher education. Economics of Education Review, 2006, no. 25, pp. 273-288.

23. Farrell M. The measurement of productive efficiency. Journal of the Royal Statistical Society, Series A., 1957, no. 120, pp. 253-281.

24. Dantzig G. B. Maximization of a linear function of variables subject to linear inequalities. In (Ed.): Activity analysis of production and allocation, Ed. C. Koopmans. New York: Wiley, 1951.

25. Charnes A., Cooper W. W., Rhodes E. (1978). Measuring the efficiency of DMUs. European Journal of Operational Research, 1978, no. 2, pp. 429-444.

26. Katharaki M., Katharakis G. A comparative assessment of Greek universities' efficiency using quantitative analysis. International Journal of Educational Research, 2010, no. 49, pp. 115-128.

27. Flegg A. vol., Allen D. O., Field K, Thurlow vol. W. Measuring the efficiency and productivity of british universities: An application of DEA and the Malmquist approach. Education Economics, 2004, no. 12(3), pp. 231-249.

28. Worthington A., Lee B. I. Efficiency, technology and productivity change in Australian Universities, 1998-2003. Economics of Education Review, 2008, no. 27, pp. 285-298.

29. Abbott M., Doucouliagos C. The efficiency of Australian universities: A data envelopment analysis. Economics of Education Review, 2003, no. 22(1), pp. 89-97.

30. Avkiran N. Investigating technical and scale efficiency of Australian Universities through data envelopment analysis. Socio Economic Planning Sciences, 2001, no. 35, pp. 57-80.

31. McMillan M. L., Datta D. The relative efficiency of Canadian universities. Canadian Public Policy, 1998, no. 24 (4), pp. 485-511.

32. Athanassopoulos A., Shale E. Assessing the comparative efficiency of higher education institutions in the UK by means of data envelopment analysis. Education Economics, 1997, no. 5 (2), pp. 117-134.

33. Madden G., Savage S., Kemp S. Measuring public sector efficiency: A study of economics departments at Australian universities. Education Economics, 1997, no. 5 (2), pp. 153-168.

34. Coelli vol. Assessing the performance of Australian universities using data envelopment analysis. Centre for science and productivity analysis. NSW: University of New England, 1996.

35. Johnes J., Johnes G. Research funding and performance in UK university departments of economics: A frontier analysis. Economics of Education Review, 1995, no. 14 (3), pp. 301-314.

36. Bifulco R., Bretschneider S. Estimating school efficiency. A comparison of methods using simulated data. Economics of Education Review, 2001, no. 20, pp. 417429.

37. Hanushek E. A. Conceptual and empirical issues in the estimation of educational production functions. Journal of Human Resources, 1979, no. 14, pp. 351-388.

38. Monk D. H. Education productivity research: an update and assessment of its role in education finance reform. Educational Evaluation and Policy Analysis, 1992, no. 14 (4), pp. 307-332.

39. Edmonds R. R. Effective schools for the urban poor. Educational Leadership, 1979, no. 37 (l), pp. 15-27.

40. Rutter M., Maughan B., Mortimore P., Ouston J. Fifteen thousand hours. London: Open Books, 1979.

41. Bektas C., Tayauova G. A model Suggestion for Improving the Efficiency of Higher Education: University-Industry Cooperation. Procedia - Social and Behavioral Sciences, 2014, no. 116, pp. 2270-2274.

42. Bolli vol., Olivares M., Bonaccorsi A., Daraio C., Aracil A. G., Lepori B. The differential effects of competitive funding on the production frontier and the efficiency of universities. Economics of Education Review, 2016, no. 52, pp. 91-104.

43. Van der PloegF., Veugelers R. Towards evidence-based reform of European universities. CESifo Economic Studies, 2008, no. 54 (2), pp. 99-120.

44. Cherchye L., Abeele P. V. On research efficiency: A micro- analysis of Dutch university research in economics and business management. Research Policy, 2005, no. 34 (4), pp. 495-516.

45. Robst J. Cost efficiency in public higher education institutions. The Journal of Higher Education, 2001, no. 72, pp. 730-750.

46. Bonaccorsi A., Daraio C. Universities and strategic knowledge creation. Specialization and performance in Europe. Cheltenham: Edward Elgar, 2006.

47. Carayol N., Matt M. Individual and collective determinants of academic scientists' productivity. Information Economics and Policy, 2006, no. 18 (1), pp. 55-72.

48. Cahan S., Elbaz J. G. The Measurement of School Effectiveness. Studies in Educational Evaluation, 2000, no. 26, pp. 127-142.

DOI 10.15826/umpa.2018.01.010

EVALUATION OF EFFICIENCY OF EDUCATION: OVERVIEW OF INTERNATIONAL EXPERIENCE

N. S. BelyakoV, S. A. Belyakov"

aABB, Zurich, Switzerland; b Russian Presidential Academy of National Economy and Public Administration 82 Vernadskogo ave., Moscow, 119571, Russian Federation; [email protected]

Keywords: education, efficiency of education, effectiveness of education, evaluation of efficiency, evaluation of efficiency of education.

This article provides an overview of foreign literature sources related to the topics of efficiency of education. The goal of the present research is to reveal and highlight key approaches to the definition of the term «efficiency» and the ways of its evaluation if the field of education.

The conducted analysis covers sources from major scientific journals from «Science Direct» and «Springer link» bases, where the foreign researches highlight the duality of the concept: as a term of engineering efficiency from one side, and the complete fulfillment of goals, i. e. effectiveness, from the other. According to the studied literature, the research has usually been driven by the demand of the reforms of the educational system to increase its production efficiency, which relates the initial parameters (like time and resources) with the educational process to achieve the desired result.

Such an approach has become the leading one, which has been proved by multiple sources in this field. In the majority of cases the influence of a certain specific parameter to the expenses of the system has been considered, or the efficiency has been compared with an ideal case of the institution, which has been supposed to possess the highest possible efficiency based on some assumptions or chosen criteria. Such comparison with the best practice can be represented as a simple mathematical difference of the two efficiency numbers or, in further cases, more complicated mathematical approaches like data envelopment analysis can be implemented. Some researchers conclude that most of the known methodologies to evaluate efficiency may not be used in real life cases to develop management models, which poses the question of the overall implementation of the reforms of the educational system and their results. In a very few cases the authors consider this problem from the point of efficiency of the overall educational or research process.

The conducted research has shown that the approaches proposed in foreign scientific sources do not allow to choose the proper approach to the evaluation of efficiency of education that may be applied in practice of management in the Russian educational system, including the design of its development programs.

References