Метрики для измерения эффективности образовательных и научных организаций: проблемы и перспективы применения Текст научной статьи по специальности «Науки об образовании»

www.hjournal.ru DOI: 10.17835/2078-5429.2018.9.4.178-191

МЕТРИКИ ДЛЯ ИЗМЕРЕНИЯ ЭФФЕКТИВНОСТИ ОБРАЗОВАТЕЛЬНЫХ И НАУЧНЫХ ОРГАНИЗАЦИЙ: ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ ПРИМЕНЕНИЯ1

ШИРЯЕВ ИГОРЬ МИХАЙЛОВИЧ,

кандидат экономических наук, доцент кафедры экономической теории, Южный федеральный университет, г. Ростов-на-Дону, e-mail: shiriaev@sfedu.ru;

ФУРСА ЕЛЕНА ВЛАДИМИРОВНА,

кандидат экономических наук, доцент кафедры экономической теории, Южный федеральный университет, г. Ростов-на-Дону, e-mail: fursaelena@yandex.ru;

МОКРОУСОВА ДАРЬЯ ИГОРЕВНА,

студент,

Южный федеральный университет, г. Ростов-на-Дону, e-mail: dashamokrousova@mail.ru;

МАСКАЕВ АРТЁМ ИЛЬИЧ,

аспирант, младший научный сотрудник, Южный федеральный университет, г. Ростов-на-Дону, e-mail: maskaev@sfedu.ru

В статье рассмотрены проблемы и возможности применения количественных оценок эффективности для оптимизации деятельности образовательных и научных организаций. Целью работы является критический пересмотр доминирующей в экономической и управленческой литературе точки зрения, согласно которой оптимизация деятельности любых организаций должна опираться на стремление к количественно измеримым целям и количественное выражение достигнутых результатов в виде некоторых показателей (метрик). В статье рассмотрено использование понятия эффективности применительно к организациям. Проводится разграничение между организациями, которые управляются на основе решений предпринимателя и организациями, которые управляются с использованием бюрократических процедур. Традиционная трактовка эффективности уместна в анализе предпринимательских, а не бюрократических организаций, к которым в основном относятся образовательные и научные организации. У образовательных и научных организаций обычно не имеется цели получения прибыли, поэтому к ним не применима традиционная трактовка эффективности как

1 Статья подготовлена при поддержке Российского фонда фундаментальных исследований, грант № 18-010-00581 «Институциональные ловушки оптимизации сферы образования и науки».

© Ширяев И. М., Фурса Е. В., Мокроусова Д. И., Маскаев А. И., 2018

оо ■н о см

о

5 ,о

о

X

§

т

CD ш

о <

ф

15 о О

с

о m

о ш ее о

о о ш

Ll_

о <

ее

3

о

отношения затрат и полученного результата в виде прибыли. Проблема определения эффективности осложняется тем, что государственные органы задают данным организациям цели, не комплементарные целям членов организаций. Для измерения эффективности деятельности организаций существуют различные показатели (метрики), использование которых для управления организацией способно само по себе повлиять на эффективность организации, причем, как правило, негативным образом. В статье рассмотрены некоторые способы, позволяющие уменьшить негативный эффект, создаваемый использованием метрик для управления образовательными и научными организациями. Окончательное решение проблемы ловушки метрик остается целью дальнейших исследований.

Ключевые слова: эффективность организаций; метрики; институциональные ловушки; образовательные организации; научные организации.

METRICS FOR MEASURING THE EFFECTIVENESS OF EDUCATIONAL AND SCIENTIFIC ORGANIZATIONS: PROBLEMS AND PROSPECTS OF APPLICATION2

IGOR M. SHIRIAEV, m

■H

Associate Professor, ° Southern Federal University, Rostov-on-Don,

e-mail: shiriaev@sfedu.ru; £

05

ELENA V. FURSA, |

Associate Professor, # Southern Federal University, Rostov-on-Don,

e-mail: fursaelena@yandex.ru; |

DARIA I. MOKROUSOVA,

o;

Student,

CD

Southern Federal University, Rostov-on-Don,

e-mail: dashamokrousova@mail.ru;

§

o <

CD

ARTYOM I. MASKAEV, £

o

Junior researcher, & Southern Federal University, Rostov-on-Don,

e-mail: maskaev@sfedu.ru _

The paper deals with the issues and possibilities of applying the quantitative estimates of effectiveness _j

for optimization of the activities of educational and scientific organizations. The purpose of the paper is a O

critical revision of the dominant point ofview in the economic and managerial literature, according to which ^

the optimization ofthe activities of any organizations should be based on the pursuit ofmeasurable goals and ^

the quantification of achieved results through some indicators (metrics). The paper discusses the application O

of the concept of efficiency in relation to organizations. The paper makes a distinction between organizations O that are managed by the entrepreneurs' decision and organizations that are managed through bureaucratic procedures. The traditional interpretation of efficiency is relevant to the analysis of business organizations, rather than bureaucratic organizations, which include most educational and scientific organizations.

2 This publication has been prepared in the framework of the project funded by the Russian Foundation for Basic Research (project № 18-010-00581) «Institutional traps of optimization of the sphere of education and science».

Educational and scientific organizations usually do not have the goal of making a profit; therefore, the traditional interpretation of efficiency as a profit-cost ratio does not apply to them. The problem of evaluating their effectiveness is complicated by the fact that government agencies set goals for organizations that are not complementary to goals of organization members. Various indicators (metrics) are used to evaluating the effectiveness of organizations; their use in the management of organization by itself often causes the appearing of a negative effect on effectiveness of this organization. The paper discusses some of the ways which help to reduce the negative effect created by the use of metrics to manage educational and scientific organizations. A final solution to the metric traps problem must be goal offurther research.

Keywords: effectiveness of organizations; metrics; institutional traps; educational organizations; scientific organizations.

JEL: D73,123,128

oo

■H

о

CM

CO

5 ,o

1. Трактовки эффективности организации в научной литературе

Эффективность характеризует достижение наилучшего (в контексте поставленной цели) результата в сравнении с понесенными затратами. То, какие результаты являются предпочтительными, определяет действующий субъект — индивид или организация как совокупность индивидов, имеющих общую цель и прилагающих совместные усилия для ее достижения.

Экономическая эффективность, как отмечает П. Хейне, является оценочной категорией. Она представляет отношение ценности результата к ценности затрат. Поэтому «эффективность любого процесса может меняться с изменением оценок, а поскольку все зависит от всего, любое изменение в любом субъективном предпочтении в принципе может изменить эффективность любого процесса» (Хейне, 1993, с. 170). В работах российских авторов также представлены схожие определения. Согласно А. Ю. # Сунгурову (2010б), под эффективностью деятельности понимается суммарная оценка результата, соотнесенного с затратами по его достижению. Е. Г. Тарханова (2012)

1 отмечает, что под эффективностью понимают соотношение результатов и затрат. В о трактовке Е. С. Судаковой (2014), эффективность — это характеристика процессов и § воздействий, отражающая степень достижения преследуемых целей.

£ При анализе эффективности организации может рассматриваться не только

х эффективность отдельных видов организаций или эффективность конкретной о организации, выбранной в качестве примера, но и эффективность отдельных аспектов ^ деятельности организации. Например, в статье Е. С. Судаковой (2014) были выделены с? такие подходы к оценке эффективности организации, как оценка эффективности

15 о о с^ а

ш организации: «показатели оценки организации на финансовых рынках — рыночной

2 оценки (добавленная экономическая стоимость, добавленная стоимость акционерного р капитала); финансовые и бухгалтерские показатели (размер прибыли, рентабельность, ^ денежные потоки); нефинансовые показатели (удовлетворенность клиентов, лояльность

клиентуры, соответствие качества продукта техническим требованиям), а также ^ показатели затрат» (Ермолина, 2011, с. 38).

Выделяются три аспекта эффективности: 1) результативность как степень ^ достижения поставленных целей, а также характеристика наличия внешних § эффектов; 2) экономичность, прибыльность как соотношение между затратами на

Ш " о\

получение результата и полученной выгодой; 3) аккуратность как «точность, четкость и ^ своевременность выполнения запланированных действий» (Деев и Хвощинин, 2007, < с. 13; Сунгуров; 2010а, с. 193).

3 Согласно К. Кэмерону (1982), организационную эффективность следует отличать от ? индивидуальной эффективности и эффективности среды (эффективности экономики).

производства, затрат на управление производством, управленческих решений, оценка соотношения целей и результата и использование системы показателей. В работе Л. В. Ермолиной разграничиваются четыре вида показателей эффективности

Смысл, вкладываемый в понятие эффективности организации, как агрегированного субъекта, значительно отличается от того, что следует понимать под эффективностью институтов и других общественных явлений. Эффективность организации может рассматриваться через показатели, характеризующие степень достижения целей, для которых организация была создана её учредителями. В данном случае представляется допустимой редукция целей организации до целей членов организации. В процессе рыночной конкуренции с другими организациями выясняется, насколько деятельность организации соответствует целям её членов. Например, не возникает глобальной проблемы, если в организации происходят процессы бюрократизации по собственной инициативе её членов. В процессе конкуренции члены организации столкнутся с последствиями собственного выбора. Возможно, что полученная ими новая информация заставит их пересмотреть поставленные цели и, соответственно, изменить оценки эффективности организации.

2. Эффективность организаций, управляемых на основе предпринимательских решений и бюрократическим способом

Частное предприятие можно рассматривать как средство для достижения целей предпринимателя. Предприниматель определяет цели фирмы, работники

соглашаются действовать в согласии с данными целями. То, насколько полученные ^

результаты соответствуют поставленным целям, определяет эффективность фирмы. о

Организационная теория может предложить предпринимателям ориентироваться на ^ некоторые показатели при постановке целей. Но организационная теория не может

с

предписывать предпринимателям, какие им следует ставить цели. -

Предпринимательские организации вынуждены конкурировать на рынке.

Организации, не способные удовлетворить потребности потребителей, в ходе >

конкуренции выбывают с рынка. Проходят отбор организации, удовлетворяющие ф

некоторым требованиям. Например, они стремятся к получению прибыли. Экономисты -;г-

могут выявлять цели организаций, которые достигли успеха в ходе конкуренции ^

(например, максимизация прибыли), и трактовать степень их достижения в качестве о

критерия эффективности предпринимательских организаций. §

В случае с нерыночными организациями проблема оценки их эффективности

состоит в определении целей, которые данные организации стремятся достичь. ^

Если бы данные организации функционировали на основе реализации решений § предпринимателя, то не существовало бы отличий в оценке их эффективности

от эффективности частных фирм. Эффективность рассматривалась бы с точки ^

зрения того, как соотносится поставленная цель и достигнутое состояние дел. Но ^

нерыночные организации в реальности, как правило, функционируют не на основе й

предпринимательских решений, а на основе бюрократического способа управления.

о с^ а

Если данные организации функционируют на основе бюрократического способа ш управления, то цели могут быть провозглашены формальным образом, но в реальности ^ функционирование такой организации регулируется ограничениями, задаваемыми р экзогенно, как правило, политиками от имени общества (Заостровцев, 2002; ^ Капогузов, 2012). Члены бюрократической организации должны «соблюдать правила и предписания, независимо от того, разумны ли они или могут привести к результатам, противоположным тому, что было задумано» (Мизес, 1993). Провозглашенная цель не является реальной целью, и степень ее достижения даст оценку эффективности организации, которая бесполезна для самосовершенствования организации. Поэтому собственная цель бюрократической организации может быть теоретически определена как результирующая индивидуальных целей членов организации. Вероятно, что данная цель не совпадает с провозглашаемой целью организации и может состоять в максимизации масштабов деятельности, дискреционных расходов и т.п. Априорным

о ш ее о

о о ш

о <

ее

3

о

образом затруднительно определить, в чем может состоять данная цель, соответственно, затруднительно предложить универсальный критерий эффективности.

В научной литературе подходы к оценке эффективности организации рассматриваются в контексте различия между частной и публичной организацией. Для частной организации подходит трактовка эффективности как отношения затрат и полученного результата в виде прибыли. Но для публичных организаций и институтов такой подход является ограниченным или даже неверным (Сунгуров; 2010а).

В зависимости от широты охвата интересов, оценка эффективности общественных организаций может базироваться на учете целей участников организации или всех членов общества. В зависимости от степени учета целей различных индивидов, может применяться Парето-эффективность или концепция «целей общества». С точки зрения Парето-эффективности оценивается, насколько достигнуты непротиворечащие друг другу цели членов организации или общества. С позиции концепции «целей общества» эффективность оценивается исходя из того, насколько достигнуты провозглашенные организацией или приписываемые ей цели. Например, с позиции концепции «целей общества» дается определение эффективности публичного управления как соотношения «между результатами, фактически полученными с помощью имеющихся ресурсов, и максимальными результатами, которые можно было бы получить с их помощью, при соответствии полученных результатов ожиданиям и потребностям общества в момент их достижения» (Сунгуров, 2010а).

В контексте оценки эффективности важным отличием некоммерческих организаций от частных фирм является отсутствие нацеленности на получение прибыли. «Данная особенность лишает НКО естественного критерия эффективности, вытекающего из цели таких организаций, и значительно осложняет анализ эффективности НКО» (Борисова и Полищук, 2009, с. 80). Вместо максимизации прибыли НКО могут ориентироваться на % производительность (отдачу на используемые ресурсы), объем продаж товаров и услуг, занимаемую долю на рынке, моральный климат в организации, степень приверженности з: сотрудников цели организации, качество продукции, имидж и репутацию организации, о темп роста организации и возможности дальнейшего роста, достижение социальных § целей и т.д. (Борисоваи Полищук, 2009). Е. И. Борисова и Л. И. Полищук выделяют четыре к концепции оценки эффективности НКО: 1) целевая концепция трактует эффективность

тг

организации как меру достижения поставленных целей; 2) концепция системных ресурсов трактует эффективность как способностью организации обеспечить ресурсы, необходимые для ее устойчивого функционирования; 3) концепция множественности заинтересованных сторон рассматривает организацию с точки зрения ее соответствия интересам различных групп стейкхолдеров, которые имеют различные интересы; 4) концепция социального конструктивизма, согласно которой стейкхолдеры могут влиять на оценку эффективности путем манипулирования информацией, формирования

оо ■н о см

о

5 ,о

tc со

о <

Ф

15 о О

а

m общественного мнения и т.д. (Борисова и Полищук, 2009). С точки зрения социального z конструктивизма, эффективность НКО представляет оценки заинтересованных сторон, р формирующиеся и изменяющиеся в процессе понимания и взаимодействия. Социально ^ сконструированная эффективность НКО не обязательно является стабильной или t] полной оценкой (Herman and Renz, 1997). ос о

^ 3. Цели и эффективность образовательных и научных организаций

§ Современные мировые тенденции состоят в усилении конкурентной борьбы

§ за интеллектуальные ресурсы и увеличении значимости образования в обществе. Образование не только позволяет улучшать качество и уровень жизни населения, но и оказывает существенное влияние на экономическое развитие и экономический рост страны. Если ряд тенденций (таких, как прекаризация профессии преподавателя и научного работника, отстранение профессионального сообщества от принятия решений,

преподавательского состава (Михайлова и Лимарева, 2016).

Если установленные цели систематически не выполняются, то можно поставить

о с

О)

мнимая дебюрократизация и введение принципов нового государственного управления (new public management) в управлении образованием) совпадает с общемировыми, то сокращение численности исследователей в России противоположно значительному росту занятых в науке и образовании в развитых странах. Повышение качества образования, а также эффективности работы образовательных и научных организаций, становится одной из важнейших задач правительства страны. Рассмотрим оценку эффективности образовательных и научных организаций на примере реформ и мер, которые проводит российское правительство.

Несмотря на достаточно большое разнообразие показателей оценки эффективности работы образовательных и научных учреждений, Министерство образования и науки РФ установило единые направления для разработки критериев эффективности деятельности. Так, согласно О. Ю. Ереминой, государственные органы обращают внимание на такие аспекты деятельности образовательных организаций, как «1) соответствие деятельности образовательной организации законодательству РФ в области образования; 2) кадровое обеспечение образовательного процесса; 3) обеспечение качества обучения и воспитания; 4) обеспечение доступности качественного образования; 5) создание условий для внеурочной деятельности и дополнительного образования; 6) эффективное использование современных образовательных технологий в образовательном процессе; 7) реализация программы развития образовательной организации; 8) создание условий т для сохранения здоровья обучающихся; 9) обеспечение комплексной безопасности и о охраны труда в образовательной организации; 10) создание системы государственно- ^ общественного управления образовательной организации» (Еремина, 2015, с. 77).

Особое внимание правительство уделяет модернизации системы высшего

образования и разработке критериев оценки эффективности деятельности организаций,

относящихся к этой системе. Однако, следует учитывать, что говорить об экономической

эффективности государственных образовательных учреждений в обычном понимании

нельзя, так как они не нацелены на получение прибыли (Михайлова и Лимарева,

2016). Вследствие зависимости объема государственного финансирования от количества

студентов и заинтересованности вузов в привлечении возможно большего количества

коммерческих студентов, данные количественные показатели также могут быть

элементом цели организации. С точки зрения институционального подхода оценка

эффективности образовательной организации должна учитывать экономические

показатели и такие факторы, как соответствие решениям государственных органов

и интересам других субъектов, внедрение достижений науки и техники, реализация

социальных и культурных программ. Эффективность образовательной организации

также зависит от качества образовательных услуг и уровня подготовки профессорско- ^

_û о о

CL а

вопрос о неэффективности не управляемой организации, а государственных структур, m

устанавливающих цели. Проведение в жизнь бюрократических решений невозможно z

без властных приказов. Власть тем сильнее, чем большее число ее приказов и р

решений выполняется (Макаренко, 2018). Несоответствие заданных целей интересам ^

акторов приводит к безразличию и последующему разрушению системы стимулов.

Систематическое «недостижение» плановых показателей может быть признаком ^

неэффективности планирующего органа. При провозглашаемой направленности ^

бюрократическо-административной деятельности на адекватное отражение §

действительности и разрешение общественных проблем, её основные усилия направлены §

на подтверждение необходимости существования управленческих структур. Определение

и устранение социальных проблем связано с извращением действительности: подмена ^

фактов, использование теорий и исследований, оправдывающих проводимую в данный ^

момент политику. Явный или неявный запрет на правдивое изложение фактов и з

о

§ m

X

пз со О

s <

социальных отношений прослеживается в нарративах реформаторов: размеры бедствий преуменьшаются, а оказываемая поддержка преувеличивается (Макаренко, 1989).

4. Эффективность способов управления организацией и причины неэффективности метрик

Для оценки эффективности работы образовательных и научных организаций используются, прежде всего, количественные показатели (метрики), которые дают оценку результативности этих организаций. Под метриками следует понимать «количественные оценки, используемые для контроля, выбора и мотивации в отношении индивида, процесса, события и организации» (Вольчик и Маслюкова, 2018, с. 160). В последнее время метрики как количественное выражение информации стали все чаще использоваться в организациях. Однако ряд исследователей (Muller, 2018; Вольчик и Маслюкова, 2018) ставят под сомнение объективность и достоверность метрик для измерения эффективности образовательных и научных организаций. Сомнение в уместности их столь широкого применения послужило основой предположения, что использование метрик является институциональной ловушкой. Возникновение огромных объемов данных все больше усиливает зависимость от данной ловушки. Принятие стратегических решений на основе количественных данных не всегда позволяет учесть все аспекты объекта управления. т С одной стороны, количественные данные значительно упрощают процесс восприятия о информации, делая ее доступной и понятной для большого количества людей. Но, с другой стороны, как отмечает Дж. Мюллер, существуют ситуации, когда измерение изучаемого öl объекта практически невозможно без игнорирования его важных качеств. Дж. Мюллер ф (2018) выделяет несколько причин неэффективности метрик:

5 1. Стандартизация показателей ведет к деградации качества информации.

Количественная оценка упрощает знание, предлагая числовую интерпретацию явления. % 2. Метрики не позволяют изучать внешние факторы, влияющие на изменчивость

описываемого объекта, поэтому при их использовании исследователи склонны измерять s внутренние факторы, а все остальные относить к случайной величине. о 3. Улучшение показателей посредством искаженного представления реальности.

§ Например, стремление выполнить требование о наличии всех книг, используемых в

m

tc со

о <

улучшены путем снижения требований к выпускникам.

Эти недостатки метрик показывают, что довольно часто стремление к улучшению

обучении, в библиотеке вуза, ведет к тому, что образовательные программы формально будут основаны только на книгах из библиотеки, хотя в реальности основным источником информации могут быть публикации в Интернете.

4. Улучшение количественного показателя за счет снижения стандартов. Так, ^ например, результаты выпускных экзаменов средних школ и колледжей могут быть

15 о о

с своих показателей искажает сами эти показатели.

т Современная система образования также не избежала воздействия ловушки метрик.

2 Как и в бизнесе, для оценивания качества деятельности вуза создаются различные р показатели, некоторые из которых могут приводить к состоянию неэффективности ^ и неустойчивости. Например, при оценивании уровня образования в той или иной

стране ООН использует такие показатели, как индекс грамотности населения и индекс

^ совокупной доли учащихся, получающих образование. Но эти показатели не отражают

^ уровень качества предоставляемого образования, а лишь показывают, какая доля

§ населения получает образование и какое количество человек умеет читать и писать. При

§ этом не учитываются национальные особенности государства, гендерные и возрастные особенности населения, что, несомненно, становится причиной искажения данных и

^ приводит к неэффективности принятых на их основе решений.

^ Но такие показатели, приводящие к ловушке метрик, встречаются и на местном

3 уровне. Другие институциональные ловушки, наиболее часто встречающиеся в о

российской практике: диссертационная ловушка (покупка ученых степеней) (Балацкий, 2006), недофинансирование университетов, ловушка высокого спроса на высшее образование с целью получения диплома, а не новых знаний и т.д. Все эти явления негативно сказываются на качестве образования, а впоследствии — и на низкой конкурентоспособности специалистов на рынке труда.

В России предпринимаются различные меры для увеличения эффективности института образования и устранения институциональных ловушек. Например, осуществляется увеличение финансирования системы образования. С другой стороны, введение Болонской системы образования с модульной системой оценки эффективности работы студентов и преподавателей оказывает противоречивое влияние на образование из-за роста бюрократизации.

Согласно ФЗ от 29.12. 2012 г. № 273-Ф3 «Об образовании в Российской Федерации» (ст. 97) в России осуществляется мониторинг системы образования, который включает наблюдение за образовательной деятельностью, ее результатами, условиями реализации, контингентом обучающихся, профессиональными достижениями выпускников, деятельностью непосредственно самих образовательных и научных организаций, их эффективностью3. В 2012 г. Министерство образования и науки РФ впервые провело мониторинг высших учебных заведений, в котором участвовали 541 государственный вуз и 994 филиала (Мониторинг деятельности федеральных образовательных ^ учреждений высшего профессионального образования РФ в 2012 году). о

В качестве метрик для измерения эффективности образовательных и научных ^ организаций были использованы пять критериев:

1) образовательная деятельность: средний балл ЕГЭ поступивших студентов; -

2) международная деятельность: удельный вес иностранных студентов (приведенный контингент); >

3) научно-исследовательская деятельность: объем НИОКР на одного НПР; #

4) финансово-экономическая деятельность: доход организации из всех источников в ^ расчете на одного НПР; ^

5) инфраструктура организации: площадь учебно-лабораторных зданий в расчете на о одного студента. §

Кроме того, для филиалов образовательных и научных организаций были выделены еще три критерия: приведенный контингент, доля кандидатов и докторов наук в ^ численности работников ППС, доля работников ППС в общей численности ППС. §

На основе мониторинга деятельности образовательных и научных организаций 'оссии 130 учеб] неэффективными.

Следует отметить, что критерии оценки эффективности для некоторых вузов оказались субъективными. Согласно выбранным показателям, в числе неэффективных

<

в России 130 учебных заведений и 450 филиалов по 50 параметрам были признаны ^

15 о о с^ а

вузов оказались учебные заведения, связанные со специфической образовательной оа деятельностью, то есть театральные, архитектурно-художественные, транспортные ^ и др. Количественные критерии оценки эффективности образовательных и научных р организаций не всегда могут отразить качество деятельности вузов. Данные критерии ^ оценки могут служить проявлением институциональной ловушки, которая, наряду с ловушкой «платного образования», может стать препятствием для улучшения качества высшего образования, смещая акцент на его подотчетность. Этот пример использования количественных показателей (метрик) в процессе оптимизации сферы образования в России является подтверждением ловушки метрик, описанной Дж. Мюллером.

Среди ловушек, связанных с использованием метрик для измерения эффективности работы образовательных и научных организаций, можно выделить применение такого показателя, как общий объем научных исследований или публикаций. При анализе

о ш ее о

3 См.: Федеральный закон «Об образовании в Российской Федерации» от 29.12.2012 г. № 273-Ф3. (http://www.consultant.ru/ document^ons_doc_LAW_14Ш74/ - Дата обращения: 21.04.2018).

О О ш

о <

СИ 3

о

СП

5 ,о

данного показателя следует учитывать, что скорость написания научной статьи не гарантирует ее качества и действительно значимые выводы и результаты исследования иногда требуют большого количества времени. Погоня за увеличением количества научных исследований и публикаций может привести к снижению качества научной деятельности, которая заменяется достижением формальных наукометрических показателей. Главными критериями научной деятельности преподавателей становятся публикация и индексация в системах РИНЦ, Scopus, Web of Science. В условиях ловушки метрик преподавателя и ученого характеризует не содержание научных работ, а различные индексы цитирования (Тульчинский, 2017, с. 133).

Ярким примером неэффективности метрик в России также стала попытка оценки и мониторинга результатов научно-исследовательской деятельности организаций и ученых. В 2012 г. Министерством образования и науки РФ был инициирован проект «Карта российской науки» для проведения всестороннего аудита сектора исследований и разработок в различных образовательных и научных организациях. На протяжении всего периода существования проект «Карта российской науки», несмотря на значительные финансовые вложения, он функционировал с системными недоработками. В 2017 г. проект перестал существовать после заявления Совета по науке при министерстве образования и науки РФ о том, что «данный проект за четыре года своего существования так и не достиг сколько-нибудь удовлетворительного качества. g Значительная часть представляемых «Картой российской науки» сведений ошибочна и 041 не может быть сколько-нибудь адекватно использована. Совет призывает МОН впредь ^ не использовать «Карту российской науки» для каких-либо целей» (Заявление Совета по науке при министерстве образования и науки РФ).

Следующее проявление ловушки метрик — это использование балльно-рейтинговой системы оценки знаний студентов. В результате перехода России к Болонской системе ф образования в большинстве российских вузов была введена балльно-рейтинговая ^ система оценки знаний. С одной стороны, данный вид оценивания знаний повышает мотивацию студентов, способствует постоянной вовлечённости студентов в учебный

0 процесс и активизации на семинарских занятиях, формирует универсальную g шкалу сопоставления качества и объема знаний студентов, по которой определяется £ индивидуальный рейтинг. С другой стороны, у студентов происходит смещение интереса

1 в сторону получения баллов, а не знаний; на занятиях устраивается гонка за баллами с m целью получения высоких баллов для последующей положительной оценки. Студенты ^ учатся ради баллов, а не знаний. Таким образом, несмотря на достаточно прозрачную

и достоверную систему оценки знаний, погоня за высокими баллами может негативно

повлиять на качество обучения.

Широкое распространение в российской сфере образования получила тестовая

система оценки знаний обучающихся, являющаяся примером количественной оценки

знаний ученика. Данный феномен напоминает известную американскую программу

«No child left behind» (Muller, 2018), согласно которой школы получали повышенное

о финансирование в случае успешных прохождений учениками тестовых заданий.

Но эта программа не приносила желаемых результатов, так как не смогла избежать

двух главных недостатков такой системы оценки знаний. Первый недостаток состоит

се в ориентации процесса обучения на подготовку к успешному написанию тестов. Из

— этого вытекает второй недостаток, заключающийся в том, что те предметы, оценивание

о по которым не проводится, отодвигаются в процессе обучения на второй план. Это не

о значит, что тестирование для проверки знаний не приносит пользы. Наоборот, для о „

ш оценивания уровня знаний и промежуточной аттестации ученика тестирование является о незаменимым инструментом преподавателя. Но, если от прохождения теста зависит < нечто большее, например — государственное финансирование учебного заведения или SÉ поступление в университет, то тогда тестирование трансформируется в ловушку метрик, о которая превратит процесс образования в неэффективное «натаскивание» учеников.

а>

15 о О

С

О

m

Современные процессы, связанные с внедрением и широким распространением

цифровых технологий в российской экономике, коснулись также и сферы образования.

Изменения, связанные с цифровизацией экономики, делают проблему ловушки

метрик еще более актуальной. Так, согласно планам Министерства науки и высшего

образования РФ, к 2020 г. российские вузы должны создать 3500 онлайн-курсов, а к

2025 г. — 4000. Кроме того, для обеспечения цифровой экономики компетентными

работниками, вузы должны продвигать смарт-образование, дистанционное обучение, а

также модернизировать образовательные программы, направленные на удовлетворение

потребностей современного рынка труда. С одной стороны, цифровизация сферы

образования имеет положительные черты, которые выражаются в доступности и

массовости образования для различных категорий населения, в том числе для лиц

с ограниченными возможностями. Онлайн-обучение не имеет никаких временных

и территориальных ограничений; студенты могут выстраивать индивидуальную

траекторию обучения, осуществляя собственный выбор различных программ, курсов,

дисциплин. Однако среди недобросовестных обучающихся присутствует практика

привлечения третьих (подставных) лиц для участия в образовательно процессе (сдача

тестовых и экзаменационных заданий, платное написание выпускных работ и др.).

Эта практика нарушает моральные и этические нормы образовательного процесса и

может привести в дальнейшем, при отсутствии должного контроля, к обесцениванию ^

дистанционного и онлайн-обучения. о

Стремясь выполнить количественные показатели Министерства науки и высшего ^

образования, администрация вузов вынуждает преподавателей для прохождения

аттестации создавать дистанционные и онлайн-курсы, эквивалентные аудиторным

дисциплинам. Однако качество онлайн-курсов не всегда может соответствовать

ожидаемому, отсутствует должный контроль за процессом получения и освоения

учебного материала. Не существует комплексного механизма и программы оценки ф

качества онлайн-курсов. Должна быть разработана предварительная оценка ^

состоятельности и качества онлайн-курсов, прежде чем эти образовательные продукты ^

будут использоваться в процессе обучения. Все эти факторы могут негативным образом о

сказываться на качестве образовательного процесса в вузах. §

т

также использование качественных показателей и методов анализа, которые позволят более глубоко исследовать вопросы эффективности. Так, Р. Уолкотт (2016) в своей статье

х го ш

о <

5. Способы преодоления ловушки метрик

Одним из способов преодоления ловушки метрик может стать отход от

устаревших метрик, которые могут искажать характеристики образовательной и

научной деятельности, а также процесс принятия решений. Необходим поиск новых с?

количественных показателей, новых методик оценки эффективности работы вузов, а ^

о о ср а

анализирует методы борьбы с тиранией старых метрик в бизнесе. Автор пишет о том, т что в современных реалиях быстроменяющегося общества теряет свою актуальность ^ принцип «Нельзя управлять тем, что вы не можете измерить», сформулированный П. р Друкером и долгое время являвшийся ключевым для всех направлений бизнеса. Так ^ как метрики быстро устаревают, то бизнес, продолжающий ориентироваться на них, попадает в ловушку метрик, искажая процесс принятия решений. Поэтому необходимо 01 пересматривать и перепроверять точность, достоверность метрик, которыми пользуются ^ компании, разрабатывать новые метрики. Метрики должны учитывать не только ^ простые показатели объема и эффективности. §

Проблемы создания новых и пересмотра существующих критериев оценки эффективности образовательных и научных организаций привлекают внимание ^ российского академического сообщества. Так, в 2016 г. Российский союз ректоров на ^ базе Московского государственного университета им. М. В. Ломоносова инициировал ^ создание и методологическую разработку Московского международного рейтинга ?

вузов «Три миссии университета» (MosIUR). В 2017 г., после независимой аудиторской проверки был опубликован первый пилотный Московский международный рейтинг вузов, а в 2018 г. в рейтинге участвовало около 500 вузов из 53 стран. Этот рейтинг, в отличие от международных, впервые оценивает все три ключевые миссии университета, а именно образование, науку и взаимодействие с обществом.

Каждой миссии в рейтинге был выделен свой удельный вес — 45% у миссии «Образование», 25% — у «Науки» и 30% — у миссии «Университет и общество». Каждая миссия оценивается по группе критериев. Так, «Образование» включает 4 критерия (количество побед на международных студенческих олимпиадах, доля иностранных студентов, отношение бюджета вуза к количеству студентов, отношение количества студентов к количеству НПР). «Наука» имеет 7 критериев (количество научных премий из списка IREG, средняя нормализованная цитируемость, согласно Scopus, Web Of Science (глобальный и национальный уровни), отношение дохода от исследований к числу НПР, нормализованные просмотры научных публикаций согласно Scopus) (Методология Московского международного рейтинга вузов «Три миссии университета»). К семи критериям миссии «Университет и общество» относятся такие, как: количество онлайн-курсов вуза, размещенных на ведущих онлайн-платформах; доля вуза в общем объеме публикаций университетов по стране; количество страниц веб-сайта университета, индексированных ведущими поисковыми системами; количество просмотров страницы вуза в Википедии; количество подписчиков аккаунта университета в социальных сетях; количество выпускников вуза, которым посвящена отдельная страница в Википедии; размер Интернет-аудитории сайта вуза.

Московский международный рейтинг вузов, по мнению Министерства науки и высшего образования, станет одним из инструментов для принятия решений в сфере высшего образования и науки в стране, а также инструментом управления % вузами, оценки их эффективности и последующей оптимизации. Существующие международные рейтинги, по мнению разработчиков «Трех миссий университета», s оценивают университеты односторонне, ориентируясь на решение тех или иных о правительственных задач; некоторые рейтинги создавались по англосаксонской § модели, и не способствуют полному отражению и продвижению российского к образования.

^ Для преодоления ловушки метрик в России необходимо поощрять самоуправление

о и саморегулирование образовательных и научных организаций. Данный метод s является более предпочтительным, так как позволяет избежать централизованного с? планирования и «погони за количественными показателями», которые могут быть актуальными для одних вузов и быть при этом ловушкой метрик для других. У каждого вуза должна быть своя модель мониторинга и система показателей, которые будут учитывать особенности образовательного процесса в данном университете. Так,

оо ■н о см

о

5 ,о

15 о О с^ а

ш Министерство науки и высшего образования предполагает увеличить академическую 2 свободу образовательных организаций в разработке и реализации адаптивных и р гибких образовательных программ высшего образования, которые смогут обеспечить ^ получение студентами компетенций, отвечающих требованиям современного рынка труда (Модернизация системы высшего образования требует изменений в системе ^ аккредитации и аттестации вузов).

Необходим пересмотр действующей системы государственной регламентации § образовательной и научной деятельности через внедрение системы самоуправления § в вузах, чтобы они могли самостоятельно определять траекторию своего развития, которая позволит максимально индивидуализировать показатели эффективности, что в дальнейшем уменьшит влияние ловушки метрик на процесс обучения и, как следствие, позволит вузам наиболее эффективно приспосабливаться к постоянно меняющимся условиям современной экономики.

СПИСОК ЛИТЕРАТУРЫ

Балацкий Е. В. (2006). «Диссертационная» ловушка в российской экономической науке // В1сник Житомирського державного технологЬчного утверситету. Сер1я: економ1ка, управлтня та адмт^трування, № 1(35), с. 9-18.

Борисова Е. И. и Полищук Л. И. (2009). Анализ эффективности в некоммерческом секторе: проблемы и решения // Экономический журнал Высшей школы экономики, Т. 13, № 1, с. 80-100.

Вольчик В. В. и Маслюкова Е. В. (2018). Ловушка метрик, или почему недооценивается неявное знание в процессе регулирования сферы образования и науки // Journal of Institutional Studies (Журнал институциональных исследований), Т. 10, № 3, с. 158-179.

Деев А. С. и Хвощинин А. А. (2007). Эффективность и результативность публичного управления. Тюмень: Изд-во ТюмГУ.

Еремина О. Ю. (2015). Эффективность деятельности образовательной организации: критерии, показатели, прогнозы // Журнал российского права, № 10, с. 73-85.

Ермолина Л. В. (2011). Стратегическая эффективность организации // Вестник Самарского государственного университета, № 10(91), с. 37-40.

Заостровцев А. П. (2002). Экономическая теория бюрократии по Нисканену // Экономическая школа. Аналитическое приложение, Т. 1, № 1, с. 148-180. 2

Заявление Совета по науке при министерстве образования и науки РФ 31.01.2017. сч (https://sovet-po-nauke.ru/index.php?q=info/31012017-declaration_goszadanie - Дата ^ обращения: 05.11.2018). £

Капогузов Е. А. (2012). Теория общественного выбора как теоретический фундамент о" реформ государственного управления // Вестник НГУ. Серия: Социально-экономические науки, Т. 12, Вып. 2, с. 21-30. ^

Макаренко В. П. (1989). Бюрократия и сталинизм. Ростов-на-Дону: Издательство Ростовского университета. 1

Макаренко В. П. (2018). А ты, милок, повелевай и здравствуй. Властно-политические 5 технологии будут еще долго умнее искусственного интеллекта // Независимая газета, 26.11.2018. (http://www.ng.ru/scenario/2018-11-26/14_7448_technology. m html?fbclid=IwAR1KPffMa5_fZVehPq5lRCvxJnbLhQjsUglD0ZRC0Pp_RLow4eUJd2Syj4s * - Дата обращения: 30.11.2018). ^

Методология Московского международного рейтинга вузов «Три миссии о. университета». (https://mosiur.org/methods/methodology/ - Дата обращения: 30.11.2018). < Мизес Л. (1993). Бюрократия. Запланированный хаос. Антикапиталистическая ^

ментальность. М.: Дело, Catallaxy.

Михайлова И. М. и Лимарева Ю. А. (2016). Исследование влияния качества

о

о.

15 о о о.

подготовки профессорско-преподавательского состава на экономическую эффективность о вуза // Новый университет: серия «Экономика и право», № 5(63), с. 91-94. "

Модернизация системы высшего образования требует изменений в системе о аккредитации и аттестации вузов. (https://minobrnauki.gov.ru/ru/press-center/ ^ саМ^_4=495 - Дата обращения: 30.11.2018). =э

Мониторинг деятельности федеральных образовательных учреждений высшего профессионального образования РФ в 2012 году. (Ъй^://минобрнауки.рф - Дата о обращения: 30.11.2018). |

Судакова Е. С. (2014). Взаимосвязь развития трудового потенциала персонала и ф эффективности организации // Интернет-журнал «Науковедение», № 3(22). (Ъй^:// ш naukovedenie.ru/PDF/159EVN314.pdf - Дата обращения: 21.04.2018).

Сунгуров А. Ю. (2010а). В поисках критериев эффективности института уполномоченного по правам человека // Политическая экспертиза: ПОЛИТЭКС, Т. 6, № 4, с. 189-204.

00 ■н о см

СП

5 ,о

te со о

15 о о

с

о m

О о ш

LL

о

_J <

ее

3

о

Сунгуров А. Ю. (20106). На пути к критериям эффективности деятельности института Уполномоченного по правам человека. (https://www.hse.ru/data/2010/05/13/1216418508/ Эффективность-2Лос - Дата обращения: 21.04.2018).

Тарханова Е. Г. (2012). Эффективность деятельности некоммерческих организаций: особенности и концепции оценки // Известия Иркутской государственной экономической академии, № 2(82), с. 108-110.

Тульчинский Г. Л. (2017). Цифровая трансформация образования: вызовы высшей школы // Философские науки, № 6, с. 121-136.

Хейне П. (1993). Экономический образ мышления. М.: Дело, Catallaxy.

Cameron, K. S. (1982). Organizational Effectiveness: A Comprehensive Bibliography // Reference Materials-Bibliographies. Boulder, Colo: National Center for Higher Education Management Systems. (https://files.eric.ed.gov/fulltext/ED271070.pdf - Дата обращения: 18.11.2018).

Herman, R. and Renz, D. (1997). Multiple Constituencies and the Social Construction of Nonprofit Organization Effectiveness // Nonprofit and Voluntary Sector Quarterly, 26, 185-206.

MoslUR «The Three University Missions». (https://mosiur.org - Дата обращения: 30.11.2018).

Muller, J. Z. (2018). The Tyranny of Metrics. Princeton: Princeton University Press.

Wolcott, R. C. (2016). Don't Be Tyrannized by Old Metrics // Harvard Business Review, September 23. (https://hbr.org/2016/09/dont-be-tyrannized-by-old-metrics - Дата обращения: 30.11.2018).

REFERENCES

Balatsky, E. V.(2006). «Dissertational» Trap in Russian Economic Science. The Journal of Zhytomyr State Technological University. Series: Economics, Management and Administration, 1(35), 9-18. (In Russian).

Borisova, E. I. and Polishchuk, L. I. Efficiency Analysis in the Non-profit Sector: Issues and Solutions. Economic Journal of the Higher School of Economics, 13,(1), 80-100. (In

о

X

о

m Russian).

Cameron, K. S. (1982). Organizational Effectiveness: A Comprehensive Bibliography. Reference Materials-Bibliographies. Boulder, Colo, National Center for Higher Education Management Systems. (https://files.eric.ed.gov/fulltext/ED271070.pdf — Access Date: < 18.11.2018).

<u Deev, A. S. and Khvoschinin, A. A. (2007). Efficiency and Effectiveness of Public

Administration. Tyumen, Publishing House of the Tyumen State University. (In Russian).

Eremina, O. Yu. (2015). The Effectiveness of the Educational Organization: Criteria, Indicators, Forecasts. Journal of Russian Law, 10, 73-85.

Ermolina, L. V. (2011). Strategic Effectiveness of an Organization. Vestnik of Samara 11 State University, 10(91), 37-40.

^ Herman, R. and Renz, D. (1997). Multiple Constituencies and the Social Construction of

3 Nonprofit Organization Effectiveness. Nonprofit and Voluntary Sector Quarterly, 26, 185-| 206.

o Heyne, P. (1993). The Economic Way of Thinking. Moscow, Case [Delo], Catallaxy Publ.

^ (In Russian).

Kapoguzov, E. A. (2012). Public Choice Theory as Theoretical Basis of Public Management Reform. Vestnik NSU. Series: Social and Economic Sciences, 12(2), 21-30. (In Russian).

Makarenko, V. P. (1989). Bureaucracy and Stalinism. Rostov-on-Don, Rostov University Press. (In Russian).

Makarenko, V. P. (2018). And You, My Dear, Command and Live Long. Political Power Technologies Will Be Smarter than Artificial Intelligence for a Long Time. Independent

Newspaper, 26.11.2018. (http://www.ng.ru/scenario/2018-11-26/14_7448_technology. html?fbclid=IwAR1KPffMa5_fZVehPq5lRCvxJnbLhQjsUglD0ZRC0Pp_RLow4eUJd2Syj4s - Access Date: 30.11.2018). (In Russian).

Methodology of the Moscow International University Ranking «The Three University Missions». (https://mosiur.org/methods/methodology/ — Access Date: 30.11.2018). (In Russian).

Mikhaylova, I. M. and Limareva, Yu. A. (2016). Research of the Training Faculty Members on Economic Efficiency of University. New University. Economics & Law, 5(63), 91—94. (In Russian).

Mises, L. (1993). Bureaucracy. Planned chaos. Anti-Capitalist Mentality. Moscow, Case [Delo], Catallaxy Publ. (In Russian).

Modernization of Higher Education Requires Changes in the System of Accreditation and Certification of Universities. (https://minobrnauki.gov.ru/ru/press-center/card/?id_4=495 — Access Date: 30.11.2018). (In Russian).

Monitoring the Activities of Federal Educational Institutions of Higher Professional Education of the Russian Federation in 2012. (https://MHHo6pHayKH.p$ — Access Date: 30.11.2018). (In Russian).

MosIUR «The Three University Missions» (https://mosiur.org — Access Date: 30.11.2018).

Muller, J. Z. (2018). The Tyranny of Metrics. Princeton, Princeton University Press. qq

Statement by the Science Council at the Ministry of Education and Science of the o Russian Federation on 31.01.2017. (https://sovet-po-nauke.ru/index.php?q=info/31012017- ^ declaration_goszadanie — Access Date: 05.11.2018). (In Russian).

Sudakova, E. S. (2014). The Interrelation between the Development of Employees' Labor Potential and the Organization's Effectiveness. Internet-journal «Science studies», 3(22). (https://naukovedenie.ru/PDF/159EVN314.pdf — Access Date: 21.04.2018). (In Russian).

Sungurov, A. Yu. (2010a). Looking for Effectiveness Criteria of the Ombudsman Institution. Political Expertise: POLITEX, 6(4), 189—204. (In Russian).

Sungurov, A. Yu. (2010b). Towards the Effectiveness Criteria of the Activity of the Ombudsman Institution. (https://www.hse.ru/data/2010/05/13/1216418508/ Э$$ектнвностb-2.doc — Access Date: 21.04.2018). (In Russian).

Tarkhanova, E. G. (2012). Nonprofit Organizations' Effectiveness: Special Features and Assessment Concepts. Proceedings of the Irkutsk State Academy of Economics, 2(82), 108— 110. (In Russian).

Tulchinskii, G. L. (2017). Digital Transformation of Education: Challenges for Higher

Knowledge Underestimated when Regulation of Science and Education is Handled. Journal of Institutional Studies, 10(3), 158-179. (In Russian).

0 с

О)

1

§

X CD m

o <

School. Russian Journal of Philosophical Sciences, 6, 121—136. ^

Volchik, V. V. and Maslyukova, E. V. (2018). The Metrics Trap, or Why is Implicit ^

-Q O

o a. a

Wolcott, R. C. (2016). Don't Be Tyrannized by Old Metrics. Harvard Business Review, September 23. (https://hbr.org/2016/09/dont-be-tyrannized-by-old-metrics — Access Date: z 30.11.2018). p

Zaostrovtsev, A. P. (2002). Economic Theory of Bureaucracy on Niskanen. Economic ^ School. Analytical Applications, 1(1), 148—180. (In Russian).

CH

o

o z o o

LU LL

o <

cc

3

o