Разработка системы критериев и методических подходов к экспертной оценке эффективности деятельности научных организаций Текст научной статьи по специальности «Науки об образовании»

УДК 338.23

разработка системы критериев

и методических подходов

к экспертной оценке эффективности

деятельности научных организаций*

с. В. ПРОНИЧКИН, кандидат технических наук, старший научный сотрудник E-mail: pronichkin@mail. ru Институт системного анализа РАН И. П. ТИХОНОВ, кандидат технических наук, ведущий научный сотрудник E-mail: 8tat@mail. ru Институт химической физики РАН

В статье представлены результаты сравнительного анализа существующих подходов к оценке эффективности деятельности научных организаций в России и за рубежом. Для оценки эффективности деятельности научных организаций предложено использовать вербальные экспертные методы, которые не требуют проведения громоздких и трудоемких вычислений множества числовых показателей и весовых коэффициентов, основываются на предлагаемой оригинальной системе качественных критериев.

Ключевые слова: критерий, вербальный анализ решений, экспертиза, компетентность.

Экономика современных промышленно развитых стран все в большей степени основывается на знаниях, которые воплощаются в результатах научно-технической деятельности. Одним из главных источников развития научно-технического комплекса России, его реструктуризации, модернизации и устойчивого подъема при переходе к инновационному типу развития являются результаты фунда-

* Статья подготовлена при поддержке РФФИ (проект № 12-07-00509).

ментальных исследований. Большинство государственных инвестиций в исследования и разработки фундаментального характера имеют своей целью содействие расширению фундаментальной базы знаний. Оценка эффективности деятельности научных организаций позволит различным федеральным органам более эффективно разрабатывать политику развития научного комплекса России [7].

Анализ опыта деятельности научных организаций зарубежных стран показал, что можно выделить два подхода к оценке эффективности их деятельности, которые лучше рассмотреть на примере. Обратимся сначала к опыту Европы (выделим Великобританию), а затем рассмотрим опыт России.

Фундаментальными исследованиями в Великобритании занимаются так называемые классические университеты. Оценка их деятельности осуществляется регулярно, раз в три года университет направляет на экспертизу отчет, в котором указывает наиболее значимые результаты своей деятельности. Отчет поступает на экспертизу (peer review), которая является анонимной с двух сторон (double blind). В качестве экспертов выступают ведущие

- 13

специалисты от бизнес-сообщества и ученые из образовательных учреждений.

Научная деятельность в Великобритании оценивается по полученным результатам с использованием всего трех критериев [10]:

1) новизна, значимость и глубина проработки;

2) масштабность результата исследования;

3) конкурентоспособность.

Каждый из критериев имеет пять градаций оценок. Каждая градация имеет словесное описание применительно к конкретной сфере научного знания (например, физика, химия, социология). Всего выделено 36 областей научного знания.

Критерию сопоставлен коэффициент его важности: 1 — 0,65; 2 — 0,2; 3 — 0,15.

Градации шкалы критерия сопоставлены баллы: 0, 1, 2, 3, 4, 5.

Подход к оценке результатов научной деятельности в Великобритании основывается исключительно на экспертных количественных оценках.

Рассмотрим российский опыт. Согласно официально принятой типовой методике, утвержденной приказом Министерства образования и науки РФ от 14.10.2009 №№ 406, оценка результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, проводится на основе анализа и сопоставления показателей результативности их деятельности [8]. Оценка проводится ежегодно, причем установлены шесть основных направлений оценки, по каждому из них выбраны несколько критериев и соответствующих количественных показателей:

1) научный потенциал и эффективность научных исследований;

2) вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;

3) коммерциализация и прикладное значение результатов исследований;

4) кадровая обеспеченность научной организации;

5) ресурсная обеспеченность научной организации;

6) состояние финансовой деятельности научной организации.

Предусматривается также, что возможна одновременная оценка группы научных организаций, имеющих сходные цели, работающих в одной области науки или осуществляющих деятельность в

сходных условиях (референтные группы). Однако отсутствуют ясные правила формирования референтных групп, в типовой методике указывается, что референтые группы формируются по мере необходимости. В референтной группе организации сравниваются по общим для всех организаций показателям.

В указанные шесть групп критериев включаются исключительно количественные «измеримые» показатели, а именно: удельный вес внутренних затрат на исследования и разработки в общем объеме выполненных научной организацией работ; число публикаций работников научной организации, индексируемых в базе данных Web of Science; число охраняемых объектов интеллектуальной собственности.

Подход к оценке результатов научной деятельности в России основывается исключительно на количественных показателях.

Отметим ключевые методологические отличия официального подхода к оценке деятельности научных организаций, принятого в России, по сравнению с подходом, принятым в Великобритании.

В России не учитывается длительность цикла производства фундаментального научного результата. Если взять такие области знания, как физику, химию, биологию, то длительность цикла научного исследования и соответственно публикация его результатов, как правило, занимает гораздо больше времени, чем для гуманитарных наук (например экономики). Таким образом, классифицировать и ранжировать научные организации разных профилей по числу публикаций просто нецелесообразно, поскольку они практически несравнимы.

Отличительной особенностью подхода в России является большое количество показателей оценки — 48. Такое количество показателей создает известные трудности по их сбору, обработке и анализу, причем предопределяет невозможность выделить главное. Видимо, кто-то основывается на вере в то, что с помощью большого числа показателей в науке можно что-то точнее охарактеризовать. Однако получается, что «вместе с водой выплескиваем и ребенка»: хотели как лучше, а получается как всегда. Обстоятельная критика такого подхода, применяемого в настоящее время для оценки высших учебных заведений категории «национальный исследовательский университет», представлена в работе С. В. Проничкина, В. И. Круглова, В. П. Соловьева, А. И. Кочетова [4].

В работе А. Ф. Яковлева [9] справедливо отмечено, что ряд показателей типовой методики не могут быть применены при оценке социогумани-тарных исследований: патентные исследования, коммерциализация результатов и взаимодействие с реальным сектором экономики. Эти показатели должны быть заменены на другие, релевантные гуманитарным исследованиям.

Важно отметить, что системы оценки в России и Великобритании не разделяют науку на фундаментальную и прикладную. Если это фундаментальная наука, то нужно оценивать качество фундаментальных результатов, практическое использование которых часто трудно представить. А если это прикладные исследования, то надо оценивать те практические результаты, которые получены.

Ключевым недостатком подходов как в России, так и в Великобритании является то, что и те и другие используют так называемый количественный подход, основанный на числовом измерении показателей, которыми характеризуются объекты. Однако, несмотря на кажущуюся простоту и очевидность, количественный подход мало пригоден для работы с качественными характеристиками, ведь он содержит целый ряд методологических дефектов. Укажем наиболее важные из этих дефектов.

Практически невозможно априори назначить количественные шкалы оценок, сопоставив качественным факторам какие-либо числа так, чтобы они «правильно» и «объективно» выражали плохо формализуемые свойства научно-технических результатов и одинаково понимались разными людьми.

При этом не существует никакой содержательной аргументации в пользу выбора той или иной градации шкалы числовых оценок (например, использование шкалы с градациями 1—2—3, 1—3—5—7—9 или др.). Более того, как было убедительно показано, использование порядковых шкал, имеющих разные числовые шкалы, даже по одним и тем же критериям может привести к совершенно разным итоговым упорядочениям и разбиениям на классы исходной совокупности объектов. Тем самым, задавая произвольные градации оценок на шкалах, можно получить любую наперед заданную ранжировку и любую классификацию многопризнаковых объектов.

Наконец, при использовании шкал числовых оценок появляется искушение сформулировать один «простой» и «понятный» итоговый показатель, агрегирующий частные оценки (который

обычно задается в виде суммы, взвешенной суммы или некоторой усредненной оценки), по величине которого и проводится сравнение объектов. В этом случае происходит смешение разнородных показателей, важных и неважных факторов, оценок разных экспертов, что делает невозможным выделение наиболее значимых для выбора показателей, увеличивает возможность присвоения содержательно незначительным результатам научных организаций достаточно высоких итоговых оценок.

Предлагаемые в существующих методиках многочисленные числовые коэффициенты, получаемые, как правило, экспертным путем, а также огромный спектр оцениваемых параметров не только значительно усложняют процесс мониторинга и вычисления интегральной оценки, но и затрудняют объяснение вычисленных значений оценки. Поэтому достоверность получаемых результатов не может считаться достаточной для принятия решений о финансировании исследований за счет средств федерального бюджета.

Практика мониторинга деятельности научных учреждений, выполняющих фундаментальные и прикладные исследования, требует достаточно простой, понятной и недорогой в использовании методологии оценки эффективности их деятельности.

Анализ числовых показателей, используемых в типовой методике, позволяет определить состояние отдельных направлений деятельности научной организации, выделить ее «сильные и слабые стороны». Гораздо сложнее при таком подходе провести сравнительный анализ нескольких организаций. На сегодняшний день задача разработки адекватного методического подхода к определению обобщенных итоговых показателей для сравнительного анализа эффективности научных организаций по существу остается актуальной.

Эффективность деятельности научной организации (эффективность ее результатов) наиболее адекватно можно характеризовать исключительно разнообразными качественными показателями. При этом требуемая информация о разных аспектах результата деятельности научной организации может быть получена, главным образом, по результатам экспертизы.

В исследованиях А. Б. Петровского, Г. В. Рой-зензона, И. П. Тихонова, А. В. Балышева, Э. Н. Яковлева [2] для оценки деятельности научных организаций используется разработанная специалистами

экспертно-аналитического центра Минобрнауки России и Института системного анализа РАН система из 11 качественных критериев, объединенных в две группы: 1) оценки научной деятельности (НД); 2) оценки финансово-экономической деятельности. Группа оценки НД включает пять критериев:

1) уровень научных результатов;

2) признание научных результатов;

3) квалификация научных кадров;

4) возраст научных работников;

5) степень обновления научного оборудования.

Среди этих критериев важнейшим является

первый — «Уровень научных результатов», ведь именно результаты, собственно научная продукция, являются первоосновой при оценке эффективности научных организаций. Поэтому применительно именно к этому критерию рассмотрим далее возможности применения адекватных методов оценки.

В данной работе предлагается новый подход к многокритериальной экспертной оценке и анализу эффективности деятельности научных организаций. Предлагаемая методология основывается на групповом упорядочивании многопризнаковых объектов с использованием оригинальных методов вербального (качественного) анализа решений [1, 5].

Вербальный анализ решений представляет собой относительно новый подход в теории и практике многокритериальной оценки и сравнения альтернатив. Он разрабатывается в течение многих лет в Институте системного анализа РАН сначала под руководством академика РАН О. И. Ларичева, а затем доктора технических наук А. Б. Петровского, причем успешно применяется при решении различных задач. Особенностью этих задач является описание рассматриваемых объектов (вариантов, альтернатив) при помощи многих признаков как количественных, так и качественных (последние играют не меньшую роль, чем первые). Степень достижения требуемого значения показателя качества измеряется многими критериями с вербальными шкалами.

В развитие упомянутых исследований [2] для более детальной оценки результатов научных организаций в рамках критерия «Уровень научных результатов» была разработана система, состоящая из семи качественных критериев:

1) характер результата:

— теоретический результат;

— экспериментальный результат, имеющий материальное воплощение и направленный на

создание и совершенствование промышленных технологий и продукции;

— информационный результат, не имеющий материального воплощения и направленный на создание и совершенствование социальных технологий;

— результат опытно-конструкторской разработки;

— тестирование, испытание, апробация;

2) вид результата:

— автоматизированный комплекс;

— автоматизированная система;

— агрегат;

— алгоритм;

— аппарат;

— база данных;

— другие виды;

3) вклад результата в решение основных задач научной организации:

— результат вносит существенный вклад в решение основных задач научной организации;

— результат вносит определенный вклад в решение основных задач научной организации;

— результат вносит некоторый вклад в решение основных задач научной организации;

— результат не влияет на решение основных задач научной организации;

4) вклад результата в решение социальных проблем:

— создание условий для повышения качества жизни;

— повышение уровня образованности и информированности населения;

5) востребованность результата:

— актуальность результата;

— уровень научно-технической значимости результата;

— уровень конкурентоспособности результата;

— возможный спрос на результат;

— возможная сфера использования результата;

— возможный масштаб применения результата;

6) практическая реализуемость результата:

— степень проработки результата;

— возможность тиражирования результата;

— уровень правовой охраны результата;

— возможные сроки практической реализации результата;

7) готовность потребителей к освоению результата:

— готовность производственной базы к освоению результата;

— готовность производственного персонала к освоению результата;

— готовность системы материально-технического обеспечения к освоению результата;

— наличие финансовых средств для освоения результата;

— наличие опыта освоения результата.

Первые два критерия классифицируют результаты по характеру и виду. Третий критерий учитывает непосредственный вклад результата в решение основных задач научной организации. Четвертый критерий дает оценку вклада результата научной организации в решение социальных проблем. Пятый критерий позволяет получить оценку востребованности результата научной организации.

Возможность практической реализации результата научной организации служит основой научно-технического прогресса [3]. Для оценки практической значимости результата предназначены шестой и седьмой критерии.

Критерии с четвертого по седьмой включают в себя подкритерии, их характеризующие.

Для каждого критерия (подкритерия) была разработана вербальная шкала с небольшим числом градаций, обеспечивающих ясную различимость оценок. Например, шкала подкритерия «Актуальность результата» имеет такой вид:

— требуется безотлагательное применение результата;

— результат потребуется в ближайшее время;

— результат потребуется в отдаленной перспективе;

— оценить неотложность применения результата затруднительно.

Для организации и проведения экспертизы результатов научных организаций разработаны методические рекомендации, в которых нашли отражение следующие ключевые моменты:

1) общие положения;

2) цели, задачи и принципы экспертизы;

3) объекты и субъекты экспертизы;

4) порядок проведения экспертизы;

5) нормативно-методическое обеспечение экспертизы;

6) организационно-техническое и финансовое обеспечение экспертизы.

Объектами экспертизы служат результаты научных организаций. Для инвентаризации и анали-тико-информационного представления результатов создается специализированный реестр, который

обеспечивает автоматизированный поиск требуемых данных по критериям оценки результатов, другим ключевым показателям и индикаторам. Организационно-методическое обеспечение, предназначенное для построения и ведения реестра результатов научных организаций, предусматривает реализацию следующих положений:

1) цели и основные принципы создания и функционирования реестра;

2) структура реестра;

3) права и обязанности держателя реестра;

4) пользователи реестра и их взаимоотношение с держателем реестра;

5) ликвидация реестра.

Субъектами экспертизы выступают эксперты — известные ученые и специалисты, работающие в институтах РАН, высших учебных заведениях, отраслевых научных организациях. Отбор экспертов представляет собой достаточно сложную задачу, от решения которой в значительной мере зависит эффективность использования методов сбора и обработки суждений экспертов и, в конечном итоге, качество экспертизы в целом и корректность решений, принимаемых на базе экспертных заключений.

Определенную помощь при отборе экспертов может оказать сопоставление кандидатов в эксперты по индивидуальным качествам, которыми должен обладать, по мнению психологов и специалистов по проведению экспертиз, «идеальный» эксперт [6]. При формировании реестра экспертов целесообразно учитывать их компетентность, которую можно оценить, например, по следующим показателям:

1) профиль и уровень образования;

2) связь профиля профессиональной деятельности с областью экспертизы;

3) опыт и стаж работы по профилю;

4) характер и уровень проблем, рассмотренных ранее экспертом, выполненных экспертиз, сбывшихся прогнозов.

Процедура экспертизы результатов научных организаций предусматривает индивидуальную работу экспертов по многокритериальной оценке результатов и анализ итогов экспертизы по различным критериям.

В целях повышения обоснованности экспертной оценки каждый результат независимо оценивается несколькими (не менее чем двумя) экспертами. Эксперт изучает представленный ему объект экспертизы, оценивает полученный научный результат по критериям, приведенным в экспертной анкете, а также

дает свое письменное агрегированное заключение о значимости результата, которое служит основой для подготовки обобщенного экспертного заключения. Результатами индивидуальной экспертизы являются многокритериальная экспертная оценка научного результата и письменное экспертное заключение.

Формализацию понятия «эффективность деятельности научной организации» предлагается рассматривать как задачу классификации многопризнаковых объектов, где объектами служат различные комбинации вербальных оценок результата организации по приведенным выше критериям, а классами решений являются различные градации интегрального критерия «Эффективность деятельности научной организации». Градации порядковой шкалы интегрального (комплексного) критерия эффективности деятельности организации определяют агрегированные упорядоченные оценки результата по критериям, которые характеризуют деятельность как высокоэффективную, эффективную или низкоэффективную.

Ранжирование результатов научных организаций предлагается осуществлять, используя метод группового упорядочения объектов АРАМИС (агрегирование и ранжирование альтернатив относительно многопризнаковых идеальных ситуаций) [5]. Метод основан на расчете близости объекта к идеальному объекту, имеющему наилучшие/наихудшие оценки по всем критериям, данными всеми экспертами. Преимущество метода АРАМИС заключается в том, что он позволяет ранжировать объекты, которые оценены несколькими экспертами по многим качественным критериям, без построения индивидуальных ранжировок, причем исключает необоснованную трансформацию исходной вербальной информации в числовую форму.

В заключение следует отметить, что предлагаемые методические подходы и система критериев представляют собой прозрачный механизм оценки деятельности научных организаций по их результатам. Методические подходы не требуют проведения громоздких и трудоемких вычислений сотен числовых показателей и весовых коэффициентов. Данная работа будет продолжена в дальнейшем в направлении детализации остальных критериев оценки результатов деятельности научных организаций.

Список литературы

1. Ларичев О. И. Вербальный анализ решений / под ред. А. Б. Петровского. М.: Наука, 2006.

2. Многокритериальный анализ деятельности научных организаций / А. Б. Петровский, Г. В. Рой-зензон, И. П. Тихонов, А. В. Балышев, Э. Н. Яковлев // XIII Национальная конференция по искусственному интеллекту с международным участием (КИИ-2012). Труды конференции. Т. 3. Белгород: Изд-во БГТУ. 2012. С. 64—71.

3. Неволин И. В., Хрусталёв О. Е., Хрус-талёв Ю. Е. Методология оценки финансовой значимости и реализуемости инновационных проектов создания интеллектуальной продукции // Финансовая аналитика: проблемы и решения. 2013. № 11 (149). С. 39—45.

4. Проничкин С. В., Круглов В. И., Соловьев В. П., Кочетов А. И. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет» // Высшее образование сегодня. 2010. № 7. С. 6—16.

5. Петровский А. Б. Теория принятия решений. М.: Изд. центр «Академия», 2009.

6. Проничкин С. В. Разработка компетентнос-тной модели эксперта для независимой оценки образовательной деятельности вузов // Сб. мат-лов Международной межвузовской и институтской научно-технической конференции «64-е дни науки студентов МИСиС», 14—21.04.2009, ГТУ ВПО «Московский институт стали и сплавов «МИСиС». М.: МИСиС, 2009. С. 399—400.

7. Рощин А. В., Тихонов И. П., Проничкин С. В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21 (324). С. 10—18.

8. Типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения: утверждена приказом Министерства образования и науки РФ от 14.10.2009 № 406.

9. Яковлева А. Ф. Об основных подходах к оценке результативности научных исследований в России // Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований / Ин-т философии РАН; сост. и отв. ред. А. В. Рубцов. М. : ИФРАН, 2012. С. 144-156.

10. Higher Education Funding Council for England, Research Assessment Exercise 2014 «Assessment criteria and level definitions». Bristol: HEFCE, 2013.