CC BY
7Реформирование научной сферы
РАЗРАБОТКА СИСТЕМЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ НАУЧНЫХ ОРГАНИЗАЦИЙ КАК ПРОДОЛЖЕНИЕ БЫСТРЫХ РЕФОРМ
Ирина ДЕЖИНА, д-р экон. наук
Составной частью реформы научного комплекса страны является разрабатываемая система оценки результативности деятельности научных организаций. Принципы и критерии оценки были определены Постановлением Правительства РФ в ноябре 2013 г., а мнение руководителей научных институтов Федеральное агентство научных организаций выясняло в апреле-мае 2014 г. Это вызвало новую волну обсуждений параметров проведения оценки. Анализ основных направлений дискуссии показал, что вопрос о целях, оценивания обойден вниманием.
В апреле-мае 2014 г. активизировалась работа по определению принципов и разработке регламентов проведения оценки эффективности деятельности научных организаций. Ее необходимость и основные правила проведения отражены в Постановлении Правительства РФ № 979 от 1 ноября 2013 г. «О внесении изменений в Постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312»1. Принципы проведения оценки, согласно Постановлению, состоят в следующем:
• вневедомственный характер оценки;
• объединение научных организаций в референтные группы независимо от их ведомственной принадлежности с учетом областей научных знаний и видов проводимых научных исследований;
• использование показателей, применяемых для оценки результативности деятельности научных организаций в экономически развитых странах2.
Еще в начале текущего года предполагалось, что регламенты проведения оценки будут уточняться и корректироваться с учетом мнения научной общественности и, в частности, директоров институтов РАН. Все это время в инициативном порядке ученые предлагали изменения процедур оценки. Однако только на второй конференции научных работников РАН, которая состоялась 25 марта 2014 г., руководитель Федерального агентства научных организаций (ФАНО) М. Котюков подтвердил, что к разработке оценки будут привлекаться сотрудники РАН3.
После этого, 16 апреля 2014 г., ФАНО направило руководителям научных организаций письмо с просьбой дать свои комментарии по разным параметрам оценки в срок до 25 апреля, т.е. фактически в течение 10 дней. Это вызвало очередную волну критики в адрес правительства. Такая реакция была обусловлена не только тем, что на обсуждение серьезного вопроса отводилось слишком мало времени. В письме ФАНО содержалась просьба дать комментарии не просто по показателям или регламентам, но по основополагающим принципам проведения оценки.
1 1лИр://ргато^.ш:8080/раде^рх?67047
2 Подробнее об этих параметрах см.: Состояние науки и инноваций // Российская экономика в 2013 году. Тенденции и перспективы. Вып. 35. — М.: Институт экономической политики им. Е.Т. Гайдара, 2014. С. 367—369.
3 ФАНО привлечет сотрудников РАН к разработке системы оценки эффективности институтов. РИА Новости, 25.03.2014: http://ria.ru/science/20140325/1000989328.html
Таким образом, ФАНО как будто заново начало всю работу, намереваясь провести ее в рекордно короткие сроки. Ведомство интересовали, в том числе, следующие вопросы:
• частота проведения оценки;
• целесообразность использования только количественных показателей или обязательность их сочетания с экспертной оценкой;
• целесообразность проведения оценки эффективности не только научных организаций, но и научных коллективов;
• принципы формирования экспертных комиссий4.
По имеющемуся плану правительства разработка процедур оценки должна быть завершена к 1 июля 2014 г.5, т.е. времени на обработку и обобщение ответов и принятие окончательного решения у ФАНО будет слишком мало с учетом того, что даже однопрофильные институты могут придерживаться разных точек зрения. Заданные темпы принятия решений вызывают в памяти особенности проведения реорганизации трех государственных академий -быстро, без обсуждения и без оценки последствий. Теперь похожее управленческое поведение перенесено на разработку процедур оценки эффективности институтов.
Со стороны научного сообщества основная критика разработанного правительством проекта оценки была направлена на то, что ее предполагается проводить на уровне организаций, а не лабораторий, используя принцип разделения на референтные группы, а также при опоре на библиометрические показатели, ограничения которых хорошо известны. Ученые фактически единодушны в том, что оценка на уровне институтов будет приводить к искажениям, тем более что в стране немало мультидисциплинарных институтов, а также институтов с уникальной специализацией, кор-
ректно оценить которые при выбранном подходе практически невозможно. Процедуры проведения оценки и выбора экспертов также обсуждались, включая вопросы приглашения международных экспертов. Мнения разделились при некотором преобладании тех, кто против зарубежной экспертизы.
В отношении референтных групп единого мнения также не было. Одни считали, что референтные группы - это подход, применение которого дает формальное основание для закрытия институтов, в том числе необязательно неэффективных. Другие полагали, что референтные группы важны, но на их основе следует сравнивать лаборатории, а не институты. По мнению многих участников обсуждения, подразделения институтов не должны закрываться, а результаты оценки могут подсказать, как слабые подразделения развить и поддержать. Однако даже и сравнение по библио-метрическим показателям на уровне лабораторий может давать преимущества тем, кто работает по более популярным темам, и где, соответственно, цитирований больше.
Аргументация в пользу неадекватности преимущественного использования библио-метрических показателей подкреплялась выдержками из зарубежного опыта. Особенно популярным стал опыт Великобритании, где недавно правительство ввело новые методы оценки научных достижений (Research Excellence Framework)6.
Действительно, эта инициатива обсуждалась в течение нескольких лет, она тщательно продумана, для различных областей наук введены собственные измерители результатов и регламенты проведения оценки. Ключевыми в принятой системе являются проведение оценки на уровне департаментов и лабораторий и признание вто-ричности библиометрических данных.
4 Письмо руководителям научных организаций ФАНО России от 10.04.2014 г. № 007-181-07.
5 Второе письмо академика Алексея Паршина об экспертизе научных организаций ФАНО от 27.04.2014 г.: http:// www.saveras.ru/archives/9059
6 Research Excellence Framework 2014. Panel Criteria and Working Methods: http://www.ref.ac.uk/media/ref/content/pub/ panelcriteriaandworkingmethods/01_12.pdf
РАЗРАБОТКА СИСТЕМЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ НАУЧНЫХ ОРГАНИЗАЦИЙ
Более того, импакт-факторы журналов не принимаются во внимание, равно как и общее число публикаций оцениваемых научных коллективов. Библиометрия может использоваться только для подкрепления и уточнения экспертных оценок. Эксперты, в свою очередь, оценивают публикации научных лабораторий (групп) на примере четырех лучших публикаций коллектива за последние пять лет. Для оценки результатов исследований в общественных и гуманитарных науках (за исключением экономики и эконометрики) данные цитирования и другие типы библиометрическо-го анализа не используются. Для экономики и эконометрики доступные сведения о цитировании публикаций при необходимости принимаются во внимание как дополнительная информация, а отсутствие данных о цитировании конкретного исследования не сказывается на его оценке.
Наконец, что очень важно - для чего и вводится эта система: результаты оценивания используются для перераспределения финансирования между административными структурами и для определения числа дополнительных ставок, которые можно выделить тем или иным подразделениям.
Британский опыт действительно выглядит убедительно, он прошел пилотную апробацию, и российское правительство, анонсировавшее опору на методы оценки «результативности деятельности научных организаций в экономически развитых странах», могло бы принять его во внимание. Он тем более актуален, что в отличие от Великобритании, где радикальных реформ в науке не происходит и потому дискуссии об усовершенствованиях могут быть длительными, в российской ситуации нет возможности годами обсуждать планы правительства.
Консолидированное мнение активной научной общественности нашло отражение в письме Совета Общества научных работников
председателю Правительства РФ «Об оценке эффективности научных организаций»7. В нем сказано, что «основным объектом оценки должны стать не институты в целом, а лаборатории и научные группы. Причем оценка должна в основе своей быть экспертной, а не сводиться к численным показателям результативности. Разделение научных организаций на три категории (лидеров, стабильных и утративших перспективы развития) на основании численных показателей нельзя признать допустимым». В связи с этим «необходимо безотлагательно скорректировать Постановление № 979».
Таким образом, акцент здесь сделан на том, чтобы без спешки пересмотреть ключевые подходы, поскольку быстрые процедуры, предусмотренные ФАНО, могут привести к непоправимым ошибкам.
22 мая 2014 г. прошла экспертная сессия, на которой руководители бывших академических институтов попытались выработать общую позицию по данной теме. Итоги заседания подтвердили, что достичь консенсуса даже внутри научного сообщества непросто. Фактически не было найдено одобряемого большинством решения в отношении разбиения организаций на референтные группы, а также статуса экспертов и способов их отбора. В качестве позитивного результата можно отметить внесение в проект резолюции положений о том, что оценка должна проводиться на основе экспертных заключений (с учетом наукометрических показателей), а институты - сами отбирать те сведения, которые затем предоставляются экспертам.
Вместе с тем со стороны правительства не было заявлено - и это практически не обсуждалось - для чего проводится оценка. Цели могут быть разными, и от этого будут зависеть и принципы оценивания. Так, оценка может проводиться для оптимизации численности сотрудников, количества организаций и институтов путем сокращения части из них. В этом
7 Письмо Совета ОНР председателю Правительства РФ «Об оценке эффективности научных организаций» от 28.04.2014 г.: http://www.saveras.ru/archives/9102
случае должны быть представлены какие-то ориентиры такого сокращения.
Например, они были ясно обозначены, когда в РАН на три года была введена система «ПРНД» (показатели результативности научной деятельности). В соответствии с ней всем институтам было предписано в течение трех лет на 20% сократить численность научных кадров независимо от результативности работы институтов. Это отслеживалось, оптимизация произошла, заработная плата за счет этого несколько выросла, и таким образом четко сформулированная цель была достигнута (здесь мы не обсуждаем, была ли она разумной).
Таким образом, если цель предложения -оптимизация сети научных организаций, подведомственных ФАНО, то должны быть заданы хотя бы приблизительные ее ориентиры -например, «сократить число научных работников не более (не менее) чем на х%».
Для этого следовало бы провести первичную оценку, задав скромную планку требований, с тем чтобы понять, какими могут быть масштабы сокращений. Например, можно было бы оценить, сколько научных работников за последние пять лет опубликовали менее пяти статей в журналах из списка ВАК. Это дало бы исходный, очень приблизительный ориентир.
Если же цель - более эффективное распределение финансовых средств, объедине-
ние однопрофильных институтов и другие подобные действия, то в этом случае подход уже должен быть иным - с оценкой на уровне лабораторий, в рамках направлений исследований.
Первым шагом здесь могло бы стать предварительное обсуждение на базе групп, формируемых из представителей родственных по направлениям работы институтов, для выработки консолидированного мнения по принципам оценки в соответствующих областях исследований. Следует подчеркнуть, что оцениваемой единицей должен быть не институт и даже не структурное подразделение, а именно направление исследований.
Степень детализации области исследований может быть разной. Так, в случае примерного оценивания масштабов «балласта» возможно укрупненное разделение по областям знаний. Если цель - оптимизировать существующую систему, не планируя в обязательном порядке сокращать число институтов, то разделение на области исследований должно быть более детальным, учитывающим в том числе новые направления исследований.
Наконец, поскольку годовой мораторий на сделки с имуществом академического комплекса и кадровые изменения закончится в 2014 г., то подготовку предложений по оценке и их утверждение важно было бы провести в оставшиеся полгода. ■
