CC BY
39
БИБЛИОСФЕРА, 2012, № 4, с. 3-7
Библиотековедение
УДК 027.2:001.8 ББК 78.002+78.347.4+72.5
ОЦЕНКА РЕЗУЛЬТАТИВНОСТИ ДЕЯТЕЛЬНОСТИ АКАДЕМИЧЕСКОЙ БИБЛИОТЕКИ НА ОСНОВЕ СИСТЕМЫ ИНДИКАТОРОВ
© И. А. Гузнер*, С. С. Гузнер**, 2012
Государственная публичная научно-техническая библиотека Сибирского отделения Российской академии наук 630200, г. Новосибирск, ул. Восход, 15
Сибирский государственный университет путей сообщения, 630049, г. Новосибирск, ул. Д. Ковальчук, 191
Анализируется современная методика оценки результативности деятельности организаций научно-технической информации и библиотек Российской академии наук.
Ключевые слова: научные библиотеки, результативность исследований, оценка научной деятельности.
The current method for assessing scientific activity and results of organizations in the field of scientific and technical information and libraries of the Russian Academy of Sciences is analyzed.
Key words: academic libraries, the impact of research, assessment of scientific activity.
В последние годы принят ряд нормативных документов, ориентированных на унификацию системы показателей и методики оценки результативности деятельности научных организаций: Постановление Правительства Российской Федерации (РФ) № 312 от 08 апреля 2009 г. «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения», утвердившее «Правила оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (далее - «Правила оценки результативности...»).
Приказ Министерства образования и науки (Минобрнауки) России № 406 от 14 октября 2010 г. «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».
Проведение такой аналитической работы вызвано необходимостью выработки критериев для объективной оценки деятельности научных организаций с целью последующего формирования
эффективной системы учреждений науки, позволяющей повысить их вклад в социально-экономическое развитие страны, и обоснованности принятия управленческих решений в этой сфере.
Основной принцип, предложенный в этих документах, - отнесение научного учреждения к соответствующей категории на основании сравнительной оценки показателей их результативности:
1 категория - научные организации-лидеры. Научная организация относится к этой категории в случае, если «перспективность ее тематики и показатели оценки ее деятельности соответствуют мировому уровню, либо она является в Российской Федерации лидером по большинству научных направлений, закрепленных за ней ее уставом, а также она располагает потенциалом для дальнейшего развития и улучшения своей деятельности» .
Президиумом РАН предусмотрено, что в том случае, если научная организация является лидером по единичным научным направлениям, закрепленным за ней ее уставом, может быть принято одно из следующих решений:
• с учетом уникальности научных направлений, по которым данная научная организация является лидером, отнести ее к 1 категории;
• отнести научную организацию к 1 категории,
назначив при этом срок внеочередной про-
2
верки результативности ее деятельности .
1 П. 12 «Правил оценки результативности.».
П. 4.3 «Временного регламента работы.».
2 категория - стабильные научные организации, демонстрирующие удовлетворительную результативность. Показатели результативности деятельности таких организаций оцениваются как удовлетворительные. Кроме того, они располагают потенциалом для развития и улучшения своей деятельности и вправе представить в Президиум РАН план развития и улучшения своей деятельности, согласованный с соответствующим отделением Академии, и ходатайство о внеочередной оценке
3
по итогам выполнения этого плана .
3 категория - научные организации, утратившие научный профиль и перспективы развития. Научная организация относится к данной категории в том случае, если она:
• располагает кадровыми, материально-техническими и иными ресурсами, но не показывает значимых научных результатов;
• не располагает кадровыми, материально-техническими и иными ресурсами для осуществления профильных видов деятельности.
Судьба организаций 3 категории весьма неопределенна: от замены руководителя и серьезной
4
реорганизации до ликвидации .
Отнесение к категориям осуществляется раз в 5 лет и приурочивается к комплексной проверке деятельности научной организации. Наряду с плановыми, возможны и внеочередные оценки результативности по инициативе научной организации или Президиума Российской академии наук, ее отделений.
Президиумом РАН разработан комплекс организационных мероприятий для практической реализации регламентирующих документов Правительства РФ и Минобрнауки РФ:
• утверждено Положение о Комиссии по оценке результативности деятельности научных организаций РАН (далее - Комиссия);
• сформирована Комиссия, в ее составе -13 подкомиссий по отраслям наук, территориальным отделениям и научным центрам;
• Комиссией развита и конкретизирована разработанная Минобрнауки России «Методика оценки результативности деятельности научных организаций Российской академии наук»;
• Президиумом РАН утвержден план проведения оценки результативности деятельности научных организаций РАН на 2011 и последующие годы;
• Институтом проблем развития науки РАН (ИПРАН), на который возложена ответственность за научно-организационное, информационно-аналитическое и научно-методическое обеспечение проведения оценки результативности деятельности научных орга-
3
П. 4.4 «Временного регламента работы...».
П. 17 «Правил оценки результативности.».
низаций РАН, разработана и внедрена автоматизированная система АСУ РИД, позволяющая выполнять необходимый комплекс работ по сбору, аналитической обработке и первичному анализу показателей и др.;
• созданы референтные группы, позволяющие классифицировать близкие по научному профилю организации в относительно сравнимые образования.
В конечном итоге весь этот комплекс организационных мероприятий направлен на масштабное внедрение системы показателей в качестве инструментария оценки результативности научных учреждений.
Следует отметить, что любая система показателей будет эффективным инструментом только тогда, когда она действительно отражает истинное положение дел учреждения, позволяет сравнивать себя с другими аналогичными структурами. В этом случае система показателей стимулирует научные организации к развитию, разработке стратегий, ориентированных на достижение максимальных результатов, реализации инновационной политики. Если же система формальна, «забюрократизирована» в негативном смысле, то вряд ли следует ожидать сколь-либо существенных положительных сдвигов: учреждения просто начнут приспосабливаться к ней.
Процесс внедрения системы показателей был достаточно сложным как с содержательной, так и с организационно-технической точки зрения. Не нужен глубокий анализ, дабы убедиться в том, что от момента принятия первых директивных документов в начале 2009 г. до практической реализации изложенных в них положений потребовалось более 2 лет. Такой срок обусловлен целым рядом причин:
• значительное количество показателей - 148;
• многие показатели нуждались в проведении специальной обработки (агрегирования и дезагрегирования по сравнению с показателями текущей отчетности) и дополнительных расчетов;
• несмотря на наличие методических пояснений по заполнению форм, сущность показателей часто воспринималась по-разному разработчиками системы и институтами (положение усложнялось и тем обстоятельством, что пояснения периодически уточнялись);
• отсутствие навыков работы с отечественными и зарубежными базами данных (БД): Российский индекс научного цитирования (РИНЦ), Web of Science (WoS) и др.;
• недостаточная обученность уполномоченных организациями лиц работе с системой АСУ РИД и периодический сбой в ее работе.
Процесс преодоления возникавших препятствий происходил по нескольким направлениям: от
резкого неприятия на первых этапах внедрения предложенного подхода в принципе (в связи с крайней сложностью количественной оценки эффективности результатов, прежде всего, фундаментальной науки) до выработки (на основе итерационного сближения позиций разработчиков и институтов) компромиссных решений по существу и механизмов использования предложенной системы индикаторов.
Всякое значимое мероприятие, связанное с необходимостью внедрения новых подходов, методов и механизмов имеет свои положительные и отрицательные стороны. В настоящее время по итогам деятельности организаций РАН за 2006-2010 гг. получены первые результаты внедрения системы оценки результативности.
К положительным результатам можно отнести появление БД, содержащей сведения об итогах оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, в рамках которой ГПНТБ СО РАН могла провести сравнительный анализ своей деятельности (через средний показатель) по отношению к другим академическим организациям, включенным в референтную группу «Научно-техническая информация, библиотеки»: Библиотека Академии наук, Библиотека по естественным наукам, Институт научной информации по общественным наукам, Всероссийский институт научной и технической информации, Центральная научная библиотека Уральского отделения РАН. В результате определились конкурентные позиции библиотеки, ее сильные и слабые стороны.
Представляется, что предложенная система показателей может служить достаточно объективной основой для самообследования и самооценки деятельности организации и принятия управленческих решений оперативного и стратегического характера.
С введением библиометрических показателей для оценки результативности научной деятельности организаций и отдельных ученых резко возрос спрос на отечественные и зарубежные БД: РИНЦ, WoS, Scopus и другие, что способствует популяризации зарубежных БД, активному развитию и совершенствованию отечественной - БД РИНЦ.
Включение в систему таких показателей, как «число публикаций в отечественных изданиях, включенных в перечень ВАК», «число публикаций в зарубежных научно-технических изданиях» заметно стимулирует исследователей на публикации в журналах из списка Всероссийской аттестационной комиссии (ВАК), в зарубежных журналах, журналах с высоким импакт-фактором.
Так, например, в ГПНТБ СО РАН за анализируемый период (2006-2010 гг.) число публикаций
в отечественных изданиях, включенных в перечень ВАК, в расчете на одного исследователя выросло в 1,9 раза. Сравнение среднего за период показателя с аналогичным по референтной группе показывает почти двукратное его превышение, что может трактоваться как сильная сторона библиотеки. Наряду с этим, по такому наукометрическому критерию, как импакт-фактор публикаций работников научной организации в WoS, средний показатель библиотеки составляет 70% от среднего по референтной группе, что намечает ориентиры для анализа качества и тематики публикаций исследований.
Стимулирующий характер внедрения системы может быть проиллюстрирован и динамикой других показателей. Число публикаций за отчетный период в расчете на одного исследователя возросло на 87% (среднегодовое значение этого показателя превышает среднее по референтной группе на 22,9%). Практически в 2 раза выросло число публикаций в изданиях РИНЦ (превышение среднего по референтной группе показателя составило 66,6%). Цитируемость работников ГПНТБ СО РАН в РИНЦ в расчете на 1 исследователя возросла за 5 лет с 0,75 до 1,75 (среднегодовое значение ци-тируемости превышает средний по референтной группе показатель на 77,8%).
Подготовка к внедрению системы показателей инициировала необходимость повышения как квалификации библиотечных работников научных учреждений СО РАН, так и исследователей. Специалистами ГПНТБ СО РАН проведены специальные обучающие семинары по использованию БД и информационного сервиса «Определение индекса цитируемости», размещенного на сайте библиотеки.
Можно привести еще целый ряд показателей, позволяющих адекватно отразить научную деятельность организаций.
В то же время механизм использования предложенной системы показателей при оценке результативности учреждений, в частности по референтной группе «Научно-техническая информация, библиотеки», имеет ограничения, не позволяет в полной мере учесть специфику отдельных организаций и получить полномасштабное представление об их деятельности: из всего набора (148 показателей) в качестве индикаторов выделено только 12 - важнейших, по мнению разработ-
5
чиков системы .
В число индикаторов не включены показатели, которые, на наш взгляд, наиболее ярко характеризуют научную деятельность и научный уровень организации. Так, один из важнейших показателей
5 В статье не анализируются показатели, характеризующие финансово-экономический и хозяйственный аспекты деятельности.
повышения научной квалификации кадров в качестве индикатора был представлен в усеченном виде: в нем отражены только кандидатские диссертации и вообще не упоминаются докторские. В то же время за отчетный период сотрудниками ГПНТБ СО РАН наряду с 8 кандидатскими защищены 3 докторских диссертации.
Следует отметить, что после первых результатов применения системы индикаторов, разработчиками внесены коррективы, направленные на совершенствование оценки. Для оценки деятельности научных учреждений за 2007-2011 гг. из ранее использовавшейся системы индикаторов при сохранении их общего числа - 12, исключены 5. Это, преимущественно, фактически непроверяемые, мало- или неинформативные показатели для референтной группы «Научно-техническая информация, библиотеки», например: «общее число участников всех проведенных организацией мероприятий в расчете на одного исследователя», «внутренние затраты на исследования и разработки за счет средств, полученных из иностранных источников в расчете на одного исследователя» (значение среднего по референтной группе показателя - 0) и др.
Включены 6 новых индикаторов и 1 модифицирован, что, на наш взгляд, способствует более объективному отражению состояния научной организации, в частности, «число публикаций работников научной организации отнесенное к численности исследователей», «число докторских и кандидатских диссертаций, защищенных работниками научной организации в отчетном году, отнесенные к численности исследователей» и др.
Тем не менее фактически вне оценки остаются такие важнейшие характеристики учреждения РАН, свидетельствующие о его признании в научной среде, как:
• количество научных направлений, разрабатываемых в рамках федеральных целевых программ (ГПНТБ СО РАН - 2,2, референтная группа - 1,25)6;
• число базовых кафедр, научно-образовательных центров и других научно-образовательных структур, созданных совместно с высшими учебными заведениями (ГПНТБ СО РАН - 4,8, референтная группа - 1,3);
• число диссертационных советов, действующих при научной организации (ГПНТБ СО РАН - 1, референтная группа - 0,4);
• наличие аспирантуры и докторантуры (численность аспирантов и докторантов, отнесенная к численности исследователей в ГПНТБ СО РАН, в среднем в год составила 22,68 чел., а по референтной группе - 8,04 чел.) и дру-
6 Здесь и далее приводятся средние показатели по ГПНТБ СО РАН и референтной группе соответственно.
гие показатели, которые могут выступать в качестве индикаторов.
Проиллюстрируем на примере ГПНТБ СО РАН, как приведенные упущения повлияют на общую картину научной деятельности библиотеки в случае, если оценка проводится исключительно на основе предложенных для анализа на 2006-2010 гг. индикаторов.
В этом случае вне оценки остаются виды деятельности, которые отражают диверсифицированный характер и специфику ее научной работы. Так, например, ГПНТБ СО РАН является учредителем научного журнала «Библиосфера», включенного в перечень ВАК; его тираж за отчетный период увеличился на треть.
В библиотеке существуют 2 признанные научные школы, обе - более 25 лет. В среднем в год в деятельности научных школ участвует 48,6 чел., в том числе 17,2 чел. в возрасте до 39 лет.
При ГПНТБ СО РАН с 1996 г. действует единственный в Сибири и на Дальнем Востоке диссертационный совет по специальности 05.25.03 «Библиотековедение, библиографоведение и книговедение»; функционируют аспирантура и докторантура, кроме того ГПНТБ СО РАН имеет 2 базовые кафедры в Новосибирском государственном университете (НГУ) и Новосибирском государственном педагогическом университете, а также научно-образовательный центр совместно с НГУ, доля работников, ведущих преподавательскую деятельность - 13,85% (по референтной группе 4,92%).
Судя по средним показателям, другие научные учреждения референтной группы «Научно-техническая информация, библиотеки» также обладают экслюзивными на настоящий момент видами деятельности, например, по охране интеллектуальной собственности.
В некоторых случаях четкое исполнение инструкций по заполнению таблиц может привести к заметным искажениям показателей: их количественное значение не отражает реального состояния оцениваемого фактора.
Так, в соответствии с инструктивными материалами, для исчисления ряда показателей обязательным является использование форм федерального государственного статистического наблюдения № 2-наука, в частности, данные относительно штатной численности организации и количества штатных исследователей. Однако содержание данных показателей в форме № 2-наука и аналогичных, используемых при расчете показателей эффективности деятельности организации, не совпадают.
Если в форме № 2-наука численность исследователей трактуется как «списочная численность работников в структурных подразделениях, выполнявших исследования и разработки» (для организаций, занимающихся наряду с научно-исследо-
вательской и другими видами деятельности), то для расчетов эффективности должны указываться «штатные исследователи», которые в нашем случае не могут быть получены из формы № 2-наука, как того требуют разработчики системы (такой подход справедлив для организаций, основная деятельность которых - научные исследования).
Например, доля высококвалифицированных специалистов (кандидатов и докторов наук) в общем числе штатных исследователей по методике оценки результативности в ГПНТБ СО РАН в 2010 г. составила 30%, в то время как реально - 70%, соответственно количество монографий, отнесенное к списочной численности исследователей - 0,15, а к штатной - 0,9 (т. е. различаются в 1,7 раза). Аналогичным искажениям подвержены и другие показатели, относимые на число исследователей.
Выполненный анализ позволяет утверждать: несмотря на то, что предложенный подход к оценке эффективности результатов деятельности научных организаций является несомненным продвижением на пути решения этой важной во многих аспектах проблемы, объективно оценить эффективность деятельности организации только на основе системы индикаторов (а уж тем более отнести ее к той или иной категории и на этой базе распределять государственный заказ) весьма затруднительно. Представляется, что система индикаторов (при ее сохранении) нуждается в дальнейшей доработке. Альтернативный подход возможен за счет введения шкалы весовых коэффициентов значений отдельных групп показателей из общего перечня применительно к референтной группе, что собственно и предусматривалось временным регламентом.
Материал поступил в редакцию 31.08.2012 г.
Сведения от авторах: Гузнер Ирина Александровна - кандидат исторических наук, ученый секретарь, тел./факс: (383) 266-25-85, e-mail: [email protected], Гузнер Сало Семенович - кандидат экономических наук, профессор, тел./факс: (383) 328-03-95, e-mail: [email protected]
