CC BY
62
ИННОВАЦИИ № 12 (158), 2011
Оценка и самооценка научной организации
В третьей части статьи описана система оценки результативности научных организаций Российской академии наук.
Ключевые слова: оценка, самооценка, научная организация.
Часть 3
В первой части статьи уже упоминалось постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312 «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». Согласно этому постановлению по результатам оценки результативности научные организации должны быть разделены на три категории: научные организации-лидеры, стабильные научные организации, демонстрирующие удовлетворительную результативность и, наконец, научные организации, утратившие научный профиль и перспективы развития. Имелась в виду последующая ликвидация организаций, получивших третью категорию.
Настало время рассказать о том, как Институт проблем развития науки РАН реализовал принципы, методы и модели оценки, изложенные в первых двух частях, на практике в Российской академии наук.
Начну с того, какие ключевые, с точки зрения автора, моменты можно извлечь из постановления Правительства. Во-первых, впервые в российской практике постановление устанавливает определенную обязанность учредителя и регламентирует периодичность оценки результативности: каждый учредитель1 должен периодически, а именно раз в пять лет, оценивать подведомственные научные организации.
Можно согласиться с тем, что по истечении десяти лет нищенского и десяти лет полунищенского состояния науки следует, наконец, разобраться, кто сумел выжить и в каком он сейчас состоянии. Данный принцип можно считать положительным.
Второе. Безусловно правилен принцип одновременной оценки научных организаций, имеющих сходные цели или работающих в сходных условиях. Группы таких организаций в постановлении предложено именовать референтными группами.
1 О том, как трактовать слово «учредитель» применительно к существующим министерствам и ведомствам, упоминалось в первой части статьи.
А. С. Кулагин,
д. э. н., гл. н. с. Института проблем развития науки РАН (ИПРАН РАН), академик РАЕН,
ученый секретарь Комиссии по оценке результативности деятельности научных организаций РАН e-mail: andrkulagin@yandex.ru
Однако трактовка этого принципа как в постановлении Правительства, так и в документах Минобрнауки, с точки зрения автора, не корректна. Под организациями со сходными целями понимаются, например, институты, занимающиеся фундаментальными исследованиями.
Не ясно, как трактовать принцип референтной группы в такой плоскости применительно к тем институтам, где значительна доля как фундаментальных, так и прикладных исследований. Но даже если говорить об институтах с чисто фундаментальной «окраской», то очевидно, что референтная группа должна формироваться не по принципу доли фундаментальных исследований, а по сходной области науки. Сравнить между собой, например, Физический институт и Институт археологии в принципе возможно. Вот только делать какие-либо выводы из того, что по данным Web of Science на работы физиков ссылаются чаще, чем на археологов нельзя, хотя бы по тому, что гуманитарные направления в этой базе данных представлены крайне слабо.
Третье. Можно согласиться с тем, что институты следует распределить по трем категориям. Однако на самом деле важно не к какой категории отнесен тот или иной институт, а какие за этим последуют управленческие решения.
Именно здесь и кроется главный, с точки зрения автора, дефект постановления Правительства. В нем ничего не говорится об оценке важности и перспективности направлений науки, которыми конкретная научная организация занимается, т. е. как бы подразумевается, что закрывать институт (при получении третьей категории) или уменьшать его финансирование (при второй категории) можно без учета важности для государства реализуемого в этой организации научного направления.
Всем нам хорошо известно, что приватизация прикладной науки в 1990-е гг., проведенная без учета реализуемых научных направлений, привела к практически безвозвратной потере многих из них, в том числе критически важных для государства.
Более того, признание института лидером и, как следствие, присвоение первой категории, без учета
полезности для государства его научных направлений совершенно, с точки зрения автора, не должно означать автоматическое его сохранение в составе государственного сектора науки. Есть множество институтов, которые вполне успешно вжились в рынок, активно работают с иностранными партнерами (поскольку за границей есть спрос на их разработки), но практически не работают на российский сектор реальной экономики (поскольку в России такого спроса нет). Если наше государство хочет данное научное направление сохранить, использовать разработки института для развития отечественной экономики, тогда понятно, его надо поддержать. А если научный потенциал в России не востребован и не будет востребован, поскольку соответствующий сектор реальной экономики умер окончательно и возрождать его никто не собирается? Зачем государству такой институт, пусть даже лидер? Может быть, отпустить его в свободное плавание?
Есть претензии и к слову «лидер», употребленному как в постановлении Правительства, так и рекомендациях Министерства.
Во-первых, лидером можно быть только в группе. Можно ли говорить о лидерстве, если в мире данным направлением науки занимается один единственный институт. Например, тибетские медицинские рукописи изучаются только в одном институте, он лидер? Лидер по сравнению с кем?
Во-вторых, пусть даже несколько российских и зарубежных институтов занимаются сходной тематикой. Каков масштаб лидерства оцениваемого института: в мире, в России, в Самарской области?
Во второй части статьи мы отмечали, что оценка со стороны учредителя должна начинаться с четкого определения миссии научной организации. Напомним, что речь идет не только о том, каким хотел бы видеть учредитель конкретный институт, но и об определенном распределении усилий группы подведомственных организаций по всем направлениям науки, за которые учредитель ответственен перед государством. Вот здесь то и нужно определить и сферу ответственности, и критерии лидерства, и целесообразную сферу реализации разработок, и еще многое другое.
Разумеется, упоминать слово «миссия» в постановлении Правительства не обязательно. Обязательно надо было сказать об оценке важности для государства и перспективности научных направлений как о важнейшем элементе, из которой и следует исходить при планировании организационных мер после оценки институтов.
Указанный дефект сделал систему оценки не диагностической, а системой наказания с неясными последствиями для государства
Четвертый важный (положительный) момент в постановлении Правительства состоит в том, что всем министерствам, ведомствам и государственным академиям наук (т. е. учредителям) было разрешено разрабатывать собственную методику и шкалу показателей, учитывающие особенности подведомственных научных организаций. По сути такая ведомственная методика и шкала могли во многом нивелировать указанные отрицательные моменты. Правда, при их разработке необходимо было в полной мере учесть
типовую методику и типовой набор показателей, определенный Минобрнауки. Эти типовые наборы, кстати, тоже не упоминали об оценке важности научных направлений.
О некоторых дефектах типового набора показателей будет сказано далее. А сейчас перейдем к тому, как и по какой схеме реализуется постановление Правительства России в Российской академии наук.
Прежде всего, Президиум РАН своим постановлением от 20 апреля 2010 г. № 84 создал Комиссию по оценке результативности деятельности научных организаций РАН в составе 28 человек. Из общего состава Комиссии 11 человек являются академиками, 8 — членами-корреспондентами и 6 — докторами наук, т. е. Комиссия на 90% состоит из ученых, а по спектру специальностей охватывает все без исключения направления науки, реализуемые в РАН. Следует отметить этот факт из соображений важности учета научных направлений оцениваемых организаций, и не только учета нынешнего состояния, но и перспектив развития.
Президиум поручил Комиссии разработать методику и шкалу показателей оценки. После согласования проектов методики и шкалы с Минобрнауки они были утверждены постановлением Президиума РАН от 12 октября 2010 г. № 201.
Разрабатывая как методику, так и шкалу показателей исходили из описанной во второй части статьи единой модели оценки. Напомню, что наиболее полезной была признана модель, которая подходит как для внешней оценки (учредителем или заказчиком), так и для самооценки. Схема оценки, предложенная Минобрнауки ни для заказчика, ни для самооценки не годилась.
Кроме того, было принято во внимание, что в РАН система периодической проверки деятельности институтов специальными комплексными экспертными комиссиями действует уже давно. Главное, что в этой системе отсутствовало — присвоение категорий. Следовательно, наиболее целесообразным решением было соединить «старую» систему экспертной проверки с «новой» — сопоставление показателей внутри референтной группы.
В этом случае, с одной стороны, экспертные комиссии, выезжая в институт, освобождаются от рутинной работы по сбору данных, а с другой — показатели, установленные Президиумом РАН, дополняются экспертной оценкой. Безусловно, одной из важных задач экспертных комиссий является проверка достоверности данных, представленных институтом: каждая цифра должна быть подтверждена.
Самое же главное, что сочетание цифровой и экспертной оценки позволяет достаточно полно исследовать, а затем оценить и системные факторы, и процессы, и результаты. Напомню, что именно эти три компоненты легли в основу модели, изложенной во второй части статьи.
Понятно, что роли количественной и экспертной оценки системных факторов, процессов и результатов различаются. Системные факторы, такие например, как соответствие направлений научной деятельности государственным приоритетам, относительно легко могут быть выражены в количественных показателях.
ИННОВАЦИИ № 12 (158), 2011
ИННОВАЦИИ № 12 (158), 2011
То же относится и к большей части показателей, характеризующих результаты деятельности.
В тоже время оценка процессов научной деятельности, а также всех вспомогательных процессов с помощью традиционно существующих в статистике показателей неинформативна. Например, такой показатель типовой методики, как «Стоимость основных фондов в расчете на одного исследователя» говорить только о стоимости оборудования, но ничего о его соответствии современным требованиям. Учитывая, что в состав экспертных комиссий включаются не только ученые, но и представители органов управления Академией (юристы, экономисты, бухгалтеры, специалисты по охране труда и т. д.) оценка и научных, и вспомогательных процессов может быть проведена комплексной экспертной комиссией. Более того, эту оценку можно считать одной из важных задач комиссии.
В уставах всех институтов РАН определен перечень научных направлений, за которые отвечает институт. Оценка уровня работ и лидерства института не в целом, а по каждому направлению отдельно чрезвычайно полезна заказчику, о чем мы уже говорили.
Такой принцип очень важен и для учредителя — Академии и ее тематических отделений. Весь спектр, за который отвечает отделение, прорисован, можно принять обоснованные решения по мобилизации ресурсов или их маневру.
Наконец, система отчетов оцениваемых организаций выстроена так, что институт может сопоставить все свои параметры со средними параметрами по своей референтной группе. Это исходная точка для самооценки. Институт получает четкие ориентиры: где он лучше «соседей», а где хуже. Дальше уже руководители и лидеры должны проанализировать причины отставания по отдельным показателям, выявить преимущества, сделать соответствующие выводы и спланировать какие-либо действия.
Наконец, сам состав референтных групп подобран таким образом, что он отражает действительно родственные по тематике институты. Это, безусловно, делает сопоставление значительно более информативным. Таким образом, в основу схемы оценки результативности положена модель, изложенная во второй части статьи.
Если такая схема дополняется тем, что научная организация формулирует собственное мнение о перспективности тематики внутри каждого направления, т. е. делает прогноз развития науки, то это так же элементы самооценки. Важно, что в дальнейшем такой прогноз сопоставляется с мнением экспертной комиссии. Как единство прогнозов института и экспертной комиссии, так и их расхождение дает пищу для обсуждения перспектив научного направления.
Можно заметить, что прогноз развития того или иного направления науки постепенно меняется по мере развития самого направления, а поэтому меняется и мнение экспертов. Это, безусловно, так. Поэтому идеальным представляется вариант одновременной работы экспертных комиссий во всех институтах конкретной референтной группы. Но это пока реализовать не удалось, к этому идеалу РАН еще предстоит прийти.
Комиссия по оценке результативности на основе показателей и мнения экспертных комиссий принимает решение об отнесении института к какой-либо категории. Последний ли это шаг? Нет, поскольку оценка носит диагностический характер, то, по сути, категория, присвоенная Комиссией, не более чем набор анализов больного.
Теперь нужно выбрать «методы лечения», а затем принять (если необходимо) соответствующие организационные решения. Но это уже задача отделения Академии, которое с учетом состояния целой области науки и должно выработать пути улучшения деятельности института, а также Комиссии РАН по совершенствованию структуры Академии (есть в Академии и такая комиссия), которая может предложить организационные меры.
В итоге совокупность предложений двух комиссий и отделения рассматриваются Президиумом РАН, который собственно и принимает окончательное решение. Схема, безусловно, сложна в реализации, требует четкой координации действий, но зато она почти полностью гарантирует от ошибочных решений.
Завершая обзор схемы оценки, принятой в Российской академии наук, нельзя обойти еще один вопрос, который пока не нашел своего решения. Этот вопрос порожден тем, что всего в составе РАН более 430 научных организаций. Проверить и оценить их все в течение одного года — задача немыслимая. Даже одну пятую этого количества, т. е. 80-90 организаций оценить в год и то достаточно сложно. Соответственно в течение нескольких лет в РАН фактически будут организации четырех категорий: первой, второй, третьей и еще не попавшие под оценку и не имеющие категории. Какие последствия породит эта ситуация пока не ясно, но очевидно, что они могут быть весьма непростыми.
Перейдем теперь к набору показателей, по которым будут оцениваться институты. Здесь в главном удалось реализовать вышеописанную модель оценки.
Весь набор из полутора сотен показателей можно условно разбить на три блока: характеристика научной деятельности (5 групп показателей), характеристика кадрового состава (1 группа) и финансовоэкономические показатели (2 группы показателей). Третий блок включен с целью оценки не только результативности, но и эффективности деятельности научной организации как хозяйствующей единицы.
Первые две группы показателей, характеризующих научную деятельность, посвящены анализу научных направлений, реализуемых научной организацией.
Характеристика начинается, что с учетом вышесказанного очевидно, с анализа актуальности для государства направлений научных исследований. Здесь у нас есть, пусть и не идеальные, но достаточно четкие ориентиры: перечни приоритетных направлений развития науки, технологий и техники Российской Федерации и критических технологий Российской Федерации, утвержденные Президентом России, Программа фундаментальных научных исследований государственных академий наук и федеральные целевые программы, утвержденные Правительством РФ.
Второй вопрос, который важно проанализировать: как по направлениям распределены ресурсы (финансо-
вые, организационные, людские и т. д.). Важно, чтобы не было существенных перекосов в пользу одного из направлений.
На решение одной методологической проблемы направлен, казалось бы, малозаметный пункт «Количество научных тем по каждому из научных направлений». Дело в том, что даже среди институтов одной и той же референтной группы заметны разные подходы. Часть институтов планирует свою тематику предельно конкретно и у них получается много тем по каждому направлению. Другая часть предпочитает формулировать комплексные широкоохватные темы. У них, соответственно, тем по направлениям мало, а в ряде случаев одна тема может охватывать несколько направлений. Не беремся судить, как правильно. Однако думается, что в Академии следует сформировать какой-либо общий подход. Это предмет для обсуждения и в отделениях, и в управлениях Президиума РАН.
Не менее важно, о чем уже упоминалось, как сам институт оценивает перспективы развития каждого из направлений научных исследований, какую тематику внутри направления он считает необходимым развивать. Во-первых, это прогноз развития науки. Во-вторых, это самооценка. В-третьих, сопоставление самооценки и оценки прогноза силами экспертной комиссии позволяет уточнить векторы развития той или иной тематики внутри реализуемого направления. В-четвертых, это в каких-то случаях даст возможность скорректировать список направлений в уставе института.
На практике встретились случаи, когда институт реализует какие-либо инициативные научные направления, не предусмотренные его уставом. В основном это отзвук девяностых годов, когда институты брались за любую тематику, лишь бы выжить. Но и сейчас за счет грантов, коммерческих заказов или других источников институт в принципе инициативной тематикой тоже может заниматься.
Смысл изучения этого аспекта деятельности научной организации состоит в том, что если прогноз развития инициативного направления как с точки зрения института, так и с точки зрения экспертной комиссии благоприятен, то перед отделением Академии встает вопрос о целесообразности коррекции устава и включении инициативного направления в список уставных. Даже первичный анализ перечней уставных и инициативных направлений, представленных институтами Академии, позволил вскрыть две проблемы, над решением которых придется работать и институтам, и отделениям РАН.
Как известно, Академия руководствуется Программой фундаментальных научных исследований государственных академий наук на 2008-2012 гг., утвержденной распоряжением Правительства России от 27 февраля 2008 г. № 233-р. Программа, в частности, определяет объемы бюджетного финансирования по обозначенным в ней научным направлениям.
Во-первых, выяснилось, что в отдельных случаях формулировки научного направления в уставе института и в Программе не полностью совпадают. Казалось бы мелочь. Но можно встать и на формальную точку зрения — институт недостаточно четко выполняет решение Правительства.
Вторая ситуация, встретившаяся, правда, в единичных случаях — в уставе института фигурирует, например, четыре научных направления, а в Программе за ним закреплено пять. Эта ситуация более сложная, чем предыдущая. «Лишним» направлением институт может заниматься как инициативным. Но инициативное научное направления нельзя финансировать из бюджета. Если же «лишнее» направление рассматривать как уставное, то тогда возникает вопрос: почему именно этот институт им занимается, хотя его уставом это не предусмотрено.
Как первая, так и вторая ситуации, по сути, отражают небрежность института и отделения Академии по отношению к важнейшему правовому документу, определяющему функционирование научной организации, ее уставу. Если бы институт своевременно инициировал вопрос о коррекции устава, а отделение РАН подготовило бы соответствующее решение Президиума Академии, то таких ситуаций не возникло бы.
Для общей характеристики научного потенциала вполне достаточно давно применяющихся в статистике показателей, таких, например, как «Удельный вес внутренних затрат на исследования и разработки в общем объеме выполненных научной организацией работ, услуг». Этот показатель, в частности, характеризует, какую долю работ институт выполняет сам, а какую часть его соисполнители и смежники.
Общая характеристика научной деятельности была бы неполной, если не охарактеризовать получаемые результаты. Но, напомню, что во второй части статьи обсуждалась возможность замены показателя «научные результаты» как цель деятельности организации на «имидж». Имидж складывается из множества показателей, включая в том числе научные результаты, и представляет собой некую интегральную оценку, адресуемую не только научному сообществу, но и органам власти и обществу в целом.
Вопрос состоит в том, что имидж относится к трудно измеряемым видам показателей. Оценить имидж возможно либо по заключениям экспертов, либо по косвенным данным.
С точки зрения автора, участие научной организации в международном научно-техническом сотрудничестве, участие иностранных ученых в ее научных исследованиях, привлечение специалистов научной организации к экспертизе международных научнотехнических проектов и ряд других показателей в определенной мере характеризуют международный авторитет института. Аналогичные показатели помогают оценить имидж научной организации и внутри России.
Научные школы один из важных и специфических видов научной деятельности в России. Многие научные школы известны на весь мир. Не очень понятно, почему Минобрнауки не сочло нужным учесть сложившуюся практику. Трудность здесь, пожалуй, только одна, до сих пор не существует общепринятого определения понятия «научная школа». Поэтому мы были вынуждены исходить из факта признания школ научным сообществом. Такое признание может быть подтверждено любым объективным способом: грантом Президента России, упоминанием школы в научных
ИННОВАЦИИ № 12 (158), 2011
ИННОВАЦИИ № 12 (158), 2011
энциклопедиях, решениях Академии, международных конференций и т. п. Естественно, что отдельно учитываются школы, существующие более 25 лет, поскольку в таких школах, чаще всего, произошла смена руководителя, но сама школа продолжает действовать.
Наибольшие проблемы при реализации вызвали те пункты типовой методики Минобрнауки, которые характеризуют публикационную активность.
Министерство рекомендовало пользоваться при учете публикаций двумя базами данных — Российским индексом научного цитирования (РИНЦ) и Web of Science.
Первая из этих баз данных находится в стадии разработки и развития. Правда, в текущем году она значительно полнее, чем еще год назад, но, тем не менее, ее точность явно недостаточна. Вторая база данных (Web of Science), во-первых, является коммерческой, а во-вторых, охватывает лишь около 10% российских научных изданий, в ней почти полностью отсутствуют гуманитарные направления. Почему-то министерством не была принята во внимание база данных Scopus, которая учитывает в полтора раза больше российских научных изданий, чем Web of Science.
Силами трех независимых экспертов был проведен сопоставительный анализ учета публикаций в трех базах данных на примере случайной выборки институтов разных отделений Академии. Усредненные данные трех экспертов приведены в таблице.
Во-первых, очевидно, что для всех гуманитарных направлений опираться на данные Web of Science и Scopus невозможно. РИНЦ в этом отношении демонстрирует значительно более полный учет. Но даже в
области естественных наук разброс данных разных систем может превышать 200%.
Во-вторых, получаемая таким образом информация недостаточно объективна, поскольку данные сильно зависят от того, кто провел соответствующий анализ. Даже у квалифицированных экспертов разброс показателей слишком значителен, чтобы не обращать на него внимание.
Особого упоминания заслуживает импакт-фактор публикаций работников научной организации в Web of Science. Этот показатель включен Минобрнауки в типовую методику. Мы его вынуждены повторить в методике для РАН. У специалистов в области научнотехнической информации отношение к этому показателю, прямо скажем, неоднозначное. Но даже если бы все признавали его важность, для целого ряда отделений РАН объективно его вычислить не представляется возможным.
Баз информации в мире множество: помимо Web of Science и Scopus существуют Medline, Metadex, Compendex, Pascal, Biosis и целый ряд других. Каждая из них в чем-то ближе к соответствующей области науки. В России уже давно сложилась традиция публикаций не только в журналах, но и в тематических сборниках. Это особенно характерно для историков, археологов, филологов и др. Но почти все базы данных учитывают только журнальные публикации. Не менее важно учитывать монографии, учебники, научносправочные издания, атласы, а также отдельные главы в этих изданиях. Не решен также вопрос о принципах учета интернет-публикаций.
Название института Число публикаций за 2005-2009 гг. Число цитирований публикаций за 2005-2011 гг.
Web of Science Scopus РИНЦ Web of Science Scopus РИНЦ
Отделение математических наук
Институт прикладной математики им. М. В. Келдыша 439 526 825 1539 1026 1250
Отделение физических наук
Специальная астрофизическая обсерватория 360 499 676 2513 2911 2531
Казанский физико-технический институт им. Е. К. Завойского 255 319 590 1335 1152 1397
Институт земного магнетизма, ионосферы и распространения радиоволн им. Н. В. Пушкова 418 756 1135 1390 2193 2289
Институт космических исследований 986 1175 1790 8675 8390 8494
Отделение нанотехнологий и информационных технологий
Институт системного анализа 100 160 558 139 208 429
Отделение энергетики, машиностроения, механики и процессов управления
Объединенный институт высоких температур 929 1135 1619 2135 2873 3433
Отделение химии и наук о материалах
Институт химии силикатов им. И.В. Гребенщикова 417 434 713 807 709 1105
Отделение биологических наук
Институт биологии гена 250 291 415 1733 1379 1342
Отделение наук о Земле
Институт геологии рудных месторождений, петрографии, минералогии и геохимии 411 637 1190 703 1193 1930
Отделение общественных наук
Институт социально-экономического развития территорий 0 13 96 0 46 50
Отделение историко-филологических наук
Институт мировой литературы им. А. М. Горького 0 3 233 0 0 19
Отделение глобальных проблем и международных отношений
Институт Соединенных Штатов Америки и Канады 1 3 362 0 4 157
О важности наиболее полного учета публикаций говорить не приходится: публикация — важнейший результат активности ученых в области фундаментальных исследований.
Какой же из всего этого видится выход?
Во-первых, в РАН, как нам кажется, должен быть выработан собственный подход к данному вопросу. В-частности, следовало бы принять какие-то меры, чтобы самые употребительные базы данных (Web of Science и Scopus) полнее учитывали академические журналы и другие виды публикаций.
Второе. Очевидно, что для каждой референтной группы было бы целесообразно определить свой перечень баз данных, которые лучшим образом отражают соответствующую область науки. Это задача Отделения РАН.
Третье. С точки зрения автора, целесообразно пересмотреть методику учета публикаций в РИНЦ, с тем, чтобы он охватывал не только журнальные, но и другие публикации. Предложения на эту тему могли бы подготовить ВИНИТИ и ИНИОН.
Второй по значимости показатель активности научной организации — конференции, семинары и другие мероприятия, как крупные (под крупными Минобрнауки понимает семинары и конференции с числом участников более 150 человек), так и меньшие по масштабу, но часто не менее важные. Соответственно нужно учитывать как сами эти мероприятия, так число докладов, тезисов докладов, представленных работниками научной организации на конференциях и семинарах.
Учет числа охраняемых объектов интеллектуальной собственности, организован по целому ряду показателей, в том числе и по таким важнейшим, как количество проданных лицензий, объем средств, полученных от их реализации, объем средств, использованных на поощрение авторов реализованных патентов и иных объектов интеллектуальной собственности и др.
Два показателя этого раздела вызвали вопросы со стороны научных организаций.
Первый из них касался объема средств, полученных от реализации лицензий. Дело в том, что по действующему российскому законодательству эти средства государство забирает себе. Институты спрашивали, зачем учитывать эти средства, если мы их все равно не видим.
Ответ здесь весьма прост. С одной стороны РАН часто критикуют за низкую экономическую эффективность исследований, забывая при этом, что главная задача Академии — фундаментальная наука, а не конкретные патенты. С другой стороны ответить на эту критику было практически нечем, поскольку четких данных об эффективности патентной деятельности не было. Теперь такие данные можно не только будет получить, но и проанализировать.
Второй показатель, вызвавший вопросы, — о количестве штатных работников научной организации на чье имя зарегистрированы объекты интеллектуальной собственности.
Статьей 1370 Гражданского кодекса предусмотрено, что если в ходе выполнения своих должностных обязанностей работник сделал изобретение, то он обя-
зан уведомить администрацию. Если администрация в течение четырех месяцев не подаст заявку на патент, то работник сам вправе это сделать от своего имени. Нас интересуют именно такие случаи. Мотивы отказов администрации и последствия этих отказов могут рассматриваться комплексными экспертными комиссиями. Отказ может быть, например, потому, что администрации не видит коммерческих перспектив изобретения. А работник, зарегистрировавший изобретение на себя, получил существенный коммерческий доход. По сути это будет означать, что в институте нет нужной системы оценки коммерческих перспектив, плохо поставлена работа по коммерциализации и т. п. Другими словами, у руководства появляются объективные данные для совершенствования работы института.
Вполне возможно, что между позицией Минфина России, «отбирающего» средства у институтов, и количеством патентов, зарегистрированных на штатных работников научных организаций, существует определенная корреляция. Нам кажется, что эта тема заслуживает вдумчивого анализа. Но она выходит за рамки данной статьи.
Общая характеристика научной организации была бы неполной, если не охарактеризовать его кадровый состав, профессиональный уровень и возраст.
Здесь, помимо традиционного учета кандидатов и докторов наук, появился (впервые в практике РАН) новый показатель: число сотрудников, имеющих степень магистра.
С чем это связано. Во-первых, в типовой магистерской программе предусмотрено обучение основам научной деятельности, т. е. по смыслу магистр — будущий научный работник. Во-вторых, магистр, в отличие от специалиста защищает не диплом, а диссертацию. Помимо терминологического сходства с кандидатской диссертацией, есть еще и сущностное: такая диссертация защищается в вузе (кандидатская — в вузовском диссертационном совете), степень тоже присваивается вузом (кандидату наук — советом при вузе). Разница в том, что уровень магистерских диссертаций контролирует государственная комиссия, а кандидатских ВАК. По сути, диада «кандидат-доктор» превратилась в триаду «магистр-кандидат-доктор». Если двухуровневая система образования приживется в России, со временем количество магистров в НИИ будет увеличиваться.
Что касается характеристики возрастного состава исследователей, то Минобрнауки почему-то относит к молодым исследователей в возрасте до 39 лет. Мы вынуждены были взять этот же критерий. По мнению автора такая граница неправильна. Напомним, что в СССР до 1985 г. молодым считался ученый до 28 лет, а с 1985 по 1991 гг. — до 33. Это хоть как-то походило на действительность. Выбранный Министерством рубеж в 39 лет не просто слишком велик (к этому возрасту, как правило, это уже сложившийся ученый), а еще и маскирует проблему нехватки молодежи.
Комментируя модель оценки, мы отмечали, какое важное значение для развития научной организации имеет удовлетворение работников условиями работы. Микроклимат в коллективе, разумеется, могут оценить эксперты.
ИННОВАЦИИ № 12 (158), 2011
ИННОВАЦИИ № 12 (158), 2011
В данном случае введены три относительно легко оцениваемых показателя: среднемесячная заработная плата работников, количество работников, уволившихся из научной организации по собственному желанию и количество работников в возрасте до 39 лет, уволившихся из научной организации по собственному желанию. Если доля молодых работников, увольняющихся по собственному желанию, превышает долю всех работников, также увольняющихся по собственному желанию, то это очевидный сигнал о некотором неблагополучии в институте. Соотношение количества молодых специалистов, принятых на работу и уволившихся с работы также характеризует удовлетворенность условиями труда.
Сведения о среднемесячной заработной плате исследователей, не имеющих степени, кандидатов и докторов наук важны не только сами по себе. Для нас интересным представляется вопрос и о том, насколько сложившаяся дифференциация в оплате труда стимулирует работников готовить и защищать диссертации, есть ли корреляция между количеством защит и системой оплаты труда.
Перейдем к показателям, характеризующим эффективность деятельности научной организации как структурной единицы Академии.
Эти две группы показателей позволяют охарактеризовать инфраструктуру научной организации, ресурсную обеспеченность научных направлений, а также состояние ее финансовой деятельности.
Обеспеченность современным научным оборудованием и необходимыми условиями научной работы, наличие уникальных научных объектов, это как раз те вопросы, в оценке которых необходимо сочетание цифровой и экспертной оценки. Обеспеченность оборудованием и наличие уникальных объектов в количественных показателях могут быть отражены лишь частично. Например, примененный Минобрнауки показатель «Удельный вес машин и оборудования в возрасте до трех лет включительно в общей стоимости машин и оборудования (%)», характеризует физическое старение оборудования. Но он не отражает его моральное старение и соответствие научных приборов современным требованиям. Эта сторона дела, наличие других необходимых условий для научной работы или уникальность научных объектов могут быть оценены только экспертами.
В типовой методике Минобрнауки России присутствуют несколько показателей, совершенно не применимых к бюджетным учреждениям, каковыми являются академические институты: «Коэффициент валовой рентабельности», «Коэффициент оборачиваемости кредиторской задолженности» и др. Мы вынуждены были включить их и в методику для учреждений РАН, хотя работать эти показатели очевидно не будут. Требование, чтобы все показатели типовой методики вошли в ведомственный набор показателей, представляется совершенно излишним.
Система оценки результативности научных организаций Российской академии наук в ее нынешнем виде только начинает действовать. Очевидно, что учитывая накапливаемый опыт, необходимо будет постепенно ее совершенствовать. Но уже сейчас про-
сматриваются принципиальные направления такого совершенствования.
Во-первых, нужно подкорректировать сам набор показателей. Возможно, что некоторые из них окажутся неинформативны, а какие-то потребуют уточнения формулировки или методики расчета. Принципиально важным направлением совершенствования набора показателей, с точки зрения автора, будет являться унификация показателей, применяемых в государственной статистике, в ведомственной статистике и при оценке результативности. Если из единой шкалы показателей в автоматическом режиме можно будет получать, например, форму государственной статот-четности 2-наука и другие запрашиваемые Росстатом, то цель можно будет считать достигнутой.
Второе. Очевидно, нужна автоматизированная система, позволяющая вносить информацию, проводить различные выборки, формировать отчеты и аналитические сводки. В принципе подобная система, а именно Автоматизированная система учета результатов интеллектуальной деятельности РАН разработана. Однако она, по крайней мере, на начальном этапе, показала недостаточную работоспособность. Ее нужно совершенствовать. Однако, такая система нуждается в методологическом переосмысливании. Что здесь имеется в виду.
Сейчас институт раз в год готовит целый набор отчетов. Соответственно сведения о публикациях, о проведенных семинарах и многие другие данные собираются так же один раз за год. Какие-то сведения при этом неизбежно забываются и теряются.
Следовательно, нужна методология повседневного учета жизнедеятельности института, необременительная для сотрудников, но позволяющая получать максимально точные данные. Над такой методологией еще предстоит поработать.
В-третьих, в России помимо РАН существует несколько государственных академий наук: Академия сельскохозяйственных наук, Академия медицинских наук и др. Основной задачей всех этих академий, что собственно их и объединяет, является развитие фундаментальных исследований. Вполне логично было бы ввести для всех академий наук если и не единую, то, по крайней мере, унифицированную шкалу показателей. Более того, по мнению автора, распространение опыта РАН по периодической оценке институтов комплексными экспертными комиссиями имело бы положительный эффект. В перспективе, по всей видимости, по некоторым научным отраслям целесообразно экспертные группы формировать как межакадемические. Всем хорошо известно, что наиболее интересные результаты получаются на стыках наук. Межакадемические экспертные группы могли бы быть весьма полезны.
Estimation and self-appraisal of the scientific organization
A. S. Kulagin, doctor of sciences.
In the third part of the paper the performance assessment system of scientific institutions of the Russian Academy of Sciences is described.
Keywords: assessment, self assessment, scientific organization.
