CC BY
67
ОПРЕДЕЛЕНИЕ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ И РЕЙТИНГА
НАУЧНЫХ УЧРЕЖДЕНИЙ
Резюме. Авторами разработан количественный метод экспертной оценки эффективности деятельности и определения рейтинга научно-исследовательских учреждений (НИУ) на основе анализа 11 групп родственных индикаторов, выраженных в условных баллах и включающих совокупность всех основных видов деятельности и результатов за определенный период. Данный метод реализуется путем комплексного анализа количественных абсолютных (интегральных) и относительных (удельных) показателей работы учреждения за 3-5 лет.
Ключевые слова: врейтинг, научное учреждение, оценка, эффективность, метод.
<
гл
и
Методы, традиционно применяемые для оценки эффективности деятельности НИУ и ученых, имеют свою специфику, выраженный отраслевой характер и не являются универсальными для всестороннего анализа значимости проводимых исследований, а также определения потенциала и соответствующего рейтинга учреждения [1-4]. При этом количественная оценка, выраженная, например, в баллах, которые начисляются одновременно по индикаторам ряда родственных групп, отражающих различные виды научно-организационной деятельности и созданной научной продукции за определенный период работы НИУ, практически не использовалась.
Михаил Кремков,
ведущий научный сотрудник Института энергетики и автоматики Академии наук Республики Узбекистан, доктор физико-математических наук, профессор
Абдулла Умаров,
старший научный сотрудник - соискатель Ташкентского государственного экономического университета
С целью ликвидации данного пробела нами был проведен анализ зарубежного опыта в этой сфере [5-6] и показана необходимость более глубокой и всесторонней разработки указанной проблемы. Так, было предложено объединить однотипные (родственные) индикаторы основных видов и результатов работы научных организаций в группы, причем для каждого показателя установить количественную оценку, выраженную в условных баллах, начисляемых за каждую единицу произведенной научной продукции (подготовка научных публикаций, высококвалифицированных научных кадров, освоение средств, внедрение, экспорт и др.) и видов деятельности НИУ (участие в учебном процессе в вузах, проведение научных форумов и др.) [6].
Методология
Наиболее близким к этому подходу является метод, созданный в 2010-2014 гг. комиссией Российской Академии наук. Он выполняется в пять отдельных этапов и использует 25 основных и 10 дополнительных индикаторов, причем для оценки научных организаций предлагается применять выборочно только часть из них [8-10]. Планируется реализовать этот метод для НИУ РАН в 2015-2016 гг. В то же время такого сравнительно небольшого числа показателей явно недостаточно для объективного отражения всей полноты различных видов деятельности и многообразия результатов, полученных академическими учреждениями за определенный для экспертизы 5-летний период.
В настоящей работе предложен количественный метод комплексной оценки эффективности деятельности и определения рейтинга НИУ, который представляет собой последовательное выполнение восьми самостоятельных этапов и основан на анализе предложенных нами индикаторов из 70 основных, характеризующих работу НИУ с разных сторон. Совокупность введенных нами показателей была систематизирована, и они были распределены по соответствующим однотипным видам деятельности и результатам, полученным НИУ, в 11 групп, которые приведены в табл. 1.
Так, например, для определения эффективности деятельности НИУ в области подготовки научных кадров в 1-й группе два индикатора, отражающие количество защит диссертаций, умножаются на величину баллов, условно установленных за каждую защиту, раздельно за кандидатские (100 баллов) и докторские (300 баллов). Это различие зиждется на разных научных уровнях и весовых вкладах работ, поскольку количество защит кандидатских, как правило, более чем в 3 раза превосходит число докторских.
Аналогично для оценки НИУ в области научных публикаций начислялись коэффициенты в баллах для 4-й группы, состоящей из 6 индикаторов (издание монографий, научных статей и тезисов докладов в зарубежных и республиканских журналах), исходя из их значимости. Например, для монографий и научных статей, опубликованных за рубежом, начислялось соответственно 500 и 60 баллов, а в республиканских изданиях - 200 и 30, для тезисов докладов, напечатанных на международных конференциях - 20 баллов и на республиканских - 10.
Проведение конференций в 8-й группе индикаторов условно оценивалось в 300 баллов за одно международное мероприятие и 150 - за республиканское, в соответствии с весовым вкладом данных индикаторов в общее количество организованных НИУ конференций. Наибольшие баллы (1000) в 11-й группе начислялись за присуждение ученым государственных премий в области науки и техники,
№ Группы Группы однотипных индикаторов для оценки эффективности деятельности и определения рейтинга НИУ Максимальное число индикаторов в группе
1 Подготовка научных кадров 8
2 Освоение НИУ всех видов предоставленных бюджетных средств 10
3 Освоение НИУ привлеченных внебюджетных средств (хоздоговоры, международные научные гранты) и инвестиций (прямые инвестиции, научно-техническое содействие и др.) 4
4 Издание печатной научной продукции (монографии, научные статьи, материалы и тезисы докладов конференций и др.) 6
5 Защита объектов интеллектуальной собственности, получение патентов, лицензий, сертификатов на программные продукты и др. 6
6 Внедрение результатов научных исследований 6
7 Реализация/экспорт научной продукции 4
8 Организация научных конференций, ярмарок, выставок и экспозиций научной продукции, созданной НИУ 4
9 Интеграция науки и образования, участие в учебном процессе в вузах 6
10 Распространение научных знаний, пропаганда научных достижений и исторического наследия 5
11 Признание научных результатов сотрудников НИУ 11
литературы, искусства и архитектуры, а также за присвоение высшей награды - Героя страны.
Подобным образом для каждой группы показателей проводилась их соответствующая количественная оценка в условных баллах. Затем они суммировались по всем 11 группам (или меньшему числу в случае отсутствия какой-либо из них). То есть данный метод может дополняться и уточняться на основе проведения более тщательного анализа и возможной детализации количества и весового вклада отдельных индикаторов, как в пределах каждой родственной группы, так и в рамках сопоставления вклада различных групп в общую оценку.
Процедура определения эффективности деятельности и рейтинга НИУ по предлагаемому методу осуществляется на основе последовательного проведения следующих восьми этапов.
1. Разработка академией наук, министерствами и ведомствами соответствующего отраслевого перечня основных индикаторов деятельности и результатов, полученных подведомственными НИУ, по каждому из которых начисляются величины условных баллов.
2. Создание комиссии (рабочей группы) по оценке деятельности НИУ.
3. Доведение перечня разработанных индикаторов до НИУ и сбор соответствующих сведений об ю работе за определенный период.
4. Распределение НИУ по категориям (родственным группам) в соответствии с их научным профилем.
Таблица 1. Совокупность показателей, распределенных по соответствующим
однотипным видам
деятельности и результатам, полученным НИУ
Синергия знаний
5. Проверка и уточнение полученных сведений за анализируемый период (год, 3 года, 5 лет).
6. Подсчет количества набранных по совокупности индикаторов баллов для всех НИУ и проведение комплексной количественной оценки эффективности их деятельности на основе абсолютного (интегрального) и трех относительных (удельных) показателей.
7. Определение рейтинга учреждений, на основе которого выявляются НИУ - лидеры, стабильно работающие и аутсайдеры.
8. Подготовка рекомендаций по повышению эффективности деятельности НИУ для руководства академии наук, министерств, ведомств и для принятия ими соответствующих организационных решений.
Упомянутая комиссия (рабочая группа) последовательно реализует 3-8-й этапы данного метода за определенный период. На 6-м этапе для всех НИУ родственного научного профиля проводится количественная оценка в условных баллах путем их суммирования по соответствующим индикаторам 11 групп, и для каждого учреждения устанавливается величина его абсолютного показателя, или коэффициента N1.
Далее комиссия определяет относительные (удельные) коэффициенты для оценки эффективности деятельности каждого НИУ по трем различным категориям:
■ коэффициент N2 - количество баллов, приходящихся на одного работника НИУ, которое вычитается путем деления абсолютного коэффициента N1 на число работников учреждения (К2), N2 = К2;
■ коэффициент N - баллы, которые имеет один научный сотрудник (^ делится на число научных сотрудников НИУ (К3), N = К3;
■ коэффициент N4 - число баллов на одну единицу освоенных научной организацией средств за подлежащий экспертной оценке период деленный на величину освоенных средств (К4),
N4 = N1/ К4.
После этого рабочая группа устанавливает порядковые места, занятые НИУ по убыванию величин их соответствующих коэффициентов:
■ абсолютного N (место Р1);
■ трех относительных: N (место Р2), И, (место Р3) и N (место Р4).
Сведения о порядковых местах (Р1, Р2, Р3 и Р4) для каждого учреждения из определенной группы НИУ родственного профиля сводятся в итоговые таблицы.
На 7-м этапе комиссия на основе данных итоговых таблиц определяет рейтинг каждого НИУ двумя различными способами: простым абсолютным (интегральным) и комбинированным, осно-
ванным на учете абсолютного и трех относительных (удельных).
В первом случае рейтинг напрямую зависит от итоговых мест НИУ - Рр занятых ими в порядке убывания величин их абсолютных коэффициентов N Во втором, более объективном комбинированном способе рейтинг определяется путем вычисления значений суммы всех мест (Р), которые НИУ заняли исходя из порядковых значений их мест на основе абсолютного способа (Р1) и трех порядковых мест, исчисленных из относительных коэффициентов в расчете на одного работника (Р2), одного научного сотрудника (Р3) и на каждую единицу освоенных организацией средств (Р4):
Р = Р, + Р2 + Рз + Р4.
Причем минимальному значению Ртт соответствует наивысший рейтинг НИУ, а максимальному значению Ртах - минимальный. Применение данного количественного метода экспертной оценки эффективности деятельности и определения соответствующего рейтинга НИУ практически исключает возможность присуждения одной и той же величины для учреждений, входящих в состав отдельных родственных групп.
На основе полученных значений комиссия на 8-м этапе определяет три категории НИУ: лидеры, стабильно работающие и аутсайдеры. Далее оформляется соответствующий отчет о проведенной работе, а также готовится проект реализации организационных мер по повышению результативности деятельности учреждения и вносятся предложения по возможному совершенствованию их структуры.
Разработанный нами метод был реализован для четырех групп НИУ родственного научного профиля Академии наук Республики Узбекистан по итогам их работы и показателям за 2006-2010 гг. [7] и 2011-2014 гг. Причем произошедшие в последние годы реорганизация и совершенствование структуры академических учреждений, в основном, соответствовали проведенной рейтинговой оценке эффективности их деятельности. При этом были упразднены аутсайдеры, укреплен ряд лидеров и стабильно работающих организаций, которые имели наибольший рейтинг и основная тематика которых была непосредственно связана с развитием инновационной деятельности и внедрением полученных результатов в базовые отрасли экономики страны. Кроме того, некоторые НИУ были переданы в профилирующие университеты и вузы страны, что позволило укрепить интеграцию академической науки, образования и производства.
Данный алгоритм экспертной оценки эффективности деятельности и определения рейтинга НИУ, в принципе, может быть легко адаптирован применительно к любым научным учреждениям
Интеллектуальная собственность
с учетом особенностей их работы и ведомственной принадлежности, а также соответствующих им групп индикаторов. В связи с этим разработанный авторами метод был передан Академией наук РУз в 2014 г. в Комитет по координации развития науки и технологий при Кабинете Министров и использован при подготовке типового Положения для рейтинговой оценки НИУ Узбекистана. При включении в рассмотрение групп индикаторов, характеризующих учебный процесс, данный количественный метод может быть применен и для проведения оценки эффективности работы и определения потенциала или рейтинга университетов и других вузов страны. Он может быть рекомендован для использования академиями наук, министерствами науки и образования, здравоохранения, сельского хозяйства стран СНГ и Восточной Европы, а также для разработки предложений по повышению эффективности деятельности отраслевых научных учреждений, совершенствованию или реорганизации их структуры. СИ Статья поступила в редакцию 20.01.2015 г.
Подготовила Ирина ЕМЕЛЬЯНОВИЧ
See: http://innosfera.by/2015/05/scientific_institutions
Summary
The quantitative method of the scientific institutions (SI) activity effectiveness and its rating estimation there was elaborated on the base of 11 related indicators groups were marked in the conditioned ball and including all the main SI activity kinds and results, that were obtained SI during the definite period. The proposal method was realized by the quantitative complex analyses of the absolute (integral) and the relative (specific) activity indicators for the corresponding intimate SI working period of 3-5 years. The method allows to estimate the SI rating and classified the SI into three categories: the leaders, the stabile working, and the worst SI, and also to formulate the suggestions for the SI work effectiveness increasing and SI structure improvement.
Литература
1. Разработка рекомендаций по применению оценки эффективности научной, научно-технической и инновационной деятельности с использованием передового зарубежного опыта и на ее основе анализ результативности системы научных исследований и разработок в России в сравнении с зарубежными странами // Миннауки и образования РФ.- М., 2005.
2. Н. И. Костромина, Л. Ф. Шайбакова. Оценка эффективности научной, научно-технической и инновационной деятельности государственных научных центров Российской Федерации. // Труды Уральского государственного экономического университета.- Екатеринбург, 2004.
3. Journal Impact Factor, 2013. Электронный ресурс: http://www.kntu.ac.lr/dorsapax/userfiles/file/ momayezeh/2013.pdf.
4. А. Е. Варшавский. Реальная результативность российской науки // Концепции. 2 0 05, № 1. С. 21-36.
5. М. В. Кремков, Ш. А. Назиров, А. А. Умаров. К вопросу определения эффективности деятельности научных организаций // Проблемы информатики и энергетики». 2010, № 2. С. 46-54.
6. М. В. Кремков, А. А. Умаров. Методологические основы оценки деятельности научных организаций: мировой и отечественный опыт // Экономика и финансы. 2010, № 5-6. С. 57-65.
7. М. В. Кремков, А. А. Умаров. Количественная система оценки эффективности деятельности и определения рейтинга научных учреждений Академии наук Республики Узбекистан // Проблемы информатики и энергетики. 2011, № 3. С. 41-50.
8. А. С. Кулагин. Оценка и самооценка научной организации // Инновации. 2011, № 10.
9. А. Соболевский. Организация науки // Наука Сибири. 2011, № 8.
10. Е. Дудин. Утвержден предварительный список показателей оценки эффективности НИИ // газета «Коммерсант». 28.07.2014.
«четвертую
Владимир Колотухин,
заведующий
сектором
научно-
технологического развития Института экономики НАН Беларуси
На мировом рынке наряду с товарами, работами и услугами «четвертую корзину» составляют объекты интеллектуальной собственности (ОИС). В Республике Беларусь, как и в других странах Евразийского экономического сообщества, этот рынок находится в стадии формирования. К примеру, в России в среднем из 265 полученных научных результатов только один становится объектом правовой охраны. Вклад добавленной стоимости, которая образуется от оборота интеллектуальной собственности, в ВВП РФ - менее 1%. Это не просто мало, это очень мало. В США этот показатель равняется 12%, в Германии - 7-8, а в Финляндии - 20% [1].
В нашей стране на 31 декабря 2013 г. было зарегистрировано более 79,6 тыс. научно-исследовательских опытно-конструкторских работ и на это время действовало 6974 патентов, принадлежащих национальным заявителям, из них 3720 - на изобретения, 2373 - на полезные модели, 881 - на промышленные образцы. Таким образом, один объект правовой охраны в сфере ИС, действующий в 2014 г. получен в результате выполнения 12 НИОКР. Следующая проблема вытекает из того, что в течение последнего десятилетия в объеме финансирования научной сферы удельный вес бюджетных средств составляет около 50%, однако с их использованием коммерциализировано только 15% патентов на изобретения, 10% - на полезные модели и 11% -на промышленные образцы [2, 3].
