CC BY
19Проблемы использования наукометрических показателей в оценке инновационной деятельности вузов и научных организаций
Диваева Эльвира Альфретовна,
д.э.н., доцент, Заместитель генерального директора ООО «ЮКЦ «Отечество» [email protected]
Вопросы оценки научного потенциала и его результативности приобретают особую актуальность. В последние годы основными критериями оценки деятельности эффективности вузов и научных организаций стали наукометрические показатели, такие как: количество публикаций, индекс цитируемости, индекс Хирша. В статье анализируются недостатки применения наукометрических показателей для оценки научной деятельности и негативные последствия фетишизации заимствованных индикаторов. Автор подвергает критике одномерный подход, недостаточную объективность и обоснованность использования индикаторов в качестве основных показателей оценки всех видов научной деятельности. Рекомендованы меры по оценке научной деятельности, учитывающие многосторонность результатов научной деятельности, специфику видов исследований, конкретные функции научных организаций, целенаправленность их исследований, отраслевые особенности и включающие апробирование и проверку того или иного подхода оценки. Ключевые слова: наукометрические показатели, Российский индекс научного цитирования, индекс Хирша, рейтинг вузов, научно-исследовательская деятельность; результаты научной деятельности; оценка деятельности научных организаций; публикационная активность.
В настоящий момент особую роль приобретают вопросы объективной оценки уровня инновационного развития, в частности оценки инновационного потенциала и его результативности: объективны ли показатели; нет ли фетишизации одних показателей и политики дискриминаций других, как правило, более важных; достаточны ли они для оценки инновационной деятельности, в целом инновационного развития ; какие их недостатки и перспективы использования?
В международной практике накоплен значительный опыт построения индикаторов инновационного развития стран и регионов, оценки научного потенциала организаций и мы, как показывает практика, «успешно» его внедряем «широким фронтом».
В последние годы в процедуру оценки эффективности вузов и научных организаций в состав критериев для рейтингов деятельности стало обязательным включение количественных показателей исследовательской работы, применение которых не дает объективной оценки эффективности деятельности подавляющего большинства научных организации и вузов.
Эта тенденция началась с Указа Президента Российской Федерации от 7 мая 2012 г. № 599 « О мерах по реализации государственной политики в области образования и науки», в котором была поставлена задача увеличения доли работ российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных Web of Science до 2,44% к 2015 году и «вхождения к 2020 г. не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов» [1].
Попытка решения данной задачи привела к увеличению удельного веса узких по содержанию наукометрических показателей при формировании рейтингов, в монито-рингах университетов и НИИ, которые стали главными, всеобщими, безусловными критериями в оценке научных исследований.
Основные показатели, применяемые как наукометрические инструменты, делятся на две группы: показатели на основе количества публикаций и показатели на основе количества цитирований. Основные анализируемые объекты наукометрии: автор -публикация- журнал (издание).
Наукометрический показатель, предложенный в 2005 г. американским физиком Х. Хиршем в качестве альтернативы классическому «индексу цитируемости» - суммарному числу ссылок на работы учёного, основан на учёте числа публикаций исследователя и числа цитирований этих публикаций.
Индекс Хирша за последнее десятилетие стал общепринятой мерой научных достижений и неотъемлемым инструментом двух наиболее признанных индексов цитирования: Web of Science и Scopus, используемых в мировых рейтингах университетов и научной деятельности. Однако применение указанных наукометрических платформ для оценки публикационной активности и научной продуктивности именно российских исследователей не всегда дает корректные (полные) данные по двум основным причинам: в этих индексах цитирования учитываются только англоязычные публикации и отбор журналов традиционно имеет естественно-научную направленность [2].
По распоряжению Министерства образования и науки РФ Российский индекс научного цитирования (РИНЦ) вступил в действие в 2010 г. С этого времени данные публикационной активности, получаемые с помощью РИНЦ, стали отражаться в отчетных документах Минобрнауки, в рейтинговых и мониторинговых показателях, в гран-товой деятельности.
Интегральный показатель, рассчитываемый путем простого сложения количества упоминаний того или иного опубликованного исследования, не всегда отражает реальную значимость публикации, поскольку допускает:
- возможность спекуляций, «заказных» цитирований;
- самоцитирование (автором самого себя, соавторами друг друга, в журнале -публикаций того же журнала, аспирантами - научного руководителя и т.п.);
О
3
ю i
2 е
8
00
сэ
сч
£
Б
а
2 ©
- «противоцитирование» (упоминание публикации автора в контексте несогласия с его исследованиями) [2].
Такие количественные методы оценки научной деятельности не могут быть в полной мере объективны и не должны стать единственным критерием оценки науки.
«Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та, содержательная деятельность, которую он оценивает, а стремление любой ценной увеличить этот показатель», утверждает доктор физико-математических наук, академик РАН А. Паршин По его словам, «значительное количество ученых считает , что импакт-фактор является инструментом коммерции в руках издательств, а не инструментом научной оценки» [4].
Показатель, предложенный Хиршем - ученым в области физики, эффективен в естественно-научных дисциплинах, но применение его в социально-гуманитарных областях знаний вызывает много вопросов.
Х. Хирш считал, что применение одной этой количественной меры может дать только грубую аппроксимацию индивидуального профиля ученого, ее следует применять в случае, если дело касается грантов или подтверждения статуса ученого [3].
Многие российские ученые социально-гуманитарного профиля считают данные мировых индексов цитирования и всей наукометрии в целом некорректными, поскольку объектом изучения в данной дисциплине в большинстве случаев является статья в рецензируемом научном журнале [1]. Индексируемый контент (РИНЦ) ограничивался журналами, а публикации из мировых индексов цитирования Scopus и Web of Science повышают показатели исследователей, работающих в естественно-научных дисциплинах. При этом фундаментальные исследования в области гуманитарных дисциплин носят преимущественно монографический и методический характер.
Учитывая многолетнюю практику использования индекса Хирша в оценке деятельности российских ученых, особенно, социально-гуманитарного профиля, нельзя согласиться с мнением автора, о том что «индекс Хирша относится к тем наукометрическим показателям, которые в последнее время (кроме общего количества опубликованных работ и общего числа цитирований) стали рассматриваться как некоторые критерии качества на-
учной работы, приобретать все большее значение, особенно в связи с различными проверочными мероприятиями, проводимыми Министерством образования и науки РФ, учитываться при математическом моделировании систем менеджмента качества, для обеспечения социальной мотивации, применения принципов социального партнерства в сфере труда, улучшения качества трудовой жизни преподавателей и управления организационной культурой вузов» [5].
Разделить мнение автора можно только в части проверочных мероприятий, проводимых Министерством образованием и науки РФ.
«Хирш» российского варианта как суммарный показатель цитирования не только не дает оценки качества работ ученого, не является критерием истинной значимости в науке, но даже не может быть критерием востребованности одного ученого среди других ученых.
«Хирш» российской действительности - это скорее индикатор «приспособляемости» деятелей науки, преподавателей вузов к очередным требованиям Министерства образования и науки РФ.
Эффективность научно-исследовательской деятельности вузов, оцениваемая количественными критериями глобальных рейтингов университетов, зависит от личного вклада и публикационной активности каждого (автора) преподавателя. На результаты различных рейтингов опираются администрации учебных заведений при планировании работы вузов.
В погоне за более высокими рейтинговыми позициями руководство российских вузов ( в первую очередь тех, которые поставили цель к 2020 году войти в ТОП-100), требуют включения в индивидуальные планы преподавателей, в части научно-исследовательской работы обязательных публикаций в журналах РИНЦ, ВАК, Scopus. Прохождение преподавателями ежегодного конкурса целиком и полностью зависит от количества публикаций (об их научной значимости речи не идет), цитируемости, индекса Хирша, публикаций в мировых научных журналах.
Меры, предпринимаемые вузами по улучшению своего позиционирования в погоне за более высокими рейтинговыми позициями, являются чисто формальными по отношению к основным задачам деятельности учебного заведения и не оказывают прямого положительного влияния на качество образования и научно-исследовательскую деятельность.
Анализ показывает, что: многие университеты развивающихся и развитых стран стремятся «подражать элитным университетам», а не развивать свои собственные уникальные преимущества [6].
Таким образом, погоня за повышением позиций в рейтингах не обязательно приводит к реальному повышению качества работы вузов и порой потраченные усилия не приносят ожидаемого результата [6].
Применение одномерного подхода приводит к необъективной рейтинговой оценке университетов, т.к. не учитывает индивидуальные особенности современных вузов.
Положительный опыт по оценке инновационного развития полезен и необходим при осуществлении процессов мониторинга, анализа и регулирования, но когда уровень научного цитирования возводится в абсолют, становится главным критерием заслуг в ученой среде -это приводит к негативным последствиям.
От ученых научно-исследовательских организаций чиновники от Министерства требуют, чтобы результаты их исследований были опубликованы в зарубежных журналах под угрозой лишения грантов, преподаватели вузов под угрозой непрохождения ежегодного конкурса вынуждены «наращивать» количество публикаций, в том числе в зарубежных изданиях.
«Хирш» в среде преподавателей и ученых - «притча во языцех», постоянная «головная боль» по увеличению публикаций любыми путями - плагиатом, круговым цитированием, лексической переработкой много раз опубликованных идей.
Сегодня в научной и образовательной среде широко используются способы искусственной оптимизации или искусственного повышения индекса Хирша и импакт-фактора, когда команда единомышленников: коллеги договариваются цитировать друг друга, студенты и аспиранты цитируют своего научного руководителя. Поднять уровень публикационной активности сегодня помогут предложения в Интернете: « Повысим Ваш индекс Хирша в РИНЦ! Всего за 500 руб. за Вашу научную публикацию. Оставляйте заявки!», т.е. рейтинг инновационнос-ти учебных заведений, уровень вклада ученого сводится к вопросу финансов.
Подобные методы оценки научного потенциала, рейтинга отдельно взятого вуза, НИИ, на наш взгляд, не просто неоправданны, они вредны. В гонке за цифрами ученые и преподаватели вынужде-
ны отвлекаться от прямых своих обязанностей , реальных научных исследований, образовательного процесса.
Трудно не согласиться с мнением замдиректора института океанологии РАН, доктором биологических наук, членом-корреспондентом РАН М.Флинтом, который высказал свою точку зрения по вопросам оценки научного труда и повышения рейтинга иностранных журналов : « Но ориентация только на импакт-фактор журнала для оценки важности той или иной работы и на индекс Хирша, как единственный показатель уровня ученого, на мой взгляд, неверна для научных исследований, которые и есть творчество. Когда уровень цитирования возводится в фетиш - это для науки смертельно»[7].
Объективно оценить количество часов, которое требуется на написание одной серьезной статьи, имеющей научное значение не представляется возможным. Научная статья может быть результатом труда не одного месяца или не одного года, и не только одного ученого, а целого коллектива.
Однако согласно утвержденным администрацией вузов нормочасам, необходимых для написание одной статьи в зависимости от издания (включенных в перечень ВАК, индексируемых РИНЦ, индексируемых Web of Science или Scopus) и исходя из обязательных к выполнению индивидуальных планов по научно-исследовательской работе, преподаватели вынуждены публиковать в год до 10 статей в разных изданиях.
Например, в одном из ведущих гуманитарных московских государственных вузов трудоемкость 1 статьи в изданиях, индексируемых Web of Science или Scopus оценивается в 80 нормочасов, 1 статьи в изданиях, включенных в перечень ВАК Минобрнауки России - 20 нормочасов, 1 статья в изданиях, индексируемых Российским индексом научного цитирования - 10 нормочасов. При этом общая рекомендуемая ( т.е. обязательная к выполнению ) норма времени для планирования научно-исследовательской работы преподавателей составляет 300 нормочасов. Для того чтобы соответствовать этому требованию ( индивидуальному плану работы на учебный год) преподаватель обязан опубликовать не менее 15 ваковских статей; или 4 статьи, индексируемой в Scopus; или 30, индексируемых в РИНЦ или всех изданий в соответствующих пропорциях. Аналогичное положение имеет место в большинстве вузов РФ.
Такие критерии планирования научно-исследовательской работы и строгие , нео-
боснованные временные рамки оценки по сути творческого труда ученых порождают приспособленческое мировоззрение, сеют псевдонауку, не способствуют инновационному развитию экономики.
«Хиршевая лихорадка» - показательный пример очередного слепого бездумного заимствования западных ценностей и критериев, попытка не отстать от глобальных процессов происходящих в мире, диктуемых США.
Фетишизация индекса Хирша и подобных количественных индикаторов для оценки результатов труда ученых, исследователей, а также, как следствие, деятельности научных учреждений (фундаментального, поискового и прикладного характера) и исследовательских подразделений вузов противоречит законодательной базе научной деятельности в РФ. В документах, её составляющих, достаточно четко указаны обязанности и функции, а также необходимые результаты деятельности научных организаций и научных подразделений (секторов, отделов, центров) вузов, достигаемые трудом их научных сотрудников, ученых.
Что касается Указов Президента РФ от 7 мая 2012 г. № 599, то поставленная задача увеличения доли работ российских исследователей в общем количестве публикаций в мировых научных журналах совершенно правильная и обоснованная задача. Оценка научных достижений России посредством наукометрических показателей - это способ интеграции российских ученых в общемировой научный процесс. При этом ошибочно игнорировать другие показатели и индексы, объективно характеризующие результаты деятельности научных учреждений в зависимости от вида исследований (фундаментальные, поисковые, прикладные, научно-проектные, кон-структорско-технологические).
Показатель уровня научно-исследовательской активности считается одним из ключевых показателей развития страны и рассчитывается как общее количество научно-исследовательских статей, опубликованных в рецензируемых научных журналах и изданиях, включённых в систему индекса научного цитирования
В странах с развитой рыночной экономикой, таких как США, традиционно центрами научных исследований являются университеты, а признание научной значимости деятельности университета означает возможность получения государственной поддержки, поэтому наукометрическим уделяется большое внимание. Показатель уровня научно-исследовательской активности, как общее коли-
чество опубликованных научно-исследовательских статей, считается ключевым.
При этом США лидирует не только по числу научных публикаций, но, в первую очередь, по числу патентов, которые являются конечным результатом научной деятельности и определяют уровень инновационного развития страны. Другим важнейшим критическим параметром состояния современного научного потенциала США, например, является наличие достаточного количество полезных площадей в распоряжении академических центров для проведения научно-исследовательских работ.
Однополярный подход и проталкивание ограниченного круга очень узких по своему содержанию индексов и индикаторов противоречит и международным стандартам и методикам, посвященным оценке результатов научных исследований, разработанным в рамках международных организаций ОЭСР, ВЭФ, ЮНИ-ДО и др.. Системы стандартных показателей ОЭСР закреплены соответствующими руководствами: Руководством Фраскати, Патентным руководством, Руководством Канберры, Руководством Осло достаточно успешно применяются в развитых странах.
Если учесть многогранность результатов научной деятельности, специфику видов исследований, конкретные функции научных организаций и целенаправленность их исследований, отраслевые особенности, то становится ясной недостаточность, узость использования и ошибочность применения индекса Хир-ша и подобных индикаторов как основных показателей оценки деятельности всех научных организаций и подразделений вузов. Возникает вопрос: могут ли эти индикаторы, включая индекс Хирша, быть основными показателями оценки? Ответ однозначен: не могут.
Необходима система показателей, объективно характеризующих многосторонность результатов исследований (уровень разработок, экономический, социальный и экологический эффект).
Несистемность и недифференциро-ванность оценки деятельности научных организаций, недостаточная обоснованность соответствующих документов Ми-нобрнауки и фетишизация заимствованных индикаторов из-за ошибочного понимания проблемы привели к печальному явлению - погоне за количественной оценкой в ущерб показателям, отражающим реальные результаты, вытекающие из особенностей и специфики деятельности научных учреждений.
О
3
ю i
2 е
8
00
сэ
сч
£
Б
а
2 ©
В сложившейся ситуации резкое повышение уровня инновационности экономики становится проблематичным.
Для выхода из такого противоречивого положения, неразберихи, созданной непрофессиональным подходом (возможно, умышленным) необходимо осуществление ряда мер. К таким мерам можно отнести следующие:
1) пересмотр и уточнение тех положений и требований, разработанных соответствующими подразделениями Ми-нобрнауки РФ, на основе которых основными показателями оценки научной деятельности считаются вышеуказанные индексы, причем независимо от вида исследований;
2) четкое определение и разграничение тех научных организаций, где вышеназванные индексы могут (или должны) быть в числе основных показателей оценки (например, в фундаментальных исследованиях), где они могут быть использованы наравне с другими показателями (например, в поисковых исследованиях), где применение этих индексов может быть лишь с рекомендательным характером (например, в прикладных исследованиях, в проектно-экспериментальных разработках);
3) обоснование методологических принципов, на основе которых осуществляется выбор системы показателей, характеризующих результаты и эффективность деятельности научных организаций;
4) выбор и классификация показателей по группам с учетом выполняемых функций для различных типов научных организаций, соответствующих подразделений вузов и научно-технических комплексов (центров). Подавляющее большинство научных организаций и научно-технических подразделений вузов выполняет следующие функции, обусловленные общественными потребностями: научно-технические; технико-технологические; производственные; организационные; социально-психологические. Кстати, в настоящее время даже от научно-ориентированных институтов (например, от академических, выполняющих в основном фундаментальные исследования) требуют выполнения многих вышеуказанных функций. Успешное выполнение всех функций, характерных для научных учреждений, приводит к следующим результатам, выраженным в виде эффектов: научный, научно-технический, экономический, социальный, экологический, организационный, информационный и социально-политический. Группы оценочных показателей могут быть сформированы по этим результатам выполне-
ния, причем каждая группа может быть (должна быть) охарактеризована рядом частных показателей. Значимость (весомость) этих групп показателей может быть различной в зависимости от вида исследований;
5) отбор методов оценки обобщенных и интегральных показателей. Необходимость применения обобщенных и интегральных показателей объясняется большим количеством разнообразных частных показателей.
Такой методологический подход к оценке проверен экспериментальными расчетами и доказана возможность практического применения на различных уровнях управления: отдельные научные организации и вузы, научно-технические комплексы, отрасли и регионы. Возникшие противоречия, особенно обострившиеся за последние 5-6 лет, приводящие к необъективной оценке деятельности научных организаций при таком системном подходе в известной степени будут сглаживаться, что будет способствовать дальнейшему развитию инновационной экономики.
Совокупность мер и методов, включающих независимую экспертную оценку, применение разнохарактерные наукометрические показатели, разделение показателей применительно к отраслям знаний, этапам исследований, с учетом специфики деятельности различных типов научных организаций и видов исследований, привлечение ученых к обсуждению каждого нового метода оценки, апробирование и проверку того или иного подхода оценки можно считать объективным подходом к оценке научной деятельности.
Литература
1. О мерах по реализации государственной политики в области образования и науки. Указ Президента Российской Федерации от 7 мая 2012 г. № 599 / / Российская газета. 2012. 9 мая http:// www.rg.ru/2012/05/09/ nauka-dok.html
2. Болотов В.А., Квелидзе-Кузнецов Н.Н., Лаптев В.В., Морозов С.А. Индекс Хирша в Российском индексе научного цитирования//Вопросы образования. -2014.- № 1.- С. 243 - Режим доступа: https://vo.hse.ru/data/2014/03/21/ 1318378931/Bolotov.pdf
3. Бредихин С.В., Кузнецов А.Ю., Щербакова Н. Г. Анализ цитирования в библиометрии. Новосибирск; М.: ИВ-МиМГ СО РАН; НЭИКОН, 2013. Режим доступа: http://academy.rasep.ru/files/ documents/Bibliometria2_Light.pdf
4. Мухаматулин Т. Проверить цифрами науку/ Газета.ш., М., 2013.
URL: https://www.gazeta.ru/science/ 2013/11/11_a_5745593.shtml
5. Назаренко М. А. Индекс Хирша лидеров Российского индекса научного цитирования по числу публикаций// Международный журнал прикладных и фундаментальных исследований.- 2013.- № 6. - С. 149-150.
6. Правда о рейтингах университетов/ UniPage. [сайт]. URL: https:// www.unipage.net/ru/about_raiting_systems
7. Чуйков А. Чужая наука за российские рубли / Александр Чуйков //Аргументы недели . - 2018. - 5(589) февр. - С. 3.
The problems of using scientometric indicators in the evaluation of innovative activity of universities and scientific organizations. Divaeva E.A. LLC «YKTS» Otechestvo «
The issues of assessing the scientific potential and its effectiveness are of particular relevance. In recent years, the main criteria for assessing the performance of universities and scientific organizations have become scientometric indicators, such as: the number of publications, the citation index, the Hirsch index. The article analyzes shortcomings in the use of scientometric indicators for assessing scientific activity and the negative consequences of fetishization of borrowed indicators. The author criticizes the one-dimensional approach, the lack of objectivity and validity of the use of indicators as the main indicators of the evaluation of all types of scientific activity. The measures have been recommended for the evaluation of scientific activities, taking into account the diversity of scientific results, the specific nature of research, the specific functions of scientific organizations, the focus of their research, industry specific features and including the testing and verification of an evaluation approach. Keywords: scientometric indicators, the Russian index of scientific citation, the Hirsch index, the rating of universities, research activities; results of scientific activity; assessment of the activities of scientific organizations; publication activity References
1. On measures to implement state policy in the
field of education and science. Decree of the President of the Russian Federation of May 7, 2012 No. 599 // Rossiyskaya Gazeta. 2012. May 9 URL: http://www.rg.ru/2012/05/09/ nauka-dok.html
2. Bolotov VA, Kvelidze-Kuznetsov NN, Laptev VV,
Morozov SA Index Hirsch in the Russian index of scientific citation / / Education. -2014.-No. 1.- P. 243. URL : https://vo.hse.ru/data/ 2014/03/21/1318378931/Bolotov.pdf
3. Bredikhin SV, Kuznetsov A.Yu., Shcherbakova
NG Analysis of citation in bibliometry. Novosibirsk; Moscow: IVM & MG SB RAS; NEIKON, 2013. URL: http://academy.rasep.ru/ files/documents/Bibliometria2_Light.pdf
4. Mukhamatulin T. Check numerals science /
Gazeta.ru., M., 2013. URL: https:// www.gazeta.ru/science/2013/11/ 11_a_5745593.shtml 5. Nazarenko MA Index of Hirsch leaders of the Russian index of scientific citation on the number of publications // International Journal of Applied and Fundamental Research .- 2013.- No. 6. - P. 149-150.
6. The truth about the ratings of universities /
UniPage. [site]. URL: https:// www.unipage.net/ru/about_raiting_systems
7. Chuikov A. Foreign science for Russian rubles /
Alexander Chuikov // Arguments of the week. - 2018. - 5 (589) february. - P. 3.
