CC BY
56
УДК 001.38
Юревич Максим Андреевич,
научный сотрудник сектора проблем гармонизации российского и международного права в области науки и инноваций РИЭПП, тел.: (495)917-21-35, e-mail: yurevm@riep.ru
ПРЕДЛОЖЕНИЯ ПО ПОВЫШЕНИЮ РЕЛЕВАНТНОСТИ БИБЛИОМЕТРИЧЕСКОЙ ОЦЕНКИ
научной деятельности1
Библиометрические показатели относятся к числу важных инструментов науковедческого анализа. «Среди задач наукометрии выделены: построение и анализ кривых роста для отечественной науки; изучение структуры организации научных исследований; исследование проблемы подбора и подготовки кадров; прогноз и управление развитием науки» [1]. Также к этим задачам могут быть отнесены: изучение дисциплинарной структуры науки, определение научных школ, выявление национальных особенностей публикационной деятельности и т. п.
Показателям публикационной активности отводится основная роль в оценке научной продуктивности как отдельных ученых, исследовательских и образовательных организаций, так и национальной сферы НИОКР в целом. Среди главных преимуществ этих метрик - простота и доступность подобных измерений для лиц, не являющихся профессиональными науковедами, что обеспечивает возможность широкого применения таких показателей для обоснования принятия государственными органами тех или иных решений, составления рейтингов научных и образовательных учреждений, наконец, - распределения финансирования.
Несмотря на указанные достоинства библиометрической оценки, ее результаты нуждаются в дополнении экспертными оценками. Необходимость комплексного подхода к оценке научной продуктивности вытекает не только из тех ошибок и неточностей, которые содержатся в реферативных базах данных (как отечественной, так и зарубежных), но и самой сути статистической единицы научной продукции, будь это публикация или цитирование.
1 Исследование выполнено при финансовой поддержке РГНФ, проект № 13-06-00688 «Культура российского научного сообщества: интеграция индивидуального и организационного уровней».
120
Юревич М. А.
Преимущества использования показателей публикационной активности
Одной из важнейших предпосылок введения показателей публикационной активности для количественной оценки результативности функционирования научно-технической сферы является убежденность в достоверности статистики в этой области. Как правило, первый пласт доказательств данной предпосылки строится на противопоставлении количественных инструментов оценки научной деятельности экспертным методам. Последние критикуются за повсеместное проявление необъективности, предвзятости и коррумпированности. Иными словами, меняя состав экспертной комиссии, всегда можно ожидать изменение получаемых экспертных оценок. Напротив, данные, получаемые из библиометрических баз данных, в особенности зарубежных, которые априори не подвержены лоббизму со стороны отечественных научных организаций или ученых, лишены этих недостатков. Кроме того, использование библиометрического метода существенно сокращает сроки получения искомых результатов. Подобная позиция подкрепляется и необходимостью проведения сплошной оценки, касающейся результативности деятельности научных организаций, которую осуществляет Министерство образования и науки, и которую в скором времени предстоит реализовывать Федеральному агентству научных организаций.
Второй блок доказательств состоит из успешных примеров использования этих инструментов в зарубежных странах, в частности для ранжирования научных организаций с последующим определением объема финансирования. Также широко распространена практика введения обязательных нормативов публикационной активности для ученых, занимающих постоянные позиции (tenure) в университетах и лабораториях. Кроме того, библиометрические показатели оказывают непосредственное влияние на формирование спроса на конкретные категории научных кадров: «Стремление к высокому рейтингу рождает конкуренцию внутри научно-образовательной среды: университеты стремятся «перекупать» друг у друга специалистов с высокими индивидуальными показателями, увеличивая свой» [2]. А это в свою очередь приводит к интенсификации межорганизационной и международной мобильности исследователей и оказывает, безусловно, положительное влияние на развитие науки. Отдельно стоит отметить значимость показателей публикационной активности при построении международных рейтингов университетов: в методике расчета рейтинга Times Higher Education World University Rankings [3] вес показателя (нормализованного по научным областям) количества цитирований в общем значении составляет около 30%, а в рейтинге университетов World University Rankings [4], выпускаемом компанией Quacquarelli Symonds, значение показателя числа цитат на одного преподавателя вносит 20-процентный вклад в общую оценку.
Третьим значимым аспектом использования статистики публикаций и цитат выступает стремление органов государственной власти стимулировать отечественных ученых публиковаться в зарубежных или
Предложения по повышению релевантности библиометрической оценки 121
отечественных журналах, индексируемых международными реферативными базами данных. Данная мера способствует интеграции российской науки в мировое научное пространство, интенсификации двустороннего обмена передовым научным знанием и повышению престижа российской науки на мировой арене. Более того, участие в конкуренции за право опубликоваться в высокорейтинговом журнале с зарубежными коллегами приводит к повышению качества проводимых исследований и подготавливаемых материалов.
Негативные следствия использования показателей публикационной активности
Принимая во внимание описанные обоснования использования показателей публикационной активности в государственной политике, следует отметить и ряд существенных, связанных с использованием этих показателей факторов, которые оказывают сдерживающее, а в некоторых случаях и негативное воздействие на развитие отечественной науки. Причем, учитывая тот факт, что в нормативных документах уже отражены подобные показатели, необходимо выделить возможные последствия использования библиометрии, которые если еще и не проявились, то в скором времени вполне могут возникнуть.
Главное направление критики применения показателей публикационной активности строится на возникающей «погоне за рейтингами»: в условиях необходимости повышения собственных показателей, которые определяют объем финансирования, ученым и научным организациям приходится ориентироваться, скорее, на формальную деятельность, обеспечивающую рост резонансных статистических показателей, а не на реальные, подлинные научные исследования, т. е. имитировать научную деятельность. Иными словами, вступает в действие принцип Ч. Гудхарта, суть которого заключается в том, что когда достижение показателя становится целью, он перестает быть хорошим показателем. Среди основных действий, направленных на недобросовестное увеличение научных рейтингов, принято выделять:
• Дробление полноценного и самостоятельного материала на несколько небольших статей.
Поскольку одним из основных показателей оценки публикационной активности ученых и научных организаций является количество статей, то, с этой точки зрения, «выгоднее» публиковать результаты исследований не в форме одной объемной статьи, а серией более лаконичных работ, в которых, как правило, обильно присутствует самоцитирование. Как пишет А. И. Орлов: «Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие... В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей» [5].
122
Юревич М. А.
• Приписывание фиктивных соавторов.
Еще одним способом «накрутки рейтингов» является включение в число соавторов ученых, не внесших реального вклада в исследование. Благоприятную почву для такого поведения создает неучет в оценке количества публикаций числа авторов, написавших эту работу.
• Партнерские соглашения между научными организациями, журналами или учеными в области взаимного цитирования.
Такие соглашения возникают вследствие самой природы цитирования: нет никаких норм и правил (да вряд ли они могут и быть), касающихся использования списка литературы, в который могут быть включены работы, не имеющие отношения к самой статье. Поэтому подобное сотрудничество является взаимовыгодным и не требует никаких издержек, кроме моральных. Пример такого взаимодействия описан в статье Д. Арнольда и К. Фаулера «Гнусные цифры» [6], где объединение нескольких журналов и членов их редакционных коллегий позволило заметно увеличить статистику цитирования в течение нескольких лет.
Помимо стимулов к подобному, так называемому оппортунистическому поведению, формирующихся у субъектов научной деятельности, необходимо отметить и негативные последствия, возникающие в результате применения библиометрических методов оценки для научных направлений в России. В первую очередь это связано с оценкой библиометрических показателей в социогуманитарной сфере, которая крайне незначительно представлена в зарубежных базах данных. По мнению отечественных ученых А. В. Юревича и И. П. Цапенко «...одна из главных функций социогуманитарной науки - сделать человека и общество лучше, причем не столько все человечество, сколько общество в той стране, в которой та или иная национальная наука развивается» [7]. Соответственно использование библиометрических методов в этой области угрожает отвлечением отечественных социогуманитариев от решения национальных социальных проблем, переориентируя их проблематику на релевантную за рубежом и соответственно повышающую их шансы пройти редакционную коллегию иностранных журналов.
В технических науках также есть проблема дисциплинарных особенностей учета статистики цитирований. С одной стороны, библиометрический инструментарий позволяет производить сплошную - по всем научным направлениям - оценку результативности, а с другой - в каждом направлении присутствуют особенности научного цитирования [8]. Таким образом, игнорирование этих особенностей способно привести к недооценке отдельных дисциплин.
Использование зарубежных реферативных баз данных для оценки отечественной науки может быть неблагоприятным для нее и в силу сильного смещения этих баз в сторону англоязычных публикаций. В стремлении попасть в зарубежные научные журналы российские ученые будут писать статьи на английском языке, что существенно сократит численность потенциальных читателей в России [9].
Сопоставляя все перечисленные достоинства и недостатки использования библиометрических методов, трудно однозначно назвать этот
Предложения по повышению релевантности библиометрической оценки 123
инструмент эффективным средством оценки элементов научно-технической сферы в России. Однако и полностью деструктивным для отечественной науки он также не выглядит. В сложившихся условиях требуется оптимизация возможных показателей публикационной активности в сторону усиления положительных аспектов использования библиометрии наряду с ослаблением ее негативных последствий. На данный момент система действующих в РФ библиометрических показателей не является безупречной, особенно учитывая существующие в ней противоречия.
Обзор и предложения по оптимизации библиометрических показателей в РФ
В России активное использование статистики публикаций и цитирований началось сравнительно недавно, что проявилось во включении ряда библиометрических показателей в государственные программы и методики оценки. Более того, концептуальный фундамент масштабного проекта «Карта российской науки» во многом состоит из наукометрических данных, которые были взяты из зарубежной и российской реферативных баз данных. Основными источниками получения статистической информации о публикационной активности ученых и индикаторов цитирования являются базы данных, включающие статьи, тезисы докладов, обзоры, монографии и прочее. Среди зарубежных баз данных публикаций наиболее востребованными являются Web of Science (компания Thomson Reuters) и Scopus (компания Elsevier), в меньшей степени Google Scholar. В России основной базой является Российский индекс научного цитирования (РИНЦ). Список показателей, используемых в государственных программах и методиках, представлен в табл. 1.
Таблица 1. Перечень библиометрических показателей в государственных программах и методиках
№ Наименование показателя Программа, методика
1 Доля публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных WEB of Science Указ «О мерах по реализации государственной политики в области образования и науки»; «Стратегия инновационного развития Российской Федерации на период до 2020 года»; Госпрограмма «Развитие науки и технологий» на 2013-2020 годы
2 Число цитирований в расчете на 1 публикацию российских исследователей в научных журналах, индексируемых в базе данных WEB of Science «Стратегия инновационного развития Российской Федерации на период до 2020 года»; Госпрограмма «Развитие науки и технологий» на 2013-2020 годы; Приложение к типовой методике оценки результативности деятельности научных организаций
124
Юревич М. А.
Продолжение таблицы 1
№ Наименование показателя Программа, методика
3 Число публикаций российских авторов в научных журналах, индексируемых в базе данных Scopus, в расчете на 100 исследователей Госпрограмма «Развитие науки и технологий» на 2013-2020 годы
4 Удельный вес публикаций в соавторстве с зарубежными учеными в общем числе публикаций российских авторов в научных журналах, индексируемых в базе данных S^pus Госпрограмма «Развитие науки и технологий» на 2013-2020 годы
5 Число публикаций работников научной организации в РИНЦ, отнесенное к численности исследователей Приложение к типовой методике оценки результативности деятельности научных организаций
6 Цитируемость работников научной организации в РИНЦ (общее число ссылок на публикации работников научной организации в РИНЦ, отнесенное к численности исследователей научной организации) Приложение к типовой методике оценки результативности деятельности научных организаций
7 Число публикаций работников научной организации в Web of Science, отнесенное к численности исследователей Приложение к типовой методике оценки результативности деятельности научных организаций
8 Импакт-фактор публикаций работников научной организации в Web of Science Приложение к типовой методике оценки результативности деятельности научных организаций
Источники: [10-13].
Как видно из табл. 1, большая часть государственных программ ставит во главу угла повышение доли российских публикаций в базе WoS, что на практике означает ежегодное превышение темпов среднемирового роста числа публикаций, индексируемых в этой базе. Причем динамика роста мирового массива публикаций обеспечивается не столько за счет государств с развитой наукой (например, США, Великобритания, Германия, Франция и т. д.), сколько усилиями ученых из стран с развивающимся сектором исследований и разработок. Рост индикаторов публикационной активности в развивающихся странах вызван как увеличением качества и объема научных исследований, так и значительным ростом численности ученых и величины финансовых вложений в научно-техническую сферу. Эти два обстоятельства позволяют говорить о недостаточной эффективности этого индикатора без учета дополнительных параметров. Сравнительная статистика по странам количества и доли в мировом объеме статей, индексируемых в базе WoS, представлена в табл. 2.
Предложения по повышению релевантности библиометрической оценки 125
Таблица 2. Сравнительная статистика количества и доли в мировом объеме статей, индексируемых в базе WoS
Страна* Число статей, ед. Доля статей, % Число статей, ед. Доля статей, % Прирост числа статей с 2003 по 2013 год Изменение доли с 2003 по 2013 год, %
2013 год 2003 год
Иран 26 605 1,426 3931 0,275 5,767998 1,151
Китай 260 428 13,962 65 872 4,611 2,953546 9,351
Индия 61 117 3,277 24 970 1,748 1,447617 1,529
Турция 29 659 1,590 13 198 0,924 1,247234 0,666
Бразилия 42 864 2,298 19 108 1,338 1,243249 0,960
Южная Корея 55 857 2,995 26 547 1,858 1,104080 1,137
Тайвань 31 536 1,691 16 603 1,162 0,899416 0,529
Испания 64 789 3,474 34 306 2,401 0,888562 1,073
Австралия 64 408 3,453 35 030 2,452 0,838653 1,001
Польша 26 036 1,396 16 028 1,122 0,624407 0,274
Швейцария 31 745 1,702 20 236 1,416 0,568739 0,286
Нидерланды 44 835 2,404 29 082 2,036 0,541675 0,368
Бельгия 24 179 1,296 15 866 1,111 0,523951 0,185
Италия 73 704 3,951 51 106 3,577 0,442179 0,374
Канада 75 909 4,070 55 997 3,920 0,355590 0,150
Швеция 27 689 1,484 20 524 1,437 0,349103 0,047
Англия 125 082 6,706 97 523 6,826 0,282590 -0,120
Германия 121 731 6,526 95 340 6,674 0,276809 -0,148
Франция 83 343 4,468 65 403 4,578 0,274299 -0,110
США 498 410 26,721 461 353 32,294 0,080322 -5,573
Россия 31 680 1,698 29 850 2,089 0,061307 -0,391
Япония 92 924 4,982 102 823 7,197 -0,096270 -2,215
* в таблице указаны данные по странам, имевшим более 1% доли в общемировом объеме публикаций за 2013 год.
Источник: база данных Web of Science, расчеты автора.
Показатель «Число цитирований в расчете на 1 публикацию», указанный в табл. 1 под номером 2, также имеет специфику вычисления и в определенном смысле противоречит относительному показателю общего числа статей (номер 3). Значительный рост общего количества публикаций в краткосрочном периоде будет негативно влиять на число цитирований на 1 публикацию, т. к. средняя статья получает основную массу цитирований не в первый год размещения в базе публикаций. Соответственно, если рассматривать этот индикатор совместно с мерами, предпринимаемыми государственными органами, то необходимо учитывать временной лаг, который можно вычислить, используя такой
126
Юревич М. А.
показатель как «время полужизни статей» (или медианный возраст процитированных статей).
Показатели № 3 и 4 из табл. 1 в значительно большей степени способны релевантно оценить научную результативность национальной системы или организации. Количество публикаций, разделенное на количество исследователей, позволяет сравнивать объекты, существенно различные по численности научных работников. Публикации, написанные совместно отечественными и зарубежными учеными, отражают степень международного взаимодействия, характеризуют степень интегрированности российской науки в мировую, а также позволяют отследить конкретные связи между научными организациями. При всех достоинствах этих двух показателей остается не ясно: почему их вычисление происходит по базе Scopus2, в то время как остальные библиометрические показатели из Госпрограммы «Развитие науки и технологий» основаны на Web of Science. Важно учитывать, что эти две базы публикаций имеют существенные различия в области географического покрытия, предметной ориентированности, по числу учитываемых журналов (табл. 3).
Таблица 3. Сопоставление ключевых характеристик реферативных баз данных Web of Science и Scopus
Характеристика Web of Science Scopus
Число индексируемых журналов всего 18 843 29 566
в т. ч. в обеих базах 14391
Число индексируемых российских журналов 192 290
в т. ч. в обеих базах 158
Период покрытия с 1900 года с 1966 года
География публикаций Преобладает США и Европа В большей степени включены страны Азии и Латинской Америки
Доля социогуманитарных журналов в общем числе 30% 17%
Аналитический аппарат Учитывая надстройки (в частности Incites, JCR и SCImago Journal and Country Rank) практически идентичен
Различия в индексе Хирша по странам Не существенны
Источник: [10].
2 Справедливо будет заметить, что в случае совместных публикаций использование Scopus позволяет избежать дополнительных вычислений, т.к. этот показатель присутствует в приложении к системе SCImago Journal and Country Rank. В Web of Science этой функции нет.
Предложения по повышению релевантности библиометрической оценки 127
По предметной ориентированности в базе Scopus преобладают технические и компьютерные дисциплины, а также науки о жизни; в Web of Science в большей степени отражены исследования в области клинической медицины, биологии и физики [15]. Однозначно сказать, какая из двух баз больше отвечает цели обеспечения адекватной оценки российской науки, - весьма затруднительно, однако существующая практика одновременного использования различных индикаторов, рассчитанных по каждой из баз, требует убедительного обоснования.
В «Приложении к типовой методике оценки результативности деятельности научных организаций» [13] содержатся два показателя, рассчитываемых на основе базы РИНЦ. Следует признать, что эти показатели отвечают задачам обеспечения сопоставимости российских научных учреждений между собой, однако находятся в сильной зависимости от включения базовых для организации журналов в число реферируемых. Еще одним обстоятельством, которое способно исказить оценку, выступает наличие ошибок в самой базе публикаций. К числу ее наиболее существенных недостатков можно отнести учет абсолютно всех материалов, содержащихся в журнале в качестве статей, в т. ч. некрологов, обзоров конференций, рецензий на статьи и прочее (в качестве примера можно привести один из крупнейших журналов в области психологических наук «Вопросы психологии»).
Индикатор числа статей в Web of Science, отнесенный к количеству исследователей, позволяет сравнивать между собой организации, отличающиеся по объему кадрового состава; тем не менее, возникает трудность учета публикаций, которые были подготовлены авторами из разных научных учреждений. Вклад отдельного автора в создание статьи оценить даже экспертным способом весьма сложно, тем более это совершенно невозможно в рамках масштабной статистической оценки. Одним из вариантов разрешения данной проблемы является учет публикаций в зависимости от количества авторов, который в частности нашел применение в показателях оценки научной деятельности, учитываемых в ПРНД [16]; т. е. если работа была написана тремя авторами, то в ходе оценки каждый из авторов получает по одной трети единицы показателя. Альтернативный метод используется в МГУ им. М. В. Ломоносова: вклад каждого члена авторского коллектива является обратно пропорциональным квадратному корню из количества авторов [17]. Однако эти способы тоже не лишены недостатка, связанного с «вознаграждением» номинальных участников написания работы. Возможно, выходом из подобной ситуации могло бы служить разделение всех научных трудов, аффилированных к организации, на две группы: 1) написанные только сотрудниками учреждения и 2) подготовленные в соавторстве с коллегами из других организаций, которые бы учитывались с меньшим коэффициентом.
Показатель импакт-фактора статей призван охарактеризовать качество научных работ. Он вычисляется исходя из количества ссылок, которые получают работы, опубликованные в журнале; эти ссылки делятся на общее количество работ (в случае «Приложения к типовой методике оценки результативности деятельности научных организаций» это вы-
128
Юревич М. А.
числение происходит за последние пять лет, хотя достаточно распространены варианты расчета этой статистики за три года). Полученный импакт-фактор журнала присваивается статье. Таким образом, чем более востребован у научного сообщества журнал, тем выше у него импакт-фактор, чем выше импакт-фактор, тем сложнее попасть в этот журнал или тем выше требования к статье. Основным недостатком импакт-фактора статей является смещение оценки в сторону качества журнала, особенно учитывая продолжительный временной интервал расчета показателя. Иными словами, работы, опубликованные другими авторами несколько лет назад, получившие признание в виде обильного цитирования у научной общественности, оказывают значительное влияние на вычисляемый уровень качества работы, опубликованной в последнем году, которая может вообще не получить ссылок. Необходимо признать, что в наукометрии пока нет альтернативного приема моментальной оценки качества статьи, т. к., например, вычисление числа ссылок не может быть релевантным показателем в первый год существования статьи (по уже описанным причинам).
Заключение
Несмотря на все перечисленные недостатки использования библиометрии при формировании государственной политики в области научнотехнического регулирования, этот инструмент выглядит значительно более объективным, чем только экспертные методы оценки научной результативности ученых и научных организаций. Следует особо подчеркнуть, что получаемая библиометрическая статистика уже содержит два уровня экспертной проверки. На первой стадии редакционная коллегия отбирает статьи, которые будут приняты к печати, а на второй - уже другая группа специалистов проводит селекцию журналов для включения их в базу данных.
Вместе с тем даже при включении различных инструментов повышения релевантности библиометрических данных (учет дисциплинарных особенностей, национальной культуры цитирования и пр.), а также устранении локальных несогласованностей и противоречий в использовании различных показателей публикационной активности, оценка научной результативности не может состоять только из показателей публикаций и цитирований. Наиболее оптимальным методом комплексной оценки видится составление интегральной модели, в которой будут также учитываться патенты и авторские свидетельства, монографии, учебники и методики, аналитические и консультативные материалы для органов власти, выступления на российских и международных конференциях, а также в СМИ, гранты отечественных и международных научных фондов, участие в государственных научных программах, членство в отечественных и международных научных организациях, в редакционных коллегиях и советах научных изданий и др., международные и национальные научные награды и премии, руководство аспирантами
Предложения по повышению релевантности библиометрической оценки 129
и докторантами, курсовыми и дипломными работами и др. - с различными весами для отдельных научных направлений. Вероятно, следует применять в такой модели альтернативный механизм учета результатов, т. е. предоставить возможность ученому самому выбирать, что он более успешно может осуществить: получить патент или написать несколько статей.
Так или иначе, применяемые сейчас в России механизмы оценки публикационной активности нуждаются в корректировке, в противном случае получаемые данные не будут отражать реального состояния российской науки, что впоследствии может привести к неадекватному распределению финансовых ресурсов между представителями различных областей наук или научных и научно-образовательных учреждений, что в свою очередь может привести к дисбалансам в развитии целых звеньев отечественной сферы НИОКР.
Список использованных источников
1. Соловьева И. В. Философия науки и науковедение: традиционные парадигмы и современность // Актуальные проблемы гуманитарных и естественных наук. № 3. 2013. С. 84-93.
2. Душина С. А., Ащеулова Н. А. Новые формы организации науки: роль мобильности // Социология науки и технологий. Т. 2. 2011. С. 69-82.
3. Методология расчета рейтинга университетов Times Higher Education World University Rankings. URL: http://www.timeshighereducation. co.uk/world-university-rankings/2012-13/world-ranking/methodology.
4. Методология расчета рейтинга университетов World University Rankings. URL: http://www.iu.qs.com/university-rankings/world-university-rankings.
5. Орлов А. И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами. Спец. вып. 44: Наукометрия и экспертиза в управлении наукой. 2013. С.32-54.
6. Арнольд Д., Фаулер К. Гнусные цифры // Игра в цыфирь или как теперь оценивают труд ученого (сб. статей по библиометрике). М.: Изд-во МЦНМО, 2011. С. 52-62.
7. Юревич А. В., Цапенко И. П. Еще раз об оценке мирового вклада российской науки. // Альманах «Наука. Инновации. Образование». № 13. Языки славянской культуры, 2013. С. 60-84.
8. Коцемир М. Н. Публикационная активность российских ученых в ведущих мировых журналах // Acta Naturae. Т. 4. № 2 (13). 2012. С. 15-35.
9. Гринченко C. Н. Имеет ли решение задача перманентной оценки вклада ученого в науку? / Управление большими системами. Спец. вып. 44: Наукометрия и экспертиза в управлении наукой. 2013. С. 280-291.
130
Юревич М. А.
10. Указ Президента РФ от 07 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки».
11. Стратегия инновационного развития Российской Федерации на период до 2020 года «Инновационная Россия - 2020».
12. Государственная программа Российской Федерации «Развитие науки и технологий» на 2013-2020 годы.
13. Приказ Министерства образования и науки Российской Федерации от 14 октября 2009 г. № 406 «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытноконструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения».
14. HLWIKI Canada contributors. Page name: Scopus vs. Web of Science. URL: http://hlwiki.slais.ubc.ca/index.php/Scopus_vs._Web_of_Science.
15. Muzammil T., Rose A. A., Aryati B. Bibliometrics, reference enhanced databases and research evaluation // Knowledge Management International Conference (KMICe) 2012. Johor Bahru, Malaysia, 4-6 July 2012.
16. Максимова Н. Н., Максимов А. Л. Некоторые аспекты применения наукометрических показателей в оценке эффективности научной деятельности // Вестник ДВО РАН. № 5. 2009. С. 149-157.
17. Гусейн-Заде С. М. Повесть об ИСТИНЕ // Управление большими системами. Спец. вып. 44: Наукометрия и экспертиза в управлении наукой, 2013. С. 422-435.
