CC BY
84
Наукометрия
Вестник ДВО РАН. 2009. № 5
УДК 001.89 (571.56+571.65)
Н.Н.МАКСИМОВА, А.Л.МАКСИМОВ
Некоторые аспекты применения наукометрических показателей в оценке эффективности научной деятельности
Процесс реформирования деятельности Российской академии наук, определенный постановлением Правительства РФ от 22 апреля 2006 г № 236, завершается. Важнейшая составляющая этого постановления - совершенствование в течение 2006-2008 гг. системы оплаты труда научных работников и руководителей научных учреждений.
Основным нормативным документом, призванным обеспечить повышение эффективности научной деятельности при планируемом 15%-м сокращении кадрового состава, явился разработанный тремя ведомствами (Министерством образования и науки, Министерством здравоохранения и социального развития и Российском академией наук) приказ от 3 ноября 2006 г. № 273/745/68 (далее Тройственный приказ). Этот документ утверждал порядок применения стимулирующих выплат для научных сотрудников. Его основополагающим разделом является установление стимулирующих надбавок по индивидуальным показателям результативности научной деятельности сотрудников.
К основным наукометрическим показателям деятельности ученого, как отмечают в своей работе индийские ученые М.Бантилана с соавторами, относятся: количество публикаций, показатели цитируемости, импакт-факторы журналов, а также рецензионная оценка. Кроме того, существует много новых аспектов, кроме книг и журнальных статей, которые также необходимо учитывать. Полный диапазон этих показателей должен быть классифицирован по категории их важности для институтов. Только по всей совокупности критериев и определяется успешность исследовательской деятельности, или рейтинг, ученого [7].
Необходимо отметить, что к моменту вступления в силу пилотного проекта в Российской Федерации практически отсутствовала единая система объективного рейтинга научных журналов. За последние более чем 40 лет почти все библиометрические исследования научных изданий основаны на статистике баз данных Указателя научного цитирования литературы (Science Citation Index, SCI) и Указателя цитируемости журналов (Journal Citation Reports, JCR), выпускаемых Институтом научной информации США (ISI) [4, с. 5].
В базы данных ISI в абсолютном большинстве включены англоязычные журналы, поэтому российские исследователи, публикующие свои работы в отечественных, пусть и авторитетнейших академических изданиях, находятся в дискриминационном положении. И это несмотря на то, что в них с 1993 г. учитывались научные журналы, издаваемые в СССР (которых было значительно больше, чем теперь российских). Существующая в настоящее время база данных цитируемости индивидуальных ученых, представленная на сайте www. scientific.ru и основанная на данных ISI, весьма ограничена и - более того - учитывает только первых авторов статьи. Значительные погрешности по цитируемости организаций
МАКСИМОВА Наталья Николаевна - заведующая отделом научно-информационного обеспечения, МАКСИМОВ Аркадий Леонидович - доктор медицинских наук, директор (Международный научно-исследовательский центр «Арктика» ДВО РАН, Магадан). E-mail: arktika@online.magadan.su
и отдельных ученых вносит то, что в английском правописании названий институтов и фамилий существуют их различные версии. Эти недостатки частично преодолены в Российском индексе научного цитирования (РИНЦ), который с 2005 г размещается на сайте Научной электронной библиотеки (см. http://elibrary.ru/projects/citation/cit_index.asp). Но и в РИНЦ есть большой недостаток - он не учитывает (пока) цитирование работ наших ученых в зарубежных журналах.
Создатель SCI доктор Ю.Гарфилд неоднократно подчеркивал, что нельзя судить о деятельности ученого путем подсчета ссылок на его публикации. Высокие показатели цитирования означают только то, что работа исследователя оказала влияние на работы коллег, а судить о значимости такого труда могут только эксперты в данной области знания [8]. На более значимую роль оценки независимых рецензентов при определении результативности работы отдельных ученых относительно других библиометрических показателей указывает также в своих исследованиях Т. Фелан [9].
Свое мнение об оценке значимости научных работ в области экологии по цитируемости высказал Г. С.Розенберг, который отметил, что без создания российского аналога SCI использование гарфилдовского SCI практически ничего не дает, так как российские ученые широко цитируют зарубежных специалистов, а зарубежные российских - нет. Поэтому и цитируемость российских ученых намного ниже, чем зарубежных. Кроме того, высказанное в научной статье ошибочное или заведомо ложное исследование может получить высокий индекс цитирования из-за большого количества критических отзывов на нее [6].
Поэтому попытка Министерства образования и науки придать особое значение индексу цитирования (так значится в Тройственном приказе) при определении рейтинга страны в мировом научном сообществе и эффективности работы отдельного ученого для его последующего денежного поощрения требует серьезной критической оценки. Наверное, поэтому до сих пор разработчиками Тройственного приказа не были установлены правила учета российского индекса цитирования при определении показателя результативности научной деятельности (ПРНД) научных работников, несмотря на то что период реализации пилотного проекта уже завершается.
Хотелось бы более подробно проанализировать положения Тройственного приказа по сравнению с действующей ранее системой стимулирования научных работников (рис. 1). Как видно из рисунка, некоторые направления деятельности не были приняты во внимание при оценке эффективности работы. Так, в частности, никаким образом не учитывается, а значит и не стимулируется, деятельность в качестве рецензентов докторских и кандидатских диссертаций; ответственных редакторов (рецензентов) монографий и сборников трудов; организаторов научных конференций и симпозиумов; не учитываются публикации в сборниках научных трудов и др. Этот приказ не предусматривает также стимулирование творческой деятельности инженерно-технических работников, даже если они являются соавторами публикуемых научных работ, патентов и отчетов.
В основном этот документ ориентирован на учет количества работ в рецензируемых журналах. В данной ситуации значительное преимущество имеют публикации в зарубежных журналах - как имеющих более высокий импакт-фактор. Основные российские журналы физиологического профиля имеют импакт-факторы 0,2-0,4. Например, Журнал высшей нервной деятельности им. И.П.Павлова - 0,369, Журнал эволюционной биохимии и физиологии - 0,199, а основные зарубежные журналы по физиологии, по данным JCR за 2007 г., имеют импакт-факторы от 29,600 (Physiological Reviews) до 0,453 (Acta physiologica Hungarica).
А такое ограничение, как учет публикаций научных статей только в рецензируемых журналах, является, мягко говоря, дискриминационным. Сроки процедуры прохождения статьи в научном журнале такого уровня и до сих пор были достаточно длительными, а теперь еще более увеличиваются из-за перегруженности редакционных портфелей, что делает практически невозможным публикации статей молодых ученых в период их обучения в аспирантуре, а значит, и для подсчета ПРНД им нечего будет предъявить. В нашем
Показатели оценки научной деятельности, учитываемые при расчете ПРНД, научных сотрудников
I " I
Согласно Тройственному
приказу № 273/745/68
і
- публикации в рецензируемых
журналах 6 и >
- монографии, учебники п/л х 2
- выступления с докладом
на конференциях 4 и >
- разработка научно-образовательных
курсов лекций 20
- получение патента 20
- руководство соискателем, защитившим
кандидатс^ю диссертацию 30
- руководство дипломником, поступившим
на работу в НИИ, вуз 10
- индекс цитирования ?
Согласно локальным нормативным актам институтов
і
и
- статьи в журналах, сборниках трудов 310
- монографии, учебники, препринты п/л х 2 і
- тезисы, доклады в материалах конференций 3-6
- руководство аспирантами, соискателями 5-10 !
- выступления с докладом на конференциях 4-8 !
- рецензии и отзывы на диссертационные работы 5-10
- получение патента 20
- организация конференций 3-7 !
- выступления в СМИ по вопросам популяризации
науки 3-5
- ответственное редактирование трудов, членство
в научных комиссиях 5-10
- получение ученых званий доцента, профессора,
заслуженного деятеля науки 5-20 і
Рис. 1. Показатели оценки научной деятельности, учитываемые при расчете ПРНД научных сотрудников
положении, рекомендованном ученым советом и определяющем порядок подсчета ПРНД, мы это ограничение не игнорируем и принимаем к зачету статьи, опубликованные во всех рецензируемых журналах, входящих в перечень ВАК.
Условия Тройственного приказа ориентируют научных сотрудников на индивидуализацию своей деятельности, так как при опубликовании коллективного труда количество начисляемых баллов делится на число соавторов. Учитывая, что на протяжении многих лет прослеживается тенденция роста соавторства (4,3 специалиста на одну статью в 2003 г. против 1,9 в 1960 г [1]) и что современные исследования в естественных науках, а особенно в биологии, физике, химии, требуют усилий целых коллективов, такой подход является контрпродуктивным. По нашему мнению, каждому ученому, подготовившему работу в соавторстве не более пяти человек, при расчете индивидуального показателя научной деятельности целесообразно учитывать балл за статью в полном объеме.
Анализ публикаций в журналах медико-физиологического профиля сотрудников Центра «Арктика» и ряда других институтов, входящих в секцию физиологии Отделения биологических наук РАН, показал, что количество коллективных публикаций с числом соавторов более 3 за последние 2 года значительно снизилось. Ориентация на индивидуализацию деятельности научных сотрудников не стимулирует докторов и кандидатов наук на привлечение молодежи в научную сферу, не способствует созданию новых творческих коллективов, заинтересованных в быстром решении конкретных научных задач.
Трехлетний опыт применения Тройственного приказа в нашем центре показал, что средняя продуктивность (отношение числа статей к числу научных сотрудников) заметно выросла за 4 года (в среднем на 13% в год), а средний объем статей практически не изменился, и даже наметилась тенденция к его снижению. Это может говорить о том, что в погоне за высоким ПРНД авторы искусственно дробят материалы исследований, практически публикуя краткие сообщения (рис. 2).
По поводу выступлений на конференциях мы согласны с опасениями, высказанными М. Магомедовым в газете «Поиск» [3, с. 15]. При формировании программы конференции многие авторы заявляют устный доклад, на основании их пожеланий и составляется программа. Потом по каким-либо причинам они не принимают участия в работе конференции; нигде не отражается, что устного доклада сделано не было, но свои баллы некоторые авторы могут получить на основании программы. Эти приписки возможны (и уже имели
место) особенно в тех случаях, когда участие в конференции не связано с командировкой в другой город, тем более что баллы за такие выступления равнозначны опубликованию научной статьи.
Приказом также не учтено выступление с докладом на региональной конференции - это важный момент для ученых, особенно молодых, работающих в институтах, расположенных в районах Сибири и Дальнего Востока, в связи с тем, что выезд за предела региона из-за крайне высоких транспортных расходов зачастую становится невозможным и делает маловероятным получение баллов за участие в конференциях, проходящих в центральных районах страны. Поэтому региональная конференция является практически единственной трибуной, где они могут доложить о результатах своих исследований. При этом мы считаем необходимым дифференцировать количество баллов за участие с докладом на конференции с учетом значимости последней.
Применение пункта «Разработка научно-образовательных курсов», за который предусмотрен достаточно большой балл - 20 (за семестр), считаем целесообразным только для научно-исследовательских институтов, на базе которых созданы совместные с вузами кафедры. Обычно вузы оплачивают разработку спецкурсов на основе гражданско-правовых договоров или производят соответствующие выплаты в рамках совместительства.
Необходимо также отметить, что положения Тройственного приказа касаются только лиц, участвующих в бюджетной тематики. Результаты работ, выполняемых в рамках ведомственных целевых программ РАН, внебюджетной тематики и даже по темам, поддержанным РФФИ и РГНФ, при подсчете ПРНД не учитывались. Это условие ставило ученого перед выбором: по какому из видов деятельности показать то или иное достижение. Естественно, предпочтение отдавалось бюджету, так как это учитывалось при подсчете ПРНД.
По нашему мнению, основной недоработкой пилотного проекта является отсутствие дифференциации («вилки») должностных окладов, которая позволила бы заинтересовать научных сотрудников в высокоэффективной работе (стимул - увеличение окладов) и избежать уравниловки в оплате труда вновь поступивших и давно и успешно работающих сотрудников на одной и той же должности. В этом случае отпала бы необходимость использования персональных повышающих коэффициентов к должностным окладам, которые планируется ввести при разработке новой единой системы оплаты труда сотрудников РАН [2, с. 3].
Это далеко не полный перечень замечаний, касающихся недоработок Тройственного приказа и пилотного проекта в целом, которые направлялись нами в адрес совета директоров РАН, а также были неоднократно высказаны учеными в период реализации пилотного проекта на страницах газеты «Поиск», отражены в других материалах и документах.
Необходимо отметить, что до вступления Тройственного приказа в силу стимулирование по результатам нучной деятельности в МНИЦ «Арктика» проводилось в виде премиальных выплат в соответствии с порядком, определенным внутренним нормативным актом - «Положением о премировании научных сотрудников за выдающиеся достижения в научно-исследовательской работе и большой личный вклад в развитие фундаментальной
0,8 -0,7 -0,6 -0,5 -0,4 -0,3 -0,2 -0,1 -0
Рис. 2. Показатели публикаций сотрудников МНИЦ «Арктика». Сплошная линия - отношение числа статей, опубликованных в рецензируемых журналах, включенных в перечень ВАК, к числу научных сотрудников; пунктирная линия - средний объем статьи, усл. печ. л. Ось абсцисс - годы, ось ординат: для сплошной линии - число статей, опубликованных в рецензируемых журналах, включенных в перечень ВАК, приходящееся на одного научного сотрудника; для пунктирной линии - средний объем статьи в усл. печ. л.
2005
2006
2007
2008
и прикладной науки», разработанным на основании типового положения по распоряжению Президиума РАН от 19 мая 2000 г., № 10115-339 (рис. 3). В соответствии с ним стимулирующие надбавки устанавливались приказом директора на год с учетом качества и объема выполняемых сотрудниками работ, а компенсационные доплаты выплачивались в соответствии с действующим законодательством.
Что касается премиальных, то согласно первым 6 пунктам премии устанавливались в течение года как единовременные выплаты за конкретно достигнутые результаты. По последнему пункту - «выплата премий по результатам научной деятельности за год» - в соответствии со шкалой оценки результативности труда по количеству баллов, полученных каждым сотрудником. Критериями для подсчета были отзывы, рецензии на диссертации; ответственное редактирование научных трудов; получение патента; опубликование монографий, учебников, научных статей, докладов и тезисов конференций; выступление с докладами на научных форумах; научно-популяризаторская деятельность в средствах массовой информации и т.п. По всем этим показателям устанавливалось определенное число баллов в соответствии с разработанной шкалой оценки результатов труда, и в зависимости от их суммы и количества средств, выделенных на премирование, определялся размер премии, которая выплачивалась один раз в год, в ноябре.
Применение такого подхода к стимулированию сотрудников оказалось достаточно эффективным. Так, в МНИЦ «Арктика» с 2000 г. значительно увеличилось число статей врецензируемых журналах, публикация тезисов также не потеряла своей актуальности и давала возможность молодым ученым оперативно заявить о своих исследованиях.
Мы сопоставили эффективность применения ранее действующего в МНИЦ «Арктика» положения с новым, составленным на основе приказа № 273/745/68 от 03.11.2006 г. «Положением о видах, порядке и условиях применения стимулирующих выплат научным работникам и руководителям МНИЦ “Арктика”» ДВО РАН. Оказалось, что даже при пересчете количества баллов, полученных за публикации до 2007 г. согласно требованиям Тройственного приказа, стимулирующий эффект ранее действующего метода с учетом большего количества показателей был бы при нынешнем уровне финансирования в несколько раз выше.
Рис. 3. Виды стимулирующих выплат научным сотрудникам, применяемые до начала пилотного проекта
В значительной степени это было связано с тем, что ранее учитывались тезисы и материалы конференций и симпозиумов, что в настоящее время не предусматривается. Исключение этого аспекта из учета не способствует стимулированию научной деятельности, что негативно отражается на молодых ученых, недавно окончивших вузы. Публикация тезисов в сборниках трудов научных конференций во многом является самой оперативной информацией о достижениях и дает возможность «застолбить» приоритет, что немаловажно в связи с крайне длительным прохождением процедуры опубликования статьи в научном журнале.
В процессе реализации пилотного проекта совершенствования оплаты труда значимого роста эффективности научной деятельности в МНИЦ «Арктика» не произошло, несмотря на достаточно высокий показатель (1 статья на 1 научного сотрудника) опубликованных в 2008 г. статей в рецензируемых журналах, входящих в перечень ВАК (рис. 4).
Итак, мы убедились, что основная цель пилотного проекта - повысить отдачу бюджетных средств, выделяемых на науку, не достигнута. Различия, имеющиеся в локальных нормативных актах, определяющих процесс стимулирования научной деятельности, не позволяют по количеству баллов сравнивать эффективность работы даже близких по профилю институтов и таким образом расставить среди них приоритеты.
Руководство РАН продолжает поиск наиболее приемлемой системы оценок, для чего постановлением Президиума РАН от 23.12.2008 г. № 652 с 01.01.2009 г. введен новый порядок применения выплат стимулирующего характера научным сотрудникам и руководителям научных учреждений РАН, на основе которого ДВО РАН разработало ряд своих документов со сроком их введения с 01.03.2009 г. (рис. 5). А что же Тройственный приказ? Канул в Лету? Как видно из интервью с заместителем министра образования и науки А.Хлуновым на страницах «Российской газеты» [5, с. 14] и статьи Н. Волчковой, опубликованной в газете «Поиск» [2, с. 3], этот вопрос пока остается открытым.
Виды выплат стимулирующего характера, определенные постановлением Президиума РАН, свидетельствуют, что новое - это хорошо забытое старое: перечень показателей и порядок применения выплат аналогичны действующему до пилотного проекта Положению о премировании научных сотрудников от 2000 г.
Приложением к названному нами постановлению Президиума РАН предусматривается более широкий детализированный перечень стимулирующих выплат, сумма средств, направляемых на их выплату, не ограничена 60%-м пределом от размера должностных окладов научных сотрудников.
900 -800 -700 -600 -500 -400 -300 -200 -100 -0
/
/
/
/
/
■ 482
/
■"287
45
40
35
30
25
20
15
10
5
0
Рис. 4. Динамика заработной платы, объема публикаций и затрат на них. Верхний график - затраты, приходящие на 1 усл. печ. л. журнальной статьи, тыс. руб., нижний: среднемесячная заработная плата научных сотрудников с учетом районного коэффициента и северных надбавок, тыс. руб.; пунктирная линия - объем публикаций, усл. печ. л.
862
537
2005
2006
2007
2008
2005
2006
2007
2008
Увеличение фонда премиальных выплат за счет снижения доли рейтинговых стимулирующих надбавок, аналога ПРНД (с 80 до 50%), выплата надбавок и премий по результатам текущей деятельности (а не только по итогам предыдущих двух лет) приведут к усилению материальной заинтересованности в результатах своего труда, к увеличению эффективности и качества работы. Благодаря этому будет устранен перекос в оплате труда научных сотрудников и инженерно-технических работников. Он возник после перехода на новую систему, когда заработная плата ИТР, рассчитываемая ранее на основе ЕТС, достигла, а в некоторых случаях превысила зарплату научных сотрудников.
Данным постановлением предлагается введение рейтинговых стимулирующих надбавок, рассчитываемых на основе показателей научной деятельности сотрудников, которые устанавливаются в институтах в соответствии со спущенным «сверху» примерным перечнем, а методика количественного определения индивидуального рейтинга разрабатывается в каждом учреждении самостоятельно с учетом специфики его работы. С одной стороны, это правильно, но с другой - сводит на нет возможность сравнения эффективности работы институтов, даже близких по направлению деятельности. Поэтому с учетом имеющегося опыта нам кажется более целесообразным для подсчета индивидуального рейтинга ученого разработать показатели по группам институтов, работающих в рамках близких научных направлений.
Рейтинговые стимулирующие надбавки по своему характеру относятся больше к категории премиальных выплат, чем к надбавкам, так как по своей сути они выплачиваются за получение высоких индивидуальных результатов за определенный период.
С этой точки зрения, отнесение надбавки молодым ученым - победителям конкурса на лучший проект - к разряду стимулирующих ошибочно, тем более что уже имеет место аналогичный показатель - «премии, устанавливаемые молодым ученым по результатам конкурсов на лучшую работу, исследование и т.п.» (рис. 5).
По нашему мнению, средства, предусматриваемые в институтах на выплату рейтинговых стимулирующих надбавок, было бы правильно выплачивать в виде премий, пропорционально индивидуальным рейтингам каждого ученого, так как начисление премиальных выплат не зависит от отработанного времени, и неважно, был ли сотрудник на рабочем месте в институте или находится в командировке: он получит вознаграждение в соответствии со своим рейтингом.
- за достижение высоких научных результатов мирового уровня
- за качество и эффективность исследований по результатам работы
- за своевременное и качественное исполнение должностных обязанностей
- за разработку эффективных инициативных предложений по совершенствованию научной деятельности
- за коммерциализацию результатов работ, участие в выставках, за достижения в инновационной деятельности
- за участие в организации и проведении научных мероприятий, конференций и т.п.
- по результатам конкурсов на лучший проект, работу, исследование, в том числе молодым ученым
- за выполнение особо важных работ
- молодым ученым - победителям конкурса на лучший проект
- молодым ученым за выполнение приоритетных работ
- за работу в области интеграции науки и образования
- за выполнение дополнительных научноорганизационных обязанностей
- за выполнение дополнительных работ, связанных с освоением новых передовых методов исследования
- рейтинговые стимулирующие надбавки
Рис. 5. Виды выплат стимулирующего характера, определенные постановлением Президиума РАН № 652 от 23.12.2008 г.
Временной интервал оценки научной деятельности для рейтинговых стимулирующих выплат, по всей видимости, не должен превышать одного года. Учет показателей за предыдущие два года в какой-то степени расхолаживает, дает возможность некоторое время «простаивать», работать не в полную силу: все равно получишь причитающиеся выплаты за результаты предыдущих лет. При этом возникает и правовая коллизия, так как в случае выплаты надбавок за 2 года, достижения, полученные за предыдущий год, будут оплачены дважды.
В идеале выплата премий по индивидуальным рейтингам должна проводиться разово в конце года по итогам деятельности. Естественно, в зачет должны быть приняты и результаты, не вошедшие в рейтинг прошлого года (статья в последнем номере журнала, выступление с докладом на конференции в декабре и т. д.).
Такой подход позволит повысить результативность труда в течение всего года, обеспечить более справедливое распределение средств, предназначенных для этих выплат. Тем более что отсутствие в нашей стране практики учета импакт-фактора и индекса цитирования при определении индивидуального рейтинга не позволяет пока объективно оценить труд отдельного ученого и в конечном итоге организации в целом.
Попытка Министерства образования и науки выставить все институты по их рейтингу является отражением системы организации науки в Европейских странах и США, где проведение фундаментальных исследований в основном сосредоточено в университетах, рейтинг которых является необходимым атрибутом коммерческой деятельности, направленной на привлечение студентов и проведение перманентной рекламы.
В России фундаментальная наука в основном сосредоточена в академических учреждениях, где отсутствуют коммерческая составляющая при формировании коллектива и необходимость проведения рекламных кампаний для обеспечения финансового благополучия организации. Поэтому попытка разделения учреждений РАН и других государственных академий на основании их индивидуальных рейтингов на «первосортных», «второсортных» и т.д. и на этой основе дальнейшее планирование бюджетного финансирования приведут к окончательному свертыванию научных организаций, расположенных в отдаленных регионах. При этом в более выгодном положении окажутся институты, находящиеся в центральных районах страны, где проще формировать высококвалифицированный кадровый состав, меньше издержки в организации научного процесса, ближе источники финансирования и более комфортны условия жизни.
Кроме того, в РАН давно сложилась эффективная система контроля подведомственных ей учреждений, закрепленная в уставах и предусматривающая систематическую (раз в 5 лет) комплексную проверку научной и хозяйственной деятельности с правом принятия решения о целесообразности деятельности того или иного института. В связи с этим усилия министерств и ведомств, направленные на создание единой, объективной, а главное эффективной системы стимулирования деятельности научных организаций, зачастую оказываются малопродуктивными, приводят к отвлечению времени и средств от главной задачи ученого - получения нового знания.
ЛИТЕРАТУРА
1. Арский Ю.М., Маркусова В.А., Чумакова Н.Ф. Науки о Земле: Объемы и рейтинги отечественных публикаций // Вестн. РАН. 2007. Т. 77, № 10. С. 887-895.
2. Волчкова Н. У касс - без каст. В РАН будет создана единая система оплаты труда // Поиск. 2009. № 12.
3. Магомедов М. Независимо от званий и заслуг. Если закон допускает многозначное толкование - он стимулирует коррупцию // Поиск. 2006. № 32/33.
4. Маркусова В.А. Оцените по достоинству. Зачем России догонять Бермуды? // Поиск. 2006. № 32/33.
5. Медведев Ю. Пилоты для академиков. Минобрнауки подготовило антикризисные сценарии поддержки ученых // Рос. газета. 2009. № 2.
6. Розенберг ГС. Рецензия на книгу: Богатов В.В. Организация научно-исследовательских работ // Вестн. ДВО РАН. 2008. № 6. С. 157-160.
7. Bantilan M.C.S. Chandra S., Mehta P.K., Keatinge J.D.H. Dealing with diversity in scientific outputs: implications for international research evaluation // Research Evaluation. 2004. Vol. 13, N 2. P. 87-93.
8. Garfield E. Uses and Misuses of Citation Frequency // Essays of an Information Scientist. 1985. Vol. 8. P. 403-409.
9. Phelan T.J. Evaluation of Scientific Productivity // Scientist. 2000. Vol. 14, N 19. P. 39.
