CC BY
69
УДК 005:303:33
О МЕТОДИКЕ СИСТЕМАТИЧЕСКОЙ ОЦЕНКИ И ФОРМИРОВАНИЯ РЕЙТИНГА ПУБЛИКАЦИОННОЙ АКТИВНОСТИ ИССЛЕДОВАТЕЛЕЙ
Д. В. Валько
METHODS OF SYSTEMATIC EVALUATION AND THE RATING OF PUBLICATION ACTIVITY OF RESEARCHERS
D. V. Valko
Аннотация. Актуальность и цели. Научно обоснованные критерии качества и результативности деятельности научных организаций, научных коллективов и отдельных ученых давно являются камнем преткновения научного менеджмента на всех уровнях. Проблема выработки таких критериев носит ярко выраженный междисциплинарный характер, так как находится на стыке наукометрии, классической статистики, информатики и управления. Целью работы является совершенствование методического инструментария в сфере менеджмента научных исследований на основе решения следующих задач: выполнить обзор актуальных методик и подходов в оценке публикационной активности исследователей; сформулировать основные принципы оценки публикационной активности исследователей на уровне организации; предложить методику оценки публикационной активности с учетом решаемых управленческих задач. Материалы и методы. Применяются методы компаративного анализа существующих методик и интегративный подход в построении оригинальной методики оценки и формирования рейтинга публикационной активности исследователей. В предложенной методике использованы методы нормирования, агрегации, сортировки и многомерного ранжирования. Результаты и выводы. В числе основных принципов и приоритетов формирования системы наукометрических показателей и интегральной оценки публикационной активности можно назвать диффе-ренцированность, консервативность и сбалансированность, интегративность, институциональную обоснованность, комплексность, некомпенсаторность и гибкость. Анализ востребованных методик оценки публикационной активности исследователей показывает, что достаточным решением в описанных условиях может стать комплексная методика, включающая нормирование, поправки на период научной и публикационной активности, а также пороговую агрегацию. Лучшая методика должна учитывать все рассмотренные принципы оценки публикационной активности в разрезе управленческих задач. Предложенная методика, включая алгоритм сбора, предобработки и ранжирования наукометрических данных, представляет собой универсальную основу методического инструментария оценки публикационной активности и рейтингования. Данная методика может быть легко реализована в рамках информационной системы научно-образовательной организации и использована для задач управления научной деятельностью и публикационной активностью.
Ключевые слова: наукометрия, рейтинг исследователей, методика оценки публикационной активности.
Abstract. Background. Scientifically substantiated criteria for the quality and effectiveness of the activities of scientific organizations, research teams and individual scientists have long is a stumbling block for scientific management at all levels. The problem of
elaborating such criteria has a pronounced interdisciplinary character, since it is at the intersection of scientometrics, classical statistics, computer science and management. The aim of that work is to improve the methodical tools in the field of research management, on the basis of the following tasks: the review of current methods and approaches in assessing the publication activity of researchers; formulate the basic principles for assessing the publication activity of researchers at the organization level; to propose a methodology for assessing the publication activity taking into account the management tasks being solved. Materials and methods. Methods are used for comparative analysis of existing methods and an integrative approach in constructing an original methodic for assessing and rating the publication activity of researchers. The proposed methodic uses methods of rationing, aggregation, sorting and multidimensional ranging. Results and conclusions. Among the main principles and priorities for the formation of a system of scientometric indicators and an integral evaluation of publication activity, one can name: differentiation; conservatism and balance; Integrity; institutional soundness; complexity; uncompensated and flexible. Analysis of popular methods for assessing the publication activity of researchers shows that a comprehensive solution, including rationing, corrections for the period of scientific and publication activity, and threshold aggregation, can be a sufficient solution under the conditions described. The best methodology should take into account all the principles for evaluating the publication activity in the context of management tasks. The proposed methodology, including the algorithm for collecting, preprocessing and ranking scientometric data, is the universal basis of the methodological tool for evaluating the publication activity and rating. This method can be easily implemented within the information system of the scientific and educational organization and used for management tasks of scientific activity and publication activity.
Key words: scientometrics, rating of researchers, methodic for assessing publication activity.
Введение
Актуальность темы. В мировой практике функционирования института науки в качестве основы оценки научной мысли и продуктивности научной деятельности используются два подхода - экспертный (качественный) и наукометрический (количественный) [1]. Так, в Скандинавских странах отмечается тяготение к количественным способам оценки, в то время как во Франции или Великобритании предпочтение отдается экспертизе, а в таких странах, как Германия и Нидерланды, преобладает использование сочетания наукометрических и экспертных методов оценки научной деятельности [2].
В последние годы в качестве инструмента оценки эффективности деятельности российских ученых, исследовательских организаций, отечественной науки в целом стали активно использоваться данные об уровне и числе публикаций, числе и качестве цитирований, представленные разнообразными наукометрическими показателями [3]. Публикационные и цитатные наукометрические показатели рассматриваются как целевые индикаторы состояния науки в «Стратегии инновационного развития Российской Федерации на период до 2020 года», утвержденной распоряжением Правительства РФ [4], и в Указе Президента РФ «О мерах по реализации государственной политики в области образования и науки» от 7 мая 2012 г. [5].
Несмотря на то, что нет объективных оснований считать, что наукометрические показатели, основанные на измерении публикаций и цитат, спо-
собны напрямую отражать уровень и качество научных исследований как таковых [6], многие исследователи отмечают, что разработка наукометрических измерений и их сопоставление открывают новые грани научной деятельности, дают возможность скорректировать ее направления, структуру и содержание, дать ей оценку, сравнить ее результаты с результатами других исследований [7]. Рассматриваемая тема приобретает особую актуальность для российских университетов, включенных в государственную программу «Проект 5-100», направленную на повышение конкурентоспособности университетов среди ведущих мировых научно-образовательных центров.
Степень разработанности темы. В области наукометрии и инфомет-рии в целом наработан обширный базис математических методов для исследования динамики научных исследований и публикационной активности (В. В. Налимов [8], З. М. Мульченко, Л. Блэкерт (L. Blackert) [9], С. Зигель (S. Siegel), О. Наке (O. Nacke) [10] и др.). В международной практике известны аналитические методы и показатели, наиболее полно отвечающие задаче индивидуальной наукометрической оценки автора (Дж. Хирш (J. Hirsch) [11]), статьи и журнала (Ю. Гарфилд (E. Garfield) [12]) и т.п. Совершенствуется аналитический инструментарий (InCites, SciVal etc.) в программных системах международных реферативно-библиографических баз данных Scopus, Web of Science и др.
Вместе с тем недостаточное внимание как в теории, так и в практике уделено поддержке принятия управленческих решений в сфере менеджмента научной деятельности: отсутствуют универсальные методики оценки публикационной активности и построения публикационного рейтинга в зависимости от управленческих задач [13]; недостаточно изучены вопросы формирования и управления публикационным потенциалом отдельных исследователей и исследовательских коллективов; не изучены вопросы работы с «большими» наукометрическими данными, а имеющийся методический инструментарий построения публикационного рейтинга недостаточно алгоритмизован для интеграции в автоматизированные программные системы.
Принципы наукометрической оценки
Наукометрические показатели позволяют в той или иной мере решать две основные задачи:
— во-первых, оценить вклад в обмен научными результатами, осуществить мониторинг публикационной активности и выполнить ее сопоставление по отдельным исследователям, научным коллективам, исследовательским организациям;
— во-вторых, управлять публикационной активностью, устанавливать тактические и стратегические наукометрические ориентиры, поддерживать баланс публикационной активности в научной деятельности.
Исходя из этих, как правило, последовательно решаемых задач, можно обобщенно сформулировать ряд принципов, позволяющих, с одной стороны, обозначить их таксономию, а с другой стороны, определить критерии их применения в контексте каждой задачи. В числе основных принципов фор-
мирования системы наукометрических показателей и интегральной оценки публикационной активности можно назвать следующие:
1) дифференцированность оценки - учет отрасли науки или предметной области, жизненного цикла научного коллектива и научных результатов при агрегировании и сопоставлении, поскольку различные публикационные кластеры обладают существенно различающейся статистикой и нормой числа соавторов, интенсивности цитирований публикаций и т.п. [2];
2) консервативность и сбалансированность оценки - игнорирование флуктуаций и нивелирование ошибок оценивания, ориентация на сбалансированность и устойчивость публикационной активности;
3) интегративность (аддитивность) оценки - возможность объединения индивидуальных интегральных оценок в обобщенную оценку для характеристики научных коллективов разного масштаба;
4) институциональная обоснованность - содержательное соответствие применяемых критериев и пороговых значений нормам права, государственным стратегическим ориентирам, лицензионным [14], аккредитационным [15] критериям и параметрам мониторинга эффективности [16] организаций высшего образования Минобрнауки РФ;
5) комплексность оценки - исчерпывающий охват наукометрических показателей и источников наукометрических данных для всесторонней оценки; в частности, ВАК РФ считает признанными международными реферативными системами Web of Science, Scopus, Web of Knowledge, Astrophysics, PubMed, Mathematics, Chemical Abstracts, Springer, Agris, GeoRef, MathSciNet, BioOne, Compendex, CiteSeerX, а также РИНЦ;
6) некомпенсаторность [17] оценки - невозможность компенсации низкого значения одного из используемых критериев высокими значениями по другим критериям в целях сокращения дисбаланса и возможности искусственного манипулирования.
Использование наукометрической оценки для задач управления выдвигает на первый план еще один стратегически важный принцип - обеспечение гибкого использования для системы мотивации научных сотрудников. Всякая оценка должна удовлетворять информационным потребностям основных пользователей, а в данном случае основной пользователь - руководство научного коллектива или индивидуальный исследователь.
Обзор и анализ актуальных методик оценки
В рамках настоящей работы целесообразно остановиться на рассмотрении наиболее актуальных и общих методик наукометрической оценки и уделить внимание их краткой характеристике в разрезе следующих групп.
К первой группе следует отнести разнообразные модификации канонических индивидуальных показателей, в частности индекса Хирша [18] и им-пакт-фактора [19]. Их наиболее полный обзор представлен С. Д. Штовба и Е. В. Штовба [20], а также Б. И. Бедным и Ю. М. Сорокиным [21]. В указанной группе наибольшего внимания заслуживает модификация индекса Хирша, отмеченная М. П. Разиным [22], которая на основе корректирующих коэффициентов учитывает отрасль науки и возраст исследователя. Другая
интересная методика [23] предлагает корректировать индекс Хирша с помощью взвешивания числа цитат каждой публикации на ее возраст.
Также внимания заслуживает альтернативная дробная модификация индекса Хирша, предложенная С. В. Марвиным [24], учитывающая количество авторов цитируемых статей и иллюстрирующая в дробной части близость автора к следующей ступени индекса Хирша. Аналогичный смысл заложен в методику П. Батисты (Batista P.D.) и др. [25] - предлагается вычислять дополненный индекс Хирша (h') по формуле h = h2/N, где N - число соавторов для данной публикации. Показано, что такой индекс устойчив при сравнении наукометрических результатов в разных областях науки (с различной нормой цитирования и соавторства).
В отдельную подгруппу следует выделить ряд методик, предназначенных не столько для непосредственной индивидуальной наукометрической оценки, сколько для определения ее состоятельности. Ярким примером является модификация индекса Хирша, предложенная Е. В. Орловым и др. [26] Она устойчива к манипулированию, так как игнорирует искажения в окрестности базового значения Хирша (поскольку опирается на его теоретическое значение, полученное по лучшему тренду).
Ко второй группе нами отнесены комплексные или групповые показатели, представляющие собой сводные индексы, показатели на основе усреднения или свертки исходных индивидуальных показателей. В их многообразии можно выделить методику В. Н. Николенко и др. [27], в которой выделены группы показателей продуктивности, авторитетности и результативности в расчете на одного автора.
Подобные методики носят широкую применимость и в оценке эффективности публикационной активности, и в использовании для формирования фонда стимулирования труда. Например, в работе Б. И. Бедного и др. [28], поддержанной Минобрнауки РФ, показано применение взвешенных наукометрических индексов для оценки эффективности подготовки научных кадров в аспирантуре. Затем Б. Г. Ильясовым и др. [29] предложена интеграция такого рода оценки в информационную систему оценки эффективности научной школы.
В рамках настоящей работы заслуживает внимание методика М. П. Разина [30] для расчета показателя публикационной активности с учетом показателей, доступных в РИНЦ, а также возраста ученого и средневзвешенного импакт-фактора журналов, в которых опубликованы и цитируются статьи. Вместе с тем анализ подобных методик и показателей показывает, что, как правило, применение того или иного способа агрегирования диктуется лишь предпочтениями исследователя и недостаточно обосновывается. В частности, широко применяемая взвешенная сумма значений критериев требует теоретического обоснования возможности суммирования и выбора весов. Для рассматриваемой задачи такого обоснования нет, следовательно, нельзя быть уверенным, что суммирование взвешенных значений наукометрических показателей может дать сколько-нибудь удовлетворительный результат.
Третья группа объединяет квалиметрические методики на основе пороговой агрегации, балльной и ранговой оценки, а также разнообразные мето-
дики ранжирования наборов индивидуальных показателей для оценки публикационной активности и научной продуктивности.
Использование квалиметрических (интервальных, порядковых и абсолютных) шкал для интерпретации наукометрических показателей весьма распространено, особенно в области измерения научного труда и его стимулирования. Подобные методики балльной оценки и ранжирования систем показателей сравнительно недавно предложены Ю. Т. Шарабчиевым [31], О. В. Москалевой [32], С. С. Неустроевым [33] и др. Например, в методике, предложенной В. Г. Никитушкиным и др. [34], индивидуальный рейтинг оценивается по ряду совокупных показателей, в первую очередь, по степени публикационной активности и цитируемости, а также по соотношению цитируемых публикаций ко всем написанным.
Наиболее любопытной из всех методик в данной группе является методика порогового агрегирования, дополненная многомерным ранжированием, предложенная Ф. Т. Алескеровым и др. [35]. В данной методике предлагается построение агрегированного рейтинга по различным наукометрическим критериям. Показано, что при многокритериальном ранжировании невозможна ситуация, когда низкие ранги по отдельным показателям могут быть «заретушированы» высокими оценками по другим. И чем больше критериев используется, тем более статистически значимы различия между присвоенными рангами.
Наша оценка представленных методик в разрезе рассмотренных выше принципов представлена в табл. 1.
Таблица 1
Реализация принципов оценки в различных методиках*
Автор и год создания методики Некомпенсаторность Дифференцированность Консервативность Интегративность Обоснованность Комплексность охвата
Бедный Б. И. и др. (2010) [21, 28] - + - - + -
Разин М. П. и др. (2013) [22] - -/+ + -/+ - -/+
Алескеров Ф. Т. и др. (2013) [35] + - - - -/+ -/+
Николенко В. Н. и др. (2014) [27] - + - + -/+ -/+
Марвин С. В. и др. (2015) [24] - -/+ - -/+ - -/+
Ильясов Б. Г. и др. (2015) [29] - -/+ - - -/+ +
*
-/+ - предусмотрена возможность реализации данного принципа.
Анализ таблицы показывает, что достаточным решением в описанных условиях может стать комплексная методика, включающая нормирование, поправки на период научной и публикационной активности, а также порого-
вую агрегацию. Разумеется, лучшая методика должна учитывать все рассмотренные принципы оценки публикационной активности в разрезе управленческих задач.
Методика оценки и формирования рейтинга публикационной активности
Системное и операционализованное решение задачи анализа публикационной активности и оценки индивидуального вклада в обмен научными результатами для целей управления научной деятельностью в целом требует учета базовых принципов в рамках научно-технической политики научной организации или университета.
Прежде всего следует обеспечить дифференцированность оценки. Очевидно, что для решения данной задачи в разрезе различных научных направлений или аффилированных организаций достаточно делать выборку (например, по ключевым словам, принадлежности к организации и др.).
Важным элементом дифференцированного подхода, по нашему мнению, является учет продолжительности публикационной активности. Действительно, сопоставление наукометрических показателей исследователя, работающего в своей области в течение многих лет, и исследователя, только защитившего диссертацию, вряд ли можно назвать состоятельным. Реализация данного замечания обычно выражается во введении поправочного коэффициента, пропорционального продолжительности публикационной активности или возрасту исследователя. Мы считаем достаточным взвешивание посредством деления на продолжительность публикационной активности. В данном случае может решаться и другая важная задача - стимулирование молодых ученых. Для научного коллектива в случае необходимости в качестве оценки продолжительности публикационной активности следует брать максимальную индивидуальную продолжительность.
Важной задачей является разработка подхода по обеспечению консервативности оценки. В ряде работ в этой связи предлагается использовать функции с убывающей производной. Обеспечение убывающего вклада обусловлено необходимостью ограничить спекуляцию наукометрическими показателями и учесть некоторую специфику их динамики (например, количество цитирований статьи линейно зависит от числа соавторов [36], а динамика индекса Хирша аппроксимируется сигмоидальной функцией [37]).
В частности, выбор подобной функции (например, в [35] ^ / п, где N - число цитат, п - число публикаций) позволяет сделать учет цитирования более консервативным, а вклад каждой следующей цитаты - заметно меньше вклада предыдущей. Другим вариантом является использование логарифмического преобразования, при этом логарифмирование наукометрических данных также решает задачу приближения распределения к нормальному.
Принципы комплексности и обоснованности оценки могут быть реализованы использованием полных наборов данных по показателям из трех основных, закрепленных требованиями мониторинга Минобрнауки РФ [16]
наукометрических баз - Web of Science, Scopus и РИНЦ. В зависимости от стратегических задач по стимулированию реферирования в той или иной базе данных наборам показателей для оценки необходимо присвоить соответствующие веса (в случае ранжирования - приоритетные ранги).
Важным критерием выбора тех или иных наборов показателей, по нашему мнению, является возможность их автоматизированного извлечения из доступных источников и интеграция наукометрической оценки в информационную систему организации (университета).
Опираясь на описанные выше основания, мы предлагаем использование дизайна методики оценки публикационной активности на основе формирования агрегированного рейтинга. Основные этапы методики состоят в следующем:
1. Отбор наукометрических показателей, участвующих в построении рейтинга, исходя из принципов оценки и управленческих задач.
2. Формирование массива и выгрузка показателей, общедоступных для проверки в реферативной системе (например, Scopus), в разрезе областей исследования.
3. Корректировка значений показателей (взвешивание):
где xi - исходный показатель по i-му автору; yi - корректировка по i-му автору (например, число лет от первой публикации).
Корректировка позволяет получить удельные, сопоставимые по авторам величины, а также формировать определенные стимулы публикационной активности, в частности:
- отнесение количества публикаций и индекса Хирша к числу лет от первой публикации, с одной стороны, обусловливает необходимость поддержания публикационной активности на должном уровне, а с другой - позволяет стимулировать более молодых авторов;
- отнесение общего числа цитат к числу публикаций ставит приоритет на публикации малого числа крупных цитируемых работ по сравнению с многочисленными маловлиятельными работами (предупреждает дробление научных результатов на несколько публикаций);
- отнесение числа публикаций к числу соавторов, с одной стороны, ориентирует на привлечение продуктивных соавторов и участие в значимых работах, а с другой - предупреждает номинальное соавторство.
4. Преобразование значений показателей в ранги в результате отображения на ранговое множество (сортировка по убыванию): x. ^ 1, 2 ,..., N,
sort i
ранг i-го автора определен как
5. Многомерное ранжирование [38] показателей по значимости для оценки индивидуальной публикационной активности, затем пороговое агре-
X = X /(У, + ^
(1)
(2)
гирование, которое, как ранее было отмечено, обеспечивает некомпенсатор-ность итоговой оценки.
На данном этапе следует разделить наукометрические показатели на две группы: к первой относятся показатели, которые априори можно ранжировать по значимости (например, вхождение в top-10 % более значимо, чем в top-25 %, и т.п.), а ко второй относятся показатели условно равной значимости.
Пусть «-мерный вектор рангов всех n показателей (атрибутов профиля автора в системе Scopus) i-го автора, называемый альтернативой, определен как
а. = r1, г2,..., rn, а. е A . (3)
Тогда для первой группы показателей ранжирование следует производить исходя из значимости показателя, т.е. более предпочтительной является альтернатива, имеющая больший ранг по более значимому показателю (например, вектор с большим рангом по показателю вхождения top-10 % находится в ранжировании выше, чем вектор с большим рангом по показателю вхождения top-25 %, и т.п.).
Решение задачи ранжирования наукометрических показателей по значимости может опираться на внутриорганизационную научно-техническую политику, государственные стратегические ориентиры и т.п. Например, настоящая методика разрабатывается для обеспечения реализации «Проекта 5-100» Минобрнауки России (http://5top100.ru/documents/regulations/), т.е. в данном случае обозначен ряд конкретных показателей публикационной активности научно-педагогических работников, которым отдается предпочтение.
Общее решение может быть также найдено на основе анализа экспертных мнений. Для этого нами проведено анкетирование 20 экспертов, в число которых вошли руководители научной работой разного уровня, что позволило определить согласованную сравнительную значимость наукометрических показателей, доступных как в Scopus, так и в РИНЦ (табл. 2.). Из числа экспертов 100 % имеют ученую степень и 50 % имеют ученое звание. 30 % имеют опыт руководства научным проектом федерального значения, 60 % руководили научным проектом на уровне организации или подразделения; 60 % экспертов осуществляют фактическое и систематическое руководство научным коллективом/проектом.
Таблица 2
Итоги ранжирования наукометрических показателей по сравнительной значимости
Ранг Наименование показателя Источник
1 2 3
1 Число публикаций в top-10 % журналов по SNIP Scopus
2 Число публикаций в top-25 % журналов по SNIP Scopus
3 Число статей в зарубежных журналах РИНЦ
4 Число цитирований в зарубежных журналах РИНЦ
5 Импакт-фактор (SNIP) журналов, в которых были опубликованы статьи РИНЦ, Scopus
Окончание табл. 2
1 2 3
6 Импакт-фактор (SNIP) журналов, в которых были процитированы статьи РИНЦ
7 Число статей из журналов перечня ВАК РИНЦ
8 Число цитирований из журналов перечня ВАК РИНЦ
9 Индекс Хирша РИНЦ, Scopus
10 Число публикаций автора РИНЦ, Scopus
11 Число цитирований автора РИНЦ, Scopus
12 Число соавторов РИНЦ, Scopus
Коэффициент конкордации (W) для данного ранжирования равен 28,8, что гарантирует статистическую значимость ранжирования при а = 0,05. При этом эксперты также оценили значимость источников наукометрических данных (реферативных баз) для оценки индивидуального вклада в обмен научными результатами: на первом и втором месте Scopus и Web of Science соответственно, затем РИНЦ и Google Sholar.
В свою очередь, для второй группы показателей в соответствии с нашей методикой необходимо применить пороговое правило ранжирования, поскольку известно, что такой агрегированный рейтинг будет удовлетворять условию некомпенсаторности и парето-оптимальности ранжирования [17].
Итак, обозначим через vm (a) количество рангов m в векторе a, 0 < vm (a) < n . Тогда альтернатива ax е A считается (строго) более предпочтительной, чем альтернатива ay е A (кратко ax > ay), если найдется такой ранг 1 < t < n , что vm (ax ) = vm (ay) для всех рангов 1 < m < t -1 и vt (ax )> vt (ay). Таким образом, результирующий ранг p¿ i-го автора из z при многомерном ранжировании с учетом n наукометрических показателей и условии a¡ ^ ai+1,i е 1,..., z, очевидно, равен pi = i (т.е. вектор с большим числом единиц располагается в ранжировании выше, чем вектор с меньшим числом единиц, иначе сравнивается количество двоек и т.п.). На самом деле возможны две тактики выбора предпочтительной альтернативы: по большему числу лучших рангов либо по меньшему числу худших рангов. Первая тактика нам представляется наиболее адекватной исходя из принципов мотивации.
По описанному алгоритму осуществляется отображение множества векторов альтернатив A на ранговое множество: A ^ 1, 2,..., N, итоговый
psorti
ранг i-го автора определяется как
R = psort i (a,), R е 1, 2,..., N . (4)
Пример получаемого ранжирования на массиве экспериментальных данных представлен на рис. 1. Полученное таким образом ранжирование также является статистически значимым при а = 0,05 [17].
ID Итоговый ранг Ранг по числу публикаций в top-10 % журналов Ранг по числу публикаций в top-25 % журналов Ранг по сред невзееш энному импакг-фактору Ранг по индексу Хирша Ранг по числу публикаций автора Ранг по числу цитирований аеюра
616541 1 1 1 1 3 5 5
777564 2 1 1 1 5 5 5
652330 3 1 1 1 10 5 10 ...
59890? Л 1 1 3 1 2 1
656336 5 1 1 6 2 1 1
49309 6 1 1 a 3 1 1
660255 7 1 г 4 7 10 6
1653S S 1 г 5 6 3 4
143095 9 1 2 7 5 6 2 „
83935: 10 10 1 1 4 5 6
819540 11 10 1 1 10 9 10
565054 12 10 1 3 1 1 1
119431 13 10 1 3 ь 9 6
119441 14 10 1 5 5 7 4
24507 15 10 1 6 2 2 1
... »» ** „
Рис. 1. Пример ранжирования по предложенной методике
Заключение
Важным критерием выбора тех или иных наборов показателей в целях оценки и формирования рейтинга публикационной активности, по нашему мнению, является возможность их автоматизированного извлечения из доступных источников и интеграция наукометрической оценки в информационную систему организации (университета). Из этих соображений на примере системы Scopus рекомендуется использовать общие сведения, доступные в профиле автора, а именно:
- число публикаций автора;
- число цитат публикаций автора;
- индекс Хирша;
- число соавторов;
- год первой публикации;
- общие характеристики самих публикаций автора (средний импакт-фактор журналов (SNIP), в которых опубликованы статьи; число статей в журналах top-10 % и top-25 % в данной области исследования).
Предложенная методика, включая алгоритм сбора, предобработки и ранжирования наукометрических данных, представляет собой основу методического инструментария анализа и оценки публикационной активности. Данная методика может быть легко реализована в рамках информационной системы научно-образовательной организации [39] и использована для задач менеджмента научной деятельности и управления публикационной активностью. Полная автоматизация может быть достигнута интеграцией модуля автоматического сбора (выгрузки) наукометрических данных [40] из используемых реферативных баз.
Библиографический список
1. Питерс, Д. Rate my research dot com: измеряем то, что ценим, ценим, что измеряем / Д. Питерс, Р. Марш // Научная периодика: проблемы и решения. - 2011. -№ 1. - С. 40-45.
2. Игра в цыфирь, или как теперь оценивают труд ученого : сб. ст. по библиомет-рике. - М. : МЦНМО, 2011. - 72 с.
3. Валько, Д. В. Роль наукометрических показателей в оценке научных результатов / Д. В. Валько // Актуальные проблемы современной науки: взгляд молодых : сб. тр. VI Всерос. научно-практ. конф. студентов, аспирантов и молодых ученых (25 апреля 2017 г.) / науч. ред. О. С. Нагорная. - Челябинск : Южно-Уральский институт управления и экономики, 2017 - С. 478-481.
4. Об утверждении Стратегии инновационного развития Российской Федерации на период до 2020 г. : распоряжение Правительства РФ от 08.12.2011 № 2227-р. -URL: base.consultant.ru/cons/cgi/online.cgi?req=doc; base=LAW;n=123444 (дата обращения: 22.09.2017).
5. О мерах по реализации государственной политики в области образования и науки : Указ Президента Российской Федерации от 7 мая 2012 г. № 599 // Российская газета. - 2012. - 7 мая. - URL: www.rg.ru/2012/05/09/nauka-dok.html (дата обращения: 22.09.2017).
6. Поляк, Б. Т. Наукометрия: кого мы лечим? / Б. Т. Поляк // УБС. - 2013. - № 44. -С. 161-170.
7. Третьякова, О. В. Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения / О. В. Третьякова, Е. А. Кабакова // Экономические и социальные перемены: факты, тенденции, прогноз. - 2013. - № 6 (30). - С. 189-200.
8. Налимов, В. В. Наукометрия: изучение развития науки как информационного процесса / В. В. Налимов, З. М. Мульченко. - М. : Наука, 1969. - 192 с.
9. Blackert, L. Ist in ger wissenschaftlichen information Platz fur die Informetrie? / L. Blackert, S. Siegel // Wiss. Zeitschrift Tech. Hochschule. - 1979. - Bd 25, Hf 6. -P. 187-199.
10. Nacke, O. Informetria: Name fur eine neue Diszipline / O. Nacke // Nach. Dok. -1979. - Bd 30, Hf 6. - P. 219-226.
11. Hirsch, J. E. An index to quantify an individual's scientific research output / J. E. Hirsch // Proc. Nat. Acad. Sci. - 2005. - Vol. 102(46). - P. 16569-16572. -URL: http://arxiv.org/abs/physics/0508025
12. Garfield, E. Citation indexes to science: a new dimension in documentation through association of ideas / E. Garfield // Science. - 1955. - V. 122. - P. 108-111.
13. Валько, Д. В. К вопросу об эффективной публикационной активности исследователя / Д. В. Валько // Вестник Совета молодых ученых и специалистов Челябинской области. - 2017. - № 1 (16). - С. 56-58. - URL: www.smus74.ru/ content/vypusk-1-16-2017 (дата обращения: 02.11.2017).
14. Положение о лицензировании образовательной деятельности : [утв. Постановлением Правительства Российской Федерации № 966 от 28 октября 2013 г. ; в ред. от 27.11.2014 г.] // Справочно-правовая система «КонсультантПлюс».
15. Положение о государственной аккредитации образовательной деятельности : [утв. Постановлением Правительства РФ от 18.11.2013 № 1039 ; в ред. от 26.12.2014 г.] // Справочно-правовая система «КонсультантПлюс».
16. О проведении мониторинга эффективности образовательных организаций высшего образования в 2015 году : письмо Минобрнауки РФ № АК-571/05 от 10 марта 2015 г. - URL: http://минобрнауки.рф/документы/5267 (дата обращения: 02.11.2017).
17. Алескеров, Ф. Т. Метод порогового агрегирования трехградационных ранжировок / Ф. Т. Алескеров, В. И. Якуба // Доклады Академии наук. - 2007. - Т. 413, № 2. - С. 181-183.
18. Hirsch, J. E. An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship / J. E. Hirsch // Scientometrics. -2010. - Vol. 85. - P. 741.
19. Garfield, E. The intended consequences of Robert K. Merton / E. Garfield // Scientometrics. - 2004. - Vol. 60. - P. 51-61.
20. Штовба, С. Д. Обзор наукометрических показателей для оценки публикационной деятельности ученого / С. Д. Штовба, Е. В. Штовба // Управление большими системами. - 2013. - № 44. - С. 262-278.
21. Бедный, Б. И. О показателях научного цитирования и их применении / Б. И. Бедный, Ю. М. Сорокин // Высшее образование в России. - 2012. - № 3. -С. 17-28.
22. Разин, М. П. Недостатки индекса Хирша в медицинской науке и возможные пути их преодоления / М. П. Разин // Детская хирургия. - 2013. - № 3. - С. 58-59.
23. Jin, B. The AR-index: complementing the h-index / B. Jin, L. Liang, R. Rousseau [et al.] // Chinese SCI bull. - 2007. - Vol. 3 (1). - P. 6-52. - DOI: 10.1007/s11434-007-0145-9.
24. Марвин, С. В. Альтернативная дробная модификация индекса Хирша, учитывающая количество авторов цитируемых статей / С. В. Марвин // Управление большими системами. - 2015. - № 56. - С. 108-122.
25. Batista, P. D. Is it possible to compare researchers with different scientific interests? / P. D. Batista, M. G. Campiteli, O. Kinouchi [et al.] // Scientometrics. - 2006. -Vol. 68 (1). - P. 179-189. - DOI: 10.1007/s11192-006-0090-4.
26. Луценко, Е. В. Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию / Е. В. Луценко, А. И. Орлов // Научный журнал Кубанского государственного аграрного университета. - 2016. - № 121 (07). - URL: http://ej.kubagro.ru/2016/07/pdf/05.pdf (дата обращения: 02.11.2017).
27. Николенко, В. Н. Подходы к оценке эффективности и способы стимулирования публикационной активности в крупном медицинском вузе / В. Н. Николенко, А. И. Вялков, С. А. Мартынчик, Е. А. Глухова // Высшее образование в России. -2014. - № 10. - С. 18-25.
28. Бедный, Б. И. Методика оценки эффективности подготовки научных кадров в аспирантуре / Б. И. Бедный, А. А. Миронос, Т. В. Серова // Вестник ННГУ. -2010. - № 5-1. - С. 11-19.
29. Ильясов, Б. Г. Моделирование системных показателей оценки эффективности научных школ / Б. Г. Ильясов, А. Г. Карамзина, Ю. Р. Фазлетдинова // Программные продукты и системы. - 2015. - № 2 (110). - С. 5-12.
30. Разин, М. П. К вопросам наукометрии... и не только / М. П. Разин // Вятский медицинский вестник. - 2013. - № 2. - С. 44-47.
31. Шарабчиев, Ю. Т. Использование наукометрических методов для мониторинга продуктивности научной деятельности / Ю. Т. Шарабчиев // Медицинские новости. - 2013. - № 6 (225). - С. 13-19.
32. Москалева, О. В. Можно ли оценивать труд ученых по библиометрическим показателям? / О. В. Москалева // Управление большими системами. - 2013. -№ 44. - С. 308-331.
33. Неустроев, С. С. Совершенствование внутренней системы оценивания качества научных исследований: от качества процесса к качеству результатов / С. С. Неустроев, В. А. Предыбайло // Управление образованием: теория и практика. - 2016. - № 2 (22). - С. 5-14.
34. Никитушкин, В. Г. Рейтинг институтов МГПУ по данным публикационной активности сотрудников / В. Г. Никитушкин, Г. Н. Германов, А. Н. Корольков // Ученые записки университета Лесгафта. - 2015. - № 6 (124). - С. 148-155.
35. Алескеров, Ф. Т. Оценка вклада научных работников методом порогового агрегирования / Ф. Т. Алескеров, Е. С. Катаева, В. В. Писляков, В. И. Якуба // Управление большими системами. - 2013. - № 44. - С. 172-189.
36. Vieira, E. S. Citations to Scientific Articles: Its Distribution and Dependence on the Article Features / E. S. Vieira, J. A. N. F. Gomes // Journal of Informetrics. - 2010. -Vol. 4, № 1. - P. 1-13. DOI: 10.1016/j .joi.2009.06.002.
37. Тарасевич, Ю. Ю. Временная динамика индекса Хирша / Ю. Ю. Тарасевич, Т. С. Шиняева // Вестник Южно-Уральского государственного университета. Серия: Математическое моделирование и программирование. - 2016. - № 1. -С. 32-45.
38. Ван Вухт, Ф. Многомерное ранжирование: новый инструмент прозрачности в области высшего образования / Ф. Ван Вухт, Д. Вестерхайден // Вестник международных организаций: образование, наука, новая экономика. - 2012. - № 1. -С. 9-33.
39. Валько, Д. В. Интеллектуальный поиск ассоциативных правил в наборе наукометрических данных / Д. В. Валько // Компьютерные технологии и телекоммуникации : сб. тр. IV Всерос. молодежной науч.-практ. конф. - Грозный : ГГНТУ ; Махачкала : АЛЕФ, 2017. - С. 123-126.
40. Модуль агрегации наукометрических данных открытых сервисов в сети Интернет : свид. о гос. рег. программы для ЭВМ № 2016619028 от 11 августа 2016 г. Российская Федерация / Валько Д. В., Колташев А. С. // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем : официальный бюллетень Федеральной службы по интеллектуальной собственности (РОСПАТЕНТ). -2016. - № 9.
Валько Данила Валерьевич
кандидат экономических наук, заведующий лабораторией, Южно-Уральский институт управления и экономики E-mail: [email protected]
Valko Danila Valeryevich candidate of economic sciences, head of lab,
South-Ural Institute of Management and Economics
УДК 005:303:33 Валько, Д. В.
О методике систематической оценки и формирования рейтинга публикационной активности исследователей / Д. В. Валько // Модели, системы, сети в экономике, технике, природе и обществе. - 2017. - № 3 (23). - С. 17-30.
