CC BY
62
УДК 021.8 + 025.1 ББК 78.34
О ПОСТРОЕНИИ РЕЙТИНГА НАУЧНЫХ ЖУРНАЛОВ
1 2 3
Мазалов В. В. , Печников А. А. , Фалько И. А.
(Учреждение Российской академии наук Институт прикладных математических исследований КарНЦ РАН, Петрозаводск)
Проводится анализ построения рейтинга научных журналов, основанного на методиках сбора и агрегирования экспертных оценок. Предлагается модификация исходного метода, позволяющая производить коллективное ранжирование.
Ключевые слова: рейтинг научного журнала, коллективная экспертиза, алгоритм коллективного ранжирования.
1. Введение
В настоящей статье обсуждается методика сбора и агрегирования экспертных оценок для построения экспертного рейтинга научных журналов в области естественных и технических наук, предложенная в работе [4]. В формальной постановке задача относится к классу задач многокритериального выбора, и принципиальная сложность таких задач, как отмечено в [3], «...заключается в невозможности априорного определения того, что называть наилучшим решением».
Пусть имеется некоторое множество объектов одного типа,
1 Мазалов Владимир Владимирович, доктор физико-математических наук, профессор ([email protected]).
2
Печников Андрей Анатольевич, кандидат физико-математических наук, доцент ([email protected]).
3 Фалько Игорь Антонович, кандидат физико-математических наук ([email protected]).
но с различающимися характеристиками. В случае [4] это множество научных журналов, имеющих такие характеристики как отражение в реферативных журналах ВИНИТИ, индексы цитирования, отражение зарубежными реферативными службами, включение в список ВАК и т.д. Поскольку характеристики не обязательно взаимосвязаны, то возможно составление двух рейтингов, в которых один и тот же объект будет занимать диаметрально противоположные позиции. Исходя из этого, можно утверждать, что первоначальной задачей составителя рейтинга является выбор характеристик, на основе которых будет составляться рейтинг. Несмотря на важность данной задачи, мы не будем на ней останавливаться, поскольку она требует отдельного внимательного рассмотрения.
Дальнейшее изложение будет основано на анализе подхода, изложенного в [4] с внесением, по мере необходимости, замечаний, дополнений и предложений.
2. Анализ методик сбора и агрегирования экспертных оценок для построения рейтинга научных журналов
В 2007-2008 гг. в ВИНИТИ РАН проводилось экспертное оценивание российских и зарубежных научных журналов с целью построения рейтинга журналов и для отбора наиболее важных из них.
В качестве экспертов выступали редакторы реферативных журналов, которым были предложены списки сериальных изданий. Каждое издание сопровождалось необходимой статистической информацией, на основе которой эксперты должны были дать оценку.
После этого на основе экспертных оценок для каждого журнала вычислялись три показателя: «максимальная оценка», «обобщенная оценка» и «высший нормированный ранг» [4]. Далее все журналы ранжировались методом лексикографического упорядочивания по этим показателям.
Одна из особенностей проводимого опроса экспертов заключалась в том, что ни один из экспертов не мог оценить все журналы. Первой причиной этого было большое число журналов (11067 изданий), а вторая заключалась в том, что научные издания предназначены для специалистов, а быть специалистом во всех областях науки достаточно сложно. Поэтому каждый из экспертов получил для оценивания только часть общего числа журналов и должен был, основываясь на некотором наборе характеристик этих журналов, дать оценку для каждого журнала по шестибалльной шкале. Оценки могли принимать следующие значения: высокий (5), выше среднего (4), средний (3), ниже среднего (2), низкий (1), нулевой (0).
В итоге была получена матрица, в пересечении строки i и столбца j которой стояла оценка журнала i экспертом ]. В силу причин, указанных выше, в матрице были незаполненные элементы.
Возникает резонный вопрос: если были известны характеристики журналов, почему нельзя было составить рейтинг исходя только из этих характеристик? Как справедливо указано в [4], каждой характеристике можно присвоить ее вес, затем просуммировать их и упорядочить по полученному значению.
Возможно, ситуация осложняется тем, что не все характеристики могут быть даны в числовом виде, т.е. существует определенная нечеткость в исходных данных. В этом случае, как нам представляется, можно воспользоваться результатами Л. А. Заде [2], и, используя функцию Харрингтона, перейти от вербальных оценок к их числовым аналогам.
Конечно, задача присвоения весов отдельным характеристикам требует отдельного решения, но в данном случае мы избавляемся от сложной проблемы - неполноты матрицы экспертных оценок. В качестве возможного подхода к решению таких задач возможно использование нечетких методов автоматической классификации [1].
Продолжим анализ предложенных в [4] методов. Получив матрицу экспертных оценок, предлагается перейти к новой мат-
рице, полученной из исходной заменой элементов в соответствии с модифицированной шкалой Харрингтона: 5 заменяется на
0,9, 4 заменяется на 0,715, 3 - на 0,5, 2 - на 0,285, 1 - на 0,1.
Далее для каждого журнала вычислялись следующие обобщенные оценки:
максимальная оценка - максимум из полученных оценок; обобщенная оценка - сумма всех полученных оценок; высший нормированный ранг - для его вычисления использовалась вспомогательная матрица, в которой каждому изданию сопоставлялся порядковый номер в списке журналов, оцененных каждым экспертом.
Для получения окончательного рейтинга список всех журналов лексикографически упорядочивался поочередно по максимальной оценке, затем - по обобщенной оценке, и, наконец, по высшему нормированному рангу.
Рассмотрим действие данного алгоритма на следующих исходных данных. Два объекта А и Б были оценены пятью экспертами Э1-Э5. Полученные оценки сведены в матрицу (в скобках указаны числовые интерпретации экспертных оценок):
Таблица 1. Экспертные оценки и обобщенная оценка
Э1 Э2 Э3 Э4 Э5 обобщенная оценка
А 5 (0,9) 5 (0,9) 5 (0,9) 2,7
Б 3 (0,5) 3 (0,5) 3 (0,5) 5 (0,9) 3 (0,5) 2,9
В данном примере нам нет необходимости вычислять высший нормированный ранг, поскольку данных достаточно, чтобы выяснить, что журнал А занимает второе место, имея только высшие оценки. Здесь мы обнаруживаем большой недостаток разработанного автором алгоритма - журналы, получившие одну высшую оценку и большое количество низких оценок, могут занять в рейтинге более высокое место по сравнению с журна-
лами, оцененными высоко, но недостаточным количеством экспертов.
Еще одним недостатком алгоритма является его неспособность корректировать ошибки экспертов при выставлении оценок (случайные или преднамеренные - это не столь важно в данном контексте). Как видно из таблицы 1, если высокая оценка эксперта №4 выставлена ошибочно, то она не будет нивелирована данным алгоритмом.
3. Заключение и предложения
Подводя итог анализу задачи составления рейтинга научных журналов, мы приходим к выводу, что алгоритм, предложенный в [4], нельзя считать удовлетворительным.
Модифицируем предложенный подход следующим образом. Потребуем, чтобы каждый журнал получил одинаковое количество экспертных оценок. На практике это требование может быть выполнено различными способами, зависящими от целей исследователя.
Тогда может быть предложен следующий алгоритм ранжирования:
Шаг 1. Оценки экспертов для каждого журнала упорядочиваются по убыванию.
Шаг 2. Список журналов упорядочивается по убыванию первой оценки, затем второй и так далее.
В результате применения этого алгоритма на первые места попадут журналы, имеющие большее количество высоких оценок по сравнению с другими. Ошибки экспертов также нивелируются за счет того, что сравнение производится по всем оценкам.
Литература
1. ВЯТЧЕНИН Д. А. Нечеткие методы автоматической классификации: Монография. - Минск, УП «Технопринт», 2004.
- 219 с.
2. ЗАДЕ Л. А. Понятие лингвистической переменной и его применение к принятию приближенных решений. Пер. с англ. - М.: Мир. - 1976. - 163 с.
3. НОГИН В. Д. Принятие решений в многокритериальной среде: количественный подход. - М.: ФИЗМАТЛИТ: 2002. -
176 с.
4. ФЕДОРЕЦ О. В. Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга // Управление большими системами. -2009. - Выпуск 27. - С. 12-35.
ON CONSTRUCTING THE SCIENTIFIC JOURNALS RATING
Vladimir Mazalov, Institute of Applied Mathematical Researches, KarRC RAS, Petrozavodsk, Dr.Sc., professor ([email protected]).
Andrey Pechnikov, Institute of Applied Mathematical Researches, KarRC RAS, Petrozavodsk, Cand.Sc., associated professor ([email protected]).
Igor Falko, Institute of Applied Mathematical Researches, KarRC RAS, Petrozavodsk, Cand.Sc. ([email protected]).
Abstract: The analysis of scientific journals rating construction based on the techniques of gathering and aggregation of expert estimations is carried out. Initial method is enhanced to allow making collective ranking.
Keywords: rating of scientific journal, collective examination, algorithm of collective ranking.
