Оценка вклада научных работников методом порогового агрегирования Текст научной статьи по специальности «Математика»

УДК 001 ББК 72.4

ОЦЕНКА ВКЛАДА НАУЧНЫХ РАБОТНИКОВ МЕТОДОМ ПОРОГОВОГО АГРЕГИРОВАНИЯ1

Алескеров Ф. Т.2,

(НИУ «Высшая школа экономики», Москва, ФГБУН Институт проблем управления им. В.А. Трапезникова РАН, Москва)

Катаева Е. С.3, Писляков В. В.4,

(НИУ «Высшая школа экономики», Москва)

Якуба В. И.5 (ФГБУН Институт проблем управления им. В.А. Трапезникова РАН, Москва)

Предложен новый подход к оценке деятельности научных сотрудников, основанный на применении процедуры порогового агрегирования к отдельным библиометрическим показателям. Метод проиллюстрирован на условных данных.

Ключевые слова: оценка публикационной активности, процедура порогового агрегирования, рейтинг, индекс Хирша, некомпенсаторность.

1 Алескеров Ф. Т. и Катаева Е. С. выражают благодарность Международной научно-учебной лаборатории анализа и выбора решений НИУ ВШЭ за частичное финансирование данной работы. Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ. В статье также использованы результаты, полученные в ходе выполнения проекта «Построение рейтингов методами коллективного выбора», выполненного в рамках Программы «Научный фонд НИУ ВШЭ», грант №12-05-0036.

2 Фуад Тагиевич Алескеров, доктор технических наук, профессор, заведующий лабораторией ([email protected]).

3 Екатерина Сергеевна Катаева, студент ([email protected]).

4 Владимир Владимирович Писляков, кандидат физикоматематических наук, зам. директора библиотеки ([email protected])

5 Вячеслав Иванович Якуба, кандидат технических наук, старший научный сотрудник ([email protected])

1. Введение

В настоящее время для оценки деятельности научных работников используются различные библиометрические показатели, такие как общее число опубликованных статей, индекс Хирша и другие. На основании расчета значений этих показателей строятся рейтинги, отражающие сравнительную значимость научного вклада различных авторов. Однако применение биб-лиометрических индексов требует большой осторожности. Оценки, опирающиеся только на один библиометрический показатель, могут вносить существенные искажения в действительный вклад научных работников в связи со сложностью и многогранностью оцениваемого понятия. Также может появиться соблазн для научных сотрудников прибегнуть к специальным ухищрениям для повышения показателя, по которому осуществляется ранжирование.

Для устранения вышеназванных проблем в данной работе предлагается построение агрегированного рейтинга, основанного на применении процедуры порогового агрегирования, используемой в задачах многокритериального оценивания. Различными критериями, по которым будут оцениваться авторы, в данном случае будут такие библиометрические показатели, как общее число статей, общее число ссылок, индекс Хирша, показатель значимости публикаций, индекс качества опубликованных работ и функция учета ссылок П.Ю. Чеботарева.

Основной характеристикой предложенной процедуры является ее некомпенсаторный характер, который заключается в невозможности компенсации низкого значения одного из используемых критериев высокими значениями по другим критериям. Благодаря указанному свойству сокращаются возможности для искусственного улучшения научным работником своего места в рейтинге путем увеличения одного из используемых в ранжировании индексов.

Таким образом, целью данной работы является исследование вопроса о том, как можно более реалистично оценить эффективность авторов с точки зрения не одного показателя, а

нескольких, при этом учитывая некомпенсаторную природу этих индексов.

Текст организован следующим образом. В разделе 2 даются определения и поясняется смысл используемых библиометриче-ских показателей, связанных с оценкой вклада научного сотрудника. В разделе 3 описан массив сгенерированных для исследования данных, а также представлен анализ рейтинга, построенного на основе наиболее популярного и широко применяемого сегодня индекса Хирша. Раздел 4 содержит, во-первых, формальное описание правила порогового агрегирования и построенного на его основе индекса, а во-вторых, результаты агрегированных рейтингов и интерпретацию полученных результатов. В Заключении подводятся итоги работы и указываются направления дальнейших исследований.

2. Наукометрические показатели оценки научного вклада отдельного автора

В настоящем разделе даются краткие определения использованных в работе библиометрических показателей авторов.

2.1. ОБЩЕЕ ЧИСЛО СТАТЕЙ И ОБЩЕЕ ЧИСЛО ССЫЛОК Если отождествить качество работы научного сотрудника с

числом ее цитирований, то общее число ссылок является статистически надежным показателем, который позволяет выявить авторов, имеющих работы высокого качества. Общее число статей может служить показателем продуктивности ученого.

2.2. ИНДЕКС ХИРША

Предложенный в [7] (см. также [3, 6]) показатель оценки научного вклада отдельного автора стал одним из наиболее известных и широко используемых индексов на сегодняшний день. Несмотря на простоту расчета, он является комплексным отображением достижений научного работника за всю его карьеру. Согласно определению, автор имеет индекс h, если h из ^ его работы привлекли по меньшей мере h ссылок каждая, а

каждая из остальных ^р - И) имеет менее h цитирований. Данный индикатор, в отличие от общего числа работ и общего количества ссылок, является нечувствительным как к большому количеству низко цитируемых статей, так и к одной или нескольким высокоцитируемым работам. Для достижения высокого индекса Хирша необходимо постоянно публиковать востребованные работы.

Однако наряду с достоинствами ^индекс имеет свои недостатки, наиболее очевидным из которых является неспособность индекса учитывать «лишнее» качество. Несмотря на то, что высокоцитируемые работы влияют на значение индекса Хирша, конкретное число ссылок на такие статьи для значения показателя не имеет значения. В частности, в ^индексе не отражается информация об увеличении числа цитирований работ, которые уже повлияли на значение h, даже если эти статьи удвоили или утроили количество получаемых ссылок.

Например, допустим, что двое гипотетических научных работников А и В опубликовали 10 и 50 статей соответственно. А получил по 10 цитирований на каждую работу, а у В -10 статей с 200 ссылками на каждую, а оставшиеся его 40 публикаций получили по 10 ссылок. В этом случае при очевидном неравенстве научных достижений авторов их индекс Хирша будет иметь одинаковое значение 10.

2.3. ПОКАЗАТЕЛЬ ЗНАЧИМОСТИ ПУБЛИКАЦИЙ

При оценке вклада научного сотрудника важно учитывать не только количество публикуемых статей, но и их качество. Для этого мы используем показатель значимости публикаций, учитывающий импакт-фактор журналов, в которых они опубликованы. Данный индекс рассчитывался следующим образом:

т

(1) £ Пг2 х тРг ,

г=1

где пг - это количество статей, опубликованных в журнале г с импакт-фактором гтрг.

Для простоты было принято, что все журналы делятся на

3 категории - высокорейтинговые (импакт-фактор 2), рейтинговые (импакт-фактор 1) и журналы, не имеющие рейтинга (им-пакт-фактор 0).

Мы понимаем всю условность такого деления1, но целью данной работы, как указывалось выше, является попытка понять, является ли оценка эффективности авторов с точки зрения нескольких показателей при помощи метода порогового агрегирования более реалистичной, чем оценка по одному библиомет-рическому индексу.

2.4. ИНДЕКС КАЧЕСТВА ОПУБЛИКОВАННЫХ РАБОТ Индекс качества опубликованных работ является ещё одним

показателем, учитывающим значимость статей автора с помощью импакт-фактора журналов, в которых они издаются. Однако по сравнению с показателем значимости публикаций рассматриваемый индекс придает больший вес не количеству изданных работ, а их качеству, т.е. рейтингу журналов, в которых они опубликованы. Данный индекс рассчитывался по следующей формуле:

т

(2) £ П х гтРг \

г=1

где п - это количество статей в журнале г с импакт-фактором гтрг.

При использовании рассматриваемого библиометрического показателя были приняты те же описанные ранее упрощения, касающиеся деления всех изданий на три категории.

2.5. ФУНКЦИЯ УЧЕТА ССЫЛОК (РАНЖИРУЮЩАЯ ФУНКЦИЯ)

Для учета количества ссылок на работы научного сотрудника в [4] предложено использовать функцию вида

1 Более точные значения импакт-фактора журналов см., например, в [1]. 176

N2

(3) ■

п

где N - число ссылок на работы ученого; п - число его работ.

Под корнем стоит произведение N на плотность ссылок N/n. Выбор функции с убывающей производной, а именно^, позволяет сделать учет цитирования более консервативным. Так, вклад каждой следующей ссылки заметно меньше вклада предыдущей. Такой подход позволяет избежать больших ошибок, возникающих в связи с ненадежностью показателя общего числа цитирований.

3. Исходные данные и анализ рейтинга по Хиршу

В качестве базы для исследования рассматриваются данные, в которые были включены как реальные научные работники с соответствующими значениями параметров, так и условные авторы со средними значениями параметров. Для идентификации научных сотрудников им были присвоены номера от 1 до 16 в соответствии с числом рассматриваемых научных работников. Исходные данные указаны в Приложении в таблице П1.

В сгенерированном списке авторов присутствуют как талантливые работники, имеющие статьи высокого уровня, так и откровенно слабые авторы. Ниже приведены характеристики рассматриваемых типов:

• А1 и А2 являются широко известными в научных кругах авторами, имеющими большое количество публикаций в ведущих зарубежных журналах.

• А3, А4 и А6 - это талантливые российские научные сотрудники, также имеющие статьи в высокорейтинговых журналах.

• У автора А5 мало работ, но все его статьи очень высокого качества.

• А13 является посредственным научным работником, который пишет работы среднего качества с достаточным количеством цитирований для увеличения такого библиометрического

показателя, как индекс Хирша, так как можно иметь высокое значение данного индекса, не публикуя гениальных работ.

• А7 и А12 - это сотрудники, имеющие по одной или несколько статей в хороших журналах.

• А8, А9 и А11 можно назвать авторами среднего уровня, опубликовавшими по 4-5 работ в журналах, отнесенных нами ко второй категории.

• А10 и А14 - это научные работники, которые пишут много статей в журналах низкого качества. Их целью является достижение приемлемых библиометрических показателей путем наращивания количества непроработанных до конца работ.

• А15 является сотрудником, опубликовавшим несколько проходных статей в местных малоизвестных изданиях. Несмотря на это, такой автор имеет достаточно большое количество цитирований благодаря ссылкам его же учеников, также печатающихся в журналах ниже среднего уровня.

• А16 - это слабый автор, чьи работы не вызывают особого интереса у научного сообщества.

В результате для 16 научных работников на основании значений индекса Хирша был построен рейтинг. Рейтинг - это ранжирование, состоящее из позиций (мест, на которые можно поставить одного автора). Сотрудники с совпадающими значениями показателя были отсортированы по общему количеству публикаций. Позиции упорядочивались по «ухудшению» (в нашем случае - убыванию) значения показателя и нумеровались натуральными числами, начиная с позиции 1, соответствующей «наилучшему» значению. Номера позиций рассматриваемых авторов в построенном рейтинге приведены в таблице 1.

Как видно из таблицы 2, индекс Хирша вносит существенные искажения в действительный вклад научного сотрудника. Так, например, на высокие места рейтинга поднялись авторы А14 и А13, не имеющие публикаций ни в одном серьезном научном журнале. А подлинные творцы науки, такие как А3 и А5, получили места во второй половине построенного ранжирования. Это объясняется тем, что индекс Хирша не учитывает единичные работы со сколь угодно большим количеством ссы-

лок, а также игнорирует информацию о том, кто и кого цитирует и где и что цитируется. В связи с этим создается искушение искусственно увеличивать количество публикаций и цитирований, путем, например, дробления статей на более мелкие, само-цитирования, соавторства или публикаций некачественных работ в соответствующих журналах (см. обсуждение в [4, 6]).

Таблица 1. Рейтинг по индексу Хирша

Место рейтинга 1 2 3 4 5 6 7 8

Автор А1 А2 А4 А14 А13 А6 А7 А5

Место рейтинга 9 10 11 12 13 14 15 16

Автор А10 А3 А9 А8 А12 А11 А15 А16

Таким образом, на наш взгляд, некорректно сводить научную репутацию лишь к одному индексу. Для оценки такого многомерного понятия как научный вклад автора возникает необходимость использования совокупности библиометрических показателей. Из этого следует, что ранжирование научных работников превращается в проблему построения интегральной оценки на основании нескольких критериев, т.е. в многокритериальную задачу.

4. Построение агрегированных рейтингов методом порогового агрегирования

Классическим решением задачи ранжирования альтернатив, оцениваемых по нескольким критериям, является вычисление взвешенной суммы значений критериев для каждой из альтернатив и их упорядочение по этой величине. Однако у этого метода есть серьезное ограничение - необходимость теоретического обоснования возможности суммирования и выбора весов. Для рассматриваемой задачи такого обоснования нет, следовательно, мы не можем быть уверены в том, что суммирование взвешенных значений библиометрических показателей

является корректной процедурой, дающей логически осмысленные результаты.

Выходом из положения является возможность использования метода порогового агрегирования, преимуществом которого является его некомпенсаторный характер. В предлагаемом ниже способе рейтингования невозможна ситуация, когда низкие ранги по отдельным библиометрическим показателям могут быть «заретушированы» высокими оценками по другим. Таким образом, для достижения высокого места в рейтинге ученому недостаточно иметь высокое значение только одного индекса, и чтобы «вырваться вперед», ему необходимо улучшать сразу несколько показателей.

4.1. ПОРОГОВОЕ ПРАВИЛО И СООТВЕТСТВУЮЩИЙ ИНДЕКС

Рассмотрим конечное множество А альтернатив, оцениваемых по п критериям. В задаче построения агрегированного рейтинга научных сотрудников альтернативами считаются авторы, а критериями - библиометрические показатели.

Для рассматриваемых 16 научных работников значения каждого библиометрического показателя было разделено на 15 равномерных градаций. В соответствии с градациями был осуществлен переход от конкретного значения показателя к рангу, который варьируется от 1 до 15, где 1 соответствует самой низкой градации, а 15 - самой высокой.

Тогда каждой альтернативе х из А был поставлен в соответствие вектор (х1, ..., хп), где ху - это ранг альтернативы по соответствующему критерию у, т.е. ху е {1, ..., 15}.

Наша задача состояла в том, чтобы на основе знания оценок ('1, ..., хп) для всех альтернатив х ранжировать множество А, т.е. для каждого научного сотрудника найти его порядковый номер в агрегированном рейтинге.

Поскольку любая альтернатива характеризуется своими оценками, без ограничения общности можно считать, что эта альтернатива «совпадает» со своими оценками, и для х е А

писать х = (х1, ..., хп). Таким образом, множество А состоит из всех возможных «-мерных векторов вида (Х1, ..., хп).

Для решения поставленной задачи было применено пороговое правило [2, 5] и рассчитан индекс по методу пороговой оценки.

Обозначим через уДх) количество рангов 7 в векторе х, т.е. уДх) = |{1< / <«: XI = у}|. Отметим сразу, что 0 < уДх) < п для всех 7 е {1, ..., 15} и х е А и

(4) У1(х) + ... + У15(х) = п для всех х е А.

Альтернатива х е А считается (строго) более предпочтительной, чем альтернатива у е А (кратко: хРу), если найдется такой номер 1 < k < «, что уДх) = Уу(у) для всех номеров 1 < 7 < k - 1 и Vk(x) < У£(у) (при k = 1 пустое условие «уДх) = ^(у) для всех номеров 1 < 7 < 0» опускается).

Отношение Р называется пороговым отношением.

В соответствии с пороговым правилом, индекс альтернативы равен сумме количеств сочетаний из а по Ь [5]:

15

(5) r = ^ Cba , где количество сочетаний доопределено так:

j=i

(6) C01 = 1 и C„”+1 = 0,

а и b зависят от j и определены следующим образом:

(7) a(j) = n - V(j) + 15 - j - 1,

(8) b(j)= 15 - j.

V(j) определено как сумма

(9) V (j )=±vq (x).

q=1

Нормированный индекс по методу пороговой оценки равен r

(10) 1Threshold = ,

r

max

где rmax - это максимальное значение индекса.

Нормированный индекс меняется от 0 до 1, и чем выше значение индекса, тем лучше оценка.

4.2. ПОСТРОЕННЫЕ АГРЕГИРОВАННЫЕ РЕЙТИНГИ

Для построения первого агрегированного рейтинга при применении порогового правила в качестве критериев использовались общее число статей, общее число ссылок и индекс Хирша. Полученный рейтинг представлен в таблице 2.

Таблица 2. Агрегированный рейтинг, построенный на основе

индекса Хирша, общего число публикаций и цитирований

Место рейтинга 1 2 3 4 5 6 7 8

Автор А14 А1 А8 А3 А4 А2 А10 А12

Место рейтинга 9 10 11 12 13 14 15 16

Автор А6 А7 А15 А5 А9 А11 А13 А16

К сожалению, полученные результаты не свидетельствуют об улучшении ситуации. В построенном рейтинге на первое место вышел автор, имеющий большое число ссылок, однако не опубликовавшийся ни в одном известном журнале. Мы же склонны придерживаться позиции, что сколь бы ни велико было общее число цитирований, это не может служить доказательством ценности научных работ и даже их востребованности научным сообществом.

По этой причине в качестве четвертого критерия при построении порогового агрегирования был использован показатель значимости публикаций, учитывающий авторитет журналов, в которых опубликованы статьи научного работника. Новое ранжирование приведено в таблице 3.

На наш взгляд, данный рейтинг более точно отражает научный вклад каждого конкретного автора, даже несмотря на то, что А14 по-прежнему занимает достаточно высокое место рейтинга. Отметим, что А14 не смог обойти А3, имея почти в 8 раз большее количество ссылок, однако сильно проигрывая по значимости публикаций. Также примечательным является тот факт, что именно благодаря некомпенсаторному характеру примененной процедуры научный сотрудник А13, «работающий на индекс Хирша», карди-

нальным образом понизил своё место в ранжировании, упав с пятой позиции в таблице 1 до пятнадцатой.

Таблица 3. Агрегированный рейтинг, построенный на основе индекса Хирша, общего число статей, общего числа цитирований и показателя значимости публикаций_____________________

Место рейтинга 1 2 3 4 5 6 7 8

Автор А1 А3 А2 А4 А14 А8 А5 А10

Место рейтинга 9 10 11 12 13 14 15 16

Автор А12 А6 А7 А15 А9 А11 А13 А16

По аналогии со вторым агрегированным рейтингом было построено третье ранжирование, в котором индекс Хирша был заменен на ранжирующую функцию. Результаты получившегося рейтинга, которые можно найти в Приложении в таблице П2, очень хорошо согласуются с предыдущим агрегированием, что можно считать еще одним преимуществом предлагаемого подхода.

Следующим шагом нашего исследования была замена показателя значимости публикаций на индекс качества опубликованных работ для последних двух вышеописанных рейтингов и построение новых ранжирований. Первый из получившихся рейтингов представлен в таблице 4.

Таблица 4. Агрегированный рейтинг, построенный на основе индекса Хирша, общего число статей, общего числа цитирований и индекса качества опубликованных работ________________

Место рейтинга 1 2 3 4 5 6 7 8

Автор А1 А3 А4 А2 А14 А8 А6 А10

Место рейтинга 9 10 11 12 13 14 15 16

Автор А12 А7 А5 А9 А11 А15 А13 А16

Данные таблицы 4 свидетельствуют о некоторых улучшениях построенных ранее ранжирований. Так, например, талант-

ливый российский научный сотрудник А6, имеющий статьи в высокорейтинговых журналах, стал занимать более высокое седьмое место рейтинга. А автор А15, не представляющий особого интереса для научного сообщества, наоборот, опустился на четырнадцатое место. При этом стоит отметить, что данное ранжирование сохранило все преимущества рейтингов 3 и 4, так как индекс качества опубликованных работ тоже призван учитывать значимость публикаций.

Последнее построенное ранжирование приведено в Приложении в таблице П3. Его результаты очень близки к рейтингу 5.

Также была рассмотрена двойственная модель, которая, в отличие от исходной модификации, не «наказывает» за низкие оценки, а «поощряет» высокие баллы. Однако оказалось, что эта модель, именно в силу поощрения высоких баллов, позволяет только благодаря большому значению одного из показателей существенно улучшить положение «средних» сотрудников, что не представляется приемлемым в поставленной задаче.

Разница между парами упорядочений, полученными в результате рассмотренных рейтингов, была оценена с помощью расстояния Кендалла [8], определяемого как нормированное количество попарных перестановок альтернатив, посредством которых одно упорядочение получается из другого. Для расчета расстояния Кендалла подсчитывается количество пар альтернатив / и 7, такое, что в первом упорядочении / лучше, чем 7, а во втором упорядочении 7 лучше, чем /. Полученное число затем делится на общее количество возможных различных пар для данного количества альтернатив, т.е. на п (п - 1)/2 (= 120 в нашем случае). Чем меньше расстояние Кендалла, тем ближе друг к другу упорядочения.

В таблице 5 приведено расстояние Кендалла между ранжировками, полученными по построенными рейтингам.

Из таблице 5 видно, что рейтинг 3 очень близок к рейтингу 4, то же справедливо и для рейтингов 5 и 6. Однако расстояние между рейтингом, полученным только по индексу Хирша, и остальными рейтингами довольно велико.

Таблица 5. Расстояние Кендалла между рейтингами

Рейтинг 1 Рейтинг 2 Рейтинг 3 Рейтинг 4 Рейтинг 5 Рейтинг 6

Рейтинг 1 0,00 0,32 0,26 0,28 0,23 0,25

Рейтинг 2 0,32 0,00 0,11 0,14 0,10 0,10

Рейтинг 3 0,26 0,11 0,00 0,03 0,08 0,08

Рейтинг 4 0,28 0,14 0,03 0,00 0,11 0,09

Рейтинг 5 0,23 0,10 0,08 0,11 0,00 0,02

Рейтинг 6 0,25 0,10 0,08 0,09 0,02 0,00

5. Заключение

В работе был проведен анализ рейтинга научных работников, построенного на основании наиболее известного на сегодняшний день индекса Хирша. Мы получили ожидаемый результат: ранжирование, использующее только один библиометрический показатель, представляет собой ограниченный и неполный взгляд на значимость научного вклада авторов. В связи с этим мы использовали индекс Хирша в совокупности с другими показателями оценки ценности научных работ исследователей. Для решения возникшей многокритериальной задачи было применено некомпенсаторное правило порогового агрегирования.

Было показано, что использование в качестве критериев общего числа работ, общего числа ссылок и индекса Хирша не дают более полного и надежного представления о научном вкладе рассматриваемых авторов. Однако при добавлении показателей, учитывающих качество публикаций с помощью импакт-факторов журналов, в которых они опубликованы, ситуация заметно улучшилась. Более того, чем сильнее принимается в расчет значимость журналов, тем адекватнее получаются построенные рейтинги. Некомпенсаторность процедуры

позволяет сократить стимулы для увеличения количества некачественных работ и для привлечения малозначимых цитирований, так как работник, не имеющий публикаций в серьезных журналах, даже при большом количестве работ и ссылок на них, не сможет занять очень высокого места рейтинга.

Подытоживая, можно утверждать, что рейтинги, основанные на некомпенсаторной процедуре, подобные рассмотренному в настоящей работе, могут представлять широкий интерес во многих реальных ситуациях, когда компенсирование «плохого» посредством «хорошего» не представляется разумным. Однако стоит отметить, что для эффективного ранжирования необходимо правильно подобрать критерии для применения пороговой процедуры, что может являться темой дальнейших исследований.

6. Приложение

Таблица П1. Массив используемых данных

Автор Общее число статей Общее число ссылок Индекс Хирша Показатель значимости публикаций Индекс качества опублико- ванных работ Ранжи- рующая функция

А1 55 1652 21 1307 95 14,9

А2 35 338 10 425 55 7,6

А3 190 398 5 1728 72 5,4

А4 54 341 9 136 32 6,8

А5 7 2000 7 98 28 27,5

А6 37 160 7 59 23 5,1

А7 30 205 7 38 10 6,1

А8 98 839 5 25 5 9,2

А9 150 50 5 25 5 2,0

А10 220 150 6 16 4 3,2

А11 130 100 3 11 7 3,0

А12 200 200 4 6 6 3,8

Автор Общее число статей Общее число ссылок Индекс Хирша Показатель значимости публикаций Индекс качества опублико- ванных работ Ранжи- рующая функция

А13 40 80 7 4 2 3,6

А14 165 3053 8 2 4 15,4

А15 29 290 3 0 0 7,3

А16 100 0 0 0 0 0

Таблица П2. Агрегированный рейтинг, построенный на основе ранжирующей функции, общего числа статей, общего числа цитирований и показателя значимости публикаций_____________

Место рейтинга 1 2 3 4 5 6 7 8

Автор А1 А3 А2 А4 А14 А8 А5 А10

Место рейтинга 9 10 11 12 13 14 15 16

Автор А12 А15 А6 А7 А11 А13 А9 А16

Таблица П3. Агрегированный рейтинг, построенный на основе ранжирующей функции, общего числа статей, общего числа цитирований и индекса качества опубликованных работ________

Место рейтинга 1 2 3 4 5 6 7 8

Автор А1 А3 А4 А2 А14 А8 А6 А10

Место рейтинга 9 10 11 12 13 14 15 16

Автор А12 А7 А5 А11 А15 А9 А13 А16

Литература

1. АЛЕСКЕРОВ Ф.Т., ПИСЛЯКОВ В В., СУБОЧЕВ А Н. и др.

Построение рейтингов журналов по менеджменту с помощью методов теории коллективного выбора: Препринт WP7/2011/04. - М.: Изд. дом Высшей школы экономики, 2011. - 44 с.

2. АЛЕСКЕРОВ Ф.Т., ЯКУБА В.И. Метод порогового агрегирования трехградационных ранжировок // ДАН. - 2007. -Т. 413, №2. - С. 181-183

3. ПИСЛЯКОВ В.В. Методы оценки научного знания по показателям цитирования // Социологический журнал. - 2007. -№1. - С. 128-140.

4. ЧЕБОТАРЕВ П.Ю. Наукометрия: как с ее помощью лечить, а не калечить? // Управление большими системами. -2013. - № 44 - С. 14-31.

5. ALESKEROV F., CHISTYAKOV V., KALYAGIN V. Social threshold aggregations // Social Choice and Welfare. - 2010. -Vol. 35, №4. - P. 627-646.

6. BORNMANN D. What do we know about h-index? // Journal of the American Society for Information Science and Technology. -2007. - Vol. 58, №3. - P. 1381-1385.

7. HIRSCH J.E. An index to quantify an individual’s scientific research output // Proc. National Academy of Sciences, USA. -2005 - Vol. 102, №46. - P. 16569-16572.

8. KENDALL M.A. New Measure of Rank Correlation // Bio-metrika. - 1938. - №30. - P. 81-89.

EVALUATION OF SCIENTISTS’ OUTPUT USING THE METHOD OF THRESHOLD AGGREGATION

Fuad Aleskerov, National Research University Higher School of Economics, Moscow, and Institute of Control Sciences of RAS, Moscow, Doctor of Science, Professor, Head of Laboratory ([email protected]).

Ekaterina Kataeva, National Research University Higher School of Economics, Moscow, student ([email protected]).

Vladimir Pislyakov, National Research University Higher School of Economics, Moscow, Cand.Sc., Assistant Library Director (pislyakov@hse. ru).

Vyacheslav Yakuba, Institute of Control Sciences of RAS, Moscow, Cand.Sc., Senior Researcher ([email protected]).

Abstract: The new approach to evaluation of scientists' output is proposed based on aggregation of separate bibliometric indicators using the procedure of threshold aggregation. The method is illustrated on a model dataset.

Key words: publication productivity assessment, threshold aggregation procedure, rating, Hirsch index, non-compensability.

Поступила в редакцию 13.03.2013.

Опубликована 31.07.2013.