CC BY
64
УДК 004.8
01.00.00 Физико-математические науки
КОЛИЧЕСТВЕННАЯ ОЦЕНКА СТЕПЕНИ МАНИПУЛИРОВАНИЯ ИНДЕКСОМ ХИРША И ЕГО МОДИФИКАЦИЯ, УСТОЙЧИВАЯ К МАНИПУЛИРОВАНИЮ
Луценко Евгений Вениаминович д.э.н., к.т.н., профессор РИНЦ БРШ-код: 9523-7101 prof.lыtsenko@gmail. com
Кубанский государственный аграрный университет имени И.Т.Трубилина, Краснодар, Россия
Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор РИНЦ БРШ-код: 4342-4994
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, рго^ог^@,таП.ты
В СССР ВАК с 1975 и до самого распада СССР подчинялась не Министерству образования и науки, а непосредственно Совету министров СССР. Однако с тех пор существует устойчивая тенденция постепенного снижения статуса ВАК. Сегодня ВАК уже не просто входит в Минобрнауки, а является всего лишь одним из подразделений одной из его структур: Рособрнадзора. Снижение статуса ВАК неизбежно приводит к снижению как статуса, так и адекватности присваиваемых им ученых степеней и научных званий. Этот процесс обесценивания традиционных ученых степеней и званий, присваиваемых ВАК, дошел до того, что несколько лет назад отменили надбавки к заработной плате за них. Теперь вместо них каждым вузом и НИИ разрабатывается свои локальные, т.е. несопоставимые друг с другом наукометрические методики оценки результатов научной и педагогической деятельности. При всем разнообразии этих методик, общим для всех них является несоразмерно большая роль, которая отводится в них индексу Хирша. Значение индекса Хирша начинает играть важную роль при защитах, при рассмотрении конкурсных дел на замещение должностей, а также при определении величины ежемесячного материального поощрения за результаты научной и педагогической деятельности. Сам по себе, этот индекс теоретически вполне обоснован. Однако, в связи с практикой его применения в наших условиях, в коллективном сознании научного сообщества возникла своеобразная мания, которую авторы называют «Хирша-мания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, а также к некорректному манипулированию его значением, т. е. к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В
UDC 004.8
Physics and mathematical sciences
QUANTIFICATION OF THE DEGREE OF MANIPULATION OF THE H-INDEX AND ITS MODIFICATION RESISTANT TO MANIPULATION
Lutsenko Eugeny Veniaminovich Dr.Sci.Econ., Cand.Tech.Sci., professor RSCI SPIN-code: 9523-7101 prof.lutsenko@gmail. com
Kuban State Agrarian University named after I. T. Trubilin, Russia, Krasnodar, Russia
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
In the USSR higher attestation Commission from 1975 to the collapse of the USSR was subordinated not to the Ministry of education and science, but to the Council of Ministers of the USSR directly. However, since then there is a steady trend of gradual reduction of the status of the Commission. Today it is not just included in the Ministry of education, it is just one of the units of one of its structures: the Rosobrnadzor. Reduced status of the HAC inevitably leads to a decline in the status and in the adequacy of scientific degrees assigned as well as scientific ranks. This process of devaluation of traditional academic degrees and titles assigned to the HAC, has reached the point when a few years ago there were abolished salary increments for them. Now, instead of that, every university and research institutes have developed their local, i.e. non-comparable with each other scientometric methods of evaluation of the results of scientific and teaching activities. Despite the diversity of these techniques, there is a common thing among all of them, which is the disproportionate role of the h-index. The value of the Hirsch index starts to play an important role in the protection, when considering competitive cases for positions, as well as in determining the monthly rewards for the results of scientific and teaching activities. By itself, this index is well founded, theoretically. However, in connection with the practice of its application in our conditions, in the collective consciousness of the scientific community there was a kind of mania, which the authors call the "Hirsch-mania". This mania is characterized by elevated unhealthy interest to the value of the Hirsch index, as well as incorrect manipulation of its value, i.e. inadequate artificial exaggeration of this value, as well as a number of negative consequences of that interest. In this study we have made an attempt to
данной работе делается попытка сконструировать количественную меру для оценки степени некорректного манипулирования значением индекса Хирша, а также предлагается научно-обоснованная модификация индекса Хирша, нечувствительная (устойчивая) к манипулированию им. Приводится методика всех численных расчетов, которая достаточно проста, чтобы ее мог применить любой автор
Ключевые слова: КОЛИЧЕСТВЕННАЯ ОЦЕНКА, СТЕПЕНЬ МАНИПУЛИРОВАНИЯ, ИНДЕКС ХИРША, МОДИФИКАЦИЯ, УСТОЙЧИВАЯ, НЕЧУВСТВИТЕЛЬНАЯ йо1: 10.21515/1990-4665-121-005
СОДЕРЖАНИЕ
ВВЕДЕНИЕ..........................................................................................................................................................2
1. ЧТО ТАКОЕ ИНДЕКС ХИРША..................................................................................................................4
2. МАНИПУЛИРОВАНИЕ ИНДЕКСОМ ХИРША ПРИ МАЛОМ ЧИСЛЕ ПУБЛИКАЦИЙ.............5
2.1. Способ сформировать максимальное значение индекса Хирша при малом числе
публикаций...................................................................................................................................................... 5
2.2. Первый интегральный критерий манипулирования индексом Хирша......................................... 5
2.3. Примеры применения первого интегрального критерия манипулирования индексом Хирша на основе баз данных РИНЦ........................................................................................................................ 9
3. МАНИПУЛИРОВАНИЕ ИНДЕКСОМ ХИРША ПРИ БОЛЬШОМ ЧИСЛЕ ПУБЛИКАЦИЙ.....14
3.1. Способ увеличить значение индекса Хирша при большом числе публикаций........................14
3.2. Научно-обоснованная модификация индекса Хирша, нечувствительная (устойчивая) к
попыткам манипулированию им............................................................................................................. 17
3.3. Второй интегральный критерий манипулирования индексом Хирша....................................... 19
3.4. Примеры определения теоретических значений индекса Хирша путем решения уравнений трендов...........................................................................................................................................................20
4. СОГЛАСОВАННОСТЬ 1-ГО И 2-ГО ИНТЕГРАЛЬНЫХ КРИТЕРИЕВ МАНИПУЛИРОВАНИЯ ИНДЕКСОМ ХИРША...................................................................................................................................... 25
5. ВЫВОДЫ И РЕКОМЕНДАЦИИ...............................................................................................................25
ЛИТЕРАТУРА...................................................................................................................................................27
«Индекс Хирша - это наукометрический показатель, который отражает степень понимания того, что такое индекс Хирша»
Народная мудрость периода Хиршамании (начало XXI века)
Введение
Высшая аттестационная комиссия (ВАК) - это своего рода отдел технического контроля (ОТК), оценивающий «качество продукции» не только Министерства образования и науки, но и всех других министерств и ведомств, в которых есть свои вузы и НИИ. В качестве продукции вузов
construct a quantitative measure for assessing the extent of improper manipulation of the value of the Hirsch index, and offered a science-based modification of the h-index, insensitive (resistant) to the manipulation. The article presents a technique for all the numerical calculations, which is simple enough for any author to use
Keywords: QUANTITATIVE ASSESSMENT, DEGREE OF MANIPULATION, H-INDEX, MODIFICATION, RESISTANT, INSENSITIVE
и НИИ выступают не только их разработки, но и сами ученые. ВАК, как и ОТК, обеспечивает обратную связь, информируя управляющую систему о результатах ее работы. Из теории управления известно, что если информация обратной связи неадекватна, то и управляющие решения, принимаемые на ее основе, также будут неадекватными. Понятно, что оценивающая структура не должна находится в подчинении у той структуры, качество работы которой она оценивает. В противном случае нетрудно догадаться, как она будет оценивать. В СССР ВАК с 1975 и до самого распада СССР подчинялась не Министерству образования и науки, а непосредственно Совету министров СССР, что соответствует этой логике. Однако с тех пор существует устойчивая тенденция постепенного снижения статуса ВАК. Сегодня ВАК уже не просто входит в Минобр-науки, а является всего лишь одним из подразделений одной из его структур: Рособрнадзора. Снижение статуса ВАК неизбежно приводит к снижению как статуса, так и адекватности присваиваемых им ученых степеней и научных званий. Этот процесс обесценивания традиционных ученых степеней и званий, присваиваемых ВАК, дошел до того, что несколько лет назад отменили надбавки к заработной плате за них. Теперь вместо традиционных ученых степеней и званий, присваиваемых ВАК практически каждым вузом и НИИ разрабатывается свои локальные, т.е. несопоставимые друг с другом наукометрические методики оценки результатов научной и педагогической деятельности. При всем разнообразии этих методик общим для всех них является несоразмерно большая роль, которая отводится в них индексу Хирша. Значение индекса Хирша начинает играть важную роль при защитах, при рассмотрении конкурсных дел на замещение должностей, а также при определении величины ежемесячного материального поощрения за результаты научной и педагогической деятельности. Сам по себе этот индекс теоретически вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую авторы называют «Хиршамания» [1]. Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, а также к некорректному манипулированию его значением, т.е. к искусст-
венному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса.
Возникают естественные вопросы:
1. Возможно ли как-то количественно оценить степень манипулирования индексом Хирша, т.е. то, в какой степени его значение «целенаправленно организовано»?
2. Возможно ли получить гипотетическое значение индекса Хирша каким оно было бы в случае отсутствия манипулирования им?
В данной работе делается попытка найти конкретные ответы на эти вопросы путем:
- конструирования количественной меры для оценки степени некорректного манипулирования значением индекса Хирша;
- разработки научно-обоснованной модификации индекса Хирша, нечувствительной (устойчивая) к попыткам манипулированию им.
Кроме собственно самих идей предлагается также методика всех численных расчетов, достаточно простая, чтобы ее мог применить каждый автор.
1. Что такое индекс Хирша
Рисунок 1. Распространенное в Internet пояснение к понятию:
«индекс Хирша»1
1 Источник: http://belmapo.by/assets/images/indeks-hirsha.png http://ej .kubagro.ru/2016/07/pdf/05 .pdf
Если ранжировать все публикации ученого в порядке убывания числа их цитирований («ранжированный список публикаций»), то индекс Хирша h - это просто номер публикации в этом списке, процитированной h раз. За этой публикацией идут публикации, процитированные менее h раз, а до нее - более h раз.
Таким образом, индекс Хирша является абсциссой точки пересечения графика числа цитирований для ранжированного списка публикаций с биссектрисой первого квадранта. Пусть f(h) - число цитирований публикации ранга h (т.е. публикации с номером h в ранжированном списке публикаций). Тогда для индекса Хирша h0 справедливы неравенства
f(h) > h при h < h0 и f(h) < h при h > h0.
2. Манипулирование индексом Хирша при малом числе публикаций
2.1. Способ сформировать максимальное значение индекса Хирша при малом числе публикаций
Из приведенного выше нехитрого алгоритма вычисления значения
индекса Хирша вполне понятно, как получить максимальное значение индекса Хирша h при минимальном числе публикаций h+1. Для этого достаточно опубликовать h+1 статей, в каждой из которых сослаться на все остальные [2].
2.2. Первый интегральный критерий манипулирования индексом Хирша
Наверное приведенный выше простой и доступный способ сформировать любое заданное значение индекса Хирша первым приходит всем авторам на ум. И это дает нам в руки первый наиболее простой критерий манипулирования индексом Хирша: «Чем более пологим является линейный тренд числа цитирований, построенный по ранжированному списку
публикаций, тем более вероятно, что был применен описанный выше способ максимизации индекса Хирша при малом числе публикаций».
Максимальный теоретически возможный угол наклона линейного тренда, достижимый лишь асимптотически, равен 90°, а минимальный, естественно, равен нулю: 0°. Количественно этот 1-й частный критерий по сути должен быть какой-то простой функцией от коэффициента наклона линейного тренда ранжированного списка. Естественным было нормировать 1-й частный критерий манипулирования индексом Хирша таким образом, чтобы при наклоне тренда 90° он имел минимальное значение равное 0 (нет манипулирования), а при наклоне 0° имел максимальное значение, равное 1 (полное манипулирование).
Уравнение линейного тренда выгладит следующим образом:
у = £ • х + Ь
С учетом всех этих соображений предлагается следующее выражение для 1 -го частного критерия манипулирования индексом Хирша К1 при малом числе публикаций:
^ 90-|Лг^(к)| К =-
1 90 ,
где:
к - коэффициент при х в линейном тренде ранжированного списка публикаций;
ArcTg(k) - арктангенс коэффициента наклона - угол наклона линейного тренда ранжированного по числу цитирований списка публикаций (в градусах).
Понятно, что чем более пологим является линейный тренд графика числа цитирований, тем ближе коэффициент Ь в линейном тренде к значению индекса Хирша И:
при : £ ® 0, Ь ® Н
Предлагается следующее выражение для 2-го частного критерия манипулирования индексом Хирша К2 при малом числе публикаций:
К 2
= 1 - Ме
Ь + Ь
где:
Ь - свободный член в линейном тренде графика числа цитирований;
Ь - эмпирическое значение индекса Хирша, т.е. полученное непосредственно из ранжированного списка публикаций и построенного по нему графика числа цитирований.
Естественным было нормировать 2-й частный критерий манипулирования индексом Хирша таким образом, чтобы при эмпирическом индексе Хирша Ие=0 он был равен нулю (нет манипулирования), при свободном члене Ь равном эмпирическому индексу Хирша Ь он был равен 1 (полное манипулирование), и при увеличении разницы между ними стремился к нулю (уменьшение степени манипулирования) (таблица 1 и рисунок 2):
Таблица 1 - Зависимость 2-го частного критерия манипулирования индексом Хирша от эмпирического значения индекса Хирша
при постоянном свободном члене Ь=7
В Н 2-й частный критерий В Н 2-й частный критерий В Н 2-й частный критерий
7 0 0,000000 7 13 0,700000 7 26 0,424242
7 1 0,250000 7 14 0,666667 7 27 0,411765
7 2 0,444444 7 15 0,636364 7 28 0,400000
7 3 0,600000 7 16 0,608696 7 29 0,388889
7 4 0,727273 7 17 0,583333 7 30 0,378378
7 5 0,833333 7 18 0,560000 7 31 0,368421
7 6 0,923077 7 19 0,538462 7 32 0,358974
7 7 1,000000 7 20 0,518519 7 33 0,350000
7 8 0,933333 7 21 0,500000 7 34 0,341463
7 9 0,875000 7 22 0,482759 7 35 0,333333
7 10 0,823529 7 23 0,466667 7 36 0,325581
7 11 0,777778 7 24 0,451613 7 37 0,318182
7 12 0,736842 7 25 0,437500 7 38 0,311111
Эмпирический индекс Хирша
Рисунок 2. Зависимость 2-го частного критерия манипулирования индексом Хирша от эмпирического значения индекса Хирша при постоянном свободном члене Ь=7
Если считать, что оба эти частные критерия К1 и К2 имеют равный вес 0.5, то можно предложить следующее выражение для 1-го интегрального критерия манипулирования индексом Хирша при малом числе публикаций:
/1 = 1 + 0.5 • " 90- Аг^(к) ь-ье
90 Ь + Ье ]
Все обозначения, использованные в данном выражении, описаны
выше.
Данный 1-й интегральный критерий принимает значение равное 0 при отсутствии манипулирования и равное 1 при максимальном, т.е. полном манипулировании. Ниже приведена его вербальная формулировка:
«Чем ближе к нулю коэффициент наклона линейного тренда числа цитирований, построенного по ранжированному списку публикаций и чем ближе свободный член в линейном тренде к эмпирическому значению индекса Хирша, тем более вероятно, что был применен описанный выше способ максимизации индекса Хирша при малом числе публикаций»_
Конечно, понятно, что часть цитирований могут естественными, не организованными автором, и они вместе тоже могут формировать достаточно пологий тренд, т.е. понятно, что максимальное значение индекса ма-
нипулирования еще не означает самого факта манипулирования, а лишь является его признаком. Аналогично и заимствования сами по себе не означают плагиата, т.к. могут быть снабжены ссылками на источники, а могут быть и заимствованиями из работ самого автора, которые уже по главам порезаны на рефераты и разошлись по всему интернету.
2.3. Примеры применения первого интегрального критерия манипулирования индексом Хирша на основе баз данных РИНЦ
Для того, чтобы применить этот интегральный критерий к публикациям какого-либо автора выполняем следующие действия:
1. Открываем сайт РИНЦ: http://elibrary.ru/.
2. В меню слева выбираем «Авторский указатель», задаем сортировку по числу цитирований по убыванию без фильтра по региону. В результате получаем (на момент написания статьи) (рисунок 3):
Рисунок 3. Экранная форма РИНЦ: «Авторский указатель», сортировка по числу цитирований по убыванию без фильтра по региону
3. Выбираем автора, по которому собираемся анализировать индекс Хирша (Новоселов К.С.), кликаем по числу его работ (левее гистограммки:
■), выделяем блоком вместе с заголовком таблицы первые его 100 публикаций (или все, если их меньше 100), копируем его в буфер обмена и вставляем в MS Excel (используем копировать: Ctrl+C, и вставить: Crtl+V или эти пункты в меню, выскакивающему по клику на правой кнопке мыши).
4. Выделяем блоком весь лист отменяем объединение ячеек.
5. Переносим колонку D с числом цитирований в колонку C (если они не в колонке C).
6. Начиная с колонки D вставляем следующие значения и формулы для построения графика цитирований и расчета трендов (рисунок 4):
,o*>ftbcd- -и
Мл Прав г.......... ■>'■ *"'.....■ Ad, btPOF
ill J ....... J J j J : s> д т & ■ J %i ■II- -IS, i.-it ill Si Aim i,
Г А,к, • у • SIH? I a "»-«•lis:
Об - >■
А в с D E F G H I
1 № Цит.
2
3
4 1 ELECTRI С FIELD IN 20713 1 20713 4
5 Г Novoselov К.Б., Geim A.K., Jiang /J , Zheng Y., 2 10767 7
6 Science. 2004. T. 306. № 569 3 9159 10
7 2 THE RISE OF 10767 4 6340 13
8 Г Novoselov 5 3861 16
9 Nature Materials. 6 3184 19
10 3 TWO-DIMENSI ONAL GAS OF MASSLE 9159 7 2016 22
Г Novoselov K.S., Geim
11 D, Grigorieva I.V., 8 1909 25
12 Nature. 2005. T. 438. № 706 9 1652 28
13 4 THE ELECTR ONIC 6340 10 1231 31
н . • 1 \ Новое елов / /Ятаеико/ I 2 * вдети.ямтеоий /
rasoft Excel Хирш
*йл Пра ка Вид Вставка Формат Сераис Данные Ок о Спраака AdobcPEH
3 Закрыть А 1 j л л 1 У а ¿-¿л-л: - -Iftl- it it и а " « -.«,1
Суг ¿.ю V Ж ЛГ Ч\ттт -MIM- % ООО 5 II. ajsal
А В с D Е
1 № Публикация Цит.
2
3
ELECTRIC FIELD IN
ATOMICALLY THIN
4 1 CARBON FILMS 20713 1 =ДВССЫЛ{"С"&Е4) 4
Novoselov K.S., Geim
5 A.K., Jiang D., Zhang Y., Grigorieva I. V., Morozov S.V., DubonosS.V., Firsov A.A. 2 =flBCCbm("C"SF5) 7
Science. 2004. T.
6 306. № 5696. C. 666669. 3 =ДВССЫЛ("С"&Е6) 10
THE RISE OF
7 2 GRAPHENE 10767 4 =flBCCbUl("C"8F7) 13
8 1 Geim A.K., Novoselov K.S. 5 =ДВССЫЛ("С"£Р8) 16
9 Nature Materials. 2007. T. 6. № 3. C. 183-191. 6 =flBCCbm("C"SF9) 19
TWO-
DIMENSIONAL GAS
OF MASSLESS
DIRAC FERMIONS
10 3 IN GRAPHENE 9159 7 =flBccbmrc"SFio) 22
1- Novoselov K.S., Geim A.K., Jiang D., Grigorieva I. V., Morozov S. V., Dubonos S. V., Firsov
11 A.A., Katsnelson M.I. 8 =flBccbmrc"SFii) 25
Nature. 2005. T.
12 438. № 7065. C. 197200. 9 =flBCCbm("C"SF12) 28
THE ELECTRONIC
PROPERTIES OF
13 4 GRAPHENE 6340 10 =flBccbm("C"SFi3) 31
14 4 селов / Луценко У / 2-й час н.1фитерии /
■г Ш Д5| С Ги rriT
1 Г в РЕП И гд <■ ПГ1 д
Рисунок 4. Значения и формулы для построения графика цитирований
и расчета трендов
В колонке Б просто подряд пронумерованы строки с 1 до 100. В колонке Г в подряд идущих строках проставлены номера строк, в которых в колонке С приведено число цитирований: 4, 7, 10, 13 и т.д. с шагом 3. В колонке Е приведены формулы ссылок на ячейки с числом цитирований из колонки С. Все это сделано для того, чтобы значения числа цитирований для различных публикаций шли в подряд идущих строках, а не в каждой
третьей строке, начиная с 4-й, как это сделано в РИНЦ. Отметим, что и в РИНЦ шаг 3 между строками с числом цитирований может нарушаться, хотя это происходит и редко. Например, у автора: Новоселов К.С. в 64-й публикации (193-я строка в списке РИНЦ) дано не совсем стандартное описание. Поэтому для 65-й публикации вместо 196 строки указана 201-я, в которой фактически находится число цитирований 65-й публикации. Далее и до 10-й публикации они опять идут с стандартным шагом 3. Чтобы не пропустить подобные ситуации рекомендуется проверять значения числа цитирований не только в первых, но и в последних строках списка.
7. Строим график по числу цитирований. Для этого выделяем блоком ячейки в колонке Е, в которых есть число цитирований (удобнее это делать снизу вверх), и строим график (рисунок 5):
Рисунок 5. График числа цитирований, простроенный по списку публикаций Новоселова К.С., ранжированному по числу цитирований
в порядке убывания
8. Строим линейный тренд графика числа цитирований с выводом
формулы тренда и критерия качества аппроксимации - коэффициента де-
2
терминации Я (рисунок 6):
25000
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93
y = -38,663x + 2725,5 R2 = 0,1905
-Ряд1
-Линейный (Ряд1)
Номер публикации
Рисунок 6. График числа цитирований публикаций Новоселова К.С.
с линейным трендом
9. Для расчета частных критериев и интегрального критерия в MS Excel используем формулы, приведенные на рисунке 7:
Рисунок 7. Формулы для расчета частных критериев и 1-го интегрального критерия манипулирования индексом Хирша при малом числе публикаций
Значения коэффициентов к и Ь из уравнения линейной регрессии, приведенного на рисунке 6, вручную вносим в ячейки 32 и ^ соответственно (выделены на рисунке 7 желтым цветом). В результате получим значения частных критериев и интегрального критерия манипулирования индексом Хирша для данного автора (рисунок 8), рассчитанные по приведенным выше формулам.
Из рисунка 8 видно, что все эти значения очень близки к нулю, что означает полное отсутствие манипулирования в данном случае.
-5000
¡¿s] Microsoft Excel - Хирш
Файл Правка Вид Вставка Формат Сервис Данные Окно Справка Adobe PDF i J _J Закрыть А Л _jl Jt л ■ ^ ig,. I A ^ - / ■ • I - ■ I а, ^
А; Ч I аг s т „и I -' ■■•., ■•_^ ^
а ! в ! с I □ E F G H I J К L М
1 № ия Цнт. Коэфф. К Градусы 1-й критерий
2 -38,663 -88 518402 0.016462196
3
4 1 ELECTRI С FIELD IN 20713 1 20713 4 Коэфф В Эмп ИНД Хиршэ 2-й критерий
5 Novoseiov K.S.r Geim A.K.f Jiang D.f Zhang Y.j 2 10767 7 2725.5 63 0 045185584
6 Science. 2004. T. 306, № 569 3 Э15Э 10
7 г THE RISE OF 107Б7 4 6340 13 1-й инт критерий 0,03082389
8 GeimA.fC., Novoseiov 5 3861 16
Рисунок 8. Значения частных критериев и 1-го интегрального критерия манипулирования индексом Хирша для автора: Новоселов К. С.
Рассмотрим применение предлагаемого интегрального критерия на примере 2-го автора, рейтинг, Ф.И.О. и место работы которого мы не указываем из этических соображений.
На рисунке 9 приведен график числа цитирований с линейным трендом этого 2-го автора, а в таблице 2 результаты расчета частных критериев и интегрального критерия :
60
50
40
30
20
10
0
-10
y = -0,1778x + 16,568 R2 = 0,5431
-Ряд1
-Линейный (Ряд1)
Рисунок 9. График числа цитирований публикаций 2-го автора
с линейным трендом
Таблица 2 - Результаты расчетов частных критериев и 1 -го интегрального критерия манипулирования индексом Хирша при малом числе публикаций
для 2-го авто ра
Коэфф. К Градусы 1-й частный критерий
-0,1778 -10,081832 0,887979642
Коэфф. В Эмп. инд. Хирша 2-й частный критерий
16,568 14 0,915990578
1-й инт.критерий 0,90198511
Из таблицы 2 видно, что доля манипулирования индексом Хирша в данном случае значительно выше, т.к. значение 1-го интегрального критерия близко к 0,9.
Из приведенных графиков и таблиц мы видим, что для лидера рейтинга РИНЦ по числу цитирований предлагаемый 1-й критерий манипулирования индексом Хирша дает значительно меньшую величину, чем у 2-го автора. Видно, что этот результат получается за счет того, что у лидера различие между числом цитирований наиболее и наименее цитируемых работ первой сотни работ. значительно больше, чем у обычного автора.
3. Манипулирование индексом Хирша при большом числе публикаций
3.1. Способ увеличить значение индекса Хирша при большом числе публикаций
Если у автора большое число публикаций, то очевидно, использовать
способ формирования максимального значения индекса Хирша, который использовался при малом числе публикаций, т.е. ссылаться во всех публикациях на все, не представляется возможным по ряду причин. Понятно, что статья, у которой в списке литературы приведено десятки источников и в основном автора самой этой статьи, будет выглядеть несколько стран-
но2. Во многих журналах просто есть ограничение и на суммарное число источников в списке литературы и на число источников автора публикации. Но цитирование всех публикаций данного автора в каждой его публикации не только невозможно технически , но и не имеет особого смысла, т.к. увеличение числа цитирований статей, находящихся в ранжированном списке далеко от значения индекса Хирша, не окажет влияния на его значение ни в ближайшее время, ни в перспективе (за исключением может быть каких-то научных «бестселлеров», которые сразу становятся очень цитируемыми и сохраняют популярность длительное время).
Поэтому многие авторы, у которых большое количество публикаций, приходят к тому, чтобы увеличивать число ссылок не на все публикации, а только на те, которые оказывают самое непосредственное влияние на значение индекса Хирша, т.е. на публикации в окрестности индекса Хирша в ранжированном списке публикаций. В результате вблизи значения индекса Хирша, причем как текущего, так и перспективного с точки зрения этих авторов, формируется характерная «ступенька» или «полочка», показанная на рисунке 10 красным цветом.
В результате такого манипулирования индекс Хирша приобретает вместо значения И некоторое большее значение И2. При этом площадь под кривой числа цитирований, соответствующая суммарному числу цитирований автора, увеличивается совершенно незначительно, а значение индекса Хирша за счет этого возрастает довольно заметно, т.е. затраты на это повышение оказываются весьма эффективными.
Вот как выглядит подобная «полочка» на реальном графике числа цитирований, построенном по данным РИНЦ4 3-го автора (рисунок 11):
2 Авторы считают, что это может быть корректным в случае, если автор статьи является главой или активным исследователем определенной научной школы и статья посвящена развитию научного направления этой научной школы.
3 За исключением монографий и учебных пособий
4 Фамилия инициалы, место работы автора, цитирования на работы которого анализируются в этом примере, не указывается из этических соображений
первые ^ статьи, упорядоченные Ь статей по числу цитирований
Рисунок 10. Результат манипулирования индексом Хирша при большом числе публикаций; характерная «полочка» в окрестности индекса Хирша в ранжированном списке публикаций (теория)
Рисунок 11. Результат манипулирования индексом Хирша при большом числе публикаций; характерная «полочка» в окрестности индекса Хирша в ранжированном списке публикаций 3-го автора (факт)
3.2. Научно-обоснованная модификация индекса Хирша, нечувствительная (устойчивая) к попыткам манипулирова-
Идея второго критерия манипулирования индексом Хирша, применяемого при большом числе публикаций, основана на том, что при цитирования статей в окрестностях текущего значения индекса Хирша площадь под кривой числа цитирований, соответствующая суммарному числу цитирований автора, увеличивается очень незначительно. А это в свою очередь означает, что, по-видимому, если аппроксимировать эту кривую с использованием метода наименьших квадратов (МНК), то эта аппроксимация окажется малочувствительной или устойчивой к появлению в результате манипулирования этой небольшой «полочки»
Это позволяет сформулировать гипотезу о том, что значение индекса Хирша, определенное не по классическому алгоритму, а посчитанное на основе аппроксимации кривой числа цитирований, окажется менее чувствительным и более устойчивым к попыткам манипулирования, чем классический индекс Хирша.
Но откуда взять эту аппроксимацию кривой числа цитирований и как определить значение индекса Хирша на ее основе? В общем виде все это довольно просто. Непосредственно из самого определения классического индекса Хирша следует, что если аппроксимации кривой числа цитирований выражается в виде уравнения:
то теоретическим значением индекса Хирша h будет корень уравнения:
Такого рода уравнения обычно легко решаются численно итерационным методом, реализованным в частности, в MS Excel.
нию им
Сам вид функции f() предлагается определять с использованием аппарата аппроксимации трендов функциями различных видов в MS Excel.
В принципе можно было бы каждый раз выбирать для аппроксимации тот вид монотонной5 функции, который обеспечивает наивысший коэффициент детерминации R2, т.е. наиболее хорошее приближение (наилучший тренд). В данном случае для аппроксимации графика числа цитирований ранжированного списка публикаций уместно использовать лишь монотонно возрастающие или убывающие функции: линейную, логарифмическую, степенную, экспоненциальную, но не полиномиальную, т.к. она может иметь точки перегиба и даже нарушения монотонности и является чувствительной к особенностям графика, обусловленными манипулированием индексом Хирша.
Но можно выбрать какой-то один вид функции, который чаще других обеспечивает наилучшее приближение. В результате многочисленных численных экспериментов по аппроксимации кривых числа цитирований различных авторов, проведенных по данным РИНЦ, было выявлено, что наилучшее приближение с коэффициентом детерминации около 0,9 и выше, как правило обеспечивается трендом в виде степенной функции:
b
y = a - х
Поэтому предлагается находить теоретическое значение индекса Хирша h путем решения уравнения:
h = a - hb.
При этом само уравнение тренда предлагается формировать в MS Excel непосредственно на основе данных РИНЦ, как описано выше в разделе 2.3 при формировании линейной регрессии (примеры приведены ниже).
5 линейную, логарифмическую, степенную, экспоненциальную http://ej .kubagro.ru/2016/07/pdf/05 .pdf
Решение этого уравнения легко находится аналитически:
к = а • кь
к • к- = а • к ~ь • к
1 1-Ь
к = а к = а11(1-ь)
|к = аи(-1~ь )|
3.3. Второй интегральный критерий манипулирования индексом Хирша
И это дает нам в руки второй более сложный второй критерий манипулирования индексом Хирша:
«Чем больше отличаются друг от друга эмпирический индекс Хирша, определенный по классическому алгоритму, и теоретический индекс Хирша, найденный путем решения наилучшего уравнения тренда, тем больше вероятность того, что классический индекс Хирша получен в результате манипулирования (хотя возможны и другие варианты: шум и несовершенство алгоритма)»
Аналитически 2-й интегральный критерий манипулирования индексом Хирша, т.е. относительное превышение эмпирического значения индекса Хирша над теоретическим, может быть выражен по-разному. Авторы предлагают измерять это превышение в долях от теоретического значения, как более близкого к истинному:
ке - К
К _
где:
ке - классическое эмпирическое значение индекса Хирша; к( - теоретическое значение индекса Хирша.
12 =
3.4.Примеры определения теоретических значений индекса Хирша путем решения уравнений трендов
Как и в разделе 2.3 примеры рассмотрим на примере тех же авторов:
- Новоселов Константин Сергеевич, имеющий 1-й рейтинг по числу цитирований по данным РИНЦ6;
- 2-й и 3-й авторы, рейтинг и Ф.И.О. и место работы которых мы не указываем из этических соображений.
Новоселов Константин Сергеевич.
На графике числа цитирований, приведенном на рисунке 5, построим тренд в виде степенной функции (рисунок 12):
70000
60000
20000
10000
V
у = 59907Х"1'6581 Р = 0,9747
-Ряд1
-Степенной (Ряд1)
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97
Номер публикации
Рисунок 12. График числа цитирований публикаций Новоселова К.С. и тренд в виде степенной функции
Мы видим, что уравнение тренда имеет вид:
у = 59907 • И-1'6581
С очень хорошим качеством аппроксимации: Я2 = 0,9747. Для нахождения теоретического значения индекса Хирша необходимо решить уравнение тренда:
И = 59907 • И-1'6581
' На момент написания статьи
0
Для решения этого уравнения воспользуемся on-line сервисом Вольфрам-математики по адресу: http://www.wolframalpha.com/. Введя решаемое уравнение (заменив в нем запятые на точки, добавив знаки операций и скобки) в окно сервиса, представленное на рисунке 13, получим: h=62.7, что после округления с точностью до целых совпадает с эмпирическим значением h=63:
^WolframAlphaii; ;
- х=59907*хЛ-1.6581 - □
0 E S if :i: Web Apps = Examples 33 Random
Input interpretation
59907 x = -- 6581
Result
59907 x - —;— XI.6S81
Alternate form assuming x is positive:
^2-6581 = 59 907
Number line: •
45 50 55 60 65 71 75 8
Numerical solution More dig ¡is
x ft* 62.7087300333721...
® Download page POWERED BY THE WOLFRAM LANGUAGE
Рисунок 13. Выходной экран on-line сервиса Вольфрам-математики с решением уравнения тренда графика числа цитирований публикаций Новоселова К.С.
Найденное on-line решение точно совпадает с полученным аналитически:
h = al1{(~b)
При решении в MS Excel по этой формуле со значениями коэффициентов: a=59907; b=-1,6581 получаем h = 599071/(1+16581) или h=62.7087300333721, что совпадает по всем знакам после запятой с решением, полученным on-line с помощью Вольфрам-математики.
В разделе 3.3. мы видели, что 2-й интегральный критерий манипулирования индексом Хирша рассчитывается по формуле:
12 =
Ие - К
К
где:
Ие - классическое эмпирическое значение индекса Хирша; К - теоретическое значение индекса Хирша.
Для Новоселова К.С. это дает значение, весьма близкое к нулю (десятые доли процента):
63 - 62.7087300333721"
12 =
= 0.00464481
62.7087300333721
Фрагменты Ехсе1-файла, в которых проводятся расчеты по приведенным выше формулам, приведены на рисунках 14 (результаты расчетов) и 15 (формулы):
Рисунок 14. Фрагмент Ехсе1-файла с расчетами, представленными в таблице 3 (результаты расчетов)
Рисунок 15. Фрагмент Ехсе1-файла с расчетами, представленными в таблице 3 (расчетные формулы)
Для 2-го автора график числа цитирований публикаций и тренд в
виде степенной функции представлены на рисунке 16:
50
40
30
у = 70,91х-0,6818 № = 0,9527
-РЯд1
-Степенной (Ряд1)
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97
Рисунок 16. График числа цитирований публикаций 2-го автора и тренд в виде степенной функции
0
Таблица 3 - Эмпирический и теоретический индексы Хирша и 2-й инт. критерий манипулирования индексом Хирша для 2-го автора
Эмпирический индекс Хирша
he= 14
Теоретический индекс Хирша
a= 70,91
Ь= -0,6818
12,6017994
2-й инт.критерий
0,11095245
Для 2-го автора 2-й интегральный критерий имеет значение порядка
10%.
Для 3-го автора график числа цитирований публикаций и тренд в виде степенной функции представлены на рисунке 17:
Рисунок 17. График числа цитирований публикаций 3-го автора и тренд в виде степенной функции
Для 3-го автора эмпирическое значение индекса Хирша равно 44, а теоретическое 40, что дает значение 2-го интегрального критерия манипулирования индексом Хирша: 12=(44-40)/40=0.1. Это значит, что в данном случае манипулирование привело к увеличению индекса Хирша примерно на 10%.
Интересно, что у некоторых авторов теоретическое значение индекса Хирша получается не меньше, а больше эмпирического, т.е. эмпирическое значение «недооценено».
4. Согласованность 1-го и 2-го интегральных критериев манипулирования индексом Хирша
Рассмотрим сводную таблицу 4, в которой приведем все просчитанные в данной статье частные и интегральные критерии по всем авторам:
Таблица 4 - Частные и интегральные критерии по всем авторам
Автор 1-й частный критерий 2-й частный критерий 1-й интегральный критерий Эмпирический индекс Хирша Теоретический индекс Хирша 2-й интегральный критерий
Новоселов К.С. 0,01646 0,04518 0,03082 63 62,70873 0,00464
2-й автор 0,88797 0,91599 0,90198 14 12,60179 0,11095
3-й автор 0,60787 0,78171 0,69479 44 40 0,10000
Мы видим, что и частные критерии, и оба интегральных критерия манипулирования индексом Хирша дают согласованные, совпадающие по смыслу результаты, т.е. когда мы не видим манипулирования по 1-му частному критерию, то не видим его и по 2-му, т.е. эмпирический индекс Хирша практически совпадает с теоретическим. Возможно это объясняется тем, что авторы, не занимавшиеся манипулированием индексом Хирша, когда у них было мало публикаций, не начинают занимаются этим и когда публикаций у них становится большое количество. Это повышает степень обоснованности и достоверности этих критериев.
5. Выводы и рекомендации
Итак, на основе вышеизложенного можно считать, что:
1) существует некое неизвестное «истинное значение индекса Хирша»;
2) есть «эмпирическое (классическое) значение индекса Хирша», которое является истинным значением, измененным в результате совместного действия факторов манипулирования (рассматривались в данной статье) а также естественного шума и несовершенства алгоритма Хирша (в данной статье эти факторы только упоминаются);
3) есть «теоретическое значение индекса Хирша», - это решение уравнения наилучшего тренда графика числа цитирований ранжированного списка публикаций.
«Теоретическое значение индекса Хирша» - это новое научное понятие из области наукометрии, которое авторы предлагают ввести в научный оборот и практику наукометрии по следующим причинам:
- теоретическое значение индекса Хирша является устойчивым к манипулированию и другим факторам, искажающим истинное значение индекса Хирша и может обоснованно считаться значительно более близким к истинному значению индекса Хирша, чем классическое эмпирическое значение;
- технология получения теоретического значения индекса Хирша (путем решение уравнения наилучшего тренда графика числа цитирований ранжированного списка публикаций) проста и доступна авторам и организациям.
В статье предлагаются два убедительных количественных частных критерия манипулирования индексом Хирша при малом числе статей и основанный на них аддитивный интегральный критерий, основанные на линейном тренде графика числа цитирований ранжированного списка публикаций.
Степень различия между эмпирическим и теоретическим значениями индекса Хирша можно считать устойчивым интегральным критерием манипулирования индексом Хирша при любом числе публикаций.
Предлагается:
1. Применить результаты данной статьи при расчетах в РИНЦ и строить рейтинги авторов, журналов и организаций (подразделений) не только на основе эмпирического классического индекса Хирша, но и на основе теоретического индекса Хирша, а также по критериям манипулирования.
2. Не придавать излишне и неоправданно большого значения классическому эмпирическому значению индекса Хирша при оценках и принятии решений.
Excel-файл с расчетами по описанным методикам по авторам статьи приведен по ссылке: http://ej .kubagro.ru/2016/07/upload/05 .zip.
Литература
1. Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. -№04(108). С. 1 - 29. - IDA [article ID]: 1081504001. - Режим доступа: http://ej .kubagro.ru/2015/04/pdf/01 .pdf, 1,812 у.п.л.
2. Чеботарев П. Ю., "Наукометрия: как с её помощью лечить, а не калечить?", УБС, 44 (2013), 14-31. http://onr-russia.ru/sites/default/files/zatravka.pdf
3. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013а. - Ч. 2. - С.528-533.
4. Орлов А.И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. - 2013б. - С.32-54. [Электронный ресурс]. Режим доступа: http://ubs.mtas.ru/archive/search_resul ... n_id=19050 (дата обращения 30.07.2014).
5. Орлов А. И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. - 2013в. - С. 538-568. [Электронный ресурс]. Режим доступа: http://ubs.mtas.ru/archive/search resul ... n id=19078 (дата обращения 30.07.2014).
6. Орлов А.И. О ключевых показателях эффективности научной деятельности / А. И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №07(111). С. 81 - 112. - IDA [article ID]: 1111507006. - Режим доступа: http://ej.kubagro.ru/2015/07/pdf/06.pdf, 2 у.п.л.
7. Орлов А.И. Примеры методологических ошибок при управлении научной деятельностью // Проблемы наукометрии: состояние и перспективы развития. Международная конференция. - М.: Ин-т проблем развития науки РАН, 2013е. - С.107 - 109.
8. Орлов А.И. Критерии выбора показателей эффективности научной деятельности // Контроллинг. - 2013. - №3(49). - С.72-78.
9. Форум: http://forum.orlovs.pp.ru/viewtopic.php?p=8357
10. Бернал Дж. Наука и общество. М.: Изд-во иностр. лит., 1953. Режим доступа URL: http://www.twirpx.com/file/498382/
11. Прайс Д. Малая наука, большая наука // Наука о науке, М.: Изд-во «Прогресс», 1966. Режим доступа URL: http://www.garfield.library.upenn.edu/essays/v10p072y1987.pdf;
http://lis. sagepub. com/content/3 5/2/115.abstract
12. Добров Г.М. Наука о науке. Киев: Наукова Думка, 1989, 302 с.
13. Налимов В.В., Мульченко З.М. Наукометрия. М.: Наука, 1969, 192 с. Режим
доступа URL: http://www.e-reading.bv/divureader.php/113843/Nalimov_-
Naukometriya.html
14. Хайтун С.Д. Наукометрия. Состояние и перспективы. М.: Наука, 1983, 344 с. Режим доступа URL: http://librarun.org/book/12517/1
15. Бедный Б.И., Миронос А.А., Сорокин Ю.М., Сулейманов Е.В. Наука и научная деятельность: организация, технологии, информационное обеспечение / Под ред. проф. Б.И. Бедного. - Нижний Новгород: Изд-во ННГУ, 2013. - 228 с.
16. Мирский Э.М. Междисциплинарные исследования и дисциплинарная организация науки, М. Наука, 1980, 304 с.
17. Пельц Д., Энрюс Ф. Ученые в организациях. Оптимальные условия для исследований и разработок. М.: Прогресс, 1973, 469 с. Режим доступа URL: http://publ.lib.ru/ARCHIVES/P/PEL'C Donat'd/ Pel'c D..html
18. Гарфилд Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? // Вестник АН СССР, 1982. - № 7. - С. 42-50. Режим доступа URL: http://www.prometeus.nsc.ru/science/citation/garfild.ssi
19. Управление большими системами / Сборник трудов. Специальный выпуск 44
- Наукометрия и экспертиза в управлении наукой / [под ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - 568 с. Режим доступа URL: http://ubs.mtas.ru/archive/index.php?SECTION ID=685
20. Игра в цыфирь, или как теперь оценивают труд учёного (сборник статей о библиометрике). М.: МЦНМО, 2011. 72 с. Режим доступа URL: http://www.mccme.ru/free-books/bibliometric.pdf; или http://www.twirpx.com/file/753485/
21. Бедный Б.И., Сорокин Ю.М. О показателях научного цитирования и их применении // Высшее образование в России. 2012. № 3. С. 17-28. Режим доступа URL: http://vovr.ru/upload/bednyi-sorokin%203-12.pdf
22. Мотрошилова Н.В. Реальные факторы научно-исследовательского труда и измерения цитирования // Управление большими системами. - 2013. - № 44 - С. 453475. Режим доступа URL: http://ubs.mtas.ru/archive/index.php7SECTION ID=685
23. Орлов А.И. Наука как объект управления / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014.
- №07(101). С. 1244 - 1274. - IDA [article ID]: 1011407082. - Режим доступа: http://ej.kubagro.ru/2014/07/pdf/82.pdf, 1,938 у.п.л.
24. Юревич М. А. Методические проблемы оценки результативности исследователя // Альманах "Наука. Инновации. Оразование". 2014, вып. 16. Режим доступа URL:
http://riep.ru; Обсуждение статьи М.А. Юревича "Методические проблемы оценки результативности исследователя" - там же.
25. Алескеров Ф.Т., Писляков В.В., Субочев А.Н., Чистяков А.Г. Построение рейтингов журналов по менеджменту с помощью методов теории коллективного выбора: препринт WP7/2011/04. Нац. иссл. ун-т «Высшая школа экономики». М.: Изд. дом Высшей школы экономики, 2011. - 44 с. Режим доступа URL: http://www.hse.ru/data/2011/06/29/1216101480/WP7 2011 04 final.pdf
26. Бедный Б.И., Миронос А.А., Серова Т.В. Продуктивность исследовательской работы обучающихся (наукометрические оценки) // Высшее образование в России. 2006. - №7. - С. 20-36. Режим доступа URL: http://www.phd.unn.ru/files/2014/04/008.pdf
27. Солошенко Н.С., Кириллова О.В. Отражение российских журналов в БД Science Citation Index и SCOPUS // Educational Technology & Society. 2006. V.9. No.3. P.313320.
28. Теста Д. Процесс отбора журналов в Thomson Reuters. Режим доступа URL: http://thomsonreuters.com/content/science/pdf/ssr/journal selection essay-russian.pdf http://thomsonreuters.com/products services/science/free/essays/journal selection process/
29. Кириллова О. В. Подготовка российских журналов для зарубежной аналитической базы данных Scopus. Рекомендации и комментарии. Режим доступа - URL: http://elsevierscience.ru/info/add-journal-to-scopus/
30. Цыганов А. В. Краткое описание наукометрических показателей, основанных а цитируемости // Управление большими системами / Сборник трудов. Специальный выпуск 44 - Наукометрия и экспертиза в управлении наукой / [под ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013, с. 248- 261.
31. Publish or Perish. Режим доступа URL: http://www.harzing.eom/pop.htmtfmetrics (дата обращения 26.08.2015.)
32. Штовба С.Д., Штовба Е.В. Индекс цитирования, учитывающий скрытую диффузию научных знаний // Научно-техническая информация. Сер. 1 «Организация и методика информационной работы». - 2013. - №7. - С. 28-31. Режим доступа URL: http://shtovba.vk.vntu.edu.ua/file/6ad63e809551b1e63ab2b9e21f9190e2.pdf
33. Гринченко C. Н. Имеет ли решение задача перманентной оценки вклада ученого в науку? // Управление большими системами / Сборник трудов. Специальный выпуск 44 - Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013, с. 280 - 291. Режим доступа URL: http://ubs.mtas.ru/archive/index.php?SECTION ID=685
34. Михайлов О. В. Цитируемость ученого: важнейший ли это критерий качества его научной деятельности? // Informetries.ru. Электронный журнал. Статья № 1079. Режим доступа URL: http://www.informetrics.ru/articles/sn.php?id=56 (дата обращения: 26.08.2015).
35. Орлов А.И. Методологические ошибки ведут к неправильным управленческим решениям // Управление большими системами. Вып. 27. - М.: ИПУ РАН, 2009. -С. 59-65.
36. Эпштейн В. Л. О контрпродуктивности использования наукометрического показателя результативности научной деятельности для будущего России // Проблемы управления. - 2007. - №3. - С. 70-72. Режим доступа - URL: http://cvberleninka.ru/article/n/o-kontrproduktivnosti-ispolzovaniya-naukometricheskogo-pokazatelva-rezultativnosti-nauchnov-devatelnosti-dlya-buduschego-rossii
37. Муравьев А.А. К вопросу о классификации российских журналов по экономике и смежным дисциплинам // Научные доклады. - 2012. -Т.14 (R). - С. 1- 60. Режим доступа: http://www.gsom.spbu.ru/files/upload/niim/publishing/2012/wp_muravyev.pdf
38. Силина А.Ю., Васильева В.Д., Дербишер В.Е., Гермашев И.В. Систематизация наукометрических показателей эффективности научной деятельности // Информационные технологии. - 2009. - №6. - С. 53-56.
39. Международный союз математиков предостерегает от неправильного использования статистики цитирований // Полит.ру / Наука. - 16 июня 2008. Режим доступа - URL: http://www.polit.ru/news/2008/06/16/mathunion/ (дата обращения: 08.01.2013).
40. Солошенко Н.С., Кириллова О.В. Отражение российских журналов в БД Science Citation Index и SCOPUS // Educational Technology & Society. 2006. - V.9. - No.3. - P.313-320.
41. Hirsch J. E. An index to quantify an individual's scientific research output // Proceedings of the National Academy of Sciences. 2005. - Vol. 102. - No. 46. - P. 16569-16572. Режим доступа - URL: http://www.pnas.org/content/102/46/16569.full
42. www.elibrary.ru/defaultx.asp - научная электронная библиотека
43. http://school-collection.edu.ru/ - федеральное хранилище Единая коллекция цифровых образовательных ресурсов
44. www.diss.rsl.ru - электронная библиотека диссертаций
45. http://www.edu.ru/ - федеральный портал Российское образование
46. http://www.igumo.ru/ - интернет-портал Института гуманитарного образования иинформационных технологий
47. www.edu.ru - сайт Министерства образования РФ
48. http://riep.ru - сайт Российского научно-исследовательского института экономики, политики и права в научно-технической сфере (РИЭПП)
49. www.humanities.edu.ru - сайт «Гуманитарное образование»
50. www.edu.ru - федеральный портал «Российское образование»
51. http://www.eduhmao.ru/info/1/4382/ - информационно-просветительский портал
52. http://www.iqlib.ru - электронная библиотека образовательных и просветительных изданий
53. http://www.integro.ru - Центр Системных Исследований «Интегро»
Literatura
1. Lucenko E.V. Hirshamanija pri ocenke rezul'tatov nauchnoj dejatel'nosti, ee negativnye posledstvija i popytka ih preodolenija s primeneniem mnogokriterial'nogo podhoda i teorii informacii / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2015. - №04(108). S. 1 - 29. - IDA [article ID]: 1081504001. - Rezhim dostupa: http://ej.kubagro.ru/2015/04/pdf/01.pdf, 1,812 u.p.l.
2. Chebotarev P. Ju., "Naukometrija: kak s ejo pomoshh'ju lechit', a ne kalechit'?", UBS, 44 (2013), 14-31. http://onr-russia.ru/sites/default/files/zatravka.pdf
3. Orlov A.I. O nekotoryh metodologicheski oshibochnyh metodah analiza i ocenki rezul'tatov nauchnoj dejatel'nosti // Rossija: tendencii i perspektivy razvitija. Ezhegodnik. Vyp. 8. / RAN. INION. Otd. nauch. sotrudnichestva i mezhdunar. svjazej; Otv. red. Ju.S. Pivovarov. - M., 2013a. - Ch. 2. - S.528-533.
4. Orlov A.I. Dva tipa metodologicheskih oshibok pri upravlenii nauchnoj de-jatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Che-botareva]. - 2013b. - S.32-54. [Jelektronnyj resurs]. Rezhim dostupa: http://ubs.mtas.ru/archive/search_resul ... n_id=19050 (data obrashhenija 30.07.2014).
5. Orlov A.I. Naukometrija i upravlenie nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v up-ravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. - 2013v. - S. 538-568. [Jelektronnyj resurs]. Rezhim dostupa: http://ubs.mtas.ru/archive/search_resul ... n_id=19078 (data obrashhenija 30.07.2014).
6. Orlov A.I. O kljuchevyh pokazateljah jeffektivnosti nauchnoj dejatel'nosti / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstven-nogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2015. - №07(111). S. 81 - 112. - IDA [article ID]: 1111507006. - Rezhim dostupa: http://ej.kubagro.ru/2015/07/pdf/06.pdf, 2 u.p.l.
7. Orlov A.I. Primery metodologicheskih oshibok pri upravlenii nauchnoj dejatel'nost'ju // Problemy naukometrii: sostojanie i perspektivy razvitija. Mezhdunarodnaja konferencija. - M.: In-t problem razvitija nauki RAN, 2013e. - S.107 - 109.
8. Orlov A.I. Kriterii vybora pokazatelej jeffektivnosti nauchnoj dejatel'nosti // Kon-trolling. - 2013. - №3(49). - S.72-78.
9. Forum: http://forum.orlovs.pp.ru/viewtopic.php?p=8357
10. Bernal Dzh. Nauka i obshhestvo. M.: Izd-vo inostr. lit., 1953. Rezhim dostupa URL: http://www.twirpx.com/file/498382/
11. Prajs D. Malaja nauka, bol'shaja nauka // Nauka o nauke, M.: Izd-vo «Progress», 1966. Rezhim dostupa URL: http://www.garfield.library.upenn.edu/essays/v10p072y1987.pdf;
http://lis. sagepub. com/content/3 5/2/115.ab stract
12. Dobrov G.M. Nauka o nauke. Kiev: Naukova Dumka, 1989, 302 s.
13. Nalimov V.V., Mul'chenko Z.M. Naukometrija. M.: Nauka, 1969, 192 s. Rezhim dostupa URL: http://www.e-reading.bv/divureader.php/113843/Nalimov - Naukometriya.html
14. Hajtun S.D. Naukometrija. Sostojanie i perspektivy. M.: Nauka, 1983, 344 s. Rezhim dostupa URL: http://librarun.org/book/12517/!
15. Bednyj B.I., Mironos A.A., Sorokin Ju.M., Sulejmanov E.V. Nauka i nauchnaja dejatel'nost': organizacija, tehnologii, informacionnoe obespechenie / Pod red. prof. B.I. Bed-nogo. - Nizhnij Novgorod: Izd-vo NNGU, 2013. - 228 s.
16. Mirskij Je.M. Mezhdisciplinarnye issledovanija i disciplinarnaja organizacija nauki, M. Nauka, 1980, 304 s.
17. Pel'c D., Jenrjus F. Uchenye v organizacijah. Optimal'nye uslovija dlja issledo-vanij i razrabotok. M.: Progress, 1973, 469 s. Rezhim dostupa URL: http://publ.lib.ru/ARCHIVES/P/PEL'C Donat'd/ Pel'c D..html
18. Garfild Ju. Mozhno li vyjavljat' i ocenivat' nauchnye dostizhenija i nauchnuju pro-duktivnost'? // Vestnik AN SSSR, 1982. - № 7. - S. 42-50. Rezhim dostupa URL: http://www.prometeus.nsc.ru/science/citation/garfild.ssi
19. Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44 - Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. - 568 s. Rezhim dostupa URL: http ://ubs. mtas. ru/archive/index .php? SECTION ID=685
20. Igra v cyfir', ili kak teper' ocenivajut trud uchjonogo (sbornik statej o bibli-ometrike). M.: MCNMO, 2011. 72 s. Rezhim dostupa URL: http://www.mccme.ru/free-books/bibliometric.pdf; ili http://www.twirpx.com/file/753485/
21. Bednyj B.I., Sorokin Ju.M. O pokazateljah nauchnogo citirovanija i ih primenenii // Vysshee obrazovanie v Rossii. 2012. № 3. S. 17-28. Rezhim dostupa URL: http://vovr.ru/upload/bednyi-sorokin%203-12.pdf
22. Motroshilova N.V. Real'nye faktory nauchno-issledovatel'skogo truda i izmerenija citirovanija // Upravlenie bol'shimi sistemami. - 2013. - № 44 - S. 453-475. Rezhim dostupa URL: http://ubs.mtas.ru/archive/index.php7SECTION ID=685
23. Orlov A.I. Nauka kak ob#ekt upravlenija / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauch-nyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №07(101). S. 1244 - 1274. - IDA [article ID]: 1011407082. - Rezhim dostupa: http://ej.kubagro.ru/2014/07/pdf/82.pdf, 1,938 u.p.l.
24. Jurevich M. A. Metodicheskie problemy ocenki rezul'tativnosti issledovatelja // Al'manah "Nauka. Innovacii. Orazovanie". 2014, vyp. 16. Rezhim dostupa URL: http://riep.ru; Obsuzhdenie stat'i M.A. Jurevicha "Metodicheskie problemy ocenki rezul'tativnosti issledovatelja" - tam zhe.
25. Aleskerov F.T., Pisljakov V.V., Subochev A.N., Chistjakov A.G. Postroenie re-jtingov zhurnalov po menedzhmentu s pomoshh'ju metodov teorii kollektivnogo vybora: preprint WP7/2011/04. Nac. issl. un-t «Vysshaja shkola jekonomiki». M.: Izd. dom Vysshej shkoly jekonomiki, 2011. - 44 s. Rezhim dostupa URL: http://www.hse.ru/data/2011/06/29/1216101480/WP7_2011_04_final.pdf
26. Bednyj B.I., Mironos A.A., Serova T.V. Produktivnost' issledovatel'skoj raboty obuchajushhihsja (naukometricheskie ocenki) // Vysshee obrazovanie v Rossii. 2006. - №7. -S. 20-36. Rezhim dostupa URL: http://www.phd.unn.ru/files/2014/04/008.pdf
27. Soloshenko N.S., Kirillova O.V. Otrazhenie rossijskih zhurnalov v BD Science Citation Index i SCOPUS // Educational Technology & Society. 2006. V.9. No.3. P.313-320.
28. Testa D. Process otbora zhurnalov v Thomson Reuters. Rezhim dostupa URL: http://thomsonreuters.com/content/science/pdf/ssr/journal_selection_essay-russian.pdf http://thomsonreuters.com/products services/science/free/essays/journal selection process/
29. Kirillova O. V. Podgotovka rossijskih zhurnalov dlja zarubezhnoj analiticheskoj bazy dannyh Scopus. Rekomendacii i kommentarii. Rezhim dostupa - URL: http://elsevierscience.ru/info/add-journal-to-scopus/
30. Cyganov A. V. Kratkoe opisanie naukometricheskih pokazatelej, osnovannyh a citiruemosti // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44 - Nau-kometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Che-botareva]. M.: IPU RAN, 2013, s. 248- 261.
31. Publish or Perish. Rezhim dostupa URL: http://www.harzing.eom/pop.htm#metrics (data obrashhenija 26.08.2015.)
32. Shtovba S.D., Shtovba E.V. Indeks citirovanija, uchityvajushhij skrytuju diffuziju nauchnyh znanij // Nauchno-tehnicheskaja informacija. Ser. 1 «Organizacija i metodika in-formacionnoj raboty». - 2013. - №7. - S. 28-31. Rezhim dostupa URL: http://shtovba.vk.vntu.edu.ua/file/6ad63e809551b1e63ab2b9e21f9190e2.pdf
33. Grinchenko C. N. Imeet li reshenie zadacha permanentnoj ocenki vklada uchenogo v nauku? // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44 - Nauko-metrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebo-tareva]. M.: IPU RAN, 2013, s. 280 - 291. Rezhim dostupa URL: http ://ubs. mtas. ru/archive/index .php? SEC TION ID=685
34. Mihajlov O. V. Citiruemost' uchenogo: vazhnejshij li jeto kriterij kachestva ego nauchnoj dejatel'nosti? // Informetries.ru. Jelektronnyj zhurnal. Stat'ja № 1079. Rezhim dostupa URL: http://www.informetrics.ru/articles/sn.php?id=56 (data obrashhenija: 26.08.2015).
35. Orlov A.I. Metodologicheskie oshibki vedut k nepravil'nym upravlencheskim reshenijam // Upravlenie bol'shimi sistemami. Vyp. 27. - M.: IPU RAN, 2009. - S. 59-65.
36. Jepshtejn V. L. O kontrproduktivnosti ispol'zovanija naukometricheskogo poka-zatelja rezul'tativnosti nauchnoj dejatel'nosti dlja budushhego Rossii // Problemy upravlenija.
- 2007. - №3. - S. 70-72. Rezhim dostupa - URL: http://cvberleninka.ru/article/n/o-kontrproduktivnosti-ispolzovaniya-naukometricheskogo- pokazatelva-rezultativnosti-nauchnov-devatelnosti-dlya-buduschego-rossii
37. Murav'ev A.A. K voprosu o klassifikacii rossijskih zhurnalov po jekonomike i smezhnym disciplinam // Nauchnye doklady. - 2012. -T.14 (R). - S. 1- 60. Rezhim dostupa: http://www.gsom.spbu.ru/files/upload/niim/publishing/2012/wp_muravyev.pdf
38. Silina A.Ju., Vasil'eva V.D., Derbisher V.E., Germashev I.V. Sistematizacija nau-kometricheskih pokazatelej jeffektivnosti nauchnoj dejatel'nosti // Informacionnye tehnologii.
- 2009. - №6. - S. 53-56.
39. Mezhdunarodnyj sojuz matematikov predosteregaet ot nepravil'nogo ispol'zovanija statistiki citirovanij // Polit.ru / Nauka. - 16 ijunja 2008. Rezhim dostupa - URL: http://www.polit.ru/news/2008/06/16/mathunion/ (data obrashhenija: 08.01.2013).
40. Soloshenko N.S., Kirillova O.V. Otrazhenie rossijskih zhurnalov v BD Science Citation Index i SCOPUS // Educational Technology & Society. 2006. - V.9. - No.3. - P.313-320.
41. Hirsch J. E. An index to quantify an individual's scientific research output // Proceedings of the National Academy of Sciences. 2005. - Vol. 102. - No. 46. - P. 16569-16572. Rezhim dostupa - URL: http://www.pnas.org/content/102/46/16569.full
42. www.elibrary.ru/defaultx.asp - nauchnaja jelektronnaja biblioteka
43. http://school-collection.edu.ru/ - federal'noe hranilishhe Edinaja kollekcija ci-frovyh obrazovatel'nyh resursov
44. www.diss.rsl.ru - jelektronnaja biblioteka dissertacij
45. http://www.edu.ru/ - federal'nyj portal Rossijskoe obrazovanie
46. http://www.igumo.ru/ - internet-portal Instituta gumanitarnogo obrazovanija iin-formacionnyh tehnologij
47. www.edu.ru - sajt Ministerstva obrazovanija RF
48. http://riep.ru - sajt Rossijskogo nauchno-issledovatel'skogo instituta jekonomiki, politiki i prava v nauchno-tehnicheskoj sfere (RIJePP)
49. www.humanities.edu.ru - sajt «Gumanitarnoe obrazovanie»
50. www.edu.ru - federal'nyj portal «Rossijskoe obrazovanie»
51. http://www.eduhmao.ru/info/1/4382/ - informacionno-prosvetitel'skij portal
52. http://www.iqlib.ru - jelektronnaja biblioteka obrazovatel'nyh i prosvetitel'nyh iz-
danij
53. http://www.integro.ru - Centr Sistemnyh Issledovanij «Integro»
