CC BY
92
Метод анализа текущей публикационной активности
авторов
Трусфус Михаил Валерьевич магистрант кафедры АСОИУ, Казанский государственный технический университет им. А.Н. Туполева, ул. К.Маркса, 10, г. Казань, 420111, (843)2669880 [email protected]
Шестакова Юлия Алексеевна магистрант кафедры АСОИУ, Казанский государственный технический университет им. А.Н. Туполева, ул. К.Маркса, 10, г. Казань, 420111, +7 (900)3203322 [email protected]
Шильников Кирилл Вячеславович магистрант кафедры АСОИУ, Казанский государственный технический университет им. А.Н. Туполева, ул. К.Маркса, 10, г. Казань, 420111, +7 (953)4051389 [email protected]
Аннотация
В работе рассматриваются проблемы анализа публикационной активности авторов на основе статистических показателей Российского индекса научного цитирования (РИНЦ). Предлагается новый метод оценки публикационной деятельности. Предложенный метод может быть использован в качестве альтернативы существующим методам, либо в виде дополнения к целочисленным методам. Реализована программа и проведено сравнение ранжирования профессорско-преподавательского состава (ППС) Казанского национального исследовательского технического университета им. А.Н. Туполева-КАИ (КНИТУ-КАИ) и Казанского национального исследовательского технологического университета (КНИТУ) по публикационной активности с использованием индекса Хирша, дополненного индекса Хирша и предложенного метода за последние 3 года. The paper discusses problems of the analysis of scientific activity of authors based on statistical indicators of the publication activity of the Russian Scientific Citation Index (RINC). The proposed method can be used as an alternative to existing methods, or as a complement to integer methods. The computer application is developed and comparison of the ranking of faculty members Kazan National Research Technical University named after A.N. Tupolev-KAI and Kazan National Research Technological University (KNRTU) are done based on h-index, supplemented h-index and the proposed method during 3 years.
Ключевые слова
публикационная активность, цитирование, публикация, индекс Хирша scientific activity, citation, publication, h-index
Введение
Качество образования существенно влияет на развитие науки. Для достижения высокого качества образования, необходимо, чтобы сотрудники высших учебных заведений активно участвовали в научных исследованиях.
Для оценки результатов научной деятельности проводят библиометрический анализ [1-2], который основан на различных показателях публикационной деятельности авторов и цитируемости их работ [3-5], в том числе самоцитирования [4, 6, 7].
Оценка научной деятельности авторов на основе количества публикаций, либо количества цитат имеет ряд недостатков. Количество публикаций не отражает качество научных исследований. Само по себе общее количество цитат всех работ автора тоже неинформативно: оно может приходится лишь на одну публикацию из всех. Для решения данных проблем Хирш предложил свое решения для измерения количественной и качественной деятельности ученых [8].
Оценка научной деятельности на основе только индекса Хирша имеет ряд проблем. По определению [8] его значение не может превышать количество публикаций автора. Однако количество публикаций является всего лишь одним из многих факторов, характеризующих научную деятельность конкретного автора. В [9] аппроксимирована зависимость роста индекса Хирша от общего количества цитат автора. Согласно данному исследованию, переход автора к следующему уровню индекса Хирша происходит, когда количество цитат автора возводится в квадрат. Это равносильно высказыванию, что для получения следующего уровня индекса Хирша автор должен проявить активность равную всей предыдущей активности. Но тогда возникает вопрос, как ранжировать авторов с одинаковым индексом Хирша? В качестве примера рассмотрим ППС кафедры АСОИУ КНИТУ-КАИ и ППС кафедр ИПМ и АССОИ КНИТУ по данным НЭБ [10] в общем количестве 54 автора. Выборка среди ППС кафедры АСОИУ КНИТУ-КАИ и кафедр ИПМ и АССОИ КНИТУ обусловлена тем, что исследования на данных кафедрах близки по тематики. Из них по состоянию на конец ноября 2017 года 13 авторам присвоено значение индекса Хирша 3, 12 автором - 2, и 10 авторам - 4. Таким образом ранжировать по авторов КНИТУ только основываясь на индексе Хирша технически невозможно.
Согласно исследованию Лондонской школы экономики и политических наук, описанному в [11], значение индекса Хирша также зависит от конкретной отрасли социальных наук (право, политика, социология, география и экономика), а не только от вклада в научную деятельность. В [12] определены статистические характеристики уровня цитирования в различных областях научной деятельности.
При подсчете индекса Хирша ссылки из различных источников имеют одинаковый вес, не зависимо от различных условий (например, цитирование соавтором). Логично выдвинуть предположение, что цитирование работы аффилированными лицами (соавторами) не должно существенно влиять на оценку научной деятельности автора. В [13] предложен модифицированный алгоритм расчета индекса Хирша с учетом различных коэффициентов для разных типов цитат. В [1 4] предложена иная альтернатива расчета индекса Хирша с целью предотвращения умышленного влияния на него самих авторов.
Индекс Хирша также не учитывает текущую активность авторов. Сотрудники высших учебных заведений с целью получения финансового поощрения имеют возможность один раз достичь нужного значения индекса Хирша и после этого имитировать свою активность публикуя ненаучные статьи в изданиях, «которые на словах позиционируют себя как научные рецензируемые издания, а на деле просто оказывают платные услуги по публикации трудов автора без какого бы то ни было рецензирования» [15]. В [16] предложено решение данной проблемы, путем введения ограничения на интервал времени, за который учитываются
публикации и цитаты на них при расчете индекса Хирша. Однако существует проблема при определении данного интервала [17].
Таким образом можно сказать, что задача определения рейтинга авторов с точки зрения активности научной деятельности является актуальной по сей день.
Средствами НЭБ можно вывести список авторов организации, упорядоченный либо по фамилии, либо по числу публикаций, либо по числу цитирований, либо по индексу Хирша (с учетом всех публикаций). Как было проанализировано выше, остальные показатели характеризируют научную деятельность авторов с большой погрешностью. Из [18-20] также следует, что из-за технических проблем функционирования НЭБ данные показатели могут быть подсчитаны некорректно. Также следует отметить, что функционал НЭБ по состоянию на конец ноября 2017 года позволяет получить детальный список подсчитанных публикаций во всех статистиках и цитат путем нажатия на соответствующее число, однако не позволяет детализировать каким образом подсчитан индекс Хирша, что могло бы упростить процесс вычисления скорректированного рейтинга автора.
В открытом доступе НЭБ доступны показатели публикационной активности автора: число публикаций (с полной детализацией), число цитирований из публикаций (с полной детализацией), индекс Хирша (с детализацией до уровней по всем публикациям на elibrary.ru, по публикациям в РИНЦ, по ядру РИНЦ и прочие. Каждый из этих показателей в отдельности отражает текущую научную деятельность автора. Поэтому, можно выдвинуть предположение, что их совместное сочетание более точно позволяет оценить уровень вклада автора в науку, чем каждый по отдельности. Однако в НЭБ в открытом доступе также находится информация о публикациях авторов, изданиях, в которых размещены публикации и публикациях, ссылающихся на выбранную публикацию автора, т.е. первичная информация, по которой можно вычислить некоторые перечисленные показатели публикационной активности автора. Использование первичных данных позволит более точно учесть разные факторы, чтобы избежать перечисленных проблем, а также понизит влияние технических проблем функционирования НЭБ из [18-20] на результат оценки.
Метод учета публикационной активности
Для разработки метода оценки текущей публикационной деятельности авторов публикаций введем следующие требования к результативному показателю:
Требование 1 (Т1). Возможность сравнить научную деятельность двух любых авторов.
Требование 2 (Т2). Указывать на относительное положение автора в рейтинге без операции сравнения с показателями других авторов.
Требование 3 (Т3). Отражать активность авторов за выбранный период времени и не зависеть от событий вне выбранного периода.
Требование 4 (Т4). Отражать оценку деятельности используя совокупность различных параметров, применяемых в библиометрическом анализе.
Индекс Хирша по определению не противоречит Т4. Предложения в [13, 14] увеличивают количество параметров, используемых при вычислении модифицированного индекса. Согласно исследованиям [9, 11, 12] индекс Хирша также не противоречит Т2. В [16] реализована модификация, которая не противоречит Т3.
Однако, во всех предложенных модификациях в [19, 11-14, 16] результативным показателем является дискретная величина, значение которой будет совпадать у множества авторов, что противоречит Т3.
Поэтому в данном исследовании предлагается совершенно иной подход к расчету показателя оценки публикационной деятельности авторов.
В качестве результативного показателя может быть выбрана непрерывная величина [21] с ограниченным диапазоном. Ограниченный диапазон обеспечивает выполнение Т2. При заданных границах интервала оценки от а до Ь относительный рейтинг автора может быть вычислен по формуле:
ЖРа^В С1)
где:
Я - относительное положение автора в рейтинге в пределах от 0 до 1, Р - рассчитанная величина результативного показателя предложенным методом,
а - нижняя граница интервала, Ь - верхняя граница интервала.
Если результативный показатель удовлетворяет Т1-Т4, то после преобразования (1) будет получен другой показатель, который также удовлетворяет этим требованиям.
Составим результативный показатель из двух частей:
Показатель 1 (П1) - показатель публикационной активности автора, зависящий от количества публикаций и статистических данных изданий, где они размещены;
Показатель 2 (П2) - показатель полезности публикаций автора, зависящий от количества цитат каждой публикации автора, статистических данных изданий, ссылающихся на публикации автора, самоцитирование и цитирование соавторами.
Данный подход позволяет сравнивать авторов, статьи которых не были процитированы, либо по показателям цитирования окажутся идентичными.
Так как метод измеряет не только количественную, но и качественную деятельность ученых, необходимо ввести следующие дополнительные ограничения:
Ограничение 1 (О1). Авторы имеющие разный П2, должны быть ранжированы между собой только по нему.
Ограничение 2 (О2). П2 должен отражать совокупность полезности всех его публикаций и не может линейно зависеть от суммы цитат всех его работ.
За основу П1 возьмем непрерывную величину с ограниченным диапазоном. П1 будем вычислять как совокупность весов каждой публикации автора за выбранный период. При расчете веса публикации используем следующие полученные из НЭБ по изданию: наличие издания в РИНЦ, импакт-фактор журнала в РИНЦ.
Так как для обеспечения Т2 необходимо ограничить значение показателя с обоих сторон, метод простой арифметической суммы весов не подходит - с ростом количества публикаций можно выйти за верхний предел диапазона. Поэтому необходима иная операция сложения весов.
Для вычисления П1 можно воспользоваться формулой:
р =к С2)
ра = кауп _ , (2)
¿¡=1 Рй1+Уа
где:
Ра - значение П1 за выбранный период, п - количество публикаций автора за выбранный период, ра. - значение веса 1-й публикации, уа - величина, характеризующая торможение прироста, ка - заданное значение верхнего предела публикационной активности. Торможение прироста характеризует насколько большой должна быть сумма весов публикаций, для приближения значения публикационной активности к верхнему пределу - максимальной величине, заданной экспертом, которую
показатель не может превышать. Значения величины торможения прироста и верхнего предела определяются экспертом.
На рис. 1 приведен график зависимости значения публикационной активности от арифметической суммы весов публикаций при фиксированном ка = 1 и
различных значениях \>„.
/
.......;...... !
/ / .......:......
/ ! !
Г :
: ; ; .......■......
II/ : м : !
[ ! .......г......
Рис. 1. График зависимости публикационной активности от суммы весов
Данный подход при вычислении П1 позволяет не только ограничить верхний предел, а также уменьшает влияние имитации научной деятельности путем ненаучных публикаций [15].
За основу П2 возьмем непрерывную величину, не ограниченную сверху. В качестве ее значения можно взять арифметическую сумму полезности каждой публикации автора, опубликованной за выбранный период.
Полезность публикации автора будем вычислять как совокупность весов каждой цитаты публикации автора. При расчете веса публикации используем следующие полученные из НЭБ по ссылающемуся изданию: импакт-фактор журнала в РИНЦ, признак самоцитирования, признак цитирования соавтором.
Для вычисления совокупности весов также можно воспользоваться формулой аналогичной (2):
г,
Р = %=1РсЪ (3)
где:
Рс. - значение полезности 1-й публикации автора за выбранный период,
- количество цитирований 1-й публикацию автора за выбранный период,
рс.. - значение веса/-го цитирования,
- величина, характеризующая торможение прироста.
Тогда показатель полезности всех публикаций автора вычисляется по формуле:
Рс=кси=1РС1, (4)
где:
Рс - показатель полезности всех публикаций автора,
кс - заданное значение верхнего предела полезности публикации.
Результативный показатель тоже должен быть ограничен в диапазоне, поэтому для его вычисления за основу также возьмем формулу аналогичную (2) и
(3):
р=к_Ро+Р;_ (5)
где:
к - заданное значение верхнего предела, V - величина, характеризующая торможение прироста.
Если сделать допущение, что публикации в наиболее престижных по статистике изданиях, чаще цитируются в изданиях такого же уровня, то ограничение О1 выполняется всегда. Из (3) и (4) видно, что О2 выполняется всегда. Т3 и Т4 тоже всегда выполняются за счет того, что анализируются публикации только за определенный период времени и используются различные факторы. Непрерывность величин обеспечивает выполнение Т1.
Для получения относительного рейтинга автора выполним преобразование по формуле (1) и получим:
Й(Р,0,1<) = Ра+Рс . (6)
Формула (6) является частным случаем формулы (5) при к=1, т.е. при задании значения верхнего предела показателя П1 равного единицы он также будет являться относительным рейтингом и может быть использован в качестве дополнения к целочисленным индексам (например, Хирша) для ранжирования авторов с одинаковыми значениями. Дополненный индекс Хирша можно легко вычислить по формуле:
Ла^+Р, (7)
где:
И а - дополненный индекс Хирша, И - целочисленный индекс Хирша, Р - показатель П1.
В отличии от целочисленного индекса Хирша, который противоречит Т3, дополненный индекс Хирша обеспечивает выполнение Т3. Вес публикации автора определим по формуле:
РЧ = 5 (8)
где:
£ - импакт-фактор издания в РИНЦ.
Следует отметить, что не у всех изданий в НЭБ определен импакт-фактор. Например, если рассмотреть публикации [22-23], НЭБ не предоставляет для них значение импакт-фактора, которое необходимо для вычисления веса публикации. Для всех изданий, у которых невозможно определить значение импакт-фактора, будем использовать значение по умолчанию, заданное экспертом. Вес цитирования публикации определим по формуле:
РС,=АЧ/} (9)
где:
. - числовой коэффициент, заданный экспертом, в зависимости от пересечения авторов цитируемой и цитирующей публикации, £ - импакт-фактор издания в РИНЦ.
!асамоцит при самоцитировании \
^соавтором при цитировании соавтором}, (10)
1 в иных случаях ;
где: асамоцит и асоавтором - коэффициенты, заданные экспертом. При невозможности определить импакт-фактор издания будем использовать значение по умолчанию, заданное экспертом.
Реализация программных средств
Для ранжирования текущей публикационной активности авторов предложенным методом разработана программа, которая на основе информации о
публикациях в базе данных вычисляет оценку текущей публикационной деятельности автора за промежуток времени, заданный в настройках программы и сортирует ранжирует авторов по одному из показателей: дополненный индекс Хирша или предложенный показатель.
Ввод информации в программу осуществляется в ручном режиме. В виду трудоемкости ввода всех публикаций и цитирующих их публикаций в базу данных программы, для каждого ранжируемого автора из ППС АСОИУ КНИТУ-КАИ и ИПМ и АССОИ КНИТУ введена информация о 100 последних по дате публикации работ. Для каждой работы ранжируемых авторов введена информация о 100 последних цитирующих публикациях. Из-за этого возникает погрешность при вычислении оценки для авторов с высокой публикационной активностью, которые имеют более 100 публикаций за анализируемый период времени, либо хотя бы одна из этих публикаций имеет более 100 цитат.
Величины показателей, вычисленные по формулам (2), (3) и (5) изменяются не существенно при росте арифметической суммы совокупности факторов. Из графика на рис. 1 наглядно видно, что при приближении количества оцениваемых фактов к 100, прирост общей оценки незначителен. Поэтому, делается допущение, что погрешность будет незначительной.
Стартовое окно разработанной программы приведено на рис. 2. В нем отображается таблица ранжируемых авторов, количество их публикаций, цитирований, индекс Хирша, дополненный индекс Хирша и значение предложенного индекса, вычисленные за период, указанный экспертом при настройке программы.
Рейтинг публикационной активное™
С Автор Организация Публикаций Цитат Индекс Хирша Дополненный индекс Хирша Предложенный индекс
1 Мокшим Владимир Васильевич Казанский национальный исс,.. 54 183 7,748 0,748 А
2 Якимов Игорь Максимович Казанский национальный исс,.. 49 176 б 6 730 0,730
3 Нуриев Наиль Кашапович казанский национальный исс,.. 51 47 5 5,679 0,679
4 Галеев Ильдар Хамитович Казанский национальный исс,.. 57 3 3,649 0,649
5 Старыгина Светлана Дмитри,.. Казанский национальный исс,.. 32 29 3 3,630 0,630
6 Ахметшин Динар Агзямович Казанский национальный исс,.. 17 45 4 4,523 0,528
7 Ллеймович Михаил Петрович Казанский национальный исс,.. 58 19 2 2,397 0,397
8 Яхина Зухра Талгатовна Казанский национальный исс,.. 15 19 2 2,366 0,366
9 Горкунова Юлия Владимировна Казанский национальный исс,.. 11 25 2 : 0,364
10 Абзальдинов Хайдар Сафович Казанский национальный исс,.. 43 29 4 -? •? 0,347
11 Энинов Фарип Ибрагимович Казанский национальный исс,.. 16 2 2,321 0,321
12 эизаев Ильдус Султанович Казанский национальный исс,.. 25 11 2 2,318 0,318
13 Медведев Михаил Викторович Казанский национальный исс,.. 38 13 1 I 0,316
Папнин Прпнил Мтдйппяич 1 —
Детализация Управление БД авторов и публикаций Параметры расчета Выход
Рис. 2. Стартовое окно программы
Для вычисления оценки автора необходимо задать ряд параметров и коэффициентов. Сами параметры зависят от конкретной научной области, что следует из исследований [11-12]. Подобная зависимость вводит ограничение при ранжировании публикационной деятельности авторов в разных областях - программа не сможет отсортировать их корректно, так как вычисляет оценку для всех авторов по единым параметрам. Окно настройки программы приведено на рис. 3.
Рис. 3. Окно настройки программы
Данная программа позволяет объяснить рассчитанную оценку автора, а также ранжировать каждую из его публикаций по полезности, рассчитанной по формуле (3). Предусмотрена детализация на двух уровнях:
1. Уровень объяснения оценки автора. На нем показаны все учитываемые публикации автора с рассчитанными весами по формуле (8) и указанием полезности каждой публикации, рассчитанной по формуле (3). Для каждой работы предусмотрено ее объяснение на следующем уровне. Окно детализации публикаций автора на примере Галеева И.Х. приведено на рис. 4. За период с 2014 по 2017 год Галеева И.Х. опубликовал 7 работ, включенных в РИНЦ, из которых 4 работы опубликованы в изданиях с определенным значением импакт-фактора. На основе импакт фактора (для изданий с неопределенным импакт-фактором используется значение импакт-фактора по умолчанию, заданное экспертом) определен вес публикации для показателя П1. 6 из 7 публикаций Галеева И. Х. процитированы (включая цитирование автором), поэтому для них рассчитан вес полезности для показателя П2. 5 из 7 статей были процитированы хотя бы один раз (не учитывая цитирование автором), при этом 3 из 7 статей процитированы не менее 6 раз каждая, а 4 из 7 статей процитированы не менее 2 раз каждая, поэтому значение индекса Хирша за указанный интервал равно 3.
0 Анализ научной деятельности автора Галеев И. X.
Временной интервал с 2014 по 2017 годы Показатель активности; 0,476 Индекс Хириша за интервал: 3 Показатель полезности: 2,212 Предложенный индекс: 0,649
Публикация Год Авторов Цитат Цитат {без самоцитирования) Инпакт -фактор Вес Полезность
1 ИНТЕЛЛЕКТУАЛЬНЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ (РОССИЙСКИЙ ОПЫТ) МЕЖДУНАРОДНАЯ НАУЧНО-ТЕХНИЧЕСКАЯ КОНФЕРЕНЦИЯ Т1ЕРСПЕКТИ... 2016 1 0 0 0,200 0,000
2 АНАЛИЗ ЮЗАБИЛИТИ СИСТЕМЫ SCIENCE INDEX* [ОРГАНИЗАЦИЯ] образовательные технологии и общество 2015 1 1 0,981 0,984 0,081
3 ПРОБЛЕМЫ И ОПЫТ ПРОЕКТИРОВАНИЯ ИОС образовательные технологии и общество 2014 1 25 24 0,984 0,984 0,758
4 ИНФОРМАТИЗАЦИЯ МАТЕМАТИЧЕСКИИ КОМПОНЕНТЫ ИНЖЕНЕРНОГО, ,., образовательные технологии и общество 2014 3 25 25 0,904 0,984 0,792
5 ОЦЕНКА ПОЛНОТЫ И ИНТЕЛЛЕКТУАЛЬНОСТИ РИНЦ образовательные технологии и общество 2014 1 6 0Г984 0,984 0,370
6 ПРОЕКТИРОВАНИЕ ИНТЕЛЛЕКТУАЛЬНЫХ СРЕД ОБУЧЕНИЯ ПРОБЛЕМЫ ТЕХНИКИ И ТЕХНОЛОГИЙ ТЕЛЕКОММУНИКАЦИЙ ГТТИТТ-2014.,. 2014 1 2 0,200 0,191
7 ПРАКТИКИ МЕЖДУНАРОДНОГО СОТРУДНИЧЕСТВА В ОБЛАСТИ Е-LEARN... ПРЕПОДАВАНИЕ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ Б РОССИЙСКОЙ ФЕ... 2014 1 1 0 0,200 0,019
Детализация Закрыть
Рис. 4. Окно объяснения оценки автора
2. Уровень объяснения полезности публикации. На нем показаны все цитирующие публикации с указанием веса, рассчитанного по формуле (9). Окно детализации цитирования приведено на рис. 5. На данном примере за период с 2014 по 2017 год публикация процитирована всего 8 раз, из них 2 раза самим автором и 4 раза соавторами. 4 цитирующих публикации опубликованы в изданиях с определенным значением импакт-фактора. На основе импакт фактора (для изданий с неопределенным импакт-фактором используется значение импакт-фактора по умолчанию, заданное экспертом) определен вес публикации.
LfeJ Анализ цитирования публ акации ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ Б ИЗ НЕС-ПРОЦЕССОВ В СИСТЕ..."^Ш~
Временной интервал с 2014 по 2017 годы Собственный цитат: Z Всего иитат: 8 Цитат соавторами: 4
1 Публикация ОЦЕНКА КРИГТТОГРАФИЧЕСКОЙ СТОЙКОСТИ АЛГОРИТМОВ АСИММЕТРИЧНОГО Ш... вестник, казанского технологического университета Год 2017 Авторство Соавтор Инпакт-фактор 0,262 Вес 0,052
2 ПАРАЛЛЕЛЬНЫЙ ГЕНЕТИЧЕСКИМ АЛГОРИТМ ОТБОРА ЗНАЧИМЫХ ФАКТОРОВ WORLD SCIENCE: PROBLEMS AND INNOVATIONS Пенза, 25 июня 2017 г. 2017 Собственное 0,020
3 ПОДХОД К СОКРЫТИЮ ДАННЫХ Б РАСПРЕДЕЛЕННОЙ СИСТЕМЕ вестник казанского технологического университета 2017 Соавтор 0,262 0,052
4 СРАВНЕНИЕ СИСТЕМ СТРУКТУРНОГО И ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ ВЕРО.. ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ Казань,... 2017 Собственное 0,020
5 ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ БИЗНЕС-ПРОЦЕССОВ В СИСТЕМЕ BUISNESS ST... вестник казанского технологического университета 2016 Соавтор 0,262 0,052
6 ОБЗОР ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ ПОСТРОЕНИЯ БИЗНЕС-ПРОЦЕССОВ постулат 2016 Не аффилировано 0,200
7 ПРОГРАММНЫЕ СИСТЕМЫ ДЛЯ ОПИСАНИЯ БИЗНЕС-ПРОЦЕССОВ решение 2016 Не аффилировано 0,200
8 СРАВНЕНИЕ РЕЗУЛЬТАТОВ ИМИТАЦИОННО ГО МОДЕЛИРОВАНИЯ ВЕРОЯТНОСТНЫХ ... вестник, казанского технологического университета 2015 Соавтор 0,262 0,052
Закрыть
Рис. 5. Окно объяснения полезности публикации
Оценка эффективности предложенного метода
Для оценки эффективности предложенного метода проведено сравнение ранжирования ППС АСОИУ КНИТУ-КАИ и ППС ИМП и АССОИ КНИТУ по «классическому» индексу Хирша (с учетом всех публикаций автора), индексу Хирша за промежуток времени и предложенному индексу. При вычислении индекса Хирша за промежуток времени, использовались лишь публикации, опубликованные не ранее 2014 года. Индекс Хирша вычислялся по алгоритму, который предложил Хирш в своей работе [8]:
1. Публикации автора за выбранный период упорядочиваются по количеству цитат без учета самоцитирования за выбранный период в порядке убывания.
2. Определяется максимальный номер публикации в этом списке, не превосходящий количества ее цитат без учета самоцитирования.
Полученный номер является значением индекса Хирша для автора публикаций по определению: так как список упорядочен по убыванию количества цитат, максимальный порядковый номер статьи не превосходящий количество ее цитат равен количеству публикаций к, которые цитируются как минимум к раз каждая, а остальные публикации цитируются менее чем к раз каждая.
Результат ранжирования первых 10 авторов среди ППС АСОИУ КНИТУ-КАИ и ППС ИМП и АССОИ КНИТУ по «классическому» индексу Хирша приведен в таблице 1. В таблицах 1-3 указывается индекс Хирша без самоцитирования. Данный метод ранжирования реализован в НЭБ: можно упорядочить список авторов по убыванию значения индекса Хирша.
Таблица 1
Результат ранжирования по «классическому» индексу Хирша_
№ ФИО автора Количество публикаций Кол-во цитат без самоцитирования Индекс Хирша
1 Галеев И. Х. (КНИТУ-КАИ) 103 393 11
2 Мокшин В. В. (КНИТУ-КАИ) 132 368 10
3 Нуриев Н. К. (КНИТУ) 63 256 10
4 Старыгина С. Д. (КНИТУ) 82 224 8
5 Якимов И. М. (КНИТУ-КАИ) 60 245 7
6 Ахметшин Д. А. (КНИТУ) 32 81 4
7 Фафурин А. В. (КНИТУ) 20 51 4
8 Торкунова Ю. В. (КНИТУ) 27 60 4
9 Абзальдинов Х. С. (КНИТУ) 36 42 4
10 Шарнин Л. М. (КНИТУ-КАИ) 72 58 4
Как видно из таблицы 1, при ранжировании по индексу Хирша проблематично отобрать требуемое количество лидирующих авторов. Например, если требуется выбрать первых 8 авторов из таблицы 1, то возникает вопрос, кто из авторов со значением индекса Хирша равным 4 должен быть отобран? Также по данному результату невозможно определить, а продолжают ли свою деятельность данные авторы в настоящее время? Возможно кто-то из авторов уже давно не публикуется, а имеет хорошие значения показателей за счет очень активной публикационной деятельности в далеком прошлом.
Чтобы оценить текущую публикационную активность, при вычислении индекса Хирша будем учитывать лишь те работы, которые опубликованы за последние три года. Результат ранжирования первых 17 авторов среди ППС АСОИУ КНИТУ-КАИ и ППС ИМП и АССОИ КНИТУ по индексу Хирша за 2014-2017 годы приведен в таблице 2.
Таблица 2
Результат ранжирования по индексу Хирша за 2014-2017 года_
№ ФИО автора Количество публикаций Кол-во цитат без самоцитирования Индекс Хирша
1 Мокшин В. В. (КНИТУ-КАИ) 54 183 7
2 Якимов И. М. (КНИТУ-КАИ) 49 176 6
3 Нуриев Н. К. (КНИТУ) 51 47 5
4 Ахметшин Д. А. (КНИТУ) 17 45 4
5 Абзальдинов Х. С. (КНИТУ) 43 29 4
6 Галеев И. Х. (КНИТУ-КАИ) 7 57 3
7 Старыгина С. Д. (КНИТУ) 32 29 3
8 Зайнуллина Г. Р. (КНИТУ-КАИ) 4 14 2
9 Захарова З. Х. (КНИТУ-КАИ) 5 7 2
10 Ризаев И. С. (КНИТУ-КАИ) 25 11 2
11 Шлеймович М. П. (КНИТУ-КАИ) 58 19 2
12 Эминов Ф. И. (КНИТУ-КАИ) 7 16 2
13 Яхина З. Т. (КНИТУ-КАИ) 15 19 2
14 Старцева Ю. Г. (КНИТУ-КАИ) 8 12 2
15 Печеный Е. А. (КНИТУ) 15 15 2
16 Торкунова Ю. В. (КНИТУ) 11 25 2
17 Зеленко О. В. (КНИТУ) 5 5 2
Как видно из таблицы 2, порядок сильно изменился: достижения из далекого прошлого более не учитываются. Однако, осталась проблема отбора определенного количества лидирующих авторов. Из-за нее пришлось увеличить размер выборки до
17 авторов, так как при ранжировании по индексу Хирша нельзя выбрать первых 10 авторов: в данном случае индекс Хирша не определяет кто должен быть отобран на 8, 9 и 10 места, а кто исключен.
Данную проблему должен решить предложенный метод вычисления дополненного индекса Хирша. Дополненный индекс Хирша рассчитан при использовании параметров, указанных на рис. 3. Результат ранжирования первых 17 авторов среди ППС АСОИУ КНИТУ-КАИ и ППС ИМП и АССОИ КНИТУ по дополненному индексу Хирша за 2014-2017 годы приведен в таблице 3.
Таблица 3
Результат ранжирования по дополненному индексу Хирша_
№ ФИО автора Количество публикаций Кол-во цитат без самоцитирования Доп. индекс Хирша
1 Мокшин В. В. (КНИТУ-КАИ) 54 183 7,748
2 Якимов И. М. (КНИТУ-КАИ) 49 176 6,73
3 Нуриев Н. К. (КНИТУ) 51 47 5,679
4 Ахметшин Д. А. (КНИТУ) 17 45 4,528
5 Абзальдинов Х. С. (КНИТУ) 43 29 4,347
6 Галеев И. Х. (КНИТУ-КАИ) 7 57 3,649
7 Старыгина С. Д. (КНИТУ) 32 29 3,63
8 Шлеймович М. П. (КНИТУ-КАИ) 58 19 2,397
9 Яхина З. Т. (КНИТУ-КАИ) 15 19 2,366
10 Торкунова Ю. В. (КНИТУ) 11 25 2,364
11 Эминов Ф. И. (КНИТУ-КАИ) 7 16 2,321
12 Ризаев И. С. (КНИТУ-КАИ) 25 11 2,318
13 Печеный Е. А. (КНИТУ) 15 15 2,276
14 Зайнуллина Г. Р. (КНИТУ-КАИ) 4 14 2,188
15 Старцева Ю. Г. (КНИТУ-КАИ) 8 12 2,158
16 Захарова З. Х. (КНИТУ-КАИ) 5 7 2,146
17 Зеленко О. В. (КНИТУ) 5 5 2,145
Сравнивая результаты в таблицах 2 и 3 видно, что порядок авторов, имеющих различные значения индекса Хирша, не изменился. Однако в таблице 3 все авторы упорядочены и можно отобрать требуемое количество лидирующих авторов. Таким образом, можно сказать, что предложенный дополненный индекс Хирша хотя и противоречит идеи Хирша [8] («два автора с одинаковым И-индексом сравнимы в понятии влияния на науку, даже если их количество публикаций или общее количество цитат различаются существенно»), но позволяет ранжировать авторов не хуже индекса Хирша.
В данном исследовании также был предложен альтернативный метод, в основу которого лежит учет качества изданий, в которых публикуется автор, и тип цитирования (самоцитирование, цитирование соавтором, цитирование иными лицами), что позволяет снизить значимость умышленного искажения оценки публикационной активности заинтересованными лицами [14]. Подобный подход также используется в исследовании [13]. Результат ранжирования первых 17 авторов среди ППС АСОИУ КНИТУ-КАИ и ППС ИМП и АССОИ КНИТУ по предложенным методом приведен в таблице 4.
Таблица 4
Результат ранжирования предложенным методом_
№ ФИО автора Количество публикаций Кол-во цитат без самоцитирования Предл. индекс
1 Мокшин В. В. (КНИТУ-КАИ) 54 183 7,748
2 Якимов И. М. (КНИТУ-КАИ) 49 176 6,73
3 Нуриев Н. К. (КНИТУ) 51 47 5,679
4 Галеев И. Х. (КНИТУ-КАИ) 7 57 0,649
5 Старыгина С. Д. (КНИТУ) 32 29 0,63
6 Ахметшин Д. А. (КНИТУ) 17 45 0,528
7 Шлеймович М. П. (КНИТУ-КАИ) 58 19 0,397
8 Яхина З. Т. (КНИТУ-КАИ) 15 19 0,366
9 Торкунова Ю. В. (КНИТУ) 11 25 0,364
10 Абзальдинов Х. С. (КНИТУ) 43 29 0,347
11 Эминов Ф. И. (КНИТУ-КАИ) 7 16 0,321
12 Ризаев И. С. (КНИТУ-КАИ) 25 11 0,318
13 Медведев М. В. (КНИТУ-КАИ) 38 13 0,316
14 Шарнин Л. М. (КНИТУ-КАИ) 11 27 0,302
15 Печеный Е. А. (КНИТУ) 15 15 0,276
16 Суздальцев В. А. (КНИТУ-КАИ) 19 7 0,245
17 Перухин М. Ю. (КНИТУ-КАИ) 22 7 0,216
Сравнивая результаты таблиц 2 и 4 можно заметить, что при заданных значениях параметров (рис. 3) результаты ранжирования предложенным методом существенно отличаются от результатов ранжирования по индексу Хирша. Например, Абзальдинов Х. С. со значением индекса Хирша равным 4 уступает место Торкуновой Ю. В. со значением индекса Хирша равным 2. Проанализировав его публикации, можно заметить, что большинство из них цитируются лишь соавторами, а в параметрах при расчете предложенного индекса задан понижающий коэффициент веса цитаты соавтора. Пример качества цитирования работы Абзальдинова Х. С. приведен на рис. 6. Поэтому можно сказать о том, что предложенный метод действительно снижает значимость умышленного искажения оценки публикационной активности заинтересованными лицами.
И Анализ цитирования публикации INVESTIGATION OF HEAT PROTECTIVE POLYMERIC MATERIALS CONTAI... B"
Временной интервал с 2014 по 2017 годы Собственных цитат: 0 Всего цитат: 4 Цитат соавторами: 4
1 Публикация 'АЗРАБОТКА И ИССЛЕДОВАНИЕ ПОЛИМЕРНЫХ МАТЕРИАЛОВ С ФУНКЦИОНАЛЬНО-А... евестия волгоградского государственного технического университета Год 2017 Авторство Соавтор Импакт-фак... 0,352 Вес 0,070
2 ИССЛЕДОВАНИЕ ВЛИЯНИЯ НАПОЛНИТЕЛЕЙ НА ТЕПЛОФИЗИЧЕСКИЕ И ТЕПЛОЗАЩИТ... «Бестия волгоградского государственного технического университета 2016 Соавтор 0,352 0,070
3 ИССЛЕДОВАНИЕ ТЕПЛОЗАЩИТНЫХ МАТЕРИАЛОВ, СОДЕРЖАЩИХ МОДИФИЦИРОВА... ФУНДАМЕНТАЛЬНЫЕ И ПРИКЛАДНЫЕ НАУКИ СЕГОДНЯ North Charleston, USA, 24-25... 2015 Соавтор 0,040
4 ИССЛЕДОВАНИЕ ОГНЕТЕПЛОЗАЩИТНЫХ ЭЛАСТОМЕРНЫХ КОМПОЗИЦИИ, СОДЕРЖА... ФУНДАМЕНТАЛЬНЫЕ НАУЧНЫЕ ОСНОВЫ СОВРЕМЕННЫХ КОМПЛЕКСНЫХ МЕТОДОВ И... 2015 Соавтор 0,040
Закрыть
Рис. 6. Окно объяснения полезности публикации Абзальдинова Х.С.
Заключение
В данном исследовании предложен новый метод анализа публикационный активности авторов, который может быть использован как в качестве альтернативы
существующим методам, так и в качестве дополнения к целочисленным методом для ранжирования авторов с одинаковыми значениями. Предложенный метод позволяет оценить активность авторов за определенный интервал времени, тем самым позволяя показать текущую активность авторов за последние годы.
В отличии от индекса Хирша, для расчета оценки предложенным методом эксперт должен задать определенные настройки, который влияют на результат. В настоящее область наукометрии не достаточно исследована, чтобы можно было рассчитать оптимальные параметры для оценки авторов в определенной области в науке. Поэтому следует сказать, что результат оценки предложенным методом в какой-то мере является субъективной оценкой эксперта, задающего значимость влияния факторов и выбирающего временной промежуток.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галева И.Х.
Литература
1. Glänzel W., Schoepflin U. A bibliometric study of reference literature in the sciences and social sciences // Information Processing and Management. 1999. Vol. 35, No. 1. P. 31-44.
2. Moed H. F. Bibliometric measurement of research performance and Price's theory of differences among the sciences // Scientometrics. 1989. Vol. 15, Iss. 5-6. P. 473-483.
3. Ingwersen P., Larsen B., Rousseau R., Russell J. The publication-citation matrix and its derived quantities // Chinese Science Bulletin. 2001. Vol. 46, No. 6. P. 524-528.
4. Ingwersen P., Larsen B., Wormell I. Applying diachronous citation analysis to research program evaluations // The Web of Knowledge: A Festchrift in Honor of Eugene Garfield / Ed. Cronin B., Atkins H. B. Medford: Information Today Inc. & American Society for Information Science, 2000. P. 373-387.
5. De Solla Price, D. J. Citation measures of hard science, soft science, technology, and nonscience // Communication among Scientists and Engineers / Ed. C. E. Nelson, D. K. Pollak. Heath Lexington Books: Lexington, Mass., 1970. P. 3-22.
6. McVeigh M. E. Journal Self-citation in the Journal Citation Reports — Science Edition (2002): A Citation Study from the Thomson Corporation [Электронный ресурс] -URL:
https://web.archive.org/web/20080619213151/http://scientific.thomsonreuters.com:80/fr ee/essays/journalcitationreports/selfcitation2002/ (дата обращения: 20.09.2017).
7. Rousseau R. Journal Evaluation: Technical and Practical Issues // Library Trends. 2002. Vol. 50, Iss. 3. P. 418-439.
8. Hirsch, Jorge E. An index to quantify an individual's scientific research output // Department of Physics, University of California, San Diego La Jolla, CA 92093-0319. 2005 - URL: https://arxiv.org/pdf/physics/0508025 (дата обращения: 14.09.2017)
9. Alexander Yong. Critique of Hirsch's Citation Index: A Combinatorial Fermi Problem. // Notices of the American Mathematical Society 2014, vol. 61, no. 11, pp. 1040-50 -URL: http://www.ams.org/notices/201409/rnoti-p1040.pdf (дата обращения: 7.10.2017)
10. Галеев И.Х. Информационно-образовательное пространство России и «перечень» журналов. // Высшее образование в России. 2009. - № 10. -С. 15-23 - ISSN 08693617.
11. Impact of Social Sciences - 3: Key Measures of Academic Influence // The London School of Economics and Political Science: сайт - URL:
http://blogs.lse.ac.uk/impactofsocialsciences/the-handbook/chapter-3-key-measures-of-academic-influence/ (дата обращения: 14.09.2017)
12. L. Bornmanna, R. Haunschildb. Citation score normalized by cited references (CSNCR): The introduction of a new citation impact indicator // Journal of Informetrics. [Электронный ресурс] - URL: https://arxiv.org/pdf/1607.00890 (дата обращения: 14.09.2017)
13. Zhang, Chun-Ting . A proposal for calculating weighted citations based on author rank. EMBO Reports. 2009 [Электронный ресурс] - URL: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2680883/
14. E Ferrara, A Romero. Scientific impact evaluation and the effect of self-citations: Mitigating the bias by discounting the h-index. Journal of the American Society for Information Science and Technology. 2013 - URL: https://arxiv.org/pdf/1202.3119 (дата обращения: 20.09.2017).
15. Почему было принято решение об исключении группы журналов из РИНЦ? // НЭБ [Электронный ресурс] - URL: https://elibrary.ru/retraction_faq.asp (дата обращения: 14.09.2017)
16. M. Schreiber. Restricting the h-index to a publication and citation time window: A case study of a timed Hirsch index. Journal of Informetrics. [Электронный ресурс] - URL: https://arxiv.org/pdf/1412.5050 (дата обращения: 14.09.2017)
17. P.Dorta-Gonzaleza, M.I.Dorta-Gonzalezb. Impact maturity times and citation time windows: The 2-year maximum journal impact factor // Journal of Informetrics. 2013. Vol. 7. pp. 593-602. [Электронный ресурс] - URL: https://arxiv.org/pdf/1304.5101 (дата обращения: 28.09.2017)
18. Галеев И.Х. Оценка полноты и интеллектуальности РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2014 - V. 17 -N3. - С. 588-602. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/depository/v17_i3/pdf/14.pdf (дата обращения: 15.11.2017).
19. Галеев И.Х. Анализ юзабилити системы SCIENCE INDEX* [организация] // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2015 - V. 18 -N4. - С. 767-779. - ISSN 14364522. URL: http://ifets.ieee.org/russian/depository/v18_i4/pdf/19.pdf (дата обращения: 15.11.2017).
20. Галеев И.Х. Практика применения баз данных научного цитирования при оценке публикационной активности КНИТУ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2013 - V. 16 -N4. - С.387-402. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/depository/v16_i4/html/8.htm (дата обращения: 20.09.2017).
21. Фихтенгольц, Г. М. Основы математического анализа. — 7-е изд. — М.: «ФИЗМАТЛИТ», 2002. — Т. 1. — 416 с. — ISBN 5-9221-0196-Х.
22. Ларионов К.В., Эминов Ф.И. Диагностика неисправностей в компьютерных сетях // В сборнике: Современные инновации в науке и технике Сборник научных трудов 4-ой Международной научно-практической конференции: В 4-х томах. Ответственный редактор Горохов А.А. 2014. С. 357-359.
23. Эминов Ф.И. Офисные и промышленные информационные сети. Казань: Мастер Лайн, 2016. 346 с. - ISBN 978-5-931-39249-3
