CC BY
29
Рейтинговая система оценки публикационной активности авторов
Мамонова Валерия Сергеевна, студентка группы 4195 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н.
Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (987)4071467 valeribloom@yandex. ru
Ильина Татьяна Владимировна, студентка группы 4195 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н.
Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (999)1639417 [email protected]
Аннотация
В работе рассматривается построение рейтинга публикационной активности авторов на основе показателей Российского Индекса Научного Цитирования (РИНЦ). Для определения рейтинга используется метод линейной трансформации, а также предполагается ввод весовых показателей, для того чтобы каждый эксперт мог установить насколько значимым является каждый из показателей публикационной активности авторов. Реализована система определения рейтинга среди профессорско-преподавательского состава (ППС) кафедры АСОИУ Казанского национального исследовательского технического университета им. А.Н. Туполева-КАИ (КНИТУ-КАИ) по публикационной активности с использованием основных показателей. This work shows the problem of determining the rating of the authors' publication activity on the basis of the Russian Scientific Citation Index (RSCI). To determine the rating, the method of linear transformation is used, and it is also proposed to enter weight indicators, so that each expert can establish how significant each of the indicators of the authors' publication activity is. A system for determining the rating among the teaching staff of the cathedra ASOIU of Kazan National Research Technical University was established. A.N. Tupolev-KAI (KNRTU-KAI) on the publication activity using the main indicators.
Ключевые слова
РИНЦ, показатель публикационной активности, рейтинг авторов, метод линейной трансформации, нормирование показателей, экспертная оценка RSCI, index of publication activity, authors' rating, linear transformation method, rating of indicators, expert evaluation
Введение
Качество образования существенно влияет на развитие науки. Для достижения высокого качества образования, необходимо, чтобы сотрудники высших учебных заведений активно участвовали в научных исследованиях. Для того чтобы оценить публикации по научным исследованиям система РИНЦ ввела целый ряд показателей для оценки авторов. [1-3] Но каждый показатель в отдельности недостаточно
информативен и не дает исчерпывающую оценку публикационной активности авторов. Поэтому возникает необходимость в разработке такой системы определения рейтинга, которая смогла бы на основе выбранных показателей системы РИНЦ выстраивать рейтинг авторов согласно их достижениям в сфере научных публикаций.
Для того, чтобы спроектировать и реализовать рейтинговую систему публикационной активности авторов, необходимо последовательно выполнить каждый из следующих шагов:
1) Анализ всех имеющихся показателей авторов в системе РИНЦ и выявление среди них ключевых показателей для оценки публикационной активности авторов;
2) Нормирование выбранных ключевых показателей для получения безразмерных величин для сведения к единой системе сравнения;
3) Введение возможности выставления независимой оценки экспертом для каждого из ключевых показателей;
4) Вычисление итогового суммарного значения рейтинга из полученных на предыдущих шагах взвешенных нормированных показателей для каждого автора, сортировка авторов по убыванию этих значений.
Анализ показателей РИНЦ и выявление ключевых показателей.
По результатам анализа предложенного системой РИНЦ ряда показателей, были выявлены ключевые показатели публикационной активности авторов для разрабатываемой рейтинговой системы авторов. [4,5] Они представлены в таблице 1 с кратким теоретическим обоснованием важности каждого выбранного показателя.
Таблица 1
Ключевые показатели публикационной активности авторов
№ п/п Выбранный показатель Теоретическое обоснование выбранного показателя
1 Индекс Хирша по ядру РИНЦ Показатель, отражающий наиболее строгую оценку (тяжело достижим)
2 Индекс Хирша без учета самоцитирований Показатель, отражающий независимую оценку работ автора
3 Индекс Хирша по публикациям в РИНЦ Показатель, отражающий публикационную активность в РИНЦ
4 Число публикаций, входящих в ядро РИНЦ Показатель выделяет наиболее значимые с научной точки зрения статьи автора
5 Число публикаций в РИНЦ Показатель отражает количественную характеристику публикационной активности автора по РИНЦ
6 Число самоцитирований Показатель, отражающий количественную характеристику объективной оценки работ автора. Если выше 40 процентов, то рассматривается как отрицательная характеристика
7 Число публикаций, процитировавших работ Показатель отражает количественную характеристику заинтересованности в публикациях автора
8 Средневзвешенный импакт-фактор журналов, в которых были опубликованы статьи Численный показатель авторитетности журналов за период, в которых были опубликованы статьи
9 Число цитирований из журналов с ненулевых импакт-фактором Показатель, отражающий качество журналов, уровень цитируемости в авторитетных журналах
Нормирование показателей для получения безразмерных величин показателей.
Под нормированием выбранных на предыдущем этапе показателей публикационной активности авторов понимается приведение каждого из показателей к единому безразмерному виду. В качестве метода нормирования в разрабатываемой системе рейтинга авторов применяется один из наиболее употребляемых и понятных способов приведения критериев к безразмерному виду - метод линейной трансформации.
Суть метода заключается в следующем. Если для некоторого ключевого показателя/\ предпочтительно максимальное значение, то формула перехода от ненормированного значения показателя Хг к нормируемому Хгн имеет вид [6]:
где /\ тш и/\ тах - соответственно минимальное и максимальное значение по каждому ключевому показателю на множестве допустимых альтернатив.
Таким образом, каждый показатель после линейной трансформации избавляется от своих единиц измерений и становится безразмерной величиной, а значит теперь между показателями можно проводить различные арифметические операции для получения единого значения рейтинга.
Выставление независимой оценки экспертом каждому показателю.
Для того, чтобы увеличить гибкость разрабатываемой рейтинговой системы оценки публикационной активности, в систему введена возможность выставления независимой оценки экспертом каждому из показателей.
Экспертный метод оценки показателей основывается на использовании опыта и интуитивных знаниях эксперта-специалиста. Экспертный метод используется в тех случаях, когда применение таких методов объективного определения значений, как инструментальная, эмпирическая или расчетная оценка, является затруднительным.
При экспертном методе оценки показатели определяют в безразмерных величинах. В случае, если результат оценки (экспертного измерения) эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем [7]:
• Все объекты оценки (показатели) произвольно нумеруются.
• Эксперт вводит в систему свою субъективную оценку каждому параметру
• Рейтинг авторов упорядочиваются по убыванию.
Анализируя полученные экспертным методом оценки показателей, можно не только указать, какой показатель весомее и значительнее, чем другие, но и во сколько.
Вычисление значений рейтинга и сортировка авторов.
Расчет итоговых значений рейтинга происходит по следующему алгоритму. На первом шаге все показатели нормируются методом линейной трансформации, на втором шаге полученные нормированные показатели умножаются на соответствующий вес, введенный пользователем. Затем полученные произведения суммируются, и результат этой суммы является итоговым значением рейтинга. Чем больше итоговое значение, тем выше занимает место автор в рейтинге публикационной активности. Единственным исключением является показатель числа самоцитирований. Он может или вычитаться из суммарного значения рейтинга, или не влиять на него в зависимости от своего значения. Если параметр числа самоцитирований меньше или равен 40%, то он не учитывается в суммировании показателей для определения рейтинга, а если больше 40%, то он нормируется, умножается на вес экспертной оценки и вычитается из суммарного значения рейтинга. Такое различие обусловлено тем, что этот показатель имеет две стороны. С одной стороны, его значение указывает на то, что автор продолжительное время работает в одной предметной области и ссылается на предыдущие статьи за разъяснением, с другой, этот параметр может свидетельствовать о том, что автор пытается увеличить свой рейтинг за счёт фиктивного цитирования собственных работ. Чтобы исключить возможность искусственного увеличения рейтинга автора, предложена формула расчета. Итоговая формула для расчета рейтинга выглядит следующим образом:
Хш - Хмк — нормированные значений ключевых показателей публикационной активности автора,
- Ьм — веса экспертной оценки для каждого показателя, Х5Ы — нормированный показатель числа самоцитирований, Х5 — показатель числа самоцитирований,
Ъ8 — вес экспертной оценки для показателя числа самоцитирований, М — количество ключевых показателей публикационной активности авторов, N — тип нормированности значений, Я — рейтинг автора.
Реализация программных средств
Для построения рейтинга публикационной активности авторов предложенным алгоритмом была разработана рейтинговая система, которая на основе информации о публикациях в базе данных вычисляет итоговые взвешенные нормированные оценки текущей публикационной деятельности автора, на основе которых происходит построения рейтинга в порядке убывания этих итоговых значений.
Ввод информации в программу осуществляется в ручном режиме в базу данных сведений о публикационной активности авторов, которая содержит
я = х1М*ь1 + х2М *ь2 + ••• + хмм *ьм-т ,
информацию о ФИО авторов и значения по девяти ключевым показателям системы РИНЦ. База данных представлена на рис. 1.
Рис. 1. База данных профессорско-преподавательского состава кафедры
АСОИУ КНИТУ-КАИ
Стартовое окно разработанной программы приведено на рис. 2. Данное окно предполагает выбор режима работы. В системе их два: ведение базы данных и непосредственно рейтинговая система. После выбора одного режима работы, кнопка выбора другого режима блокируется.
Система оценки публикационной ж... — □ X
Система оценки публикационной активности авторов
Ведение базы данный
Рис. 2. Стартовое окно программы
Блок «Ведение базы данных» был разработан для адаптации входной базы данных под нужды пользователя. Для начала работы необходимо убедиться в том, что в базе данных отображаются те авторы, рейтинг которых нужно рассчитать. Для этого необходимо нажать кнопку «Ведение базы данных», в результате чего открывается окно, представленное на рис. 3.
^ Ведение базы данных — □ X
Публикационная активность организаций Публукацио^ая активность авторов Инчкзрмаиип об организации
Код <РИ0 Индекс Хирша по пору РИНЦ Индекс Хирша без учета самоцитирсваний Индекс Хирша по публикациям в РИНЦ Число публикаций. ВХОДЯЩИХ в ядро РИНЦ ЧИСЛО публикаций а РИНЦ л
► Валов ОЯ 0 1 1 0 е
2 Барков И.А. 0 1 2 1 18
3 Бикмурзимэ А.Р 0 0 0 0 0
4 Вафин P.P. 0 0 1 0 2
5 Галеев И.Х. 1 11 15 4 103
6 Зайнуллина Г Р 0 г г 0 5
7 Зарайский ЗА 0 1 1 0 1
в Захарова З.Х. 0 г 3 0 10
9 Медведев М Б 1 з 3 3 47
m Мпкмын R R I) 17 14 1 № ч*
< >
Добавить Удалить Изменить
запись запись запись
Рис. 3. Ведение базы данных на 11.04.2018
Для того чтобы добавить нового автора в базу данных необходимо заполнить все поля таблицы и нажать кнопку «Сохранить». Если есть необходимость в редактировании уже введенных данных таблицы, необходимо отредактировать нужную строку и нажать кнопку «Изменить запись». Также реализована функция удаления записей таблицы. Для этого нужно выделить строку и нажать кнопку «Удалить». Далее необходимо закрыть окно, а в стартовом окне системы выбрать второй режим нажатием кнопки «Система публикационной активности авторов», которая вызывает открытие окна, представленного на рис. 4. В данном окне отображается список авторов и значения показателей их публикационной активности из базы данных, блок экспертной оценки, вкладки: «Сводные таблицы», «Графики», «Графики (нормированная выборка)», «Публикационная активность», «Публикационная активность (нормированные данные)», «Рейтинг».
Для вычисления оценки автора предлагается задать ряд параметров и весов. По умолчанию все значения параметров равны единице. Сами параметры выбраны после детального анализа всех показателей публикационной активности, представленных системой РИНЦ. Метод линейной трансформации для нормирования показателей запрограммирован в системе и не предполагает никакого ручного ввода данных от пользователей. В отличие от экспертного метода оценки показателей, который требует ручного ввода значений от эксперта для каждого ключевого показателя. Блок экспертного метода оценки показателей приведено на рис. 4.
•»У Система оценки публикационной активности авторов
Саобные таблицы Графики Графики (нормализованная выборка) Рейтинг Публикационная активность авторов Публикационная активность авторов (нормированные данные)
Код ФИО Индекс Хирша по явдРИНЦ Индекс Хирша без учета самошпированш! Индекс Хирша по публикации-! в РИНЦ Ч^сло публикаций входящих в пдро РИНЦ А Число публикаций Б РИНЦ
► Валов 0 П 0 1 1 0 Б
2 Барное и А 0 1 г 1 15
3 Еикмурзина АР. 0 0 0 0 0
4 Вафт Р Р 0 0 1 0 г у
< >
Индекс Хирша по 1 ядру РИНЦ
Индекс Хирша . без учета самоцитирований
Индекс Хирша по 1 публикациям в РИНЦ
Число публикаций, входящих в ядро РИНЦ
Число
публикаций в
РИНЦ
Средневзвешенн ый
импакт-фактор журналов
Г I
1П1
Е I
Число
публикаций.
процитировавших
работ
Число
цитирований из журналов с ненулевых имп акт-фактором
Число
самоцитирований
I
*
Пересчитать
Рис. 4. Окно системы оценки публикационной активности
Для наглядности в программе используются гистограммы по каждому параметру. На рис. 5 изображен пример гистограммы по индексу Хирша по публикациям РИНЦ. Аналогичные графики строятся в системе для всех параметров. Данное отображение дает возможность наглядной оценки по каждому показателю.
Рис. 5. Гистограмма по индексу Хирша по публикациям РИНЦ
На рис. 6 представлен рейтинг авторов в виде списка. Список отсортирован по убыванию рейтинга, чем выше значение рейтинга, тем выше автор располагается в списке.
в^ Система оценки публикационной аетивности авторов — □ X
Свобные таблицы графики Графики (нормализованная выборкам Рейтинг
Публккл^иоьиая акгяаьосгь угарен Публикационная активность авторовйзрмированные данные)
Код ФИО Индекс Хирша по ядру РИНЦ Индекс Хиршэ без учета самоцитирований Индекс Хирша по пубткаиини а РИНЦ Ч1СЛО публика1ий входящих в ядро РИНЦ Ч^сло публикаций в РИНЦ л
► Валов 0 П 0 о.оаззшив 0.06666667 0 0.0532524277
2 Барков И.А. 0 0.0833333365 0.13333334 0.25 0.174757287
3 Еикмурзина А.Р. 0 0 0 0 0
4 Вафин Р Р. 0 0 0.06666667 0 0.0134174759
5 Галеев И.Х. 1 0.9166667 1 1 1
6 Зайнуллина Г.Р 0 0.166666672 0.13333334 0 0.0485436379
7 Зарайский З.А. 0 0,0333333353 0,06666667 0 0,009708738
8 Захарова ЗХ 0 0.166666672 0.2 0 0.0970873753
Э Медведев М Б 1 0,25 0,2 0,75 0,4563107 V
< >
Выфузить данные
Рис. 6. Рейтинг авторов
Для более наглядного представления данных есть второй способ отражения рейтинга. Необходимо перейти во вкладку «Рейтинг». Рейтинг в виде гистограммы изображен на рис. 7.
Рис. 7. Рейтинг авторов в виде гистограммы
Также пользователем системы может быть обычный студент, у которого есть потребность найти себе научного руководителя (в данной работе, среди преподавателей кафедры) по определенным критериям, для этого он выставляет в системе наибольший вес тому параметру, который, по его мнению, важнее, чем остальные. В результате система пересчитывает рейтинг с учетом введенных коэффициентов и построит новый рейтинг авторов. В верхней строке списка будет отображен преподаватель, максимально удовлетворяющий запросу пользователя, остальные преподаватели будут отсортированы в порядке убывания.
Заключение
В статье изложен алгоритм построения рейтинга авторов на примере профессорско-преподавательского состава кафедры АСОИУ КНИТУ-КАИ по публикационной активности с использованием основных показателей РИНЦ в рейтинговой системе публикационной активности. Сама система может быть применена к любой базе данных авторов. Предложенный алгоритм позволяет оценить авторов по ключевым показателям РИНЦ, тем самым позволяя в достаточной мере показать активность авторов.
Для расчета оценки публикационной активности авторов предложенным методом применяется нормирование показателей публикационной активности методом линейной трансформации и присваивание каждому показателю веса экспертной оценки. В настоящее время область публикационной научной активности исследована недостаточно полно для расчета оптимальных параметров оценки авторов и построения рейтинга лучших авторов. Поэтому следует отметить, что результат оценки авторов в разработанной рейтинговой системе базируется на выбранных показателях, суммирование которых вычисляет значения для построения рейтинга авторов.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галева И.Х.
Литература
1. Галеев И.Х. Практика применения баз данных научного цитирования при оценке публикационной активности КНИТУ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2013 - V. 16 -N4. - С.387-402. - ISSN 1436-4522. URL: http://ifets.ieee.Org/russian/depository/v16_i4/html/8.htm (дата обращения: 22.04.2018).
2. Галеев И.Х., Галеева Н.Х. Опыт анализа публикационной и издательской активности с использование РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2012. - V.15. - №1. - C.594-608. - ISSN 1436-4522. URL:
http://ifets.ieee.org/russian/periodical/journal.html (дата обращения: 24.04.2018).
3. Галеев И.Х. Оценка полноты и интеллектуальности РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2014 - V. 17 -N3. - С. 588-602. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/depository/v17_i3/pdf/14.pdf (дата обращения: 20.04.2018).
4. Галеев И.Х. Анализ юзабилити системы SCIENCE INDEX* [организация] // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2015 - V. 18 -N4. - С. 767-779. -ISSN 1436-4522. URL: http://ifets.ieee.org/russian/depository/v18_i4/pdf/19.pdf (дата обращения: 21.04.2018).
5. Галеев И.Х. Динамика развития международного электронного журнала «Образовательные технологии и общество» // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2007. - V.10. - №1. - C.315-328. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html
6. Россошанский П.В., Грайворонский С.А. Анализ методов нормирования показателей качества сложных технических систем// Труды международного симпозиума надежность и качество - Пенза: Изд-во Пензенский государственный университет - 2010- Т. 2 - С. 418-420.
7. Орлов В.Н., Шишкина С.В.. Экспертная оценка качества продукции методом ранжирования// Курган: Изд-во Курганский государственный университет -2008 - С. 6-7.
