CC BY
11
Модель построения рейтинга сотрудников КНИТУ-КАИ на основе прокси-показателя научной продуктивности
Румянцев Алексей Александрович, студент группы 4292 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н.
Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (937)6201546 rumyantsev-2013 @list.ru
Хабибулин Ринат Рахимович, студент группы 4293 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н.
Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (905)0202384 Rhinock@yandex.ru
Александров Александр Сергеевич, студент группы 4293 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н.
Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (987)2893322 alex.mirenki@gmail.com
Аннотация
Исследована существующая перспективная математическая модель индикатора относительной научной продуктивности Джованни Абрамо. Проанализированы результаты ее применения и дана оценка адекватности при расчете рейтинга научных сотрудников кафедры АСОИУ КНИТУ-КАИ. Разработаны модификации на основе детализации отдельных показателей, ввода дополнительных параметров оценки работ авторов, цитирований из журналов и использования экспертных средств нормализации количественных показателей. Произведено сравнение эффективности полученной модели с ранее достигнутыми результатами. We studied the existing perspective mathematical model of Fractional Scientific Strength indicator of Giovanni Abramo. The results of its application for science workers rating calculation in ASOIU department of KNITU-KAI are analyzed and evaluation of adequacy is made. Modifications for this model are developed based on detailing of individual parameters, introduction of additional indicators for evaluation of author's works, citations from journals and using expert means for normalization of quantitative indicators. Comparison of efficiency for the final model and earlier achieved results is made.
Ключевые слова
показатель относительной научной продуктивности, рейтинг публикационной активности, математическая модель, мягкие вычисления Fractional Scientific Strength, publication activity rating, mathematical model, fuzzy calculations
Введение
Важной задачей в современном глобализированном мире является оценка результативности научной деятельности с целью повышения эффективности и продуктивности научной и технологической инфраструктуры. Существует большое многообразие программ оценивания, рейтингов научной деятельности на государственном и международном уровнях. Однако значительная их часть опирается на ненаучные, интуитивные, упрощенные методики оценивания, неадекватные с микроэкономической точки зрения [1]. Грамотный подход к оценке продуктивности научного работника опирается на действительно значимые количественные факторы. Такие показатели содержатся в различных библиографических базах данных, таких как РИНЦ, Scopus, Web Of Science и др [2]. Данные сервисы обладают очень ограниченным функционалом при формировании рейтинга авторов, но содержат большие массивы данных для множества библиометрических индикаторов, что позволяет производить полноценную статистическую оценку на основе индивидуальных работ каждого автора [3, 4]. Необходимость применения интегрированной оценки вклада каждого научного работника в "экономику, основанную на знаниях", а также описание алгоритма расчета рейтинга и математической модели на ее основе отражено в ранее проведенных исследованиях [5,
Разработка эффективной математической модели требует тщательных исследований адекватности ее применения при различных факторах и алгоритмических параметрах [7]. В качестве решения данной задачи нами дана оценка для некоторых базовых методов построения рейтинга публикационной активности на основе разработанного программного обеспечения [8]. Были определены эффективные методы математического аппарата [9], в частности на основе преобразований мягкими вычислениями, а также предложена идея учета индикаторов популярности и дециля работ авторов (Новые тезисы). Однако ограниченность библиометрических показателей разновидностями индекса Хирша не учитывает влияние научных работ с количеством цитирований менее h-индекса и количество цитирований основных работ (h), превышающее h [10]. Кроме того, h-индекс не предусматривает нормализации количества цитирований и интенсивности цитирований по предметной области и не учитывает количество соавторов. С целью устранения данных недостатков нами предложено использование существующей достаточно адекватной экспериментально проверенной модели - показателя относительной научной продуктивности (Fractional Scientific Strength), предложенного командой исследователей под руководством Джованни Абрамо [11]. Данная модель представлена в упрощенной форме, что открывает возможности для ее модификации различными математическими средствами для детализации, нормализации и учета дополнительных индикаторов. Результаты применения сформированной модели могут быть представлены и проанализированы в виде итоговой оценки или на различных временных промежутках в соответствии с рекомендациями разработчиков исходной модели.
Показатель относительной научной продуктивности
Математическая интерпретация исходной модели Fractional Scientific Strength представлена следующей формулой:
6].
Где:
FSS{¡ - показатель относительной научной продуктивности, Ид - среднегодовая заработная плата ученого,
- количество лет работы ученого в рассматриваемом периоде, С; - количество цитирований на публикацию
с - среднее значение распределения цитирований всех процитированных работ в том году и тематической области, к которой относится публикация
- относительный вклад ученого в подготовку публикации /.
Данные показатели представлены в библиографических базах данных, статистических центрах обработки экономических показателей и нормативно-правовых документах в открытом доступе [12]. Среднегодовая заработная плата рассчитывается на основе официального положения об окладах для КНИТУ-КАИ с учетом надбавок в зависимости от должности и ученого звания сотрудника [13]. Параметры периода публикации и окна цитирования с отсчетом от момента регистрации публикации определяются на основе рекомендации разработчиков исходной модели как 3 года для наибольшей адекватности и точности [14, 15]. Временной интервал применения процедуры рассчитывается с первой публикации. Нормализация рейтинга проводится в пределах одной модели.
База данных
Применяемая база данных (рис. 1) основана на библиометрических показателях 700 публикаций и статистике заработных плат с учетом инфляции 21 сотрудника кафедры автоматизированных систем обработки информации и управления (АСОИУ) Казанского национального исследовательского технического университета им. А.Н. Туполева-КАИ, а также позиции в рейтинге Science Index цитирующих журналов (107 журналов, 401 отношение).
ентифкатор ФИО Зарплата Код публикации Цитирования Норм цит Дециль Просмотры Загрузки
603113 Барков Игорь Александрович 39910 19565261 10 1.397 2 1 0
769697 Балов Олег Павлович 35000 257D0653 7 0.524 3 6 0
775383 Вафин Радик Рашитович 25150 1784Б862 1 0.398 4 4 1
2500 Галеев Ильдар Хамитович 35000 15189748 47 26.79 1 72 49
845002 Зайнуллинэ Гульсина Рафкатовна 22950 23437628 18 11.48 1 33 23
325092 Зарайский Сергей Александрович 35000 20274188 3 2 304 1 23 13
773327 Захарова Земфира Хаматовна 25150 17642226 10 5.177 1 18 9
699483 Медведев Михаил Викторович 35000 22909962 22 4 187 1 13 1
706627 Мокшин Владимир Васильевич 35000 22020910 61 28.79 1 41 24
963566 Осипова Алла Леонидовна 25150 17346398 14 6 066 1 20 12
846704 Ризаев Ильшзар Султанович 35000 25995726 17 3 436 1 12 ь
697909 Ризаев Илцдус Султанович 35000 17346398 14 6 066 1 20 12
803683 Суздальцев Владимир Антонович 25150 27581508 6 6.74 1 3 0
749267 Сытник Анатолий Сергеевич 35000 21022604 2 0 924 13 6
449014 Тахавовэ Эльза ГаблулбарОзНа 35000 22724767 3 2 113 2 0
760474 Хохлов Дмитрий Григорьевич 35000 17642226 10 5 177 1 18 9
47S213 Шарнин Леонид Михайлович 43222 20294476 60 25.07 1 27 14
700796 Шлеймович Михаил Петрович 43С50 22905S62 22 4.187 1 13 1
722166 Эминов Фарид Ибрагимович 35000 26064966 19 6.23 1 99 30
745736 Якимов Игорь Максимович 35000 22020910 61 28.79 1 41 24
490313 Яхина Зухра Талгатовна 35000 23437628 18 11.48 1 33 23
Рис. 1. База данных сотрудников кафедры АСОИУ
Детализация и дополнение модели Fractional Scientific Strength
Исходная модель, предложенная Джованни Абрамо, обладает определенными недостатками из-за ограниченности учета экономических факторов и количественной
нормализации параметров, а также применения только одного критерия оценки работ автора. В качестве усовершенствования исходной модели с целью устранения выявленных недостатков нами предложены следующие решения:
• Учет годовой инфляции [16], хронологии получения ученых степеней и статистики заработных плат в сфере высшего образования службы Росстата [17], применимой к окладам КНИТУ-КАИ;
• Ввод показателей количества просмотров и загрузок работ зарегистрированными пользователями в качестве нормализованного экспертного суммирования вместе с оценкой цитирования;
• Применение мягких вычислений на основе экспертно формируемой функции принадлежности и степенной функции для нормализации показателей публикаций;
• Учет распределения цитирований по тематике публикации на основе дециля цитирований;
• Применение параметра позиции в рейтинге Science Index [18] для цитирований из журналов;
Таким образом, становится возможным повысить точность и адекватность модели, а также в большей степени учитывать значимость работ автора. Итоговая
математическая формула для модифицированной модели:
, hk
'R^R'
— 11^ К6 _
FSSr + k4Rsi,i)(1 - + k2mi + kiftdfi
m
Rsi.^^T Cm(1-S(RJik-1)) Clk=i
Где
FSSr- модифицированный показатель относительной научной продуктивности,
WR - среднегодовая заработная плата ученого с учетом статистики и инфляции,
tR - количество лет работы ученого в рассматриваемом периоде,
Ci - исходное количество цитирований /-ой публикации,
cl - нормализованное по среднему в тематике и максимальному значению
среди авторов количество цитирований на публикацию /,
hi - дециль в предметной области для публикации /,
fnl - количество просмотров публикации /,
nt - количество загрузок публикации /,
k1, k2, k3, k4, k5, k6 - экспертные оценки для параметров,
f - относительный вклад ученого в подготовку публикации /,
Rsi i - интегрированный рейтинг SCIENCE INDEX l-ой публикации,
CjXk - количество цитирований l-ой публикации из к-го журнала,
Rj k - позиция к-го журнала в рейтинге SCIENCE INDEX,
S - константа, 0.000283.
В рамках представленной работы использованы актуальные данные ежемесячной заработной платы работников высшего образования применительно к окладам КНИТУ-КАИ с учетом годовой инфляции (рис. 2). Для дальнейшей оценки также представлены хронологические данные публикационной активности наиболее активных авторов (рис. 3).
Год 1995 2000 2001 2002 2003 2004 2005 2006 2007 200В
Зарплата 45? 1826 2699 4310 5363 654 6 £503 10717 13363 16955
Инфляция 131.6 20.1 1В.8 11.9 11.7 10.9 9 11.3 13.2
Год 2009 2010 2011 2012 2013 2014 2015 2016 2017 201В
Зарплата 20214 21319 231 ВО 26321 31666 35503 ЗВ1В5 41747 44972 4В447
Инфляция £.3 8." 6.1 6.5 6.4 11.3 12.9 5.4 2.5 4.3
Рис. 2. Экономические показатели среднестатистической ежемесячной заработной платы и годовой инфляции
1985 1990 1995 2000 2005 2010 2015
0 Галеев И.Х. # Шлеймович М.П. # Мокшин В.В в Якимов И М.
Рис. 3. Хронологическое распределение публикаций авторов
Мягкие вычисления
Применение нечеткой математики для нормализации количественных показателей просмотров и загрузок связано с неопределенностью, неточностью понятий при оценке значимости распределения данных [19]. Элементами мышления человека являются не числа, а элементы некоторых нечетких множеств. Данный подход позволяет более справедливо оценить каждый параметр при нормализованном экспертном суммировании. Графики и параметры сигмоидных функций принадлежности представлены на рис. 4.
Просмотры ™ Загрузки
Рис. 4. Функции распределения нормализованных показателей
Сравнительный анализ результатов
Результаты применения исходной модели Fractional Scientific Strength для научных сотрудников кафедры АСОИУ КНИТУ-КАИ с целью анализа продуктивности при различных фиксированных периодах публикации и минимальном окне цитирования 3 года представлены на рисунке 5. Как видно наибольшей продуктивностью за все периоды обладает Галеев И.Х., хотя показатели Мокшина В.В., Якимова И.М. и других авторов также заметно растут, что говорит о высокой интенсивности недавней публикационной активности, актуальности и популярности работ авторов.
Рис. 5. Продуктивность авторов за разные периоды публикации (исходная Fractional Scientific Strength)
Таким образом, рассмотренная модель позволяет оценить актуальную продуктивность научного сотрудника для стимулирования качества научно -исследовательской деятельности, эффективного распределения бюджетных ресурсов
в условиях производственной конкуренции. Однако не менее важной задачей является справедливая интегрированная оценка общей результативности автора за весь период публикационной активности. Сравнение итоговых рейтинговых оценок ранее разработанных нами моделей на основе й-индекса и Fractional Scientific Strength с учетом модификаций при неограниченном окне цитирования приведено на рисунке 6. Как видно общая значимость работ Галеева И.Х. заметно превосходит остальных авторов на всем интервале публикационной активности. В сравнении с методом мягких вычислений на основе й-индекс модели общий прокси-индекс дает значительно более строгую оценку почти для всех авторов, опираясь только на нормализованное цитирование и не учитывая популярность работ по критериям просмотров и загрузок. Несколько более справедливую оценку для большинства авторов дает разработанная модификация исходной модели при базисных экспертных параметрах. Таким образом, необходим разносторонний учет значимости каждой работы автора.
Рис. 6. Общая продуктивность авторов (Fractional Scientific Strength и h-индекс
методы)
Применение детализированной и дополненной модели Fractional Scientific Strength требует экспертной оценки для подбора параметров к1, к2, к3, к4, к5, к6 при суммировании, нормализации по децилю в предметной области и применении рейтинга Science Index для цитирований из журналов. Экспериментальный анализ различных вариаций данных параметров при общем рейтинге без учета периода публикации на основе базиса коэффициентов (0.5, 0.3, 0.2, 1, 0.8, 1.15) с учетом масштабирования весовых значений в общей сумме отображен на рис. 7.
ФИО Базис k1=0.15 k1=0.85 k2=0.15 k2=0.85 k3=0.15 k3=0.85 k4=0 k4=3 k5=0.01 k5=0.99 k6=0.5 k6=10
Барков Игорь Александрович 0.75 1.02 0.48 0.53 1.55 0.73 0.30 0.75 0.75 0.77 0.75 0.71 077
Валов Олег Павлович 0.30 0.43 0.12 0.17 0.73 0.32 0.10 0.30 0.30 0.31 0.30 0.30 031
Вафин Радик Рашитович 0.26 0.14 0.38 0.28 0.16 0.28 0.05 0.05 0.63 0.26 0.26 0.26 026
Галеев Ильдар Хамитович 63.73 54.86 72.60 65.33 56.63 64.87 48.63 45.60 100.00 63.83 63.71 63.47 63 83
Зайнуллина Гульсина Рафкатовна 2.14 2.30 1.37 2.03 2.54 2.15 1.33 1.36 3.63 2.14 2.14 2.13 2.14
Зарайский Сергей Александрович 0.66 0.57 0.76 0.67 0.64 0.68 0.42 0.23 1.42 0.66 0.66 0.66 0 66
Захарова Земфира Хаматовна 3.33 2.03 4.64 3.56 2.35 3.51 1.02 1.35 7.30 3.34 3.33 3.32 3 34
Медведев Михаил Викторович 3.31 3.06 3.55 3.11 3.37 3.44 1.54 2.26 5.40 3.32 3.31 3.28 3 32
Мокшин Владимир Васильевич 13.38 11.34 16.62 14.14 13.02 14.46 7.68 11.43 18.36 13.38 13.38 13.37 13 38
Осипова Алла Леонидовна 3.83 4.03 3.63 3.83 4.13 3.87 4.10 2.23 7.10 3.83 3.83 3.83 3 83
Ризаев Ильгизар Султанович 0.50 0.65 0.34 0.36 0.38 0.52 0.13 0.50 0.50 0.50 0.43 0.48 050
Ризаев Ильдус Султанович 4.83 5.12 4.66 4.63 5.85 4.36 4.06 2.35 8.78 4.30 4.83 4.87 430
Суздальцев Владимир Антонович 4.72 4.82 4.63 4.40 5.86 4.84 3.21 2.82 8.52 4.73 4.72 4.71 473
Сытник Анатолий Сергеевич 0.17 0.14 0.13 0.16 0.13 0.17 0.05 0.07 0.35 0.17 0.16 0.16 0 17
Тахавова Эльза ГаЕдулбаровна 0.33 1.52 0.34 0.51 2.43 0.33 0.23 0.33 0.33 0.34 0.33 0.32 034
Хохлов Дмитрий Григорьевич 3.67 3.44 3.83 3.41 4.50 3.82 1.70 1.85 7.30 3.67 3.66 3.64 367
Шарнин Леонид Михайлович 4.31 3.84 5.33 5.06 4.23 5.07 2.81 2.85 3.03 4.32 4.31 4.30 432
Шлеймович Михаил Петрович 6.81 6.84 6.77 6.10 3.24 7.10 3.08 4.41 11.60 6.82 6.80 6.77 682
Эминов Фарид Ибрагимович 4.71 6.72 2.70 3.65 8.63 4.75 4.40 4.71 4.71 4.72 4.71 4.63 4 72
Якимов Игорь Максимович 17.03 17.74 16.45 15.87 21.41 17.48 12.20 12.53 26.22 17.12 17.03 17.03 17 12
Яхина Зухра Талгатовна 3.72 4.30 3.14 3.33 4.37 3.74 3.40 2.55 6.07 3.72 3.72 3.71 3 72
Рис. 7. Таблица общего рейтинга при различных экспертных параметрах (модифицированная Fractional Scientific Strength)
Анализ данной таблицы показывает значимость различных параметров для рейтинга отдельных авторов. В частности, сильное влияние нормализованного цитирования почти у всех авторов, 1.5-2 кратный рост за счет высокой суммарной популярности по количеству просмотров работ относительно общей выборки у многих авторов с невысоким рейтингом (Эминов Ф.И., Тахавова Э.Г.), сниженный рейтинг по количеству загрузок у большинства авторов, кроме Осиповой А.Л., и незначительно у Эминова Ф.И., Яхиной З.Т. Также наблюдается заметное влияние рейтинга цитирований из журналов Science Index. Коэффициенты при нормализации цитирований по децилю в предметной области оказывают незначительное влияние на общую картину для данной выборки по причине небольшого размера, статистических особенностей и отсутствия аномалий в общем распределении публикаций по тематикам, однако, как показано в работе Джованни Абрамо данный фактор может быть значимым при обработке больших разнотипных данных [13].
Хронологические результаты применения исходной и модифицированной модели Fractional Scientific Strength при различных периодах публикации с минимально необходимым окном цитирования 3 года при точке отсчета от даты публикации и базисными экспертными параметрами для наиболее цитируемых авторов отображены на рис. 8, 9.
Ф Г алеев И. X. (модификация) # Шлеймович МП (модификация) ф Мокшин ВВ (модификация) ф Якимов И.М. (модификация) ■ ■ Галеев И.Х. ■ ■ Шлеймович М.П. ■ ■ Мокшин В.В. ■ ■ Якимов U.M.
Рис. 8. Хронологическая продуктивность авторов (период публикации 3 года)
На графиках можно заметить значительное превосходство интервального рейтинга Галеева И.Х. на всем анализируемом отрезке с резким ростом локальной продуктивности Якимова И.М. и Мокшина В.В. за последние 2-3 года. Модифицированная модель показывает более сглаженную оценку на множестве пиковых значений, меньший относительный разброс значений и большую чувствительность к значимости публикаций, что точнее и справедливее описывает результативность научно-исследовательской деятельности автора при заданном периоде публикации. Таким образом, сформированная модель является более эффективной при интервальном и общем анализе научной продуктивности.
100
1988 1990 1992 1994 1996 1993 2000 2002 2004 2006 2008 2010 2012 2014 2016
Ф Галеев И.Х. (модификация) ф Шлеймович М.П. (модификация) ф Мокшин В.В. (модификация) ф Якимов И.М. (модификация) ■ ■ Галеев И.Х. ■ ■ Шлеймович М.П. ■ ■ Мокшин В.В. ■ ■ Якимов И.М.
Рис. 9. Хронологическая продуктивность авторов (период публикации 5 лет)
Заключение
В процессе исследования различных математических подходов формирования рейтинга публикационной активности были выработаны перспективные решения, примененные на основе показателя относительной научной продуктивности для оценки общей и интервальной результативности научных сотрудников кафедры АСОИУ КНИТУ-КАИ. Показана эффективность детализированной и дополненной модели Fractional Scientific Strength в сравнении с исходной и ранее разработанными методиками при различных экспертных параметрах и периодах публикации.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галеева Ильдара Хамитовича.
Литература
1. Abramo G. Bibliometric evaluation of research performance: where do we stand? Voprosy Obrazovaniya/Educational Studies Moscow, 2017, no 1, pp. 112-127.
2. Галеев И.Х. Научный журнал в информационном пространстве // Высшее образование в России. - 2009. - № 3. - С. 92 - 95.
3. Галеев И.Х. Оценка полноты и интеллектуальности РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2014. - V.17. - №3. - C. 583-602. - ISSN 1436-4522.
4. Каленов Н.Е., Селюцкая О.В. Некоторые оценки качества Российского индекса научного цитирования на примере журнала «Информационные ресурсы России» // Информационные ресурсы России. - 2010. - № 6. - С. 2-13.
5. Галеев И.Х. Практика применения баз данных научного цитирования при оценке публикационной активности КНИТУ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2013. - V.16. - №4. - C. 387-402. - ISSN 1436-4522.
6. Галеев И.Х., Галеева Н.Х. Опыт анализа публикационной и издательской активности с использование РИНЦ // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" -2012. - V.15. - №1. - C.594-608. - ISSN 1436-4522.
7. Галеев И.Х. Информационно-образовательное пространство России и «перечень» журналов // Высшее образование в России. - 2009. - № 10. - С. 15 - 23.
8. Румянцев А.А., Хабибулин Р.Р., Александров А.С. Автоматизация проектирования рейтинга научных сотрудников КНИТУ-КАИ // САПР и моделирование в современной электронике: сб. науч. тр. II Международной научно-практической конференции. - Брянск: БГТУ, 2018. - Ч.2. - С.39-41.
9. Румянцев А.А., Хабибулин Р.Р., Александров А.С. Разработка среды автоматизированного проектирования рейтинга научных сотрудников КНИТУ-КАИ // "Образовательные технологии и общество" - 2019. - V.22. - №1. - С.11-24. -ISSN 1436-4522.
10. И.Х. Галеев Динамика развития международного электронного журнала «Образовательные технологии и общество» // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2007. - V.10. - №1. - C.315-328. - ISSN 1436-4522.
11. Abramo G., D'Angelo C.A. How Do You Define and Measure Research Productivity? Scientometrics, 2014, vol. 101, no 2, pp. 1129-1144.
12. Румянцев А.А., Хабибулин Р.Р., Александров А.С. Формирование интегрированного рейтинга публикационной активности преподавателей КНИТУ-КАИ // Актуальные проблемы науки в студенческих исследованиях: сборник материалов VIII Всероссийской студенческой научно-практической конференции. - Альметьевск. - М.: Издательство «Перо», 2018. - С. 330.
13. Положение об оплате труда работников ФГБОУ высшего образования КНИТУ-КАИ // Казанский национальный исследовательский технический университет им. А.Н. Туполева - КАИ: Официальный сайт. - 2018. URL:
https://kai.ru/documents/10181/690854/положение+0864-0+об+оплате+труда (дата обращения: 01.04.2019).
14. Abramo G., Cicero T., D'Angelo C.A. What Is the Appropriate Length of the Publication Period over Which to Assess Research Performance? Scientometrics, 2012, vol. 93, no 3, pp. 1005-1017.
15. Abramo G., Cicero T., D'Angelo C.A. Assessing the varying level of impact measurement accuracy as a function of the citation window length, Journal of Informetrics, 2011, no 5, pp. 659-667.
16. Таблицы месячной и годовой инфляции в России // СтатБюро: Отдел департамента данных Официальный сайт. - 2018. URL:
https://www.statbureau.org/ru/russia/inflation-tables (дата обращения: 01.04.2019).
17. Затраты на рабочую силу и заработная плата // Федеральная служба государственной статистики: Официальная статистика. - 2019. URL: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/wages/labour_cos ts (дата обращения: 01.04.2019).
18. Галеев И.Х. Анализ юзабилити системы Science Index // "Образовательные технологии и общество" - 2015. - V.18. - №4. - С.767-779.
19. Румянцев А.А., Хабибулин Р.Р., Александров А.С. Применение аппарата нечеткой логики при расчете рейтинга публикационной активности научных работников КНИТУ-КАИ // Прикладная математика и информатика: современные исследования в области естественных и технических наук: материалы V Международной научно-практической конференции (школы-семинара) молодых ученых. - Тольятти: Издатель Качалин Александр Васильевич, 2019. - С.278-281.
