CC BY
28
РЫНОК ТРУДА И ЭКОНОМИКА ОБРАЗОВАНИЯ LABOR MARKET AND ECONOMIC EDUCABLIC AND BUSINESS
УДК 378.4:332.055
МЕТОДОЛОГИЯ ОЦЕНКИ РЕГИОНАЛЬНОЙ ПУБЛИКАЦИОННОЙ АКТИВНОСТИ И ЦИТИРУЕМОСТИ НА ПРИМЕРЕ УНИВЕРСИТЕТОВ ЦЕНТРАЛЬНОГО ФЕДЕРАЛЬНОГО ОКРУГА РОССИЙСКОЙ ФЕДЕРАЦИИ
METHODOLOGY FOR ASSESSING REGIONAL PUBLICATION ACTIVITY AND CITATION: A CASE STUDY OF THE CENTRAL FEDERAL DISTRICT UNIVERSITIES OF THE RUSSIAN FEDERATION
Московкин В.М., Лю Явэй Moskovkin V.M., Liu Yawei
Белгородский государственный национальный исследовательский университет, Россия, 308015, г. Белгород, ул. Победы, 85
Belgorod State National Research University, 85, Pobedy St., Belgorod, 308015, Russia
E-mail: [email protected]
Аннотация
На основе РИНЦ разработана методология оценки региональной публикационной активности и цитируемости на примере университетов ЦФО РФ. Она представляет собой агрегирование по всем университетам региона данных по их публикационной активности и цитируемости. При этом данные по значениям абсолютных индикаторов суммируются по всем университетам региона, а для относительных индикаторов рассчитываются их средние арифметические значения. Полученные данные нормируются на максимальные значения и вычисляется среднеарифметический региональный интегральный показатель публикационной активности и цитируемости, изменяющийся в интервале от нуля до единицы. Последнее позволяет классифицировать регионы по интервалам изменения значений этого показателя на пять групп. Для 22-х избранных индикаторов публикационной активности и цитируемости (всего в РИНЦ 36 таких индикаторов) и 18-ти регионов ЦФО РФ построена кросскорреляционная матрица. Проделан анализ этой матрицы и построены девять избранных уравнений парной линейной регрессии. Полагается, что предложенный региональный интегральный показатель публикационной активности и цитируемости является одной из составляющих региональной университетской конкурентоспособности.
Abstract
The article presents RSCI methodology for assessing regional publication activity and citation on the case study of the Central Federal district universities of the Russian Federation. The data on the value of absolute indicators are summed across all universities of the region and for relative indicators were calculated their average arithmetic values. The obtained data are normalized to the maximum values and computes the average regional integrated publication activity and citation indicator changing in the interval from zero to one. The latter allows to classify the regions according to the intervals changing the values of the indicator into five groups. Cross-correlation matrix is constructed for 22 selected indicators of publication activity and citations (There are Only 36 indicators of such kind from the Russian Science Citation Index) and 18 Central Federal District regions of the Russian Federation. The article also analyses this matrix and nine selected pair-wise linear regression equations. The proposed regional integrated indicator of publication activity and citation is one of the components of the regional university competitiveness.
Ключевые слова: региональная публикационная активность и цитируемость, РИНЦ, Центральный Федеральный округ РФ, региональная университетская конкурентоспособность, кросскорреляционная матрица, университеты Центрального Федерального округа.
Keywords: regional publication activity and citation, RSCI, Central Federal district of the Russian Federation, regional university competitiveness, cross-correlation matrix, Central Federal District universities.
Введение
Для изучения литературы, посвященной анализу публикационной активности цитируемости на уровне регионов Российской Федерации, используем возможности поисковой машины Google Scholar [1,2]. При этом мы будем предполагать использование базы данных РИНЦ для анализа этой публикационной активности и цитируемости. Если в расширенном поиске Google Scholar в строке "точное словосочетание" записать термин "публикационная активность", а ниже в строке - РИНЦ, то мы получим 589 откликов (публикаций). Просмотр всех этих откликов привел только к трем релевантным статьям, близким к теме нашего исследования [3-5] (поиск в Google Scholar проведен 15.02.2017 г.). В первой статье изучалась публикационная активность с помощью базы данных РИНЦ для восьми вузов и четырех НИИ Волгоградской области [3], во второй статье изучалась публикационная активность трех Прикаспийских регионов (Астраханская обл., Республика Дагестан, Республика Калмыкия) на основе этой же базы данных за период 2010 по 2014 г. включительно [4], в третьей статье изучалась публикационная активность в экономической науке Азиатской России, и показано, что эта публикационная активность отличается высоким уровнем пространственной концентрации, а система научных коммуникаций - высоким уровнем фрагментации [5]. В этом кластере публикаций отсутствовали работы, охватывающие большой перечень регионов и весь спектр индикаторов базы данных РИНЦ. Этот пробел восполним ниже.
Основные результаты исследования
Одной из составляющих региональной университетской конкурентоспособности могут служить агрегированные по всем университетам региона данные по их публикационной активности и цитируемости. Такие данные по 36 индикаторам для каждого университета предоставляет сейчас РИНЦ (табл. 1).
Таблица 1 Table 1
Перечень индикаторов РИНЦ по университетской статистике публикаций
и цитирований
The list of RINTs indicators on university statistics of publications and citings
Номер индикатора Название индикатора
1 2
1 Общее число публикаций за 5 лет
2 Число публикаций в зарубежных журналах
3 Доля публикаций в зарубежных журналах, %
4 Число публикаций в зарубежных и российских переводных журналах
5 Доля публикаций в зарубежных и российских переводных журналах, %
6 Число публикаций в зарубежных журналах и российских из перечня ВАК
7 Доля публикаций в зарубежных журналах и российских из перечня ВАК, %
8 Число публикаций в журналах, входящих в Web of Science или Scopus
9 Доля публикаций в журналах, входящих в Web of Science или Scopus, %
10 Число публикаций в журналах, входящих в ядро РИНЦ
11 Доля публикаций в журналах, входящих в ядро РИНЦ, %
Окончание табл. 1
1 2
12 Число публикаций в журналах с импакт-фактором >0
13 Доля публикаций в журналах с импакт-фактором >0, %
14 Число публикаций, процитированных хотя бы один раз
15 Доля публикаций, процитированных хотя бы один раз, %
16 Число публикаций с участием зарубежных авторов
17 Доля публикаций с участием зарубежных авторов, %
18 Число публикаций в сотрудничестве с другими организациями
19 Доля публикаций в сотрудничестве с другими организациями, %
20 Число авторов публикаций
21 Число авторов, имеющих публикации в журналах, входящих в Web of Science или Scopus
22 Доля авторов, имеющих публикации в журналах, входящих в Web of Science или Scopus, %
23 Число авторов, имеющих публикации в журналах, входящих в ядро РИНЦ
24 Доля авторов, имеющих публикации в журналах, входящих в ядро РИНЦ, %
25 Число цитирований в РИНЦ
26 Число цитирований из ядра РИНЦ
27 Доля цитирований из ядра РИНЦ, %
28 Средневзвешенный импакт-фактор журналов, опубликовавших статьи
29 Среднее число публикаций в расчете на одного автора
30 Среднее число цитирований в расчете на одну публикацию
31 Среднее число цитирований в расчете на одного автора
32 Число внешних цитирований (не из публикаций этой же организации)
33 Доля внешних цитирований (не из публикаций этой же организации), %
34 h- индекс (индекс Хирша)
35 I-индекс
36 G-индекс
Из этих 36 индикаторов нами отобраны наиболее значимые 15 абсолютных и 7 относительных индикаторов под номерами 1, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 21, 23, 25, 26, 28, 29, 30, 31, 32, 33, 34.
Распределение числа университетов по 18 субъектам Центрального Федерального округа (ЦФО) РФ приведено в табл. 2.
Сбор данных по 22 индикаторам этих университетов проведен в интервале времени с 27.12.2016 по 03.02.2016 г. Отметим, что за этот период времени база данных РИНЦ не обновлялась.
По каждому субъекту ЦФО РФ вычислены суммарные значения для абсолютных индикаторов, за исключением индекса Хирша, по всем университетам регионов ЦФО РФ и средние арифметические значения относительных индикаторов (долевые и удельные индикаторы) и индекса Хирша, которые приведены в таблице 3 и представляют собой матрицу размерности 18 (регионов) х 22 (индикатора). Суммарные значения для абсолютных индикаторов по регионам ЦФО РФ целесообразно сравнивать с их значениями для Москвы, подсчитывая их отставания. Например, по индикаторам 1 и 4 Белгородская область отстает от Москвы, соответственно, в 23, 2 и 37, 4 раза (табл. 1), что и очевидно, так как количество московских вузов превышает количество белгородских в 25, 8 раза (табл. 2). В то же время по удельным индикаторам под номерами 29 и 31 Белгородская область имеет лучшие показатели. Это связано с непропорционально меньшим количеством авторов в Белгородской области по сравнению с Москвой относительно общего числа публикаций и цитирований.
Таблица 2 Table 2
Распределение числа университетов по 18 субъектам ЦФО РФ Distribution of number of universities on 18 subjects of the CFD of the Russian Federation
№ Субъекты ЦФО РФ Число университетов
1 2 3
1 Белгородская область 6
2 Брянская область 5
3 Владимирская область 3
4 Воронежская область 16
5 Ивановская область 7
6 Калужская область 4
7 Костромская область 2
8 Курская область 7
9 Липецкая область 5
10 Московская область 24
11 Орловская область 6
12 Рязанская область 6
13 Смоленская область 7
14 Тамбовская область 4
15 Тверская область 5
16 Тульская область 5
17 Ярославская область 8
18 Город Москва 155
На основе таблицы 3 рассчитана матрица значений коэффициента парных корреляций с двумя знаками после запятой между всеми индикаторами, которая приведена в рисунке 1. Из общего числа значений коэффициента парной корреляции за минусом единичной диагонали получим 231 значение (23x11-22=231). Из этого количества мы имеем 105 значений коэффициента парной корреляции меньших 0,5. Из рассматриваемого рисунка мы, например, видим, что индикаторы под номерами 28 и 30 очень плохо коррелируют со всеми остальными индикаторами, кроме индикаторов под номерами 30 и 31 в первом случае, и под номерами 28, 31 и 34 - во втором случае. Из рисунка 1 видим, что хуже всего коррелированы между собой и с другими индикаторами индикаторы под номерами 28-31, 33, 34. Сюда вошли четыре индикатора (под номерами 28-31), вычисленные как средние доли внешних цитирований (под номером 33) и индекса Хирша (под номером 34).
Таблица 3 Table 3
Матрица агрегированных (суммарных) абсолютных и осредненных относительных значений индикаторов по всем субъектам ЦФО РФ Matrix of the aggregated (total) absolute and average relative values of indicators on all subjects
of the CFD of the Russian Federation
Рег., № Номер индикаторов
1 2 4 6 8 10 12 14 16 18
1 2 3 4 5 6 7 8 9 10 11
1 39765,00 1207,00 2023,00 14268,00 1075,00 2002,00 18165,00 9518,00 528,00 6129,00
2 12908,00 207,00 431,00 4516,00 233,00 643,00 6578,00 2919,00 127,00 2056,00
3 8439,00 103,00 632,00 4087,00 414,00 881,00 6139,00 1785,00 75,00 775,00
4 81732,00 1464,00 4837,00 27970,00 2563,00 6748,00 39163,00 19459,00 726,00 15711,00
5 16428,00 597,00 2020,00 7626,00 1678,00 3188,00 11572,00 4088,00 308,00 3106,00
6 2506,00 40,00 119,00 875,00 82,00 169,00 1490,00 379,00 24,00 490,00
Продолжение табл. 3
1 2 3 4 5 6 7 8 9 10 11
7 5838,00 51,00 179,00 2865,00 385,00 8,60 4180,00 1175,00 36,00 472,00
8 27909,00 475,00 930,00 10939,00 706,00 1314,00 13712,00 6804,00 208,00 3564,00
9 11420,00 231,00 564,00 3842,00 274,00 562,00 5294,00 2088,00 68,00 2721,00
10 56765,00 4330,00 8396,00 26730,00 6761,00 9845,00 32722,00 15938,00 3705,00 19028,00
11 19156,00 118,00 381,00 7627,00 206,00 559,00 12464,00 3804,00 127,00 1886,00
12 21513,00 364,00 702,00 7605,00 685,00 1287,00 10073,00 5043,00 200,00 3178,00
13 6604,00 145,00 300,00 3411,00 305,00 602,00 4480,00 1419,00 94,00 1076,00
14 21015,00 274,00 813,00 11474,00 440,00 1137,00 14071,00 5645,00 61,00 2693,00
15 15154,00 270,00 897,00 6203,00 739,00 1318,00 8631,00 3305,00 148,00 2412,00
16 13700,00 178,00 529,00 6680,00 253,00 673,00 8467,00 2601,00 67,00 1699,00
17 16388,00 334,00 1188,00 8044,00 978,00 2001,00 9864,00 3480,00 144,00 2518,00
18 921071,00 28262,00 75636,00 358610,00 65774,00 119860,00 461268,00 202896,00 18860,00 195970,00
Окончание табл. 3
Рег., № Номер индикаторов
20 21 23 25 26 28 29 30 31 32 33 34
1 12 13 14 15 16 17 18 19 20 21 22 23
1 4535,00 855,00 1236,00 41420,00 1384,00 0,37 8,77 1,04 9,13 15485 0,37 34,17
2 1626,00 171,00 353,00 8799,00 512,00 0,27 7,94 0,68 5,41 3896 0,44 24,00
3 1143,00 242,00 385,00 5343,00 726,00 0,32 7,38 0,63 4,67 2939 0,55 17,67
4 9342,00 1655,00 3121,00 78580,00 5244,00 0,37 8,75 0,96 8,41 33233 0,42 36,06
5 2818,00 801,00 1125,00 12208,00 4123,00 0,34 5,83 0,74 4,33 5944 0,49 22,29
6 292,00 31,00 49,00 1355,00 192,00 0,30 8,58 0,54 4,64 906 0,67 11,25
7 780,00 164,00 224,00 3409,00 342,00 0,29 7,48 0,58 4,37 1641 0,48 21,00
8 3455,00 550,00 831,00 29069,00 1029,00 0,36 8,08 1,04 8,41 10922 0,38 25,43
9 1390,00 172,00 272,00 7134,00 268,00 0,28 8,22 0,62 5,13 4171 0,58 27,40
10 8483,00 2073,00 2721,00 94952,00 43200,00 0,42 6,69 1,67 11,19 71661 0,75 30,38
11 2507,00 172,00 416,00 13560,00 246,00 0,27 7,64 0,71 5,41 7845 0,58 24,83
12 2625,00 337,00 642,00 31148,00 9249,00 0,55 8,20 1,45 11,87 19607 0,63 36,67
13 1312,00 239,00 365,00 4628,00 606,00 0,31 5,03 0,70 3,53 3072 0,66 18,86
14 2724,00 317,00 607,00 20941,00 745,00 0,28 7,71 1,00 7,69 9896 0,47 37,25
15 2358,00 486,00 674,00 10013,00 960,00 0,32 6,43 0,66 4,25 4456 0,45 27,40
16 1891,00 247,00 404,00 8488,00 424,00 0,26 7,24 0,62 4,49 3732 0,44 22,80
17 2360,00 585,00 836,00 10208,00 1511,00 0,29 6,94 0,62 4,33 6148 0,60 22,88
18 105104,00 30015,00 42346,00 921371,00 206286,00 0,38 8,76 1,00 8,77 617159 0,67 36,01
1
2 4 6 8 10 12 14 16 18 20 21 23 25 26 28 29 30 31 32 33 34
1 2 4 6 8 10 12 14
1,00 0,99 1,00 1,00 1,00 1,00 1,00 1,00
16 0,99 18 1,00
20 21 23 25
1,00 1,00 1,00 1,00
26 0,98
28 0,21
29 0,32
30 0,18
31
32
33
0,28 1,00 0,28
34 0,38
1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 0,23 0,28 0,23 0,31 1,00 0,34 0,37
1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 0,99 0,22 0,29 0,20 0,29 1,00 0,32 0,36
1,00 1,00 1,00 1,00 1,00 0,99 1,00 1,00 1,00 1,00 1,00 0,99 0,20 0,31 0,18 0,28 1,00 0,29 0,38
1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 0,99 0,21 0,28 0,19 0,28 1,00 0,33 0,35
1,00 1,00 1,00 1,00 1,00 0,99 0,99 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 1,00 0,99 0,99 0,21 0,20 0,29 0,31 0,18 0,18 0,27 0,28 1,00 1,00 0,31 0,29 0,36 0,38
1,00 0,99 1,00 1,00 1,00 1,00 1,00 0,99 0,22 0,32 0,19 0,29 1,00 0,28 0,39
1,00 0,99 0,99 0,99 0,99 0,99 1,00 0,24 0,26 0,26 0,32 1,00 0,37 0,37
1,00 1,00 1,00 1,00 1,00 0,99 0,22 0,30 0,20 0,29 1,00 0,31 0,37
1,00 1,00 1,00 1,00 0,99 0,21 0,31 0,19 0,29 1,00 0,29 0,38
1,00 1,00 1,00 0,99 0,20 0,29 0,17 0,27 1,00 0,30 0,36
1,00
1,00 1,00
0,99 0,99 1,00
0,20 0,23 0,27 1,00
0,30 0,31 0,26 0,18 1,00
0,17 0,22 0,28 0,81 0,15 1,00
1,00
0,31 1,00
0,12 0,33 1,00
0,76 0,37 -0,15 1,00
31 32 33 34
1 2 4 6 8 10 12 14 16 18 20 21 23 25 26 28 29 30 31 32 33 34
Рис. 1. Кросскорреляционная матрица для 22-х избранных индикаторов Fig. 1. Krosskorrelyatsionny matrix for 22 chosen indicators
Построим на основе таблицы 3 региональный интегральный показатель публикационной активности и цитируемости. Для этого пронормируем значения всех 22-х индикаторов на их максимальные значения по выборке регионов и подсчитаем среднее арифметическое значение нормированных индикаторов (табл. 4).
Таблица 4 Table 4
Региональный интегральный показатель публикационной активности и цитируемости Regional integrated indicator of printing activity and quoting
Регион Интегральный показатель Интегральной показатель без учета г. Москвы
1 2 3
Белгородская область 0,227 0,443
Брянская область 0,165 0,227
Владимирская область 0,160 0,213
Воронежская область 0,252 0,713
Ивановская область 0,167 0,312
Калужская область 0,157 0,170
Костромская область 0,153 0,185
Курская область 0,201 0,346
Липецкая область 0,177 0,233
Московская область 0,316 0,926
Орловская область 0,176 0,261
Окончание табл. 4
1 2 3
Рязанская область 0,270 0,398
Смоленская область 0,152 0,198
Тамбовская область 0,205 0,322
Тверская область 0,164 0,258
Тульская область 0,154 0,224
Ярославская область 0,169 0,280
Город Москва 0,949 -
Аналогичные расчеты в таблице 4 проделаны и без учета г. Москвы. Если классифицировать регионы ЦФО РФ на 5 групп, с учетом того, что значения интегрального показателя публикационной активности и цитируемости изменяются от 0 до 1, то на основе таблицы 4 получим следующие разбиения регионов по уровням публикационной активности и цитируемости (табл. 5).
Таблица 5 Table 5
Распределения регионов ЦФО РФ по уровням публикационной активности и цитируемости, полученные на основе таблицы 4 The distributions of regions of the CFD of the Russian Federation on levels of printing activity
and a quoting received on the basis of table 4
Интервал изменения значений интегрального Уровень публикационной активности и цитируемости Регионы ЦФО РФ Регионы ЦФО РФ без учета г. Москвы
показателя
1 2 3 4
0,8-1,0 Очень высокий Город Москва Московская обл.
0,6-0,8 Высокий 0 Воронежская обл.
0,4-0,6 Средний 0 Белгородская обл.
Рязанская обл.
0,2-0,4 Низкий Московская обл. Рязанская обл. Воронежская обл. Белгородская обл. Тамбовская обл. Курская обл. Курская обл. Тамбовская обл. Ивановская обл. Ярославская обл. Орловская обл. Тверская обл. Липецкая обл. Брянская обл. Тульская обл. Владимирская обл.
Липецкая обл. Орловская обл. Ярославская обл. Ивановская обл.
Брянская обл. Смоленская обл.
0-0,2 Очень низкий Тверская обл. Владимирская обл. Калужская обл. Тульская обл. Костромская обл. Смоленская обл. Костромская обл. Калужская обл.
Как видим из таблицы 5, большинство регионов имеют очень низкий уровень публикационной активности и цитируемости. В расчетах без учета г. Москвы лидирующие позиции занимают Московская, Воронежская и Белгородская области.
В соответствии с кросскорреляционной матрицей (рис. 1) нами рассчитаны уравнения линейной регрессии для девяти пар индикаторов (рис. 2-4, табл. 6). Пары индикаторов обозначены как (n, m), где n, m - номера индикаторов в табл. 3 и рис. 1, причем n откладывается по оси x, а m - по оси y.
Рис. 2. Уравнения линейной регрессии для пар индикаторов: (28,30); (28,31); (31, 30) Fig. 2. The equations of linear regression for pairs of indicators: (28,30); (28,31); (31, 30)
Рис. 3. Уравнения линейной регрессии для пар индикаторов: (34,31); (34,14);(18, 2) Fig. 3. The equations of linear regression for pairs of indicators: (34,31); (34,14); (18, 2)
у = 8Е-06Х + O.S322 R1 = 0,0257
21. Число аоюроо имеющих публикации в журналах ахоц^щих о \Л/оЬ of Science или Scopus
Рис. 4. Уравнения линейной регрессии для пар индикаторов: (14,1); (21,16); (21, 30) Fig. 4. The equations of linear regression for pairs of indicators: (14,1); (21,16); (21, 30)
Таблица 6 Table 6
Уравнения линейной регрессии, соответствующие рисункам 2-4 The equations of linear regression corresponding to figures 2-4
№ (n, m) Уравнение регрессии R2 R
1 2 3 4 5
1 (28, 30) y = 3,5883x - 0,3432 0,6621 0,8134
2 (28, 31) y = 29,968x - 3,5101 0,6659 0,8162
3 (31, 30) y = 0,1127x + 0,1223 0,8814 0,9393
4 (34, 31) y = 0.2667x - 0.613 0.5779 0,7605
5 (34, 14) y = 2449,7x - 48587 0,1495 0,3867
6 (18, 2) y = 0,1446x + 14,89 0,9954 0,9977
7 (14, 1) y = 4,54x - 1608,6 0,9996 0,9998
8 (21, 16) y = 0,6306x + 46,712 0,9821 0,9910
9 (21, 30) y = 8E-06x + 0,8322 0,0297 0,1725
Основные выводы
На примере университетов ЦФО РФ и на основе РИНЦ разработана методология оценки региональной публикационной активности и цитируемости. Она предполагает агрегирование по всем университетам региона данных по их публикационной активности и цитируемости. При этом данные по значениям абсолютных индикаторов суммируются по всем университетам региона, а для относительных индикаторов рассчитываются их средние арифметические значения. Полученные данные нормируются на максимальные значения по выборке и вычисляется среднеарифметический региональный интегральный показатель публикационной активности и цитируемости, изменяющийся в интервале от
нуля до единицы. Это позволяет классифицировать регионы по интервалам изменения значений этого показателя на пять групп. Расчеты проделаны для 15 абсолютных и 7 относительных индикаторов (всего в РИНЦ 36 индикаторов) 18 регионов ЦФО РФ. Показано, что большинство регионов имеют очень низкий уровень публикационной активности и цитируемости. В расчетах без учета г. Москвы лидирующие позиции занимали Московская, Воронежская и Белгородская области.
Для избранных индикаторов публикационной активности и цитируемости построена кросскорреляционная матрица. Показано, что из 231 значения коэффициента парной корреляции 105 значений, или 46% от их общего числа, имели величину меньше 0,5. Хуже всего коррелированы между собой и с другими индикаторами индикаторы под номерами 2831, вычисленные как средние значения, а также доля внешних цитирований и индекс Хирша.
Список литературы References
1. Московкин, В.М. Методология оценки и структурного анализа университетской публикационной активности с помощью поисковой машины Google Scholar : На примере Приграничного белорусско-российско-украинского университетского консорциума // Университетское управление: практика и анализ. - 2009. - №2.-С.45-52.
Moskovkin, V. M. Metodologiya of an assessment and structural analysis of university printing activity by means of the search engine Google Scholar: On the example of Border Belarusian-Russian-Ukrainian university consortium//University control: practice and analysis. -2009. - No. 2. - Page 45-52.
2. Московкин, В.М. Построение кластеров результатов исследований с помощью специализированных инструментов Google // Научная и техническая информация. Сер. 2. Информационные процессы и системы. - 2012. - №8. - С. 9-13.
3. Moskovkin, V. M. Creation of clusters of results of researches by means of specialized tools of Google//the Scientific and technical information. It is gray. 2. Information processes and systems. - 2012. - No. 8. - Page 9-13.
4. Овчинников А. С., Цепляев А. Н., Фомин С. Д. Сравнительный анализ наукометрических показателей ряда вузов региона и РФ //Известия Нижневолжского Агро университетского . - 2013. - № 4 (32) . - C. 1-6.
Ovchinnikov A. S., Tseplyaev A. N., Fomin S. D. Comparative analysis of scientometric indices of a row of higher education institutions of the region and Russian Federation//News of the Lower Volga Agro university. - 2013. - No. 4 (32) . - C. 1-6.
5. Брумштейн Ю.М., Баганина А.А., Ахмедова Р.Р., Горбачева А.Н. Сравнение наукометрических показателей публикационной активности вузов в Прикаспийских регионах России // Управление и высокие технологии. - 2016. - № 1 (33). - С.79-90.
6. Brumstein Yu. M., Baganina A. A., Akhmedov R. R., Gorbachev A. N. Comparing of scientometric indices of printing activity of higher education institutions in Caspian regions of Russia//Control and high technologies. - 2016. - No. 1 (33). - Page 79-90.
7. Демьяненко А. Н., Демьяненко Н. А. О географии экономической науки в Азиатской России //Пространственная экономика. - 2014. - № 4. - C.120-147.
Demyanenko A. N., Demyanenko N. A. About geography of economic science in Asian Russia//Spatial economy. - 2014. - No. 4. - S.120-147.
