CC BY
17
УДК 001.893+519.248
DOI 10.18413/2075-4566-2019-44-4-583-592
О СТАТИСТИЧЕСКОЙ ВЗАИМОСВЯЗИ МЕЖДУ ЭКСПЕРТНЫМИ ОЦЕНКАМИ НАУЧНЫХ ЖУРНАЛОВ И ИХ ИМПАКТ-ФАКТОРАМИ
ABOUT THE STATISTICAL RELATIONSHIP BETWEEN EXPERT JUDGMENT FOR SCIENTIFIC JOURNALS AND THEIR IMPACT FACTORS
С.В. Марвин1'2 S.V. Marvin1'2
'Уральский федеральный университет имени первого Президента России Б.Н. Ельцина, Россия, 620002, Екатеринбург, ул. Мира, 19
2Технический университет УГМК, Россия, 624091, Верхняя Пышма, пр-т. Успенский, 3.
:Ural Federal University named after the first President of Russia B.N. Yeltsin, 19 Mira St, Yekateriburg, 620002, Russia
2Technical university UMMC, 3 Uspenskii Av, Verkhnyaya Pyshma, 624091, Russia
E-mail: [email protected]
Аннотация
В статье затронута проблема статистической взаимосвязи (корреляции) между цитируемостью отдельных статей или журналов в целом с одной стороны и реальной оценкой научного сообщества - с другой. Проблема изучена применительно к прикладной математике. За основу взяты исследования, проведенные Австралийским исследовательским советом в 2010 году (с привлечением различных общественных организаций и экспертов). Данные этих исследований представляются интересными потому, что именно они легли в основу статьи «Гнусные цифры», получившей широкую известность и ставшей хрестоматийной для науковедения (в вопросах, касающихся силы связи между цитируемостью и научной значимостью). Статистические данные «Гнусных цифр» детально воспроизведены и подробно исследованы методами корреляционного анализа (в противовес популярному изложению «Гнусных цифр», где применение методов корреляционного анализа вообще не продемонстрировано). В результате выводы «Гнусных цифр» несколько уточнены и дополнены. Статья может быть полезной для исследований в науковедении и социологии науки: изложенная схема применения методов корреляционного анализа к области прикладной математики может быть без изменений перенесена на любую другую область знаний, относительно которой есть неясности в силе статистической взаимосвязи между цитируемостью и научной значимостью.
Abstract
The article addressed to the problem of the statistical relationship (correlation) between citation of individual articles or magazines in general on the one hand and a real assessment of the scientific community on the other hand. The problem is studied in relation to applied mathematics; it is based on research, organized by the Australian Research Council (with the assistance of various public organizations and experts) in the 2010 year. Data from these researches appear to be interesting, because they formed the basis for the article «Nefarious numbers», which won wide popularity and became fundamental for the science studies (in the problem, relating to value of the probabilistic relationship between citation and scientific significance). Statistics data of «Nefarious numbers» reproduced in details
and accurately researched by methods of the correlation analysis (as opposed to an externally and popular presentation of the «Nefarious numbers», where methods of the correlation analysis in no way demonstrated). As a result, the conclusions of the «Nefarious numbers» are specified and complemented to some extent. The article can be useful for research in the scientometrics and the sociology of science. The algorithm of comprehensive and wide applying methods of the correlation analysis to the category "Mathematics, Applied", which described in the article, can be generalized and used without changes to any other category of science, about which there is ambiguity and questions in the value of the statistical relationship between citation and scientific significance.
Ключевые слова: наукометрия, цитируемость, импакт-фактор, экспертные оценки, журнальный рейтинг
Keywords: scientometrics, citation, impact factor, expert judgment, journal quality rating
Введение
В настоящее время для оценки эффективности и результативности работы исследователей, исследовательских коллективов и организаций, а также научных журналов наряду с экспертным подходом широкое распространение получил наукометрический подход, основанный на формальных, количественных показателях библиометрических баз, в первую очередь - на показателях цитируемости. Однако в работах по науковедению и социологии науки неоднократно отмечалось, что в практике научного цитирования объективно существуют явления, заведомо исключающие причинно-следственную связь между цитированием работы и ее научной значимостью, а также ослабляющие даже вероятностную связь между этими понятиями. Речь идет о таких явлениях, как «отрицательные» ссылки и «искусственное улучшение» показателей цитируемости [Campbell, 2008; Arnold, Fowler, 2011; Чеботарев, 2013; Лазарев, 2017].
Касательно «отрицательных» ссылок следует заметить, что, во-первых, в практике научного цитирования они встречаются редко, а во-вторых, их вычитание из наукометрических показателей является сугубо организационной, а не методологической проблемой [Марвин, 2016]. Метод исключения таких ссылок предложить нетрудно: при подаче научной работы на опубликование автор каким-либо специальным образом отмечает «отрицательные» ссылки в списке литературы; рецензент проверяет правильность отметок автора, удостоверяется, действительно ли отмеченные пункты в списке литературы характеризуются в статье исключительно в отрицательном контексте; при размещении сведений в библиографической базе «отрицательные» ссылки приводятся для полноты библиографической справки, но блокируются программными методами при вычислении наукометрических показателей. То есть для теории наукометрических методов «отрицательные» ссылки вообще никаких проблем не представляют, так как авторы статей нисколько не заинтересованы в их сокрытии и никаким образом их не маскируют в текстах. Проблема в практике: указанное изменение в организации работы редакций и наукометрических баз представляется трудно реализуемым. И, конечно, такое изменение будет возможно только начиная с какого-то переломного момента: ревизия всех статей, ранее попавших в библиографические базы, на предмет наличия и блокировки отрицательных ссылок физически невыполнима.
«Искусственное улучшение» показателей цитируемости заключается в чрезмерном самоцитировании и «договорном» цитировании. Но и здесь наукометрия предложила серию методов, снижающих эффект от «искусственного улучшения» (причем некоторые из них уже внедрены в практику библиографических баз): исключение самоцитирований, ранжирование ссылок по наличию или отсутствию соавторства в прошлом [Романов и др., 2015; Михайлов, 2016], выявление кластеров ко-цитирования по организационному и территориальному признаку [Лойко и др., 2017; Еременко, 2019]. Для оценки журналов в практику РИНЦ (Российского индекса научного цитирования) внедрен метод, связанный с
делением на нормированный индекс Херфиндаля-Хиршмана. Этот индекс для оцениваемого журнала тем больше, чем больше повторяемость журналов, цитирующих данный, а нормировка индекса (деление на эталонную величину) позволяет учесть специфику научной области [Григорьева, Зарипова, 2015; Григорьева и др., 2015; Демидов, 2017]. Следует заметить, что этот метод борьбы с «искусственным улучшением» показателей цитируемо-сти очень эффективен.
Также в работах по науковедению и социологии науки отмечалось, что, даже при добросовестном цитировании и полном исключении отрицательных ссылок понятия ци-тируемости и научной значимости не равносильны, и связь между этими понятиями может быть только вероятностной [Campbell, 2008; Чеботарев, 2013; Tahamtan at al, 2016; Riker, 2017; Bornmann, Haunshild, 2017аб; Лазарев, 2018]. Более того, неоднократно высказывалась и высказывается точка зрения, что для областей с традиционно невысокой цити-руемостью все наукометрические показатели, связанные с цитированием, нужно не нормировать на какие-то эталонные величины, отражающие специфику научной области, а вообще игнорировать. Известны и соответствующие организационные решения. Например, в 2014 году при внедрении новой (на тот момент) системы научной аттестации в Великобритании REF (Research excellent framework) были выделены области науки, в которых, согласно принятым решениям, не должны были учитываться наукометрические показатели: математика, технические науки (за исключением информатики), общественные (за исключением экономики) и гуманитарные науки [Чеботарев, 2014]. То есть, в соответствии с такой точкой зрения, корреляция между цитируемостью и научной значимостью в этих областях знания предполагается очень низкой. Именно в таком ключе написана статья «Гнусные цифры» [Arnold, Fowler, 2011], в которой на примере 170 журналов по прикладной математике проведено сравнение импакт-факторов и экспертных оценок.
Корреляционный анализ «Гнусных цифр»
В статье «Гнусные цифры» сообщается, что Australian Research Council (Австралийский исследовательский совет) с участием различных профессиональных сообществ и независимых специалистов организовал масштабную экспертную оценку широкого массива журналов (20 000 журналов) по различным дисциплинам; результаты этой оценки были опубликованы в 2010 году. В конечном счете, журналам присваивался рейтинг; значения этого рейтинга - буквенные, в порядке от худшего к лучшему: C, B, A и A*. Авторами статьи «Гнусные цифры» из всего массива журналов были выбраны 170, относившиеся к категории «прикладная математика». Значения экспертной оценки журналов сопоставлялись с их двухлетними импакт-факторами по данным JCR (Journal Citation Report). В статье приведена соответствующая столбчатая диаграмма.
Авторы, ориентируясь на эту диаграмму, отметили, что неоднократно встречается ситуация, когда журнал с более низкой экспертной оценкой имеет более высокий импакт-фактор. Особенно сильное внимание авторы сосредоточили на одном журнале, представляющем собой статистический выброс на диаграмме: его импакт-фактор как минимум в 2,2 раза превосходил импакт-факторы других журналов, но его оценка в рейтинге - «В» (хуже только C). Авторы раскрыли механизм создания такого импакт-фактора: частое самоцитирование; огромный удельный вес ссылок из сборника конференции, которую организовал главный редактор этого журнала, а также из отдельных выпусков других журналов, в которых главный редактор указан, как приглашенный. Заметим, что описанные во «Введении» наукометрические методы борьбы с «искусственным улучшением» показателей цитируемости начисто исключили бы этот журнал из числа высокоцитируемых.
Данные «Гнусных цифр» хорошо воспроизводимы, в том числе по столбчатой диаграмме, и могут быть использованы для корреляционного анализа. Однако применение корреляционного анализа авторами статьи не продемонстрировано. В статье говорится о слабой связи между экспертной оценкой и импакт-фактором, причем в аннотации к пред-
варительной версии на «arxiv.org» прямо утверждается «слабая корреляция» (то есть, термин «корреляция» использован). Но собственно вычислений коэффициента корреляции в тексте статьи нет. Здесь следует отметить, что целью данной работы является некоторое уточнение и дополнение выводов «Гнусных цифр», но ни в коем случае не их опровержение: статья «Гнусные цифры» в высшей степени содержательна и полезна (особенно своими данными). Однако тот факт, что авторы вообще не показывают применение корреляционного анализа, является очевидным недостатком статьи. Заметим, что первый автор статьи - математик, второй - сотрудник математической библиотеки; естественно, как минимум, первому автору базовые методы корреляционного анализа знакомы. Статья, после размещения препринта на «arxiv.org», была опубликована в «Записках Американского математического общества» - очевидно, для целевой аудитории применение методов корреляционного анализа не затруднило бы чтение. И, даже если предположить расчет на более широкий круг читателей (вопросы, затронутые в статье, имеют фундаментальный характер для всех областей знания), методы корреляционного анализа широко используются в естественных, технических и многих общественных науках - в широте аудитории авторы не сильно потеряли бы.
Для того, чтобы по данным «Гнусных цифр» определить силу корреляции между экспертной оценкой и импакт-фактором, необходимо сначала определиться, какой именно коэффициент корреляции будет вычисляться. Самый известный и наиболее часто используемый коэффициент корреляции - коэффициент корреляции Пирсона «г» [Ферстер, Рёнц, 1983]. Но для его нахождения необходимо, чтобы обе величины, корреляция между которыми вычисляется, имели числовое значение. Таким образом, экспертные оценки C, B, A и A* необходимо перевести в числа. Наиболее естественно предложить эквидистантную шкалу оценивания, то есть с одинаковыми интервалами между соседними оценками. Например, пусть оценки C, B, A и A* будут заменены на 1, 2, 3 и 4 соответственно. Заметим, что при выборе любой другой эквидистантной шкалы г не изменится. Заметим также, что не эквидистантная шкала представляется совершенно неадекватной проведенной оценке: трудно себе представить, что если бы экспертная оценка давалась в числах, то журналы категории C, B и A были бы оценены отметками 1, 2 и 3, а журналы категории A* - например, отметкой 7.
По данным оценкам и импакт-факторам журналов можно составить диаграмму рассеяния, воспользовавшись, например, программой Excel (см. рисунок). По оси абсцисс Ox можно отмечать оценки, поставленные экспертами (переведенные в числовое выражение), а по оси ординат Oy отмечать импакт-факторы журналов. Итак, 23 журнала имеют оценку 1 и импакт-факторы от 0,1 до 1,7. Оценку 2 имеют 69 журналов; из них 68 имеют импакт-факторы от 0,4 до 1,8, а один журнал имеет импакт-фактор 8,5 (это статистический выброс, о котором было сказано выше). Оценку 3 и импакт-факторы от 0,5 до 2,3 имеют 53 журнала. Оценку 4 и импакт-факторы от 0,7 до 3,8 имеют 25 журналов. За редкими исключениями точки на диаграмме рассеяния плотно заполняют вертикальные отрезки с абсциссами 1, 2, 3 и 4 (см. рисунок).
Коэффициент корреляции мы будем определять с точностью до двух знаков за запятой - такая точность представляется вполне достаточной в рамках поставленной задачи. В общем случае любой коэффициент корреляции (не только Пирсона) может принимать значения от -1 до 1. При положительном коэффициенте корреляции связь между рассматриваемыми количественными признаками является прямой, при отрицательном - обратной. В случае, когда коэффициент корреляции равен 1 или -1, то есть его модуль равен максимально возможному значению - 1, связь является полной (то есть не вероятностной, а жесткой, функциональной). Далее мы уже не будем говорить об отрицательных значениях коэффициента корреляции, так как в данной работе будет встречаться исключительно прямая корреляция, то есть все необходимые сведения из математической статистики мы будем излагать без уточнений насчет знака и модуля.
Оценка экспертов ^ импакт-фактор
(I)
Оценка экспертов ^ импакт-фактор (II)
— 6 р
оркт £ 5
-так а
К 4
^ 3
y = 0,2775x + 0,2721
I................I
2 3
x (оценка экспертов)
I 1
а о н
-е ■
н
g 4
S
S
X 3
I
y = 0,3038x + 0,1617
i...............I...............
23 x (оценка экспертов)
I
I
9
9
8
8
7
7
6
5
2
2
1
1
0
0
1
4
1
4
Оценки экспертов и импакт-факторы журналов: I - со статистическим выбросом; II - без статистического выброса Assessments from experts and impact factors of journals: I - with statistical deviation; II - without statistical deviation
Для обычной доверительной вероятности p = 0,95, и для количества точек n = 170, минимальная статистически значимая величина коэффициента корреляции Пирсона rmin = 0,15 (то есть при меньших значениях г корреляцию для данных p и n можно считать отсутствующей). Значение rmin можно найти по известным формулам математической статистики [Ферстер, Рёнц, 1983], воспользовавшись коэффициентом Стьюдента, а коэффициент Стьюдента рациональнее вычислить в программе Excel, воспользовавшись функцией «СТЬЮДЕНТ.ОБР.2X». Для данной конкретной диаграммы рассеяния значение г можно вычислить как по широко известной формуле математической статистики [Ферстер, Рёнц, 1983], так и с помощью функции Excel «КОРРЕЛ»: r = 0,32, то есть корреляция статистически значима.
Что касается статистического выброса на диаграмме рассеяния (точка с координатами x = 2 и y = 8,5), то, как было отмечено выше, соответствующий журнал при несколько более глубоком наукометрическом анализе несомненно потерял бы высокие библио-метрические показатели. Трудно определить по имеющимся данным, какое именно место занимал бы этот журнал на диаграмме рассеяния при делении на нормированный индекс Херфиндаля-Хиршмана или на какие-либо другие величины, выявляющие чрезмерную повторяемость источников цитирования. Тем более, трудно определить, какие точки занимали бы другие журналы при таком делении. Поэтому представляется уместным просто рассмотреть диаграмму рассеяния без этого журнала (то есть без соответствующей точки). Заметим, что при экспертизе журналов (касательно, например, включения их в какой-либо статусный список или ядро какой-либо престижной библиометрической базы) такой под-
ход - простое исключение журнала на основании широкого использования наукометрических методов - может служить вариантом хорошего организационного решения (только следует наукометрические методы применять правильно: учитывать специфику предметной области, полное количество журналов из данной предметной области; нормировать все показатели на эталонную величину). Причем такие организационные решения могут быть основаны исключительно на наукометрии (при достаточно полном ее применении) без привлечения экспертной оценки - это следует заметить в противовес утверждениям, что от наукометрического подхода нужно полностью отказаться, оставив исключительно отзывы экспертов.
Если удалить статистический выброс из диаграммы рассеяния (см. рис. 1), то количество точек на диаграмме n = 169. В относительных величинах это несущественное изменение n, поэтому минимальная статистически значимая величина коэффициента корреляции прежняя: rmin = 0,15 (при выбранной доверительной вероятности и точности вычислений). Однако коэффициент корреляции, соответствующий новой диаграмме рассеяния, ощутимо изменяется в большую сторону: r = 0,53. В этом проявляется специфика коэффициента корреляции Пирсона - он чувствителен к выбросам.
На диаграммах рассеяния для большей наглядности показана линия регрессии y на х (см. рис. 1), и приведено уравнение этой прямой. Угловой коэффициент (коэффициент при х), характеризующий наклон прямой, больше при исключении статистического выброса, что, конечно, связано с увеличением r.
Применение коэффициента корреляции Пирсона может быть в полной мере обосновано при выполнении двух условий [Ферстер, Рёнц, 1983]. Во-первых, распределение обоих количественных признаков х и y должно не сильно отклоняться от нормального - геометрическим методом можно показать, что это условие будет выполнено, если исключить статистический выброс. Во-вторых, связь между х и y должна быть линейной. Но утверждать именно линейную связь между экспертной оценкой и импакт-фактором затруднительно. Однако в этом и нет необходимости. Достаточно проверить предположение о монотонной связи между этими показателями: то есть, чем выше один из них, тем больше другой, но функция, моделирующая эту связь, не обязательно должна быть линейной. Можно воспользоваться коэффициентом ранговой корреляции Спирмена р: для р нет необходимости ни в нормальном распределении, ни в линейности связи [Ферстер, Рёнц, 1983].
Для вычисления р используются не сами значения переменных х и y, а их ранги. Заметим: для рангов не обязательно, чтобы значения переменных были исключительно числовыми. Переменные могут быть и буквенными, и символьными; важно только, чтобы они были упорядочены, ранжированы (как в разбираемом случае экспертной оценки). Для определения ранга, например, переменной х, все значения х (со всеми повторениями, если таковые имеются) записывают в порядке неубывания. Если значения х в выборке уникальны и не повторяются, то ранг каждого значения х равен его порядковому номеру в списке. Если же имеются повторяющиеся значения (а при указанном способе формирования выборки они непременно займут места, стоящие подряд), то этим повторяющимся значениям присваивается одинаковый ранг, равный среднему значению от номеров их мест в выборке. И весь этот алгоритм определения ранга можно реализовать в программе Excel с помощью функции «РАНГ.СР». Так, ранг журналов с оценкой C оказывается равным 12, ранг журналов группы B оказывается равным 58, ранг журналов A равен 119, ранг журналов A* - 158. Аналогичным способом ранжируются значения импакт-факторов. У конкретного журнала значения ранга по оценке экспертов и ранга по импакт-фактору зачастую не совпадают, и по всей совокупности таких различий вычисляется р; из двух формул математической статистики для вычисления р следует воспользоваться той, которая учитывает наличие совпадающих рангов [Ферстер, Рёнц, 1983]. Минимальная стати-
стически значимая величина р рассчитывается так же, как и для г; поэтому, как в случае с выбросом, так и в случае без выброса pmin = 0,15. Значения коэффициента р рассматриваемой выборки журналов: р = 0,53 - для случая с выбросом; р = 0,55 - для случая без выброса. То есть в обоих случаях ранговая корреляция, определяемая коэффициентом р, статистически значима. Заметим также, что проявилось еще одно достоинство коэффициента ранговой корреляции: он не чувствителен к выбросам.
Кроме р, в корреляционном анализе также используется другой коэффициент ранговой корреляции - коэффициент Кендалла т [Ферстер, Рёнц, 1983]. Этот коэффициент обладает всеми достоинствами коэффициента р, но вычисляется по другому принципу и получается, как правило, меньше р. Идея и метод вычисления т наиболее просто объясняется для случая несовпадающих рангов. Сначала выборка объектов исследования переставляется в порядке неубывания одного из признаков, например, x. Если для конкретной пары объектов увеличению x соответствует увеличение y, то эта пара объектов образует «порядок» (в нашем случае «порядок» для двух журналов означает увеличение импакт-фактора с увеличением экспертной оценки). Если же при переходе от объекта с меньшим x к объекту с большим x величина y уменьшается, то эта пара образует «инверсию» (для пары журналов «инверсия» означает уменьшение импакт-фактора с увеличением экспертной оценки). Коэффициент т равен разности относительных долей «порядков» и «инверсий» в общем количестве пар; и эта формула несколько модифицируется для случая совпадающих рангов [Ферстер, Рёнц, 1983].
Минимальную статистически значимую величину Tmin можно найти по формуле математической статистики [Ферстер, Рёнц, 1983], воспользовавшись значениями обратной функции нормального распределения (в Excel это функция «НОРМ.СТ.ОБР»). Для доверительной вероятности p = 0,95 при выбранной точности вычислений, значения Tmin получаются одинаковыми для n = 170 и для n = 169: Tmin = 0,10 (ноль во втором знаке за запятой показывает, с какой точностью получен результат). Значения коэффициента т для данной выборки журналов: т = 0,44 - для случая с выбросом; т = 0,45 - для случая без выброса. То есть в обоих случаях ранговая корреляция, определяемая коэффициентом т, статистически значима.
Заметим, что в корреляционном анализе принята некоторая терминология, касающаяся силы связи между двумя признаками [Гржибовский и др., 2017; Лещук и др., 2017]. Значение коэффициента корреляции Пирсона, вычисленное при наличии статистического выброса, с некоторой натяжкой позволяет назвать слабой связь между экспертной оценкой и импакт-фактором (однако все равно корреляция статически значима). Но другие значения вычисленных коэффициентов корреляции относят выявленную связь к области средних (умеренных, заметных) корреляций.
Заключение
В представленной работе были проанализированы статистические данные, послужившие основой для статьи «Гнусные цифры». При проведении исследований были использованы методы корреляционного анализа. Опираясь на вычисленные значения коэффициентов линейной и ранговой корреляции, можно утверждать, что при детальной наукометрической оценке, не сводящейся к простому вычислению импакт-фактора журнала, в области прикладной математики имеет место статистически значимая положительная корреляционная связь между цитируемостью журнала с одной стороны и его научным весом - с другой. Причем выявленная корреляционная связь является не слабой, а средней по своей величине. Это обстоятельство позволяет сделать вывод, что в области прикладной математики не следует пренебрегать наукометрическими оценками, а исполь-
зовать их вместе с экспертными (например, при установлении некоторых пороговых значений для библиометрических показателей журналов).
Кроме того, до применения методов корреляционного анализа следует критически относиться к утверждениям о необходимости отказа от наукометрии в любых других областях знания, даже в тех, где принято уверенно предполагать слабую взаимосвязь между цитируемостью и научной значимостью: в «чистой» математике, в большей части технических, общественных и гуманитарных наук. Только исследования, основанные на корреляционном анализе, могут доказать справедливость и обоснованность отказа от наукометрического подхода в конкретной области знания (либо, напротив, показать уместность его использования).
Список литературы
1. Гржибовский А.М, Иванов С.В., Горбатова М.А. 2017. Корреляционный анализ данных с использованием програмного обеспечения Statistica и SPSS. Наука и здравоохранение, 1: 7-36.
2. Григорьева Е.И., Зарипова З.Р. 2015. РИНЦ. Что нового? Власть, 3: 179-182.
3. Григорьева Е.И., Зарипова З.Р., Кокарев К.П. 2015. Хороши ли журналы, в которых размещены ваши статьи? Полис. Политические исследования, 3: 147-159.
4. Демидов Д.Д. 2017. Библиометрическая оценка отечественных библиотечно-информационных журналов. Научные и технические библиотеки, 8: 3-17.
5. Еременко Т.В. 2019. Качество цитируемости трудов ученых региона: библиометрический анализ на примере Рязанской области. Социология науки и технологий, 10 (2): 129-149.
6. Лазарев В.С. 2018. Можно ли считать уровень цитируемости научных документов показателем их качества? В кн.: Наукометрия: методология, инструменты, практическое применение. Минск, Беларуская навука: 88-103.
7. Лойко В.И., Романов Д.А., Шапошников В.Л., Кушнир Н.В., Кушнир А.В. 2017. Новые наукометрические показатели, устойчивые к искусственному «улучшению». Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета, 127 (03). URL: http://ej.kubagro.ru/2017/03/pdf/38.pdf (дата обращения: 29 июня 2019).
8. Лещук С.И., Суркова И.В., Сенкевич Н.В. 2017. Взаимосвязь загрязнения окружающей среды и экологически обусловленной заболеваемости населения на территории техногенного загрязнения. Известия высших учебных заведений. Северо-кавказский регион. Естественные науки, 2: 110-117.
9. Марвин С. В. 2016. Нормированный показатель публикационной активности, учитывающий количество соавторов научных публикаций. Социология науки и технологий, 7 (4): 116-131.
10. Михайлов О.В. 2016. РИНЦ: первые 10 лет развития. Социология науки и технологий, 7 (1): 86-94.
11. Романов Д. А., Попова О. Б., Носова Ю. С. 2015. Современные методы оценки продуктивности исследовательской деятельности. Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета, 108 (04). URL: http://ej.kubagro.ru/2015/04/pdf/54.pdf (дата обращения: 29 июня 2019).
12. Фёрстер Э., Рёнц Б. 1983. Методы корреляционного и регрессионного анализа. Руководство для экономистов. М., Финансы и статистика, 304.
13. Чеботарев П.Ю. 2013. Наукометрия: как с ее помощью лечить, а не калечить. Управление большими системами, 44: 14-31.
14. Чеботарев П.Ю. 2014. Как оценивать и премировать ученых? Троицкий вариант-Наука. Рубрика: Бытие науки, 148: 6 с.
15. Arnold D.N, Fowler K.K. 2011. Nefarious Numbers. Notices of the American Mathematical Society, 58 (3): 434-437. Available at: http://www.ams.org/notices/201103 /rtx110300434p.pdf (accessed: 29 June 2019).
16. Bornmann L., Haunshild R. 2017. Does evaluative scientometrics lose it's main focus on scientific quality by the new orientation towards societal impact? Scientometrics, 110 (2): 937-943.
17. Bornmann L., Haunshild R. 2017. Quality and impact consideration in bibliometrics: a reply to Riker. Scientometrics, 111 (3): 1857-1859.
18. Campbell P. 2008. Escape from the impact factor. Ethics in Science and Environmental Politics, 8: 5-7.
19. Riker M. 2017. Letter to the Editor: About the quality and impact of scientific articles. Scientometrics, 111 (3): 1851-1856.
20. Tahamtan I, Afshar A., Ahamdzadeh K. 2016. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics, 107 (3): 1195-1225.
References
1. Grjibovski A.M., Ivanov S.V., Gorbatova M.A. 2017. Korrelyatsionnyy analiz dannykh s ispol'zovaniyem programnogo obespecheniya Statistica i SPSS. [Correlation analysis of data using Statistica and SPSS software], Nauka i zdravookhraneniye, 1: 7-36.
2. Grigorieva E.I., Zaripova Z.R. The RINC-index. Chto novogo? [What is new?] Vlast', 3: 179182.
3. Grigorieva E.I., Zaripova Z.R., Kokarev K.P. 2015. Khoroshi li zhurnaly, v kotorykh razmeshcheny vashi stat'i? [How good are the journals in which you publish your articles?] Polis. Political Studies, 3: 147-159.
4. Demidov D.D. 2017. Bibliometricheskaya otsenka otechestvennykh bibliotechno-informatsionnykh zhurnalov [Bibliometric assessment of national library information journals] Scientific and technical library, 8: 3-17.
5. Eremenko T.V. 2019. Kachestvo tsitiruyemosti trudov uchenykh regiona: bibliometricheskiy analiz na primere Ryazanskoy oblast [The citation quality of works of local scholars: bibliometric analysis based on the example of Ryazan region] Sotiologia Nauki i Tehnologij, 10 (2): 129-149.
6. Lazarev V.S. 2018. Mozhno li schitat' uroven' tsitiruyemosti nauchnykh dokumentov pokazatelem ikh kachestva? [Is it right to consider the level of citations to scientific papers as the indicator of their quality?] In: Naukometriay: metodologiya, instrumenty, prakticheskoe primenenie [Scientometrics: principles, methodology, current approach]. Minsk, Belaruskaya navuka: 88-103.
7. Loyko V.I., Romanov D.A., Shaposhnikov V.L., Kushnir N.V., Kushnir A.V. Novyye naukometricheskiye pokazateli, ustoychivyye k iskusstvennomu «uluchsheniyu» [ New scientometric indicators, resistant to artificial «improvement»] Polythematic online scientific journal of Kuban state agrarian university, 127 (03). Available at: http://ej.kubagro.ru/2017/03/pdf/38.pdf (accessed: 29 June 2019).
8. Leshchuk S.I., Surkova I.V., Senkevich N.V. 2017. Vzaimosvyaz' zagryazneniya okruzhayushchey sredy i ekologicheski obuslovlennoy zabolevayemosti naseleniya na territorii tekhnogennogo zagryazneniya [Interrelation of environmental pollution and environmentally caused morbidity in the territory of technogenic pollution] Izvestiya Vysshikh Uchebnykh Zavedenii. SeveroKavkazskii Region. Estestvennye Nauki, 2: 110-117.
9. Marvin, S.V. 2016. Normirovannyy pokazatel' publikatsionnoy aktivnosti, uchityvayushchiy kolichestvo soavtorov nauchnykh publikatsiy [Normalized index of publication activity, taking into account the amount of co-authors of a scientific publication] Sotiologia Nauki i Tehnologij, 7 (4): 116-131.
10. Mikhaylov O.V. 2016. RINTS: pervyye 10 let razvitiya [RISC: The first 10 years of development] Sotiologia Nauki i Tehnologij, 7 (1): 86-94.
11. Romanov D. A., Popova O. B., Nosova Yu.S. 2015. Sovremennyye metody otsenki produktivnosti issledovatel'skoy deyatel'nosti [Modern methods of evaluating the productivity of the research activity] Polythematic online scientific journal of Kuban state agrarian university, 108 (04). Available at: http://ej.kubagro.ru/2015/04/pdf/54.pdf (accessed: 29 June 2019).
12. Ferster E., Rents B. 1983. Metody korrelyatsionnogo i regressionnogo analiza. Rukovod-stvo dlya ekonomistov [Methods of correlation and regression analysis. Guide for economists]. Moscow, Finansy i statistika, 304. (Förster E., Rönz B. 1979. Methoden der korrelation und regressionsanalyse. Berlin, Verlag Die Wirtschaft, 369)
13. Chebotarev P.Yu. 2013. The use of scientometrics: how to help, not hurt? Large-scale systems control, 44: 14-31. (in Russian)
14. Chebotarev P.Yu. 2014. How to evaluate and award scientists? Troitsk variant - science. Rubric: Being of science, 148: 6 р. (in Russian)
15. Arnold D.N, Fowler K.K. 2011. Nefarious Numbers. Notices of the American Mathematical Society, 58 (3): 434-437. Available at: http://www.ams.org/notices/201103 /rtx110300434p.pdf (accessed: 29 June 2019).
16. Bornmann L., Haunshild R. 2017. Does evaluative scientometrics lose it's main focus on scientific quality by the new orientation towards societal impact? Scientometrics, 110 (2): 937-943.
17. Bornmann L., Haunshild R. 2017. Quality and impact consideration in bibliometrics: a reply to Riker. Scientometrics, 111 (3): 1857-1859.
18. Campbell P. 2008. Escape from the impact factor. Ethics in Science and Environmental Politics, 8: 5-7.
19. Riker M. 2017. Letter to the Editor: About the quality and impact of scientific articles. Scientometrics, 111 (3): 1851-1856.
20. Tahamtan I, Afshar A., Ahamdzadeh K. 2016. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics, 107 (3): 1195-1225.
Ссылка для цитирования статьи For citation
Марвин С.В. 2019. О статистической взаимосвязи между экспертными оценками научных журналов и их импакт-факторами. Научные ведомости Белгородского государственного университета. Серия: Философия. Социология. Право. 44 (4): 583-592. DOI 10.18413/2075-4566-2019-444-583-592
Marvin S.V. 2019. About the statistical relationship between expert judgment for scientific journals and their impact factors. Belgorod State University Scientific Bulletin. Philosophy. Sociology. Law series. 44 (4): 583-592 (in Russian). DOI 10.18413/2075-4566-2019-44-4-583-592
