CC BY
42
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
УДК 001.38
Математические методы оценки вклада ученого в науку
Левин В. И.
Актуальность. В последние годы все большее внимание властных структур и научной общественности приобретают количественные методы оценки эффективности научных исследований, в связи необходимостью адекватного финансирования науки. Для технологической поддержки данного направления работ важное значение имеют новые математические модели и методы введения и вычисления количественных показателей эффективности научных исследований. В связи с этим данная статья, посвященная разработке таких моделей и методов, является актуальной. Цель статьи заключается в разработке нескольких новых моделей, позволяющих ввести ряд новых показателей научных исследований, использующих данные о публикациях ученого и его цитированиях. Метод. Для достижения поставленной цели предложено использовать в качестве исходных данных распределение цитирований в форме графика, по оси абсцисс которого расположены публикации ученого в порядке возрастания цитирования, а по оси ординат -соответствующие количества цитирований. Графики распределения цитирований удобны для введения новых показателей эффективности исследований ученых и их анализа. Новизна работы заключается в предложенных двух универсальных методах количественной оценки эффективности научных исследований ученого на базе его графика распределения цитирований: измерительный метод, сводящий указанную оценку к сравнению распределения цитирований оцениваемого ученого с распределением цитирований гипотетического единичного ученого, и метод моментов, сводящий указанную оценку к вычислению момента подходящего порядка распределения цитирований ученого. Результат. В статье детально разработана математическая модель и методы, необходимые для введения новых показателей эффективности научных исследований, их анализа и вычислений.
Ключевые слова: моделирование науки, библиометрика, публикация, индекс цитирования, эффективность научных исследований.
Введение
Научная деятельность имеет все возрастающее значение для человечества, давая ему фактически единственный шанс на решение стоящих перед ним трудных проблем: рост народонаселения, защита окружающей среды, победа над терроризмом и т.д. Однако поддержка науки требует огромных средств. Поэтому государства заинтересованы в том, чтобы внедрить сугубо количественные методы оценки качества научных исследований, которые соответствовали бы существующей в настоящее время, сугубо количественной системе финансовой поддержки науки. Первой за эту работу взялась Англия, занимающая в настоящее время второе место в мире, после США, по уровню развития научных исследований. Позиция английского правительства по этому вопросу была предельно ясно изложена в его докладе 2007 года [1]: «Правительство намерено заменить нынешний метод определения качества
Библиографическая ссылка на статью:
Левин В. И. Математические методы оценки вклада ученого в науку // Системы управления, связи и безопасности. 2017. № 1. С. 160-174. URL: http://sccs.intelgr.com/archive/2017-01/10-Levin.pdf Reference for citation:
Levin V. I. Mathematical Theory of Estimation of Contribution of Scientist to Science. Systems of Control, Communication and Security, 2017, no. 1, pp. 160-174. Available at: http://sccs.intelgr.com/archive/2017-01/10-Levin.pdf (in Russian).
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
научных исследований. В центре внимания новой системы будут подсчеты, а не экспертные оценки. Ожидается, что основной индекс оценки качества в этой системе будет библиометрическим, использующим подсчет журнальных статей и их цитирований». Соответствующий подход к оценке качества научных исследований стал внедряться сначала в Англии, а затем и в остальных странах мира. Однако вскоре научная общественность забила тревогу. В 2008 году Международный математический союз опубликовал отчет о возможностях библиометрических показателей для объективной оценки качества научных исследований [2]. Авторы этого отчета пришли к выводу, что использование взамен экспертных оценок библиометрических показателей, основанных на публикациях и их цитированиях, не исключает субъективизм в оценке качества научных исследований, а всего лишь заменяет один вид субъективных оценок (экспертные оценки) другим их видом (субъективная интерпретация смысла количественных оценок публикаций и их цитирований). К этому надо добавить возможность фальсификаций количественных данных о показателях. Подробное изложение отчета [2] и его выводов приведены в работе [3]. После опубликования отчета [2] научно развитые страны стали пересматривать свое отношение к библиометрическому измерению науки. Особенно далеко пошла Англия, где в 2013 г. использование библиометрики как основного метода оценки научной деятельности было запрещено и заменено экспертной оценкой [4]. Библиометрические показатели разрешили применять лишь как вспомогательные и лишь в 11 из 36 научных дисциплин (подробнее см. в [3]). Исследование основных библиометрических показателей - публикации, цитируемость, индекс Хирша - было проведено недавно в России [5-11]. Общий вывод из проведенных исследований состоит в том, что все эти показатели не позволяют объективно оценивать вклад ученого в науку, сравнить эффективность исследований различных ученых и т.д. Особенно резкой критике подвергся показатель «индекс Хирша», который, по мнению части исследователей, в ряде случаев приводит к результатам, противоречащим здравому смыслу. Кроме того, он оказался абсолютно незащищенным от искусственного «накручивания». Наиболее полное исследование библиометрических показателей, охватывающее практически все известные на сегодня показатели научной деятельности, проведено в работе [3]. Это исследование показало, что ни один из почти 30 существующих в настоящее время библиометрических показателей не может использоваться в качестве основного показателя, позволяющего объективно оценивать вклад ученого в науку, сравнивать достижения различных ученых, выделять выдающихся ученых и т.д. Однако эти показатели могут использоваться в качестве вспомогательных, в дополнение к экспертным оценкам, которые традиционно являются главным показателем, оценивающим вклад ученого в науку. К сожалению, широкое использование библиометрических показателей тормозится почти полным отсутствием их теории, позволяющей систематически вводить указанные показатели, изучать их свойства и устанавливать области применения каждого из показателей. Настоящая работа содержит попытку наметить некоторые основы такой теории.
Systems of Control, Communication and Security
sccs.intelgr.com
1. Исходные данные для оценки библиометрических показателей
Исходными данными для библиометрических показателей эффективности научных исследований ученого являются его публикации и ссылки на них. При этом представляют интерес не сами публикации и ссылки, а только число публикаций и число ссылок на каждую из них. Все ссылки считаются равноправными, независимо от их содержания и публикации, на которую они сделаны. Все публикации также считаются исходно равноправными, независимо от их содержания. Неравноправными они считаются лишь в смысле числа ссылок на них, которое может быть неодинаковым. Совокупность всех публикаций ученого и числа всех ссылок на каждую из этих публикаций назовем распределением ссылок данного ученого. Распределение ссылок будем представлять в форме таблицы (табл. 1) или графика (рис. 1), где публикации следуют в порядке возрастания числа ссылок на них, а напротив каждой публикации проставляется число ссылок на нее. Распределение ссылок ученого содержит полную информацию для получения библиометрических показателей эффективности его научных исследований.
№ публикации 1 2 3 4 p
Число ссылок щ n2 П3 n4 np
ni 6
5
4
3
2
1
0123 456789 10 /
/ - номер публикации П - число ссылок
Рис. 1. Пример распределения количества ссылок
Такой упрощенный подход к библиометрике, основанный на жестких ограничениях и допущениях, позволяет легко вычислять библиометрические показатели эффективности научных исследований. Однако точность этих вычислений невелика, т.к. при оценке публикационной активности и цитируемости ученого не учитываются вес публикаций и ссылок на них, зависимый от веса журнала. Не учитывается и специфика публикации, и
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
цитирований, зависящая от отрасли науки. Принципиально можно учесть указанные факторы, разделяя публикации и ссылки на них по уровню журнала и отрасли науки. Однако при этом возникают большие трудности, связанные с объективным определением уровней журналов и установлением разумной глубины деления науки по отраслям. Поэтому библиометрический подход целесообразно использовать лишь для предварительной приближенной оценки эффективности научных исследований ученого, оставляя ее окончательную оценку (с учетом уровня журналов и специфики публикаций и цитирований, зависимой от отрасли науки) экспертам.
В основе определения и вычисления библиометрических показателей эффективности научных исследований лежит сравнение распределений ссылок каждого из ученых, которое и позволяет сравнить эффективность этих ученых и выделить более эффективного из них. Сравнение распределений ссылок осуществляется путем сравнения числа ссылок для каждой пары публикаций двух ученых с одинаковым порядковым номером и последующего объединения полученных результатов сравнений. Для того, чтобы такое сравнение было возможно, нужно, чтобы сравниваемые распределения ссылок имели равное количество публикаций. Такие распределения будем называть нормальными. Любую пару распределений ссылок, не являющихся нормальными, можно нормализовать. Для этого достаточно к распределению с меньшим количеством публикаций добавить такое количество «пустых» публикаций (т.е. публикаций, не имеющих ссылок), чтобы оба распределения ссылок оказались с равным числом публикаций. Очевидно, что нормализация распределений ссылок не изменяет оценку эффективности научных исследований ученого и потому допустима как средство, облегчающее получение такой оценки. Также очевидно, что добавляемые при нормализации распределения ссылок пустые публикации должны располагаться в самом начале распределения, т.е. в крайней левой его части. Так, например, расположены публикации 1, 2 в распределении ссылок на рис. 1.
2. Измерительный метод оценки библиометрических показателей
Предлагаемый измерительный метод оценки библиометрических показателей эффективности научных исследований базируется на общей теории измерений. Конкретно, он заключается в сравнении распределений ссылок двух ученых, которое позволяет сравнить эффективность исследований этих ученых и выделить более эффективного из них. Как уже говорилось выше, сравнение распределений ссылок осуществляется путем сравнения числа ссылок для каждой пары публикаций рассматриваемых двух ученых с одинаковым порядковым номером и последующего объединения полученных результатов сравнений. При этом ненормализованные пары распределений ссылок предварительно нормализуются, после чего число публикаций у них становится одинаковым.
Изложение предлагаемого метода начнем с простейшего случая, когда кривые сравниваемых распределений ссылок двух ученых не пересекаются (рис. 2). Будем далее исходить из следующих положений, представляющихся очевидными:
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
1) эффективность научных исследований ученого некоторым образом связана с числом его публикаций (точнее, публикаций, на которые имеются ссылки) и числом ссылок на эти публикации;
2) эффективность научных исследований тем выше, чем больше число публикаций ученого и число ссылок на эти публикации.
Рис. 2. Сравнение распределений ссылок двух ученых
Возьмем на рис. 2 произвольную точку г на оси абсцисс. Ей соответствует точка на кривой распределения ссылок А с ординатой пА (г) и точка на кривой
распределения ссылок В с ординатой пв (г), причем пА (г) > пв (г). Это означает, что для каждой пары публикаций ученых А и В с одинаковым порядковым номером г, г = 1, гШ1Х , количество ссылок на публикацию ученого А превышает количество ссылок на публикацию ученого В. Объединяя полученные результаты для всех г, г = 1, гШ1Х , приходим к выводу, что в рассмотренном случае общее число ссылок на все публикации у ученого А больше, чем у ученого В. Таким образом, эффективность исследований Е(А) ученого А, кривая распределения ссылок которого располагается на графике выше, заведомо больше, чем эффективность исследований Е(В) ученого В. Выведенное положение запишем в виде правила
Е(А) > Е(В), если А) > К(В). (1)
Здесь N(А) - общее число ссылок на все публикации ученого А, а N(В) -то же для ученого В .
Перейдем к более сложному случаю, когда кривые сравниваемых распределений пересекаются, так что на одних участках выше расположена одна кривая распределения ссылок, а на других - другая (рис. 3). В этом случае, согласно сказанному выше, на одних участках кривой большей является эффективность исследований ученого А , на других - эффективность исследований ученого В .
Системы управления,связи и безопасности №1. 2017
Systems of Control, Commun i cation and Security sccs.intelgr.com
В нашем конкретном случае (рис. 3), на участке 1 большая эффективность исследований у ученого А, а на участке 2 - у ученого В. Чтобы определить соотношение общей эффективности исследований двух ученых на всем интервале существования их распределений ссылок, нужно совместить их частные эффективности, соответствующие однородным участкам их кривых распределений ссылок. Последнее выполняется подсчетом суммарного числа публикаций Щ(А) ученого А на всех участках, где эффективность исследований Е(А) ученого А больше эффективности Е(В) ученого В, и суммарного числа публикаций Щ(В) ученого В на всех участках, где эффективность исследований Е(В) ученого В больше эффективности исследований Е(А) ученого А . После этого выполняется сравнение чисел Щ(А) и N(B) и затем принимается решение о соотношении общих эффективностей исследований Е(А), Е(В) двух ученых А и
В по правилу
Е(А) > Е(В), если Щ(А) > Щ(В);
Е(В) > Е(А), если щ(В) > Ы(А); (2)
Е(А) = Е(В), если Щ(А) - М(В).
Правило сравнения (2) исходит из того, что числа N (А), N (В) можно рассматривать как количества случаев, в которых выше эффективность исследований соответственно ученого А и ученого В .
Сравнение по формуле (2) является чисто качественным; оно показывает лишь, чья эффективность исследований больше - ученого А или ученого В, но не устанавливает насколько (во сколько раз) больше. Однако по тем же самым данным, по которым выполняется качественное сравнение по формуле (2), можно выполнить и количественное сравнение, показывающее количественное отношение эффективности исследований ученых А, В. Действительно, в соответствии со смыслом чисел Щ(А) и Щ(В) как количеств случаев, в которых выше эффективность исследований ученого А и В, количественное соотношение К (А / В) эффективности исследований Е( А) и Е (В) ученых А и В можно
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
измерять простым отношением чисел N(A), N(B). Таким образом, искомое соотношение эффективностей, определяемое как
K(A/B) = E(A)/E(B), (3)
можно вычислить по формуле
K(A/B) = N(A)/N(B). (4)
Рассмотренное качественное и количественное сравнение эффективности исследований двух ученых по формулам (2) и (4) базировалось на числе публикаций данных ученых. Изложим теперь метод сравнения эффективности исследований ученых, базирующийся на числе ссылок на их публикации.
Начнем с простейшего случая, когда кривые сравниваемых распределений ссылок двух ученых не пересекаются (рис. 2). Обозначим M (A) общее число ссылок на публикации ученого A, а M(B) - общее число ссылок на публикации ученого B. При этом в M(A) и M(B) не будем включать ссылки на публикации с номерами i, в которых число ссылок у A и B одинаково, так как они не влияют на результат сравнения. Такие публикации возможны на начальном (при малых i) участке сравниваемых распределений ссылок. В рассматриваемом случае, как хорошо видно из рис. 2, общее число ссылок M( A) на публикации ученого A больше общего числа M(B) на публикации ученого B, в соответствии с чем эффективность исследований E(A) ученого A должна быть признана выше эффективности исследований E(B) ученого B. Это положение можно записать в виде следствия
E(A) > E(B), если M(A) > M(B). (5)
Как и в (2), сравнение по формуле (5) - качественное, оно показывает только, при каком условии эффективность исследований ученого A больше эффективности исследований ученого B, но не показывает, на сколько (во сколько раз) больше. Но по тем же самым данным можно выполнить и количественное сравнение, определив количественное соотношение K(A / B) эффективности исследований ученых A и B (3). Для этого достаточно использовать очевидную формулу
K(A/B) = M(A)/M(B). (6)
Рассмотрим теперь более сложный случай, когда кривые сравниваемых распределений ссылок на публикации двух ученых пересекаются (рис. 3). В данном случае на одних участках выше расположена одна кривая распределения ссылок, а на других - другая. Т.е. на одних участках больше ссылок на публикации ученого A и потому его исследования должны быть признаны более эффективными, а на других участках - больше ссылок на публикации ученого B и потому здесь исследования этого ученого должны быть признаны более эффективными. В нашем конкретном случае (рис. 3) на участке 1 имеем большую эффективность исследований ученого A , а на участке 2 - ученого B . Для того, чтобы определить соотношение общей эффективности исследований двух ученых на всем интервале их распределений ссылок, нужно соединить их частные эффективности исследований, соответствующие однородным участкам их кривых распределений ссылок. Это выполняется подсчетом суммарного числа
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
ссылок М'(А) ученого А на всех участках, где эффективность исследований Е(А) ученого А больше эффективности исследований Е(В) ученого В , и суммарного числа ссылок М (В) ученого В на всех участках, где эффективность исследований Е(В) ученого В больше эффективности исследований Е( А) ученого А . При этом, как и выше, в М'(А) и М'(В) не включаются ссылки на все публикации с номерами г, в которых число ссылок у А и В одинаково, т.к. они не влияют на результат сравнения. Далее, числа М'(А), М'(В) сравниваются и принимается решение о соотношении общих эффективностей Е(А) и Е(В) двух ученых в соответствии с правилом
Е(А) > Е(В), если М'(А) > М'(В);
Е(В) > Е(А), если М'(В) > М'(А); (7)
Е(А) = Е(В), если М'(А) = М'(В). Сравнение эффективностей исследований по формуле (7), как и аналогичные сравнения по формулам (2) и (5), является качественным. Оно лишь устанавливает достаточные условия, при выполнении которых эффективность исследований одного ученого больше или равна эффективности другого ученого, но не показывает, на сколько (во сколько раз) больше. Однако, как и выше, по имеющимся данным можно выполнить и количественное сравнение, получив соотношение К(А/В) эффективности исследований ученых А и В. Для этого используется очевидная формула, подобная формулам (4), (6)
К(А/В) = М'(А)/М'(В). (8)
Ранее мы занимались лишь сравнительным изучением эффективности научных исследований, оценивая соотношение эффективности исследований различных ученых. Перейдем теперь к абсолютной оценке эффективности научных исследований, т.е. к оценке эффективности исследований одного отдельно взятого ученого. Будем исходить из общей теории измерений. Согласно этой теории, абсолютное значение любой измеримой величины есть отношение этой величины к некоторой другой измеримой величине, принимаемой за единицу - эталон. В рассматриваемом случае в качестве единицы - эталона измерений естественно принять ученого с минимальной положительной эффективностью исследований. Это - ученый, на каждую публикацию которого имеется ровно одна ссылка, так что его можно обозначить I; соответствующее распределение ссылок имеет вид таблицы 2.
Таблица 2 - Пример распределения количества ссылок
№ публикации 1 2 3 P
Число ссылок 1 1 1 1
Эффективность исследований такого ученого, которую мы приняли за единицу измерений, обозначим Е(1). Теперь понятно, что для того, чтобы получить абсолютную оценку эффективности исследований любого ученого А , нужно просто вычислить количественное соотношение К (А /1) эффективности
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
исследований ученого A и единичного ученого I. Согласно формуле (3) общее определение абсолютной эффективности исследований ученого A имеет вид
K(A /1) - E(A)/E(I). (9)
Таким образом, для получения абсолютной оценки эффективности исследований любого ученого A остается всего лишь использовать подходящую формулу вычисления количественного соотношения эффективности исследований данного ученого E( A) и единичного ученого E(I). Различные ее варианты можно получить из рабочих формул (4), (6), (8) вычисления количественного соотношения эффективности исследований двух ученых A, B, соответствующих различным критериям сравнения ученых. В результате получаем, во-первых, формулу
K(A /1) = N (A)/ N(I) (10)
для вычисления абсолютной оценки эффективности исследований ученого A в случае, когда ученые сравниваются по числу публикаций на участках распределений ссылок с различным соотношением числа ссылок между этими учеными. В этой формуле N(A) - суммарное число публикаций ученого A на всех участках распределения ссылок, где эффективность исследований E( A) ученого A больше эффективности исследований E(I) единичного ученого I (другими словами, она больше единицы), а N(I ) - суммарное число публикаций ученого A на всех участках распределения ссылок, где эффективность исследований E(A) ученого A меньше эффективности исследований E(I) ученого I (т.е. меньше единицы, другими словами, равна нулю). Во-вторых, получаем формулу
K(A /1) = M (A)/ M (I), (11)
для нахождения абсолютной оценки эффективности исследований ученого A, когда ученые сравниваются по числу ссылок на их публикации. Здесь M(A) -общее число ссылок на публикации ученого A, а M (I) - общее число ссылок на публикации ученого I (в M(A) и M(I) не включаются ссылки на публикации с номерами, где число ссылок у A и I одинаково). И, наконец, получаем формулу
K(A /1) = M' (A)/ M '(I) (12)
для вычисления абсолютной оценки эффективности исследований ученого A в случае, когда ученые сравниваются по количеству эффективных ссылок на их публикации, т.е. ссылок на публикации, находящиеся в областях распределения ссылок с большей эффективностью исследований оцениваемого ученого. Здесь M'(A) - суммарное число ссылок ученого A на всех участках распределения ссылок, где эффективность исследований E(A) ученого A больше эффективности исследований E(I) ученого I (т.е. > 1), а M'(I) -суммарное число ссылок ученого I на всех участках распределения ссылок, где эффективность исследований E( A) ученого A меньше эффективности исследований E(I) ученого I (т.е. меньше единицы, другими словами, равна нулю).
Systems of Control, Communication and Security
sccs.intelgr.com
Поделив абсолютную оценку эффективности исследований К(А /1) некоторого ученого А на абсолютную оценку эффективности исследований К (В /1) ученого В, получим новую оценку соотношения эффективностей этих ученых
К(А / В) = К(А /1)/К (В /1), (13)
отличающуюся от оценок этого соотношения (4), (6), (8) тем, что она является косвенной, использующей предварительно вычисленные абсолютные оценки эффективности исследований обоих ученых.
Итак, измерительный метод оценки библиометрических показателей эффективности научных исследований ученого позволяет, во-первых, сравнить эффективность двух ученых, установив, у кого из ученых эта эффективность выше и на сколько (во сколько раз). Во-вторых, этот метод позволяет найти абсолютную эффективность научных исследований ученого, путем сравнения эффективности его исследований с эффективностью исследований гипотетического единичного ученого, у которого число ссылок на все публикации равно 1.
3. Метод моментов оценки библиометрических показателей
Рассмотрим теперь принципиально другой метод оценки библиометрических показателей эффективности научных исследований. Этот метод основан на использовании в качестве показателей эффективности исследований различных моментов распределений ссылок на публикации ученых. Вычисляя такие показатели, мы получаем сразу абсолютные оценки эффективности научных исследований, минуя этап сравнения эффективности исследований с единицей - эталоном. Если же нам нужно установить соотношение эффективностей научных исследований двух ученых А и В, то следует, согласно формуле (3), разделить вычисленный момент-показатель эффективности исследований одного ученого на такой же момент-показатель эффективности исследований другого ученого. Введем формально названные показатели эффективности научных исследований.
Пусть имеется произвольное распределение ссылок на публикации некоторого ученого в виде таблицы 1. Назовем моментом порядка к этого распределения величину, определяемую следующим выражением
Lk = (nf + nk2 + nk3 +... + nkp )/p =
^ кЛ
x nk / p, k > 0. (14)
Vi=1 У
f p \
/ р есть среднее
Легко видеть, что момент 1-го порядка Ьх = ^ п
V г=1 У
арифметическое число ссылок на одну публикацию, момент 2-го порядка
L2 =
p
2
X п / р есть среднее арифметическое квадратов чисел ссылок на одну
V У
(1 >
публикацию и т.д. Поэтому, если мы найдем корень к -й степени (или —ю
V к У
степень) из момента Ьк, то получим некоторый абсолютный показатель
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
эффективности научных исследований ученого, базирующийся на учете числа ссылок на его публикации. Таким образом, получается система абсолютных показателей эффективности научных исследований различных порядков к :
Vv t=i J
Эти показатели отличаются от показателей, введенных в п. 3, тем, что позволяют учитывать различное влияние малого, среднего и большого числа ссылок на оценку эффективности исследований. Для адекватного учета этого влияния требуется лишь подобрать подходящее значение порядка к используемого показателя эффективности исследований - малое, среднее или большое. Кроме того, отличие в том, что эти показатели являются абсолютными, т.е. дают сразу абсолютные оценки эффективности исследований, не требуя сравнения их с эталоном.
Таким образом, метод моментов оценки библиометрических показателей эффективности научных исследований ученого позволяет, во-первых, вычислить абсолютный показатель эффективности научных исследований ученого, используя формулу (15) с подходящим порядком к. Во-вторых, этот метод позволяет сравнить эффективность исследований двух ученых, используя их вычисленные абсолютные эффективности.
4. Некоторые примеры
Изложенную выше теорию библиометрического оценивания качества исследований проиллюстрируем примерами.
Пример 1. Распределения ссылок на публикации ученых А и В даны в таблице 3. Вычислить, основываясь на измерительном подходе (п. 3), показатели эффективности научных исследований ученых и сравнить эти показатели.
Таблица 3 - Пример распределения количества ссылок
№ публикации 1 2 3 4 5 6 7 8 9 10
Число ссылок A 2 5 7 8 9 11 14 18 23 30
Число ссылок B 1 3 5 8 11 15 20 26 33 42
Как видно из табл. 3, кривые распределений ссылок ученых А, В пересекаются: на участке 1 (публикации 1-3) суммарное число ссылок ученого А (эффективность ученого А ) больше суммарного числа ссылок ученого В (эффективности ученого В), а на участке 2 (публикации 5-10) число ссылок ученого В больше, чем число ссылок ученого А. Таким образом, число публикаций ученого А на том участке, где эффективность ученого А больше, чем эффективности ученого В, равна N(А) = 3, а число публикаций ученого В на участке, где его эффективность больше эффективности ученого А , равно N(В) = 6. Отсюда соотношение эффективностей научных исследований ученых А и В, измеряемое соотношением чисел N (А) и N (В), по формуле (4) равно
К(А / В) = N(A)/N (В) = 3/6 = 0,5; К(В / А) = ЩВ)/ЩА) = 6/3 = 2.
Systems of Control, Communication and Security
sccs.intelgr.com
Из данных таблицы 3 мы также получаем, что суммарное число ссылок ученого A на участке 1, где его эффективность выше эффективности ученого B, равно M'(A) - 14, а суммарное число ссылок ученого B на участке 2, где его эффективность выше эффективности ученого A, равно M'(B) - 147 . Отсюда соотношение эффективностей научных исследований ученых A и B, которое измеряется соотношением чисел M '(A) и M '(B), по формуле (8) равно K(A/B) - M'(A)/M'(B) -14/147 - 0,095; K(B/ A) - M'(B)/M'(A) -147/14 -10,5.
Далее, из таблицы 3 видно, что суммарное число ссылок ученого A на участках, где его эффективность выше эффективности единичного ученого I с распределением ссылок согласно табл. 2, равно M'(A) -127, суммарное число ссылок ученого B на таких же участках равно M '(B) -163, а суммарное число ссылок ученого I равно M'(I) -10. Отсюда абсолютные оценки эффективности научных исследований ученых A и B по формуле (12)
PA = K(A/1) -127/10 -12,7; PB = K(B/1) -163/10 -16,3, а соотношение абсолютных эффективностей научных исследований, проводимых этими учеными, по формуле (13)
K(A/B) - K(A/1)/K(B/1) -12,7/16,3 - 0,779; K (B / A) - K (B /1)/K( A /1) -16,3/12,7 -1,28.
Заметим, что измерение эффективности исследований ученых A и B по традиционному показателю «суммарное число ссылок» дает
M ( A) -127, M (B) -164, K ( A / B) -127/164 - 0,775, K (B / A) -164/127 -1,29 .
Пример 2. Для ученых A и B, распределения ссылок которых даны в таблице 3, вычислить методом моментов абсолютные показатели эффективности научных исследований ученых и сравнить указанные показатели. Используем формулу (14) и вычислим два первых показателя эффективности P1 и P2. В данном случае входящие в формулу (14) величины nt для ученого A даются 2-й строкой таблицы 3, а для ученого B - 3-й строкой таблицы 3, для обоих ученых величина p равна 10. Подставляя эти величины в формулу (14), получаем значения абсолютных показателей эффективности
ученый A : P1A -127 /10 -12,7, P2A - J2293 - 47,78; ученый B : P1B -164/10 -16,4, P2B - V4374 - 66,14.
Отсюда соотношение абсолютных эффективностей исследований ученых A и B по показателям P1 и P2 составляет
KP (A / B) - P1A / P1B -12,7/16,4 - 0,774, KPi (A / B) - P2A / P2B - 47,78/66,14 - 0,722;
KP (B / A) - P1B / P1A -16,4/12,7 -1,29, KPi (B / A) - P2B / P2A - 66,14/47,78 -1,38.
Приведенные примеры позволяют понять, что показатели эффективности научных исследований ученых в зависимости от принятой величины для измерения эффективности и подхода к определению показателя этой эффективности могут сильно различаться по своему числовому значению. Так,
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
в этих примерах показатель K(A / B) в зависимости от выше перечисленных факторов принимал следующие значения: 0,095; 0,5; 0,722; 0,774; 0,775; 0,779, показатель K(B/A) принимал значения 1,28; 1,29; 1,38; 2,0; 10,5, показатель PA - значения 12,7 и 47,78, а показатель PB - значения 16,3; 16,4 и 66,14.
Заключение
Вводя в середине 2000-х годов библиометрические оценки эффективности научных исследований, правительства различных стран рассчитывали избавиться от субъективности экспертных оценок. Однако вскоре статистики доказали, что использование библиометрических оценок не исключает субъективизм в оценке научных исследований, а всего лишь заменяет один вид субъективности (экспертные оценки) другим (субъективная интерпретация смысла публикаций и ссылок на них). После этого различные библиометрические показатели подверглись индивидуальному изучению. В итоге выяснилось, что ни один из названных показателей на деле не позволяет объективно выполнить необходимые функции: оценка вклада ученого в науку, выделение выдающихся ученых, сравнение достижений различных ученых и т.д. В настоящей работе автора показано, что любые, даже математически строго построенные библиометрические показатели, нельзя использовать в качестве основных показателей эффективности научных исследований уже хотя бы потому, что численные значения этих показателей сильно меняются при смене величины, измеряющей эффективность исследований, а также подхода к определению показателя эффективности. Сказанное не означает бесполезности библиометрических показателей. Эти показатели могут быть полезны в качестве вспомогательных для обнаружения выдающихся работ или ученых, предполагаемый высокий уровень которых далее может быть подтвержден с помощью экспертных оценок, являющихся основным методом надежного выделения таких работ (ученых).
Литература
1. The Use of Bibliometrics to Measure Research Quality in UK Higher Education Institutions. Research Report. - London: Universities UK, 2007. - 44 p. -URL: https://eric.ed.gov/?id=ED536622 (дата обращения 01.03.2017).
2. Adler R., Ewing J., Taylor P. Citation Statistics. Report of IMU, ICIAM and IMS. Corrected version. 2008. 26 p. - URL: http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf (дата обращения 09.04.2017).
3. Левин В. И. Количественные показатели научной деятельности: нужны ли они науке и обществу // Alma mater. 2017. № 3.
4. Research Excellence Framework. 2012. - URL: www.ref.ac.uk (дата обращения 01.03.2017).
5. Полянин А. Д. Недостатки индексов цитируемости и Хирша и использование других наукометрических показателей // Математическое моделирование и численные методы. - 2014. - № 1. - С. 131-144.
Systems of Control, Communication and Security
sccs.intelgr.com
6. Болотов В. А., Квелидзе-Кузнецова Н. Н., Лаптева В. В., Морозова С. А. Индекс Хирша в российском индексе научного цитирования // Вопросы образования. 2014. № 1. С. 165-167.
7. Шиповалова Л. В. Индекс цитирования и объективность экспертов // Высшее образование в России. 2014. № 2. С. 119-125.
8. Левин В. И. Индекс Хирша и оценка вклада ученого в науку // Alma mater. 2016. № 4. С. 9-13.
9. Имаев В. И. Технологии увеличения индекса Хирша и развитие имитационной науки // В защиту науки. 2016. № 17.
10. Самойлов Н. А. О критериях оценки публикационной эффективности // Alma mater. 2016. № 11. С. 93-96.
11. Эрштейн Л. Б. Индекс цитирования как способ разрушения науки в России и мире // Alma mater. 2016. № 11. С. 97-101.
References
1. The Use of Bibliometrics to Measure Research Quality in UK Higher Education Institutions. Research Report. London, Universities UK, 2007. 44 p.
2. Adler R., Ewing J., Taylor P. Citation Statistics. Report of IMU, ICIAM and IMS. Corrected version. 2008. 26 p. Available at: http://www.mathunion.org/fileadmin/ IMU/Report/CitationStatistics.pdf (accessed: 09 April 2017).
3. Levin V. I. Kolichestvennye pokazateli nauchnoy deyatelnosti: nuzhny li oni nauke i obschestvu [Quantitanive Indicators of Scientific Activity: Whether They Need for Science and Society]. Alma mater, 2017, № 3 (in Russian).
4. Research Excellence Framework. 2012. Available at: www.ref.ac.uk (accessed: 09 April 2017).
5. Polyanin A. D. Nedostatki indeksov citiruemosti i Hirsha i ispolzovanie drugih naukometricheskih pokazateley [Disadvantages of Hirsch and Citation Indexes and Using Other Scientometric Indicators]. Matematicheskoe modelirovanie i chislennye metody, 2014, no. 1, pp. 131-144 (in Russian).
6. Bolotov V. A., Kvelidze-Kuznecova N. N., Lapteva V. V., Morozova S. A. Indeks Hirsha v rossiyskom indekse nauchnogo citirovaniya [Hirsch Index in Russian Index of Scientific Citation]. Voprosy Obrazovaniya, 2014, no. 1, pp. 165-167 (in Russian).
7. Shipovalova L. V. Indeks citirovaniya i objektivnost ekspertov [Citation Index and Objectivity of Experts]. Vysshee obrazovanie v Rossii, 2014, no. 2, pp. 119-125 (in Russian).
8. Levin V. I. Indeks Hirsha i ocenka vklada uchenogo v nauku [Hirsch Index and Estimation of Contribution of Scientist into Science]. Alma mater, 2016, no. 4, pp. 9-13 (in Russian).
9. Imaev V.I., Tehnologii uvelicheniya indeksa Khirsha i razvitie imitacionnoy nauki [Technologies of Hirsch Index Increasing and Development of Science Imitation]. Vzaschitu nauki, 2016, no. 17 (in Russian).
10. Samoylov N. A. O kriteriyah ocenki publikacionnoy effektivnosti [About Criterions of Estimation of Publication Efficiency]. Alma mater, 2016, no. 11, pp. 93-96 (in Russian).
Системы управления,связи и безопасности №1. 2017
Systems of Control, Communication and Security sccs.intelgr.com
11. Ehrshteyn L. B. Indeks citirovaniya kak sposob razrusheniya nauki v Rossii i mire [Citation Index as Method of Destroying of Science in Russia and World]. Alma mater, 2016, no. 11, pp. 97-101 (in Russian).
Статья поступила: 23 марта 2017 г.
Информация об авторе
Левин Виталий Ильич - доктор технических наук, профессор, PhD, Full Professor. Заслуженный деятель науки РФ. Пензенский государственный технологический университет. Область научных интересов: логика; математическое моделирование в технике, экономике, социологии, истории; принятие решений; оптимизация; теория автоматов; теория надежности; распознавание; история науки; проблемы образования. E-mail: vilevin@mail.ru Адрес: 440039, Россия, г. Пенза, пр. Байдукова/ул. Гагарина, д. 1а/11.
Mathematical Theory of Estimation of Contribution of Scientist to Science
V. I. Levin
Relevance. In recent years, increasing attention of power structures and the scientific community has acquired quantitative methods for assessing the effectiveness of scientific research, in connection with the need for adequate funding of science. For the technological support of this area of work, new mathematical models and methods of introducing and calculating quantitative indicators of the effectiveness of scientific research are important. In this regard, this article on the development of such models and methods is relevant. The purpose of the article is to develop several new models that allow us to introduce a number of new indicators of scientific research using information about the scientist's publications and his quotations. Method. To achieve this goal it was proposed to use the distribution of citations in the form of a graph as the initial data, along the abscissa of which the publications of the scientist are arranged in order of increasing of citations and along the ordinate axis the corresponding quantities of citations are pointed. The graphs of the distribution of citations are convenient for the introduction of new indicators of the effectiveness of research by scientists and their analysis. Novelty of the work lies in the proposed two universal methods for quantifying the effectiveness of scientist's scientific research on the basis of its citation distribution schedules: a measuring method that reduces this estimate to a comparison of scientist's citation distribution with the citation distribution of a hypothetical single scientist, and the method of moments reducing this estimate to the computation of moment (of suitable order) of citations distribution of the scientist. Result. In the article a mathematical model and methods are developed in detail for the introduction of new indicators of the effectiveness of scientific research, their analysis and calculations.
Keywords: modeling of science, bibliometrics, publication, citation index, effectiveness of scientific research.
Information about Author
Vitaly Ilyich Levin - the Doctor of Engineering Sciences, Professor, PhD, Full Professor. Honored worker of science of the Russian Federation. Penza State Technological University. Field of Research: logic; mathematical modeling in technics, economy, sociology, history; decision-making; optimization; automata theory; theory of reliability; history of science; problems of education. E-mail: vilevin@mail.ru
Address: 440039, Russia, Penza, pr. Baydukova / Gagarin st., 1a/11.
