CC BY
88
новый подход
К ОЦЕНКЕ КАЧЕСТВА НАУЧНЫХ ИССЛЕДОВАНИЙ
ЛЕВИН Виталий Ильич - д-р техн. наук, проф. E-mail: vilevin@mail.ru Пензенский государственный технологический университет, Пенза, Россия Адрес: 440039, Пенза, пр. Байдукова, 1-а
Аннотация. Изложена суть библиометрического подхода к моделированию и оценке результатов научных исследований. Рассмотрены основы теории библиометрических показателей. Установлены исходные данные для оценки этих показателей. Предложены два универсальных метода указанной оценки - измерительный и метод моментов. Приведены примергы вычисления оценок этими методами. Проведенное исследование показало, что вычисление библиометрических показателей является лишь первым этапом процесса оценки результата научных исследований, за которым должен следовать второй этап - экспертная оценка.
Ключевые слова.: моделирование науки, библиометртка, публикация, индекс цитирования, эффективность научных исследований
Для цитирования: Левин В.И. Новый подход к оценке качества научных исследований // Высшее образование в России. 2017. № 6 (213). С. 136-146.
ОБСУЖДАЕМ ПРОБЛЕМУ
Введение
Поддержка науки требует огромных средств, поэтому государства заинтересованы в применении количественных методов оценки качества научных исследований, которые бы соответствовали принятой в настоящее время схеме финансирования науки. Первой за эту работу взялась Великобритания, позиция правительства которой по этому вопросу была ясно изложена в докладе
2007 г.: «Правительство намерено заменить нынешний метод определения качества научных исследований. В центре внимания новой системы будут подсчёты, а не экспертные оценки. Ожидается, что основной индекс оценки качества в этой системе будет библиометрическим, использующим подсчёт журнальных статей и их цитирований» [1]. Соответствующий подход к оценке качества научных исследований стал внедряться и в других странах мира. Однако широкая научная общественность забила тревогу. В
2008 г. Международный математический
союз опубликовал отчёт о возможностях и ограничениях библиометрических методов1. Авторы пришли к выводу, что использование библиометрических показателей всего лишь заменяет один вид субъективных оценок (экспертные оценки) другим их видом (субъективная интерпретация смысла количественных оценок публикаций и их цитирований)2. Вскоре правительства развитых стран стали пересматривать своё отношение к библиометрическому измерению науки. Особенно далеко пошла опять же Великобритания, где в 2013 г. употребление библиометрики как главного метода оценки научной деятельности было запрещено3. Библиометрические показатели разрешили применять лишь как вспомогательные и лишь
1 URL: http:// www.mathunion.org/Publications/ Report/Citationstatistic
2 Подробное изложение отчёта и его выводы приведены в работе [2].
3 Research Excellence Framework. 2012. URL: www.ref.ac.uk
в 11 из 36 научных дисциплин (подробнее см. в [2]). Исследование основных библиометри-ческих показателей было недавно проведено в России [3-13]. Общий вывод специалистов состоит в том, что они не позволяют объективно оценивать вклад учёного в науку, сравнивать эффективность исследований и т.д. Особенно резкой критике подвергся показатель «индекс Хирша», который, по мнению части исследователей, в ряде случаев приводит к результатам, противоречащим здравому смыслу. Кроме того, он оказался незащищённым от искусственного «накручивания». Весьма полный обзор библиометрических показателей, охватывающий практически все известные на сегодня показатели научной деятельности, проведён в работах [3-8]. Исследования показали, что ни один из почти 30 существующих в настоящее время библиометрических показателей не может рассматриваться в качестве основного, однако они могут использоваться в качестве вспомогательных, как дополнение к экспертным оценкам. Тем не менее в 10% статей, где обсуждается библиометрический подход, последний оценивается положительно [14]. Аргументация, как правило, следующая: 1) библиометрика нужна, т.к. в рыночной экономике эффективность науки приходится оценивать количественно; 2) библиометри-ка даёт ключевую информацию, которую невозможно собрать и оценить с помощью экспертизы; 3) библиометрика позволяет учёным по собственной инициативе, независимо от официальной инстанции, проводить аудит состояния науки; 4) лучших способов определять уровень учёного, чем библио-метрика, у начальства нет: любые «экспертные советы» в России неизменно заполняет мафия, которая делит премии между «своими»; 5) с помощью библиометрики контроль за производительностью науки в России и её доведением до мирового уровня начинает налаживаться. К сожалению, широкое использование библиометрических показателей тормозится сегодня почти полным отсутствием теории, позволяющей изучать
свойства и устанавливать области применения каждого из показателей. Настоящая работа содержит попытку наметить некоторые основы такой теории.
Исходные данные для оценки библиометрических показателей
Эмпирическим материалом для определения эффективности научных исследований учёного являются его публикации и ссылки на них. При этом интерес представляют не сами публикации и ссылки, а только число публикаций и число ссылок на каждую из них. Все ссылки считаются равноправными, независимо от их содержания и публикации, на которую они сделаны. Все публикации также считаются исходно равноправными. Неравноправными они считаются лишь в смысле числа ссылок на них, которое может быть неодинаковым. Совокупность всех публикаций учёного и число всех ссылок на каждую из этих публикаций назовём распределением ссылок данного учёного. Распределение ссылок будем представлять в форме таблицы (табл. 1) или графика (рис. 1), где публикации следуют в порядке возрастания числа ссылок на них, а напротив каждой публикации проставляется число ссылок на неё. Распределение ссылок учёного содержит полную информацию для получения библиометрических показателей эффективности его научных исследований.
Понятно, что такой подход основан на довольно жёстких ограничениях и допущениях. Однако он позволяет легко вычислять различные библиометрические показатели эффективности научных исследований. И конечно, точность этих вычислений невелика, т.к. при оценке публикационной активности и цитируемости учёного в них не учитывается ни вес публикации и ссылок (что зависит от веса журнала), ни особенности публикации и цитирования, зависящие от отрасли науки. Учесть указанные факторы принципиально возможно, разделив публикации и ссылки на них по уровню журнала и отрасли науки. Однако при этом возникнут большие трудно-
Таблица 1
№ публикации 1 2 3 4 Р
Число ссылок П1 П2 Из И4 Пр
О 1 2
9 10 г
г — номер публикации Щ — число ссылок
Рис. 1
сти, связанные с объективным определением уровня журнала и установлением разумной глубины деления науки по отраслям. Учитывая эти обстоятельства, библиометрический подход целесообразно использовать лишь для предварительной оценки эффективности научных исследований учёного, оставив окончательное решение экспертам.
Итак, в основе определения и вычисления библиометрических показателей эффективности научных исследований лежит сравнение распределений ссылок каждого из учёных. Сравнение распределений ссылок осуществляется путём сравнения числа ссылок для каждой пары публикаций двух учёных с одинаковым порядковым номером и последующего объединения полученных результатов сравнений. Для того чтобы такое сравнение было возможно, нужно, чтобы сравниваемые распределения ссылок имели равное количество публикаций. Такие распределения будем называть нормальными. Любую пару распределений ссылок, не являющихся нормальными, можно нормализовать. Для этого достаточно к распределению с меньшим количеством публикаций добавить такое количество «пустых» публикаций (т.е. публикаций, не
имеющих ссылок), чтобы оба распределения ссылок оказались с равным числом публикаций. Очевидно, что нормализация распределений ссылок не изменяет оценку эффективности научных исследований учёного и потому допустима как средство, облегчающее получение такой оценки. Также очевидно, что добавляемые при нормализации распределения ссылок пустые публикации должны располагаться в самом начале распределения, т.е. в крайней левой его части. Так, например, расположены публикации 1, 2 в распределении на рис. 1. Предлагаемый метод оценки библиометрических показателей эффективности научных исследований базируется на общей теории измерений.
Оценка библиометрических показателей: измерительный метод
Изложение предлагаемого метода начнем с простейшего случая, когда кривые сравниваемых распределений ссылок двух учёных не пересекаются (рис. 2). Будем далее исходить из следующих положений, представляющихся очевидными: 1) эффективность научных исследований учёного некоторым образом связана с числом его публикаций
Рис. 2
(точнее, публикаций, на которые имеются ссылки) и с числом ссылок на эти публикации; 2) эффективность научных исследований тем выше, чем больше число публикаций учёного и число ссылок на эти публикации.
Возьмем на рисунке 2 произвольную точку г на оси абсцисс. Ей соответствуют точка на кривой распределения ссылок А с ординатой пА(г) и точка на кривой распределения ссылок В с ординатой пв(г), причем пА(г) > пв(г). Это означает, что для каждой пары публикаций ученых А и В с одинаковым порядковым номером г, г = 1,гтах, количество ссылок на публикацию ученого А превышает количество ссылок на публикацию ученого В. Объединяя полученные результаты для всех г, г = 1,гтах, приходим к
выводу, что в рассмотренном случае общее число ссылок на все публикации у ученого А больше, чем у ученого В. Таким образом, эффективность исследований Е(А) ученого А, кривая распределения ссылок которого располагается на графике выше, заведомо больше, чем эффективность исследований Е(В) ученого В. Выведенное положение запишем в виде правила
Е(А) > Е(В), если ЩА) > ЩВ) (1)
Здесь ЩА) - общее число ссылок на все публикации учёного А, а ЩВ) - то же для ученого В.
Перейдем к более сложному случаю, когда кривые сравниваемых распределений пе-
ресекаются, так что на одних участках выше расположена одна кривая распределения ссылок, а на других - другая (рис. 3). В этом случае, согласно сказанному выше, на одних участках кривой большей является эффективность исследований учёного А, на других - эффективность исследований учёного В. В нашем конкретном случае на участке 1 эффективность исследований больше у учёного А, а на участке 2 - у учёного В. Чтобы определить соотношение общей эффективности исследований двух учёных на всем интервале распределений ссылок, нужно совместить их частные показатели эффективности, соответствующие однородным участкам кривых распределений ссылок. Последнее выполняется подсчетом суммарного числа публикаций учёного А на всех участках, где эффективность исследований учёного А больше эффективности учёного В, и суммарного числа публикаций учёного В на всех участках, где эффективность исследований учёного В больше эффективности исследований учёного А. После этого выполняется сравнение чисел ЩА) и ЩВ) и принимается решение о соотношении общей эффективности исследований ученых А и В по правилу:
Е(А) > Е(В), если ЩА) > ЩВ);
Е(А) > Е(В), если ЩВ) > ЩА); (2)
Е(А) = Е(В), если ЩА) > ЩВ);
Правило сравнения (2) исходит из того, что числа ЩА), ЩВ) можно рассматривать
как количества случаев, в которых выше эффективность исследований соответственно учёного А и учёного В.
Сравнение по формуле (2) является чисто качественным; оно показывает лишь, у кого эффективность исследований больше, но не устанавливает, насколько (во сколько раз). Однако по тем же данным, по которым выполняется качественное сравнение по формуле (2), можно выполнить и количественное сравнение, показывающее количественное отношение эффективности исследований ученых А, В. Действительно, в соответствии со смыслом чисел Л(А) и Л(В) как количеств случаев, в которых выше эффективность исследований учёного А и В, количественное соотношение К(А/В) эффективности исследований Е(А) и Е(В) учёных А и В можно измерять простым отношением чисел Л(А), Л(В). Таким образом, искомое соотношение эффективностей, определяемое как
К(А/В) = Е(А)/Е(В), (3)
можно вычислить по формуле
К(А/В) = Л(А)/Л(В), (4)
Рассмотренное качественное и количественное сравнение эффективности исследований двух учёных по формулам (2) и (4) основано на числе публикаций данных учёных. Изложим теперь метод сравнения эффективности исследований учёных, базирующийся на числе ссылок на их публикации. Начнем с простейшего случая, когда кривые сравниваемых распределений ссылок двух учёных не пересекаются (рис. 2). Обозначим М(А) общее число ссылок на публикации учёного А, а М(В) - общее число ссылок на публикации учёного В. При этом в М(А) и М(В) не будем включать ссылки на публикации с номерами г, в которых число ссылок у А и В одинаково, так как они не влияют на результат сравнения. Такие публикации возможны на начальном (при малых г) участке сравниваемых распределений ссылок. В рассматриваемом случае, как хорошо видно из рис. 2, общее число ссылок М(А) на публикации учёного А больше общего числа М(В) на
публикации учёного В, в соответствии с чем эффективность исследований Е(А) учёного А должна быть признана выше эффективности исследований Е(В) учёного В. Это положение можно записать в виде следствия
Е(А) > Е(В), если М(А) > М(В); (5) Как и в (2), сравнение по формуле (5) -качественное, оно показывает только, при каком условии эффективность исследований учёного А больше эффективности исследований учёного В, но не показывает, на сколько (во сколько раз). Но по тем же самым данным можно выполнить и количественное сравнение, определив количественное соотношение К(А/В) эффективности исследований учёных А и В (3). Для этого достаточно использовать очевидную формулу К(А/В) = М(А)/М(В), (6) Рассмотрим теперь более сложный случай, когда кривые сравниваемых распределений ссылок на публикации двух учёных пересекаются (рис. 3). В данном случае на одних участках выше расположена одна кривая распределения ссылок, а на других - другая. Т.е. на одних участках больше ссылок на публикации учёного А, и потому его исследования должны быть признаны более эффективными, а на других участках - больше ссылок на публикации учёного В, и потому здесь исследования этого учёного должны быть признаны более эффективными. В нашем конкретном случае на участке 1 имеем большую эффективность исследований учёного А, а на участке 2 - учёного В. Для того чтобы определить соотношение общей эффективности исследований двух учёных на всем интервале их распределений ссылок, нужно соединить их частные эффективности исследований, соответствующие однородным участкам их кривых распределений ссылок. Это выполняется подсчетом суммарного числа ссылок М(А) ученого А на всех участках, где эффективность исследований Е(А) учёного А больше эффективности исследований Е(В) учёного В, и суммарного числа ссылок М' (В) учёного В на всех участках, где эффективность исследо-
Таблица 2
№ публикации 1 2 3 Р
Число ссылок 1 1 1 1
Рис. 3
ваний Е(В) учёного В больше эффективности исследований Е(А) учёного А. При этом, как и выше, в М' (А) и М' (В) не включаются ссылки на все публикации с номерами г, в которых число ссылок у А и В одинаково, т.к. они не влияют на результат сравнения. Далее числа М' (А), М' (В) сравниваются, и принимается решение о соотношении общих эффективно-стей Е(А) и Е(В) двух учёных в соответствии с правилом:
Е(А) > Е(В), если М (А) > М (В); Е(В) > Е(А), если М (В) > М (А); (7) Е(А) = Е(В), если М (А) = М (В);
Сравнение эффективности исследований по формуле (7), как и аналогичные сравнения по формулам (2) и (5), является качественным. Оно устанавливает лишь достаточные условия, при выполнении которых эффективность исследований одного учёного больше или равна эффективности другого учёного, но не показывает, на сколько (во сколько раз). Однако, как и выше, по имеющимся данным можно выполнить и количественное сравнение, получив соотношение К(А/В) эффективности исследований учёных А и В. Для этого используется очевидная формула, подобная формулам (4), (6)
К(А/В) = М (А)/ М (В). (8)
Ранее мы занимались лишь сравнительным изучением эффективности научных исследований, оценивая соотношение эффективности исследований различных учёных. Перейдем теперь к абсолютной оценке эффективности научных исследований, т.е. к оценке эффективности исследований одного отдельно взятого учёного. Будем исходить из общей теории измерений. Согласно этой теории абсолютное значение любой измеримой величины есть отношение этой величины к некоторой другой измеримой величине, принимаемой за единицу - эталон. В рассматриваемом случае в качестве эталона измерений естественно принять ученого с минимальной положительной эффективностью исследований. Это ученый, на каждую публикацию которого имеется ровно одна ссылка, так что его можно обозначить I; соответствующее распределение ссылок имеет вид таблицы 2. Эффективность исследований такого ученого обозначим Е(1). Теперь понятно, что для того чтобы получить абсолютную оценку эффективности исследований любого ученого А, надо просто вычислить количественное соотношение К(А/1) эффективности исследований ученого А и эталонного ученого I. Согласно формуле (3) общее определение абсолютной эффективности исследований учёного А имеет вид
Ц(А/Г) = Е(А)/Е(1). (9)
Таким образом, для получения абсолютной оценки эффективности исследований любого учёного А остается всего лишь использовать подходящую формулу вычисления количественного соотношения эффективности исследований этого учёного Е(А) и эталонного учёного Е(Г). Различные её варианты можно получить из рабочих формул (4), (6), (8) для вычисления количественного
соотношения эффективности исследований двух учёных А, В, соответствующих различным критериям сравнения учёных. В результате получаем, во-первых, формулу
Ц(А/Г) = ЩА)/ЩГ) (10) для вычисления абсолютной оценки эффективности исследований учёного А в случае, когда учёные сравниваются по числу публикаций на участках распределений ссылок с различным соотношением числа ссылок между этими учёными. В этой формуле Л (А) - суммарное число публикаций учёного А на всех участках распределения ссылок, где эффективность исследований Е(А) учёного А больше эффективности исследований Е(Г) эталонного учёного Г (другими словами, она больше единицы), а Л (Г) - суммарное число публикаций учёного А на всех участках распределения ссылок, где эффективность исследований Е(А) учёного А меньше, чем эффективность исследований Е(Г) учёного Г (Е(А) меньше единицы, т.е. равна нулю). Во-вторых, получаем формулу
Ц(А/Г) = М(А)/М(Г), (11) которая даёт абсолютную оценку эффективности исследований учёного А, когда учёные сравниваются по числу ссылок на их публикации. Здесь М(А) - общее число ссылок на публикации учёного А, а М(Г) - общее число ссылок на публикации учёного Г (в М(А) и М(Г) не включаются ссылки на публикации с номерами, где число ссылок у А и Г одинаково). Наконец, получим формулу
Ц(А/Г) = М (А)/М ' (Г) (12) для вычисления абсолютной оценки эффективности исследований учёного А в случае, когда учёные сравниваются по количеству эффективных ссылок на их публикации, т.е. ссылок на публикации, находящиеся в областях распределения ссылок с большей эффективностью исследований оцениваемого учёного. Здесь М (А) - суммарное число ссылок ученого А на всех участках распределения ссылок, где эффективность иссле-
дований E(A) ученого A больше эффективности исследований E(I) ученого I (т.е. > 1), а M' (I) - суммарное число ссылок ученого I на всех участках распределения ссылок, где эффективность исследований E(A) ученого A меньше значения эффективности исследований E(I) ученого I (т.е. меньше единицы, другими словами, равна нулю). Поделив абсолютную оценку эффективности исследований K(A/I) некоторого учёного A на абсолютную оценку эффективности исследований K(B/I) учёного B, получим новую оценку соотношения эффективности этих учёных:
K(A/B) = K(A/I)/K(B/I), (13) отличающуюся от оценок этого соотношения (4), (6), (8) тем, что она является косвенной, использующей предварительно вычисленные абсолютные оценки эффективности исследований обоих учёных.
Оценка библиометрических
показателей: метод моментов
Рассмотрим теперь принципиально другой метод оценки библиометрических показателей эффективности научных исследований. Он основан на использовании в качестве показателей эффективности исследований различных моментов распределений ссылок на публикации учёных. Вычисляя такие показатели, мы получаем сразу абсолютные оценки эффективности научных исследований, минуя этап сравнения эффективности исследований с единицей-эталоном. Для нахождения соотношения эффективностей исследований двух учёных A и B необходимо, согласно формуле (3), разделить вычисленный момент - показатель эффективности исследований одного учёного - на такой же момент - показатель эффективности исследований другого учёного. Введем формально названные показатели эффективности научных исследований.
Пусть имеется произвольное распределение ссылок на публикации некоторого учёного в виде таблицы 1. Назовем моментом
порядка к этого распределения величину, определяемую следующим выражением
Ьк = (пк + пк + пк +... + шкр)/ р =
Vг=1 /
/ р, к > 0.
(14)
Легко видеть, что момент 1-го порядка
и =
п
V г=1 /
г
Хп / р есть среднее арифмети-
ческое число ссылок на одну публикацию,
/ р \
момент 2-го порядка Ь2 =
V г=1 у
/ р
среднее арифметическое квадратов чисел ссылок на одну публикацию и т.д. Поэтому, если мы найдем корень к-й степени (или
^1 ^ -ю степень) из момента Ьк, то получим
некоторый показатель эффективности научных исследований учёного, базирующийся на учёте числа ссылок на его публикации. Таким образом, получается система абсолютных показателей эффективности научных исследований различных порядков к:
Рк = к4Гк = кк Хпк /р, к = 1,2,3,... (15)
П г=1 )
Эти показатели отличаются от показателей, введённых ранее, тем, что позволяют учитывать различное влияние малого, среднего и большого числа ссылок на оценку эффективности исследований. Для адекватного учёта этого влияния требуется лишь подобрать подходящее значение порядка к используемого показателя эффективности исследований. Кроме того, эти показатели являются абсолютными, т.е. дают абсолютные оценки эффективности исследований, не требуя сравнения их с эталоном.
Некоторые примеры
Проиллюстрируем изложенную выше теорию библиометрического оценивания качества исследований примерами.
Пример 1. В таблице 3 даны распределения ссылок на публикации учёных А и В. Требуется вычислить, основываясь на измерительном подходе, показатели эффективности научных исследований учёных и сравнить их.
Как видно из таблицы 3, кривые распределений ссылок учёных А, В пересекаются: на участке 1 (публикации 1-3) суммарное число ссылок учёного А (эффективность учёного А) больше суммарного числа ссылок учёного В (эффективности учёного В), а на участке 2 (публикации 5-10) число ссылок учёного В больше, чем число ссылок учёного А. Таким образом, число публикаций учёного А на том участке, где эффективность учёного А больше эффективности учёного В, равно Л (А) = 3, а число публикаций учёного В на участке, где его эффективность больше эффективности учёного А, равно Л(А) = 6. Отсюда соотношение показателей эффективности научных исследований учёных А и В, измеряемое соотношением чисел Л(А) и Л(В), по формуле (4), равно
К(А/В) = Л(А)/Л(В) = 3/6 = 0,5; Ц(В/А) = Л(В)/Л(А) = 6/3 = 2.
Из данных таблицы 3 мы также получаем, что суммарное число ссылок учёного А на участке 1, где его эффективность выше эффективности учёного В, равно М' (А) = 14, а суммарное число ссылок учёного В на участке 2, где его эффективность выше эффективности учёного А, равно М' (В) = 147. Отсюда соотношение показателей эффективности научных исследований учёных А и В, которое измеряется соотношением чисел М (А), М' (В), по формуле (8), равно Ц(А/В) = М (А)/ М (В) = 14/147 = 0,095;
Ц(В/ А) = М В)/М (А) = 147/14 = 10.5.
Далее из таблицы 3 видно, что суммарное число ссылок учёного А на участках, где его эффективность выше эффективности эталонного учёного Г с распределением ссылок согласно таблице 2, равно М (А) = 147; суммарное число ссылок ученого В на таких же участках равно М' (В) = 163, а суммарное число ссылок учёного Г равно М (Г) = 10.
Таблица 3
№ публикации 1 2 3 4 5 6 7 8 9 10
Число ссылок А 2 5 7 8 9 11 14 18 23 30
Число ссылок В 1 3 5 8 11 15 20 26 33 42
Отсюда абсолютные оценки показатели эффективности научных исследований учёных А и B по формуле (12) равны
Pa = K(A/I) = 127/10 = 12,7; Pb = ЦВ/1) = 163/10 = 16,3, а соотношение показателей абсолютной эффективности научных исследований, проводимых этими учёными, по формуле (13) равно:
K(A/B) = K(A/I)/K(B/I) = 12,7/16,3 = 0,779; K(B/A) = K(B/I)/K(A/I) = 16,3/12,7 = 1,28;
Заметим, что измерение эффективности исследований учёных A и В по традиционному показателю «суммарное число ссылок» даёт M(A) = 127, M(B) = 164,
K(A/B) = 127/164 = 0,775, K(B/A) = 164/ 27 = 1,28.
Пример 2. Для учёных A и В, распределения ссылок которых даны в таблице 3, вычислить методом моментов абсолютные показатели эффективности их научных исследований и сравнить указанные показатели. Используя формулу (14), вычислим два первых показателя эффективности Pi и P2. В данном случае входящие в формулу (14) величины n для учёного A даются 2-й строкой таблицы 3, а для учёного В - 3-й строкой таблицы 3, для обоих ученых величина p равна 10. Подставляя эти величины в формулу (14), получаем значения абсолютных показателей эффективности:
ученый A: Ла = 127/10 = 12,7,
P2A = л/2293 = 47,78;
ученый В: Лв = 164/10 = 16,4,
P2B =^4374 = 66,14.
Отсюда соотношение абсолютных показателей эффективности исследований учёных A и В по показателям P1 и P2 составляет:
Цц(А/В) = НА /PÍB = 12,7/16,4 = 0,774, Kñ (А /В) = P2A / P2B = 47,78 /66,14 = 0,722; ЦЙ(В/ А) = Лв /На = 16,4/12,7 = 1,29, Kp2 (В/ А) = P2B / P2A = 66,14 / 47,78 = 1,38.
Приведённые примеры позволяют понять, что показатели эффективности научных исследований учёных в зависимости от принятой величины для измерения эффективности и подхода к определению показателя этой эффективности могут сильно различаться по своему числовому значению. Так, в этих примерах показатель K(A/B) в зависимости от вышеперечисленных факторов принимал следующие значения: 0,095; 0,5; 0,722; 0,774; 0,775; 0,779, показатель К(В/А) - значения 1,28; 1,29; 1,38; 2,0; 10,5, показатель PA - значения 12,7 и 47,78, а показатель PB - 16,3; 16,4 и 66,14.
Заключение
Вводя в середине 2000-х годов библиоме-трические оценки эффективности научных исследований, правительства различных стран рассчитывали избавиться от субъективности экспертных оценок. Однако вскоре статистики доказали, что использование библиометрических оценок не исключает субъективизма в оценке научных исследований, а всего лишь заменяет один вид субъективности (экспертные оценки) другим (субъективная интерпретация смысла публикаций и ссылок на них). После этого различные библиометрические показатели подверглись индивидуальному изучению. В итоге выяснилось, что ни один из названных показателей на деле не позволяет выполнить необходимые функции (объективная оценка вклада учёного в науку, выделение выдающихся ученых, сравнение достижений различных учёных и т.д.). В настоящей работе показано, что любые библиометрические
показатели, даже математически строго построенные, нельзя использовать в качестве основных показателей эффективности научных исследований уже хотя бы потому, что численные значения этих показателей сильно меняются при смене величины, измеряющей эффективность исследований, а также подхода к определению показателя эффективности. Сказанное не означает бесполезности библиометрических показателей. Эти показатели могут быть полезны в качестве вспомогательных для обнаружения выдающихся работ или учёных, предполагаемый высокий уровень которых далее может быть подтверждён с помощью экспертных оценок, являющихся главным методом надежного выделения таких работ (учёных).
Литература
1. Evidence Report "The Use of Bibliometrics to Measure Research Quality in the UK Higher Education Systems. URL: http://bookshop. universitiesuk.ac.uk/downloads /bibliometrisc.pdf
2. ЛевинВ.И. Количественные показатели научной деятельности: нужны ли они науке и обществу // Alma mater. Вестник высшей школы. 2017. № 3. С. 13-22.
3. Варшавский А.Е., Иванов В.В., Маркусова В.А. Об адекватной оценке результативности научной деятельности // Вестник РАН. 2011. № 7. С. 587-593.
4. Михайлов О.В. Критерии и параметры объективной оценки качества научной деятельности // Вестник РАН. 2011. № 7. С. 622-625.
5. Чеботарев П.Ю. Наукометрия: как с её помощью лечить, а не калечить? // Управление большими системами. 2013. Вып. 44. С. 14-31.
6. Штобва С.Д., Штобва Е.В. Обзор наукометрических показателей для оценки публикационной деятельности учёного // Управление большими системами. 2013. Вып. 44. С. 262-279.
7. Полянин А.Д. Недостатки индексов цитиру-емости и Хирша и использование других наукометрических показателей // Математическое моделирование и численные методы. 2014. № 1. С. 131-144.
8. Болотов В.А, Квелидзе-Кузнецова Н.Н, Лаптева В.В, Морозова С.А. Индекс Хир-ша в российском индексе научного цитирования // Вопросы образования. 2014. № 1. С. 165-167.
9. Шиповалова Л.В. Индекс цитирования и объективность экспертов // Высшее образование в России. 2014. № 2. С. 119-125.
10. Левин В.И. Индекс Хирша и оценка вклада ученого в науку // Alma mater. Вестник высшей школы. 2016. № 4. С. 9-13.
11. Имаев В.И. Технологии увеличения индекса Хирша и развитие имитационной науки // В защиту науки. Бюллетень Комиссии РАН. 2016. № 17. С. 38-51
12. Самойлов H.A. О критериях оценки публикационной эффективности // Alma mater. 2016. № 11. С. 93-96.
13. Эрштейн Л.Б. Индекс цитирования как способ разрушения науки в России и мире // Alma mater. 2016. № 11. С. 97-101.
14. Оносов А., Туманов С., Савина Н. Реформа науки и наукометрия в пространстве общественного восприятия // Сократ. 2016. Сентябрь. С. 12-21.
Статья поступила в редакцию 28.02.17.
С доработки 19.04.17.
Принята к публикации 04.05.17.
A NEW APPROACH TO ESTIMATION OF SCIENTIFIC RESEARCH QUALITY
Vitaly I. LEVIN - Dr. Sci. (Engineering), Prof., e-mail: vilevin@mail.ru
Penza State Technological University, Penza, Russia
Address: 1-a, Baidukova pr., Penza, 440039, Russian Federation
Abstract. The paper highlights the essence of the bibliometric approach to modeling and evaluation of scientific research results, considers the basic foundations of the theory of bibliometric indicators. The baseline data for the evaluation of these indicators are established. The author suggests two universal methods for this evaluation (measuring and the method of moments) and gives some
examples of calculating these estimates by means of these methods. The study showed that the calculation of bibliometric indicators is only the first, preliminary stage of the assessment of research results, it should be followed by the expert evaluation.
Keywords: modeling of science, research quality, bibliometrics, bibliometric approach, bibliometric indices, publication, citation index, efficiency of research, assessment of research results
Cite as: Levin, V.I. (2017). [New Approach to Estimation of Scientific Research Quality]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 6 (213), pp. 136-146. (In Russ., abstract in Eng.)
References
1. Evidence Report "The Use of Bibliometrics to Measure Research Quality in the UK Higher Education Systems. Available at: http://bookshop.universitiesuk.ac.uk/ downloads /bibliometrisc.pdf
2. Levin, V.I. (2017). [Quantitative Indicators ofScientific Activity: How to Use Them in Science and Society]. Alma mater. Vestnik vysshei shkoly [Alma mater. High School Herald]. No. 3 (In Russ., abstract in Eng.)
3. Varshavsky, A.E., Ivanov, V.V., Markusova, V.A. (2011). [On an Adequate Assessment of the Effectiveness ofScientific Activity]. Vestnik RAN [Bulletin ofthe Russian Academy ofSciences]. No. 7, pp. 587-593. (In Russ.)
4. Mikhailov, O.V. (2011). [Criteria and Parameters of an Objective Assessment of the Quality of Scientific Activity]. Vestnik RAN [Bulletin ofthe Russian Academy of Sciences]. No. 7, pp. 622-625. (In Russ.)
5. Chebotarev, P.Yu. (2013). [Scientometrics: How to Treat with its Help, and Not to Cripple?]. Upravlenie bol'shimi sistemami [Management ofLarge systems]. Issue 44, pp. 14-31. (In Russ.)
6. Shtobva, S.D., Shtobva, E.V. (2013). [A Review of Scientometric Indicators for Assessing the Publication Activity of a Scientist]. Upravlenie bol'shimi sistemami [Management ofLarge systems]. Issue 44, pp. 262279. (In Russ.)
7. Polyanin, A.D. (2014). [Disadvantages of Citation Index and Hirsch Index and Using Other Scientometric Indicators]. Matematicheskoe modelirovanie i chislennye metody [Mathematical Modeling and Numerical Methods]. No. 1, pp 131-144 (In Russ.)
8. Bolotov, V.A., Kvelidze-Kuznetsova, N.N., Lapteva, V.V., Morozova, S.A. (2014). [Hirsch Index in Russian Index ofScience Citation]. Voprosy obrazovaniya [Questions on Education]. No. 1, pp. 165-167 (In Russ.)
9. Shipovalova, L.V. (2014). [Citation Index and Objectivity of experts]. Vysshee obrazovanie v Rossii = Higher Education in Russia. No. 2, pp. 119-125 (In Russ.)
10. Levin, V.I. (2016). Hirsch Index and Evaluation of Researcher's Contribution to Science. Alma mater. Vestnik vysshei shkoly [Alma mater. High School Herald]. No. 4, pp. 9-13 (In Russ.)
11. Imaev, V.I. (2016). [Technologies of Hirsch Index Increasing and Development of Imitation of Science]. V zashchitu nauki [In Defense ofScience. Bulletin ofRAS Commision]. No. 17, pp. 38-51 (In Russ.)
12. Samoilov, N.A. (2016). [About Criteria ofEstimation ofPublication Efficiency]. Alma mater. Vestnik vysshei shkoly [Alma mater. High School Herald]. No. 11, pp. 93-96 (In Russ.)
13. Ershtein, L.B. (2016). [Citation Index as a Method to Destroy Science in Russia and in the World]. Alma mater. Vestnik vysshei shkoly [Alma mater. High School Herald]. No. 11, pp. 97-101 (In Russ.)
14. Onosov A., Tumanov S., Savina N. (2016). Reform of Science and Scientometrics in the Space of Public Perception. Socrates. September, pp. 12-21. (In Russ.)
The paper was submitted 26.02.17.
Received after reworking 19.04.17.
Accepted for publication 04.05.17.
