CC BY
68
Алексей Николаевич Петров
кандидат биологических наук, доцент, ведущий научный сотрудник, зав. отделом Института морских биологических исследований им. А. О. Ковалевского РАН,
Севастополь, Россия; e-mail: alexpet-14@mail.ru
УДК 001:316
DOI 10.24411/2079-0910-2019-14010
Новый показатель оценки научно-публикационной эффективности на основе наукометрических параметров
базы РИНЦ
В статье на примере одного из НИИ РАН изучены особенности формирования основных наукометрических показателей публикационной деятельности, определяемых на основе базы открытого доступа elibrary—РИНЦ. Рассмотрен вопрос относительной эффективности применения основных показателей — числа публикаций, «привязанных» и «непривязанных» цитирований и индекса Хирша для сравнительной оценки результативности публикационной деятельности (РПД) исследователей. На основе анализа РПД для выборки из 125 научных сотрудников из рассматриваемого НИИ прослежены тенденции изменения РПД и возможные причины, влияющие на эти изменения. Для объективной оценки эффективности разных категорий научных сотрудников предложен простой индекс РПД: отношение числа «привязанных» цитирований сотрудника к числу его публикаций с ненулевым цитированием в базе РИНЦ, умноженное на значение индекса Хирша. Предлагаемый показатель РПД может быть применен при аттестации, начислении стимулирующих премий при выполнении Госзадания и иных видах дифференцированной оценки деятельности научных работников. Ключевые слова: наукометрия, цитируемость, индекс Хирша, публикационная результативность, гидробиология, ИМБИ.
Благодарность
Работа выполнена как дополнительный научно-методический раздел в рамках реализации госзадания ФГБУН ИМБИ по теме (№ 0828-2018-0002)«Эколого-фи-логенетические аспекты формирования и антропогенная трансформация биоразнообразия и биоресурсного потенциала экосистем Азово-Черноморского бассейна и других районов Мирового океана» (гос. рег. № АААА-А18-118020890074-2). Выражаю признательность зав. научной библиотекой ИМБИ РАН О. А. Акимовой и вед. н. с. отдела Экологии бентоса ИМБИ РАН, к. б. н. Н. К. Ревкову за их консультации и ценные советы в ходе анализа материалов для этой публикации.
Введение
Современная наукометрия располагает большим числом различных показателей, которые широко используются для оценки эффективности публикационной и, в целом, научной деятельности индивидуальных исследователей и разных на-
учных групп и организаций. Хотя практика применения показателей цитирования с использованием разнообразных индексов существует уже более века [Миланов и др., 2009], вопрос разработки алгоритмов для оптимизации оценки научно-публикационной деятельности сохраняет актуальность и к настоящему времени [Ефимова, 2012; Борисов, 2013; Смирнова, 2014; Марвин, 2016а, 2016b]. Вице-президент РАН, академик В. В. Козлов отметил в одном из интервью, что «... важность наукометрии нельзя не признать, она позволяет по публикациям понимать — какие тенденции, какие темы сейчас особенно актуальны, а какие, наоборот, утрачивают популярность» [Индекс цитирования., 2011]. Существует несколько показателей цитируемости работ ученых, среди которых наиболее часто применяется широко известный, но неоднозначно принимаемый научным сообществом индекс Хирша (A-index) [Мотрошилова, 2011; Борисов, 2013; Назаренко, 2013а, 2013b; Михайлов, 2014, 2015]. При этом большинство авторов признают, что неправомерно абсолютизировать полученные данные и оценивать эффективность деятельности исследователя на основе только какого-то одного наукометрического показателя [ Стаценко и др., 2011; Индекс цитирования.., 2011].
Как общая цитируемость научных работ, так и рассчитываемый на ее основе импакт-фактор (ИФ) журналов, далеко не всегда являются объективными и надежными показателями. Они могут зависеть от ряда субъективных причин (периодичность выпуска издания, его тематическая направленность, свободный доступ, характер публикаций — обзорные статьи или оригинальные данные и др.), что, в свою очередь, может ограничивать использование этих наукометрических показателей в качестве независимого критерия при ранжировании рейтинга научных сотрудников по эффективности их публикационной деятельности [Козлова, 2007; Адлер и др., 2011; Кемпбелл, 2011; Розенберг, 2014].
Приходится признать, что некоторые наукометрические технологии, направленные на искусственное увеличение индивидуальных показателей цитируемости, зачастую не имеют ничего общего с реальным уровнем и эффективностью публикационной активности исследователя. Эти методы хорошо известны, им посвящено много критических публикаций [Адлер и др., 2011; Арнольд, Фаулер, 2011; Борисов, 2013; Розенберг, 2014] и даже сатирические клипы. Подчеркнем, что в нашей работе мы заведомо не учитывали возможное влияние таких недобросовестных манипуляций на показатели цитируемости анализируемых авторов, основываясь в своих выводах только на объективных статистических показателях сотрудников одного из институтов РАН, приведенных в открытой наукометрической базе elibrary.
Краткий анализ подходов и показателей для оценки научно-публикационной деятельности ученых
В системе elibrary—РИНЦ, которая разрабатывается в РФ с 2005 г. на платформе Научной электронной библиотеки и используется для оценки результативности работы в институтах РАН [Козлова, 2007; Стаценко и др., 2011; Беляева, 2012], в метаданных приводится около 40 различных статистик, а с учетом их комбинации — более 60, призванных отразить разные аспекты научно-публикационной активности ученых. В качестве ключевых показателей учитывается число публикаций
сотрудника, внесенных в базу РИНЦ, число цитирований всех его работ и рассчитанный по ним индекс Хирша (h-индекс). Основной целью создания РИНЦ была необходимость разработки объективной системы оценки и анализа публикационной активности и цитируемости отечественных авторов, изданий и институтов, которые оставались недооцененными в силу низкой представленности российских журналов (менее 5 %) в международных базах данных, ориентированных, главным образом, на учет изданий США и Европы [Ефимова, 2012].
Важно отметить, что если количество публикаций автора в таблице данных elibrary — РИНЦ объективно определяется числом введенных в базу его работ, то итоговые показатели уровня их цитируемости могут сильно варьировать в силу различных, в том числе субъективных, причин. Эти различия зависят от полноты учета цитирований работ автора по всей базе РИНЦ, включая «непривязанные» ссылки, а также неактивные («слепые») ссылки на более ранние статьи, взятые из списков цитированных источников, не внесенных в базу. В другом случае может учитываться только число «привязанных» цитирований, соответствующих списку публикаций в персональной таблице автора в базе РИНЦ. Показатель «привязанных» цитирований может отражать не только объективный интерес к работам данного автора, но и степень активности исследователя (а точнее — модератора от данного НИИ) по поиску и «привязке» в «ручном режиме» неучтенных цитирований к вводимым в БД работам. К сожалению, зачастую имеет место ситуация, когда вновь опубликованные статьи, цитирующие данного автора, загружаются в базу РИНЦ недостаточно оперативно, с задержкой в полгода-год. Особенно это относится к публикациям даже в рейтинговых иностранных журналах, часть которых вообще может так и не появиться в РИНЦ, хотя по иным БД (например: ResearchGate, GoogleScholar и др.) эти же статьи регулярно набирают цитирования. В таком случае преимущество получают статьи, цитирование которых отражено в периодических изданиях РФ (при том, что цитирования в изданиях WoS и SCOPUS считаются приоритетными и обязательно должны быть отражены в списке цитирования автора).
В связи с этим возникает вопрос: насколько учет имеющихся в БД основных показателей цитируемости может объективно отражать публикационный рейтинг ученого? Часто упоминаемые в работах по сходной тематике h-индекс (Хирша) и g-индекс [Назаренко, 2013а, 2013b; Михайлов, 2014, 2015] позволяют оценить (каждый по своему алгоритму) только характер распределения (выровненность) цитирований между публикациями; при этом заметное превышение значений g-индекса над h-индексом отражает наличие у данного сотрудника работ, которые цитируются значительно большее число раз, чем соответствующая величина индекса Хир-ша. Расчет h-индекса приводится в статистиках профилей индивидуальных авторов в БД РИНЦ. G-индекс (соотношение накопленной суммы цитирований в списке из n публикаций и значением n2) приводится лишь при сравнении научных показателей организаций, когда учитываются все вышедшие там публикации.
Как самостоятельный показатель h-индекс можно использовать при сравнительной оценке результативности труда научных работников, только когда имеет место сходный характер снижения числа цитирований в ранжированных списках их работ. Если же несколько работ имеет резко выделяющиеся высокие показатели цитируемости, то h-индекс при сравнительной оценке сотрудников уже не будет объективно отражать их публикационную активность и здесь уместнее параллельно применять и g-индекс.
Если, например, из 20 новых ссылок 10 будут цитировать одну и ту же статью, то помимо роста общего числа цитирований данного автора эта статья, в силу возросшего числа ее цитирований, может повлиять на увеличение й-индекса. Это особенно важно учитывать, когда индекс Хирша выбран в качестве одного из ключевых критериев сравнительной эффективности публикационной деятельности научных сотрудников. В альтернативном случае те же 20 цитирований в случае их «привязки» могут достаточно равномерно (по 1—2 ссылки) распределиться между многими публикациями данного автора, никак не влияя на изменения в индексе Хирша.
Как показал пример севастопольского Института морских биологических исследований РАН (с 01 июля 2019 г. — ФИЦ ИнБЮМ), лишь сравнительно недавно (с середины 2015 г.) официально введенного в базу еИЪгагу—РИНЦ, ряд сотрудников слабо уделяют внимание вопросу пополнения списков своих публикаций в базе РИНЦ, зачастую не вводят в нее ожидаемо мало цитируемые публикации (статьи в региональных сборниках и журналах, тезисы и пр.). В таком случае, если в качестве основного критерия успешности деятельности научного сотрудника принимается общее число публикаций (а именно этот показатель сейчас учитывается при избрании сотрудника на должность либо при переаттестации), то повышение его рейтинга будет определяться ростом числа работ, безотносительно того, насколько выпускаемые статьи актуальны и интересны и, соответственно, востребованы коллегами. Следствием подобного подхода может быть выпуск слабо разработанных или мелкотемных публикаций, результаты которых в дальнейшем вряд ли будут широко цитируемы коллегами. При регистрации в базе РИНЦ в списке работ такого сотрудника в дальнейшем будет присутствовать значительное число публикаций, вообще не набирающих цитирований. Заметим, что при анализе данных по 125 сотрудникам ИМБИ РАН с разным научным стажем, относящихся ко всем научно-должностным категориям (от м. н.с. до гл.н.с.), доля публикаций с нулевым цитированием составляет, в среднем, 44±3 % общего числа работ ученых Института, введенных в базу РИНЦ к настоящему времени (апрель 2019 г.).
Общее число введенных в систему РИНЦ публикаций автора (и соответственно, последующее число цитирований) также может зависеть и от объективных причин, в частности — от области и тематики исследований [Ушаков и др., 2015]. Как отметил в своем упомянутом выше интервью академик В. В. Козлов, «...создание новых подходов и получение надежных и хорошо проанализированных результатов требует, как правило, нескольких лет работы, в течение которых выпуск публикации не ожидается. Использование же простого числа публикаций следует отнести к деструктивным результатам любой системы расчета и оценки эффективности научной деятельности исследователя» [Индекс цитирования.., 2011].
Это утверждение особенно справедливо в тех областях гидробиологии, в частности в исследованиях донных сообществ (т. е. бентоса), где разборка, таксономическое определение и последующий экологический анализ исходно собранного биологического материала очень трудоемки и занимают много времени. Практика подобных исследований, проводимых специалистами ИМБИ РАН, показывает, что период между отбором исходных биологических проб и подготовкой итоговой публикации по этим материалам обычно составляет не менее 1,5—2 лет, а иногда даже более — в случае изучения межсезонной динамики показателей биоты, когда только сбор исходного материала растягивается на 1—1,5 года! Понятно, что при сравнении с публикациями по результатам, например, физиолого-биохимических
или биотехнологических экспериментов, выполняемых за 1—2 месяца, число выпускаемых статей по бентосной тематике за конечный отчетный период в целом будет заведомо меньше. Однако этот пониженный показатель сам по себе не должен служить основанием для вывода, что исследователи-бентологи работают хуже биотехнологов или физиологов!
Альтернативным подходом к оценке эффективности научной деятельности исследователя может быть тот, при котором в первую очередь учитывается число его цитирований, а именно — рейтинг сотрудника по й-индексу, отражающий уровень цитируемости работ. Такой подход также нельзя считать правильным, поскольку зачастую складывается ситуация, при которой исследователь, ранее опубликовав 2—4 высокоцитируемых работы, в дальнейшем почти не выпускает новых статей с заметным уровнем цитируемости, но при этом его рейтинг в общеинститутском списке продолжает выглядеть достаточно высоким.
Кроме того, корректное сравнение публикаций (и их авторов) по уровню ци-тируемости должно определяться и спецификой поставленных задач и ожидаемых результатов в сходной области проводимых исследований [Ушаков и др., 2015]. Например, публикации, посвященные вопросам классической гидробиологии или таксономической зоологии, могут набирать более низкую цитируемость, чем статьи, посвященные актуальным молекулярно-генетическим или биотехнологическим исследованиям. Так, по данным Института научной информации США (ISI, Thompson Scientific) [Amin, Mabe, 2000], среднее ежегодное количество ссылок на статью (по выборкам из нескольких тысяч публикаций) в таких рубриках, как «Биологические науки» и «Науки об окружающей среде», составляет около 2, тогда как в рубриках «Химия» или «Биомедицина» эти показатели превышают 4,5 [Адлер и др., 2011]. Поэтому корректность сравнения публикаций (и их авторов) по любым алгоритмам, в расчет которых входят показатели цитируемости, должна определяться на основе сопоставления только работ из сходной области исследований.
Как показали результаты анализа, даже в пределах близких направлений (в нашем примере — это биология и экология организмов и сообществ Черного моря) цитируемость работ сотрудников ИМБИ РАН может заметно различаться в силу, по крайней мере, следующих причин:
1. Издание, в котором была опубликована работа, малодоступно широкому кругу специалистов, которые потенциально могли бы цитировать эту работу. Это относится к трудам конференций (особенно зарубежных), статьям в региональных журналах и сборниках и пр.
2. С момента опубликования работы прошло мало времени, и статья еще не набрала соответствующее число цитирований (обычно такая «лаг-фаза» составляет, в зависимости от научной тематики и издания, от 1 до 3 лет).
3. Проблема, затронутая в работе, достаточно узка, а результаты — слишком специфичны, чтобы быть востребованными широким кругом коллег. Так, результаты изучения отдельных групп биоты на ограниченном участке побережья или акватории по итогам отбора разовых проб вряд ли будут широко цитироваться коллегами даже соседних профильных институтов, не говоря уже о специалистах, работающих в иных регионах. (Как пример, можно отметить низкую цитируемость одной из статей автора [Неврова, Петров, 2016], по данным базы РИНЦ.)
4. Низкая цитируемость работы определяется объективно малым числом исследователей, которые занимаются затронутыми в статье проблемами или объектами. Например, морскими донными диатомовыми водорослями в РФ занимаются всего полтора-два десятка специалистов, поэтому возможность цитирования ими статьи по этой теме, даже опубликованной в журнале, индексируемом в базах Web of Science или Scopus, будет незначительна (см. цитируемость статьи [Petrov, Nevrova, 2014] по данным базы РИНЦ).
С учетом вышеуказанных предпосылок, мы постарались разработать такой интегральный показатель эффективности публикационной активности, который удовлетворял бы следующим основным требованиям: 1) отражал бы разные аспекты публикационной деятельности ученого; 2) содержал бы наиболее понятные и легко извлекаемые из БД показатели; 3) был бы сравнительно прост для расчетов даже неспециалистами; 4) по возможности не зависел бы от разных субъективных ограничений, связанных с особенностями опубликования в изданиях разного уровня и характером внесения в БД информации о публикациях.
На наш взгляд, наиболее объективным подходом в оценке эффективности работы исследователя можно считать тот, при котором учитывается как общее число зарегистрированных в базе РИНЦ публикаций, так и число цитирований, т. е. расчет среднего числа «привязанных» цитирований на одну введенную в базу РИНЦ публикацию. Однако при расчете такого показателя может возникнуть проблема, когда, например, два ученых, гипотетически выпустивших по 10 работ с набранными 100 цитированиями, могут получить одинаковый рейтинг. При этом у первого автора одна из работ получила 80 цитирований, а остальные 9 — по 1—3, а у второго — каждая работа набирает по 8—12 цитирований, в сумме также дающих 100. Данный пример сходен с хорошо знакомой гидробиологам аналогичной задачей по оценке различий в характере распределения видов по численности в каждом из двух сравниваемых сообществ биоты.
Кто из этих двух ученых работает более эффективно — вопрос дискуссионный, и мнения могут быть разными! В приведенном случае как раз уместно использование индекса Хирша, разница значений которого позволяет оценить различный характер распределения цитирований между работами этих авторов. В первом случае распределение цитирований будет соответствовать гиперболической или степенной модели, а сам й-индекс будет, как правило, на несколько единиц ниже, чем во втором случае при относительно плавном (близком к линейному) снижении числа цитирований вдоль оси ранговой последовательности работ (рис. 1).
Полагаем, что наиболее объективная оценка результативности деятельности научных сотрудников (работающих в сходной области исследований) может быть осуществлена при совместном учете всех основных наукометрических показателей (число публикаций, число «привязанных» к этим публикациям цитирований, индекс Хирша), отражающих разные стороны научно-публикационной деятельности, не скоррелированных тесно между собой (коэффициент линейной парной корреляции R между этими статистиками и й-индексом составляет 0,64—0,73). Поэтому мы считаем, что предложенный нами индекс РПД является новым показателем, а не одной из производных модификаций й-индекса.
Цель данной работы, основанной на учете и анализе изменений основных наукометрических показателей, взятых из базы РИНЦ, состояла в разработке
1 3 5 7 9 11 13 15 17 19 21
Ранг публикации
Рис. 1. Кривые распределения числа «привязанных» цитирований (всего около 290 для каждого автора) первых 22 публикаций в индивидуальных списках РИНЦ у двух исследователей ИМБИ РАН. Для автора «С» индекс Хирша составил 12, для автора «Г» — 8
и практической апробации алгоритма оценки эффективности публикационной деятельности среди разных категорий научных сотрудников.
Исходные данные и методы. При разработке алгоритма для оценки эффективности научно-публикационной деятельности научных сотрудников институтов РАН (на примере Института морских биологических исследований им. А. О. Ковалевского РАН, г. Севастополь), в качестве базовых наукометрических показателей использованы 3 следующие статистики, содержащиеся в открытом доступе в базе Е-ИЬгагу—РИНЦ по каждому из 125 работников (от м. н.с до гл.н.с) (репрезентативная выборка из 160 научных сотрудников института):
1) число введенных в базу РИНЦ публикаций исследователя за период его публикационной деятельности. Учитывались только публикации, имеющие ненулевое цитирование (П1), но с учетом самоцитирований;
2) число «привязанных» к этим публикациям цитирований (Ц), включая самоцитирования;
3) индекс Хирша (Х ), рассчитанный по этим параметрам.
Предложено использовать следующий индекс Результативности Публикационной Деятельности (РПД):
Ц
РПД = • X ,
П пр
При статистической обработке данных использованы стандартные алгоритмы параметрического вариационного анализа, содержащиеся в пакете МБ Ехсе1-2007.
Результаты и обсуждение. Результаты оценки связи между числом публикаций (П:) и числом «привязанных» цитирований (Цпр), проведенной по выборке сотрудников ИМБИ, ожидаемо показали достаточно тесную прямую зависимость, наиболее точно описываемую степенным уравнением с коэффициентом 1,25 (Я. 2=0,86) (рис. 2А). Схожая прямая зависимость, но со степенным коэффициентом 0,58 была выявлена между увеличением числа публикаций (с ненулевым цитированием) и индексом Хирша (Я 2=0,83) (рис. 2Б).
Рис. 2. Изменение числа «привязанных» цитирований (Цпр) (А) и индекса Хирша (Б) для списка публикаций с ненулевым цитированием (П1) у 125 сотрудников ИМБИ РАН. Область рассеивания эмпирических точек на рис. 2А разделена пунктиром на 4 зоны (I—IV), в соответствии с медианными значениями параметров П1 (32,7) и Цпр (207)
Для оценивания корректности сопоставления результатов между группами исследователей, чьи показатели публикационной активности могут различаться в силу объективных причин, например разного научного стажа, для каждого сотрудника выполнен расчет доли публикаций с ненулевым цитированием от общего числа его публикаций в базе РИНЦ. Результаты показали, что эта доля не зависит достоверно (для уровня значимости Р=0,05) от общего числа работ сотрудника и может колебаться от 13 до 93 %. Характер распределения этого показателя по выборке из 125 сотрудников ИМБИ разных должностных категорий оказался близок к нормальному, с модальным значением 57 %. Достаточно высокие значения стандартного отклонения (18,45) и коэффициента вариации (33 %) также указывают на значительную вариативность разброса эмпирических данных от центра рассеяния (табл. 1).
Выполнен статистический анализ возможной вариативности доли числа «привязанных» цитирований исследователя (что может зависеть от его активности по поиску и «привязке» своих неучтенных цитирований) от общего числа цитирований его работ в базе РИНЦ. Результаты анализа показали, что доля «привязанных» цитирований может меняться от 20 до 100 % общего числа цитирований. Эти количественные данные распределяются по нормальному закону с модальным значением около 63 % (см. табл. 1). Эти результаты позволяют корректно проводить сравнение итогов научно-публикационной деятельности исследователей из разных групп, безотносительно принятия в расчет как объективных различий, связанных с научным
Таблица 1. Вариационные показатели некоторых параметров публикационной активности по выборке из 125 сотрудников ИМБИ РАН
Биометрические показатели публикационной активности Доля (%) публикаций с ненулевым цитированием от общего числа публикаций автора в РИНЦ Доля (%) цитирований «привязанных» публикаций от общего числа цитирований автора в РИНЦ
Среднее значение 56,61 62,68
Станд. ошибка 1,73 1,35
Медиана 56,27 62,76
Мода 50,00 66,67
Станд. отклонение 18,45 14,40
Дисперсия выборки 340,40 207,45
Эксцесс -0,41 0,05
Асимметричность -0,30 -0,16
Коэф. вариации (%) 32,60 23,00
Минимум 12,70 20
Максимум 93,18 100
стажем, так и субъективных — в связи с разной активностью авторов по пополнению своих списков работ в базе РИНЦ.
Итоги анализа статей сотрудников ИМБИ, опубликованных в изданиях, входящих в наукометрические базы (НБ) Web of Science (WoS) и Scopus, показали, что цитируемость таких работ не обязательно намного выше, чем у статей, опубликованных в отечественных журналах, индексируемых только по базе РИНЦ. Так, доля публикаций с нулевым цитированием в журналах WoS / Scopus составляет в среднем 22,3±2,4 % по всей выборке из 125 человек. Если же принять в расчет и публикации, имеющие единичное цитирование (как правило, это самоцитирования), то доля таких работ составит в среднем 46,3±2,8 % общего числа статей, опубликованных сотрудниками ИМБИ в изданиях, индексируемых в WoS / Scopus. Этот процент может меняться в зависимости от общего числа работ автора (что косвенно отражает его научный стаж), опубликованных в журналах, индексируемых в НБ WoS / Scopus. Так, для группы, куда отнесены сотрудники института, каждый из которых опубликовал не более 11—12 работ в высокорейтинговых журналах, доля статей с нулевым цитированием (в таких журналах) достигает в среднем 31,6±4,1 % при размахе вариативности этого показателя от 0 до 80 %. Среди двух других статистически репрезентативных групп исследователей с более продолжительным научным стажем и опубликовавших по 12—25 и 26—60 работ в изданиях WoS / Scopus, доля статей с нулевым цитированием значительно ниже и в среднем составляет 14,4±2,5 % и 13,6±2,7 %, соответственно. Достоверные различия (при Р=0,05) между этими средними отсутствуют. Однако размах вариации доли статей с нулевым цитированием и в этих группах сотрудников ИМБИ значителен: от 20 до 50 %. Полученные результаты свидетельствуют, что при достижении определенного научного стажа и опыта, которому может соответствовать 13—15 публикаций, выпущенных в высокорейтинговых журналах, востребованность и интерес к научным результатам сотрудника уже напрямую не зависит от продолжительности его научной деятельности и числа выпущенных статей. Публикационная эффективность может опре-
деляться скорее тематикой исследований, составом авторской группы, куда входят зарубежные коллеги, и популярностью журнала, в котором публикуются статьи данного ученого. Такой вывод снимает критику о некорректности сравнения научно-публикационной эффективности работников НИИ (например, при аттестации на должность), имеющих объективно разный научный стаж и опыт.
Проанализируем более детально зависимость числа «привязанных» цитирований (Ц) от числа введенных в базу РИНЦ публикаций с ненулевым цитированием (П1) (см. рис. 2А). Эмпирические данные характеризуются большим рассеянием: например, ряд исследователей ИМБИ РАН, опубликовавших примерно по 30—35 работ, имеют по ним суммарно от 40 до 700 цитирований. В свою очередь, ряд авторов, имеющих общее число цитирований около 340—360, опубликовали от 18 до 110 трудов. Столь большой разброс данных затрудняет надежность оценки РПД в случае, когда сравнение результатов основано лишь на одном из базовых наукометрических показателей. Эллипс рассеяния эмпирических точек в пределах координатной плоскости можно условно разделить на 4 четверти (зоны), в соответствии с медианными значениями параметров П1 (32,7) и Цпр (207) (обозначены пунктиром на рис. 2А). Точки (около 65 % общего их числа), группирующиеся в пределах 1-й четверти, соответствуют показателям авторов с пониженным числом как публикаций, так и цитирований по сравнению с условным средним для института уровнем (32—34 публикации в РИНЦ на одного автора при 210—220 «привязанных» цитированиях). Во второй четверти (7 % точек) находятся показатели для авторов с большим количеством введенных публикаций, но невысоким уровнем их цитируемости. Следует ожидать, что у сотрудников, чьи показатели соответствуют 2-й зоне, многие учтенные в РИНЦ публикации имеют единичное цитирование (как правило, самоцитирование). В 3-й четверти сосредоточены результаты авторов (20 % точек) с высокими показателями как по числу публикаций, так и по их цитируемости, что позволяет считать таковых сотрудников наиболее эффективно работающими. И, наконец, в пределах 4-й четверти сгруппированы данные (8 % точек) сотрудников, имеющих достаточно высокие показатели цитируемости своих работ, но число публикаций ниже условного среднего для института уровня. Такие авторы имеют, как правило, 1—2 публикации с очень высоким цитированием (100—300), либо 4—8 работ с цитированием средним и выше среднего по институту. Подобные различия в характере распределения числа цитирований между публикациями как раз и возможно оценивать по индексу Хирша, что и обусловило его учет при разработке интегрального показателя РПД. На основе индекса РПД нам удалось получить более однозначную картину сравнительной публикационной активности исследователей ИМБИ. Значения индекса РПД, ранжированные от максимальных до минимальных по всей выборке сотрудников ИМБИ РАН, представлены на рис. 3.
Достаточно равномерно снижающийся ряд (от 200 до 1) индивидуальных показателей РПД, рассчитанных для сотрудников ИМБИ (безотносительно их научного стажа и продолжительности работы в институте), можно условно разделить на 4 квартиля, каждый их которых включает данные по 31—33 авторам (табл. 2).
Первый квартиль (ранговые значения от 1 до 30) содержит значения индекса РПД от наивысших (более 200) до 50. В эту группу отнесены наиболее эффективно работающие сотрудники, большинство из которых наряду с высоким уровнем ци-тируемости своих публикаций имеют и наиболее высокие (для данного института) значения й-индекса Хирша (10—16). У сотрудников, отнесенных во второй квартиль
Рис. 3. Ранжированный нисходящий ряд значений индекса РПД с разбивкой на квартили для выборки из 125 сотрудников ИМБИ РАН
(индекс РПД от 50 до 20), й-индекс равен 6—9 при среднем числе публикаций в БД РИНЦ около 58—60. Эту группу составляют успешно работающие сотрудники, куда входят как ученые с большим научным стажем, так и сравнительно молодые исследователи. В третий квартиль (индекс РПД от 20 до 10) относятся сотрудники со средней эффективностью публикационной активности. И наконец, в четвертый квартиль (индекс РПД менее 10, а й-индекс не более 3—4) отнесены как некоторые сотрудники с большим научным стажем, но низкой публикационной эффективностью, так и большинство молодых ученых, чей научный стаж и, соответственно, публикационная деятельность еще невелики. Для сотрудников из этой категории характерна наивысшая доля работ (в среднем, около 62 %), которые не получили даже единичного цитирования (см. табл. 2).
Таблица 2. Средние значения наукометрических показателей по квартилям ранжированного ряда индекса РПД, рассчитанного для сотрудников ИМБИ РАН
Квартили Диапазон индекса РПД Среднее значение индекса Хирша (Ь±8Е*) Среднее число публика- Среднее число цитирований в РИНЦ (Ц^) Средняя доля (%) публикаций с нуле-
ряда ций в РИНЦ (Побщ±§Е) вым цитированием (П^Е)
I 200 + 50 10,2 ± 0,4 72,3 ± 7,5 644,7 ± 53,8 26,5 ± 2,0
II 50 + 20 6,7 ± 0,3 56,3 ± 5,4 291,9 ± 36,1 37,3 ± 2,3
III 20^10 4,3±0,1 39,2±2,7 114,7+10,2 50,7+1,9
IV Ниже 10 2,0±0,2 18,5±2,4 30,0±5,5 62,4+2,7
* 8Е — стандартная ошибка средней по выборке
Отметим, что средняя доля публикаций с нулевым цитированием возрастает почти в 2,5 раза (от 26 до 62 %) при последовательном переходе от первого квартиля к четвертому. На первый взгляд, это может быть связано с тем, что работы зрелых исследователей с большим научным стажем вызывают, как правило, большой интерес научного сообщества; кроме того, значительные сроки, прошедшие с момента опубликования многих их работ, также могут способствовать накоплению цитирований. Однако важно отметить, что в составе даже первого квартиля (а во втором и третьем их доля еще выше) присутствуют и относительно недавно пришедшие в науку исследователи, но имеющие не только значительное число публикаций, но и, что еще важнее, высокие показатели цитируемости. Это свидетельствует об актуальности тематики их публикаций и интересе к работам со стороны коллег. В свою очередь, в состав третьего и даже четвертого квартиля, помимо молодых и сравнительно недавно работающих в науке исследователей, входят и сотрудники с большим научным стажем и высоким должностным рангом, но заметная часть работ которых не получила ни одного цитирования, несмотря на значительные сроки с момента их опубликования.
Заключение и выводы
В силу сложности и творческой многогранности исследовательского процесса вряд ли может быть разработан универсальный показатель, способный исчерпывающе объективно и надежно оценивать научно-публикационную деятельность работника НИИ. Очевидно и то, что эффективность и продуктивность работы любого исследователя неправомочно сводить лишь к нескольким наукометрическим показателям и на их основании выстраивать рейтинги. Помимо формальных количественных показателей вклад ученого в науку должен оцениваться также и по содержанию отзывов других коллег на его труды, что подводит к выводу о необходимости обязательного использования системы экспертных оценок, выдаваемых специалистами в каждой области исследований.
Однако системы рейтинговых оценок значимости публикаций (и в целом, труда ученых), принятые во многих научных институтах РАН, также несут определенную долю субъективизма. Это связано главным образом с дифференцировкой журналов и их импакт-факторов (и, соответственно, оценкой напечатанных в них работ), при этом приоритетность в балльном выражении получают издания, выпускаемые в США и Европе.
Так, статья, опубликованная в журнале, входящем в международные наукометрические базы (WoS, Scopus, Scholar citation counter и др.), в соответствии с принятыми у нас в стране методиками оценки, всегда получает более высокий балл в рейтинге по сравнению с публикацией в журналах, не входящих в НБ WoS и SCOPUS. Однако это не обязательно означает, что такая статья всегда полностью соответствует высокому научному уровню издания. Как показали итоги нашего анализа, уровень востребованности (цитируемости) статей из журналов, формально входящих в базы WoS / Scopus, далеко не всегда намного выше, чем у статей, опубликованных в отечественных журналах. Кроме того, уровень интереса к публикации, а соответственно — и ее цитируемость не обязательно напрямую зависит от статуса издания
(монография, рейтинговый журнал или региональный сборник). Но в универсальной рейтинговой системе оценок публикация в коллективной монографии всегда получит больший балл по сравнению со статьей в сборнике, хоть данные из этой монографии, возможно, ни разу не процитируются! Можно привести немало подобных примеров, когда на приоритетное место выходит научная работа не столько по ее содержанию (и возможному интересу к ней у коллег), сколько в соответствии со «статусностью» издания, в котором она напечатана.
Результаты анализа публикационной активности на примере выборки из 125 научных сотрудников ИМБИ РАН с различным научным стажем показали, что:
1) сравнительная оценка эффективности публикационной деятельности исследователей, основанная лишь на одной из ключевых наукометрических статистик базы РИНЦ (общее число публикаций, число «привязанных» цитирований или й-индекс Хирша), недостаточно надежна, поскольку итоги ранжирования сотрудников по значениям каждого из этих показателей могут давать различные результаты в зависимости от причин, напрямую не связанных с публикационной активностью;
2) доля публикаций с нулевым цитированием достоверно не зависит от общего числа работ сотрудника и его научного стажа, и может колебаться от 7 до 87 %. Характер распределения этого показателя по выборке сотрудников ИМБИ близок к нормальному, с модальным значением около 44 %;
3) импакт-фактор как отечественных, так и зарубежных журналов не коррелирует с уровнем индивидуальных публикационных показателей (цитиру-емость) сотрудников ИМБИ, поэтому ИФ изданий, в которых напечатаны работы, не следует учитывать при оценке научно-публикационной эффективности исследователей;
4) опубликование в журналах, индексируемых в наукометрических базах WoS / Scopus, не означает безусловный приоритет таких работ по уровню их востребованности; доля статей с нулевым цитированием (для исследователей с различным научным стажем) может в среднем составлять от 13 до 35 % от числа всех публикаций сотрудников в изданиях WoS/Scopus;
5) при расчете индекса РПД следует учитывать только число публикаций, имеющих ненулевое цитирование по «привязанным» ссылкам в базе РИНЦ, что повышает объективность оценки, поскольку отсутствие цитирований может иметь разные причины, не всегда связанные с неэффективностью работы сотрудника как ученого;
6) индекс РПД, основанный на комбинации основных наукометрических показателей цитируемости публикаций, но не зависящий от рейтинга и статуса издания, может использоваться в качестве дополнительного алгоритма при сравнительной оценке эффективности научно-публикационной активности сотрудников НИИ РАН, работающих в сходной научной области.
Литература
Адлер Р., Эвинг Дж., Тейлор П. Статистики цитирования // Игра в цыфирь, или Как теперь оценивают труд ученого (Сборник статей). М.: МЦНМО, 2011. С. 6—38.
Арнольд Д., Фаулер К. «Гнусные цифры» (Перевод С. Кузнецова) ИСП РАН, 2011. [Электронный ресурс]. URL: http://www.ras. ru/news/shownews.aspx?id=e0587895-686c-42af-9e4e-334071d0be06 (дата обращения: 19.05.2018).
Беляева С. А. Российский индекс научного цитирования поможет оценить деятельность ученого и организации // ПОИСК. 2012. № 16. URL: http://www.poisknews.ru/theme/ science/3313/ (дата обращения: 14.05.2018).
Борисов А. В. Проблемы цитируемости в научном сообществе // Научное обозрение. 2013. URL: https://kpfu.ru/news/novosti-i-obyavleniya/pogonya-za-olenyami-46856.html (дата обращения: 11.06.2018).
Ефимова Г. З. Анализ эффективности наукометрических показателей при оценке научной деятельности // Вестник Тюменского госуниверситета. 2012. № 8. C. 14—21.
Индекс цитирования для оценки результативности научной работы: методические рекомендации / сост.: М. Е. Стаценко, Г. Л. Снигур, О. Ю. Демидова, В. Н. Пароваева. Волгоград: ВолГМУ, 2011. 30 с.
Кемпбелл Ф. Бегство от импакт-фактора // Игра в цыфирь, или Как теперь оценивают труд ученого (Сборник статей). М.: МЦНМО, 2011. C. 46-51.
Козлов В. В. «Индекс цитирования — инструмент, а не цель!» (интервью 14.04.2011). URL: http://www.ras.ru/news/shownews.aspx?id =e0587895-686c-42af-9e4e-334071d0be06 (дата обращения: 21.04.2018).
Козлова И. В. Индекс научного цитирования и импакт-фактор издания — инструмент оценки труда исследователя // Строительные материалы. 2007. № 12. С. 58-60.
Марвин С. В. Нормированная долевая цитируемость как универсальная характеристика научной публикации // Социология науки и технологий. 2016а. Т. 7. № 1. С. 95-108.
Марвин С. В. Нормированный показатель публикационной активности, учитывающий количество соавторов научных публикаций // Социология науки и технологий. 2016b. Т. 7. № 4. С. 116-133.
Миланов Н. О., Помелова Л. А., Гурвич А. Э. Индекс научного цитирования // Анналы пластической, реконструктивной и эстетической хирургии. 2009. № 1. С. 69-72.
Михайлов О. В. О возможной модификации индексов Хирша и Эгга с учетом соавторства // Социология науки и технологий. 2014. Т. 5. № 3. С. 48-56.
Михайлов О. В. Новая версия й-индекса с учетом числа соавторов и порядка их перечисления в научной публикации // Социология науки и технологий. 2015. Т. 6. № 2. С. 24-32.
Мотрошилова Н. В. Недоброкачественные сегменты наукометрии // Вестник РАН. 2011. T. 81. № 2. С. 134-146.
Назаренко М. А. Наукометрия Н-индекса (индекс Хирша) и G-индекса современного ученого // Международный журнал экспериментального образования. 2013a. № 7. С. 185-186.
Назаренко М. А. Н-индекс (индекс Хирша) и G-индекс в современных научных исследованиях // Международный журнал экспериментального образования. 2013b. № 7. С. 186-187.
Неврова Е. Л., Петров А. Н. Оценка таксономического разнообразия донных диатомовых водорослей (Bacillariophyta) бухты Двуякорная (Крым, Чёрное море) // Морские биологические исследования: достижения и перспективы: материалы Всерос. науч.-практ. конф. (Севастополь, 19-24 сент. 2016 г.): В 3 т. Севастополь: Изд-во «ЭКОСИ-Гидрофизика, 2016. Т. 2. С. 108-111.
Розенберг Г. С. Об импакт-факторах отечественных журналов эколого-биологического профиля // Научная жизнь — Самарская Лука: проблемы региональной и глобальной экологии. 2014. T. 23. № 2. C. 5-23.
Смирнова Н. А. Методы библиометрии в оценке деятельности научных гуманитарных журналов (ЦНБ УрО РАН). 2014. URL: https://www.benran.ru/SEM/Sb_12/bornik/30.pdf (дата обращения: 16.06.2018).
Ушаков Д. В., Юревич А. В., Гаврилова Е. В., Голышева Е. А. Публикационная активность и цитируемость ученых: различия научных областей и возрастных когорт // Социология науки и технологий. 2015. Т. 6. № 1. С. 16-28.
Amin M., Mabe M. Impact Factor: Use and Abuse // Perspectives in Publishing. 2000. Vol. 1. P. 1-6.
Petrov A. N., Nevrova E. L. Numerical Analysis of the Structure of Benthic Diatom Assemblages in Replicate Samples (Crimea, the Black Sea) // Nova Hedwigia. 2014. Vol. 143. P. 245-253. DOI: 10.1127/1438-9134/2014/012.
New Index for Estimation of Scientific-Publication Efficiency Based on the Scientometric Parameters of the Open-Access RISC Database
AlexeyN. Petrov
A. O. Kovalevsky Institute of Marine Biological Research RAS, Sevastopol, Russia; e-mail: alexpet-14@mail.ru
Using the example of one of the research institution the RAS, the article investigates the features of the formation and fluctuation of the main scientometric rates of publication activity in the open access database "E-library-RISC". The author considers the relative efficiency of solely application of key scientometric rates, i.e the number of publications, «binded» and «unbound» citations and the Hirsch (¿-index) to comparative evaluation of the publication activity effectiveness (PAE) of researchers. Basing on a sampling of about 125 authors from IMBR RAS, the article analyzes the trends of changing in the PAE and possible causes that affect these changes. Based on the examined scientometrics, a simple and effective PAE index is proposed for an objective evaluation of the PAE level of different categories of employees. The PAE index is calculated as the ratio of the number of «binded» citations of an employee to the number of his publications with non-zero citations in the RISC database, and the quotient is multiplied by the value of the ¿-index. The proposed PAE index can be applied for the more objective professional assessment of personnel, incentive salaries and other bonuses charges under successful carrying out the State assignment programs and in other types of differential evaluation of the activities of scientists.
Keywords: scientometry, publishing efficiency, Russian index of scientific citation (RISC), Hirsch ¿-index, citedness, hydrobiology, IMBR.
Acknowledgments
This research was carried out in the IMBR RAS, within the framework of the state assignment on the theme № 0828-2018-0002 "Ecological and phylogenetic aspects of formation and anthropogenic transformation of biodiversity and resource potential of the ecosystems of the Azov-Black Sea basin and other regions of the World Ocean" (state registration № AAAA-A18-118020890074-2). The author would like to give special appreciation to Head of scientific library of the IMBR RAS, Olga A. Akimova and to leading researcher of the Benthos Ecology dept. IMBR Nikolay K. Revkov for their consulting assistance and valuable advises under analysis of the materials for this article.
References
Adler, R., Eving, G., Taylor, P. (2011). Statistiki tsitirovaniya [Citation statistics], Igra v tsyfir', ili kak teper' otsenivayut trud uchenogo (Sbornik statey) [Playing "tsifir", or how the work of a scientist is now assessed (Collection of papers)], Moskva: MTsNMO Publ., pp. 6-38 (in Russian).
Amin, M., Mabe, M. (2000). Impact Factor: Use and Abuse, Perspectives in Publishing, vol. 1, pp. 1-6.
Arnold, D.N, Fowler, K.K. (2011). Gnusnye tsyfry [Nefarious Numbers], Notices of the American Mathematical Society, vol. 58, no. 3, pp. 434-437. Available at: http://www.ras.ru/news/shownews. aspx?id=e0587895-686c-42af-9e4e-334071d0be06 (date accessed: 19.05.2018) (in Russian).
Belyaeva, S.A. (2012). Rossiyskiy indeks nauchnogo tsitirovaniya pomozhet otsenyt' deyatel-nost' uchenogo i organizatsii [The Russian Science Citation Index will help evaluate the activities of a scientist and organization], POISKPubl. № 16. Available at: http://www.poisknews.ru/theme/ science/3313/ (date accessed: 14.05.2018) (in Russian).
Borisov, A.V. (2013). Problemy tsitiruemosti v nauchnom soobshchestve [Problems of citation in the scientific community], Nauchnoye obozreniye. Available at: https://kpfu.ru/news/novosti-i -obyavleniya/pogonya-za-olenyami-46856.html (date accessed: 11.06.2018) (in Russian).
Campbell, F. (2011). "Begstvo ot impact-faktora" [Escape from the impact factor], in: Igra v tsy-fir' ili kak teper' otsenivayut trud uchenogo (Sbornikstatey) [Playing "tsifir", or how the work of a scientist is now assessed (Collection of papers)], Moskva: MTsNMO Publ., pp. 46-51 (in Russian).
Efimova, G.Z. (2012). Analiz effektivnosti naukometricheskykh pokazateley pri otsenke nauch-noy deyatelnosti [Analysis of the effectiveness of scientometric indicators in the evaluation of scientific activity], Vestnik Tyumenskogogosuniversiteta, no. 8, pp. 14-21 (in Russian).
Kozlov, V.V. (2011). Indeks tsytirovaniya — instrument, a ne tsel'! [Citation index is a tool, not a goal] (interview 14.04.2011). Available at: http://www.ras.ru/news/shownews.aspx?id=e0587895-686c-42af-9e4e-334071d0be06 (date accessed: 21.04.2018) (in Russian).
Kozlova, I.V. (2007). Indeks nauchnogo tsytirovaniya i impact-faktor izdaniya — instrument otsenki truda issledovatelya [Science Citation Index and Impact Factor Edition — a tool for assessing the work of a researcher], Stroitel'nye materialy, no. 12, pp. 58-60 (in Russian).
Marvin, S.V. (2016a). Normirovannyy pokazatel' publikatsionnoy aktivnosti, uchityvayushchiy kolichestvo soavtorov nauchnykh publikatsiy [Normalized index of publication activity, taking into account the amount of co-authors of a scientific publication], Sotsiologiya nauki i tekhnologiy, vol. 7, no. 4, pp. 116-133 (in Russian).
Marvin, S.V. (2016b). Normirovannaya dolevaya tsitiruyemost' kak universl'naya kharakteristika nauchnykh publikatsiy [Normalized shared citation as a universal characteristic of a scientific publication], Sotsiologiya nauki i tekhnologiy, vol. 7, no. 1, pp. 95-108 (in Russian).
Mikhaylov, O.V. (2014). O vozmozhnoy modifikatsii indeksov Khirsha i Egga s uchetom soav-torstva [About of possible modification of Hirsch's and Egg's indexes taking into account the coau-thorship], Sotsiologiya nauki i tekhnologiy, vol. 5, no. 3, pp. 48-56 (in Russian).
Mikhaylov, O.V. (2015). Novaya versiya h-indeksa s uchetom chisla soavtorov i poryadka ikh perechisleniya v nauchnoy publikatsii [The new version of the h-index taking into account the amount of co-authors and order of their enumeration in a scientific publication], Sotsiologiya nauki i tekhnologiy, vol. 6, no 2, pp. 24-32 (in Russian).
Milanov, N.O., Pomelova, L.A., Gurvich, A.E. (2009). Indeks nauchnogo tsytirovaniya [Science Citation Index], Annalyplasticheskoy, rekonstruktivnoy i esteticheskoy khirurgii, no. 1. pp. 69-72 (in Russian).
Motroshilova, N.V. (2011). Nedobrokachestvennye segmenty naukometrii [Off-grade segments of scientometry], Vestnik RAN, vol. 81, no. 2, pp. 134-146 (in Russian).
Nazarenko, M.A. (2013a). Naukometriya H-indeksa (indeks Hirsch'a) i G-indeksa sovremen-nogo uchenogo [Scientomentry of the H-index (Hirsch) and G-index of the modern scientist], Mezh-dunarodnyy zhurnalexperimentalnogo obrazovaniya, no. 7, pp. 185-186 (in Russian).
Nazarenko, M.A. (2013b). H-indeks (indeks Hirsch'a) i G-indeks v sovremennykh nauchnykh issledovaniyakh [H-index (Hirsch) and G-index in the modern scientific studies], Mezhdunarodnyy zhurnal experimentalnogo obrazovaniya, no. 7, pp. 185-186 (in Russian).
Nevrova, E.L., Petrov, A.N. (2016). "Otsenka taksonomicheskogo raznoobraziya bentosnykh diatomovykh (Bacillariophyta) v bukhte Dvuyakornaya (Krym, Chernoye more)" [Assessment of taxonomical diversity of benthic diatoms (Bacillariophyta) at Dvujakornaya Bay (Crimea, the Black Sea)], in: Morskiye biologicheskie issledovaniya: dostizheniya iperspektivy [Marine biological studies:
achievements and prospectives], Proceed. of Internat. conf. (Sevastopol, 19—24 Sept., 2016), Sevastopol': "EKOSI-Hydrophysika" Publ., vol. 2, pp. 108-111 (in Russian).
Petrov, A.N., Nevrova, E.L. (2014). Numerical Analysis of the Structure of Benthic Diatom Assemblages in Replicate Samples (Crimea, the Black Sea), NovaHedwigia, vol. 143, pp. 245-253. DOI: 10.1127/1438-9134/2014/012.
Rozenberg, G.S. (2014). Ob impact-faktorakh otechestvennykh zhurnalov ecologo-biologichesk-ogo profilya [On the impact factors of domestic journals of ecological and biological profile], naya z¿izn' — Samarskaya Luka: problemy regionalnoy i globalnoy ekologii, vol. 23, no. 2, pp. 5-23 (in Russian).
Smirnova, N.A. (2014). Metody bibliometrii v otsenke deyatelnosti nauchnykh gumanitarnykh zhurnalov [Methods ofbibliometrics in assessing the activities of scientific humanitarian journals] Available at: https://www.benran.ru/SEM/ Sb_12/bornik/30.pdf (date accessed: 16.06.2018) (in Russian).
Statsenko, M.E., Snigur, G.L., Demidova, O. Yu., Parovaeva, V.N. (eds.) (2011). Indeks tsyt-irovaniya dlya otsenki rezul'tativnosti nauc¿noy raboty: metod^eskiye rekomendatsii [Citation index for assessing the effectiveness of scientific work: guidelines], Volgograd: 'VolGMU' Publ., pp. 1-30 (in Russian).
Ushakov, D.V., Yurevich, A.V., Gavrilova, E.V., Golysheva, E.A. (2015). Publikatsionnaya ak-tivnost' i tsitiruemost' uchenykh: razlichiya hauchnykh oblastey i vozrastnykh kogort [Publication activity and scientists citedness: differences of scientific domains and age cohorts], Sotsiologiya nauki i tek¿nologiy, vol. 6, no. 1, pp. 16-28 (in Russian).
