CC BY
127
УДК 001.89 + 519.24 ББК 78.5
РОЛЬ БИБЛИОМЕТРИИ В ОЦЕНКЕ ИССЛЕДОВАТЕЛЬСКОЙ АКТИВНОСТИ НАУКИ
Маршакова-Шайкевич И. В. 1
(ФГБУН Институт философии РАН, Москва)
Рассматриваются библиометрический подход к исследованию науки, формы, методы и показатели цитирования. Даются примеры библиометрической оценки авторов, научных журналов и вузов России. Материалом для исследований служили базы данных, представленные на платформе Web of Knowledge (ISI/Thomson Reuters Scientific).
Ключевые слова: исследовательская активность, показатели цитирования, нормализованный показатель K.
Библиометрический подход к исследованию науки известен с 60-70-х годов прошлого столетия, но стал активно использоваться во многих странах мира в 90-е годы прошлого столетия в связи с появлением новых информационных технологий. Материалом в таких исследованиях прежде всего служили и служат до сих пор базы данных ISI (ныне ISI/Thomson Reuters) [9, 10, 11, 16]. На мировом информационном рынке эти базы доступны на электронных носителях, а также через Интернет. Внимание мирового библиометрического сообщества направлено на разработку новых библиометрических и вебометрических показателей науки, основанных на публикационной активности и цитировании, а также алгоритмических методов классифицирования различных объектов науки (авторов, публикаций, журналов, стран, областей знания).
Дирек де Солла Прайс отмечал, что научная информация есть нечто гораздо большее, чем только проблема научной литературы и научных библиотек. Научная статья отнюдь не являет-
1 Ирина Владимировна Маршакова-Шайкевич, доктор философских наук, в.н.с.,([email protected]).
ся неизменной единицей информации, которую публикуют, накапливают, находят и выдают по требованию. Она - меняющаяся часть социальной ткани науки, и она производится в одних условиях, а используется в других [17]. Развивая эту идею Д. Прайса, можно выделить два аспекта в использовании научной информации: практический и стратегический. Практический аспект связан с поиском информации, ее хранением и доведением до ученых и научных администраторов.
Что же касается стратегического аспекта использования научной информации, то он, прежде всего, связан со слежением за развитием науки и анализом изменений структур науки. При слежении важно фиксировать долгосрочные изменения в тематическом спектре научных проблем, т.е. выявлять именно тенденции в развитии науки, а не информацию о научных проблемах (как в первом случае). Важность этого аспекта была осознана в 60-70 годы узким кругом специалистов, занимающихся науковедческими исследованиями.
1. Простая и структурная библиометрия
Библиометрия как новое направление в исследованиях науки зародилась в 60-е годы и была связана с количественным анализом документальных потоков. Термин «библиометрия» ввел в 1969 г. английский ученый А. Причард, расширив область статистической библиографии [18]. Вся библиометрия построена на анализе библиографических данных публикаций. Объектами изучения в библиометрических исследованиях являются публикации, часто сгруппированные по разным признакам: авторам, журналам, ключевым словам, тематическим рубрикам, странам и т.п. Важно подчеркнуть, что 1) при библио-метрическом подходе могут быть использованы легкодоступные огромные массивы вторичной информации, представленные в различных базах данных, и, прежде всего, в базах данных ISI/Thomson Reuters Scientific; 2) библиометрия представляет собой количественные исследования, направленные не на получение конкретной информации о проблемах, а на выявление статистик и тенденций, и главным образом - долгосрочных тен-
денций, связанных со стратегическим слежением (мониторингом) развития науки.
Библиометрический подход к исследованию науки предполагает квантификацию документальных потоков информации, так как опора в этих исследованиях делается на количественные показатели, отражающие состояние науки в целом или отдельных ее областей. Возможны два пути (два подхода) к квантификации информационных потоков. Первый путь может быть назван «простой библиометрией - когда прослеживается динамика отдельных изучаемых объектов (публикаций, авторов, ключевых слов в публикациях, их распределение по странам, рубрикам научных журналов и пр.). Второй путь - «структурной библиометрией» - когда выявляются связи между объектами, их корреляция и классификация.
Первый этап в библиометрических исследованиях науки (60-70-е годы ХХ века) был связан с тем, что попытки квантифицировать массивы публикаций решались напрямую: изучая статистику библиографического материала по странам, рубрикам журналов, авторам и т.п., исследователи различных областей знания, и прежде всего науковеды, пытались делать выводы о значимости исследуемого объекта: продуктивности ученого, научной эффективности тех или иных публикаций, о научном потенциале страны и т.д. Таким образом, первый подход в биб-лиометрических исследованиях связан с получением к о л и ч е с т в е н н ы х характеристик для оценки того или иного явления в науке.
Важные результаты, получаемые при библиометрических исследованиях, характерные для первого подхода к квантификации информационных потоков, как правило, нуждаются в дальнейшем изучении. Здесь необходима семантическая, а порой и социологическая интерпретация полученных результатов, поскольку у исследователей, занимающихся библиометриче-ским анализом, появляется соблазн дать, прежде всего, количественную оценку объектам исследования (часто этим и ограничиваются многие библиометрические исследования науки). Если при изучении распределения публикаций по рубрикам отмечается увеличение числа первых в каких-то областях, то делается вполне справедливый вывод: область популярна. А что, собст-
венно, это означает: социальный заказ, или важность разрабатываемой темы (поиски, например, новых видов энергии или лекарственных средств, как это в случае СПИДа и т.д.), или это увеличение числа публикаций вызвано научным прорывом в прошедший период (например, важное научное открытие - генерация стимулированного излучения - вызвало потом серию практических разработок - лазеров различного типа), или мода (особенно в гуманитарных науках)?
Важно подчеркнуть, что в зависимости от выбора библио-метрического объекта исследования можно получать разные динамические картины состояния науки. Если в качестве объекта исследования при библиометрическом анализе выбрана руб-рикационная система, то при изучении распределения публикаций внутри этой системы не следует забывать о том, что логические классификации обладают свойством редко меняться, т.е. такая рубрикация строго фиксирована. Можно ожидать при библиометрических исследованиях, что более гибкой окажется та же задача квантификации, решаемая на основе лексики, поскольку авторы публикаций уже не привязаны к классификационной схеме, а используют словарный запас языка по своему усмотрению.
При использовании баз данных цитирования ISI могут быть применены более тонкие количественные подходы к оценке качества. Показатели, введенные в базе данных Journal Citation Reports (JCR) для оценки научных журналов, Impact Factor и Immediacy Index, являются важными индикаторами в исследованиях науки. Библиометрическая оценка научных журналов, см. ниже), относится к методам простой библиометрии.
Второй подход в библиометрических исследованиях науки - структурная библиометрия - зарождается в 70-е годы и активно развивается в 90-е годы прошлого столетия, а особенно в нашем столетии в связи с разработкой различных алгоритмов и техник визуализации результатов библиометрического анализа.
Этот подход связан с тем, что квантификация информационных потоков может оказаться полезной при изучении структурной (качественной) картины состояния науки. Здесь уже процедуры анализа направлены не на получение характеристик
«больше - меньше», «выше - ниже», а анализ библиографических данных публикаций направлен на то, чтобы через статистику - количественные показатели корпуса публикаций - получать качественные структуры науки. Начиная с 80-х годов появляются принципиально новые информационные материалы - карты и атласы науки, разработываемые в К1 с 1974 г. на основе данных цитирования методом коцитирования (метод Маршаковой - Смолла). Разные для этой цели меры коцитиро-вания являются одной из сторон кластеризуемых массивов публикаций. Идея коцитирования, примененная для определения силы связи между публикациями, оказалась эффективным инструментом для выявления исследовательских фронтов науки, слежения за их развитием, ключевых публикаций и их авторов, а также вклада научных коллективов в развитие отдельных научных направлений [2, 21]. Смена часто цитируемых работ, происходящая от года к году в кластерах коцитирования научных направлениях, может рассматриваться как изменение в содержании научных концепций этого направления.
В рамках структурной библиометрии перспективной и актуальной представляется разработка терминологической системы научного знания, которая существенно могла бы облегчить общую ориентацию в концептуальном каркасе науки. Для решения этой большой и сложной задачи необходимо: 1) выявление репертуара лексических единиц, используемых в языке данной науки, и 2) выявление системных отношений между этими единицами. Библиометрический подход можно рассматривать как практический шаг в этом направлении, он связан с обращением к вторичной литературе (рефератам публикаций, представленных в современных библиографических базах данных), где информация представлена в более компактном виде и проделана известная работа по снятию лексической избыточности, присутствующей в исходном тексте. Важным источником здесь могут выступать указатели, имеющиеся в современных базах данных, широко отражающие лексику научного сообщества. Возможность точного подсчета частоты всех терминов облегчает построение математической модели для выявления неслучайного характера совместной встречаемости терминов. Применение библиометрических методов для построения терминологиче-
ской системы науки позволит решить две задачи: 1) осуществить слежение за количественной динамикой групп терминов в научной области и 2) выявить специфические связи терминов - создать тезаурус для науки, как в статике, так и в динамике.
Поскольку публикации и их цитирование характеризуют науку вообще, то в принципе возможно исследование науки в целом библиометрическими методами анализа. Преимущества библиометрического анализа по сравнению с другими методами, применяемыми в исследованиях науки, могут быть сформулированы следующим образом.
1. При библиометрическом подходе охватывается система науки в целом; любое другое наукометрическое исследование по сравнению с ним фрагментарно. Конечно, оно может предоставлять социально-психологические данные, но не дает полной картины исследуемой области в целом.
2. При библиометрическом анализе исследование проводится на широком материале - в оборот пускаются мировые базы данных; это дает возможность использовать разнообразные методики анализа (по сути, «прогонять» разные количественные варианты). Таким образом, количественное расширение информационной основы приводит к новым качественным результатам. Следствием этого является получение новой семантической информации, необходимой при управлении наукой.
3. В отличие от прямых методов анализа (анкетирование, интервьюирование и др.) при библиометрических исследованиях мы имеем дело с овеществленными явлениями (люди уже процитировали, уже опубликовали работу), т.е. мы имеем дело с объективированным характером материала.
Мировой опыт библиометрического анализа науки включает следующие разработанные методы: 1) метод коцитирования публикаций (co-citation analysis) для получения когнитивной структуры науки, который был положен в основу формирования карт и атласов науки в ISI, выявления ключевых публикаций и авторских коллективов в области знания [2, 21]; 2) оценка научных журналов на основе показателей импакт факторов, представленных в базах JCR [20]; 3) метод коцитирования журналов, позволяющий выявлять направления исследований в области
знания [15]; 4) методы построения библиометрических карт науки на основе лексического анализа; 5) различные техники глобального картографирования (визуализации) науки [7].
2. Цитирование в науке
Различные формы анализа цитирования являются важной компонентой библиометрического анализа. Феномен цитирования является неоспоримо важной этической нормой в науке и, безусловно, одним из важных средств научной коммуникации. Цитирование становится стандартной этической нормой в науке примерно в середине XIX столетия, когда научный журнал начинает рассматриваться как социальный институт и неотъемлемый инструмент общения между учеными. Перечень библиографических ссылок, указанный в публикации, создает своеобразный контекст работы, дает первое представление о тех проблемах, которые в ней рассматриваются, является ключом к пониманию идей, заложенных в публикации. Гипотеза о том, что ссылки представляют собой символы научных концепций, и составляет - по мнению Ю. Гарфилда - теоретическую основу указателей цитирования [1].
На самом деле цитирование может и затемнять научные проблемы. Что же, по сути, оно отражает? Остановимся на этом подробнее. Цитирование в науке может включать в себя три разные смысловые компоненты, поэтому в целом оно отражает:
1) когнитивную связь между публикациями (научными работами); 2) моду, как бы моральную необходимость ссылки на работы предшественников (lip service to people in the vogue) и 3) социальный фактор. Разделить эти компоненты часто бывает трудно.
Цитирование в ненауке выступает внешним показателем научности. Это связано с тем, что престиж науки таков, что внешняя сторона проникает в другие сферы, например, в искусствоведение, литературоведение. Сложность, с которой сталкивается здесь библиометрический анализ, сводится к тому, как отделить, где внешние манеры (стиль, ссылки), где суть дела. Ярким примером здесь могут служить пародийные научные тексты, в которых, как правило, схватывают внешние черты: ссыл-
ки на источники, язык, структура текста, а содержательная сторона к науке не имеет никакого отношения. Как отделить внешние черты научности от содержания - это важная проблема, стоящая перед библиометрическим анализом при решении проблемы демаркации науки.
Вообще же в целом библиометрия не привязана к науке; библиометрические методы приложимы и при изучении художественной литературы, философских текстов и т.п. Но цитирование как объект исследования, а точнее анализ цитирования -эффективен именно в науке. В исследованиях политики, например, анализ цитирования является не лучшим методом, здесь эффективнее были бы другие библиометрические методы, например, базирующиеся на лексическом анализе.
И все-таки стоит подчеркнуть, что такой библиометриче-ский показатель, как цитирование, является стандартным, часто используемым, начиная со второй половины XIX века, показателем в исследованиях науки. Библиометрический анализ направлен на изучение мирового контекста цитирования. При этом библиографические ссылки могут использоваться и в качестве инструмента поиска научной литературы (наряду с известным традиционным аппаратом), и в качестве меры оценки научного уровня работ, продуктивности исследователей, показателя значимости отдельных периодических изданий и т.п., а также для анализа развития науки. Таким образом, можно выделить три аспекта использования цитирования в исследовательской деятельности: 1) поиск документов (практический аспект);
2) библиометрическая оценка отдельных исследуемых объектов науки (ученых, публикаций, журналов, институтов, стран и пр.);
3) использование цитирования для выявления структуры области знания или науки в целом. При этом различные методы анализа цитирования здесь могут быть сведены к двум классам: 1) статистики цитирования и 2) анализу сетей цитирования.
Важно подчеркнуть, что структуры современных баз данных позволяют использовать более тонкие количественные показатели цитирования в исследованиях науки. Примером здесь могут служить показатели Impact Factor и Immediacy Index, введенные в базы данных Journal Citation Reports для оценки научного журнала как социального института. Эти принципиально
новые для 70-х годов прошлого столетия показатели цитирования включают идею оценки двух аспектов журнала: его продуктивности и научной популярности (подробно см. [2, 3]). Ниже отмечается, что на основе этих показателей мировым сообществом библиометристов разрабатывались и разрабатываются до настоящего времени различные показатели для конкретных целей оценки журналов.
3. Оценка цитирования авторов
До сих пор наиболее спорным остается вопрос об использовании статистики цитирования для оценки потенциала ученых -второй из выделенных выше аспектов. Здесь важно подчеркнуть, что количественные данные о цитировании публикаций отражают воздействие результата исследования на научное сообщество, его полезность для других ученых. Сами по себе эти данные не измеряют качество публикации, поэтому их следует рассматривать как индикаторы, показывающие, что данная работа с той или иной степенью вероятности может оказаться весьма значимой. В качестве примера приведем ссылки на российского известного физика, лауреата нобелевской премии
В.Л. Гинзбурга. По данным системы SCIех 2000 года число ссылок на работы В.Л. Гинзбурга (GINZBURG VL) равно 308. В этом случае поражает высокая цитируемость не только последних работ В.Л., но также его работ, опубликованных в 60-е годы прошлого столетия. В перечне цитируемых работ Виталия Лазаревича можно найти его первую научную публикацию 1931 года. Анализ ссылок на публикации может помочь в выявлении популярных в научном смысле работ.
Анализ цитирования работ известного математика
В.И Арнольда (V.I. Arnold) представлен ниже. Поиск проводился по базе Web of Science: 1945-2011 [11]. На В.И. Арнольда ссылались 742 автора в 2012 публикациях с общим числом ссылок 3248. Интересно, что ссылки на Арнольда появились в журналах, относящихся к 29 областям (категориям Web of Science), а 50% всех ссылок находились в статьях, опубликованных в журналах, относящихся к 9 следующим областям: MATHEMATICS (562);
MATHEMATICS APPLIED (468);
PHYSICS, MATHEMATICAL (364);
PHYSICS MULTIDISCIPLINARY (312);
MECHANICS (245);
PHYSICS FLUIDS PLASMAS (130);
MULTIDISCIPLINARY SCIENCES (95);
MATHEMATICS, INTERDISCIPLINARY APPLICATIONS (83);
ASTRONOMY ASTROPHYSICS (74).
Ссылки на публикации В.И. Арнольда были сделаны учеными из США (507), России (290), Франции (241), Англии (156), СССР (104), Германии (102), Канады (90), Италии (85), Китая (71), Израиля (59) и др. Общая статистика по странам показывает, что ссылки на работы В.И. Арнольда были сделаны авторами из 57 стран.
2012 цитирующих Арнольда публикаций принадлежат 742 авторам, 29 из них цитировали В.И. Арнольда в более чем семи работах (таблица 1).
Таблица 1.
Автор Число публикаций Автор Число публика- ций
MARSDEN JE 28 GLASS L 8
HOLM DD 24 GUCKENHEIMER J 8
SHEPHERD TG 22 MAHALOVA 8
ARNOLD VI 18 NICOLAENKO B 8
MOSEKILDE E 15 SAGDEEV RZ 8
GRAMMATICOS B 13 SPERLM 8
RAMANI A 13 VLADIMIROV VA 8
RATIU TS 12 BRENIER Y 7
GOTZE W 11 GAETA G 7
IEEE 11 KARPENKOV ON 7
JANECZKO S 11 KHESIN B 7
CHERNIKOV AA 10 KOZLOV VV 7
CHERNIKOV AA 10 KRAUSKOPF B 7
MU M 10 MARCHIORO C 7
CHIRIKOV BV 9 OSINGA HM 7
MARMI S 9 PUTA M 7
ZASLAVSKY GM 9 RATIU T 7
SOSNOVTSEVA OV 7
Опыт автора настоящей статьи показал, что для выявления ключевых исследователей и публикаций в науке, кроме карт ко-цитирования, трудоемких при получении классификационных структур области науки, можно использовать ранжированные списки ученых: (1) по продуктивности (числу статей с учетом числа авторов) и (2) по научной популярности (числу ссылок на автора). Примером расхождения рангов в двух списках могут служить данные, приведенные ниже, для двух авторов из области научной информации (Information & Library Ascience). Интересно сравнить показатели общего числа публикаций этих авторов с показателями Impact (среднего числа ссылок на публикацию) [12] (таблица 2).
Таблица 2.
Ранг Автор Продуктивность (Число публик. с учетом соавтор.). г S Р Автор Популярность (число ссылок) Ср. число ссылок на публ.
1 Ю.А. Шрейдер 20,1 1 Ю.А. Шрейдер 137 6,8
44 Д.Г. Лахути 4,1 7 Д.Г. Лахути 73 17,8
Из этого примера видно, что не следует гнаться за числом публикаций, а лучше писать меньше статей, но качественных, которые будут вызывать научный интерес и цитироваться в профессиональном сообществе.
Отметим, что подсчет цитирования расширяет возможности библиометрических оценок наряду и в совокупности с другими показателями. Отметим, что стремление отдельных ученых искусственно завысить данные цитирования собственных работ может привести к обратному результату, например, при построении карт науки, где в алгоритм кластеризации методом коцитирования вводятся статистические коррективы, зависящие от общих параметров цитирования и коцитирования (совместно-
го цитирования двух работ), ослабляя тем самым влияние социального фактора. В библиометрическом анализе довольно популярны были исследования, связанные с анализом самоцитирова-ния. При изучении кластеров коцитирования на примере мирового корпуса публикаций по лазерам автором настоящей статьи было показано на примере кластера «лазер на тяжелой воде», что снятие самоцитирования не изменяет структуру кластера, а лишь ослабляет некоторые связи (подробно см. [2, с. 192, рис. 49-50]).
Первые системы цитирования Гарфилда SCI были разработаны в 1963 г. для поиска научной литературы. Они включали ссылки из вводимых в систему публикаций и формировали указатели цитирования Citation Index как инструмент поиска научной литературы по цитируемому автору. Очень быстро система SCI становится материалом в библиометрических исследованиях науки. Приведем два примера. Для сравнения разных областей науки американские ученые братья Рой (Roy) в 1983 г. разработали нормализованную систему показателей цитирования (ссылок): 8 ссылок в области химии = 4 (в физике) = 2,5 (науки о материалах) = 2 (математика) = 4,5 (биофизика-биохимия) [19]. Для современной науки, когда появилось много новых областей знания, подобная нормализованная система показателей цитирования без сомнения была бы другой.
Используя показатели цитирования по указателям Citation Index базы SCI и SSCI, ученики Роберта Мертона Джонатан и Стивен Коулы изучали социальную стратификацию физиков; количество ссылок на них рассматривалось при этом как грубая мера признания и важности (в смысле полезности) научной работы [6]. Иногда высокая частота цитирования какой-то научной публикации может оказаться маркером инновации (новой идеи, метода, открытия, присвоения нобелевской или другой премии). По данным Системы SCI число таких работ относительно невелико, хотя абсолютное число цитируемых источников в науке достаточно высокое, примерно 1% из них цитируется за год 10 и более раз. Группу статей, часто цитируемых в определенной научной специальности, некоторые ученые рассматривают как вполне конкретного носителя ее парадигмы. Т. Кун, возможно, это и имел в виду, когда писал, что изменение в ци-
тировании специальной литературы в публикациях можно рассматривать как возможный симптом научных революций [8].
При использовании статистических показателей с целью эпистемологических оценок в науке (авторов, например) надо помнить, что разным областям знания свойственны свои нормы и квоты цитирования [5]. Многие возражения против применения данных о цитировании порождены некорректным использованием базы данных ISI/Thomson Reuters Web of Science, как просто счетчика ссылок; на самом деле это уникальная система, процедуры поиска в которой требуют внимания и знания ограничений системы, а интерпретация получаемых данных - знания определенных тонкостей библиометрического подхода.
С появлением различных баз данных ISI анализ ссылок приобретает практическую значимость, поскольку становится возможным введение и использование новых и важных измеряемых характеристик развития науки, созданных на основе статистических данных различных библиометрических показателей, которые по своему объему и точности превосходят все имевшиеся до сих пор данные подобного рода. Тогда же перед исследователями науки возникла задача превратить эти новые характеристики в своеобразный индикатор, способный показывать состояние развития отдельных отраслей науки. Создание в ISI в начале 90-х годов прошлого столетия новой базы данных NATIONAL SCIENCE INDICATORS (NSI)2 позволило значительно расширить спектр библиометрических исследований науки, которые стали проводиться широким фронтом не только в США, но также в Европе и др. странах [3]. Сопоставим, например, показатели цитирования публикаций России, представленные в базе NSI, и проследим изменения в их значениях почти за 20 лет (таблица 3).
В настоящее время в России в рамках РАН активно проводятся работы, связанные с оценкой цитирования ученых, научных журналов и научных организаций. Для этих целей во всех отделениях РАН (УоРАН, СоРАН, ДвоРАН) используется база данных ISI Web of Science для подсчета ссылок на указанные
2 Эта система в настоящее время входит в Web of Knowledge: InCites.
выше объекты науки. Эти библиометрические исследования касаются прежде всего различных отраслей естествознания.
Таблица 3.
СТРА- НА №1 1993-1997 №1 1998-2002 2006-2010
% цитируем публикаций Ср.число ссылок на публикацию % цитир. публик. Ср.число ссылок на публикацию % цитир. публик. Ср.число ссылок на публикацию
РОС- СИЯ 34,00 1,29 40,23 1,86 46,01 2,16
Надо отметить, что был разработан Российский индекс цитирования (РИНЦ), который вызывает шквал критики, поскольку нет ясных описаний методик подсчета показателей для оценки журналов, не ясны алгоритмы выявления ссылок на исследователей, что приводит к многочисленным ошибкам в базах данных РИНЦ, нет полных списков представленной периодики и книг в этой базе - а, следовательно, все это приводит к получению недостоверной информации об исследовательской активности и цитировании отдельных исследователей. Это обстоятельство искажает суммарные данные (общую статистику) вклада научных организаций России в науку в целом и отдельные отрасли знания.
В рамках РАН разрабатываются различные методики по подсчету показателей цитирования. На мой взгляд, эти методики не учитывают синонимию и омонимию фамилий ученых и названий научных организаций и другие аспекты библиометриче-ской оценки, и поэтому нуждаются в доработках. Необходимо отметить отсутствие единой методической базы со стороны РАН, а лишь желание администраторов РАН иметь какие-то количественные показатели для сравнения институтов, используя для этого библиометрическую статистику. Все обсуждаемые методики основывались на алгоритмах поиска информации в
базе Web of Science (в отдельных случаях привлекалась база SCOPUS), не затрагивали никаких семантических проблем оценок и, как правило, такие методики были опробованы на материале естественных наук в рамках одной организации. Некоторые предлагаемые показатели для оценки ученых, на мой взгляд, просто чудовищны и показывают абсолютное непонимание со стороны разработчиков и администраторов РАН показателей цитирования, представленных в базах данных ISI/Thomson Reuters. Это касается, прежде всего, предлагаемого и используемого в некоторых академических институтах показателя «импакт-фактор ученого» рассчитываемого на основе показателей импакт-фактора журнала. Подчеркнем еще раз, что показатели Impact Factor и Immediacy Index были введены для оценки журнала (!!!) как социального института и сразу же стали широко использоваться в мировой библиотечной и информационной практике, особенно при выборе журналов в специальные научные фонды различных отраслей науки. Позже, в конце 90-х годов, в ряде государств, в частности в России и в Польше, эти показатели пытаются использовать для оценки ученого, что является недопустимой ошибкой. Показатель воздействия Impact Factor может рассматриваться как мера частоты, с которой цитируется среднецитируемая статья журнала. Не будем забывать, что такие журналы как Cell, Science, Nature, имеют высокие показатели воздействия, с одной стороны, но они также публикуют статьи, которые не получают ссылок. К счастью, за Западе, и в частности в Польше, от использования показателей импакт-фактора журнала для оценки ученого отказались. Администраторы должны ясно понимать, что и как можно оценивать через цитирование, а что не имеет смысла или просто является абсурдным (недопустимым). В мировой практике для оценки ученого обычно используются два показателя - общее число ссылок на его публикации и среднее число ссылок на публикацию и др.
Конечно, по сравнению с естествознанием в области гуманитарных наук (в том числе философии) библиометрическая оценка вызывает некоторые сложности. Это в первую очередь связано с отсутствием журнальной базы Journal Citation Reports (JCR) для этих наук, хотя частично журналы из гуманитарных областей, та-
ких как прикладная лингвистика, история и философии науки, история социальных наук и некоторых других представлены в базе JCR Social Science Edition. Таким образом, импакт-фактор, широко используемый в мире и в России для оценки и сравнения естественнонаучных журналов, не может быть определен для философских и других гуманитарных журналов.
Что можно измерить в области естественных и социальногуманитарных наук? На взгляд автора, используя базы ISI/Thomson Reuters, можно провести следующие исследования:
1. Выявить исследовательскую активность стран в этих областях знания и получить ранжированный список вклада стран в мировой и национальные корпусы научных публикаций. (Прежде всего это должно касаться областей естествознания). Исследования должны проводиться на широком материале, это позволит проследить динамику исследовательской активности ряда стран.
2. Выявить показатели исследовательской активности и цитирования институтов РАН и аналогичные показатели для отдельных ВУЗов страны и показатели цитирования (число публикаций, общее число ссылок на ученого, среднее число ссылок на статью ученого, среднее число ссылок на научного сотрудника института и пр.). Сравнить результаты библиометрической оценки (возможно, потребуются разработка относительных библиометрических показателей для сравнения научных организаций) двух ведомств: РАН и Министерства науки и образования (МНиО).
Администраторам науки от РАН и МНиО (оценщикам ученых и научных учреждений) хорошо бы знать, что в каждой области знания есть свои квоты цитирования (см. таблицу 4).
Ясно, что нельзя ожидать, что показатели цитирования, например, для математиков, можно сравнивать с показателями цитирования биологов или физиков. В мировой практике при оценке ученых в университетах (конкурсах) обычно используются следующие оценки: 1) мнение коллег; 2) показатели цитирования ученого; 3) мнение студентов. Но при этом, сначала подобной оценке подвергаются члены Ученых советов (сами оценщики), чтобы иметь материал, с чем сравнивать!
Таблица 4. Показатели цитирования для 23 областей знания
№ Область знания3 % цитирован. публикаций Citation Impact (ср. число ссылок на публи-кац.)
1 Agricultural Sciences 52,44 2,16
2 Biology & Biochemistry 73,25 7,28
3 Chemistry 62,29 3,70
4 Clinical Medicine 62,77 4,72
5 Computer Science 38,23 1,34
6 Ecology/Environment 59,66 3,12
7 Economics & Business 45,50 1,71
8 Education 37,54 0,96
9 Engineering 44,16 1,58
10 Geosciences 59,06 3,34
11 Immunology 78,48 9,98
12 Law 54,65 2,42
13 Materials Science 49,75 2,09
14 Mathematics 44,20 1,36
15 Microbiology 73,73 6,52
16 Molecular Biology & Genetics 78,36 12,97
17 Neurosciences & Behavior 75,13 7,44
18 Pharmacology 67,30 4,38
19 Physics 58,28 3,64
20 Plant & Animal Science 56,26 2,72
21 Psychology/Psychiatry 58,00 3,14
22 Social Sciences general 45,86 1,65
23 Space Science 73,25 7,72
Самый спорный и сложный вопрос - оценка цитирования исследователей в социально-гуманитарных областях. На мой
3 Области даны так, как они представлены в базах ISI/Thomson Reuters.
взгляд, этого не следует делать, но интересно выявлять высоко-цитируемые публикации в областях социально-гуманитарного знания. Вот здесь и потребуется разработка новой методики (методик) с учетом года опубликования работы, языка публикации и др. аспектов.
4. Библиометрическая оценка научных журналов
Использование показателей импакт-фактора для оценки журналов в национальном корпусе является некорректным, поскольку там представлены журналы из различных областей науки. С момента появления системы JCR оценка научных журналов становится одним из главных заданий в библиометрическом анализе науки. Поиск в базе SCI по термину (ключевому слову) «impact factor» выявил 1187 статей в период
1996-2007 гг., из них было отобрано 48, в которых были представлены основные концепции, использующие и модифицирующие показатель импакт-фактора. Эти статьи были включены в книгу The Scientometrics Guidebook. The Impact Factor of Scientific and Scholarly Journals [20]. Методика библиометрической оценки научных журналов по нормализованным показателям импакт фактора (К), разработанная автором, вошла в эту книгу [13].
В 2010 г. в базе JCR Science Edition было представлено 147 российских журналов в области естествознания, индексируемых в 99 научных категориях. Результаты (фрагмент) оценки этих журналов дается в таблице 5. Интересно сравнить ранги журналов по рассчитанным нормализованным показателям К и показателям Ip (импакт-фактор в базе JCR). Полностью список 147 российских научных журналов с показателями К и Ip представлен в [4].
Методика расчета стандартного показателя воздействия включает два этапа. На первом этапе рассчитываются показатели воздействия области знания Ig, к которой относится журнал. Второй этап методики включает расчет показателей К как отношение «сырого» показателя воздействия журнала Ip, представленного в ежегодных базах JCR, к рассчитанному стандартному показателю Ig (соответствующей этому журналу области знания): K = (Ip/Ig) х 100% [3].
Таблица 5. Рейтинг 2010 года 24 российских журналов c показателями K > 15
Ранг журнала по K Аббревиатура журнала JCR Ip, 2010 Рассчитанный K, 2010 Ранг журнала по Ip
І. RUSS J MATH PHYS 1,131 46,73 6
2. J MIN SCI+ 0,390 29,54 ТТ
3. STRATIGR GEO COR-REL+ 0,833 28,43 14
4. PHYS-USP+ 2,245 25,92 2
5. ACOUST PHYS+ 0,682 24,98 26
б. PROT MET+ 0,638 24,82 35
Т. GLASS PHYS CHEM+ 0,434 23,48 69
S. MOSC MATH J 0,721 22,89 21
9. FUNCT ANAL APPL+ 0,688 21,84 25
І0. PETROLOGY+ 1,069 2І 9
11. PALEONTOL J+ 0,591 20,66 44
І2. GEOTECTONICS+ 0,900 20,64 12
І3. PLASMA PHYS REP+ 0,668 20,43 27
І4. PHYS PART NUCLEI+ 1,100 20,29 7
І5. RUSS J NONDESTRUCT+ 0,336 19,2 94
16. RUSS J NUMER ANAL M 0,592 18,97 43
І7. PROT MET PHYS CHEM+ 0,466 18,13 65
18. PHYS MET METALLOGR+ 0,465 18,09 66
19. JETP LETT+ 1,557 17,98 3
20. RUSS MATH SURV+ 0,496 17,65 59
2І. IZV MATH+ 0,494 17,58 61
22. ALGEBR LOG+ 0,455 16,19 67
23. REGUL CHAOTIC DYN 0,529 15,93 54
24. GEOCHEM INT+ 0,655 15,02 29
Нормализованные показатели К так же динамичны, как и само состоянии науки. Даже в двухлетний период мы можем выявить значительный рост и падение в значениях этого показателя. Рассмотрим динамику этих показателей за последние два
года (2009 и 2010 гг.), доступные для анализа. На рис. 1 представлена динамика показателей К для 24 журналов из таблицы 5. На рис. 1 видно, что резкий рост показателя К можно отметить лишь у двух журналов: RUSS J MATH PHYS и GLASS PHYS CHEM+.
50 45 40 35 30 25 20 15 10
Рис. 1. Динамика показателей К для 24 журналов (К > 15 в 2010 г.)
Анализируя результаты исследования 147 российских журналов, представленных в базах JCR, мы можем отметить, что у многих российских журналов наблюдается рост показателя К, причем у некоторых довольно значительный, например, у журналов
- PHYS-USP+/yСПЕХИ ФИЗИЧЕСКИХ НАУК (15,02 в 2009 г. и 26 в 2010 г.);
- JETP LETT+/ПИСЬМА В ЖУРНАЛ ЭКСПЕРИМЕНТАЛЬНОЙ И ТЕОРЕТИЧЕСКОЙ ФИЗИКИ (9,5 и 18);
- PROTMET+/ЗАЩИТА МЕТАЛЛОВ (13,4 и 24,8);
- FUNCT ANAL APPL+/ФУНКЦИОНАЛЬНЫЙ АНАЛИЗ И ЕГО ПРИЛОЖЕНИЯ (9,3 и 21,8);
- PETROLOGY+/ПЕТРОЛОГИЯ (15,9 и 21,0);
- RUSS JNONDESTRUCT+/ДЕФЕКТОСКОПИЯ (10,4 и 19,2);
и др. (см. рис. 1). Это относится также к журналам, с показателями К < 15, представленным в таблице 1:
- LASER PHYS/LASER PHYSICS (9,4 и 14,8);
- THEOR MA TH PHYS+/ТЕОРЕТИЧЕСКАЯ И МА ТЕМА ТИЧЕ-СКАЯ ФИЗИКА (7,9 и 13,5);
- J EXP THEOR PHYS+/ЖУРНАЛ ЭКСПЕРИМЕНТАЛЬНОЙ И ТЕХНИЧЕСКОЙ ФИЗИКИ (5,0 и 10,9);
- J EVOL BIOCHEM PHYS+ШУРНАЛ ЭВОЛЮЦИОННОЙ БИОХИМИИ И ФИЗИОЛОГИИ (1,9 и 4,4);
- WATER RESOUR+ /ВОДНЫЕРЕСУРСЫ (2,4 и 10,4) и др.
Интересно отметить, что у журнала HER RUSS ACAD SCI+/
ВЕСТНИК РОССИЙСКОЙ АКАДЕМИИ НАУК, который после перерыва появился в базе JCR:SE в 2010 г., нормализованный показатель К возрастает до значения 5,1 по сравнению с 0,86 в 2005 г. Спад в значениях показателя К в 2010 г. можно отметить у журналов:
- REGUL CHAOTIC DYN/РЕГУЛЯРНАЯ И ХАОТИЧЕСКАЯ ДИНАМИКА (21,3 и 15,9),
- J RUSS LASER RES (19,6 и14,2) THEOR PROBAB APPL+ (24,2 и 10,6) и др.
Для анализа библиометрических показателей журналов и К, и Ip лучше рассматривать средние значения этих показателей за трехлетние периоды (рис. 2).
Интересно сравнить рейтинг журналов в мировом научном корпусе по нормализованному показателю К. Ниже в таблице 6 представлены данные для корпуса математических журналов в базе JCR и показаны соответствующие ранги по показателям JCR-импакт-фактора. В 2009 г. математический мировой корпус включал 520 журналов, индексируемых в 5 категориях (математика общая; математика прикладная; математика, междисциплинарные приложения; математическая физика; математическая и компьютерная биология, которая отпочковалась от категории математика, междисциплинарные приложения в 2008 г.), 24 журнала с показателями K > 70 (таблица 6), в этом списке мы не найдем ни одного российского или польского математического журнала. Однако среди 520 журналов мы можем увидеть 14 российских математических журнала и 10 польских. Среди этих журналов один польский журнал TOPOL METHOD NONL AN (K = 39) и один российских журнал RUSS J MATH PHYS (K = 32) находятся в первой половине ранжированного списка. Остальные журналы занимают довольно скромные места (260-516) в таблице 6. Российские журналы выделены жирным шрифтом.
К’ 08-10
Рис. 2. Средние значения нормализованного показателя К
В Польше в рамках Министерства науки и высшего образования (MNiSW) разрабатываются и постоянно усовершенствуются методики по оценке национальных журналов (присваиваются им так называемые «пункты»). В дальнейшем эти «пункты» используются при составлении рейтингов научных институтов (прежде всего университетов). Общее число журналов для оценки около 16 тыс. - это журналы, которые представлены в списке MNiSW, из них польских более 1800. Журналы классифицированы по трем группам (А, В и С), и каждой группе присваиваются определенные «пункты». Надо отметить, что в группу А входят 10230 журналов, представленных в базе JCR, из них 133 польских (число пунктов от 15 до 50); в группе В -1854 журнала, из них 1606 польских (число пунктов от 1 до 14) и в группе С - 4337 журналов, представленных в базе ЕЫН, из них 100 польских (число пунктов 10, 12 и 14). Подсчеты «пунктов» для журнала вызывают споры в научном польском сообществе и методики меняются практически ежегодно [22].
Таблица 6. Рейтинг математических журналов по показателю К
Ранг журнала по К Аббревиатура журнала Импакт- фактор Ip К, 2009 Ранг журнала по Ip
1. INT J NONLIN SCI NUM 5,276 157,49 2
2. ANN MATH 4,174 136,40 4
3. ECONOMETRICA 4,000 119,76 6
4. SIAM REV 3,391 109,74 9
Ранг журнала по К Аббревиатура журнала Импакт- фактор Ip К, 2009 Ранг журнала по Ip
5. B AM MATH SOC 3,294 106,60 11
6. J AM MATH SOC 3,411 103,99 S
7. STRUCT EQU MODELING 3,153 96,42 14
S. BMC SYST BIOL 4,064 92,15 5
9. INVENT MATH 2,794 91,31 16
10. COMMUN PUR APPL MATH 2,657 S6,55 1S
11. ACTA MATH-DJURSHOLM 2,619 S5,59 1S
12. PLOS COMPUT BIOL 5,759 S5,57 1
13. BIOSTATISTICS 3,246 S3,23 12
14. SIAM J MATRIX ANAL A 2,411 7S,02 22
15. COMMUN COMPUT PHYS 2,077 77,79 41
16. COMMUN MATH PHYS 2,067 77,41 42
17. QUANTUM INF COMPUT 2,9S0 77,40 15
1S. NONLINEAR ANAL-REAL 2,3S1 77,05 25
19. J STAT MECH-THEORY E 2,670 74,79 17
20. J COMPUT PHYS 2,369 74,26 26
21. MULTISCALE MODEL SIM 2,19S 74,01 35
22. MEM AM MATH SOC 2,240 73,20 32
23. ABSTR APPL ANAL 2,221 71,SS 33
24. PHYS REV E 2,400 70,S0 23
Russian and Polish journals
Ранг журнала по К Аббревиатура журнала Импакт- фактор Ip К, 2009 Ранг журнала по Ip
115 TOPOL METHOD NONL AN 1,193 3S,99 150
164 RUSS J MATH PHYS 0,850 31,83 233
260 MOSC MATH J 0,712 23,30 289
275 REGUL CHAOTIC DYN 0,725 22,60 282
30S STUD MATH 0,645 21,0S 330
312 IZV MATH + 0,635 20,75 334
331 FUND MATH 0,607 19,S4 355
354 FUND INFORM 0,615 1S,75 351
356 INT J AP MAT COM-POL 0,6S4 1S,74 305
Ранг журнала по K Аббревиатура журнала Импакт- фактор Ip K, 2009 Ранг журнала по Ip
358 ANN POL MATH 0,567 18,53 378
386 ACTA ARITH 0,508 16,60 403
401 ALGEBR LOG+ 0,479 15,6 416
408 RUSS J NUMER ANAL M 0,485 15,49 413
410 SIBERIAN MATH J + 0,475 15,47 419
428 RUSS MATH SURV + 0,425 13,88 439
455 PROBL INFORM TRANSM+ 0,393 12,09 454
457 CENT EUR J MATH 0,361 11,8 469
472 DIFF EQUAT+ 0,339 11,08 483
473 MATH NOTES + 0,337 11,0 484
493 PMM-J APPL MATH MEC+ 0,360 9,52 470
494 FUNCT ANAL APPL + 0,289 9,32 500
507 THEOR MATH PHYS+ 0,796 7,90 252
508 DISS MATH 0,235 7,68 510
516 DOKL MATH 0,162 5,29 516
Подведем итоги библиометрической оценке журналов.
1. Показатели исследовательской активности России в различных областях знания, и прежде всего в физике, химии и математике имеют тенденцию роста, а нормализованные показатели воздействия российских научных журналов, значения которых невелики (K < 50), имеют тенденцию к снижению. Если в 2005 г. российский научный корпус включал 4 журнала с показателями К > 30, то в 2010 г. - только один журнал. При этом можно отметить увеличение числа журналов с нормализованными показателями К > 15.
2. База Web of Knowledge: InCites по данным 2010 года включает в области математики 1633, а в области физики - 7120 российских публикаций. Это свидетельствует о том, что российские ученые предпочитают публиковаться за рубежом, безусловно, внося свою лепту (как представители России) в развитие мировой науки. Этому способствует частично политика, проводимая российскими государственными научными фондами, которая побуждает исследователей повышать цитируемость своих работ
и публиковаться в зарубежных журналах с высокими показателями импакт-фактора.
3. Сопоставляя ранги России в областях знания и ранги российских научных журналов в тех же областях, мы видим, что вклад ученых довольно значителен в отдельных отраслях естествознания, а роль научных журналов из этих областей оказывается более скромной. Можно назвать такие области, как физика, химия, математика, науки о пространстве, геонауки, материаловедение, техника, биология и биохимия, молекулярная биология и генетика, агронауки, в которых Россия по показателям исследовательской активности занимает традиционно высокие места на фоне 170 стран мира. Что же касается российских научных журналов, то проведенный анализ показал, что к концу первого десятилетия этого века можно выделить лишь 16 журналов, имеющих нормализованные показатели импакт-фактора К > 20 в период 2009-2010 гг.:
RUSSIAN JOURNAL of MATHEMATICAL PHYSICS;
ФИЗИКО- ТЕХНИЧЕСКИЕ ПРОБЛЕМЫ РАЗРАБОТКИ ПОЛЕЗНЫХ ИСКОПАЕМЫХ;
СТРАТИГРАФИЯ. ГЕОЛОГИЧЕСКАЯКОРРЕЛЯЦИЯ;
УСПЕХИ ФИЗИЧЕСКИХ НАУК;
АКУСТИЧЕСКИЙ ЖУРНАЛ;
ЗАЩИТА МЕТАЛЛОВ;
ФИЗИКА И ХИМИЯ СТЕКЛА;
MOSCOW MATHEMATICAL JOURNAL;
ФУНКЦИОНАЛЬНЫЙ АНАЛИЗ И ЕГО ПРИЛОЖЕНИЯ;
ПЕТРОЛОГИЯ;
ПАЛЕОНТОЛОГИЧЕСКИЙ ЖУРНАЛ;
ГЕОТЕКТОНИКА;
ФИЗИКА ПЛАЗМЫ;
ФИЗИКА ЭЛЕМЕНТАРНЫХ ЧАСТИЦ И АТОМНОГО ЯДРА;
ИЗВЕСТИЯ РАН. СЕРИЯ МАТЕМАТИЧЕСКАЯ;
РЕГУЛЯРНАЯ И ХАОТИЧЕСКАЯ ДИНАМИКА;
ТЕОРИЯ ВЕРОЯТНОСТЕЙ И ЕЕ ПРИМЕНЕНИЕ.
5. Анализ публикаций по модернизации в базах ISI / Thomson Reutewrs
«Модернизация» - одно из наиболее частых слов в общественных дискуссиях в России, Китае и других странах. Целью исследования по материалам баз цитирования, входящих в систему Web of Science, было выявить библиометрические показатели стран (прежде всего России и Китая, а также США, Японии, Канады и лидирующих стран ЕС), проследить их динамику и на этом фоне обсудить исследовательскую активность стран в области публикаций по модернизации [14]. Основные результаты представлены в таблицах 7 и 8, а также на рис. 3-5. Все базы цитирования, входящие в Web of Science в период 1945-2011 гг., включали 14 346 публикаций. Доля России и Китая достаточно мала.
Таблица 7. Число публикаций России и Китая по модернизации и среднегодовое количество (average yearly)
Страна & 1П & Т in & Среднегодовое количество & & & Т о ю & е о во дос еч ни дол & § и \о О О <N 1 О О О <N Среднегодовое количество CD <N 1 о о <N Среднегодовое количество
China 22 1,5 40 1,0 165 23,6 462 92
Russia 4 0,3 65 1,6 133 16,1 134 27
Ясно, что первое десятилетие этого века свидетельствует о росте публикаций по модернизации и в России, и в Китае. В случае Китая эти тенденции достигают реального бума в период 2009-2011 гг. Среднегодовое число публикаций увеличивается почти в 4 раза по сравнению с 2000-2006 годами, в то время как в России - менее чем в 2 раза.
Рис. 3. Количество публикаций по модернизации,
Россия и Китай
Остановимся на пятилетнем периоде 2007-2011 гг., который включал суммарно по всем базам и странам 4445 публикаций по модернизации. Что касается языков этих публикаций, то, как видно ниже (рис. 4), основным языком является английский.
Рис. 4. Распределение по языкам публикаций по модернизации
Распределение публикаций России и Китая в пяти базах цитирования Web of Science по трем кумулятивным периодам представлено в таблице 8 и на рис. 5-6.
Основные результаты библиометрического исследования публикаций о модернизации могут быть сформулированы следующим образом.
1. Слово «модернизация» наиболее часто выступает в публикациях, относящихся к социальным наукам, иначе говоря, вы-
ступает в DBs Social Science Citation Index (SSCI) and Conference Proceedings Citation Index-Social Science & Humanities (CPCI-SSH). Это говорит о том, что вопросы модернизации часто обсуждаются именно в социальных и гуманитарных науках, в исторических и экономических контекстах, а не в естественных науках, где дискуссия проводится в терминах технологических инноваций, речь идет о конкретных модернизационных процессах или технологиях.
2. Всплеск числа публикаций о модернизации происходит в период 2009-2011 годов, после первых шести лет этого века можно отметить резкое увеличение публикаций в России и Китае, хотя темпы этого роста в Китае значительно выше: среднее число публикаций в год в Китае 92, а в России лишь 27.
3. Для Китая по сравнению с Россией число публикаций о модернизации, представленных на конференциях в области социальных и гуманитарных наук, особенно значимо и значительно превышает эти показатели для России. Если в 2000-2002 годы эти две страны были на равных, то в 2009-2011 гг. показатели Китая в 20 раз превышают показатели России. Решение государственных научных фондов Российского правительства (РГНФ и РФФИ) об отмене финансирования поездок (вне грантов) на конференции российским ученым будет способствовать еще большему отрыву России от Китая и других стран.
Таблица 8. Публикации по модернизации в базах Web of Science
Years R U S S I A C H I N A
НЧ и сл НЧ и сл сл НЧ и К < сл 1 НЧ и и X сл сл ■ НЧ СЛ и НЧ и сл НЧ и сл сл НЧ и К < сл 1 НЧ и и X сл сл ■ НЧ СЛ и
2000-2002 26 9 2 17 1 11 15 2 18 9
2003-2005 13 8 3 17 3 13 17 1 40 22
2006-2008 27 17 3 16 1 37 21 7 97 57
2009-2011 42 23 10 9 2 44 56 26 147 110
Рис. 5. Российские публикации в базах цитирования
CHINA
Рис. 6. Китайские публикации в базах цитирования
6. Библиометрическая оценка университетов России по данным системы Web of Knowledge: InCites
База Web of Knowledge: InCites, сформированная в 2G11 г., включала ежегодные библиометрические показатели исследовательской активности и цитирования для стран, областей знания и научных организациях (высших школах). Опираясь на биб-лиометрические показатели для России в целом и 15 российских университетов, представленных в этой базе для ежегодных пе-
риодов с 2006 по 2010 годы, для сводного периода 2006-2010 гг. были рассчитаны суммарные и средние показатели, такие как исследовательская активность, число ссылок, среднее число ссылок на публикацию - Impact (не путать с показателями для журналов Impact Factor!), % цитируемых публикаций, % документов в базе Web of Science и % документов в национальном научном корпусе России, представленных в рамках этой базы. Для указанного сводного периода показатель Impact в среднем по базе был равен 4,23, а средний показатель % цитированных документов по всем странам был равен 66,68. На фоне этих показателей и будем обсуждать показатели России и отдельных университетов. В таблице 9 представлена исследовательская активность России и 15 российских университетов.
Таблица 9. Исследовательская активность университетов России: 2006-2010 гг.
У ниверситеты РОССИИ Web of Science Число документов о ок 5 1 = 2 Чс с к о 5 . ~ ЗИ о 3 ^ S « ^ ago м а л .р С у ыв мот £ « а щ я ? ту тик д % % документов вWeb of Science % док в Российском нац. корпусе
РОССИЯ 132775 286530 2,16 46,01 2,42
Казанский ун-т 1202 2285 1,94 48,06 0,02 0,90
Лоб. гос. ун, Н. Новг. 979 1346 1,37 41,28 0,02 0,74
МГУ им. Ломоносова 15157 35559 2,35 51,49 0,28 11,4
Морд. гос. ун-т 136 159 1,17 34,36 0 0,1
Моск. инж.-физ. ин-т 1118 7300 6,53 53,69 0,02 0,84
Моск. ин-т стали и сплавов 577 987 1,71 41,7 0,01 0,43
Новос. гос. ун-т 2081 3821 1,84 53,1 0,04 1,56
Рос. ун-т Дружбы народов 627 730 1,16 38,36 0,01 0,47
Сарат. гос. ун-т 843 1826 2,17 46,67 0,02 0,62
У ниверситеты РОССИИ Web of Science Число документов о ок 5 1 = 2 Чс с к о 5 . ~ ЗИ о 3 ^ S « ^ ago м а л .р С у ыв мот уре Я ? ту тик д % % документов вWeb of Science % док в Российском нац. корпусе
Сиб. федер. ун-т (Красноярск) 625 611 0,98 40,77 0,12 0,47
С.-В. фед ун-т (Якутск) 1242 1779 1,43 41,26 0,02 0,91
С.-Пб. гос. политех. ун-т 1071 3153 2,95 46,1 0,02 0,81
С.-Пб. гос. ун-т 4521 11521 2,55 63,73 0,08 3,40
Томский гос. ун-т 581 859 1,48 39,4 0,01 0,44
Урал. гос. ун-т 680 1170 1,72 48,8 0,01 0,51
Рассмотрим рейтинги университетов по трем показателям:
(1) показателю исследовательской активности - числу публикаций или доли документов в российском национальном корпусе;
(2) по показателю % цитируемых документов и (3) по показателю среднего числа ссылок на публикацию (Impact).
Рейтинг университетов (1) по показателям исследовательской активности.
Рейтинг университетов по показателям исследовательской активности показывает, что исследовательская активность (доля в национальном потоке) одного Московского университета -МГУ им. Ломоносова - превышает суммарную долю 11 университетов России, ранги которых от 2 до 12. МГУ им. Ломоносова является крупнейшим университетом страны по числу научных кадров, и поэтому такая высокая исследовательская активность этого вуза не вызывает удивления. Второе место занимает Санкт-Петербургский государственный университет с более 4 тыс. публикаций, его доля в национальном корпусе превышает 3%. У пяти университетов России исследовательская активность превышает 1000 публикаций в пятилетний период 2006-2010 гг. И, безусловно, мизерное число публикаций, 136 за
пять лет, представляет в национальном корпусе Мордовский государственный университет. Его исследовательская активность снижается, начиная от 2009 года. Следовательно, могут быть названы 7 университетов России, исследовательская активность которых превышала 1000 публикаций в период 2006-2010 гг.: МГУ, С.-Пб. гос. ун-т, Новосибирский гос. ун-т,
С.-В. фед. ун-т (Якутск), Казанский ун-т, Моск. инж.-физ. ин-т,
С.-Пб. гос. политех. ун-т (таблица 10).
Рейтинг университетов (2) по показателю % цитируемых документов.
Рейтинг российских университетов по показателю % цитируемых документов отличается от первого рейтинга. Напомним, что средний показатель % цитированных документов по всем странам в базе Web of Science равен 66,68. Здесь приятно поражает Санкт-Петербургский государственный университет - его процент цитируемых публикаций (63,73) превышает этот показатель в среднем по базе и России в целом (напомним, 46,01%). .
Таблица 10. Рейтинг университетов по показателям исследовательской активности:2006-10 гг.
РАНГ Университеты РОССИИ Web of Science Число докум % док в Российском нац. корпусе
1 МГУ им. Ломоносова 15157 11,4
2 С.-Пб. гос. ун-т 4521 3,40
3 Новосибирский гос. ун-т 2081 1,56
4 С.-В. фед. ун-т (Якутск) 1242 0,91
5 Казанский ун-т 1202 0,90
6 Моск. инж.-физ. ин-т 1118 0,84
7 С.-Пб. гос. политех. ун-т 1071 0,81
8 Лоб. гос. ун-т, Н. Новг. 979 0,74
9 Сарат. гос. ун-т 843 0,62
10 Урал. гос. ун-т 680 0,51
11 Рос. ун-т Дружбы народов 627 0,47
12 Сиб. федер. ун-т (Красноярск) 625 0,47
13 Томский гос. ун-т 581 0,44
14 Моск. ин-т стали и сплавов 577 0,43
15 Морд. гос. ун-т 136 0,1
Три высших школы - Московский инженерно-физический институт, Новосибирский гос. университет и МГУ получили более 50% ссылок на свои публикации. Близко к этим трем вузам стоят Уральский и Казанский гос. университеты. Меньше всего ссылок (< 40) получили публикации трех университетов: Сибирского федерального (г. Якутск), Университета Дружбы народов и Мордовского гос. университета. С другой стороны, можно назвать 8 университетов (ранги от 1 до 8), показатель % цитирования публикаций которых, выше этого показателя для России в целом: С.-Пб. гос. ун-т, Московский инж.-физ. институт, Новосибирский гос. ун-т, МГУ им. Ломоносова, Урал. гос. ун-т, Казанский ун-т, Сарат. гос. ун-т, С.-Пб. гос. политех. ун-т (таблица 11).
Рейтинг университетов (3) по показателю среднего числа ссылок на публикацию (Impact).
Таблица 11. Рейтинг университетов по показателю % цитируемых документов: 2006-10 гг.___________
Ран г Университеты РОССИИ % Цит докум
1 С.-Пб. гос. ун-т 63,73
2 Моск. инж.-физ. ин-т 53,69
3 Новосибирский гос. ун-т 53,10
4 МГУ им. Ломаносова 51,49
5 Урал. гос. ун-т 48,80
6 Казанский ун-т 48,06
7 Сарат. гос. ун-т 46,67
8 С.-Пб. гос. политех. ун-т 46,10
9 Моск. ин-т стали и сплавов 41,70
10 Лоб. гос. ун-т, Н. Новг. 41,28
11 С.-В. фед. ун-т (Якутск) 41,26
12 Сиб. федер. ун-т (Красноярск) 40,77
13 Томский гос. ун-т 39,40
14 Рос. ун-т Дружбы народов 38,36
15 Морд. гос. ун-т 34,36
Напомним, что в базе Web of Science показатель среднего числа ссылок на публикацию (Impact) равен 4,23. Этот показа-
тель только у одного вуза России - Московского инженернофизического института (Impact 6,53) - превосходит, и притом значительно, средний показатель в этой базе, в том числе и для России (2,16).
Обратимся к базе Web of Knowledge:InCites: видно, что такой высокий показатель ср.числа ссылок на публикацию в сводный период 2006-2010 гг. у МИФИ является результатом высокого цитирования работ этого университета в 2008 г., показатель Impact в этом году возрастает до 16,3.
Отсюда видно, что такой высокий показатель Impact в сводный период 2006-2010 гг. у С.-Пб. гос. университета есть за счет высокого цитирования работ этого университета в 2008 году. Среднее число ссылок на публикацию в этом году равно 16,33.
Можно назвать лишь 4 вуза в этом ранжированном списке университетов, показатели Impact которых составляют примерно половину от среднего показателя в Web of Science и сопоставимы со средним показателем для России: С.-Пб. гос. полит. ун-т, С.-Пб. гос. ун-т, МГУ им. Ломоносова и Сарат. гос. ун-т (таблица 13).
Таблица 12.__________________________________________________
ВУЗ Годы Число статей Число цитиро- ваний Среднее число цитат на одну статью
MOSCOW ENG PHYS INST 2006 187 1 559 8,34
MOSCOW ENG PHYS INST 2007 224 1 084 4,84
MOSCOW ENG PHYS INST 2008 195 3 184 16,33
MOSCOW ENG PHYS INST 2009 256 1 280 5
MOSCOW ENG PHYS INST 2010 256 193 0,75
Таблица 13. Рейтинг университетов по показателю Impact: 2006-10 гг.
Ранг Университеты РОССИИ Ср.число ссылок на док. (Impact)
1 Моск. инж.-физ. ин-т 6,53
2 С.-Пб. гос. политех. ун-т 2,95
3 С.-Пб. гос. ун-т 2,55
4 МГУ им. Ломоносова 2,35
5 Сарат. гос. ун-т 2,17
6 Казанский ун-т 1,94
7 Новосибирский гос. ун-т 1,84
8 Урал. гос. ун-т 1,72
9 Моск. ин-т стали и сплавов 1,71
10 Томский гос. ун-т 1,48
11 С.-В. фед. ун-т ( Якутск) 1,43
12 Лоб. гос. ун-т Н. Новг. 1,37
13 Морд. гос. ун-т 1,17
14 Рос. ун-т Дружбы народов 1,16
15 Сиб. федер. ун-т ( Красноярск) 0,98
В заключение отметим, что представленные рейтинги дают представление об исследовательской активности и цитировании публикаций ученых, работающих в этих российских университетах, мировым научным сообществом. По показателям цитирования публикаций можно назвать 4 университета, у которых показатели % цитированных работ больше 46% и при этом показатель среднее число ссылок на публикацию не менее 2,0: Санкт-Петербургский ГУ (64% и 2,5), МИФИ (54% и 6,5), МГУ (51% и 2,3), Саратовский ГУ (47% и 2,2), Казанский ГУ(48% и
1,90) и Уральский ГУ (48,8% и 1,7). Также отметим, что рейтинги высших школ приобретают широкую популярность в мире, их составляют в различных странах Европы, Америки и Азии. Одним из последних является рейтинг и-МиШгапк, разработанный в 2011 г. Европейской Комиссией для 159 вузов из 57 стран. Он включает 94 вуза из стран ЕС, 15 - из европейских стран (вне стран ЕС), и 50 вузов из стран Америки, Австралии и Азии. Показатели систематизированы по 5 группам: обучение, исследования, международная ориентация, региональная вовлечен-
ность вуза. В группу «исследования» входят показатели исследовательской активности (число публикаций) и цитирования
(среднее число ссылок на публикацию, сотрудника университета, аспиранта и пр. [23]).
Литература
1. ГАРФИЛД Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? // Вестник АН СССР. - 1982. - №6. - С. 42-50.
2. МАРШАКОВА И.В. Система связи между документами на основе ссылок // Научно-техническая информация. - 1973. -Сер. 2, № 6. - С. 3-8 ^
3. МАРШАКОВА-ШАЙКЕВИЧ И.В. Россия в мировой науке. - М.: ИФ РАН, 2008. - 228 с.
4. МАРШАКОВА-ШАЙКЕВИЧ И.В. Российские журналы в национальном и мировом научном корпусе: библиометриче-ский анализ Web of Knowledge: Journal Citation Reports // Информационное обеспечение науки: новые технологии: сб. научных трудов. - Екатеринбург: РАН. Ур.Отд. ЦНБ, 2013 (в печати).
5. ПРАЙС Д. де СОЛЛА. Квоты цитирования // Вопросы философии. - 1971. - №3. - С. 149-155.
6. COLE J., COLE S. Social Stratification in Science. - Chicago, Univ. of Chicago., 1973. - 298 p.
7. KLAVANS R., BOYACK K. Using global mapping to create more accurate document-level maps of research // Journal of the American Society for Information Science and Technology. -2011. - Vol. 62(1). - P. 1-18.
8. KUHN T.S. The structure of scientific revolutions. - Chicago: Univ. of Chicago Press., 1970. - 264 p.
9. ISI/Web of Knowledge: InCites. - 2012
10. ISI/Web of Knowledge Journal Citation Reports Science Edition 2008-2010.
11. ISI/Web of Knowledge: Web of Science.
12. MARSHAKOVA I.V. Citation Networks in Information Science // Scientometrics. - 1981. - Vol. 3, №1. - P. 13-26.
13. MARSHAKOVA-SHAIKEVICH I. The Standard Impact Factor as an Evaluation Tool of Science Fields and Scientific Journals // Scientometrics. - 1996. - Vol. 35, №2. - P. 283-290.
14. MARSHAKOVA-SHAIKEVICH I. Bibliometric analysis of Russian and Chinese publications on modernization in DBs Web of Science // Sociology of Science and Technology. - 2013. -Vol. 13, №1. - P. 102-112.
15. MARSHAKOVA-SHAIKEVICH IV. Journal co-citation analysis in the field of information science and library science // In Language, information and communication studies. P. Nowak&M. Gorny (Eds.). - Poznan: Adam Mieckiewicz University, 2003. - P. 87-96.
16. NATIONAL SCIENCE INDICATORS on Diskette: 1981-2002.
17. PRICE D. A general theory of bibliometric and other cumulative advantage processes // J. Amer. Soc. Inform. Sci. - 1976. -Vol. 27. - P. 292-305.
18. PRICHARD A. Statistical bibliography or bibliometrics // Journal of Documentation. - 1969. - №4 - P. 348-359.
19. ROY R., ROY N., JOHNSON G. Approximating total citation counts from first author counts and from total papers // Scien-tometrics. - 1983. - Vol. 5, №2. - P. 117-124.
20. Scientometrics Guidebook Series-Volume 2. The Impact Factor of Scientific and Scholarly Journals. Its Use and Misuse, 2007. -570 p.
21. SMALL H. Co-citation in the scientific literature: a new measure of the relationship between two documents // J. Am. Soc. Inform. Sci. - 1973 - Vol. 24. - P. 256-269.
22. WILKIN J. Ocena parametryczna czasopism naukowych w Polsce
- podstawy metodologiczne, znaczenie praktyczne, trudnosci reali-zacji i perspektywy // Forum Akademickie. -2013. - №1.
23. www.u-multirank.eu.
BIBLIOMERTRICS - WHAT AND HOW WE CAN EVALUATE IN SCIENCE
Irina Marshakova-Shaikevich, Institute of Philosophy of RAS, Moscow, Doctor of Science ([email protected])
Abstract: We explain the bibliometric approach (forms, methods and citation indicators) to study science, and give examples of bibliomet-ric evaluation of authors, scientific journals, and Russian universities on the basis of information from Web of Knowledge databases ин ISI/Thomson Reuters Scientific.
Keywords: research activity, citation indicators, normalized impact factor K.
Поступила в редакцию 19.02.2013.
Опубликована 31.07.2013.
