CC BY
79НАУКОМЕТРИЯ
В.В. ПИСЛЯКОВ
МЕТОДЫ ОЦЕНКИ НАУЧНОГО ЗНАНИЯ ПО ПОКАЗАТЕЛЯМ ЦИТИРОВАНИЯ
Введение: роль научного цитирования
Внимание ученых к исследованию научного цитирования объясняется тем, что это эффективный способ изучить коммуникацию в профессиональном сообществе, дисциплинарную структуру науки, механизмы рождения нового знания. Цитирование предоставляет исследователю хотя и не исчерпывающие, но зато объективные показатели. Неполнота данных цитирования обусловлена тем, что немало идей черпается в неформальном общении ученых, в устных диспутах на конференциях и симпозиумах, наконец, при личном контакте специалистов один на один. Отсюда при библиометрическом и наукометрическом анализе приходится довольствоваться «верхушкой айсберга», работать только с опубликованными трудами и, соответственно, с указанными в них источниками, способствовавшими созданию нового научного материала.
Другое предположение, из которого исходят исследователи науки при использовании существующих и разработке новых индексов научного цитирования, заключается в том, что наиболее зримо процесс научной коммуникации представлен в журнальных публикациях. Периодические издания известны своей оперативностью в отражении новых научных тенденций. Кроме того, любой монографии, как правило, предшествует ряд публикаций в периодике и, таким образом, использованные ученым или коллективом источники в любом случае
Писляков Владимир Владимирович — зам. директора по управлени-ию электронными ресурсами библиотеки Государственного университета - Высшая школа экономики. Адрес: 101000, Москва, Мясницкая, д. 20, ГУ - ВШЭ. Телефон: (495) 621-37-85. Электронная почта: [email protected]
«засвечиваются» на журнальном поле. Нельзя отрицать научного вклада устных докладов на конференциях, однако, с одной стороны, неупорядоченность и нерегулярность их опубликования нередко выводят доклады за рамки «публикуемого материала» (или оставляют в разряде «серой литературы»), с другой — по-настоящему важные сообщения, прозвучавшие на научных мероприятиях, с большой вероятностью рано или поздно выливаются опять-таки в журнальную статью. Хотя согласно исследованию В. Гленцеля и У. Шёпфлина (W. Glänzel, U. Schoepflin) [1] процент цитирования нежурнальных источников в академической периодике достаточно высок и в различных отраслях знания колеблется от 6% до 65%, использование при подсчете библиометрических параметров только периодических изданий достаточно корректно отражает целостную картину генезиса научных публикаций.
Источники библиометрических данных: зарубежные продукты и российские перспективы
Основой для анализа структуры цитирований и определения библиометрических показателей являются так называемые «цитатные» базы данных по периодике, в которых собираются не только библиографические данные о журнальных публикациях (автор, заглавие, наименование журнала, год, том, выпуск, страницы), но и пристатейные списки цитируемой литературы. Это позволяет находить как публикации, цитируемые в некоторой статье, так и публикации, цитирующие эту статью. Таким образом, пользователь может проводить эффективный поиск всей библиографии по интересующему его вопросу. В то же время специальная «надстройка» над такой базой данных, агрегирующая сведения по целым журналам, дает доступ специалистам к библиометрическим показателям периодических изданий.
На Западе наиболее известные цитатные базы данных представляет линейка продуктов компании Thomson Scientific (бывший Institute for Scientific Information, ISI) — Science Citation Index, Social Sciences Citation Index и Arts & Humanities Citation Index. Агрегированная журнальная библиометрия предоставляется в специальном продукте Journal Citation Reports (JCR)1.
Обратим внимание читателя, что анализ отечественной науки по зарубежным базам затруднителен и неполноценен. Причин — несколько, но основная заключается в том, что лишь небольшая часть
1 Недавно на рынок вышел первый серьезный конкурент цитатным ба-
зам Томсона — продукт Scopus компании Elsevier, однако он пока не
оснащен мощным и хорошо разработанным аналитическим средством,
подобным JCR. Обзор ряда ресурсов, предоставляющих возможности для поисковой работы со списками цитирования, но чаще всего на ограниченном (в частности, узко дисциплинарном) контенте, см. в недавнем выпуске журнала «Current Science» [2].
5 «Социологический журнал», № 1
журналов, издаваемых в России, включена в иностранные индексы. Так, в 1СЯ представлено менее 7% российских научных изданий [3] из числа входящих в «список ВАКа» [4]. В настоящее время ведутся работы по созданию специальной отечественной цитатной базы данных в рамках проекта «Разработка системы статистического анализа российской науки на основе данных российского индекса цитирования», инициированного Федеральным агентством по науке и инновациям и ведущегося Научной электронной библиотекой (НЭБ, еЫ-BRARY.RU). В Российский индекс научного цитирования (РИНЦ) войдут цитатные данные по более чем 1000 отечественным научным журналам. Помимо библиографической и цитатной информации в РИНЦ будут включаться сведения об авторах статей и об организациях, в которых они работают. Это позволит собирать публикационные и цитатные показатели по целым институтам, ведомствам или регионам. Такого рода объективные статистические сведения, в свою очередь, помогут оценивать деятельность научно-образовательных организаций, научных коллективов и отдельных исследователей, а аналогичные данные по журналам позволят в перспективе построить рейтинги изданий. Однако для корректной оценки российской науки при помощи РИНЦ необходимо не только качественное и обширное наполнение базы, но и применение корректных методик для подсчета и анализа различных библиометрических и наукометрических показателей. Краткий обзор мирового опыта в данной области и предлагается в настоящей статье. Обратим внимание, что для наглядности в тексте пойдет речь об анализе периодических изданий, однако все методики могут быть легко распространены на авторов, научные коллективы, организации и т. д.
Что считается цитированием?
Начнем с основополагающего определения: (1) Статья А цитирует статью Б, если хотя бы один раз в тексте А имеется ссылка на Б и Б, таким образом, вынесена в А в пристатейный список литературы или фигурирует в постраничной сноске. (2) Журнал I цитирует журнал I столько раз, сколько статей из I цитируют статьи из I. Таким образом, если в тексте одной статьи другая публикация упоминается несколько раз, это считается одним цитированием и в ситуации, отраженной на рис. 1, журнал I получил только 5 цитирований из журнала I.
Несмотря на то, что в принципе можно посчитать, сколько один журнал цитирует другой вообще, то есть на протяжении всей истории существования обоих изданий, на практике всегда выбирается фиксированный промежуток времени как для цитирующих статей, так и для статей цитируемых. Эти два промежутка могут не совпадать (и, как правило, — при подсчете основных библиометрических показателей — действительно не совпадают).
Введем также обозначения различных величин, которые будут использоваться в дальнейшем:
— CITJ (X, Y) — суммарное число цитирований, полученных в году X теми статьями журнала J, которые вышли в нем в году Y
(X > Y). Например, CITJ (2004, 2003) — суммарное число статей, вышедших в 2004 г., которые ссылались на работы, опубликованные в J в 2003 г. Здесь следует сделать оговорку о том, что невозможно посчитать все существующие в мире статьи, которые ссылались на публикации журнала J, вышедшие в течение определенного периода. Поэтому каждая база данных, каждый индекс цитирования ограничиваются некоторым фиксированным массивом журналов, из которого учитывают ссылки на другие публикации. В случае Citation Indexes ISI это «множество журналов, расписываемых ISI», в случае Scopus^ — это «журналы, включенные в базу данных Scopus». Для РИНЦ это также будет множество журналов, расписываемых РИНЦ (то есть все журналы ВАКа, плюс, возможно, дополнительные). Таким образом, в процессе библиометрического исследования мы заранее вводим два типа ограничения: по дате выхода цитируемых и цитирующих статей и по набору журналов, включенных в данное исследование.
— CITJ I (X) — число ссылок, полученных журналом I из журнала J в году X (то есть из статей журнала J, вышедших в году X).
— PUBJ (X) — суммарное число публикаций, вышедших в журнале J в году X.
«Классический» (синхронный, Гарфилдовский) импакт-фактор
Классический импакт-фактор [5], то есть то, что понимают под ним по умолчанию, — это, в строгом определении, «синхронный двухлетний импакт-фактор, без учета текущего года». Именно он вычисляется Институтом научной информации ISI и ежегодно публикуется в базе данных Journal Citation Reports. Именно он в наше время чаще всего фигурирует при сравнении уровня журналов. Классический импакт-фактор журнала J в году Y задается выражением:
[CITj (Y, Y-1) + CITj (Y, Y-2)] / [PUBj (Y-1) + PUBj (Y-2)], то есть отношением числа появившихся во всем массиве журналов за год Y ссылок на статьи журнала J, вышедшие в годах Y-1 и Y-2, к суммарному числу статей, вышедших в J за тот же период, годы Y-1 и
Рис. 1. Подсчет цитирований
У-2. Схематически это поясняется на рис. 2, а «физический смысл» данной величины таков: импакт-фактор журнала — это среднее число цитирований, которое получают в рассматриваемом году статьи, опубликованные в журнале в течение двух предыдущих лет.
Несколько замечаний. В действительности 181 в знаменателе считает не полное
N цитирований
2004
выход Oiv&'iiiKnmiH)
журналы J
2003
2(11)2
1
2001
|*1Шфоь:н|мн in
Н [Г \ Ж\ J1111Г11II
£ ши мочзн сам .1) "
£ —
2(1(14
2003
2002
200!
импакт-фактор =
N
число етлтей в журнале J ча 2002-3003 гт.
Рис. 2. Вычисление классического хронного) импакт-фактора за 2004 г.
(син-
число вышедших в свет публикаций, а число тех из них, которые могут быть процитированы (citable items). В них ISI включает собственно исследовательские статьи и научные обзоры, оставляя за скобками
редакционные заметки, письма в редакцию, новости, отчеты о конференциях и др. «Текущий» год не включен ISI в расчет данного показателя — ссылки года Y на статьи, опубликованные в том же году, не учитываются. Самоцитирование журнала, то есть ссылки в работах, опубликованных в J, на статьи, вышедшие в том же издании, учитывается при подсчете классического импакт-фактора.
«Диахронный» импакт-фактор
Диахронный импакт-фактор журнала J в году Y вычисляется по формуле: [CITj (Y+2, Y) + CITj (Y+1, Y)] / PUBj (Y), то есть задается отношением числа появившихся во всем массиве журналов за годы Y+2 и Y+1 ссылок на статьи журнала J, вышедшие в году Y, к суммарному числу статей, вышедших в J в году Y. Схематически это поясняется на рис. 3. Смысл данной величины таков: двух-
выход (цублпкацпя) ♦л ] I н. I. |. I J
14 I.I. Hill I' I;' I \
журналов (включая сан -H
2004
2003
21)112
2001
ТТТЖГ
ЖТ
!'\ У
L
200-Г
2 00J
2001
200 J
N цитировании импакт-фактор =
чиело статей в журнале J
за 3002 т.
Рис. 3. Вычисление диахронного импакт-фактора за 2002 г.
летний диахронный импакт-фактор журнала — это среднее число цитирований, которое опубликованная в журнале статья получает в чение последующих двух лет.
В отличие от синхронного импакт-фактора, диахронный показатель учитывает цитирования, которые получают статьи журнала, вышедшие в фиксированном году. По этой причине такой показатель, как полагают многие исследователи [6, 7, 8], предпочтительнее. В то же время недостатком диахронного импакт-фактора является невозможность его подсчета для текущих двух лет выпуска журнала: например, чтобы вычислить импакт за 2002 г., необходимо ждать, когда закончится 2004 г. При создании РИНЦ синхронный импакт-фактор для журналов можно рассчитать, имея полные данные по цитированию на массиве всех журналов всего за один год, в то время как для нахождения диахронного показателя необходима информация минимум за два полных года.
Ввиду того что в случае синхронного импакт-фактора фиксируется год цитирования и исследуется, какие статьи процитированы из прошлых лет, а в случае диахронного — фиксируется год публикации и подсчитываются будущие цитирования опубликованных в этому году работ, синхронный подход также называют ретроспективным, а диахронный — перспективным (подробнее см. [9]).
Индекс оперативности
Индекс оперативности (immediacy index) вычисляется как отношение числа полученных журналом в некотором году ссылок на статьи, вышедшие в том же самом году, к суммарному числу статей, вышедших за данный год в журнале: CITJ (Y, Y) / PUBJ (Y).
Схематически процесс подсчета индекса проиллюстрирован на рис. 4. Индекс оперативности показывает, насколько быстро становят-
нитн||0и:|н|1н in
1НТ\ *:■> 111 < ; I"'.
(включая сам J)
вы\к ]
! П\ IL IИКЩИЯ)
чл |: 111 I) J
индекс оперативности =
Рис. 4. Вычисление индекса оперативности за 2004 г.
N цитирований
Ж
2 004 2003 2002 2001
число статей п журнале J
ia 2004 г.
N
ся известны в научном мире статьи, опубликованные в журнале: они должны быть процитированы в том же календарном году. Как отмечалось, «текущий» год не учтен при подсчете синхронного и диа-хронного им-пакт - факторов,
введенных так, как это сделано выше, — ссылки года У на статьи, опубликованные в том же году У, в них не учитываются. «Индекс ративности», таким образом, восполняет этот пробел, учитывая только такие ссылки. В принципе, ничем не хуже классического импакта был бы показатель [СГТ (У, У) + СГТ (У, У-1) + СГТ (У, У-2)] / [РИБ; (У) + РИБТ (У-1) + РИБ1 (У-2)], уже в самом себе заключающий цитирования, отражаемые индексом оперативности. Таким образом, возможны оба подхода, однако КГ придерживается методики с разделением этих двух показателей — импакт-фактора и индекса оперативности.
Коэффициенты самоцитируемости и самоцитирования
К основным библиометрическим показателям могут быть также отнесены коэффициенты самоцитируемости и самоцитирования журнала. Первый из них равен отношению числа ссылок в публикациях журнала I на тот же самый журнал J к общему числу цитирований, полученных журналом. Коэффициент самоцитирования равен отношению числа ссылок в публикациях журнала I на тот же самый журнал J к общему числу цитирований, которые были произведены из этого журнала. Иными словами, коэффициент самоцитируемости — это доля во всех полученных цитированиях ссылок журнала на самого себя. Коэффициент самоцитирования — это доля во всех сделанных цитированиях ссылок журнала на самого себя. В обоих случаях, разумеется, ссылки рассматриваются на некотором временном интервале.
В символьном виде данные показатели, посчитанные для журнала I за год X, будут представлены как
СГТ; ! (X) / I СГТ Г ! (X) и
СГТ; ! (X) / I СГТ ! Г (X)
(сумма в обоих случаях берется по всем Г, включая сам I).
Высокий коэффициент самоцитируемости, по замечанию Р. Руссо [8], говорит о малой заметности журнала, в то время как высокий коэффициент самоцитирования свидетельствует скорее о замкнутости, изолированности дисциплины, в которой специализируется издание. Отметим также, что исследование КГ [10] показывает, что исключение самоцитирования при вычислении импакт-факторов журналов (то есть учет только цитирований, полученных из других изданий) несильно влияет на рейтинг ведущих журналов с большим импактом, хотя на некоторое число менее цитируемых изданий изъятие цитат на самих себя оказывает ощутимое влияние. В целом обнаруживается следующая закономерность: основная масса журналов с высоким коэффициентом самоцитируемости — это малоцитируемые журналы. Таким образом, один из интересных экспериментов, которые можно будет поставить на материале Российского индекса научного цитирования РИНЦ, — это
проверка, выполняется ли для россииских журналов предсказание, что «любой редактор, поддающийся искушению принудить своих авторов цитировать в статьях собственный журнал, должен быть готов к неудаче» [11]. Это означает проверку, действительно ли и для отечественных изданий не наблюдается связи между заметным коэффициентом самоцитируемости и высоким импакт-фактором журнала.
Хронологическое распределение списков цитирования и основные показатели «старения» статей
При наукометрическом анализе журналов, исследовательских групп и институтов важно не только подсчитывать суммарные показатели цитирования, но и определять хронологическую структуру библиографических ссылок. Так, например, журнал, цитирующий в основном классические источники многолетней давности, отличается от издания, стремящегося знакомить своих читателей с самой современной литературой по рассматриваемому вопросу. С другой стороны, если ученый опубликовал работу, в дальнейшем регулярно цитируемую из года в год, его вклад, скорее всего, будет иного характера, чем у исследователя, получившего много ссылок в первые 2-3 года после публикации статьи и впоследствии забытого.
28
30 25 20 15 10 5
0
26
17
10
2004 2003 2002 2001 2000 1999 1998 1997 1996 1995
Рис. 5. Хронологическое распределение цитируемых журналом источников
На рисунке 5 показана типичная хронологическая структура цитирования журналом других источников2 (рассматриваются библиографические ссылки в статьях журнала за 2004 г.). Работы, опубликованные в том же году, цитируются, как и следовало ожидать, нечасто, затем идет резкий взлет, и максимума распределение достигает, как правило, на 2-й - 4-й годы (это сильно зависит от дисциплинарной
6
5
2 Здесь можно говорить как обо всех цитируемых источниках вообще, так и только о цитируемых периодических изданиях. Вид типичного распределения будет одним и тем же, хотя средний «возраст» ссылки во втором случае, скорее всего, уменьшится. Отметим, что 181 учитывает цитирование только журнальных источников.
направленности журнала). После этого наступает постепенный спад, более древняя литература цитируется всё реже, однако убывание идет более плавно, чем предшествовавшее ему возрастание3.
Самый распространенный количественный показатель хронологии цитат — так называемое «время полужизни» цитирова-ния/цитируемости (citing/cited half-life), или более корректно, медиана хронологического распределения ссылок. Определение медианы формулируется для набора библиографических ссылок следующим образом: это такой момент времени, в который половина рассматриваемых ссылок относится к статьям, опубликованным позднее медианы, половина — к более древним, чем медиана, статьям. В случае отсутствия целого значения медианы делаются соответствующие пропорциональные поправки и вычисляется дробное значение.
Поясним сказанное примером. Предположим, журнал, цитировавший литературу так, как показано на рис. 5, не ссылался на статьи, вышедшие ранее 1995 г., то есть рисунок исчерпывающе отражает все ссылки в статьях журнала за 2004 г. Тогда всего имеется 134 цитирования и надо найти такой момент времени, когда 67 цитирований будут относиться к статьям, вышедшим позднее этого момента. На статьи, вышедшие позднее 2000 г., ведут 54 ссылки, на статьи позднее 1999 г. — 80. Значит, медиана находится где-то в течение 2000 г. Если к 54 ссылкам, цитирующим источники позднее 2000 г. (2004, 2003, 2002, 2001), добавить половину ссылок на 2000 г. (26/2 = 13), то мы получим как раз 67 ссылок — половину от всего имеющегося на рис. 5 их числа. Следовательно, медиана показанного распределения равна 4,5 годам. Иными словами, «время полужизни» цитирования за 2004 г. для рассматриваемого в примере журнала равно 4,5 годам. Для настоящей статьи, опубликованной в 2007 г., время полужизни цитирования составляет 6,375 лет.
Пример на рис. 5 показывает, какого года работы цитирует некий журнал. Абсолютно аналогично можно поставить вопрос, какого года выпуска цитируются статьи данного журнала другими изданиями (и самим данным журналом). Построив такое же распределение по хронологии ссылок, сделанных в течение 2004 г. на статьи рассматриваемого издания, можно идентичным образом посчитать медиану этого распределения, получив «время полужизни» цитируемости журнала за 2004 г.
3 В частности, Д. Шарп [11] приводит как необходимое условие «базовой модели цитирования» больший уровень цитирования года, следующего за максимумом, по сравнению со средним числом цитирований годов максимума и предшествующего ему. В нашем случае (рис. 5) это означает, что число цитирований источников 2000 г. должно быть больше, чем среднее от 2001 и 2002 гг.
У хронологического распределения ссылок, как у любого типа распределения, имеются и другие показатели, например мода (возраст
4
ссылок , при котором распределение достигает максимального значения, 3 года на рис. 5) и среднее (сумма возрастов всех ссылок деленная на их число, 4,15 года на рис. 5). Однако, помимо этих стандартных статистических величин, в наукометрии вводятся специальные показатели, в частности индекс Д. Прайса и среднее время отклика.
Индекс Прайса введен в классической работе этого автора [13], развит, в частности, Х. Мудом (H.F. Moed) [14] и в общем виде может быть определен как процент во всем множестве ссылок тех из них, которые являются ссылками на литературу, опубликованную за последние пять лет до выхода цитирующей статьи. В нашем примере — для распределения на рис. 5 и 2004 г. — необходимо найти отношение числа ссылок на статьи 2000-2004 гг. (то есть 2+6+18+28+26 = 80) к суммарному количеству ссылок (134). Получаем индекс Прайса — 60%. Можно также убедиться в том, что для данной статьи «Социологического журнала» индекс Прайса равен 32%.
Несмотря на то что между индексом Прайса и медианой/средним значением хронологического распределения существует заметная корреляция [15], точной зависимости здесь нет. Индекс Прайса предлагается учитывать при попытках разделить фундаментальные, прикладные и общественные науки, а также ненаучное знание/деятельность (в частности см. [13, 16, 17]).
Еще один библиометрический показатель — так называемое «среднее время отклика» (mean response time) — введен А. Шубертом и В. Гленцелем [18] и расширен, например, в статье Гленцеля [19]. Он равен экспоненциальному среднему времён первого цитирования статей, с учетом только тех публикаций, которые были процитированы в первые 5 лет после выхода (включая год публикации). Иными словами, сначала считается процент статей в журнале, которые были впервые процитированы в календарный год выхода (f 0), на следующий год после выхода (f i), через 2 года после выхода (f 2), через 3 года после выхода (f 3) и через 4 года после выхода (f4). Затем вычисляется среднее время отклика по следующей формуле:
MRT = -ln(f 0 + f 1e-1+ f 2e-2 +f3e-3 + f4e-4),
где e — основание натурального логарифма. Из определения видно, что чем быстрее в среднем начинают цитировать статьи журнала, тем меньше будет среднее время отклика. Показатель, построенный на учете первого цитирования статей, весьма ценен: как считают, например,
4 Интуитивно понятный термин «возраст ссылки» определяется как разница между годом, когда опубликована статья, в которой приводится данная ссылка, и годом выпуска статьи, на которую ссылаются.
западные исследователи [20], «момент первого цитирования — важная дата в «жизни» статьи, т. к. в это время публикация впервые "используется" и меняет, таким образом, статус с "невостребованного" на "востребованный"».
Отметим, что при создании Российского индекса научного цитирования на начальном этапе, когда полная информация о библиографических ссылках будет доступна по всем журналам только за один календарный год, уже станет возможным посчитать для каждого издания время полужизни цитирования, время полужизни цитируемо-сти и индекс Прайса. Для вычисления среднего времени отклика потребуется информация о цитировании по пяти полным годам.
Заключение
В настоящей работе рассмотрены основные библиометрические показатели, позволяющие исследовать деятельность журналов по созданию и распространению научного знания. Данные характеристики также могут быть легко перенесены на анализ работы авторов, научных коллективов, институтов, стран и даже целых мировых регионов.
Можно сказать, что создание Российского индекса научного цитирования (РИНЦ), которое проводит Научная электронная библиотека, «запоздало» относительно зарубежных аналогов: уже несколько десятилетий существуют международные цитат-индексы Института научной информации (181) и, кроме того, появился ряд национальных баз цитирования (общего профиля или более-менее дисциплинарно направленных) — например, китайские [21, 22, 23], японская [24], тайваньская [25]. У такого рода запаздывания есть очевидные минусы: в частности, пройдет немало времени, прежде чем будут собраны глубокие и многолетние данные по деятельности российской науки, позволяющие обнаруживать долгосрочные тенденции и стратегические перемены. Некоторые библиометрические показатели, как мы видели, сами по себе требуют для своего вычисления значительных по времени архивов сведений о цитировании.
Тем важнее использовать и несомненное преимущество «молодости» РИНЦ. Имея перед глазами полувековой опыт зарубежных коллег, можно с большей информированностью подойти к созданию и использованию отечественной базы данных цитирования, избежав многих недочетов — как чисто технического, так и более глубокого, методологического плана. Конечно, для сравнительного интернационального анализа следует считать все «классические» показатели: Гарфилдовский импакт-фактор, коэффициенты самоцитирова-ния/самоцитируемости, время полужизни. Однако не менее необходимо тщательное изучение различных наукометрических методик, появившихся в последнее время, что позволит вычленить в мировом опыте те из них, которые являются более совершенными с точки зрения
информативности и значимости, лишенными внутренних недостатков уже прижившихся характеристик. Широкое, «индустриальное» внедрение современных оптимизированных оценок в практику предоставления отчетных показателей и в комплексный анализ отечественной науки — это исторический шанс для разработчиков РИНЦ и его будущих пользователей.
ЛИТЕРАТУРА
1. Glänzel W., Schoepflin U. A bibliometric study of reference literature in the sciences and social sciences // Information Processing and Management. 1999. Vol. 35. No. 1. P. 31-44.
2. Roth D.L. The emergence of competitors to the «Science Citation Index» and the «Web of Science» // Current Science. 2005. Vol. 89, No. 9-10. P. 1531-153б.
3. Отчет о научно-исследовательской работе (промежуточный) по теме «Разработка системы статистического анализа российской науки на основе данных российского индекса цитирования». Москва, 2005 [Электронный ресурс] <http://elibrary.ru/proj ects/citation/docs/report.doc>.
4. Перечень ведущих рецензируемых научных журналов и изданий, выпускаемых в Российской Федерации, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени доктора наук (2001-2005). Москва, 2005. [Электронный ресурс] <http://vak.ed.gov.ru /files/materials/3 ^/per.doc^
5. GarfieldE., Sher I.H. New factors in the evaluation of scientific literature through citation indexing // American Documentation. 19б3. Vol. 14. No. 3. P. 195-201.
6. Ingwersen P., e. a. The publication-citation matrix and its derived quantities // Chinese Science Bulletin. 2001. Vol. 4б. No. б. P. 524-528.
7. Ingwersen P., Larsen B., Wormell I. Applying diachronous citation analysis to research program evaluations // The Web of Knowledge: A festchrift in honor of Eugene Garfield / Ed. by B. Cronin, H.B. Atkins. Medford: Information Today Inc. & American Society for Information Science, 2000. P. 373-387.
8. Rousseau R. Journal evaluation: Technical and practical issues // Library Trends. 2002. Vol. 50. No. 3. P. 418-439.
9. Glänzel W. Towards a model for diachronous and synchronous citation analyses // Scientometrics. 2004. Vol. б0. No. 3. P. 511-522.
10. McVeigh M.E. Journal self-citation in the Journal Citation Reports — Science Edition (2002): A citation study from the Thomson Corporation [online] <http://scientific.thomson.com/knowtrend/essays/journalcitationreports/selfci tation2002>
11. SharpD. As we said... // Lancet. 2004. Vol. 3б4. No. 943б. P. 744.
12. Rousseau R., e. a. Observations concerning the two- and three-year synchronous impact factor, based on the Chinese Science Citation Database // Journal of Documentation. 2001. Vol. 57. No. 3. P. 349-357.
13. De Solla Price D.J. Citation measures of hard science, soft science, technology, and non-science // Communication among scientists and engineers / Ed. by C.E. Nelson, D.K. Pollak.: Lexington: Heath Lexington Books, 1970. P. 3-22.
14. Moed H.F. Bibliometric measurement of research performance and Price's theory of differences among the sciences // Scientometrics. 1989. Vol. 15. No. 5-6. P. 473-483.
15. Egghe L. Price index and its relation to the mean and median reference age // Journal of the American Society for Information Science. 1997. Vol. 48. No. 5. P. 564-573.
16. Wouters P., Leydesdorff L. Has Price's dream come true: Is scientometrics a hard science? // Scientometrics. 1994. Vol. 31. No. 2. P. 193-222.
17. Schoepflin U., Glanzel W. Two decades of «Scientometrics». An interdisciplinary field represented by its leading journal // Scientometrics. 2001. Vol. 50. No. 2. P. 301-312.
18. Schubert A., Glanzel W. Mean response time — A new indicator of journal citation speed with application to physics journals // Czechoslovak Journal of Physics. 1986. Vol. 36. No. 1. P. 121-125.
19. Glanzel W. On some stopping times of citation processes. From theory to indicators // Information Processing and Management. 1992. Vol. 28. No. 1. P. 53-60.
20. Egghe L., Ravichandra Rao I.K R. Theory and experimentation on the most-recent-reference distribution // Scientometrics. 2002. Vol. 3. No. 3. P. 371-387.
21. Jin B., Wang B. Chinese Science Citation Database: Its construction and application // Scientometrics. 1999. Vol. 45. No. 2. P. 325-332.
22. Wu Y., e. a. China Scientific and Technical Papers and Citations (CSTPC): History, impact and outlook // Scientometrics. 2004. Vol. 60. No. 3. P. 385-397.
23. Xin-Ning S., Xin-Ming H., Xin-Ning H. Developing the Chinese Social Science Citation Index // Online Information Review. 2001. Vol. 25. No. 6. P. 65-369.
24. Negishi M., Sun Y., Shigi K. Citation database for Japanese Papers: A new bibliometric tool for Japanese academic society // Scientometrics. 2004. Vol. 60. No. 3. P. 333-351.
25. Chen K.-H. The construction of the Taiwan Humanities Citation Index // Online Information Review. 2004. Vol. 28. No. 6. P. 410-419.
