CC BY
35Ю.В. Грановский
МОЙ НАУКОМЕТРИЧЕСКИЙ «АВТОПОРТРЕТ»
Ключевые слова: наукометрия; критерии эффективности; цитирование публикаций; оценка эффективности ученых; источники информации; «Паутина науки»; Гугл-академия; российский индекс научного цитирования; оценка автора статьи.
Keywords: scientometrics; performance criteria; citation of publications; performance evaluation of scientists; sources of the information; Web of Science; Academia Google; russian science citation index; assessment of the author of this article.
Аннотация: Проблема оценки эффективности научных исследований коллективов и ученых остается актуальной. Предложен подход на уровне отдельных исследователей, основанный на подсчете количества ссылок на их публикации, - создание наукометрического автопортрета. Он рассмотрен на примере создания автопортрета автора статьи. Источниками информации служили Science Citation Index, Web of Science, Гугл-академия, Российский индекс научного цитирования. Получено количество ссылок за 50 лет, проведена их корректировка и интерпретация. Сравнивается публикуемость и цитируемость с группой из девяти членов-корреспондентов РАН. Даны рекомендации по развитию исследований в отмеченных научных направлениях.
Abstract: The evaluation of the effectiveness of scientific research groups and scientists remain relevant. The approach offer at the level of individual researchers, based on counting the number of citations to their publications - the creation of scientific self-portrait. Creation of a self-portrait of the author of the article considered. Sources of information served as Science Citation Index, Web of Science, Google Scholar, Russian Science Citation Index. Received number of citations for
50 years, held their correction and interprétation. The publications and the citations are compared with a group of 9 member-correspondents of the Russian academy of sciences. Recommendations showed for the development of research in these scientific directions.
В последнее десятилетие в нашей стране наукометрия приобрела большую популярность. Этому способствовал приказ Мин-обрнауки, Минздравсоцразвития России и РАН № 273/745/68 от 03.11.06 «Об утверждении видов, порядка и условий применения стимулирующих выплат, обеспечивающих повышение результативности деятельности научных работников и руководителей научных учреждений, научных работников научных центров Российской академии наук». Среди разных критериев эффективности исследований нашлось место и цитированию работ, одному из основных наукометрических критериев.
Развитие исследований по наукометрии в Московском государственном университете им. М.В. Ломоносова рассмотрено нами в работе [1]. Там отмечено, что в последние годы эти работы поддерживаются ректоратом. Не остался в стороне и химический факультет. Важность применения наукометрии отмечалась в выступлениях декана факультета академика В.В. Лунина.
Теперь ситуация изменилась, хотя в памяти остались давние случаи, когда упоминание этого термина встречало возмущенный гул аудитории. Тогда к наукометрии относились скептически, если не враждебно. Примеры скептических замечаний в адрес наукометрии приведены в Предисловии нашей книги по наукометрии, изданной в 1980 г. [2].
И все же развитие отечественных исследований по наукометрии не проходит гладко. Об этом свидетельствуют публикации сборника «Наукометрия и экспертиза в управлении наукой» [16], изданного по итогам выступлений участников интернет-конференции, организованной Институтом проблем управления РАН1. В сборнике наряду с критическими работами можно встретить и конструктивные предложения. Так, например, в статьях известного специалиста по математической статистике проф. А.И. Орлова отмечено, что естественная последовательность научных публикаций по той или иной проблеме включает тезисы доклада, тематический сборник, монографию, учебник. За этим следует широкое применение реко-
1 Режим доступа: http://ubs.mtas.ru/archive/index.php?SECTION_ID=685
мендаций. Учет цитирования в публикациях ограниченного числа научных журналов преуменьшает реальные достижения [17; 18].
Наряду с конструктивными предложениями появились и публикации, по нашему мнению, не содержавшие полезной информации. Одна из подобных статей называется: «Библиометрический азарт как следствие отсутствия научной экспертизы» [20]. Свою критическую статью авторы адресуют научным сотрудникам и администраторам, не заразившимся еще «бациллой» наукометрии. Но вот ответ на вопрос, откуда взялись «библиометристы» или «нау-кометристы», чему и где они обучались ранее, авторам неведом. И это странно, так как один из родоначальников этой области исследований проф. В.В. Налимов (1910-1997), автор термина «наукометрия», работал на биологическом факультете МГУ, а один из авторов работы [20] является сотрудником Московского университета. Стоит упомянуть, что в первом десятилетии нового века прошли две Всероссийские конференции по науковедению, на которых работала секция по наукометрии. А в Институте научной информации по общественным наукам РАН уже много лет работает семинар по науковедению под руководством проф. А.И. Ракитова, где заслушиваются доклады и по наукометрии. И это только часть информации о положении отечественной наукометрии.
Роль наукометрии в развитии науки рассматривалась и на международной конференции «Проблемы наукометрии: состояние и перспективы развития», организованной Институтом проблем развития науки РАН осенью 2013 г. [19]. Там отмечалось, что по мере усиления роли науки в жизнедеятельности общества наукометрические индикаторы постепенно проникают и в сферу практической реализации научных достижений и регулирования научной сферы. Наукометрические параметры используются при распределении финансов на исследования, выступают как ориентиры государственной научной политики и пр. Наукометрия действует как эффективный инструмент поддержки единства научно-инновационного пространства, обеспечения его солидарности и саморегуляции [12].
Пожалуй, одна из самых острых и широко обсуждаемых проблем наукометрии - оценка эффективности исследований научных коллективов и научных работников. Этому вопросу уделили внимание и авторы первой в мире монографии по количественным методам изучения развития науки В.В. Налимов и З.М. Мульченко [15]. В предложенной там информационной модели науки библиографические ссылки связывают публикации между собой и таким
образом структурируют информационный поток. Таким образом, ссылки занимают важное место в информационной модели. При изучении и применении цитируемости на первое место авторы монографии [15] поставили задачу установления обратной связи между автором публикации и творчески активным читателем. Используя такие базы данных, как Science citation index, каждый автор может следить за распространением и использованием своих идей. Как следует из концепции кибернетики, оптимизация без обратной связи неэффективна. Число ссылок на публикации научного сотрудника или коллектива служит оценкой вклада в информационные потоки и коррелирует с эффективностью исследований.
Не обошли В.В. Налимов и З.М. Мульченко и проблему оценки эффективности исследований c помощью цитирования. Они считают, что к сбору информации для оценки уровня цитируемости следует подходить очень продуманно и количественные оценки необходимо подвергать смысловому анализу. И в то же время замечают: «Будет катастрофически плохо, если плановые отделы или отделы кадров наших учреждений начнут делать вульгарные оценки по уровню цитируемости» [15, c. 125].
Один из самых сложных вопросов оценки - это выводы об эффективности на уровне отдельных научных сотрудников. Здесь уменьшаются размеры выборок, и статистические оценки становятся менее достоверными [13]. Поэтому мы в работе [1] рекомендовали больше внимания обратить на оценки научных коллективов. При этом еще выявляются «эффекты взаимодействия» между членами коллектива. Далее оценки для коллективов и сотрудников сравниваются с оценками когорты исследователей, работающих в том же научном направлении.
В работах по данной теме все время обсуждается вопрос: как интерпретировать данные о цитировании при оценке эффективности исследований? Мы занимаем «умеренную» позицию, изложенную, например, в работе [22]: если публикации того или иного сотрудника имеют повышенную цитируемость (при корректной интерпретации результатов), то с высокой вероятностью его работа может быть признана эффективной. В ином случае не выносится отрицательный вердикт, а исследования по получению информации о работе сотрудника должны быть продолжены.
При таком подходе просматривается аналогия с последовательным (секвенциальным) анализом, применяемым в аналитической химии. Там при последовательных сериях опытов либо принимается (отвергается) гипотеза, либо испытания продолжаются [14].
При оценке эффективности исследований работа может продолжаться с другими критериями эффективности научной деятельности.
Далее приведена методика сбора информации для получения нашего наукометрического портрета. Здесь использованы три источника информации о ссылках на публикации автора данной статьи:
- Science citation index (SCI), с 1965 по 1997 г. - бумажная версия; Web of Science (WoS), размещенная в Интернете1, за период 1998-2014 гг.;
- Гугл-академия (GA), информация размещена в Интернете, период 1965-2014 гг. Эта база данных основана на Интернет-публикациях;
- Российский индекс научного цитирования (РИНЦ), период 1986-2014 гг.
В первом источнике информации поиск ссылок проводился по двум вариантам написания фамилий: Granovskii YV, Granovsky YV. Ссылки на публикации за 1966-1975 гг. опубликованы в препринтах [3-5]. Особый случай - цитирование монографии, где автор данной статьи не был первым среди соавторов. Здесь использовался поиск по первому соавтору на основе Web of Science Core Collection.
При использовании второго источника информации (GA) к двум вариантам фамилии добавлялась фамилия на русском языке. Количество ссылок из всех источников информации представлено в табл. 1
Таблица 1
Количество ссылок из всех источников информации
Источники информации
Количество ссылок SCI+WoS GA РИНЦ
775 1486 1037
Таким образом, в сумме получено 3298 ссылок на работы автора. Из них 23,5% из первого источника, 45,06 - из второго, 31,44% - из третьего. Если далее использовать терминологию науки о полезных ископаемых, то это руда, требующая переработки для повышения концентрации ценных компонентов. Процедуру «обогащения» проводили в два этапа. На первом этапе были отброшены ссылки на однофамильцев, ссылки из ОЛ, не содержавшие годы
1 Коммерческая версия. - Прим. авт.
цитирующих публикаций, ошибочные ссылки. Ссылок без дат оказалось достаточно много. На этом этапе проводилась дополнительная работа по уточнению дат с помощью поисковых систем Интернета (Google, Яндекс, Рамблер). Например, за 2013 г. к 50 ссылкам из GA были добавлены еще 16 ссылок, найденных с помощью поисковых систем.
На втором этапе обогащения устранялись повторные ссылки (исходными служили ссылки из SCI+WoS) и самоцитирование -из множества ссылок, полученных после первого этапа «очистки». На этом этапе примерно две трети удаленных ссылок относились к повторным ссылкам, остальные - к самоцитированию. Таким образом, после двух этапов для дальнейшего рассмотрения остались 2655 ссылок, 80,5% от исходного количества ссылок. Можно надеяться, что полученная выборка достаточно хорошо представляет «генеральную совокупность».
Далее изучалась динамика цитирования из всех источников информации. Весь интервал времени с 1965 по 2014 г. был разделен на 10 интервалов, по пять лет каждый интервал. Номера интервалов и годы приведены в табл. 2. Для каждого интервала подсчиты-валось суммарное количество ссылок.
Таблица 2
Интервалы и периоды времени
Номер интервала Годы Номер интервала Годы
1 1965-1969 6 1990-1994
2 1970-1974 7 1995-1999
3 1975-1979 8 2000-2004
4 1980-1984 9 2005-2009
5 1985-1989 10 2010-2014
В табл. 3 представлены данные по цитированию из каждого источника информации для соответствующего интервала после двух этапов очистки.
Распределение ссылок по источникам информации: 26,89% из первого; 43,39 из второго; 29,72% из третьего.
Более половины всех ссылок из всех источников информации приходится на книгу: Адлер Ю.П., Маркова Е.В., Грановский Ю.В. «Планирование эксперимента при поиске оптимальных условий». Книга вышла двумя изданиями (1971, 1976) в издательстве «Наука»
и была переведена на английский и венгерский языки. Она предназначалась широкому кругу экспериментаторов, многие из которых слабо владеют математико-статистическими методами. Поэтому все математические процедуры пояснялись, комментировались и сопровождались примерами. Изложение материала проводилось в манере, близкой к разговорному языку [10].
Таблица 3
Динамика цитирования из каждого источника информации после двух этапов очистки
Интервал Источник информации Сумма
SCI+WoS ОА РИНЦ
1 14 14 - 28
2 53 22 - 75
3 140 105 - 245
4 129 100 - 229
5 97 69 4 170
6 71 58 2 131
7 59 34 21 114
8 53 82 91 226
9 46 243 300 589
10 52 425 371 848
При рассмотрении динамики цитирования из SCI+WoS следует учитывать, что в эту базу данных входят сведения из множества (более 10 тыс.) зарубежных журналов и только около полутораста российских научных журналов [11]. В первые три года имел место быстрый рост цитирования, затем материал «устаревал», цитируемость падала.
Совершенно иная картина имеет место при цитировании статей из множества отечественных журналов. Здесь сканируются ссылки из более 4,5 тыс. отечественных журналов (осень 2014 г.). Так как число журналов, включенных в базу данных, растет во времени, экспоненциально растет и число цитирований. Но все же рост цитируемости в последние три интервала времени (табл. 3) нуждается в дополнительном обосновании. Изменилась экономическая ситуация в стране, возрос интерес к сложным задачам, часто имеющим прикладную направленность. Причем эти задачи надо решать при дефиците времени. Отсюда стремление к широкому использованию математико-статистических методов и, в частности, методов планирования эксперимента.
В нашей работе [10] приведены результаты наукометрического анализа трех соавторов этой книги за пятилетний период (2006-2010) по данным РИНЦ. Выделены 214 цитирующих статей. Определен круг журналов, в которых опубликованы статьи по планированию эксперимента. Перечень журналов отличается разнообразием. Здесь имеются журналы международного значения, академические издания, журналы широкого научно-технического профиля и узкого предметного предназначения. Определен широкий круг областей применения планирования эксперимента: химия и химическая технология; нефтехимия, нефтепереработка и технология добычи нефти и газа; металлургия, металловедение и пр. Выявлена география планирования эксперимента - около 20 городов.
В настоящем сообщении приведена методика сбора и использования ссылок на наши публикации. Нам известен журнал, содержащий раздел «Обмен опытом». И данная статья адресована научным сотрудникам, которые захотят воспользоваться нашим опытом получения и интерпретации ссылок.
Опыт показывает настоятельную необходимость предварительного просмотра материала после сбора сведений о цитиру-емости. В данном случае было удалено около 20% ссылок. Для разных исследователей «урезание» материала будет разным, но необходимость этой операции не вызывает сомнений. И здесь угадывается различие между получением наукометрического «автопортрета» и наукометрического «портрета». Легко представить, что ошибок в подсчете цитирования будет меньше в случае просмотра «родного» материала самим научным сотрудником.
После сбора информации о цитируемости публикаций следуют этапы установления обратной связи и оценки эффективности исследований. При этом принималось во внимание, что любое научное направление проходит 3-4 стадии в своем развитии: начальная стадия (число работ и исследований невелико); стадия экспоненциального роста (публикаций, ссылок и пр.); стадия «насыщения». В начальной и второй стадии преобладают публикации с изложением и распространением новых идей. Здесь встречаются работы с оригинальной постановкой задачи, с новым тонким экспериментом и пр. Стадия насыщения связана с получением информации, когда с ранее разработанных позиций изучаются все новые и новые объекты и процессы. Такие исследования в работе [21] названы «интеллектуальной индустрией». Удельная цитируемость может служить критерием, позволяющим отличать публикации «интеллектуальной индустрии» от поисковых, идейно насыщенных работ.
На последней стадии часто высокую цитируемость имеют монографии, анализирующие развитие исследований и обобщающие результаты.
Эти соображения учитывались нами при работе в трех научных направлениях: планирование эксперимента; наукометрия; молекулярная спектроскопия. Наши исследования по планированию эксперимента начались в начале 1960-х годов. Начало работ может быть отнесено к первым двум интервалам времени (табл. 2). Первые публикации и первое издание (1971) отмеченной выше монографии имели высокое цитирование. С целью расширения сферы применения методов планирования эксперимента увидело свет второе издание (1976). Цитирование заметно возросло (табл. 3). Успех, вероятно, связан еще и с тем, что второе издание было пополнено четырьмя главами: обобщенный параметр оптимизации (функция желательности); матричный подход к регрессионному анализу; о классификации экспериментальных планов; очерк по истории планирования эксперимента. Стоит отметить, что в книге сделана попытка описать процесс принятия решений на неформализованных этапах планирования эксперимента. В литературе по данной теме обычно уделяется внимание только формализованным этапам [10].
Иная ситуация с данным научным направлением сложилась в последние три интервала времени (табл. 2). Тысячи статей, сотни монографий, курсы лекций и практикумы в десятках вузов страны (период насыщения). Но все же оставались вопросы, слабо рассмотренные в литературе. Это идейное развитие работ по математической теории эксперимента, подготовка кадров, организация исследований, наукометрические исследования в этой области, экспансия методов в разные области исследований, осознание трудностей в проведении прикладных работ и возможные способы их преодоления. Они рассмотрены нами в недавно изданной монографии [6].
Другая картина сложилась в наукометрических исследованиях. Число ссылок по этой теме составило примерно 10% от общего числа ссылок. Наша первая работа в этом научном направлении появилась в 1967 г. Ожидалось проявление интереса к этой тематике (науковедению и наукометрии как части науковедения), по крайней мере не меньшего, чем к планированию эксперимента. Публикации первого периода встретили доброжелательное отношение и были замечены (десятки ссылок). Но с начала 1980-х годов масштаб отечественных науковедческих исследований стал постепенно сокращаться. Пошел процесс массового ухода исследователей из этого научного направления [7; 8]. Здесь не место рассмат-
ривать причины свертывания работ в этой области науки. Но все же одну причину стоит отметить. В отечественных исследованиях по планированию эксперимента важную роль сыграл Научный совет по комплексной проблеме «Кибернетика» при Президиуме АН СССР, возглавляемый академиком А.И. Бергом. В составе совета работали две секции - сначала секция химической кибернетики, а затем секция математической теории эксперимента. Сам академик безоговорочно поддерживал планирование эксперимента и содействовал развитию этого направления. Секция проводила огромную работу по созданию новых организаций, публикации работ, проведению конференций, семинаров, симпозиумов [9]. Похожей структуры по науковедению и наукометрии не было создано.
В отношении исследований по молекулярной спектроскопии, проводимых в последнее десятилетие, стоит отметить, что значимый вклад в информационные потоки этого направления нам пока сделать не удалось. Эти исследования связаны с теорией строения молекул, химической связью, экспериментальными методами изучения строения молекул. Подобные работы носят фундаментальный характер и, как было установлено нами, интенсивно развиваются уже с 1960-х годов [2].
Что же касается оценки эффективности наших исследований, то еще не получены данные за последние несколько десятилетий о цитируемости научных работников, работающих в отмеченных научных направлениях. Как отмечено выше, ссылки на наши публикации по планированию эксперимента за 1966-1975 гг. опубликованы в препринтах [3-5]. Теперь информацию о ссылках можно получить из новых источников информации (WoS, РИНЦ, Гугл-академия). Тогда появится возможность осуществления процедур сравнения, ранжирования и пр.
Приближением к решению этой задачи можно считать сравнение значений двух индикаторов (число публикаций, число ссылок) автора данной статьи и девяти членов-корреспондентов РАН, работающих на химическом факультете Московского государственного университета им. М.В. Ломоносова. Эти данные (без последующей «очистки») для членов-корреспондентов РАН представлены в табл. 4, а для автора статьи - в табл. 5.
Более половины всех ссылок из всех источников информации приходится на книгу: Адлер Ю.П., Маркова Е.В., Грановский Ю.В. «Планирование эксперимента при поиске оптимальных условий». Книга вышла двумя изданиями (1971, 1976) в издательстве «Наука» и была переведена на английский и венгерский языки. Она предна-
значалась широкому кругу экспериментаторов, многие из которых слабо владеют математико-статистическими методами. Поэтому все математические процедуры пояснялись, комментировались и сопровождались примерами. Изложение материала проводилось в манере, близкой к разговорному языку [10].
Таблица 4
Значения индикаторов для членов-корреспондентов РАН
Источник информации Индикатор
число публикаций число ссылок
размах медиана размах медиана
РИНЦ 118-379 332 359-3671 935
WoS 37-396 244 98-4355 825
Таблица 5
Значения индикаторов для автора данной статьи
Источник информации Индикатор
число публикаций число ссылок
РИНЦ 48 1037
WoS 62 775
Число наших публикаций по обоим источникам информации меньше, чем у членов академии (табл. 4). По цитируемости ситуация иная. Проведено ранжирование девяти значений числа ссылок, от низких к высоким величинам этого индикатора. Величина -1037 ссылок (РИНЦ) располагается между пятым и шестым значениями ранжированного ряда, величина 775 (WoS) - между четвертым и пятым значениями ряда. Эти данные в дальнейшем будут рассмотрены при изучении вопросов оценки эффективности научных исследований.
Другой вывод из анализа обратной связи состоит в целесообразности увеличения нашего вклада в информационные потоки наукометрии и молекулярной спектроскопии. В наукометрии имеет смысл вернуться к рекомендациям проф. В.В. Налимова по развитию этой области науки в нашей стране. Он рекомендовал:
- создать постоянно действующий информационный центр для систематического слежения за развитием науки на основании статистического анализа информационных потоков;
- ввести в программы вузовского обучения науковедческие дисциплины;
- создать отечественный наукометрический журнал;
- проводить систематические семинары и конференции.
Из его рекомендаций пока удалось воплотить в жизнь создание Российского индекса научного цитирования и работу под руководством проф. А.И. Ракитова постоянного семинара по науковедению в Институте научной информации по общественным наукам РАН.
В ряде организаций, например в Московском государственном университете, введены поощрения за публикации в высокорейтинговых журналах. Полезность этого мероприятия очевидна, но оно не позволяет поддержать сотрудников в двух разных ситуациях: исследования на первых этапах развития научного направления; исследования в области интеллектуальной индустрии. Поощрения должны иметь разную цену. Сложнее работать на первых этапах развития научного направления, и вознаграждения здесь должны быть более весомы.
В отношении молекулярной спектроскопии приходится иметь дело с многими фундаментальными проблемами физической химии. Перспективен анализ микронаправлений молекулярной спектроскопии на основе новых баз данных, фиксирующих так называемые исследовательские фронты. Это позволит выделить актуальные проблемы и наметить дальнейшие перспективы научных исследований автора данной статьи.
В заключение отметим, что широкое «изготовление автопортретов», несомненно, будет способствовать повышению эффективности научных исследований.
Литература
1. Грановский Ю.В. Второе пришествие наукометрии в Московский университет // Естественно-научное образование: Вызовы и перспективы / Под ред. В.В. Лунина, Н.Е. Кузьменко. - М.: Изд-во Московского ун-та, 2013. - С. 255-267.
2. Грановский Ю.В. Наукометрический анализ информационных потоков в химии. - М.: Наука, 1980. - 141 с.
3. Грановский Ю.В., Мурашова Т.И., Страхов А.Б., Адлер Ю.П. Планирование эксперимента: Библиография прикладных работ за 1966-1968 гг. - М.: Изд-во Московского ун-та, 1971. - 190 с.
4. Грановский Ю.В., Любимова Т.Н., Мурашова Т.И., Страхов А.Б. Планирование эксперимента: Библиография прикладных работ за 1969-1970 гг. - М.: Изд-во Московского ун-та, 1974. - 194 с.
5. Грановский Ю.В., Мурашова Т.И., Любимова Т.Н., Адлер Ю.П. Планирование эксперимента. Библиография прикладных работ за 1971-1975 гг. - М.: Биологический факультет МГУ, Химический факультет МГУ, 1978. - 250 с.
6. Грановский Ю.В., Адлер Ю.П. Возраст зрелости. 50 лет методологии и практики планирования эксперимента в России. - Saarbrucken: Palmarium academic publihing, 2014. - 159 c.
7. Грановский Ю.В. Трудная судьба науковедения в России // Науковедческие исследования. 2010: Сб. науч. тр. / РАН. ИНИОН. Центр науч.-информ. исслед. по науке, образованию и технологиям; Отв. ред. Ракитов А.И. - М., 2010. -С. 110-124.
8. Грановский Ю.В. Наукометрия и управление научными коллективами // Науковедческие исследования. 2013: Сб. науч. тр. / РАН. ИНИОН. Центр научн.-информ. исслед. по науке, образованию и технологиям; Отв. ред. Ракитов А.И. -М., 2013. - С. 127-150.
9. Грановский Ю.В. Академик А.И. Берг и новая парадигма в экспериментальных исследованиях. Аксель Иванович Берг. 1893-1979 / Ред.-сост. Я.И. Фет; Сост. Е.В. Маркова, Ю.Н. Ерофеев, Ю.В. Грановский; Отв. ред. А.С. Алексеев. -М.: Наука, 2007. - С. 202-210.
10. Маркова Е.В., Грановский Ю.В. О современных прикладных работах по планированию эксперимента // Василий Васильевич Налимов - математик и философ (к 100-летию со дня рождения): Международная научная конференция: Сб. тр. / Сост. Дрогалина Ж. А., Панченко Л. А. - М.: МАКС Пресс, 2011. -С. 340-358.
11. Маршакова-Шайкевич И.В. Вклад России в развитие науки: Библиометриче-ский анализ. - М.: Янус, 1995. - 248 с.
12. Миндели Л.Э., Васин В. А. Роль наукометрического инструментария в изучении кооперационных процессов в научно-исследовательской сфере // Проблемы наукометрии: Состояние и перспективы развития. Международная конференция: Тезисы докладов. - М.: Институт проблем развития науки РАН, 2013. -С. 11-12.
13. Москалева О.В. Можно ли оценивать труд ученых по библиометрическим показателям? // Наукометрия и экспертиза в управлении наукой: Сб. статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. -С. 308-331.
14. Налимов В.В. Применение математической статистики при анализе вещества. -М.: Физматгиз, 1960. - 430 с.
15. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
16. Наукометрия и экспертиза в управлении наукой: Сб. статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. - 572 с.
17. Орлов А.И. Два типа методологических ошибок при управлении научной деятельностью // Наукометрия и экспертиза в управлении наукой: Сб. статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. -С. 32-54.
18. Орлов А.И. Наукометрия и управление научной деятельностью // Наукометрия и экспертиза в управлении наукой: Сб. статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. - С. 538-568.
19. Проблемы наукометрии: Состояние и перспективы развития. Международная конференция: Тезисы докладов. - М.: Институт проблем развития науки РАН, 2013. - 124 с.
20. Фейгельман М.В., Цирлина Г. А. Библиометрический азарт как следствие отсутствия научной экспертизы // Наукометрия и экспертиза в управлении наукой: Сб. статей / Под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. -М.: ИПУ РАН, 2013. - С. 332-345.
21. Шрейдер Ю.А., Осипова М.А. О некоторых динамических моделях в информатике // Научно-техническая информация. Сер. 2. - Москва: Всесоюзный институт научно-технической информации, 1969. - № 8. - С. 15-18.
22. Юревич А.В., Цапенко Н.П. Эффективность отечественной социогуманитарной науки: Наукометрический подход // Наукометрия и экспертиза в управлении наукой: Сб. статей / Под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. -М.: ИПУ РАН, 2013. - С. 408-421.
