CC BY
21
М.Е. Соколова
РИСКИ ВСЕОБЩЕЙ НАУКОМЕТРИЗАЦИИ
ДЛЯ ИНФОРМАЦИОННОЙ СФЕРЫ НАУКИ
Соколова Марианна Евгеньевна - кандидат философских наук,
старший научный сотрудник Института США и Канады РАН.
«Новая информационная Атлантида»?
«Золотой век» гигантских реферативных баз-«небожителей» начался не так уж давно: так, Web of Science как единая политематическая реферативная база данных научных публикаций с указанием цитирования была сформирована в 1997 г. [цит. по: 5, с. 43], Scopus - в 2004 г. Но любой информационный расцвет - как и любой «золотой век» - имеет свои пределы. Долго ли продлится и этот «золотой век»? Так, платформа Web of Science (WoS) -по-прежнему держит пальму первенства по части качества информационных активов и исследовательских стандартов, однако - пути крупного информационного бизнеса неисповедимы и не просматриваемы для простых смертных - в качестве частного информационного актива она недавно перешла в руки новых владельцев1. Это было воспринято как весьма значительное событие в наукометрической и научной среде, как и всё, что касается жизни этого информационного гиганта.
Невольно закрадывается в голову мысль, а не может ли случиться чего-то подобного и с крупнейшей отечественной реферативной базой научного цитирования - Российским индексом научного цитирования (РИНЦ) на базе Научной электронной библиотеки (НЭБ), которая усилиями многих пополняющих и правящих его контент организаций (издателей, научных организаций, университетов) и самих ученых постепенно превращается в информационное хранилище национального масштаба (в том числе по количеству
1. Летом 2016 г. — подразделение Intellectual Property & Science Business, прежде принадлежавшее компании Thomson Reuters, перешло в руки новых владельцев — двух крупных мировых инвесторов, канадского Onex и индийского Asian Bar [15].
всеобщих усилий, затраченных на корректировку и пополнение этой базы). Ведь по статусу в настоящее время НЭБ представляет собой практически частную структуру, существующую в условиях нелегкого информационного бизнеса.
Посредством размещения пула российских журналов Russian Science Citation Index (RCSI) на платформе WoS (2015) и других соглашений, связывающих его и с WoS и со Scopus, РИНЦ все больше превращается в неотъемлемую часть мировой системы международных баз данных цитирования, становясь основным «переходником» для российской науки и отечественных научных изданий в мировое информационное пространство и проводником глобальных влияний в отечественной информационной среде.
При этом самих информационных субъектов-«небожителей», выступающих в роли посредников глобализации, которых прежде всего интересует извлечение наилучших национальных научных продуктов, очень мало затрагивает то, что происходит в локальных научных мирах под прямым влиянием их рейтингов, основанных на библиометрических показателях.
Во многих отношениях и российская наука сегодня оказалась в такой же ситуации, когда постепенно происходящие под влиянием интенсивного воздействия этих баз изменения в ее информационной среде, неизбежно всё больше и больше влияют на нее саму, ее социальный и институциональный контекст, определяя многие процессы, протекающие в сфере организационно-управленческих и исследовательско-публикационных отношений.
Между тем любая национальная наука, производство научного знания на национальном уровне, является сложной экосистемой отношений (в том числе геополитических), вписанных и в другие социальные подсистемы - образования, культуры, экономики и пр. Каковы последствия «наложения» глобальных стандартов и критериев на локальный научный контекст: национальные науки и их информационную среду, которые во многом не готовы - без существенных потерь - встроиться на должном уровне в глобальные исследовательские и информационные тренды и какую роль здесь играют крупные индексы цитирования как «посредники» между глобальным и локальным уровнями науки? Насколько разрушительными могут оказаться вышеописанные процессы для устойчивой локальной научной системы? Эффективна ли вообще для развития науки ориентация органов управления на то, чтобы, опираясь на статистические показатели, оставить «в живых» только «звезд», нанеся непоправимый ущерб целостной экологической системе науки? [6].
Если говорить в этом контексте о роли РИНЦ, то, конечно, национальному отечественному индексу цитирования в первую очередь близко всё разнообразие интересов национальной науки и научной периодики [4, с. 148-149]. Но как не появиться и здесь серьезному поводу для беспокойства, если несколько раз в год, при заполнении различных отчетов, запрашиваемые в них 198
показатели по РИНЦ приобретают животрепещущее значение для всех, кто создает нашу науку. Но и в остальное время эта тема занимает научные организации и прежде всего тех, кто ведет в них текущую информационно-наукометрическую работу. Словом, любые проблемы или даже риски (например, зависание сервера в отчетный период), связанные с национальной научно-информационной «Новой Атлантидой», в которую постепенно превращается РИНЦ, воспринимаются научным сообществом чутко и болезненно. Причем многие из этих рисков могут иметь серьезные последствия в условиях бюрократизации управления отечественной наукой и некоторых особенностей самой научно-информационной среды.
РИНЦ: Наукометрический инструмент
и информационный проект
Любая попытка всесторонней и объективной оценки деятельности РИНЦ, ее позитивных сторон и рисков неизбежно столкнется с проблемой выбора исходных посылок для такой оценки. Простое выстраивание, например, двух перечней - условно говоря «плюсов» и «минусов» - было бы огрублением многообразия процессов, происходящих в информационной среде российской науки в связи с деятельностью РИНЦ. Реально же скорее следует представлять себе эти процессы как динамичное множество микрособытий с самыми разными последствиями. Например, недавний (в июне 2016 г.) пересчет статистических показателей авторов2, с одной стороны, безусловно, способствовал приведению к мировым стандартам критериев качества оценки научной деятельности и правил отбора научных материалов, а с другой - вызвал протесты со стороны отечественных гуманитариев, считающих, что значимость, например, работы переводчика, требующей высочайшей квалификации и огромного труда, с научной точки зрения сопоставима с оригинальными авторскими публикациями и, несомненно, сама является авторской в самом прямом и точном смысле этого понятия [7].
2. Отныне при расчете показателей не учитываются ссылки на работы автора, в которых он не является собственно автором, а принимает опосредованное участие (отв. ред., науч. ред., сост., переводчик и т.д.), а также цитирования из реферативных и научно-популярных журналов, словарей, справочников, методических указаний, авторефератов диссертаций, ненаучных публикаций в журналах, а также из журналов, исключенных из РИНЦ, что привело к уменьшению индекса Хирша у ряда авторов (впоследствии показатели дополнились справочной информацией на странице публикационной активности) [2]. Кроме этого, теперь в общей сложности существует пять индексов Хирша (в их числе индексы по всем публикациям с участием ученого и по ядру РИНЦ), причем сам РИНЦ считает основным индекс без всяких дополнений, оставляя выбор показателей, приводимых в отчетах и грантовых заявках, той организации, которая будет их запрашивать [там же].
Эта история еще раз подтвердила, что, казалось бы, всеми признанное положение об особенностях наукометрической оценки в социальных и гуманитарных науках, отличие их от естественных, точных и математических наук, роли в этой сфере независимой экспертной оценки пока еще не стало «работающим» на инструментальном уровне в практическом отношении [8].
Пока же можно услышать самые разные, порой противоположные, оценки деятельности Индекса. На одном полюсе этой условной шкалы стоят оценки РИНЦ как несистемно организованной, беспорядочной базы данных, где можно найти всё, что угодно, и данные которой не могут использоваться для адекватной оценки научного труда. Такие оценки производят порой очень грустное впечатление, поскольку принадлежат зачастую специалистам, много сделавшим каждый в своей научной области, но в силу определенных обстоятельств мало знакомым с реальной работой технических сервисов, особенностями формирования и применения наукометрических показателей РИНЦ. Часто темой таких дебатов (например, на форуме газеты «Троицкий вариант») является разоблачение так называемых «накруток», появление которых оказалось возможным из-за непонимания того, как работают технические сервисы РИНЦ, равно как и того, что эта база публична и открыта для общественности.
На другом полюсе шкалы в позитивной, порой официальной тональности, без упоминания об издержках, звучат утверждения, что РИНЦ представляет собой достаточно репрезентативную базу библиографической информации, открывает широкие поисковые возможности и служит инструментарием для оценки научной деятельности и результативности работы ученых. Как можно видеть, оценки сторон диаметрально противоположны.
Вероятно, наиболее реалистична оценка РИНЦ прежде всего как рабочего инструмента, наукометрического информационного сервиса определенного «калибра» (если так можно выразиться), которым надо уметь пользоваться, учитывать его особенности и ограничения, управлять и, что немаловажно, -вкладывать в его освоение достаточные ресурсы. А к последним можно отнести как время, знания, интеллектуальные и информационные навыки индивидуальных пользователей (авторов), так и организационные и финансовые ресурсы организаций (издательств, научно-образовательных организаций и др.), работающих с этой базой3.
3. К числу последних можно отнести и те государственные органы управления наукой, чьи инструкции по статистической отчетности, основанной на наукометрических показателях, далеко не всегда корректно составлены. Впрочем и здесь происходит прогресс, например создаются курсы для наукометрического обучения представителей органов государственной власти, занимающихся вопросами стратегического развития сети научных организаций и оценки научной результативности.
В качестве такого «инструмента» РИНЦ не должен восприниматься как универсальное мерило достижений представителей различных научных специальностей (положение, которое сложилось на практике в настоящий момент). Скорее его следует понимать как часть целостной системы наукометрических методов (в том числе качественных) и сервисов (в том числе узкопрофессиональных), позволяющих определить интерес к работам ученого и их значимость, например Google Scholar, Academia.edu, «Карта российской науки», «Медиалогия» и т.д. Их данные также могут отражаться (хотя и не носят такого обязательного характера, как показатели по РИНЦ) в формах отчетности, присылаемых в научно-образовательные организации. Думается, определенное будущее в качестве источников библиометрических показателей есть и у других отечественных специализированных разработок, например у Библиографической информационно-аналитической системы (БИАС) Института проблем информатики РАН [9].
Попытаемся оценить результаты более чем десятилетнего периода существования РИНЦ. Фактически он является крупнейшим поставщиком библиометрических данных на национальном уровне, и серьезных конкурентов у него нет (та же «Карта науки РФ»4 основана главным образом на информации РИНЦ; к тому же у профессионалов есть ряд обоснованных претензий к качеству ее данных и работе сервисов). Несмотря на справедливую критику многих технологических и организационных моментов в работе РИНЦ, а также появление других проектов в этой сфере [напр.: 9, 10], он безусловно, оказал «гальванизирующее» воздействие на информационную среду российской науки, придав ей стимул к дальнейшему развитию и вхождению в мировое информационное пространство. Благодаря его влиянию повысилась информационная культура в исследовательской и публикационной сферах, в организациях появилась новая краудсорсинговая форма информационной работы [14]. Однако сама эта среда разнородна в различных своих сегментах, порой не соответствует современным требованиям. Поэтому указанное воздействие не может быть однозначно расценено как позитивное во всех отношениях.
Изменения оказались слишком резкими, переход к новым «правилам игры» - трудным. Поэтому многие решали проблему методами, которые казались им адекватными, хотя не были таковыми (договоренность о взаимном цитировании, неоправданное цитирование, «накрутка» рейтингов и пр.). Как оказалось, это может быть выявлено с помощью наукометрических методов. Неизбежными результатами стало снижение профессиональной этики, удар по репутации. В создание этой ситуации внес свою лепту и РИНЦ, избрав для
4. https://mapofscience.ru
идентификации и нормализации огромных объемов информации создание сервисов, предназначенных для самостоятельной работы в своей базе самих авторов и представителей организаций (сервисы Science Index). В результате возник целый ряд противоречий и разногласий между участниками отношений в этой сфере. Не вполне ясно, как могут быть разрешены многие из этих противоречий, даже если учитывать тенденцию к формированию в РИНЦ «ядерной» коллекции. На некоторые из таких противоречий хотелось бы обратить внимание.
Риски для информационной среды науки
Вслед за индексами цитирования и создаваемыми на их основе рейтингами в отечественное научно-информационное пространство пришли новые способы поведения и отношений в научной и научно-информационной сфере: конкуренция, новые формы коммерческих отношений, погоня за информацией об информации (большей частью о том, как «продвинуть» свои работы). Те, кто благодаря ресурсам может получить эту информацию, оказались в привилегированном положении по сравнению с теми, у кого этот доступ к такой информации лимитирован.
Информационная среда науки стала всё больше превращаться в поле конкурентных отношений, неравенства (зависимости действующих на нем субъектов от их возможностей, ресурсов, средств, обеспечивающих условия для ведения работы на высоком уровне). Возникли противоречия между всеми заинтересованными субъектами - например между интересами редакций журналов и ученых, РИНЦ и издателей, ученых и РИНЦ и т.д. Стремление продвинуться в рейтингах меняет публикационную стратегию ученых и организаций, в то же время стимулируя их к повышению своей информационной культуры. Но поскольку далеко не все могут это сделать, растет цифровой разрыв между ними, который для многих просто не может быть преодолен. Будучи вынуждены выживать в новых условиях, отвечая на информационные вызовы, ученые должны проявлять активность, что ведет к повышению степени самоорганизации информационной среды науки. Последнее привело к уже упомянутым выше позитивным (краудсорсинг) и негативным явлениям («накрутки» и пр.).
На этом фоне РИНЦ / НЭБ, с одной стороны, как бы стоит «над схваткой». С другой стороны, он включен во все эти процессы, имея деловые и коммерческие интересы, предлагая новые стандарты и технические решения, реализуя очередные проекты. Объективно он выступает в роли основного крупнейшего информационного поставщика наукометрических данных в условиях чрезвычайной бюрократизации управления наукой и опоры прежде
всего на статистические показатели при решении управленческих вопросов. О каких рисках в связи с этим можно говорить?
Думается, можно выделить здесь два ключевых момента. Во-первых, информационное неравенство и цифровой разрыв между участниками (об этом уже говорилось выше), от которого во многом зависит и достоверность данных. По части показателей выигрывают те «игроки» (будь то индивиды или организации), которые способны вложить наибольшие ресурсы. Например, если говорить о РИНЦ, для научно-образовательных организаций сюда входит плата по договору на работу с сервисами Science Index, зарплаты профессиональным информационным работникам или надбавки научным работникам, которых приходится привлекать к этой работе, плюс потери от того, что эти достаточно подготовленные, как правило, молодые перспективные сотрудники тратят часть своего научного времени на информационную работу, а иногда в результате и вовсе прекращают заниматься научной деятельностью. Сюда же можно отнести и расходы на обучение работающих с РИНЦ сотрудников, посещение обучающих семинаров, конференций, причем не надо забывать, что это лишь часть расходов в этой сфере, поскольку сюда же относятся и ресурсы, затрачиваемые на организацию работы с WoS, Scopus, а также новыми сетевыми сервисами, данные которых приобретают всё большее значение для научной отчетности5.
Но вложить большие средства могут позволить себе немногие. Большинство же научно-образовательных организаций вынуждены довольствоваться небольшими ресурсами (если они вообще есть на эти цели) и зачастую -привлечением к этой деятельности самих научных работников, что тоже является «палкой о двух концах». Таким образом, эти вторые «игроки» на информационном пространстве, у которых нет возможности содержать достаточный профессиональный штат, неизбежно остаются в проигрыше. Это положение называется информационным неравенством, что в нынешней ситуации российской науки [6] может иметь критические последствия для тех, кто «проигрывает» именно по информационным возможностям, а не по содержательности и качеству научной продукции.
Второй ключевой момент. Существует проблема роста неуточненных данных в РИНЦ, связанная в том числе и с неравенством информационных возможностей. Не уходя слишком далеко в технические детали, попытаемся объяснить, что имеется в виду, сделав акцент на некоторых аспектах проблем, с которыми сталкиваются научно-образовательные учреждения.
5. Уже сейчас иногда ставится вопрос о стоимости содержания таких информационных команд (особенно в крупных университетах) и о том, вписывается ли она в концепцию повышения эффективности научной деятельности [13]. Между тем пренебрежение к этим вопросам еще более гибельно.
А для последних сейчас одной из главных задач является забота о списках авторских публикаций и цитирований в РИНЦ, на основе которых во многом формируются статистические показатели, столь необходимые для заполнения отчетов, грантовых заявок и т.д.
Между тем оба этих списка (публикаций и цитирований) необходимо постоянно просматривать, «чистить», присоединять так называемые непривязанные и неидентифицированные публикации и ссылки, удалять дубли и пр., что делается либо самим автором, либо аффилированным представителем организации при помощи функций аналитической надстройки Science Index. Особенно большие проблемы здесь возникают у ученых с распространенными фамилиями, которые практически всегда имеют тезок (иногда даже полных тезок, работающих в сходных научных областях) и вынуждены регулярно удалять из своих профилей сотни чужих публикаций и ссылок. Если не делать это регулярно, то в нагромождениях чужих публикаций и цитирований постороннему невозможно будет разобраться. Эти ложные (чужие) ссылки и публикации будут появляться постоянно, и среди них могут затеряться принадлежащие самому автору ссылки и публикации. Часть функций могут выполнять здесь сами авторы, но очень часто они не следят за своими профилями, которые могут оказаться заброшенными.
Дублировать их функции могут представители организаций, которые также имеют право вносить новую информацию и корректировать уже существующую. И если исходить из задачи создания максимально полной и точной базы публикаций и цитирований сотрудников, в этой ситуации на их плечи может лечь непомерный объем работы6. Ведь, как мы уже сказали, возможность выполнять такую задачу зависит от прилагаемых усилий и ресурсов, которые далеко не бесконечны даже в крупных организациях (то самое пресловутое информационное неравенство). А если организации по каким-либо причинам вообще больше нет, ее информационные активы -базы, архивы, библиотечные фонды - были расформированы, разбросаны и пр., а работа с профилями сотрудников давно перестала вестись?
Между тем важно, чтобы эта работа была выполнена очень тщательно, потому что пропущенные прежние и вновь допущенные ошибки могут вкрасться в отчетность и затем привести к ошибочности других показателей, вычисляемых на их основе (например, публикации полного тезки, ошибочно
6. Необходимо пояснить, что во многих отчетных формах и грантовых заявках нужны показатели за последние пять лет, но для авторов полнота их публикационных и цитационных списков, выставленных публично и представляющих их научную деятельность в целом, является важнейшим моментом научной репутации и формирования некоторых показателей. Таким образом, работа с ними должна носить системный характер и быть достаточно квалифицированной.
попавшие в список публикаций автора, автоматически провоцируют и ошибку в вычислениях импакт-фактора в отчетах организации; наличие в списке публикаций, попавших туда из пристатейных списков литературы, а не внесенных вручную также может сказаться на показателях). То же самое относится к неточностям при рубрикации.
Даже на фоне устрожения правил и стандартов для журналов и формирования «ядра» лучших изданий, доступа к техническим сервисам для правки и внесения библиографических описаний, предоставляемых в рамках Science Index, объем неуточненной информации («непривязанных» публикаций и цитирований, «не идентифицированных» ссылок в авторских профилях) в базе РИНЦ продолжает и будет продолжать оставаться очень большим, что определяет и отношение к качеству предоставляемых Индексом данных7. Очевидно, что ряд рабочих приемов РИНЦ (SI для авторов и для организаций), возникших как попытка решить определенные проблемы, чреваты издержками, социальными в том числе.
Естественно возникает вопрос: но ведь если бы не было технических возможностей SI, то такие издержки были бы еще больше? Как это и было до появления самих этих возможностей.
Да, но, во-первых, почему эти издержки вообще должны существовать и почему это стало проблемой самого научного сообщества, которое должно ее решать по принципу «спасение утопающих - дело рук самих утопающих», выделяя на это средства из бюджета организаций или (как в случае авторов) просто затрачивая на это личное или рабочее время? Ведь речь все же идет о публичной базе национального масштаба, от данных которой, поставляемых частной компанией и используемых государственными организациями для принятия ответственных решений, зависят судьбы ученых и целых научных организаций.
Таким образом, нельзя не признать интенсивное влияние РИНЦ на информационную и публикационную культуру, рост информационных навыков ученых. Однако нельзя не замечать проблемности и неустойчивости той системы информационных отношений, в которую неизбежно включен сам РИНЦ и в формировании которой он принимает активное участие.
7. Согласно комментариям представителей РИНЦ, в целом процент неидентифи-цированных ссылок скорее уменьшается, чем увеличивается в масштабах всей базы данных. Способствовать этому призван готовящийся проект под рабочим названием «Великие ученые России». В рамках этого проекта будет создан отдел, который займется выверкой информации по этим авторам, идентификацией ссылок и добавлением новых или архивных публикаций [12].
Заключение
Влияние рейтинговой системы измерения научных достижений на информационное поле науки требует рассмотрения с точки зрения социальных и информационных рисков и издержек. Тем более если это происходит в условиях активно развивающегося, но пока несовершенного отечественного рынка научной информации в сочетании с бюрократизацией системы управления наукой, недостаточной информационной культурой многих ученых, а также неравенством ресурсов участников взаимодействия.
Какими могут быть пути улучшения ситуации? Как уже неоднократно отмечалось, в том числе руководством самого РИНЦ, наряду с количественными показателями должны учитываться и результаты независимой качественной оценки как инструмента измерения эффективности работы ученых, прежде всего гуманитариев и представителей социальных наук. Например, как отмечается в Лейденской декларации, именно в связи с этим в Австралии в 2010 г. была введена инициатива «Исследовательское превосходство для Австралии», которая делает акцент на качестве [11]. Не менее важен в этом отношении и опыт других развитых стран. Неизбежен и такой шаг, как ежегодный мониторинг качества индексированных журналов, введение определенных санкций против изданий, использующих нелегальные схемы. Впрочем, если судить по тематике выступлений на конференциях РИНЦ, на подходе много новых технологий для выявления различного рода заимствований, «накруток» и пр.
Средством предотвращения многих проблем, связанных с неадекватной формой отчетности, о которых здесь упоминалось, могла бы стать их предварительная экспертиза в РИНЦ. Должны быть широко задействованы в этой области и механизмы общественной экспертизы, общественные институты8. Примером тут может служить сайт Общества научных работников, а также деятельность таких общественных организаций, как Комиссия общественного контроля за реформой РАН, Конференция научных сотрудников РАН [6]. Не надо забывать и об активно действующих группах в социальных сетях (например, «Наукометрия и Research Evaluation», группа Института психологии РАН в Facebook), в которые входят эксперты по наукометрии, представители РИНЦ и просто научные сотрудники.
Поскольку широкое развитие наукометрического сегмента в информационной среде российской науки породило множество неоднозначных последствий, необходим всесторонний анализ связанных с этим социальных
8. Прекрасный пример задействования механизмов общественной экспертизы был продемонстрирован самим РИНЦ при отборе российских научных журналов для проекта RSC1 на платформе WoS.
рисков и противоречий. Главное - «не перевернуть лодку», в которой мы все плывем, не нарушить (в ущерб национальной науке) хрупкий баланс интересов между основными действующими лицами - научно-образовательным сообществом, библиометрическими базами, органами управления наукой, экспертами, издателями.
Автор благодарит за помощь и консультации при работе над статьей П.Г. Арефьева, к.с.н. (НФПК), В.А. Глухова, к.т.н. (зам. ген. директора НЭБ), Е.И. Григорьеву (IT-Центр ИС РАН), С.М. Шабанову (зам. ген. директора, руководитель информационно-аналитического отдела НЭБ, eLIBRARY.RU).
Литература
1. Арефьев П.Г., Еременко Г.О., Глухов В.А. Российский индекс научного цитирования -инструмент для анализа науки // Библиосфера. - М., 2012. - № 5. - С. 66-71.
2. Григорьева Е.И., Глухов В.А. РИНЦ: Почему упал индекс Хирша // http://jour.isras.ru/ upload/journals/2/articles/4609/submission/original/4609-8545-1-SM.pdf
3. Еременко Г. О. eLibrary - курс на повышение качества контента // Университетская книга. - М., 2016. - № 3. - С. 62-68.
4. Еременко Г.О., Кокарев К.П. eLIBRARY.RU и РИНЦ в информационной структуре российской науки // Полис. Политические исследования. - М., 2014. - № 1. - С. 146-154.
5. Маркусова В.А. Введение. К 50-летию Science Citation Index: История и развитие наукометрии // Руководство по наукометрии: Индикаторы развития науки и технологии / Акоев М.А., Маркусова В. А., Москалева О.В., Писляков В.В. - Екатеринбург, 2014. - 250 с.
6. Наумов А., Рубаков В. «Наука оказалась устойчивой системой». Что происходит с российской наукой спустя три года после реформы Академии наук // 08.05.2016 Радио Свобода, США // РИА Новости. - http://inosmi.ru/science/20160508/236453353.html
7. Открытое письмо Ученого совета Института философии РАН по поводу об изменении правил подсчета показателей ученых в РИНЦ // http://iph.ras.ru/16_06.htm
8. Резолюция совещания представителей гуманитарных факультетов вузов России «О совершенствовании системы оценки деятельности профессорско-преподавательского состава и научных работников» // http://www.socrat-online.ru/page/rezoljucija-soveshhanija-predstavitelej-gumanitarnyh-fakultetov-vuzov-rossii-o-sovershenstvovanii-sistemy-ocenki-dejatelnosti-professorsko-prepodavatelskogo-sostava-i-nauchnyh-rabotnikov
9. Обухова О.Л., Заикин М.Ю., Соловьев И.В. Библиографическая информационно-аналитическая система ИПИ РАН // Системы и средства информатики. - 2014. - Т. 24. - № 1. -С. 244-25.
10. Тихомиров И. А. «Наукометрия и полнотекстовая аналитика в российских реалиях». 171 заседание Московского городского семинара по науковедению // http://inion.ru/index.php? page_id=436&id=878&ret=435
11. Хикс Д., Вутерс П., Вальтман Л., Риике С. де, Рафолс И. Лейденский манифест для наукометрии (перевод Исэров А. А.) // Нанометр. Нанотехнологическое сообщество. - http:// www.nanometer.ru/2015/07/31/naukometria_464938.html
12. Шабанова С. Научная электронная библиотека: Меняются правила, суть остается // http://www.national.ru/news_smi.php?rubric=view&name=nauchnaya_elektronnaya_biblioteka_men yautsya_pravila_sut_ostaetsya. Опубликовано: 11.09.2016.
13. Шестакова М.А. «Наукометрические показатели в социально--гуманитарных науках: Основные проблемы» // 170 заседание Московского городского семинара по науковедению // http://inion.ru/index.php?page_id=436&id=878&ret=435
14. Nevolin I. Crowdsourcing opportunities for research information systems // Procedia Computer Science (в печ.) // http://dspacecris.eurocris.org/bitstream/11366/533/1/CRIS2016_paper_ 25_Nevolin.pdf
15. Thomson Reuters announces definitive agreement to sell its Intellectual Property & Science Business to Onex and Baring Asia for $3.55 billion // http://thomsonreuters.com/en/press-releases/2016/july/thomson-reuters-announces-definitive-agreement-to-sell-its-intellectual-property-science-business.html
