CC BY
139
УДК 001 + 002 + 004
АЛЬТМЕТРИЯ КАК КОМПЛЕКС НОВЫХ ИНСТРУМЕНТОВ ДЛЯ ОЦЕНКИ ПРОДУКТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
Т.В. Бусыгина
Государственная публичная научно-техническая библиотека СО РАН, Новосибирск
busig@spsl.nsc.ru
В статье анализируются предпосылки и причины необходимости разработки метрик, альтернативных общепринятым наукометрическим и библиометрическим индикаторам оценки научного труда ученого или организации. Представлены инструменты альтметрии (altmetrics) — молодой (с 2010 г.) дисциплины, предметом которой является создание и исследование новых метрик (alternative metrics) для оценки научного продукта (статьи, книги, презентации, высказываний и рассуждений на тему научного исследования, компьютерных программ и др.) в рамках виртуального пространства (количество обсуждений в социальных сетях, скачиваний и просмотров в научных репозиториях и библиографических менеджерах и др.). Рассматриваются положительные стороны альтметрик и критические замечания, высказываемые в их адрес.
Ключевые слова: альтметрия, альтметрики, библиометрия, наукометрия, продукт научной деятельности.
Б01: 10.17212/2075-0862-2016-2.2-79-87
Для оценки научной деятельности индивидуального ученого, научной или образовательной организации и страны в целом помимо оценки финансовых затрат на исследования, кадрово-демографической составляющей, экспертных оценок (реферирование научных статей, экспертиза научно-исследовательских проектов, деятельности организаций) в настоящее время применяется ряд наукометрических индикатора [Ц.
Наукометрические индикаторы рассчитываются на основе баз данных (БД), аккумулирующих библиографические записи о научных документах (статьях из научных журналов, материалах конференций, научных сборниках, монографиях, главах монографий, диссертациях и др.), пристатейные списки цитированной ли-
тературы, сведения об авторах, местах их работы и др. С использованием данных информационных полей БД вычисляется индекс цитирования (отдельного документа, ученого, целой научной организации), индекс Хирша (с его различными модификациями), импакт-фактор журнала (классический импакт-фактор и различные его модификации) и множество других показателей [1].
Наукометрические индикаторы рассчитываются в политематических и проблемно ориентированных базах данных. К числу политематических относятся Web of Science, Scopus, БД национальных индексов цитирования (в России — РИНЦ (Российский индекс научного цитирования)), Google Scholar, SciFinder (Chemical Abstracts), GeoRef, PubMed Central, MathS-
ciNet и др. В БД специализированной тематики также рассчитываются наукометрические показатели. Web of Science, Scopus, SciFinder (Chemical Abstracts) и другие являются информационно-аналитическими системами, дающими возможность проведения многоаспектных наукометрических исследований документальных массивов, выделенных по тому или иному принципу. Например, помимо наукометрических индикаторов, приведенных выше, возможно охарактеризовать корпус выделенных документов по видо-типовому составу, авторам-лидерам (организациям-лидерам, странам-лидерам), установить динамику публикаций по годам и др. [1, 2, 10].
Наукометрические индикаторы приняты как показатели деятельности ученых, научных и образовательных учреждений (рейтинг университетов) на различных уровнях, вплоть до государственного [7], учитываются при анализе развития научных направлений, имеют значение при выборе стратегии развития науки и образования, при оказании финансовой поддержки отдельным ученым, научным и учебным организациям.
В процессе использования экспертных оценок и наукометрических показателей выявлен целый ряд их недостатков, к числу которых относятся долгий период ожидания экспертных оценок, цитирования (формирование индекса Хирша еще более длительная процедура, чем экспертная оценка); зависимость показателей от источников информации; зависимость показателей от области знаний; неопределенность знака оценки (цитирование с целью высказать критические замечания или в знак согласия с материалом статьи); некорректное использование импакт-фактора журнала для оценки значимости статьи, опу-
бликованной в нем; тенденция оценивать многогранную научно-исследовательскую деятельность ученого по одному из критериев; использование наукометрических показателей в качестве критериев оценки научной деятельности провоцирует ученых к «накрутке» этих показателей различными способами.
Система экспертных оценок (отзывы, рецензии, мнения экспертов, рецензентов, научных редакторов) и система наукометрических показателей складывались в условиях, когда основными средствами научной коммуникации являлись публикации в научном журнале, материалах научных мероприятий на традиционном носителе. Итогом научной деятельности за длительный период индивидуальный ученый или организация делились с научным сообществом, публикуя монографию или сборник научных статей.
В последние несколько десятилетий происходит значительное изменение структуры научных коммуникаций. К основным событиям, оказавшим влияние на коммуникации в науке, относятся а) появление Интернета; б) призыв к открытому доступу к научным публикациям, который первоначально был высказан группой ученых, инициировавших в 2000 г. издательский проект PLOS (Public Library of Science) [16]; позднее, в 2002 г., на заседании Института «Открытое Общество» была провозглашена «Будапештская инициатива "Открытый доступ"» [8], к которой присоединилось множество сторонников; в) развитие Web 2.0-техноло-гий [5]; г) развитие облачных технологий; д) широкое распространение мобильных устройств и приложений.
Перечисленные события привели к формированию виртуального научного
пространства, в рамках которого осуществляется виртуальное сотрудничество, формируются виртуальные научные коллективы. Происходит полноценное обсуждение научных статей, данных научных исследовании в блогах, микроблогах (Twitter), социальных сетях (Facebook, Google+, LinkedIn и др.). Активное общение между учеными происходит в специализированных социальных научных сетях (ResearchGate, Scientific Social Community, Social Science Research Network, UniPHY, Computer Science Student Network, Connotea, Molbi-ol.ru, SciPeople, NineSigma, Kudos (scholarly reputation service) и др.), в том числе в рамках социальных сетей библиографических менеджеров на онлайн-платформах CiteULike и Mendeley [6, 14].
Создана и развивается цифровая научная инфраструктура: электронные библиотеки, издательства, журналы с коллекциями электронных документов, электронные архивы, институциональные репозитории. Впечатляет, например, то, что усилиями пользователей объем документов в каждом из библиографических менеджеров Men-deley, CiteULike превышает 40 млн документов, что превосходит объем контента PubMed. В рамках цифровой инфраструктуры формируются системы идентификации авторов и объектов (ResearcherlD WoS, Author Identifier Scopus, ORCID (Open Researcher and Contributor ID), SPIN код РИНЦ (индивидуальный уникальный номер в базе), DOI (Digital Object Identifier)). Эффективность общения между учеными становится в значительно мере зависимой от активного освоения и использования учеными электронных способов научной коммуникации.
В связи с изменениями форм научной коммуникации назрела необходимость
оценивать и измерять процессы, происходящие в виртуальном научном пространстве. В 2010 г. группа в составе четырех специалистов: Jason Priem (University of North Carolina-Chapel Hill), Dario Taraborelli (Wi-kimedia Foundation), Paul Groth (VU University Amsterdam) и Cameron Neylon (Science and Technology Facilities Council)) — выступила с предложением использования альтернативных метрик (alt-metrics, altmetrics). Суть их предложений высказана в Манифесте альтметрии [15]. В документе излагается критика наукометрических индикаторов и экспертных оценок. Предполагается, что альтметрики позволят устранить недостатки, связанные с задержкой при оценке научных трудов при рецензировании и цитировании, а также дадут возможность избежать неверного применения импакт-фак-тора журнала при оценке документа, опубликованного в нем. В качестве объектов альтернативных метрик рассматриваются не только традиционные для наукометрических оценок статьи в журналах, научных сборниках, материалах конференций, книги и другое, но предлагается оценивать также презентации, видеоматериалы, совокупность экспериментальны данных, компьютерные программы, реплики, высказывания, содержащие совокупность научных рассуждений, доводов, обоснований. Таким образом, оценивать предлагается «научный продукт», под которым подразумевается значительно расширенный по сравнению с традиционным круг объектов. При этом экспертное рецензирование (peer-review) продуктов научной деятельности предлагается осуществлять методом краудсорсинга: открытого обсуждения (open review) добровольцами, координирующими свою деятельность с помощью информационных технологий. Совокупность альтметрик, по
мнению авторов манифеста, даст возможность оценить реакцию (impact — воздействие) общественности на «научный продукт» или деятельность. Названо большое количество показателей, которые следует рассматривать как альтернативные метрики: количество персон, прочитавших документ, просмотревших его, скачавших его, сделавших закладки, упомянувших документ; количество комментариев, оставленных по поводу документа; количество оценок (лайков, «нравится/не нравится»).
Для подсчета альтметрик необходимы программы, в которых определено, что и где подсчитывать. В настоящее время разработано несколько платформ, на которых представлены инструменты (программы) альтметрии.
На сайте Altmetrics (http://altmetrics. org/), где представлен манифест альтметрии, в числе ее инструментов перечисляются:
— ImpactStory — веб-приложение, которое облегчает отслеживание реакции на продукты исследовательской деятельности ученого (статей, наборов данных, слайдов, идентификаторов исследователя и др). Система аккумулирует данные из многих источников (Mendeley, GitHub, Twitter et al.) и представляет их в виде отчета с пермалинками (постоянными ссылками);
— ReaderMeter на основе данных Mendeley API в визуализированном виде представляет статистику по читателям (Кто? — область знания, научный статус; Откуда? — страна) для аккаунта пользователя или отдельного документа;
— ScienceCard — веб-сайт, который автоматически собирает сведения о цитировании, загрузках и альтметрики для конкретного ученого. Все исследователи должны
предоставить уникальные идентификаторы автора (например, Author Claim, Microsoft Academic Search ID);
— PLoS Impact Explorer представляет данные altmetrics.com об обсуждении статей, опубликованных издательством Public Library Of Science (PLoS);
— CrowdoMeter связывает твиты с научными статьями и позволяет добавить семантическую информацию. Результаты обсуждения демонстрируются в режиме реального времени;
— CrowdoMeter использует CiTO (Citation Typing Ontology) — онтологию характеристик цитирования.
Другая платформа — Altmetric (http: / / altmetric.com/). Здесь представлены следующие инструменты:
— Altmetric Explorer — мощное веб-приложение, которое позволяет наблюдать за всеми знаками внимания к определенной статье;
— Altmetric Bookmarklet — простое дополнение к браузеру, которое позволяет постоянно получать метрики о любой недавно опубликованной статье;
— Altmetric API — прикладной программный интерфейс, позволяющий обогатить веб-страницу данными о метриках определенной статьи;
— Altmetric Badges — готовые к использованию встраиваемые на страницу с описанием статьи бейджи, которое позволят отразить восприятие вашей статьи пользователями интернет-ресурсов в привлекательной форме.
Из перечисленных выше инструментов наглядно можно оценить работу Altmetric Badges. Этим сервисом воспользовались многие веб-сайты издательств (рис. 1).
Альтметрик-бейджи можно найти на сайте Scopus (рис. 2).
Рис. 1. Пример применения сервиса Altmetric Badges в журнале издательства Wiley. На бейдже видно, что статья 59 раз была упомянута в Twitter, один раз в Facebook, один раз в Wikipedia, 10 раз прочитана в Mendeley, один раз
в CiteULike
Рис. 2. Пример применения сервиса Altmetric Badges в Scopus
Plum™ Analytics (http://www.plumanalyt-ics.com/) — сервис с наиболее широким набором объектов оценки: articles, blog posts, book chapters, books, cases, clinical trials, conference papers, datasets, figures, grants, interviews, letters, media, patents, posters, presentations, source code, theses / dissertations, videos, Web-
pages. Plum™ Analytics — сервис с наиболее широким набором альтметрик, имеет 5 категорий: Usage (просмотры), Mentions (упоминания), Captures (скачивание), Social media (реакция в социальных сетях), Citations (цитирование). В 2014 г. Plum™ Analytics стал частью сервиса EBSCO Information [11].
!*9diriiMi«MWlMrM*(MIMtaVRnNtill0^riKlHMlw«liyi
V» *f» «•<«#<) about {44 now tannttir^Q имя CAÍ 1 СХ1Ч ал «Ч^палол* ft* «at fcht «tnwmfi м imtiiai pHtm bvot by «towArtf nfomijDол am) waK
«tptfttlO 10 boh* p Lblmn И af Kbttuia tfd №t » rrjf SfV>tГЧ.
CA81 im« ww Kw« lo dwwm »0 г«»«« wot* 0* Ihr» avlhoti (* Oí Dtort. ftoat Ktomo t «Matth e*ví»i lh« pönal aval uok» tfio a4im aatnt to uaott loo that tuftri about hew «Wh jnd boob ato iHiunwd « a
ww«. un HTM. Мм I9M
Haart o^ M
OrwO II
Thoata 0 • 10 > LJwa *) »■■■ в
C**w>a &IWIÍW 1
Рис. 3. На бейдже Plum™ Analytics представлены (подобно сервису Altmetric Badges) альт-метрики для группы БД CAB International на платформе CAB Direct
Для статей журналов, издаваемых в рамках проекта «PLoS (Public Library of Science)», на сайте проекта разработана система отражения «метрик на уровне статьи» (Article-Level Metrics) с указанием количества просмотров отдельно в HTML, PDF, XML форматах для PLoS и в HTML, PDF для PubMed Central, цитирований в Scopus, Web of Science, PubMed Central, GrossRef, Europe PubMed Central, загрузок в Mende-ley, CiteULike), комментариев в социальных сетях (Twitter, Facebook, Wikipedia, Reddit, PLOS Comments и пр.) [3, 13]. Предлагается также возможность представления этих метрик для группы статей отдельного ученого, института, грантодателя, издания.
Подсчет ряда метрик: количество просмотров, скачиваний, цитирований статей, посетителей профиля — осуществляется для профиля пользователя научной социальной сети ResearchGate. ResearchGate — это средство сотрудничества ученых всех научных дисциплин. Она предоставляет такие сетевые приложения, как семантиче-
ский поиск (поиск по аннотации), совместное использование файлов, обмен базой публикаций, форумы, методологические дискуссии и так далее. Наличие семантического поиска, который индексирует как внутренние ресурсы, так и главные публичные базы статей, включая PubMed, CiteSeer, arXiv, Библиотеку NASA, позволяет осуществлять подсчет перечисленных выше метрик. Этот поисковый механизм разрабатывался специально для анализа аннотаций статей целиком (а не только ключевых слов), что должно повысить точность результатов.
Таким образом, альтметрия — это создание и исследование новых метрик для оценки научного продукта (статьи, книги, материалов конференций, презентаций, высказываний, рассуждений, программных продуктов) в рамках виртуального пространства.
Выделяют целый ряд положительных моментов, связанных с использованием альтернативных метрик:
— альтметрики можно получить довольно быстро (статья может быть еще не опубликована в печати, а в Twitter уже есть на нее реакция). Технологии оценки развиваются очень быстро, поэтому в дальнейшем качество и скорость анализа будут расти;
— альтметрики позволяют исследовать оценку организаций не только академической аудитории, но и чиновников, экспертов, журналистов благодаря лучшим показателям в различных поисковых системах;
— внимание к тем параметрам, которые анализируются в вебометрике и альтметри-ке, позволяет ускорить доступ к материалам членов исследовательских сообществ, что может повысить и цитируемость исследователей;
— умение работать в новой цифровой научной экосистеме, к которой применяются альтметрики, предоставляет дополнительные возможности для интеграции в глобальную науку практически без материальных вложений.
Однако в отношении альтметрик высказывается целый ряд критических замечаний:
— утверждалось, что альтметрики можно получать очень быстро. Но наряду с «быстрыми альтметриками» (твиты, лайки, закладки, краткие сообщения в блогах) оцениваются и метрики «с задержкой», например, комментарии по поводу документа;
— альтметрические показатели количества отзывов на научный продукт в социальных сетях не различают контекста высказывания (положительное или отрицательное отношение), как и при цитировании (хотя предпринимаются попытки создания семантических автоматизированных систем, способных различать природу заметок);
— альтметрики, как цитирование и им-пакт-фактор журнала, подвержены манипуляциям (число лайков и твитов можно увеличить за плату — аналог самоцитирования);
— из-за разнородности групп пользователей социальных сетей альтметрики на их основе оценивают, скорее, социальную, прикладную либо образовательную значимость публикации, а не фундаментальную.
Мазов Н.А. и Гуреев В.Н. придерживаются мнения, что в настоящее время оптимально «...ограничить использование альтметрик в информационных целях — при поиске релевантных публикаций или отслеживании собственного рейтинга учеными — и не внедрять их в инструментарий оценки результатов научной деятельно-
сти» [4]. Авторы недавно опубликованного руководства по наукометрии также пока осторожно относятся к альтметрии: по их мнению, для сопоставительного анализа оценок, основанных на цитировании, и альтернативных метрик «еще нет достаточного материала, поскольку для статей прошлых лет с достоверными цитированиями отсутствуют показатели альтметрики, а для свежих статей с доступными альтметрика-ми еще недостаточно цитирований, так что необходимо проводить еще довольно много исследований и совершенствовать всю систему альтметрик» [1].
Разработки в области альтметрии продолжают активно обсуждаться. В 2013 г. целый выпуск журнала Information Standards Quarterly (ISQ) (журнал NISO (Национальная организация по информационным стандартам)) был посвящен альтметрии [9]. А 2014 г. был ознаменован появлением проекта стандарта, разработанного американской Национальной организацией по информационным стандартам [13]. Очевидно, что значительные изменения, произошедшие в формах научных коммуникаций, приведшие к активному общению в виртуальной среде интернета, уже не могут не учитываться, и для их оценки должны быть разработаны соответствующие инструменты.
Литература
1. Руководство по наукометрии: индикаторы развития науки и технологии / М.А. Акоев, В.А. Маркусова, О.В. Москалева, В.В. Писляков; под. ред. М.А. Акоева. — Екатеринбург: Изд-во Урал. Федерал. ун-та, 2014. — 250 с.
2. Исследования Сибирского отделения РАН в области нанонауки и нанотехнологии: библиометрический анализ / Т.В. Бусыгина, Б.С. Елепов, И.В. Зибарева, О.Л. Лаврик, Н.Н. Шабурова // Химия в интересах устойчивого развития. - 2013. - Т. 21, № 4. - С. 463-473.
3. Галявиева М.С. Altmetrics и библиотеки: тенденции, возможности и проблемы // Вестник Казанского государственного университета культуры и искусств. - 2013. - № 4. - С. 27-32.
4. Мазов НА, Гуреев В.Н. Альтернативные подходы к оценке научных результатов // Вестник Российской академии наук. - 2015. - T. 85, № 2. - C. 115-122.
5. О'Рейли Т. Что такое Веб 2.0 [Электронный ресурс] // Компьютерра Online: web-сайт. - URL: http://old.computerra.ru/think/234100/ (дата обращения: 10.05.2016).
6. Тронин В.Г. Научные социальные сети // Электронное обучение в непрерывном образовании. - Ульяновск, 2015. - Т. 1, № 1 (2). -С. 158-162.
7. Указ Президента РФ от 07.05.2012 № 599 «О мерах по реализации государственной политики в области образования и науки» // Кон-сультантПлюс. - URL: http://www.consultant.ru.
8. Budapest Open Access Initiative [Electronic resource]. - URL: http://www.budapestopenacces-sinitiative.org/ (accessed: 10.05.2016).
9. Information Standards Quarterly. - 2013. -Vol. 25, iss. 2.
10. Nanoscience and nanotechnology in the Siberian Branch of the Russian Academy of Sciences: bibliometric analysis and evaluation /
O.L. Lavrik, T.V Busygina, N.N. Shaburova, I.V Zi-bareva] // Journal of Nanoparticle Research. — 2015. - Vol. 17, N 2. - P. 1-11.
11. McEvoy K. PlumTM Analytics becomes part of EBSCO information services [Electronic resource]. — URL: http://www.ebscohost.com/news-room/stories/plum-analytics-becomes-part-of-ebsco-information-services (accessed: 10.05.2016).
12. Neylon C, Wu J. Article-level metrics and the evolution of scientific impact // PLoS Biology. - 2009. - Vol. 7, N 11. - P. e1000242.
13. NISO Altmetrics Standards Project White Paper [Electronic resource]. - URL: http:// www.niso.org/apps/group_public/document. php?document_id=13809&wg_abbrev=altmetrics (accessed: 10.05.2016).
14. Noorden R. Van. Online collaboration: scientists and the social network // Nature. - 2014. -Vol. 512, N 7513. - P. 126-129.
15. Altmetrics: a manifesto / J. Priem, D. Tara-borelli, P. Groth, C. Neylon [Electronic resource]. -URL: http://altmetrics.org/manifesto/ (accessed: 10.05.2016).
16. Public Library of Science // Википедия: web-сайт. - URL: https://ru.wikipedia.org/wiki/ Public_Library_of_Science (дата обращения: 10.05.2016).
ALTMETRICS AS A COMPLEX OF NEW TOOLS FOR THE SCIENTIFIC ACTIVITY PRODUCTS EVALUATION
T.V. Busygina
State Public Scientific and Technical
Library of SB RAS, Novosibirsk
busig@spsl.nsc.ru
In the article the reasons to develop metrics alternative to conventional scientometric and bibliometric indicators for assessing the scientific work of the scientist or whole organization are analyzed. Altmetrics is an young discipline (started in 2010), the subject of which is the creation and study of new metrics (alternative metrics) to assess the scientific product (articles, books, presentations, speeches and discussions on the topic of scientific research, computer software, etc.) within the virtual space (the number of discussions in social networks, downloads and views in the scientific repositories and bibliographic managers, and others.) The altmetrics tools are observed. And the positive aspects of the altmetrics and criticisms expressed toward them are considered.
Keywords: altmetrics, bibliometrics, scientometrics, product of the scientific activity.
DOI: 10.17212/2075-0862-2016-2.2-79-87
References
1. Akoev M.A., Markusova VA., Moskal-eva O.V, Pislyakov VV Rukovodstvo po naukometrii: indikatory razvitiya nauki i tekhnologii [Guide on scien-tometrics: indicators of the development of science and technology]. Ekaterinburg, Ural Federal University Publ., 2014. 250 p.
2. Busygina T.V, Elepov B.S., Zibareva I.V, Lavrik O.L., Shaburova N.N. Issledovaniya Si-birskogo otdeleniya RAN v oblasti nanonauki i nanotekhnologii: bibliometricheskii analiz [Investigations carried out at the Siberian Branch of the Russian Academy of Sciences in the area of nano-science and nanotechnology: bibliometric analysis]. Khimiya v interesakh ustoichivogo razvitiya — Chemistry for Sustainable Development, 2013, vol. 21, no. 4, pp. 463— 473. (In Russian)
3. Galyavieva M.S. Altmetrics i biblioteki: ten-dentsii, vozmozhnosti i problemy [Altmetrics and libraries: trends, possibilities and problems]. Vest-nik Kazanskogo gosudarstvennogo universiteta kul'tury i iskusstv — Bulletin Kazan State University of Culture and Arts, 2013, no. 4, pp. 27-32.
4. Mazov N.A., Gureev VN. Al'ternativnye podkhody k otsenke nauchnykh rezul'tatov [Alternative approaches to the evaluation of the scientific results]. Vestnik Rossiiskoi akademii nauk — Herald of the Russian Academy of Sciences, 2015, vol. 85, no. 2, pp. 115-122.
5. O'Reilly T. What is Web 2.0. Komp'yuterra Online: website. (In Russian) Available at: http://old.com-puterra.ru/think/234100/ (accessed 10.05.2016)
6. Tronin VG. [Scientific social networks]. Ele-ktronnoe obuchenie v nepreryvnom obrazovanii [E-learn-ing in continuing education], 2015, vol. 1, no. 1 (2), pp. 158-162. (In Russian)
7. Ukaz Prezidenta RF ot 07.05.2012 № 599 "O merakh po realizatsii gosudarstvennoi politiki
v oblasti obrazovaniya i nauki" [Presidential Decree "On measures to implement the state policy in the sphere of education and science" (date 07.05.2012, N 599)]. Konsul'tantPlyuc. Available at: http://www. consultant.ru
8. Budapest Open Access Initiative. Available at: http://www.budapestopenaccessinitiative.org/ (accessed 10.05.2016)
9. Information Standards Quarterly, 2013, vol. 25, iss. 2.
10. Lavrik O.L., Busygina T.V., Shaburo-va N.N., Zibareva I.V Nanoscience and nano-technology in the Siberian Branch of the Russian Academy of Sciences: bibliometric analysis and evaluation. Journal of Nanoparticle Research, 2015, vol. 17, no. 2, pp. 1-11.
11. McEvoy K. Plum™ Analytics becomes part of EBSCO information services. Available at: http:// www.ebscohost.com/newsroom/stories/plum-an-alytics-becomes-part-of-ebsco-information-servic-es (accessed 10.05.2016)
12. Neylon C., Wu S. Article-level metrics and the evolution of scientific impact. PLoS Biology, 2009, vol. 7, no. 11, p. e1000242.
13. NISO Altmetrics Standards Project White Paper. Available at: http://www.niso.org/apps/group_ public/document.php?document_id=13809&wg_ abbrev=altmetrics (accessed 10.05.2016)
14. Noorden R. Van. Online collaboration: scientists and the social network. Nature, 2014, vol. 512, no. 7513, pp. 126-129.
15. Priem J., Taraborelli D., Groth P., Ney-lon C. Altmetrics: a manifesto. Available at: http:// altmetrics.org/manifesto/ (accessed 10.05.2016)
16. Public Library of Science. Wikipedia: website. (In Russian) Available at: https://ru.wikipedia. org/wiki/Public_Library_of_Science (accessed 10.05.2016)
