CC BY
0СОЦИОЛОГИЧЕСКИЕ НАУКИ
Медведева А.
астрант Нацюнально'1 6i6niomern Украши iMeHi В. I. Вернадського (НБУВ)
СУЧАСНА МЕТОДИКА ОЦ1НЮВАННЯ ЕФЕКТИВНОСТ1 ПРОВЕДЕННЯ НАУКОВИХ
ДОСЛ1ДЖЕНЬ В УКРА1Н1
MODERN METHODS OF EVALUATING THE EFFECTIVENESS OF RESEARCH IN UKRAINE
Medvedeva A., Ph.D. Student, V. I. Vernadsky National Library of Ukraine
ABSTRACT
We consider research aimed at creating a system of scientific and analytical support of research evaluation and prediction of the development of science in Ukraine. The expediency into account when assessing principles Leiden manifesto for scientometrics. The basic directions of convergence of national systems of evaluation research activities to identify intersection of research interests, establishing contacts and expanding international scientific communication.
АНОТАЦ1Я
Розглянуто дослщжения спрямоваш на створення системи науково-аналогичного забезпечення ощ-нювання дослвдницько! дiяльностi та прогнозування розвитку науки в Укрш'ш. Обгрунтовано доцшьшсть урахування при ощнюванш принципiв Лейденського манiфесту для наукометрii. Проаналiзовано основш напрями конвергенцii нацiональних систем ощнювания науковоi' д!яльносп для виявлення перетину до-слiдницьких iнтересiв, налагодженню контакпв та розширення мiжнародних наукових комушкацш.
Keywords: science, bibliometric, scientometrics libraries.
Ключовi слова: наука, бiблiометрiя, наукоме трiя, бiблiотеки.
Визначення сучасних критерив науково! д!яль-носп знаходять свое воображения в розробках ряду зарубiжних наукових центрiв. В першу чергу це стосуеться спецiальних комiтетiв, створених Радою Мiжнародного математичного союзу, м!жнш-родно! ради з промислово! та прикладно! математики (ICIAM), 1нституту математично! статистики (ISM) у США, у Канадськш федерацii гумашгарних i соцiальних наук, у Королiвськiй академп мистецтв та наук Нiдерландiв та iн.
У цьому напрямi здiйснили вклад ряд вггчизия-них наукових цен^в, серед них 1нститут досль джень науково-технiчного потенцiалу та юторп науки iм. Г. М. Доброва НАН Укра!ни [8], ввддш 6i6-люметрп та наукометрп Нащонально! бiблiотеки Укра!ни iм. В. I. Вернадського (НБУВ) [6, 10], та ш.
Важливе значення у розробщ цих питань ма-ють пращ таких дослщнишв як I. В. Маршаково! [13], В. В. Налiмова [15], О. Орлова, О. Новжова, П. Чеботарьова, Т. В. Симоненко та ш.
Данi питання з цiеi проблематики висвгглю-ються в рiзних аспектах дослiджень [1, 2, 11, 14].
В Укра!ш ощнка ефективностi дiяльностi нау-ково! установи визначаеться нормативними актами «Положения про державну атестацiю науково-до-слвдних (науково-технiчних) установ», «Методика оптимiзацii (атестаци) бюджетних установ», «Порядок ощнки розвитку дiяльностi науково! установи», яш затверджено Кабiнетом Мiнiстрiв Украши. В основу вищезазначених документа покла-дено результати розробок 1нституту дослiджень науково-технiчного потенцiалу та юторп науки iм. Г. М. Доброва НАН Укра!ни.
Метою статтi е аналiз вiтчизияноi методики оцiнюваиия ефективносп науково! дiяльностi в аспект! сучасних тенденцiй розвитку наукометрп.
Ефект наукових дослщжень може мати рiзну природу: економiчний ефект (рiст нащонального доходу, скорочення грошових витрат на виробниц-тво продукцп, зниження витрат на науковi досль дження й т. п.); соцiально-економiчний ефект (тд-вищення продуктивностi працi, лiквiдацiя ваги пращ, полшшення саиiтарно-гiгiенiчних, психоло-гiчних, оргашзацшних умов працi, захист при-роди).
Яшсну сторону наукового дослiджения харак-теризуе результат, змютовшсть якого перевiряеться новизною, що е основним критерiем ефективносп наукового дослiджения. Економiчна ефективнiсть характеризуеться вираженими у вартiсних вимiрах показниками економп живо! працi в суспшьному виробництвi, сферi послуг, якi отримано вiд вико-ристания результатiв науково -дослщницько! д!яль-ностi та порiвняння !х з витратами на проведения дослщження.
В Украiнi обговорюеться запропонований Мь нiстерством освiти i науки новий шдхвд до оцiнки дiяльностi наукових оргаиiзацiй [3, 4, 11] з викори-станиям все тих же параметрiв ефективностi науки (структура науково! оргашзацп, науковi результати, фiнансовi результати, кадрова структура).
Наукометричш показники в цiлому можна згрупувати за трьома напрямками. Перший напрям - ресурси оргашзацп, як! включають в себе наяв-нiсть кадрових ресурав, матерiально-технiчних та фшансово! бази. Другий напрям - наукова резуль-татившсть оргаиiзацi!, оцiнюваиа по бiблiометрич-
ним показникам, наявносп патента, залученнi в на-укове спiвтовариство (наприклад, участь у конфе-ренцiях i оргашзащя мiжнародних форумiв, спiльнi публжацп з шоземними ученими), розроблення конструкторсько! та технолопчно! документации
Структуру атестацiйних оцшок детально розг-лянуто у працях Б. Малицького, В. Рибачука, А. Поповича, А. Корецького «Наукометрiя: новi функцп i проблеми адекватносп». У нiй чiтко виокремлю-ються таш показники як: категорiя та рейтинг; характеристика сильних та слабких сторш науково! установи; порiвняльне рейтингове оцiнювання нау-кових установ; формулювання висновк1в за результатами атестаци та пропозици щодо оптимiзацi! дь яльностi наукових установ, що е досить актуальним на сьогодшшнш день [12]. Варто наголосити, що важливим показником е оновлення наукових ка^в i стратеги розвитку оргашзацп по залученню грошей тд науковi замовлення.
Якщо органiзацiя мае вищезгадаш ресурси, але не показуе достатшх наукових результатiв, то мае сенс провести и реструктуризацiю. Якщо оргашза-цiя показуе висок1 науковi результати, але не мае достатньо ресурав, то доцiльно збiльшити бюдже-тне фiнансування. I, нарештi, якщо оргашза^ не мае нi ресурав, нi результатiв, то вона мае стати кандидатом на розформування. Тому дуже важливо розумiти структуру ощнювання наукових установ, де необхвдно видiляти оцiнку динамiки розвитку науково1 установи (оцiнку динамiки потенцiалу та результативности, квалiфiкацiйну, рейтингову ощ-нки та експертну оцiнку.
У свою чергу, як зауважуе у своему досль дженнi О. М. Зусьман, саме бiблiометричнi показники найбшьш об'ективно й повно вiдображають стутнь активностi та продуктивностi наукових до-слщжень у будь-як1й галузi [5].
Л. Й. Костенко у свош пращ <^блютека та на-укометрiя: свiтовий досвщ, укра1нська перспектива» наголошуе, що «на сучасному етат значно зросла увага вiтчизняних вчених до проведения за-гальних та галузевих наукометричних дослщжень: помiтна значна позитивна динашка кiлькостi пуб-лшацш, присвячених застосуванню методiв науко-метри; опановуеться сучасна методологiя, шнова-цiйний дослщний iнструментарiй; у фахових наукових виданнях постiйно висвiтлюються проблеми та результати проведених наукометричних досль джень» [7, с. 29].
На сьогодт бiблiотечнi заклади Украши ма-ють досвiд бiблiометричного монiторингу докуме-нтальних комунiкацiй i пiдготовки оглядово-аналь тичних матерiалiв щодо стану наукового середо-вища, проте недостатньо теоретико-методолопчних дослщжень, спрямованих на ство-рення в них системи науково-аналггичного забезпе-чення оцiиюваиия дослвдницько1 дiяльностi та про-гнозування розвитку науки.
Сл1д зазначити, що в Нацюнальнш бiблiотецi Укра1ни iменi В. I. Вернадського Службою шфор-мацiйно-аналiтичного забезпечення (С1АЗ) напра-цьований протягом останнiх двох десятилтть досвiд
у iнформацiйно-дослiднiй po6oTi сприяе продуку-ванню атлетично! шформацп шляхом анатзу змь сту iнформaцiйних ресурав про стан i тенденци розвитку сустльних процесiв на основi застосування передових методiв монiторингy та зб№шення !! прогнозно! складово!. Це один i3 стрaтегiчних на-прямiв подальшого розвитку дiяльностi сучасних шформацшно^блютечних центрiв у яких синтезу-еться iнформaцiя та забезпечуеться введения !! в су-спiльний обiг.
В Нацюнальнш бiблiотецi Укра!ни iменi В. I. Вернадського (НБУВ) створена система корпоративного доступу до мережевих ресурав провщних свггових постачальник1в науково! шформацп (EBSCO, Elsevier, Scopus та ш.). Багатофункцюна-льна комерцiйнa платформа Scopus надае можли-вiсть для проведення комплексних наукометричних дослiджень. I! фyнкцiонaльнi можливостi забезпе-чують центрaлiзовaне нaдaиия повного спектра он-лайнових сервiсiв в iнтрaнет/екстрaнет-мереж 6i6-лютечного закладу та децентрaлiзовaиий доступ до визначеного лщензшними угодами кола джерел ш-формaцi! з установ НАН Укра!ни [9].
Впровадження новiтнiх шформацшних техно-логiй стало можливим завдяки нaявностi в бiблiоте-чних закладах повнотекстових електронних ресур-сiв, значних обчислювальних потужностей, розро-бцi застосування спецiaлiзовaного програмного забезпечення для проведення математично-статис-тичних методiв iнформaцiйного анатзу. Тут важ-ливу роль вщграе комплекс взаемодоповнюючих iнформaцiйних, бiблiотечних, бiблiогрaфiчних та наукометричних дослiджень для виявлення шльшс-них зaкономiрностей в бiблiотечно-бiблiогрaфiчнiй дiяльностi та процесах науково! комушкацп з метою оптимiзaцi! науково-шформацшно! сфери су-часного сyспiльствa. Ц дослщження були спрямо-вaиi на отримання показник1в, що характеризують рiвень предстaвленостi укра!нсько! науки в бiблiо-метричнiй бaзi даних бaгaтофyнкцiонaльно! комер-цiйно! платформи Scopus [7].
Крiм цього, були розробленi концептyaльнi ос-нови побудови шформадшно-анаттично! системи <^блюметрика укра!нсько! науки», що надае суст-льству цiлiснy картину стану впчизняного наукового середовища. Дана система являе собою науко-метричну надбудову над наявними в середовишi Google Scholar профмми вiтчизняних сyб'ектiв та об'екпв iнформaцiйних комyнiкaцiй (учених, наукових колективiв та iн.). Програмний шструмента-рiй системи забезпечуе статистичну обробку даних з бiблiометричних профшв для одержання широкого спектру аналггачних мaтерiaлiв. Геошформа-цiйнa складова забезпечуе наочно-просторове наве-дення даних, отриманих на основi процедур нако-пичення та aнaлiтично! обробки бiблiометричноi iнформaцi! спецiaлiзовaним алгоршшчно-програм-ним iнстрyментaрiем. Геоiнформaцiйний модуль системи дае змогу працювати з картами i атрибутами об'екпв на них, також з рiзними типами документа (текстовими, мyльтимедiйними, грaфiчними та ш.) [8].
В Укра!ш суб'ектами виконання науково-до-слвдних робгт i розробок е науковi оргашзаци, нау-ково-дослiднi центри при вищих навчальних закладах, науково-дослiднi, проектно-конструкторсьш оргашзаци, експериментальнi пiдприемства, а та-кож науково-виробничi об'еднання, тому при оць нюваннi !х результативностi мае ураховуватись до-сить великий заруб1жиий досввд. Плануеться, що в Укра!ш будуть формуватися мiжвiдомчi комюи з учених, а також представнишв мшютерств i ввдом-ствi. Хоча остаточне питания про склад м1жв1дом-чих комюш поки залишаеться вiдкритим, воно е принциповим, оск1льки в!д того, хто увiйде в цю структуру, залежатимуть И рiшения.
У кранах заходу наука сприймаеться як система, де вченим видшше, що мае вщбуватися. У зв'язку з цим, склад комюш формуеться з провщ-них експертiв i вчених по кожному конкретному на-прямку.
Процес оцшювания одше! науково! оргашзаци займае значний час, при цьому суб'ектом оцшювання може бути лабораторiя. На заходi це, шви-дше, науковий напрямок, оск1льки п!д нього i видь ляеться фiнансувания. Найчаспше, для оцiнюваиия залучаються провiднi м1жиародш експерти, що до-зволяе серйозно шдвищити як1сть i незалежиiсть оцшки.
При експертнiй оцiнцi науково! д1яльносп ус-таиов, сл1д ураховувати вщмшносп з активностi публiкацiй i цитуваннь для рiзних наукових напря-мiв галузей, як1 допоможуть врахувати специф!ку сво!х областей, що можуть базуватись на наступних принципах:
1. Порiвияльна оцшка результативностi проводиться всередиш так зваиих референтних груп наукових оргашзацш, як1 повиннi бути сформоваш за принципом близькостi галузей !х науково! д!яльно-стi та титв одержуваних результатiв (фундамента-льш дослiджения, техиологiчнi розробки, науково-техшчш послуги i т. п.). Для кожио! референтно! групи повинна бути сформована своя експертна рада, що оргашзуе процедури оцiнки кожио! оргашзаци.
2. Для оцшки оргашзаци експертна рада приз-начае експерта по кожиому напряму роботи оргашзаци, а також невелику експертну групу для уза-гальнения результата оцiнки. При оцiнцi багатоп-рофшьних i мiждисциплiнарних органiзацiй неминуче частина напрямшв виявиться поза компе-тенщею експертно! ради, до яко! вщнесена оргаш-защя. Експерти по таким напрямкам повиннi приз-начатися за рекомендащею iнших, профiльних рад.
Дуже важливим моментом е те, що результати оцшювания повиннi бути пов'язанi з представлениям бюджетного фшансувания. У рiзних кра!нах це здiйснюеться по-рiзному: у Великобританп одер-жуваиий органiзацiею бал безпосередньо пов'яза-ний з фшансуваниям. Тобто, наукова органiзацiя працюе, але якщо !й перестае вистачати кошта, то починаеться процес оцiнювания !! дiяльностi, i для менш слабко! органiзацi! фiнаисувания скорочу-еться.
Зростаюча увага надаеться оцiнцi дiяльностi структур, на базi яких виконуються фундамента-льш дослiджения. При цьому кiлькiснi показники обов'язково доповнюються експертними оцiнками. На жаль, в Укра!ш к1льк1сна оцшка сьогодш е домь нуючою, i це призводить до спотворения результата. Слщ мати на уваз^ що застосувания рiзного роду показнишв - це необхвдна, але недостатия умова для прийияття остаточного ршения про рь вень наукових дослщжень, що проводяться в нау-ково-дослвднш установi, i його мiсця в рейтингу наукових оргашзацш. Необхщно поеднувати експертну оцiнку роботи оргашзаци та аналiз ключових показнишв. Т!льки на основi загального аиалiзу цих двох висновк1в можиа приймати рiшения про збшь-шения або скорочения фiнансуваиия.
Фiнансувания мае бути напряму пов'язаие з результатами аналiзу. Так, як дана процедура наба-гато складнiша, нiж проведения якогось статистич-ного обстежения, то передбачаеться шщшвати експертну оцiнку наукових установ мiжвiдомчою ко-мiсiею - спочатку у випадках, коли оргашзащя потрапить в «групу ввдстаючих» за низькими результатами показник1в.
Для кожного направлення науки повинен бути розроблений перелж критерi!в оцiнки. У залежио-стi вiд наукового профiлю шститути роздiлять на референтнi групи, для кожио! з яких буде запропо-новаиа своя сукупнiсть критерi!в, як мають певну «вагу». Оцiнювати науковi оргаиiзацi! передбачаеться кожиi п'ять рошв.
В Укра!нi монiторинг здшснюеться тiльки у вь дношеннi до виконавщв наукових робiт, але не управлшських структур. Якби укра!нськ1 ведомства ставили перед собою таю завдаиия, як пвдвищения квалiфiкацi! власних кадр!в, як1 повиннi володiти лвдерськими якостями, нести персональну ввдповь дальнiсть за прийияп рiшения i працювати в рамках суворо! звiтностi, то, можливо, формування шнова-цiйно! складово! економiки спричинило б до дина-мiчного розвитку суспiльства.
Слiд зазначити, що розвиток дослщжень в га-лузi прикладно! науки залежить в!д стану виробни-чих секторiв економiки, осшльки промисловiсть е основним замовником i споживачем результатiв прикладних дослiджень i техиологiчних iнновацiй
[14].
Комплексне проведения фундаментально-при-кладних розробок, як правило, дозволяе отриму-вати результати, що мають ютотну новизну i ве-льми велик! перспективи. Жорстке планувания часу та кошта тут не завжди можливе. При цьому фшан-сова шдтримка науково-дослвдних робгт повинна здшснюватися безперервно, якщо не прийиято рь шения про те що виявилася безперспективнють ро-зробки.
Питания про об'ективну оцшку ефективносл наукових дослщжень, збшьшения або припинения фшаисувания тюно пов'язане з вибором системи критерив, за якими визначаеться результативнють д!яльносп науково-дослщних оргашзацш та окре-мих науковщв.
Проведення наукометричних оцшок дозволить щдвищити ефектившсть управл1нських рiшень в науковiй сферi за рахунок вирiшення таких завдань, як пiдвищення ефективностi механiзмiв стратепч-ного та оперативного управлiния; ефективносл бю-джетних витрат у сферi науки; пiдвищения вкладу науки в зростання конкурентоспроможиостi нацю-нально! економши, тощо.
За остаинi двадцять рошв розробка i вдоскона-лення методiв i методик оцiнки результативностi дiяльностi наукових органiзацiй, що виконують на-уково-дослiднi та дослiдно-конструкторськi набу-вають все бшьшо! значущостi в Укра!ш, Бiлорусi, Росп, Казахстанi та далекого заруб1жжя. У цiлому всi щ методики включають в себе аналiз таких ос-новних параметрiв, як:
- яшсш публжаци;
- залучення додаткового фiнаисування або через гранти, або через замовлення, як шдтвердження того, що колектив або лаборатор!я вм1ють працю-вати;
- наявшсть молодих фахiвцiв, аспiрантiв, кандидата наук.
Варто зазначити що ефективш напрацювания у сферi оцiнюваиия науково! д1яльност1 викладенi в «Лейденському машфесп для наукометрй» [16], десять принцитв якого ч1тко було систематизовано у такому вигляд1:
1. Кшьшсна оцiнка повинна доповнювати експертний висновок.
2. Пор!вняння науково! д1яльност1 ученого з завданнями установи.
3. Захист дослщження регюнального/нацю-нального р1вня.
4. Використання прозорих процедур збору та анализу даних.
5. Надання дослвдникам можливост1 перевь ряти данi.
6. Урахування при пор!вняннях специфiки га-лузей наук.
7. Ознайомлення з профiлем дослвдника/ко-лективу при !х оцiнюваннi.
8. Уникнення надмiрно! конкретностi оц1нок.
9. Передбачення впливу формальних показ-нишв на наукову д1яльн1сть.
10. Оперативний анал!з к1льк1сних показнишв.
Методика оцшки ефективностi залежить в1д
виду наукових дослвджень. Науковi дослiдження под1ляють на фундаментальна пошуков1 та прикла-дш.
Метою фундаментальних i частково приклад-них дослвджень не е одержання продукту, виробу або послуги, що можуть стати товаром i оформи-тися у вид1 певного комерцшного iнвестицiйного проекту. Експериментальнi розробки е одшею з1 стадiй життевого циклу продукту, виробу або пос-луги. завданням яких е створення нового виду про-дукци 1з визначеними характеристиками.
Взагалi, головною проблемою дано! оцшки в Укра!ш е вщсутшсть зворотного зв'язку м1ж вче-ними, науковим спiвтовариством ! сусп1льством в ц1лому. Для налагодження конструктивного дiа-логу вченим, насамперед, слад надати сусп1льству
об'ективну шформацш про стан науки та !! можли-восп сприяти сталому розвитку економiки i вирь шенню рiзноманiтних соцiальних завдань.
Отже, чинна методика оцшювання ефективно-стi науково! дiяльностi в Укра!нi базуеться на поед-наннi к1льк1сних i як1сних методiв оцiнки, тобто пе-редбачае одержання вщповщного експертного ви-сновку щодо ефективностi дiяльностi науково! установи на пiдставi певних кiлькiсних показник1в. I! вдосконалення в аспект врахування сучасних те-нденцiй розвитку наукометрй' потребуе надання прiоритету експертнiй оцiнцi над шльшсними пока-зниками, конкретизацп процедури проведення екс-пертизи, урахування принцитв Лейденського мат-фесту для наукометрй' та ш.
Список лiтератури
1. Бессарабов А. М. Розробка моделi для управ-лiння шновацшним бюджетним фiнансуванням га-лузево! науки / А. М. Бессарабов, А. Е. Софiев // Проблеми управлшня. 2010. - № 1. - С. 33-38.
2. Бессарабов А. М. Системний аналiз бюджетного шновацшного фшансування галузевих наукових оргашзацш хiмiчно!' та нафтохiмiчно! проми-словостi / А. М. Бессарабов, С. Ю. Ягудiн // Нафто-переробка i нафгохiмiя. - 2006. - № 4. - С. 17-22.
3. Васильева В. М. Методичне керiвництво по використанню пошуково! системи Google Академiя (Google Scholar) [Електронний ресурс]. - Режим доступу:
http ://www. spa. msu. ru/uploads/files/nautchnaj a_dej at elnost/GoogleScholar.pdf. - Назва з екрану.
4. Визначення iндексу цитованостi вченого з використанням GOOGLE SCHOLAR [Електронний ресурс]. - Режим доступу: http://www.spsl.nsc.ru/win/isitr/str_33h.html. - Назва з екрану.
5. Зусьман О. М. Библиометрические исследования науки / О. М. Зусьман // С.-петерб. гос. ун-т культуры и искусств. - СПб., 2000. - 216 с.
6. Костенко Л. Й. Наукометрiя: методология та шструментарш / Л. Й. Костенко, О. I. Жабш, Т. В. Симоненко // Вюн.кн.палати. - 2015.- №9.- С. 2529.
7. Костенко Л. Й. Бiблiотека та наукометрия: свгговий досвщ укра!нська перспектива / Л. Й. Костенко, Д. В. Соловяненко // Бiбл. вюн. - 2009. - № 6. - С. 29-32.
8. Костенко Л. Й. Бiблiометрика укра!нсько! науки: шформацшно-аналп'ична система / Л. Й. Костенко, А. I. Жабш // Бiбл. вюник. - 2014.- № 4.-С.8-12.
9. Костенко Л. И. Наукоемкие технологии в библиотеке / Л. И. Костенко, А. И. Жабин, Т. В. Си-моненко // Библиотеки национальных академий наук: проблемы функционирования, тенденции развития. - 2013. - Вып. 11. - С. 70-81.
10. Кухарчук £. О. Свiтовi наукометричш системи / £. О. Кухарчук // Бiбл.вiсн. -2014.- №5.-С.7-11.
11. Круглий стш «Мехашзми та критерп оць нки д!яльносл науково! установи», 17 липня 2006 [Електронний ресурс].- Режим доступу: http: //orange.strf.ru/client/doctrine. - Назва з екрану.
12. Малицкий Б. Наукометрия: новые функции и проблемы адекватности / Б. Малицкий, В. Рыба-чук, А. Попович, А. Корецкий // Наука и инновации. - 2013. - № 1. - С. 11-17.
13. Маршакова И. В. Система цитирования научной литературы как средство слежения за развитием науки [монография] / И. В. Маршакова - М.: Наука, 1988. - 287 с.
14. Мiнделi Л. Е. Розвиток науки: нов! тенденций i завдання Мiжнародна конференщя «Управ-лшня наукою в XXI столттп: мехашзми та перспек-тиви» Москва, 2009 [Електронний ресурс]. - Режим доступу:
http://www.issras.ru/conference_2009/index.ph. - Ha-3Ba 3 eKpaHa.
15. Ha^HMOB B. B. HayKOMeipna. H3yneHne pa3-bhthh HayKH KaK HH^opMa^OHHoro npo^cca [moho-rpa^na] / B. B. Ha^HMOB, 3. M. MymneHKO. -MocKBa: HayKa, 1969. - 192 c.
16. Bibliometrics: The Leiden Manifesto for research metrics / D. Hicks, P. Wouters, L. Waltman, S. de Rijcke, I. Rafols [Electronic resource]. - Mode of access: http://www.nature.com/news/bibliometrics-the-leiden-mamifesto-for-reserch-metrics-1.17351/(12/08/15). - Title from the screen.
