CC BY
0НАУКОМЕТРИЯ И БИБЛИОМЕТРИЯ
УДК 001.6:001.891.34 DOI: 10.31249/scis/2024.01.08
Гуськов А.Е.* ОБЗОР НАЦИОНАЛЬНЫХ CRIS-СИСТЕМ Guskov A.E.
OVERVIEW OF NATIONAL CURRENT RESEARCH INFORMATION SYSTEM
Аннотация. В статье представлен обзор информационных систем для сбора и распространения информации о научных исследованиях (Current Research Information System, CRIS), в котором описывается их основное предназначение и выполняемые функции. Вводится разделение на институциональные и национальные CRIS-системы; рассматривается опыт построения таких систем в Италии, Чехии, Хорватии, Индии, Финляндии; приводятся сравнительные характеристики для этих и других стран. Рассматриваются тренды развития CRIS-систем, включая вопросы улучшения качества данных и их использования в системах оценки научной результативности. Обсуждаются европейские инициативы по стандартизации и развитию ответственных подходов к оценке исследований. В качестве ответа на вопрос о существовании национальной CRIS-
* Гуськов Андрей Евгеньевич - кандидат технических наук, заведующий лабораторией наукометрии и научных коммуникаций; Российский институт экономики, политики и права в научно-технической сфере (г. Москва); guskov.andrey@gmail.com
ORCID 0000-0002-1028-9958
Guskov Andrey E. - PhD (Technical Sciences), Head of the Laboratory of Sci-entometry and Scientific Communications; Russian Institute of Economics, Politics and Law in the Scientific and Technical Field (Moscow); guskov.andrey@gmail.com ORCID 0000-0002-1028-9958
системы в России проанализирована существующая система ЕГИ-СУ НИОКР.
Ключевые слова: CRIS; информационная система о научных исследованиях; ЕГИСУ НИОКР; euroCRIS.
Abstract. The article presents an overview of information systems for the collection and dissemination of information about scientific research (Current Research Information System, CRIS), which describes their main purpose and functions. The division into institutional and national CRIS systems is introduced; the experience of building such systems in Italy, the Czech Republic, Croatia, India, Finland is considered; comparative characteristics for these and other countries are given. Trends in the development of CRIS systems are considered, including issues of improving the quality of data and their use in scientific performance assessment systems. The European initiatives on standardization and development of responsible approaches to research assessment are discussed. As an answer to the question about the existence of a national CRIS system in Russia, the existing system of the USISU R&D is analyzed.
Keywords: CRIS; Current Research Information System; euroCRIS.
Введение
CRIS-системы (Current Research Information System, информационные системы о научных исследованиях) являются одним из ключевых инструментов цифровизации научной деятельности, основной задачей которых является хранение, управление и распространение информации об исследовательской деятельности, а именно об ученых и их аффилиациях, о публикациях и других результатах интеллектуальной деятельности, о выполняемых грантах и проектах и т.п. Впервые такие системы начали создаваться в университетах в целях оптимизации процессов сбора отчетности, в том числе для оценки научной результативности, упрощения доступа к научной информации и повышения ее видимости. Это предполагает доступ не только через открытый веб-интерфейс, но и через API, что позволяет обмениваться данными с другими системами.
Их ценность заключается в том, что они дают возможности для понимания и анализа развития лабораторий, факультетов и ор-
ганизаций, изучения потенциала для регионального, национального и международного сотрудничества, а также для сравнительного анализа разных учреждений или их подразделений. Фактически они также могут «рассказывать истории» об особенностях тех или иных исследований, таких как результаты внедрения, развитие коллабораций, карьерные траектории. В конечном счете CRIS-системы могут быть хорошим инструментом для укрепления репутации организации и ее сотрудников.
После успешного развития CRIS-систем в университетах стали появляться первые попытки реализовать их на государственном уровне. В этом можно проследить ту же самую логику - аналогичные задачи сбора отчетности, оценки научной результативности и укрепления репутации ставятся и на государственном уровне, а разработка для этого информационной системы, содержащей информацию о научной деятельности в масштабах страны, кажется перспективным решением.
В отличие от институциональных CRIS, для которых существуют несколько типовых решений, национальные CRIS в каждом случае представляют собой уникальные в своем роде системы, ориентированные на конкретные задачи правительства и учитывающие специфику существующей в этой стране научно-информационной инфраструктуры. Разработчики таких систем основными вызовами считают обеспечение качества данных, интероперабель-ность (способность к межсистемному взаимодействию), устойчивое финансирование и соблюдение законодательства по защите данных [1].
Для координации усилий по созданию CRIS-систем в 2002 г. была создана международная некоммерческая организация euroCRIS. Ее усилия сконцентрированы на развитии стандарта обмена данными об исследованиях CERIF, а также на внедрении систем CRIS, исследованиях научно-информационной инфраструктуры и использовании связанных стандартов, таких как идентификаторы, форматы, семантика, контролируемые словари и т.д. На текущий момент в каталоге euroCRIS1 зарегистрировано более 1300 подобных систем, из которых 96% являются институциональными, и лишь 24 системы функционируют на страновом уровне, т.е. яв-
1 https://dspacecris.eurocris.org/cris/explore/dris
112
ляются национальными CRIS. Помимо 14 европейских стран в нем зарегистрированы системы из Бразилии, Грузии, Израиля, Монголии, Новой Зеландии и Панамы. Причину появления национальных CRIS в начале 2000-х годов связывают с тем, что именно европейские страны начали проводить мероприятия по оценке исследований, для которых были необходимы инструменты сбора данных о научных результатах. Например, норвежская CRIStin создавалась как инструмент отчетности о публикационной активности для министерства. Однако впоследствии внедрение API-сервисов упростило интеграцию с другими системами и превратило CRIStin в информационную систему для исследователей [2].
Более половины CRIS-систем вовлечены в процедуры оценки научной результативности [1], и в этом контексте они решают ещё одну важную задачу - формирование доверия к ней в исследовательском сообществе за счет обеспечения ее прозрачности. Под прозрачностью, как правило, подразумевается возможность исследователей изучать используемые для оценки данные и понимать источники, из которых они собираются. Отмечается, что недостаток прозрачности формирует скептическое отношение к ее результатам или даже страх [3].
В целом для CRIS-систем характерно постепенное расширение их функций. Помимо сбора отчетности, они используются в качестве корпоративного или публичного информационного портала об исследованиях, в качестве аналитических систем для поддержки принятия решений и как хаб для обмена метаданными с другими системами. Кроме того, встречаются случаи применения CRIS-систем для поддержки открытого доступа, благодаря которому авторам становится проще размещать свой контент в открытых репозиториях [3]. А в Португалии на базе национальной PTCRIS создается новый инструмент мониторинга и контроля за соблюдением правил при внедрении Plan S [4]. Рассмотрим несколько примеров национальных CRIS-систем.
Национальные CRIS-системы
В Италии в начале 2000-х началось внедрение централизованной схемы оценки, которая усилила бюрократическое давление на научно-педагогические кадры в университетах и научно-
исследовательских учреждениях. В результате этого процесса произошел отбор эффективных организационных и технических решений для сбора отчетности по публикациям и другим научным продуктам. Первая оценка такого рода была проведена в 2004 г., при этом большинство итальянских государственных университетов не имели для этого какой-либо инфраструктуры, в то время как для второй оценки в 2012 г. уже почти 50% имели различные CRIS-системы. Большинство из них были совместимы с LoginMIUR -национальной министерской закрытой базой данных публикаций, которая применялась в том числе и для задач оценки. Для третьего оценочного мероприятия (VQR 2014) сбор данных о публикациях уже требовал от участников использования программного обеспечения IRIS - платформы на основе DSpace-CRIS, разработанной итальянским межуниверситетским консорциумом Cineca. Отмечается, что эта система создала благоприятную среду для разработки и реализации институциональной политики открытого доступа. К 2019 г. ею пользовались уже более 65 итальянских университетов. Однако проблемы с качеством в отношении базы данных LoginMIUR сохранились: исследователи загружают данные в систему без каких-либо централизованных механизмов обеспечения качества или проверки данных. Другими словами, несмотря на то, что централизованная оценка привела к профессионализации и гармонизации научной ИТ-инфраструктуры, организационные процессы остались весьма неоднородными, что вызвало резкую критику в академическом сообществе [5].
Чешская Республика - одна из первых стран, где появилась CRIS национального уровня IS VaVaI, цель которой заключается в предоставлении информации о научных исследованиях и инновациях, финансируемых из государственных средств. Она служит основой для деятельности Совета по исследованиям, развитию и инновациям Чешской Республики и является единственным уполномоченным источником такой информации. IS ValaI состоит из четырех взаимосвязанных баз данных: Центральный реестр проектов (CEP), Центральный реестр исследовательской деятельности (CEA), Реестр информации о результатах (RIV) и Реестр государственных тендеров в области исследований и разработок (VES)1.
1 https://www.isvavai.cz/is?s=o-is-vavai
114
В отличие от Италии, где каждая организация отвечала за поставку своих данных в национальную CRIS, в IS ValaI основными поставщиками данных являются фонды, которые собирают отчеты о выполнении финансируемых государством исследовательских проектов и в унифицированном формате передают эти данные в систему [6].
В 2017 г. был добавлен API, который предоставляет доступ к содержанию IS VaVaI, позволяя исследовательским организациям интегрировать и использовать данные в своих приложениях и системах. Основная цель API - обеспечить более широкий доступ к данным и улучшить их распространение среди заинтересованных сторон, таких как ученые, исследователи и государственные органы. Кроме того, в 2019 г. она была сертифицирована по стандарту ISO/IEC 27001:2014, что позволило обеспечить соответствие требованиям законодательства, управление рисками и защиту конфиденциальности, целостности и доступности данных.
В Хорватии разработка национальной системы CroRIS началась в 2021 г. при поддержке Европейского союза в рамках национального стратегического проекта «Научный и технологический форсайт». Она была призвана объединить национальный библиографический каталог публикаций (разрабатывался с 1997 г.), реестр исследователей (2002), БД научных установок (2006) и национальную БД проектов (2015) [7]. Данные в этих системах были разрозненными, частично устаревшими и труднодоступными для машинной обработки, что негативно сказывалось на национальной информационной инфраструктуре, особенно при поддержке процедур оценки. Новая система прямо позиционировалась как инструмент для предоставления дополнительных библиомет-рических и альтметрических показателей для публикаций, имеющих отношение к задачам оценки научной результативности [8]. К началу 2023 г. в CroRIS были реализованы модели сбора данных об исследователях, проектах и оборудовании; работа над сбором публикаций продолжается [9-11]. Авторы отмечают, что одним из главных вызовов является перенос данных из существующих национальных систем в формат CERIF. Подчеркивается приверженность принципам Открытой науки: CroRIS будет обеспечивать видимость научных проектов и их результатов, связывать опубли-
кованные данные с их авторами и проектами, поставлять данные в системы Open AIRE и European Open Science Cloud.
Индия, формально не имея национальной CRIS и национальной системы оценки, является ярким примером централизованного создания институциональных CRIS. Межуниверситетский центр INFLIBNET при Министерстве образования Индии с 2017 г. разрабатывает систему IRINS (Indian Research Information Network System). Основная цель ее создания - повышение видимости исследований в индийских университетах; при этом подчеркивается, что эти данные могут использоваться ими для оценки собственных подразделений или отдельных исследователей. Второй важной функцией декларируется возможность поиска экспертов по заданным тематикам.
Система предоставляет услуги в формате Software-as-aService таким образом, что для каждой организации по ее запросу формируется домен (например, https://mgu.irins.org), в котором размещается полноценный экземпляр ее CRIS системы. Центральными объектами системы являются профили исследователей и преподавателей университета, к которым привязаны не только публикации и проекты, но и достаточно подробные данные об образовании, наградах, членстве в комитетах, а также формальные показатели результативности. Основной объем информации (публикации и цитирования) IRINS извлекает из ORCID, Google Scholar, Microsoft Academic Search, CrossRef, Scopus и Web of Science, а также альтметрики из систем Google Scholar, Altmetric и Dimensions. Список сотрудников ведет уполномоченный представитель университета, который часть информации вводит вручную, а связанные данные из других систем проверяет и при необходимости корректирует. Кроме того, он имеет доступ к инструментам научной аналитики, в том числе для сопоставления публикационной активности разных подразделений [12].
Обращает на себя внимание быстрое развитие системы. После запуска первого прототипа в 2018 г., уже через два года система насчитывала около 200 доменов организаций, а в 2023 г. их количество превысило 900. Более 600 из них зарегистрированы в каталоге euroCRIS как институциональные репозитории, а система IRINS является в нем безусловным лидером по количеству инстал-
ляций, значительно обгоняя другие продукты, в том числе Elsevier Pure (185) и CRIStin (131).
В Финляндии национальная CRIS-система Research.fi функционирует с 2017 г. Данные в нее поступают из университетов, научных фондов, системы ORCID и национального портала исследовательских данных fairdata.fi. Для интеграции данных из различных источников и создания этого научно-информационного хаба был разработан сервис VIRTA, предназначенный для обмена метаданными о публикациях, исследователях, организациях, научной инфраструктуре и т.п. между различными системами [13]. Портал Research.fi является единственной национальной CRIS, которая входит в GraspOS - начавшийся в 2023 г. трехлетний проект Евросоюза, целью которого является разработка, оценка и ввод в эксплуатацию открытой и надежной федеративной инфраструктуры для показателей и индикаторов исследований следующего поколения, основанной на принципах Открытой науки (Open science). Он опирается на такие известные проекты, как Open AIRE, European Open Science Cloud, Open Citations. В результате планируется создать общую инфраструктуру сбора и подготовки исходных данных, расчета индикаторов для развития процедур ответственной оценки научной результативности (RRA - Responsible Research Assessment), которая будет применяться в национальных и университетских CRIS-системах в европейских странах [14].
В таблице 1 сведены количественные данные о некоторых национальных CRIS. Крупнейшие системы содержат данные о нескольких миллионах публикаций, порядка 100 тысяч исследователей и десятках тысяч проектов. Однако есть примеры, когда даже небольшие государства считают создание подобных систем целесообразным, поскольку они улучшают практики научных коммуникаций и администрирования исследований. Национальные CRIS имеют различные приоритеты и не всегда реализуют публично доступные профили организаций, исследователей или проектов. Вместе с тем можно отметить, что в странах Европейского Союза данные о проектах являются неотъемлемой частью CRIS, что, вероятно, связано с более строгим и формализованным отношением к источникам финансирования.
Таблица 1
Сводная таблица контента национальных CRIS (данные на август 2023 г.)
Страна URL Год запуска Организации Публикации/ Результаты Исследователи Проекты
Бельгия researchportal. be 2292 709 тыс. 45 тыс. 60 тыс.
Бразилия brcris.ibict.br 2023 466 тыс. 101 тыс.
Индия irins.org 2017 929 2100 тыс. 148 тыс.
Латвия sciencelatvia.l v 2015 64 88 тыс. 6 тыс. 10 тыс.
Нидерланды netherlands. openaire.eu 2004 3700 тыс. 1 тыс.
Норвегия cristin.no 2004 136 2010 тыс. 89 тыс. 45 тыс.
Словакия skcris.sk 2620 475 тыс. 38 тыс. 25 тыс.
Словения cris.cobiss.net 1211 2136 тыс. 46 тыс. 8 тыс.
Финляндия research.fi 2017 85 764 тыс. 13 тыс.
Хорватия croris.hr 2017 97 610 тыс. 36 тыс. 8 тыс.
Чехия isvavai.cz 1906 тыс. 5 тыс.
Эстония etis.ee 1135 283 тыс. 16 тыс. 22 тыс.
Проблемы и тренды развития CRIS-систем
Как уже отмечалось, наиболее проблемными вопросами при реализации национальных CRIS считаются вопросы обеспечения качества данных в условиях их сбора из других систем и ручного ввода пользователями. Ежегодный прирост составляет до нескольких сотен тысяч записей, и регулярная верификация таких объемов данных является весьма нетривиальной задачей. При этом ею нельзя пренебрегать, поскольку последствия будут разрушительными - плохое качество данных будет искажать результаты оценки, подрывая доверие к ней как стейкхолдеров (правительства, научных фондов и пр.), так и самих исследователей. И то, и другое будет негативно влиять на процессы управления научной сферой. В частности, стейкхолдеры будут искать иные способы распределения финансирования, которые, вероятно, окажутся менее прозрачными и справедливыми. Для исследовательского сообщества
эти факторы также будут демотивирующими и могут привести к росту нарушений научной этики и общему ухудшению исследовательской среды в стране.
Качество данных зависит прежде всего от процедур их сбора в национальную CRIS: степени автоматизации процессов, объемов данных для ручного ввода, методов их проверки и исправления. Можно условно выделить три сформировавшихся подхода к организации этих процедур.
1. Сбор данных в CRIS напрямую от организаций через API, стандартизованные формы, пригодные для автоматического заполнения или, в худшем случае, ручной ввод данных через web-формы. В этом случае все трудозатраты и ответственность отнесены на отчитывающиеся организации, что, как показывает пример Италии, может приводить к плохому качеству данных.
2. Импорт данных из систем-посредников национального уровня, например научных фондов (Чехия) или национальных реестров публикаций (Хорватия), вводит дополнительный уровень контроля данных, хотя и может усложнять процедуру сбора данных в целом.
3. Наконец, импорт данных из глобальных научно-информационных систем (ORCID, Crossref, Web of Science, Scopus и др.) хотя и не может пока обеспечить полноту данных, но существенно сокращает трудозатраты по их сбору и постепенно стандартизует практики обмена научной информацией. В этих случаях организации все чаще выступают в роли кураторов данных, проверяя для уже полученных массивов их полноту и корректность связей между данными из различных систем. На основе этого подхода функционируют институциональные CRIS в сотнях университетах Индии.
Наконец, нельзя не отметить продолжающееся развитие общеевропейской структуры для сбора и управления научной информацией, в которой оценка научной результативности играет все более значимую роль, о чем говорят следующие факты.
Во-первых, в 2022 г. с целью реформирования практик оценки в пользу максимизации качества и импакта исследований при поддержке Еврокомиссии была создана коалиция CoARA (Coalition for Advancing Research Assessment), в которую вошли более 500 организаций и 40 стран. Во-вторых, в 2023 г. запущен проект GraspOS, нацеленный на создание федеративной инфраструктуры,
которая будет действовать как открытое информационное пространство, предоставляя данные, индикаторы, инструменты, услуги и рекомендации для развития системы оценки исследований с учетом практик Открытой науки. Национальная CRIS-система Финляндии стала пилотным участником этого проекта. В-третьих, организация Open AIRE, обеспечивающая ведущие инфраструктурные сервисы для Открытой науки, одним из своих приоритетов декларирует развитие ответственных подходов к оценке научной результативности. Она активно сотрудничает с коалицией CoARA, участвует в реализации проекта GraspOS и, более того, предоставляет облачный сервис для размещения национальных CRIS-систем, которым в 2023 г. воспользовались Нидерланды1.
Таким образом, можно говорить о явной тенденции к стандартизации форматов и методов обмена данными о научных исследованиях на европейском уровне, с акцентом на ответственные подходы к оценке исследований и практики Открытой науки.
Есть ли CRIS-система в России?
В Российской Федерации говорить о существовании национальной CRIS-системы можно лишь с определенной натяжкой. Наиболее близко этой функции соответствует Единая государственная информационная система учета результатов научно-исследовательских, опытно-конструкторских и технологических работ гражданского назначения (ЕГИСУ НИОКТР), которая предназначена для учета данных о научных исследованиях и разработках по всем областям знаний в Российской Федерации, для предоставления информации всем заинтересованным лицам о результатах научно-исследовательских, опытно-конструкторских и технологических работ, а также для использования результатов интеллектуальной деятельности2. Как видно, задачи национальной оценки напрямую не указаны, несмотря на то, что среди основных целей создания ЕГИСУ присутствуют развитие единой базы данных по научно-исследовательским работам и повышение эффективности расходования средств на проведение научных исследований.
1 https://www.openaire.eu/next-narcis-dutch-research-portal-on-openaire
2 https://www.rosrid.ru/information
120
Ежегодно в этой системе регистрируется около 20 тыс. проектов (всего с 2014 г. более 220 тыс.; правда, речь скорее о ежегодных отчетах, а не об общем количестве самих проектов), а также диссертации и другие результаты интеллектуальной деятельности (РИД). По каждому проекту могут быть указаны ФИО руководителя и исполнителей, опубликованные работы, доклады на конференциях, а также полные тексты отчетов. Все эти данные вводятся в систему организациями, выполняющими эти проекты, посредством ручного ввода или через стандартизованные excel-таблицы. Впоследствии материалы направляются на экспертизу в Российскую академию наук. Также в систему вводятся и ежегодные публикационные отчеты организаций, на основании которых рассчитывается комплексный балл публикационной результативности (КБПР), который является одним из основных показателей национальной системы оценки. Таким образом, в ЕГИСУ НИОКР осуществляется сбор материалов, необходимых для национальной системы оценки, а сама система напрямую используется в оценочных процедурах.
С другой стороны, эта система не выполняет основной задачи CRIS-систем - распространения информации о научной деятельности. В веб-интерфейсе реализованы только функции поиска проектов и диссертаций, а также их просмотр (причем достаточно неудобный). Отсутствуют карточки организаций, исследователей, публикаций; нет возможности даже оценить их общее количество. Очень мало ссылок на полнотекстовые материалы. Раздел «Аналитика» реализован формально. К сожалению, ЕГИСУ НИОКР не «рассказывает историй», а лишь фиксирует факты выполненных научных проектов. Причем, несмотря на наличие в недрах системы результатов оценки, пользователю не предлагаются инструменты, чтобы отличить «хорошее» исследование от «плохого», а «высо-коимпактный» проект от «мелкотемья».
При наличии качественных данных недостатки слабого веб-интерфейса можно компенсировать открытым API, используя которое, квалифицированный пользователь мог бы извлечь необходимые данные и самостоятельно провести любой анализ. Такой инструментарий в ЕГИСУ был предусмотрен, однако на момент подготовки этой статьи он не работал. Что касается качества данных, нам не удалось найти публикаций, в которых бы этот вопрос
освещался. Однако большой объем ручной работы, которая выполняется в университетах и научных организациях перед занесением данных в ЕГИСУ, создаёт высокий риск большого процента ошибок.
В заключение следует отметить, что в России уже накоплен объемный опыт создания подобных систем. Широко известны и активно используются проекты национального масштаба РИНЦ, Киберленинка, Mathnet. Достойно даже на мировом уровне выглядят CRIS-системы ведущих российских университетов, в частности МГУ, СПбГУ, ВШЭ, УрФУ, НГУ. Появляются новые амбициозные проекты, такие как CoLab.ws и ID SCIENCE. Применение этого богатого опыта при развитии ЕГИСУ НИОКР позволит значительно расширить сферу его применения, превратив из инструмента сбора отчетности в систему распространения научного знания.
Список литературы / References
Balenovic N., Kremenjas D., Orel O. CroRIS Development Update // EuroCRIS Strategic Membership Meeting 2022. - Autumn (Nijmegen), 2022.
Biesenbender S., Petersohn S., Thiedig C. Using Current Research Information Systems (CRIS) to showcase national and institutional research (potential): research information systems in the context of Open Science // Procedia Computer Science. -2019. - Vol. 146. - P. 142-155.
Research Information Management in the United States: Part 2-Case StudiesResearch Information Management in the United States: Part 1-Findings and Recommendations / Bryant R., Fransen J., de Castro P., Helmstutler B., Scherer D. // OCLC Research. - 2021.
Chudlarsky T., Dvorák J. A national CRIS infrastructure as the cornerstone of transparency in the research domain // 11-th International Conference on Current Research Information Systems // CRIS 2012. - P. 9-17.
De Castro P., Kimidi S.S., Palavesm K. The Rise of Current Research Information Systems (CRIS): The Case of the Indian Research Information Network System (IRINS): preprint. - India, Rxiv, 2020.
Klausen M.H. Even Minor Integrations Can Deliver Great Value - A Case Study // Procedia Computer Science. - 2017. - Vol. 106. - P. 153-159.
Kremenjas D. The CroRIS Project: A National CRIS in Croatia // Spring 2021 series of euroCRIS webinars. - 2021.
Kremenjas D., Udovicic P., Orel O. Adapting CERIF for a national CRIS: A case study // 2020 43rd International Convention on Information, Communication and Electronic Technology (MIPRO). - Opatija, Croatia: IEEE, 2020. - P. 1633-1638.
Macan B., Petrak J. The current state and future perspectives of the research information infrastructure in Croatia // J. inf. organ. sci. (Online). - 2019. - Vol. 43, N 1. -P. 15-31.
Mayer M., Konjevic S. CroRIS - Croatian Research Information System: Croatian national CRIS // EURASLIC XX: Sustainability and Infodiversity: (Aquatic) Libraries Strengthening Biodiversity Knowledge (3 May 2023 - 5 May 2023) - Bruxelles, Belgija. - 2023.
Development of Plan S monitoring and compliance tool in the context of PTCRIS for Portuguese National Science Foundation / Moreira J.M., Pardelha F., Laranjeira C., Pereira F., Novais J., Lopes P., Antunes A., Cardos E. // Procedia Computer Science. - 2022. - Vol. 211. - P. 151 -161.
Plekhanov D., Galindo-Rueda F., Ker D. The digitalisation of science and innovation policy // The Digitalisation of Science, Technology and Innovation: Key Developments and Policies. - Paris: OECD Publishing, 2020. - P. 182.
Puuska H.-M. The Research Information Hub as an access point to Finnish research // Spring 2019 euroCRIS Membership Meeting (CSC, Espoo-Helsinki, Finland, May 27-29, 2019). - 2019.
Tatum C. GraspOS: next Generation Research Assessment to Promote Open Science // EuroCRIS Strategic Membership Meeting 2022 - Autumn (Nijmegen). -2022.
