CC BY
46
В МИРЕ БИБЛИОТЕК
УДК 027.2:025.5:001
ББК 78.34(7Сое)+78.37 + 72.4
DOI 10.20913/1815-3186-2019-4-33-45
ТИРАЖИРУЕМЫЕ УСЛУГИ ДЛЯ ВОСПРОИЗВОДИМЫХ ИССЛЕДОВАНИЙ:
МОДЕЛЬ ДЛЯ НАУЧНЫХ БИБЛИОТЕК1
© Ф. Сэйр, Э. Ригельман, 2019
Университет Миннесоты, США, franklin.sayre@gmail.com, aspringe@umn.edu
За последнее десятилетие исследования в различных дисциплинах, от биологии до экономики, показали, что многие научные результаты не удается воспроизвести. Это привело к заявлениям в научной прессе и СМИ о том, что наука переживает «кризис воспроизводимости» и что в результате этого кризиса студенты, преподаватели и общественность в целом задумались о степени доверия к исследованиям. Преподаватели университетов строят на этих результатах свои исследования, а студенты и общественность используют эти результаты для очень многих целей: от ухода за пациентами до государственной политики. Для построения модели поддержки университетскими библиотеками воспроизводимых исследований авторы провели обзор основных рекомендаций от финансирующих научные исследования организаций, издателей и профессиональных сообществ и сопоставили рекомендации с библиотечными услугами университетов и опытом библиотекарей. Обзор показывает, что многие рекомендации по повышению воспроизводимости результатов могут стать в университетах основными областями библиотечного дела, включая управление данными, научные коммуникации и методологическую поддержку систематических обзоров и исследований, основанных на обработке больших объемов данных (data-intensive research). Расширение представлений о перспективах библиотечного дела, журналов, финансирования и общественного восприятия вопросов воспроизводимости результатов исследований, а также переосмысление предоставляемых библиотеками знаний и услуг позволит университетским библиотекам стать лидерами в поддержке воспроизводимых исследований. Для цитирования: Сэйр Ф., Ригельман Э. Тиражируемые услуги для воспроизводимых исследований: модель для научных библиотек // Библиосфера. 2019. № 4. С. 33-45. DOI: 10.20913/1815-3186-2019-4-33-45.
Replicable services for reproducible research: a model for academic libraries F. Sayre, A. Riegelman
University of Minnesota, USA, franklin.sayre@gmail.com, aspringe@umn.edu
Over the past decade, evidence from disciplines ranging from biology to economics has suggested that many scientific studies may not be reproducible. This has led to declarations in both the scientific and lay press that science is experiencing a "reproducibility crisis" and that this crisis has consequences for the extent to which students, faculty, and the public at large can trust research. Faculty build on these results with their own research, and students and the public use these results for everything from patient care to public policy. To build a model for how academic libraries can support reproducible research, the authors conducted a review of major guidelines from funders, publishers, and professional societies. Specific recommendations were extracted from guidelines and compared with existing academic library services and librarian expertise. The authors believe this review shows that many of the recommendations for improving reproducibility are core areas of academic librarianship, including data management, scholarly communication, and methodological support for systematic reviews and data-intensive research. By increasing our knowledge of disciplinary, journal, funder, and society perspectives on reproducibility, and reframing existing librarian expertise and services, academic librarians will be well positioned to be leaders in supporting reproducible research.
Citation: Sayre F., Riegelman A. Replicable services for reproducible research: a model for academic libraries. College and Research Libraries, 2019, 80, 2, 260-262. DOI: https://doi.org/10.5860/crl.80.2.260.
1 Публикация является переводом статьи, впервые появившейся в журнале College and Research Libraries, 2019, vol. 80, № 2. P. 260-262. DOI: https://doi.Org/10.5860/crl.80.2.260. Статья переведена с согласия журнала и авторов. Перевод выполнен О. Л. Лаврик.
ОТ Ш
ОС
с
ОС
m
О а
-J
СИ О
ш X
Введение
В последние годы в ряде дисциплин, включая психологию [1], биологию [2], биомедицину [3], неврологию [4], разработку лекарств [5], химию [6], климатологию [7], экономику [8, 9] и образование [10], появились свидетельства того, что наука стоит перед лицом кризиса воспроизводимости. Авторы статьи ранее утверждали, что библиотеки несут ответственность за поддержку воспроизводимых исследований и должны играть ведущую роль в научных учреждениях [11]. В статье излагается модель поддержки библиотеками университетов воспроизводимых исследований, включая согласование рекомендаций, содержащихся в руководствах, разработанных финансирующими исследования организациями, профессиональными сообществами и издателями для повышения воспроизводимости исследований, и существующие экспертные оценки и услуги, предлагаемые научными библиотеками.
Термины «воспроизводимость» (reproducibility) и «повторение» («реплици-руемость2», «тиражируемость») (replicability) часто используются неправильно [11]. Эта статья содержит более подробное обсуждение вопросов, в ней даются современные определения и кратко описываются наиболее явные различия в них [11]. Подкомитет Национального научного фонда (NSF) по социальным, поведенческим и экономическим вопросам (SBE) по воспроизводимой науке опубликовал отчет о надежных исследовательских практиках, где воспроизводимость определена как «способность исследователя дублировать результаты предыдущего исследования с использованием тех же материалов и процедур [сделано усиление], которые использовались первым исследователем» [12]. Повторение было определено как «способность исследователя дублировать результаты предыдущего исследования, если выполняются те же процедуры, но собираются новые данные» [12, p. 4]. J. Leek и L. Jager уточняют это определение, отмечая, что «исследование воспроизводимо, если весь код и данные3, используемые для расчета значений и подготовки
2 Существует термин «репликация» (от лат. герНсаио -«возобновление, повторение»), используемый в вычислительной технике и биохимии. В первом случае он означает: а) механизм синхронизации содержимого нескольких копий объекта (например, содержимого базы данных); б) процесс, под которым понимается копирование данных из одного источника на другой. Во втором случае он означает процесс синтеза дочерней молекулы дезоксирибонуклеиновой кислоты на матрице родительской молекулы ДНК.
Полагаю, что для данной публикации лучшим вариантом перевода термина «герНсаЫН1у» будет использование нейтрального понятия «повторение» (примечание переводчика).
3 Речь идет об использовании компьютерных технологий, больших данных (примечание переводчика).
рисунков к статье, доступны и в точности дают опубликованные результаты» [13]. V. Stodden и соавт. предложили континуум воспроизводимых исследований с целью дальнейшего изучения концепции воспроизводимых исследований (табл. 1) [14].
Рекомендации по воспроизводимости научных результатов
Для преодоления кризиса воспроизводимости научных результатов многие заинтересованные стороны, включая финансирующие исследования организации, журналы, научные общества, учреждения и отдельных исследователей, разработали руководства и рекомендации по воспроизводимости научных исследований. Во многих из этих руководств излагаются меры, в реализации которых могли бы участвовать университетские библиотеки. В работе авторы рассматривают Руководство по продвижению прозрачности и открытости (Transparency and Openness Promotion (TOP) Guidelines), Руководство Американской статистической ассоциации (the American Statistical Association (ASA) guidelines), Руководство Национального научного фонда (the National Science Foundation's (NSF) guidelines) и Руководство Национальных институтов здравоохранения (the National Institutes of Health (NIH) guidelines). Эти руководства были отобраны потому, что применимы ко многим исследованиям и ко всем дисциплинам, и содержащиеся в них рекомендации имеют репрезентативный характер. Меры, предложенные в этих руководствах, послужат основой для обсуждения в следующем разделе вопроса о том, как библиотечные службы могут поддерживать воспроизводимые исследования.
Руководство по продвижению прозрачности и открытости (TOP), разработанное в 2014 г. Центром открытой науки (COS), редакторами журналов, представителями финансовых агентств и экспертами по различным дисциплинам, представляет собой набор из восьми стандартов для академических журналов [15]. Это гибкий набор стандартов, которые могут быть реализованы на трех уровнях в зависимости от дисциплинарных норм и способности осуществлять изменения. На первом уровне необходимо заявить, что стандарт соблюдался (например, был ли обмен данными), на втором уровне фактически подтвердить соблюдение стандарта (например, что данными фактически обменивались), наконец, на третьем уровне требуется, чтобы журнал проверил соблюдение стандарта.
Эта модульная структура признает, что в разных дисциплинах существуют различные дисциплинарные нормы прозрачности и способы осуществлять изменения. В сентябре 2017 г. издательство Elsevier подписало ТОР-Руководство
Таблица 1
Уровни воспроизводимости*
Table 1
Levels of Reproducibility
Обзорные исследования. Описания методов исследования могут быть оценены независимо, а результаты признаны достоверными. (Это включает как традиционное рецензирование, так и оценку сообщества, и не обязательно подразумевает воспроизводимость.)
Повторные (тиражируемые, реплицируемые) исследования. Инструменты - доступны, что позволяет другому ученому дублировать результаты исследования (например, путем запуска авторского кода для создания графиков, показанных в публикации). Здесь инструменты могут быть ограничены по объему (например, только основные данные или исполняемые программы) и могут быть доступны только рецензентам или только по запросу
Подтверждаемые исследования. Основные выводы исследования могут быть получены независимо, без использования программного обеспечения, предоставленного автором. (Но с использованием полного описания алгоритмов и методологии исследования, приведенных в публикации и любых дополнительных материалах.)
Проверяемые исследования. Было архивировано достаточное количество записей (включая данные и программное обеспечение), с тем чтобы исследование позже, при необходимости, могло быть защищено или могли быть устранены различия между независимыми подтверждениями. Архив может быть как частным, так и представлять из себя традиционные лабораторные журналы
Открытое или воспроизводимое исследование. Проверяемое исследование - в открытом доступе. Открытость включает хорошо документированный и полностью открытый код и общедоступные данные, которые позволяют (а) полностью проверить вычислительную процедуру, (б) повторить, а также независимо воспроизвести результаты исследования и (в) расширить результаты или применить метод для решения новых проблем
* V. Stodden, D. H. Bailey, J. Borwein, R. J. Leveque, W. Rider, and W. Stein (2014), Setting the Default to Reproducible Reproducibility in Computational and Experimental Mathematics = Установка по умолчанию по воспроизводимой воспроизводимости в области вычислительной и экспериментальной математики (примечание переводчика).
примерно для 1800 журналов [16]. По состоянию на апрель 2018 г. его подписали почти 5000 журналов и обществ [17]. Как авторы указывали ранее, оно содержит много рекомендаций, знакомых университетским библиотекам (табл. 2) [18].
Еще один набор руководств, разработанных Американской статистической ассоциацией (ASA) [19], направлен на оказание влияния на организации, финансирующие исследования. Руководства ASA также содержат в преамбуле ряд «принципов и наблюдений», которые носят более общий характер и могут быть особенно интересны библиотекарям университетов. Эти принципы и наблюдения признают важность открытых, цитируемых данных и кода, опубликованных в открытых репозиториях, а также использования вычислительных методов при анализе и обработке данных [19].
В рекомендации ASA включено [19]:
• финансирование некрупных разработок программного обеспечения, продуктов обработки данных и повторения предыдущих исследований;
• расширение поддержки методического обучения, в котором уделяется особое внимание навыкам управления данными;
• добавление планов по управлению кодами к существующим планам управления данными
(DMPs) и просьба к экспертам грантов четко оценивать DMPs;
• создание обязательных для студентов классов, где можно воспроизвести исследования и использовать для них вычислительную технику;
• повышение шансов на получение грантов при наличии хорошей и надежной исследовательской практики;
• предоставление более развернутых руководств и включение большего числа статистиков в состав комитетов по рассмотрению грантов, а также разработка стандартной терминологии, относящейся к воспроизводимости научных исследований; национальные научные фонды также приступили к решению проблемы воспроизводимости научных исследований.
Национальный институт здравоохранения (NIH) в 2014 г. провел совместный семинар с издательской группой Nature, журналом Science и редакторами 30 журналов, в которых чаще всего публиковались исследования, финансируемые NIH [20]. Пять итоговых рекомендаций, содержащихся в Принципах и Руководствах по отчетности по доклиническим исследованиям, требуют тщательного статистического анализа, прозрачности по используемым методам, обмена данными и материалами,
ш I-О х с ш
X
ш ш
CL
CG
Таблица 2
Руководство TOP [11]
Table 2
TOP Guidelines [11]
Цитирование. Надлежащие ссылки на данные, код и материалы и признание этих продуктов в качестве законного интеллектуального вклада в науку. (Стандарт 1)
Прозрачность данных, прозрачность аналитических методов (кода), прозрачность исследовательских материалов. Эти три различных стандарта показывают, в какой степени данные, код и исследовательские материалы предоставляются другим исследователям для обеспечения воспроизводимости и повторения. (Стандарты 2-4)
Прозрачность методологии и анализа. Этот стандарт призывает авторов следовать четким рекомендациям по раскрытию ключевых аспектов методологии исследования и анализа исследований. Например, Руководство PRISMA приводит четкие стандарты для отчета по исследованию в рамках подготовки систематического обзора, а Руководство ARRIVE - принципы аналогичных стандартов для отчетов исследования животных. (Стандарт 5)
Предварительная регистрация исследований, предварительная регистрация планов анализа. Предварительная регистрация исследований предполагает публичное объявление об исследовании, которое вы собираетесь провести, и, следовательно, так легче найти исследование, результаты которого не были опубликованы (устраняя таким образом предвзятость публикации). Предварительная регистрация планов анализа - это следующий шаг, который включает детали запланированного анализа и предотвращает проблемы, например хакинга (взлома), а также удостоверяет различие между подтверждающим и научным исследованием. (Стандарты 6, 7)
Повторение (тиражирование, репликация). Этот стандарт относится к готовности журнала перепечатывать ранее опубликованные исследования. (Стандарт 8)
от ш
ос С ос m
О
о -j
ос О
ш X
36
рассмотрения опровержений, формирования лучших практик по прозрачности материалов и обмену ими [20]. Наиболее действенная рекомендация с точки зрения существующих библиотечных услуг и экспертиз касается обмена данными и кодами и использования машиночитаемых форматов в дополнительной информации [20].
В 2014 г. Управление по управлению и бюджету (OMB) NFS выпустило «Рамочную программу для текущей и будущей деятельности Национального научного фонда по повышению воспроизводимости, повторяемости и надежности финансируемых исследований» [21]. Хотя этот рамочный документ и не является официальным сводом руководств, в нем рассматривается «значительный объем деятельности, осуществляемой и ожидаемой в NSF в ключевых областях, связанных с обеспечением воспроизводимости, повторяемости и надежности финансируемых исследований» [21, p. 1]. Авторы этого Руководства особо отмечают важность обмена данными и кураторства, включая «методы, протоколы, исходные данные, сокращения данных и протоколы анализа по мере необходимости» [21, p. 2]. Они также призывают к повышению транспарентности; обеспечению использования надежных моделей, инструментария и интерпретаций; к более широкому опубликованию негативных результатов.
В следующем году [2015]4 директорат NSF по социальным, поведенческим и экономическим наукам выпустил свои девять рекомендаций [12]. В одних содержался призыв к использованию более надежных методологий и стандартов по отчетности, с тем чтобы доклады о финансируемых исследованиях содержали достаточно деталей с целью «позволить независимому исследователю воспроизвести результаты первого исследователя» [12, p. 5]. Другие включали рекомендации по финансированию экспертирования повторных исследований, по документированию сомнительных и неоптимальных исследовательских практик и по формированию комитета для мониторинга этих вопросов. Рекомендации также содержали предложения по изменению процесса предоставления грантов.
Существуют и другие руководства, которые могут быть использованы библиотеками, особенно специалистами по связи с пользователями (liason librarian) и специалистами, выполняющими различные библиотечные функции и работающими с исследователями по конкретной дисциплине. Как было ранее указано авторами, два примера включают Рекомендации Федерации американских обществ экспериментальной биологии, а также Неврологического общества - «Исследовательские
Примечание переводчика.
4
Таблица 3
Общие черты основных руководств по воспроизводимости научных исследований
Table 3
Commonalities Between Major Reproducibility Guidelines
Продвижение прозрачности и открытости (TOP) Американская статистическая ассоциация (ASA) Национальный научный фонд (NSF) Национальный институт здравоохранения (NIH)
Прозрачность данных (обмен) Да Да (+ оценка DMPs спонсорами) Да Да
Прозрачность программного обеспечения (обмен) Да Да Да Да
Прозрачность материалов (обмен) Да Да
Прозрачность методов Да Да Да
Предварительная регистрация Да (исследования + анализ планов)
Поддержка повторения исследований Да Да (непосредственно Фонд) Да (+ публикация отрицательных результатов) Да
Лучшие практики по методологии и анализу Вычислительные методы / анализ сценариев
ш i— О x с ш s ш ш
CL
CG
практики точности в науке: ресурс для обсуждения, обучения и практики», которые предлагают дискуссионные точки зрения и рекомендации по методологическим вопросам, анализу данных и прозрачности [22, 23]. В настоящее время авторы работают над ресурсом, облегчающим поиск и использование руководств в разных дисциплинах.
Библиотеки университетов и воспроизводимость исследований
Многие рекомендации, содержащиеся в руководствах по воспроизводимости, изложенные в предыдущем разделе, находятся в русле основных направлений библиотечной деятельности, характерной для университетов. В этом разделе содержатся конкретные рекомендации по услугам и компетенциям (которые должны иметь библиотекари для их выполнения), которые согласуются с этими руководствами. В большинстве случаев эти услуги уже предоставляются библиотеками университетов; причем их развитие для поддержки воспроизводимости исследований требует, чтобы
библиотеки вдумчиво определяли рамки услуг и формулировали услуги для поддержки воспроизводимых исследований.
В «Манифесте воспроизводимой науки» М. Мипа£о и его коллеги предлагают ряд мер по улучшению воспроизводимости исследований [24]. Эти меры распределены по пяти темам: методы, отчетность и распространение, воспроизводимость, оценка и стимулы [24]. Эти темы закрепляют тренды, наблюдаемые в руководствах по воспроизводимости исследований, и обобщают основные области, которые необходимо рассмотреть при поддержке воспроизводимых исследований; а также служат основой для организации услуг, с помощью которых библиотеки университетов могут поддерживать воспроизводимые исследования. Эти меры кратко изложены в таблице 4, и каждая из них более подробно рассматривается в последующих разделах. В каждом разделе описываются потенциальные услуги университетской библиотеки, которые могут повлиять на воспроизводимость исследований, а затем приводятся примеры библиотек, где это уже делается.
Таблица 4
Библиотечные услуги, способствующие воспроизводимости научных исследований
Table 4
Library Services Contributing to Reproducibility
от ш
DC <
DC
m
О
Q _l
DC О
Ш X
Тема Услуги («вмешательство» (intervention)) Тип поддержки
Методы Поддержка методологий исследований, основанных на обработке больших объемов данных; автоматизация обработки и анализа данных Поддержка методологий вычислительных исследований и исследований, основанных на обработке больших объемов данных, библиометрия и ГИС. Поддержка исследователей при построении конвейеров данных для обработки и анализа в стандартных вычислительных инструментах, таких как R и Python
Поддержка при подготовке систематических обзоров Поддержка при подготовке систематических обзоров и распространение методологии систематического обзора на новые области. Обеспечение поддержки при подготовке систематических обзоров в рамках всего научного процесса
Связь с подразделениями по методологической и статистической поддержке Подключение исследователей к статистической и методологической экспертизе
Отчетность и распространение Поиск и использование руководств Помощь исследователям в поиске и использовании руководств и списков контрольных вопросов (например, PRISMA и др.) для совершенствования методов отчетности
Предоставление репозиториев для предварительной регистрации Предоставление институциональных репозито-риев, способных поддерживать предварительную регистрацию исследований
Помощь исследователям в понимании необходимости и поиске репозиториев для предварительной регистрации Помощь исследователям в поиске подходящих репозиториев для предварительной регистрации и помощь новым исследователям в понимании важности предварительной регистрации
Издатель журналов открытого доступа Предоставление издательской платформы для журналов открытого доступа
Поощрение повторения исследования Поощрение повторения посредством поддержки, составления программы (например, постерная сессия повторных исследований с участием аспирантов) и опубликование в институциональном репозитории открытого доступа
Воспроизводимость (поощрение прозрачности и открытой науки) Курирование данных Курирование исследовательских данных перед их размещением в репозитории
Активное управление исследовательскими данными Помощь исследователям в управлении их исследовательскими данными до и во время исследований, работа с офисами обеспечения качества (working with quality assurance offices), обучение новых сотрудников лаборатории
Обмен данными / кодами / методами Помощь исследователям при поиске подходящих репозиториев для обмена данными, ведение институциональных репозиториев данных и помощь в определении стандартов по оформлению ссылок и обмена данными
Окончание таблицы 4
Тема Услуги («вмешательство» (intervention)) Тип поддержки
Оценка (диверсификация экспертной оценки) Обучение исследователей Ознакомление исследователей с новыми формами рецензирования и опубликования
Поддержка препринтов Помощь исследователям в поиске подходящих мест для размещения препринтов, понимании руководств журналов (например, Sherpa Romeo) в отношении авторских прав и ведение переговоров с журналами
Стимулы (поощрение открытых и воспроизводимых практик) Стандарты библиографического описания Помощь в библиографическом описании по стандартам цитирования данных, кода, исследовательских материалов и т. д.
Образование Обучение и знакомство преподавателей, исследователей и студентов с различными показателями на основе цитирования, затратами и выгодами от каждого, а также долговечностью идентификации ученого (например, ORCID)
Поставщик данных (сведений) о цитировании для комиссий по срокам пребывания в должности и продвижению (T&P) Предоставление сведений о цитировании данных, кода, программного обеспечения и других материалов для комиссий по срокам пребывания в должности и продвижению и пропаганда изменений в научных стимулах
Методы
Тема «Методы» включает меры, которые могут быть реализованы на этапе разработки методологии исследования. Например, М. Мипа£о с соавт. включают меры, направленные на защиту от когнитивных предубеждений и совершенствование независимой методологической поддержки исследований [24].
В то время как большинство библиотек не может систематически поддерживать меры, направленные на улучшение методологии исследований и статистического анализа, университетские библиотеки играют роль связующего звена с другими экспертами, которые могут непосредственно помочь в этих областях, например с помощью консультаций по статистике, и оказать услуги по исследовательским вычислениям. Библиотеки университетов, как правило, играют общеорганизационные роли, которые могут быть использованы для построения отношений и организации контактов исследователей с теми, кто может оказать поддержку. Особенно в крупных учреждениях библиотеки гораздо чаще знают об этих услугах, чем студенты или преподаватели.
Кроме того, с ростом исследований, основанных на обработке больших объемов данных, и вычислительных исследований студенты и исследователи нуждаются в усиленной подготовке и поддержке знаний по управлению данными и рабочими процессами. Библиотекари, обслуживающие специ-
алистов в области цифровых гуманитарных наук, работающие с библиометрией и географическими информационными системами (ГИС), уже давно поддерживают ресурсоемкие и вычислительные методологии исследования. Библиотеки университетов были вовлечены в различные цифровые проекты по грантам [25]. Одним из примеров является проект Mapping Prejudice (проект по определению ущерба), который основан на сотрудничестве между Университетом Миннесоты и Аугсбургским университетом [26]. В этом проекте сотрудники Борхертской картографической библиотеки работали в группе, занимающейся составлением базы данных и сопровождающей визуализацию расовых заветов в Миннеаполисе [27].
Это необходимо распространить на другие дисциплины, поддерживая вычислительные инструменты, такие как R, Python и Git. Эти инструменты могут повысить воспроизводимость исследований за счет автоматизации обработки и анализа данных, тем самым увеличивая согласованность и позволяя проводить н аудит и обмениваться базовым кодом. Совре- х менная методология исследования порождает ш потребность обучения в области управле- ¡д ния данными и кодом, версиями и докумен- ш тацией. В Руководстве ASA особо отмечается, ^ что «большинство студентов и преподавателей m мало знают о том, как организовать свои данные и программное обеспечение, чтобы их анализ был воспроизводимым» [19]. 39
ОТ Ш
ОС С ОС CG
О О
-J
GC О
ш X
В публикации «Достаточно хорошие практики в области научных вычислений» G. Wilson с соавт. рекомендовали ряд мер по повышению воспроизводимости исследований, в том числе эффективные практики управления данными, обмен кодами, надлежащую документацию, открытое лицензирование, организацию проектов и управление версиями [28]. У G. Sandve и соавт. есть аналогичные рекомендации для воспроизводимых вычислительных исследований; подобные рекомендации существуют и для когнитивной нейробиологии [29]. Примером поддержки библиотекарями этих мер является двухдневный курс Shirley Zhao по воспроизводимости, который охватывал как инструменты, так и рабочие процессы [30]. Библиотекари могут также непосредственно поддерживать воспроизводимость некоторых методологий, таких как систематические обзоры. Как объясняют G. Gore и J. Jones, многие руководства по систематическим обзорам, включая обзоры, подготовленные на основе сотрудничества сообществ Кокрейн и Кэмпбелл, явно рекомендуют включать библиотекаря в состав исследовательской группы, так как привлечение библиотекарей повышает качество и воспроизводимость систематического обзора [31-33]. J. B. Koffel проанализировал опубликованные стратегии поиска для систематических обзоров и обнаружил, что «участие библиотекаря в исследовательской группе четко ассоциировалось с использованием многих рекомендуемых методов поиска и помогло улучшить качество обзора, что внесло вклад в воспроизводимость и надежность результатов метаанализа» [32]. J. B. Koffel и M. L. Rethlefsen обнаружили, что только 22% систематических обзоров, которые они проанализировали, обеспечили по крайней мере одну воспроизводимую стратегию поиска и только 13% обеспечили воспроизводимые стратегии для всех баз данных [34]. Было обнаружено, что участие библиотекаря в исследовательской группе в значительной степени гарантирует использование воспроизводимой стратегии.
Библиотекари поддерживают подготовку систематических обзоров в медицинских науках в течение многих лет, и эта методология становится все более распространенной в других дисциплинах (психология и образование). Высказывались также предложения о том, что систематические обзоры в качестве одного из способов непосредственного повышения воспроизводимости результатов исследований следует готовить для всего научного процесса [35]. В будущем необходимы исследования роли библиотекарей в поддержке систематических обзоров для разных наук; пока систематические обзоры делают библиотеки только Корнеллского университета и Университета Миннесоты [36, 37].
Отчетность и распространение
Тема отчетности и распространения касается мер, которые могут улучшить методику отчетности по методологии исследований. Примеры включают промоисследование и предварительную регистрацию планов анализа и повышения качества отчетности по методологии исследований [24]. Руководства по отчетности - это списки контрольных вопросов (пунктов), на которые необходимо ответить: как проводилось исследование и чем оно отличается от других, исходя из методологии исследования. Сеть EQUATOR (Enhancing the quality and transparency of health research - повышение качества и прозрачности исследований в области здравоохранения) - международная инициатива, осуществляемая центром медицинской статистики Оксфордского университета, содействует использованию руководств по отчетности для улучшения опубликованных исследований в области здравоохранения. По состоянию на апрель 2018 г. на веб-сайте EQUATOR содержалось 398 руководств по отчетности по методологии как по количественным, так и по качественным исследованиям [38]. Одна из мер, рекомендуемых многочисленными руководствами, - придерживаться списка контрольных вопросов для улучшения методов отчетности, с тем чтобы исследования могли быть полностью оценены и воспроизведены.
Библиотекари, обслуживающие исследователей в области медицины, в течение многих лет помогают им использовать контрольный список PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses - Предпочтительные пункты отчетности для систематических обзоров и метаанализов) при подготовке систематических обзоров. Библиотекари могут помочь в обучении исследователей использовать руководства, доступные для различных методологий [39]. Согласно EQUATOR, «библиотекари имеют отличные возможности для повышения своей осведомленности о важности полной, точной и прозрачной отчетности об исследованиях среди врачей и исследователей, с которыми они работают» [40]. В 2017 г. библиотечная сеть EQUATOR выдвинула две инициативы по поддержке воспроизводимости с помощью руководств [41].
Другой мерой, которая фигурирует в нескольких руководствах по воспроизводимости исследований, является предварительная регистрация планов исследований и анализа. Предварительная регистрация исследования включает публичную регистрацию намерения исследования и позволяет не создавать архив данных, который ранее был необходим для исследования, особенно с отрицательными результатами,
потому что они никогда и нигде не публикуются, что ведет к предвзятости. Хорошо известен правительственный сайт для предварительной регистрации исследования ClinicalTrials.gov, где исследователи регистрируют клинические испытания, включая результаты, которые они будут измерять, и публикуют итоговые результаты. Предварительная регистрация плана анализа включает точный анализ того, что будет выполнено, защищая таким образом будущее исследование от различных сомнительных исследовательских практик, таких как P-hacking, а также удостоверяя разницу между исследовательскими и подтверждающими исследованиями.
Библиотеки университетов могут несколькими способами внести свой вклад в предварительную регистрацию. Во-первых, они могут рассказать исследователям, особенно молодым, о ее преимуществах и инструментах, таких как тематические репозитории и инструменты документооборота (например, Open Science Framework (OSF)), что позволяет как управлять процессом исследования, так и предварительно регистрировать планы исследований и анализа на одной платформе [42]. Библиотекари могут также научить клиницистов и тех, кто использует результаты научных исследований, искать предварительные регистрации - как часть процесса критической оценки - при оценке научных исследований (например, во время работы журнальных клубов в рамках медицинского образования).
Наконец, библиотеки университетов все чаще предоставляют платформы для журналов открытого доступа, учебников и другого контента. Без требования публиковать новые и высокоэффективные исследования журналы, работающие на университетских библиотечных издательских платформах, могут свободно публиковать повторные и нулевые результаты. Поскольку библиотекари работают с университетскими журналами, они должны поощрять эти журналы принимать во внимание руководства по воспроизводимости (такие как TOP и другие стандарты по отчетности) и принимать статьи с результатами повторных исследований, когда это возможно. Таким образом, библиотечные издательские платформы могут способствовать развитию воспроизводимой и открытой науки.
Воспроизводимость исследований
Тема «Воспроизводимость исследований» относится к мерам, которые поддерживают возможность проверки, воспроизведения или потенциального повторения результатов исследований (например, путем обмена данными, кодом и материалами в открытых репо-зиториях). Университетские библиотеки тратили
много времени и ресурсов на развитие экспертиз и услуг по курированию и обмену данными, и это, пожалуй, одна из самых простых областей для непосредственной поддержки исследований научными библиотеками. Недавний опрос научных библиотек - членов Ассоциации показал, что почти две трети (51 из 80) респондентов предоставляют услуги по курированию данных, еще 13 сообщили, что указанные услуги были в разработке [43]. Внимание к потребностям кураторства также привело к значительному увеличению кадровых ресурсов: в общей сложности 293 сотрудника в 49 отчетных библиотеках участвуют в этой деятельности [43].
Библиотекари также участвовали в создании и поддержке инструментов для обмена кодами. Например, библиотекарь по воспроизводимо-сти5 из Нью-Йоркского университета V. Steeves занимается разработкой и поддержкой инструмента с открытым исходным кодом под названием ReproZip. Он предназначен для помощи пользователям в преодолении технических препятствий при воспроизведении вычислительных исследований путем создания контейнеров, которые собирают вместе программные зависимости, необходимые для выполнения кода [44]. Как утверждают V. Steeves и соавт., такие инструменты, как ReproZip, предоставляют возможность выйти за рамки услуг по управлению данными и позволяют оказывать «целостную поддержку по воспроизведению исследовательских практик» [44, р. 9].
Библиотеки университетов могут также поощрять обмен данными и кодами посредством образовательных инициатив, ведения институциональных репозиториев, поддержки хранящихся материалов исследователей и оказания им помощи при поиске соответствующих тематических репозиториев. Библиотекари также должны участвовать в разработке форматов цитирования и систем для новых областей, например: библиотеки Орегонского университета здравоохранения и науки сотрудничали в рамках Инициативы по идентификации ресурсов (Ш1), в которой был разработан стандарт цитирования и платформа для ключевых ресурсов, используемых в экспериментах [45]. Это позволяет исследователям ссылаться на конкретные реагенты и другие материалы, чтобы другие исследователи могли повторить работу.
Наконец, важной областью, в которую библиотекари могут внести свой вклад, является помощь исследователям в управлении их данными в ходе самого исследования, а не только во время планирования или хранения окончательных данных в репозиториях. Фактически
В оригинале - reproducibility librarian (примечание пере-
водчика).
^
Ш I— О s с ш s
LU
ш
CL
m
41
от ш
ОС <
ОС
m
О а
-J
ОС О
ш X
Центр стратегического планирования открытой науки имеет среди своих восьми целей следующую: «Библиотекари применяют опыт курирования и управления данными на протяжении всего жизненного цикла исследования, а не только ретроспективно» [46]. Этот тип активного управления данными исследований, который включает работу с данными в течение активной фазы жизненного цикла исследований, мог бы иметь значительные преимущества для воспроизводимости. Например, библиотекари Университета Миннесоты, в том числе один из авторов, разработали услугу, которая может быть оказана на лабораторных совещаниях: обучение управлению данными исследований в форме прагматических советов, которые могут быть немедленно применены к текущим исследовательским данным лаборатории [47].
Оценка исследований
Тема «Оценка» касается мер, которые могут повлиять на оценку исследований, таких как изменения в процессе рецензирования. M. Munafo и соавт. специально приводят рецензии на препринты и уже опубликованные статьи, чтобы показать потенциальные изменения, которые помогли повысить воспроизводимость исследований [24]. Библиотекари должны быть знакомы с такими инструментами, как SHERPA RoMEO, позволяющими ученым искать позиции журнала в открытом доступе, определять наличие препринтов, постпринтов и другие факторы, которые часто способствуют открытости исследований [48].
Возможно, наиболее эффективной мерой, которую могли бы предпринять библиотеки, является изменение в обучении молодых исследователей научным коммуникациям и рецензированию. Они должны рассказывать о принятых мерах и рекомендациях других организаций. Например, зарегистрированные отчеты - новая форма публикации, была принята 99 журналами по состоянию на апрель 2018 г. [49]. В зарегистрированном отчете рецензирование и его предварительное принятие происходят на основе гипотезы и методологии исследования еще до сбора данных. Это смещает рецензирование от оценки результатов и их новизны к их техническим деталям. R. Morey и соавт. рекомендовали рецензентам воздерживаться от рецензирования, если авторы не применяют открытую практику, отчасти для повышения воспроизводимости исследований [50]. Идя дальше, B. Nosek, R. Spies и M. Motyl рекомендовали полностью отказаться от рецензирования предварительной публикации, тем самым сделав публикацию тривиальной, а рецензирование - чисто оценочным процессом, вместо того,
чтобы рекомендовать или не рекомендовать статью к опубликованию [51]. Хотя решения о целесообразности адаптации этих мер должны будут приниматься самими учеными, библиотекари могут рассказать им о потенциальных последствиях каждой (меры) и обеспечить обучение и поддержку для тех, которые приняты.
Стимулы
Тема «Стимулы» содержит меры, которые могут повлиять на вознаграждение и давление, с которыми сталкиваются исследователи, и на тип исследований, которые они проводят, и на исследовательскую практику, которой они следуют. Francis Collins, директор NIH, назвал роль стимулов «самым неприятным вопросом» в решении проблемы кризиса воспроизводимости исследований [52]. Традиционно валютой науки были журнальные публикации, особенно публикации в высокорейтинговых журналах. Журналы, особенно традиционные, предпочитают публиковать новые исследования с положительными результатами, а не с отрицательными, или подтверждающие исследования; и учреждения вознаграждают ученых, которые публикуются в этих высокорейтинговых журналах, грантами, продвижением и сроком пребывания в должности [51]. Предвзятое отношение к исследованиям с негативными результатами и подтверждающим исследованиям в конечном итоге наносит ущерб воспроизводимости и строгости в науке. Как отмечает Johnson, «меньшее финансирование для проверки и воспроизведения результатов и, что более важно, меньший престиж при этом... снижают доверие и уверенность в системе в целом, позволяя принимать все больше и больше фальсифицированных экспериментов» [53].
Поэтому меры, которые могут изменить стимулы, влияющие на исследователей, позволят повысить точность и воспроизводимость исследований, стимулировать повторение предыдущих исследований. M. Munafo и соавт. рекомендуют изменения, которые поощряли бы открытую и воспроизводимую практику, включая использование бейджей для сертификации воспроизводимой и прозрачной практики, принятие зарегистрированных отчетов, финансирование повторных исследований и поощрение открытой научной практики при найме и продвижении по службе [24].
Чтобы решить проблему воспроизводимости исследований, библиотекари университетов должны быть осведомлены о стимулах в науке и о том, как они влияют на получение грантов, научный авторитет и возможности продвижения по службе. Существуют также способы, с помощью которых библиотеки университетов
могли бы положительно влиять на стимулы. Они (библиотеки университетов) выбирают, лицензируют и поддерживают многие из систем, которые предоставляют научные показатели, рассказывают об относительных затратах и преимуществах различных показателей для аспирантов и исследователей на семинарах и в руководствах, а также предоставляют эти данные сотрудникам комитетов по срокам пребывания в должности и продвижению. По мере того как меняется научная культура, а данные, код и альтернативные метрики становятся более приемлемыми, разрабатываются форматы ссылок для отслеживания использования этих продуктов, библиотеки университетов могут расширить сферу применения показателей.
Обсуждение / Заключение
Библиотеки университетов и библиотекари могут непосредственно влиять на воспроизводимость результатов исследований: от рекомендаций руководств по отчетности до соавторства в систематических обзорах и поддержки многих видов работ, связанных с научной публикацией, поддержки рекомендаций, содержащихся в руководствах по воспроизводимости, что согласуется со многими библиотечными услугами.
Воспроизводимость исследований также создает основу для многих новых библиотечных услуг, таких как курирование данных и обмен ими, поддержка и обучение вычислительным методам и исследованиям с использованием больших данных. Воспроизводимость становится ядром научного исследования, поэтому библиотеки университетов должны быть внимательны при определении своей роли и взаимодействия с экспертами по какой-либо тематике и другими экспертами по смежным дисциплинам, такими как статистики. Развитие широких знаний о проблемах, связанных с воспроизводимостью исследований в целом и дисциплинарными различиями в частности, будет предпосылкой для того, чтобы библиотеки взяли на себя ведущую роль, не рискуя позитивным влиянием на пользователей. Простого добавления «воспроизводимости» к существующим заданиям или услугам будет недостаточно.
Поддержка воспроизводимых исследований включает в себя широкие задачи для библиотекарей, отвечающих за связи с пользователями, функциональных специалистов и библиотекарей, предоставляющих услуги. Взять на себя ведущую роль в научном процессе можно будет в зависимости от того, как библиотеки смогут профессионально развиваться в отношении воспроизводимости исследований и того, как она
(воспроизводимость) отражается на университетской библиотечной практике. Образовательные курсы, в которых даются основные термины, демонстрируются дисциплинарные различия и выделяются существующие инструменты и ресурсы, должны читаться как для профессиональных организаций и учреждений. Знакомство с руководствами - это действительно хорошее начало изучения того, как и различные дисциплины, и спонсоры рассматривают воспроизводимость научных исследований. В некоторых случаях библиотекарям, возможно, потребуются специальные навыки, например, по использованию технологий документооборота, таких как Open Science Framework, и по работе с вычислительными инструментами, таким как R. Поиск данных для систематического обзора является аналогичным техническим опытом, который необходимо развивать не только в медицинских дисциплинах.
Подходы к воспроизводимости будут зависеть от потребностей дисциплины, и библиотекари, работающие с пользователями, могут захотеть установить приоритетность дисциплинарных последствий для определенных аспектов воспроизводимого исследования, для этого нужно различать, например, подтверждающее исследование от исходного научного исследования или непреднамеренные ошибки от научного проступка. Профили, изучающие нормы в различных дисциплинах, были бы полезным дополнением к научной литературе университетской библиотеки. Например, библиотекарь, который выступает в качестве специалиста по дисциплине образование или педагогическая психология, мог бы изучить специфическую для образования литературу по воспроизводимости и повторяемости по Makel, Plucker и др. [54, 55].
В статье авторы показывают, как библиотеки университетов могут поддерживать исследования, сравнивая текущие услуги и опыт с рекомендациями, содержащимися в руководствах организаций и обществ, финансирующих научные исследования. Авторы считают, что библиотеки университетов имеют значительный опыт и ими разработаны услуги для поддержки воспроизводимости исследований; они могут способствовать изменениям в деятельности науч- ^ ных учреждений. н
s
Выражение благодарности Es
LÛ
Авторы благодарят коллег Лизу Федерер, ш Мелиссу Ретлефсен и Джеффри Спайза за полез- ^ ные и проницательные отзывы о более ранней m версии статьи. ■
от ш
ОС
с
ОС CG
О О
-J
СИ О
ш X
Список источников
1. Nosek B. A. et al. Estimating the reproducibility of psychological science. Science, 2015, 349 (6251), 943.
2. Baggerly K. A., Coombes K. R. Deriving chemosensitivity from cell lines: forensic bioinformatics and reproducible research in high-throughput biology. Annals of Applied Statistics, 2009, 3 (4), 1309-1334.
3. Ioannidis J. P. A. Why Most published research findings are false. PLoS Medicine, 2005, 2 (8), e124, 696-701.
4. Gilmore R. O., Diaz M. T., Wyble B. A., Yarkoni T. Progress toward openness, transparency, and reproducibility in cognitive neuroscience. Annals of the New York Academy of Sciences, 2017, 1396 (1), 5-18.
5. Begley C. G., Ellis L. M. Drug development: raise standards for preclinical cancer research. Nature, 2012, 483 (7391), 531-533.
6. Gibb B. C. Reproducibility. Nature Chemistry, 2014, 6 (8), 653-654.
7. Benestad R. E., Nuccitelli D., Lewandowsky S., Hayhoe K., Hygen H. O., Van Dorland R., Cook J. Learning from mistakes in climate research. Theoretical and Applied Climatology, 2016, 126 (3/4), 699-703.
8. Maniadis Z., Tufano F., List J. A. To replicate or not to replicate? Exploring reproducibility in economics through the lens of a model and a pilot study. Economic Journal, 2017, 127 (605), F209-F235.
9. Herndon T., Ash M., Pollin P. Does high public debt consistently stifle economic growth? Critique of Reinhart and Rogoff. Working Paper Series of Political Economy Research Institute, 2013, 322, 1-25.
10. Makel M. C., Plucker J. A. Facts are more important than novelty: replication in the education sciences. Educational Researcher, 2014, 43 (6), 304-316.
11. Sayre F., Riegelman A. The reproducibility crisis and academic libraries. College & Research Libraries, 2018, 79 (1), 1-9.
12. Bollen K., Cacioppo J. T., Kaplan R. M., Krosnick J. A., Olds J. L. Social, behavioral, and economic sciences perspectives on robust and reliable science. Report of the Subcommittee on Replicability in Science Advisory Committee to the National Science Foundation Directorate for Social, Behavioral, and Economic Sciences. 2015. 29 p. URL: https://www.nsf.gov/sbe/AC_Materials/SBE_Robust_ and_Reliable_Research_Report.pdf (accessed 23.01.2019).
13. Leek J. T., Jager Leah R. Is most published research really false? Annual Review of Statistics and Its Application, 2017, 4, 109-122.
14. Stodden V., Bailey D. H., Borwein J., LeVeque R. J., Rider W., Stein W. (comps.) Setting the default to reproducible reproducibility in computational and experimental mathematics. 2014. URL: http://stodden.net/ icerm_report.pdf (accessed 23.01.2019).
15. Nosek B. A. et al. Promoting an open research culture. Science, 2015, 348 (6242), 1422-1425.
16. Center for Open Science announces Elsevier as new signatory to TOP guidelines. URL: https://cos.io/ about/news/centre-open-science-announces-elsevier-new-signatory-top-guidelines/ (accessed 30.09.2017).
17. TOP Guidelines. URL: https://cos.io/our-services/ top-guidelines/ (accessed 09.04.2018).
18. Guidelines for Transparency and Openness Promotion (TOP) in journal policies and practices. The TOP Guidelines. URL: https://www.fosteropenscience. eu/content/guidelines-transparency-and-openness-promotion-top-journal-policies-and-practices-top (accessed 09.04.2018).
19. Broman K., Cetinkaya-Rundel M., Nussbaum A., Paciorek Ch., Peng R., Turek D., Wickham H. Recommendations to funding agencies for supporting reproducible research. American Statistical Association. 2017, 1-4. URL: https://www.amstat.org/asa/ files/pdfs/POL-ReproducibleResearchRecommendations. pdf (accessed 09.04.2018).
20. Principles and guidelines for reporting preclinical research. National Institute of Health. 2014. URL: https://www.nih.gov/research-training/rigor-reproducibility/principles-guidelines-reporting-preclinical-research (accessed 09.04.2018).
21. A Framework for ongoing and future national science foundation activities to improve reproducibility, replicability, and robustness in funded research. 2014. URL: https://www.nsf.gov/attachments/134722/public/ Reproducibility_NSFPlanforOMB_Dec31_2014.pdf (accessed 25.05.2017).
22. Enhancing research reproducibility. Recommendations from the Federation of American Societies for Experimental Biology. 2016. 12 p. URL: http://www. faseb.org/Portals/2/PDFs/opa/2016/FASEB_Enhancing Research Reproducibility.pdf (accessed 11.01.2019).
23. Research practices for scientific rigor: a resource for discussion, training, and practice. Society for Neuroscience.
2015. URL: https://www.sfn.org/Advocacy/Policy-Positions/ResearchPractices-for-Scientific-Rigor (accessed 11.01.2019).
24. Munafo M. R., Nosek B. A., Bishop D. V. M., Button K. S., Chambers Ch. D., Du Sert N. P., Simonsohn U., Wagenmakers E.-J., Ware J. J., Ioannidis J. P. A. Manifesto for reproducible science. Nature Human Behaviour, 2017, 1, 0021, 1-9.
25. Mulligan R. Supporting digital scholarship. SPEC Kit 350. Washington, Association of Research Libraries,
2016. 205 p. DOI: 10.29242/spec.350.
26. About us. Mapping Prejudice. 2016. URL: https://www.mappingprejudice.org/about-us/ (accessed 31.10.2017).
27. Delegard K., Ehrman-Solberg K. Playground of the people? Mapping racial covenants in twentieth-century Minneapolis. Open Rivers: Rethinking the Mississippi, 2017, 6, 72-79.
28. Wilson G., Bryan J., Cranston C., Kitzes J., Nederbragt L., Tea T. K. Good enough practices in scientific computing. PLoS Computational Biology, 2017, 113 (6), e1005510, 1-20.
29. Sandve G. K., Nekrutenko A., Taylor J., Hovig E. Ten Simple rules for reproducible computational research. PLoS Computational Biology, 2013, 9 (10), e1003285, 1-4.
30. Zhao Sh. Principles and practices for reproducible science. Decart Summer School. Data science for healthcare. 2017. URL: https://github.com/ shirl0207/reproducible_ science (accessed 06.10.2017).
31. Gore G. C., Jones J. Systematic reviews and librarians: a primer for managers. Partnership: the Canadian Journal of Library and Information Practice and Research, 2015, 10 (1), 1-16.
32. Koffel J. B. Use of Recommended search strategies in systematic reviews and the impact of librarian involvement: a cross-sectional survey of recent authors. PLoS ONE, 2015, 10 (5), e0125931, 1-13.
33. Rethlefsen M. L., Farrell A. M., Osterhaus Trzasko L. C., Brigham T. J. Librarian co-authors correlated with higher quality reported search strategies in general internal medicine systematic reviews. Journal of Clinical Epidemiology, 2015, 68 (6), 617-626.
34. Koffel J. B., Rethlefsen M. L. Reproducibility of search strategies is poor in systematic reviews published in high-impact pediatrics, cardiology and surgery journals: a cross-sectional study. PLoS ONE, 2016, 11 (9), e0163309, 1-16.
35. Thayer K. A., Wolfe M. S., Rooney A. A., Boyles A. L., Bucher J. R., Birnbaum L. S. Intersection of systematic review methodology with the NIH reproducibility initiative. Environmental Health Perspectives,
2014, 122 (7), A176-A177.
36. Cornell University Library systematic review service. URL: https://www.library.cornell.edu/services/ systematic-review (accessed 23.01.2019).
37. Systematic review service. URL: https://www.lib. umn.edu/researchsupport/systematic-review-service (accessed 23.01.2019).
38. Equator Network. URL: www.equator-network.org/ (accessed 12.04.2018).
39. PRISMA: transparent reporting of systematic reviews and meta-analyses. URL: www. prisma-statement. org/ (accessed 09.04.2018).
40. Kirtley Sh. Impactful librarians: identifying opportunities to increase your impact. Journal of EAHIL,
2015, 11 (4), 23-28.
41. Librarian action plan. URL: www.equator-network. org/wp-content/uploads/2013/06/Librarian-Action-Plan-Simple-Ideas.pdf (accessed 18.12.2017).
42. Spies J. R. The open science framework: improving science by making it open and accessible: dissertation. Charlottesville, 2013. 86 p. DOI: 10.31237/osf.io/t23za.
Сведения об авторах:
Сэйр Франклин, библиотекарь по связи с пользователями (liaison librarian), Университет Миннесоты, Твин Ситиз, США; e-mail: franklin.sayre@gmail.com,
Ригельман Эми, библиотекарь по социальным наукам, Университет Миннесоты, Твин Ситиз, США; e-mail: aspringe@umn.edu
43. Hudson-Vitale C., Imker H., Johnston L. R., Carlson J., Kozlowski W., Olendorf R., Stewart C. Data Curation. SPEC Kit 354. Washington, Association of Research Libraries, 2017. 135 p. DOI: 10.29242/spec.354.
44. Steeves V., Chirigati F., Rampin R. Using ReproZip for reproducibility and library services. OSF home. 2018. URL: https://osf.io/8z73c/ (accessed 11.01.2019).
45. Bandrowski A., Brush M., Grethe J. S., Haendel M. A., Kennedy D. N., Hill S., Hof P. R., Martone M. E., Pols M., Tan S. C., Washington N., Zudilova-Seinstra E., Vasilevsky N. The resource identification initiative: a cultural shift in publishing. F1000Research, 2015, 4, 134, 1-18.
46. Nosek B. A. Center for Open Science. Strategic plan 2017-2020. 2018. 25 p. URL: https://osf.io/x2w9h/ (accessed 18.12.2017).
47. Bakker C. J. Data management in the lab. The Medical Library Association guide to data management for librarians. Lanham, 2016, 203-214.
48. Sherpa/Romeo. URL: www.sherpa.ac.uk/romeo/ index.php (accessed 18.12.2017).
49. Registered reports. Center for Open Science. URL: https://cos.io/rr/ (accessed 09.04.2018).
50. Morey R. D., Chambers C. D., Etchells P. J., Harris C. R., Hoekstra R., Lakens D., Lewandowsky S., Morey C. C., Newman D. P., Schönbrodt F. D., Vanpaemel W., Wagenmakers E.-J., Zwaan R. A. The peer reviewers' openness initiative: incentivizing open research practices through peer review. Royal Society Open Science, 2016, 3, 150547, 1-7.
51. Nosek B. A., Spies J. R., Motyl M. Scientific utopia. 2. Restructuring incentives and practices to promote truth over publishability. Perspectives on Psychological Science, 2012, 7 (6), 615-631.
52. Collins F. S., Tabak L. A. NIH plans to enhance reproducibility. Nature, 2014, 505 (7485), 612-613.
53. Johnson R. P. Consume, reproduce, extend and connect: sustaining our research lifecycle. Bulletin of the Association for Information Science and Technology, 2017, 43, 24-29.
54. Makel M. C., Plucker J. A. An Introduction to replication research in gifted education. Gifted Child Quarterly, 2015, 59 (3), 157-164.
55. Travers J. C., Cook B. G., Therrien W. J., Coyne M. D. Replication of special education research. Remedial and Special Education, 2016, 37 (4), 195-204.
Information about the authors:
Sayre Franklin, a liaison librarian at the University of Minnesota, Twin Cities, USA; e-mail: franklin.sayre@gmail.com,
Riegelman Amy, a social sciences librarian at the University of Minnesota, Twin Cities, USA; e-mail: aspringe@umn.edu
ш I— О s с
LU S LU Ш CL
m
