CC BY
14
чить или устранить границы (разделяя общий язык, методы, объекты или исследовательские проблемы); логика домена пытается сохранить различие, одновременно налаживая связи поверх границ.
3. Наконец, примечательная черта доменов в том, что они носят голографический или фрактальный характер: их свойства обнаруживаются везде, даже внутри них самих и в любом масштабе.
Социальные ученые помогали в решении задач, которые стояли перед двумя другими категориями ученых, занимавшихся созданием КИ, - доменных ученых и компьютерных ученых. В этой триаде специалисты по компьютерным технологиям были разработчиками новых ресурсов; «доменные ученые» - теми, кто будет пользоваться этими ресурсами, а социальные ученые - теми, для кого этот социотехнологический процесс служит предметом изучения, а иногда и объектом обслуживания. Одна из ключевых исследовательских задач, утверждает автор, состоит в изучении и описании доменов.
Помимо прямого участия специалистов STS в проектах, связанных с развитием науки о данных, например в проведении опросов или «полевых» исследований или заимствовании концептов и методологии STS, их роль также важна при составлении программ обучения и учете так называемого человеческого фактора. «Изучение пользователей и взаимодействие с ними, людей, контекстов или социотехнологических систем доказало, что они поддаются методам и исследованию социальной науки, хотя и бросают ей серьезные вызовы».
Т. В. Виноградова
2019.01.016. ХОРБАХ СП., ХАФФМАН У. МЕНЯЮЩИЕСЯ ФОРМЫ И ОЖИДАНИЯ ОТ ОЦЕНКИ РАВНЫХ. HORBACH S.P., HAFFMAN W. The changing forms and expectations of peer review // Research integrity and peer review. - 2018. - In press. -Mode of access: https://doi.org/10.1186/s41073-018-0051-5
Ключевые слова: добросовестность в науке; нарушения норм научной практики; оценка равных; инновация; научные публикации.
Авторы, сотрудники Университета Неймегена (Нидерланды), обращаются к роли рецензирования научных публикаций в
решении проблемы добросовестности ученых. Перед собой они поставили три цели: 1) описать разнообразие, существующее в настоящий момент в практике рецензирования и в предлагаемых новациях; 2) выделить общие паттерны, прослеживаемые в этом разнообразии; 3) проанализировать ожидания, которые они порождают.
Часто появление механизма «оценки равных» датируют XVII в., а именно основанием лордом Генри Олденбургом первого академического журнала «Философские труды Королевского общества», редактором которого он стал. Однако все больше историков науки опровергают это утверждение. Они доказывают, что многие журналы ввели механизм «оценки равных» в смысле рецензирования рукописей коллегами для решения вопроса о возможности их опубликования лишь после Второй мировой войны. Ранее это решение обычно принималось единолично редактором или небольшим редакторским комитетом. На самом деле термин «оценка равных» появился в научной прессе в 1960-е годы и даже тогда вначале чаще использовался для описания процесса рецензирования заявок на гранты, чем журнальных статей.
Практика оценки или комментирования рукописей возникла в научных обществах в начале и середине XIX в. Рецензии писались другими членами общества, в задачи которых не входило выполнение функции «привратника». В конце XIX в. «British medical journal» (BMJ) стал пионером в новой практике использования рецензентов для оценки представленных рукописей. Это было связано с ростом науки и изменением ее положения в обществе. Внешнее рецензирование как механизм обеспечения научной легитимности возник в США и Великобритании, а затем уже в остальной Европе.
После того как эта система получила широкое распространение в 1960-1970-е годы, стали предлагаться различные ее варианты. Первое крупное изменение касалось уровня анонимности. Первоначально, как правило, имя автора было известно редактору и рецензентам, тогда как авторы знали лишь фамилию главного редактора. Уже в 1950-е годы в социологических журналах был поставлен вопрос о двойном слепом рецензировании: и автор, и рецензент не знают фамилий друг друга. Первым такую практику двойного слепого рецензирования ввел «American sociological review».
Одинарное и двойное слепое типы рецензирования до сих пор остаются наиболее распространенными формами оценки статей (первый формат характерен для биологических и естественных наук, а второй - для социальных и гуманитарных). Кроме этого был предложен формат тройного слепого рецензирования, когда имя автора и место его работы не известны не только рецензентам, но и редакторам. Но сейчас им пользуется лишь небольшое количество журналов. Этот вариант, полагают авторы, возник как реакция на требование равного отношения к меньшинствам в науке.
Вопрос о субъективности рецензентов привел не только к появлению двойного слепого рецензирования, но и к его противоположности - системе «открытого рецензирования». Сегодня термин «открытое рецензирование» используется для разных моделей «оценки равных»: имена и место работы авторов и рецензентов известны публике; сами рецензии находятся в открытом доступе; рецензентам и / или авторам разрешено контактировать друг с другом.
«Открытое рецензирование» появилось в конце 1990-х годов, когда BMJ принял решение публиковать имена рецензентов вместе с текстом. Эта практика получила распространение преимущественно в биомедицинской науке, с тем чтобы сделать науку более транспарентной. Оппоненты же утверждают, что такая система угрожает качеству отзывов. Это особенно касается младших ученых, которые, давая отрицательный отзыв, могут ожидать санкций.
Помимо этого издатели и журналы стали прибегать к постпубликационному рецензированию. Первым журналом, который использовал этот формат, стал «Electronic transactions in artificial intelligence». Целью этого нововведения было увеличить скорость распространения новой информации. В последние несколько лет ряд журналов перешли к подобной практике. В итоге был создан ряд независимых платформ, таких как PubPeer, где можно разместить отзыв на любую статью независимо от того, какого типа рецензирование она прошла прежде.
Начиная с 1990-х годов успехи новых технологий открыли дополнительные возможности для изменений в системе «оценки равных». Эти новые возможности включают: распространение и рецензирование препринтов; возможность издавать практически
неограниченное количество статей; автоматические способы проверки текстов; возросшие возможности для коммуникаций во время процесса рецензирования.
Изменились и ожидания в отношении механизма оценки равных: от отбора и оценки важности к фильтрации, или определения, какие материалы из их огромного потока представляют интерес для определенных ученых.
Регистрирующие отчеты (registered reports). Впервые эта форма была использована журналом «Cortex» в 2013 г., но до сих пор ее применение ограничивается в основном медицинскими областями и психологией. Рукописи оцениваются в два этапа. Первый и наиболее важный этап происходит после того, как исследование задумано, но результаты еще не собраны. На этой стадии оцениваются лишь основания для проведения исследования, поставленные задачи и методология исследования. Опираясь на этот критерий, исследование либо принимается, либо отвергается до того, как получены результаты. Итоговая рукопись оценивается исходя уже из последовательности и адекватности выводов полученным данным. Главный мотив введения подобной системы состоит в преодолении практики, когда к публикации принимаются лишь положительные и оригинальные результаты исследований.
Изменение критериев «оценки равных». Интернет и создание больших баз данных позволили журналам печатать практически неограниченное количество статей. Самый примечательный пример - это журнал открытого доступа PLoS ONE, появившийся в 2006 г. Рецензентов просят выносить свои рекомендации исключительно на основании надежности и валидности исследования. Они не должны судить о новизне, релевантности или важности исследования, что должно остаться читателям и более широкому сообществу.
В 2013 г. PLoS ONE опубликовал более 30 тыс. статей, превратившись в один из самых крупных журналов в мире. Впоследствии другие журналы и издатели, такие как BMJ Open и SAGE Open, приняли ту же модель. Но этот формат имеет и свои сложности, одна из которых состоит в поиске квалифицированных рецензентов. Например, в 2014 г. PLoS ONE использовал более 70 тыс. рецензентов, чтобы переработать все рукописи, и среднее время рецензирования резко увеличилось.
Внедрение программных средств в процесс рецензирования. В дополнение к препринтам и практически неограниченному числу публикаций, успехи Интернета и новых цифровых технологий также предлагают новые возможности при оценке статей. Сейчас множество журналов пользуются теми или иными программами для выявления плагиата, из которых наиболее популярна система Cross Check. Появились программы, способные проводить автоматический анализ корректности статистики, приведенной в рукописи. Кроме этого, есть программы, которые позволяют выявить манипуляции с фотографиями и прочими изображениями. Однако, как отмечают авторы, два последних средства используются не так часто и в основном в медицинских науках, физике и психологии.
В последние десятилетия в сфере рецензирования появились новые акторы. Начиная с 1960-х годов некоторые журналы стали пользоваться услугами специалистов по статистике, чтобы оценить надежность и качество методологии и статистики в предлагаемых рукописях, вновь в основном в медицине и психологии. Но несмотря на многочисленные примеры широкого распространения статистических и методологических ошибок в (медицинских) исследованиях, использование специалистов по статистике растет медленно. Одним из последствий стало создание проекта SMARTA, который объединяет членов международных статистических обществ для оценки использования статистики в биомедицинской литературе.
Коммерческие платформы рецензирования. Рецензирование отделяется от журнала, в котором статья публикуется. Возникло несколько форматов, одним из наиболее распространенных стало рецензирование статей до публикации независимой третьей партией. Такие платформы как Peerage of science, RUBRIQ и Axios review, предлагают средства и услуги по рецензированию и направлению предложенной рукописи в журнал вместе с рецензией.
В этом случае рецензирование осуществляется быстрее и более эффективно, в том числе благодаря сокращению вероятности того, что рукопись будет неоднократно рецензироваться по мере поступления в разные журналы. Одна из коммерческих организаций такого типа Research Square особенно сосредоточена на обеспечении научной добросовестности с помощью программных средств. Помимо систем, обеспечивающих предпубликационное
рецензирование, возникли другие независимые платформы, такие как PubPeer, где читатель может разместить свой комментарий по поводу любой статьи.
Кооперация в рецензировании. Другой способ ослабления груза, лежащего на оценке равных, это концепция «каскадной оценки равных». Эта модель стала обычной практикой в BMJ журналах в 2010 г., но широкого распространения не получила. Цель работы этой системы - избежать окончательного отказа в публикации рукописи, которая не была принята в журнал первого ряда, но заслуживает публикации в менее престижном журнале, куда и перенаправляется.
Новая открытость: обсуждение в ходе рецензирования. Наконец, изобретение цифровых технологий проложило путь для новых уровней открытости в процессе рецензирования. Некоторые журналы, прежде всего журналы EMBO (European molecular biology organization), elife журналы (рецензированные научные журналы открытого доступа в области биомедицины и наук о жизни) попытались усовершенствовать принятие решений редакторами, позволяя рецензентам и редакторам обмениваться или обсуждать свои отзывы и мнения по поводу рукописи, прежде чем огласить свое решение автору.
Frontiers журналы (рецензированные научные журналы открытого доступа в основном в области естественных наук, технологий и медицины), появившиеся в 2013 г., позже создали более радикальный вариант этой модели оценки равных, названной «коллаборативной оценкой равных». Такие форумы служат в качестве интерактивной стадии в процессе рецензирования, в ходе которой авторы и рецензенты обсуждают статью онлайн до тех пор, пока не достигнут согласия о наиболее эффективном способе повысить ее качество.
Для чего существует система публикаций? Большая вариативность современных форм отражает существенную вариативность в том, что ждут от «оценки равных». Некоторые из этих ожиданий прямо связаны с разнообразными целями научных публикаций. Главная цель научных журналов состояла в решении вопроса о приоритете как социальном девайсе для установления и поддержки интеллектуального признания. Использование журна-
лов для публикации нового знания - это относительно недавний феномен (с. 9).
Помимо решения вопроса о собственности, издание научных работ призвано: 1) ускорить обмен знаниями и идеями среди ученых, работающих в одной узкой области; 2) сформировать постоянно пополняемый архив научных знаний; 3) обеспечить иерархию опубликованных результатов, основанных на определяемом коллегами превосходстве. «В своем идеале журналы не только передают информацию; они ее фильтруют, оценивают, хранят и унифицируют».
Отвечая на эти ожидания, «оценка равных» выполняет следующие функции: 1) служит инструментом обеспечения доверия в науке, оценивая надежность представляемых результатов; 2) обеспечивает иерархию опубликованных результатов, создавая континуум от журналов топового уровня до самых посредственных; 3) обеспечивает равные и справедливые возможности для всех; представленные рукописи должны оцениваться только исходя из их содержания, без учета научного имени, гендера, аффилиаций и пр.; 4) система «оценки равных» не только пытается бороться со случаями фальсификаций в научных исследованиях, но и используется для защиты научного предприятия от внешнего вмешательства; на нее ссылаются как на механизм самоочищения науки.
Таким образом, пишут в заключение авторы, их обзор продемонстрировал примечательное разнообразие в современных моделях «оценки равных» и поисках ее новых форм. Этот механизм далек от совершенства, поэтому поиски будут продолжаться.
Т. В. Виноградова
