CC BY
9
каким представители STS склонны трактовать научное знание. Тем не менее С. Фуллер, несмотря на усилия С. Сизмондо и других авторов, настаивает на том, что постправда - это «отпрыск» STS. Г. Коллинз с соавторами также критикуют С. Сизмондо за неспособность признать долг «постправды» по отношению к STS.
«Многие из нас в STS озабочены выборочным использованием скептического настроя общества для обоснования политического действия или бездействия. Но было бы крайней степенью высокомерия предполагать, что наша область породила или несет ответственность за риторические средства, с помощью которых делается политика постправды» (2, с. 597).
Заключает свое эссе М. Линч перечнем вопросов, на которые также должны ответить STS, и выражает надежду, что блог «Transmissions», который создает журнал «Social studies of science», поможет на них ответить (2, с. 598).
Список литературы
1. Collins H., Evans R., Weinel M. STS as science or politics? // Social studies of science. - 2017. - Vol. 47, N 4. - P. 580-586. - DOI: 10.1177/0306312717710131.
2. Lynch M. STS, symmetry and post-truth? // Social studies of science. - 2017. -Vol. 47, N 4. - P. 593-599. - DOI: 10.1177/0306312717720308.
3. Post-truth politics // Wikipedia. - Mode of access: https://en.wikipedia.org/wiki/ Post-truth_politics
4. Sismondo S. Casting a wider net: A reply to Collins, Evans and Weinel // Social studies of science. - 2017. - Vol. 47, N 4. - P. 587-592. - DOI: 10.1177/ 0306312717721410.
5. Sismondo S. Post-truth? // Social studies of science. - 2017. - Vol. 47, N 1. - P. 36. - DOI: 10.1177/0306312717692076.
Т.В. Виноградова
2018.01.011. МЕХАНИЗМ «ОЦЕНКИ РАВНЫХ» И ВОПРОСЫ ЕГО СОВЕРШЕНСТВОВАНИЯ. (Обзор).
Ключевые слова: рецензирование рукописей; экспертные заключения; оценка равных.
Реферируемые материалы касаются одной из центральных проблем, связанных с научными публикациями: как добиться того, чтобы среди них не было работ, не отвечающих принятым нормам и критериям.
Главным механизмом, призванным защищать научную истину и выбраковывать ошибки и фальсификации, считается «оценка равных» (peer review), или экспертные заключения. Система оценки равных включает: во-первых, рецензирование рукописей, направляемых в научные журналы; во-вторых, экспертные заключения, которые дают независимые ученые при распределении грантов на научные исследования.
Рецензирование, по общему признанию, - это наиболее объективный и надежный способ оценки статей, предлагаемых для публикации. Оно, как отмечают Ч. Фокс с соавторами, служит двум главным целям: 1) помогает редколлегии решить, какие статьи заслуживают публикации; 2) обеспечивает эффективную обратную связь для авторов, помогая им повысить качество их исследования и статьи (2, с. 1). В то же время, по словам Дж. Патель с соавторами, был обнаружен ряд изъянов в этом механизме, включая субъективность оценок и чрезмерное затягивание времени рассмотрения работы. Для их преодоления предлагаются разного рода меры: открытое и слепое рецензирование, рецензирование после публикации или услуги по рецензированию, предоставляемые независимыми службами, которые не связаны с журналами (1, с. 1).
Эти инновации нуждаются в проверке, и они никак не гарантируют повышения качества рецензирования и соответственно надежности публикаций. Есть свидетельства, что большое количество исследований, проведенных в биомедицинской сфере, не воспроизводимы. Как реакция на эту ситуацию возникло движение «Открытая наука», цель которого сделать научные знания, данные и исследования доступными для всех - как для профессионалов, так и для широкой публики (1, с. 2).
По словам Дж. Патель с соавторами, пока не проводилось исследований того, как знание о разных моделях рецензирования влияет на молодых врачей, которые ищут в литературе ответы на специфические клинические вопросы. Поэтому их целью стало определение уровня знаний и понимания «оценки равных», разных ее моделей начинающими врачами и влияние этих знаний на принятие ими клинических решений.
Дж. Патель с соавторами провели анонимный онлайн-опрос, включавший 30 пунктов, касающихся моделей и целей «оценки равных», доверия к разным моделям, значения этих моделей для
принятия клинических решений. Опросный лист был разослан 800 врачам, проходящим последипломную подготовку по разным медицинским специальностям в Университетском колледже Лондона. Ответ был получен от 178 респондентов (1, с. 3).
Анализ полученных данных показал следующее. Обнаружилось, что большинство респондентов доверяют знакомым, известным названиям. BMJ, «New England journal of medicine» (NEJM) и «Lancet» назывались как имеющие надежный механизм рецензирования. Но одновременно большая часть респондентов, доверяя этим журналам, не могла сказать, какой модели рецензирования они придерживаются.
Двумя главными целями оценки рецензирования респонденты называли проверку, насколько правильно было проведено исследование и интерпретированы его результаты. Получив информацию о моделях рецензирования, респонденты сочли двойной слепой метод более надежным, чем одинарный. Эти результаты совпадают с данными, полученными ранее другими исследователями (1, с. 7).
Те модели рецензирования, которые предлагают больше возможностей для тщательной проверки, - открытая и постпубликационная «оценка равных» - были сочтены большинством респондентов менее заслуживающими доверия, чем одностороннее слепое рецензирование. Это говорит о том, что молодые врачи сами не готовы заниматься оценкой статей. Они надеются на добросовестность и скрупулезность тех, кому они доверяют, - редакторам и рецензентам. Это интересно, поскольку открытое рецензирование впервые появилось именно в области клинической медицины по этическим соображениям. Тем не менее большинство респондентов хотели бы пройти подготовку в области «оценки равных» и полагают, что она должна войти в курс обучения медиков.
Таким образом, группа врачей мало знает о новейших моделях «оценки равных» и доверяет журналам с устоявшейся репутацией и известными названиями, и у них нет желания самим заниматься проверкой тех статей, которые они читают. Эта вера в «оценку равных» противоречит идеям «Открытой науки», которая настаивает на транспарентности и обмене научными данными с целью повышения их надежности и ответственности ученых, их опубликовавших (1, с. 7).
Успех системы «оценки равных», пишут Ч. Фокс с соавторами, покоится на желании исследовательского сообщества рецензировать рукописи; это работа, которая обычно не оплачивается. Учитывая беспрецедентный рост количества статей, направляемых в журналы, неудивительно, что редакторы сообщают о трудностях по рекрутированию рецензентов. Согласно распространенному мнению, к рецензентам обращаются слишком часто (чаще, чем раньше), и они испытывают своего рода усталость. Однако экспериментальных работ, подтверждающих это мнение, очень мало.
Исключением может служить исследование А. Альберта с соавторами1, которые на выборке из пяти экологических журналов изучали: насколько часто предложение написать рецензию заканчивалось получением ее текста, а также действительно ли число обращений к потенциальным рецензентам увеличилось в последние семь-восемь лет (2, с. 1). Они обнаружили, что доля удовлетворенных запросов написать отзыв снизилась за последние годы в четырех журналах. Но это снижение не было существенным, и в одном журнале не отмечалось вовсе. Они также обнаружили, что в среднем число статей, присылаемых на рецензию одному ученому, существенно не увеличилось за этот период.
Ч. Фокс с соавторами расширили анализ А. Альберта и его коллег, взяв период в 13, а не в восемь лет, и добавив еще два журнала с высоким импакт-фактором (2, с. 3). В итоге они нашли, что доля удовлетворенных предложений написать отзыв медленно, но неуклонно снижалась для четырех из шести журналов и что кумулятивный эффект для них на протяжении 13 лет (2003-2015) был весьма ощутим. Но почему в двух других журналах эта тенденция не наблюдалась, остается неясным. Возможно, полагают Фокс с соавторами, это связано с их редакционной политикой.
Они также обнаружили, что среднее число предложений, направляемых будущим рецензентам, не сильно изменилось за последние 13 лет. Видимо, это происходит потому, что журналы расширяют свою сеть рецензентов, а не нагрузку на одного ученого. Это дает основания предполагать, что усталость рецензентов не
'Albert A.Y., Gow J.L., Vines Y.H. It is becoming harder to secure reviewers for peer review? A test with data from five ecology journals // Research integrity and peer review. - 2016. - Vol. 1, N 1. - P. 1-14. - Mode of access: hhtp://dx.doi.org/ 10.1186/s41073-016-0022-7
является основной причиной для снижения доли ученых, которые соглашаются написать отзыв.
Есть данные о наличии усталости на индивидуальном уровне; ученые, которые получают самое большое количество предложений, скорее склонны их отклонять. Так, ученые, которые получали такую просьбу один раз в год, соглашались в 56% случаев, тогда как те, к кому обращались шесть раз в год, соглашались в 40% случаев (2, с. 4). Но таких ученых слишком мало, чтобы это было главным объяснением. Скорее, причину следует искать в том, что возросло число претендентов на рабочее время ученых: необходимость постоянно публиковаться, составлять заявки на гранты, которые все чаще отклоняются, административные обязанности. Вторая возможная причина - это разочарование в коммерческих издателях (2, с. 6).
В условиях постоянно увеличивающегося объема научной литературы и соответственно все большей потребности в рецензентах, считают В. Вон с соавторами, есть необходимость в подготовке потенциальных рецензентов (3, с. 1). В то же время Аккредита-ционный совет по последипломному медицинскому образованию (США) неоднократно указывал на необходимость учить молодых врачей оценивать и усваивать научные данные, представленные в биомедицинской литературе. Обучая молодых врачей, можно расширить пул потенциальных рецензентов, одновременно прививая им навыки, которые необходимы для интерпретации и осуществления исследований (3, с. 2).
В. Вон с соавторами предложили свой метод обучения будущих неврологов базовым концепциям в биостатистике, исследовательской методологии и рецензировании литературы и оценили его эффективность. Они предположили, что обучение рецензированию стандартизированных рукописей с участием опытного наставника окажется более эффективным с точки зрения усвоения этих знаний, чем рецензирование рукописей без помощи наставника.
В исследовании приняли участие 78 человек, проходящих обучение по девяти программам в области неврологии (США). До начала эксперимента они все прошли тестирование на знание биостатистики и исследовательской методологии, а также получили документ с перечнем базовых правил, которых следует придерживаться при написании отзыва. Затем они случайным образом были
разделены на две равные группы, члены одной из них получали помощь от преподавателя (один участник - один преподаватель), а члены другой - не получали.
Членам обеих групп на рецензию была дана одна и та же базовая рукопись. О том, к какой из двух групп она принадлежит, они узнали лишь после написания отзыва. Каждый отзыв, написанный представителем первой группы, подробно в индивидуальном порядке обсуждался с преподавателем. На протяжении года участники должны были помимо базовой рукописи отрецензировать еще четыре, в которых сознательно допускались ошибки (десять ошибок на одну рукопись). Ошибки носили такой характер, чтобы познакомить участников эксперимента с основными принципами рецензирования. По окончании эксперимента проводилось еще одно тестирование, аналогичное первому; результаты двух тестов сопоставлялись как внутри каждой группы, так и между ними (4, с. 3-4).
Все участники утверждали, что хотели бы больше узнать о биостатистике и что это знание важно для интерпретации медицинской литературы. Шестьдесят четыре человека (82%) составили отзыв на первую рукопись, затем эта доля снижалась. Результаты предварительного тестирования были приблизительно одинаковыми в разных группах. Статистически значимые различия были обнаружены по результатам заключительного тестирования. Участники первой группы (получавшие обратную связь от преподавателя) демонстрировали возросшее понимание исследовательской методологии, содержания рукописей и применения результатов исследования в клинической практике. Различий между этими группами в уровне интереса к «оценке равных» и в качестве написанных ими отзывов найдено не было (3, с. 6).
Таким образом, заключают В. Вон с соавторами, предложенный ими новый метод обучения может оказаться перспективным, но необходимы дополнительные исследования на более широкой выборке (3, с. 8).
Как уже говорилось, помимо рецензирования существует еще один вариант «оценки равных». Это экспертные заключения, которые дают независимые ученые, консультирующие правительственные органы относительно целесообразности выделения денег на исследовательские проекты. По словам Дж. Скэрроу с соавторами, агентства, финансирующие исследования в области здравоохране-
ния, все больше внимания уделяют пункту в заявке на грант, который касается плана по «трансляции знания» (ТЗ) (knowledge translation), также известному как «планы по распространению и применению» (dissemination and implementation plans - D&I). Заявитель должен обосновать насущность целей исследования, предполагаемый его вклад в медицинскую практику и меры по реализации этого вклада. Это делается для того, чтобы сократить разрыв между тем, что ученые знают, и тем, что происходит на практике (5, с. 1).
Исторически эксперты ориентировались на оценку научного качества направляемых заявок, тогда как оценка соответствия приоритетам в здравоохранении, вклада в решение практических задач, возможностей коммерциализации требует иной оптики и навыков. Для того чтобы справиться с этой проблемой, были предприняты следующие шаги: разработка критериев для оценки ТЗ; обеспечение экспертов соответствующими руководствами, такими как «Guide for assessing health research knowledge translation (KT) plans» и др.; переориентация комиссий, рассматривающих грантовые предложения; включение в них специалистов по ТЗ (5, с. 2).
Дж. Скэрроу с соавторами предполагают, что в дополнение к вышеописанным мерам необходимо осуществлять специальную подготовку экспертов. Проведенный не так давно в США опрос 258 рецензентов показал, что только 9% из них прошли специальную подготовку, чтобы оценивать заявки на гранты в биомедицинских областях. Инструкции и руководства, предлагаемые финансирующими организациями, были понятны 63% опрошенных, но лишь 16% нашли их совершенно ясными, 46% сказали, что они хотели бы получить специальную подготовку, если финансирующая организация ее предложит (5, с. 2).
В последнее время все чаще говорят о том, что непрофессионалы, пройдя соответствующую подготовку, должны участвовать в обсуждении планируемых исследований в области здравоохранения и медицины, а также что надо шире привлекать общество к вопросам распределения финансов в этой области. Примером может служить программа тренинга для потребителей, которая разработана для оценки заявок на субсидии, направляемых в адрес Совета по онкологическим заболеваниям Нового Южного Уэльса (Австралия).
В США существуют аналогичные программы. Институт па-циент-центрированных исследований (Patient-centered Outcomes Research Institute) проводит подготовку экспертов с помощью серии вебинаров, онлайн-тренингов, онлайн-руководств и пр. Она включает ориентацию на пациентов, привлечение пациентов и других стейкхолдеров к оценке планируемых исследований и вероятности того, что исследование сможет изменить пациентские и клинические практики.
Дж. Скэрроу с коллегами провели серию интервью с девятью канадскими экспертами в области ТЗ. Эти интервью касались следующих вопросов: 1) нужно ли членам экспертных комиссий глубокое понимание ТЗ, чтобы правильно оценивать заявки на гранты; 2) должна ли экспертиза ТЗ осуществляться специалистами в этой области, включенными в состав комиссии, или ее члены должны получить соответствующую подготовку, или и то и другое; 3) если проводить такой тренинг, то как он должен выглядеть? По мнению респондентов, ответы на эти вопросы зависят от ряда факторов: значимости ТЗ для данной заявки; типа распространения знания; уровня квалификации комиссии в этом вопросе; ресурсов организации (5, с. 3-4).
Полученные данные говорят о том, что для осуществления экспертизы ТЗ финансирующие агентства должны выпускать соответствующие руководства, разработать строгие критерии для каждой из возможных форм ТЗ и проводить тренинги. Включение пользователей в экспертные комиссии не только гарантирует релевантность и обратную связь, но и способствует повышению уровня образования других членов комиссии. Эксперты по ТЗ (например, по вопросам коммерциализации) более желательны в тех случаях, когда планируемое исследование предполагает широкое использование полученных результатов. Хотя и во всех других случаях наличие одного такого эксперта также желательно. Присутствие таких специалистов также способствует повышению квалификации членов комиссии (5, с. 6).
Исследовательские проекты оцениваются не только с точки зрения их научной и практической значимости, но и с точки зрения соблюдения этических норм. Случаи научной недобросовестности и неэтичное обращение с людьми, участвующими в исследовании,
по словам С. Пэйджа и Дж. Ньебоера, заставили законодательно ввести правила, которые защищали бы права испытуемых (4, с. 1).
Были созданы специальные Отделы этики научных исследований (ОЭНИ) (Research ethics boards - REB), также известные как Экспертные советы организации (Institutional review boards - IRB), Комитеты по этике научных исследований (Research ethics committees - REC). Их основная задача - удостовериться, что исследование запланировано и будет осуществлено в соответствии с принятыми законами и стандартами, в том числе что права его участников не будут нарушены. В крупных университетах может быть несколько таких отделов, обслуживающих разные области: медицинские исследования, социальные науки, психологические и гуманитарные исследования (4, с. 1).
В Канаде принята модель ОЭНИ, предполагающая самоуправление и добровольное участие. Будучи независимыми в принятии решений от научной организации, в которой располагаются, они «должны получать от нее необходимые и достаточные финансовые и административные ресурсы, чтобы выполнять свои функции» (цит. по: 4, с. 2). Те же правила приняты и в США.
Главная претензия, которую предъявляют ученые к деятельности ОЭНИ, состоит в том, что слишком долго приходится ждать решения. К затягиванию процесса приводят такие факторы, как неполная или плохо составленная заявка, отсутствие должной помощи от администрации, неадекватная подготовка членов ОЭНИ. В то же время мало информации о том, какие процессы происходят внутри этих отделов и как они работают.
Первый шаг к совершенствованию работы экспертов, входящих в ОЭНИ, состоит в понимании того, что эффективность их работы зависит не только от них самих, но и от других стейкхолдеров -исследователей / исследовательских команд, администрации и института.
Исследователи. Составляя свою заявку, исследователи имеют возможность пользоваться соответствующими руководствами и информацией на сайте института. Они ответственны за отсрочку экспертного заключения, если их заявка не отвечает стандартам, и поэтому ее возвращают для доработки. Новички, чьи протоколы не проходили формальной процедуры «оценки равных», должны проконсультироваться и получить неформальный отзыв, прежде чем
направлять свою заявку в ОЭНИ, чтобы убедиться в том, что их заявка отвечает всем правилам и нормам.
Администраторы. Первый, с кем должен связаться ученый, -это администрация. Представитель администрации должен проверить заявку, а затем вернуть ее на доработку, если нужно. Консультация и проверка пройдут наилучшим образом, если административный штат знаком с требованиями, предъявляемыми к научному исследованию, и этическими стандартами. Когда отзыв задерживается, администрация может передать заявку другому рецензенту. Администрацию С. Пэйдж и Дж. Ньебоер считают ключевыми игроками, поскольку она осуществляет первую проверку и служит посредником между исследователем и членами ОЭНИ.
Члены ОЭНИ. Эффективность членов ОЭНИ, как и администрации, зависит от использования стандартных средств и критериев, например шаблонов для написания заключения, которые отвечают набору всех необходимых критериев. Их функционирование предполагает соответствующую подготовку, знание новых требований и стандартов, посещение презентаций и конференций. Использование банка решений ОЭНИ может быть рекомендовано в качестве средства для повышения эффективности всей системы.
Институции. Работа ОЭНИ требует серьезных финансовых затрат. Разумно предположить, что существует связь между адекватным распределением ресурсов, рабочей нагрузкой и временем, затрачиваемым на принятие решений. Считается, что разумное время для вынесения решения - шесть недель (плюс-минус две недели). Проследив, сколько времени тратится на каждом этапе, можно понять, где нужно вложить дополнительные ресурсы, чтобы ускорить процесс.
И последнее, большинство членов ОЭНИ выполняют свои функции добровольно. И несмотря на это, они часто сталкиваются с ситуацией, когда остальные исследователи видят в них препятствие или противника в исследовательском предприятии. Поэтому необходимо добиться, чтобы участие в работе ОЭНИ было бы столь же престижным и уважаемым делом, как работа в комиссиях по оценке заявок на гранты, членство в редколлегиях и рецензирование рукописей (4, с. 5).
Список литературы
1. Do peer review models affect clinicians' trust in journals? A survey of junior doctors / Patel J., Pierce M., Boughton L., Baldeweg S. // Research integrity and peer review. - 2017. - Vol. 2:11. - P. 1-8. - DOI: 10.1186/s41073-017-0029-8.
2. Fox Ch.W., Albert A.Y., Vines T. Recruitment of reviewers is becoming harder at some journals: a Test of the influence of reviewer fatigue at six journals in ecology and evolution // Research integrity and peer review. - 2017. - Vol. 2:3. - P. 1-6. -DOI: 10.1186/s41073-017-0027-x.
3. Mentored peer review of standardized manuscripts as a teaching tool for residents: a Pilot randomized controlled multi-center study / Wong V., Strowd R., AragonGarcia R., Moon Y., Ford B., Haut P., Kass J., London Z., Mays M., Milligan T., Price R., Reynolds P., Selwa L., Shencer D., Elkind S. // Research integrity and peer review. - 2017. - Vol. 2:6. - P. 1-8. - DOI: 10.1186/s41073-017-0032-0.
4. Page S., Nyeboer J. Improving the process of research ethics review // Research integrity and peer review. - 2017. - Vol. 2:14. - P. 1-7. - DOI: 10.1186/s41073-017-0038-7.
5. Scarrow G., Angus D., Holmes B. Reviewer training to assess knowledge translation in funding applications is long overdue // Research integrity and peer review. -2017. - Vol. 2:13. - P. 1-7. - DOI: 10.1186/s41073-017-0037-8.
Т.В. Виноградова
2018.01.012. ОТЗЫВ СТАТЬИ, ВЫРАЖЕНИЕ СОМНЕНИЙ В ОТНОШЕНИИ РАНЕЕ ОПУБЛИКОВАННОЙ СТАТЬИ, ПОВТОРНОЕ ИСПОЛЬЗОВАНИЕ АВТОРАМИ СВОЕГО ТЕКСТА. (Обзор).
Ключевые слова: публикационная этика; отзыв статьи; этические нормы; мошенничество; плагиат.
Одна из наиболее радикальных форм борьбы с нарушениями публикационной этики - это отзыв уже вышедшей статьи. Этот акт, по словам А. Боццо с соавторами, свидетельствует о том, что приведенные в ней данные ненадежны и не должны влиять на будущую исследовательскую и клиническую практики. Как было показано в ряде работ, причинами отзыва могут служить: плагиат, дублирующие публикации, мошенничество, проблемы с соавторством, нарушения этических норм и ошибки. Установлено, что доля статей, которые извлекаются из научной литературы, неуклонно растет. Так, по данным одного из исследований, за десять лет (2001-2010) число статей, публикуемых ежегодно, выросло на 44%, тогда как количество ежегодных отзывов за тот же период
