CC BY
12
2017.04.027. ХЁЙСМАН Я., СМИТС Е. ДЛИТЕЛЬНОСТЬ И КАЧЕСТВО РЕЦЕНЗИРОВАНИЯ С ТОЧКИ ЗРЕНИЯ АВТОРА. HUISMAN J., SMITS J. Duration and quality of the peer review process: The author's perspective // Scientometrics. - 20l7. - P. 1—18. -DOI: 10.1007/slll 92—017—2310—5.
Ключевые слова: рецензирование; длительность рецензирования; качество рецензирования; позиция автора.
Работа выполнена при поддержке фонда Европейской кооперации в области науки и технологии (European cooperation in science and technology — COST).
В Нидерландах организован специальный фонд «SciRev», деятельность которого направлена на оценку качества рецензирования в журналах различного уровня. На этом ресурсе авторам предоставляется возможность поделиться своими впечатлениями от сотрудничества с тем или иным журналом1.
Настоящее исследование проведено сотрудниками этого фонда, имевшими возможность опросить своих пользователей относительно качества услуг рецензирования и ведения публикации в современных научных изданиях. Авторы реферируемой статьи выделили в отдельную подборку 3500 авторских отзывов из базы на сайте фонда2, оставленных в период с 2013 по 2016 г.
При размещении авторского отзыва на процедуру рецензирования фиксируется место работы автора и его дисциплинарная принадлежность. Несмотря на то что распределение авторов по дисциплинам неравномерное, удалось сделать отдельные выводы, характеризующие поведение рецензентов различной специализации. Кроме того, авторы указывали показатели импакт-фактора журнала и принятия статьи к публикации, поскольку они ощутимо влияют на авторские оценки (с. 6).
1 Например, пройдя по ссылке: https://scirev.sc/reviews/scientometrics/, можно познакомиться с авторскими отзывами о сотрудничестве с журналом «Scientometrics» (длительность рецензирования, количество раундов, общая оценка и комментарии). Можно найти оценку сотрудничества и с другими журналами. -Прим. реф.
Sci.rev. Speeding up scientific knowledge production. - Mode of access: www.scirev.sc
Многие эксперты признают, что рецензирование остается слабым звеном в современном процессе производства научного знания. Существует противоречие, которое заключается в том, что длительность экспертизы (нередко до одного дня) никак не соотносится с длительностью процесса рецензирования в целом, который может занимать более шести месяцев. Отдельные исследования показывают, что за последние десятилетия «рассмотрение» статьи стало занимать еще больше времени1.
Многие подходят к работе рецензента с точки зрения этики. В рамках этой дискуссии рецензентов нередко обвиняют в отсутствии логики, незаконных требованиях (например, требование увеличить число ссылок); многие суждения рецензента рассматриваются как излишне персонифицированные и не имеющие отношения к делу (с. 4).
Исходя из того, что не все рецензируемые статьи публикуются, можно заключить, что в мире ежегодно рецензируется гораздо больше статей, чем публикуется (2,5 млн) (с. 3). Значительная часть публикаций при этом оценивается по классической схеме: 1) редактор журнала дает первичную оценку статьи и отклоняет ее или откладывает на рецензирование; 2) начинается поиск рецензента; 3) статья отправляется на рецензирование, при необходимости возвращается на доработку; 4) автор дорабатывает публикацию; 5) пункты (3) и (4) могут раунд за раундом повторяться; 6) публикация окончательно отклоняется или принимается и помещается в публикационный портфель (с. 3). Представленная схема ясно показывает, что публикацию могут задерживать как редактор, так и рецензент или сам автор. Рецензенты чаще склонны задерживать процедуру по той причине, что перегружены академическими обязанностями и с трудом выкраивают время для деятельности, которая к тому же и не оплачивается. Отдельные издательства, однако, пытаются привлечь рецензента к обсуждению статьи путем распространения системы бонусов.
В силу анонимного характера рецензирование считается малопрестижным видом деятельности, поскольку не влияет на симво-
'Ellison G. The slowdown of the economics publishing process // Journal of political economy. - 2002. - Vol. 110, N 5. - P. 947-993; Azar O.H. The slowdown in first-response times of economics journals: Can it be beneficial? // Economic inquiry. -2007. - Vol. 45, N 1. - P. 179-187.
лический объем компетенций ученого. Для привлечения ученых к рецензированию было разработано техническое решение «РиЬ-1оп8»1, позволяющее автору накапливать сведения о количестве написанных рецензий. Однако специалисты сходятся во мнении, что подобные решения совершенно неэффективны, когда возникает необходимость в сокращении времени, затрачиваемого на рецензирование, поскольку быстрее и качественнее готовятся оплачиваемые рецензии. Только в 1% случаев оплаты автор получает первый ответ через шесть месяцев; среди неоплачиваемых рецензий такое характерно для 16% случаев (с. 5).
Среди собранных 3500 отчетов респондентов 16,3% публикаций были отклонены решением принимающего редактора еще до прохождения процедуры рецензирования; 19,8 - были отклонены в результате первого раунда рецензирования; 60,8 - в конечном счете были приняты; 1,2 - были приняты без рецензирования; 1,8% статей отозваны авторами для публикации в других изданиях (с. 6).
Длительность первого отклика со стороны редакции. Многим авторам научных публикаций крайне важно понять, через какой период они получат первый отклик на свою работу от редакции. Этот фактор важен еще и потому, что является косвенным показателем динамичности издательства при работе с авторами.
Пользователи 8с1Яеу сообщали, что в среднем ожидали первого отклика в течение 13 недель. Однако этот период различен для разных научных областей: для медицины и здравоохранения он был короче - 8 недель; для социальных, гуманитарных наук, математики, информатики, экономики и бизнеса - более 16 недель (с. 8).
Для отклоненных статей период ожидания первого отклика оказался в среднем выше, чем для статей, принятых впоследствии (16 против 12 недель).
Авторы реферируемой статьи сочли целесообразным определить, насколько взаимосвязаны два показателя: длительность первого отклика и импакт-фактор журнала. Как и ожидалось, корреляция между ними оказалась строго отрицательной для всех дисциплин, за исключением гуманитарных наук2.
1 Publons. - Mode of access: www.publons.com
2 Авторы допускают, что особенности корреляции для гуманитарных наук объясняются большей склонностью гуманитариев работать над книгами, чем над статьями. - Прим. реф.
Длительность всего периода рецензирования. Данный раздел учитывает только те публикации, которые в конечном счете были приняты редакцией. Время, которое автор тратит на исправление замечаний, при подсчетах обнуляется.
В среднем редакция держит у себя каждую статью перед публикацией в течение 17 недель. Для медицины этот срок короче -12 недель, для экономики и бизнеса период ожидания самый продолжительный - 25 недель. В социальных и гуманитарных науках длительность рассмотрения статьи также высока и превышает 22 недели (с. 9). В журналах с более высоким импакт-фактором длительность рецензирования работ, как правило, бывает короче, чем в остальных журналах.
Система также позволяет оценить, как варьируется количество раундов в практике рецензирования для разных дисциплин. Известно, что в последнее время количество раундов в среднем увеличилось и достигло 2,03 раза. При этом для естественных, инженерных наук и здравоохранения в среднем число раундов остается более низким (1,96-1,98), а для психологии, экономики и социальных наук - выше среднего (2,15-2,23) (с. 9).
«Моментальный» отказ. В данном разделе авторы рассматривают, какое количество дней у редакции уходит на то, чтобы сообщить авторам, что их статья не интересует журнал и поэтому возвращается без рецензирования.
В среднем у ответственного редактора эта процедура занимает около 12 недель (с. 10). При этом в медицинских журналах чаще отрицательный ответ приходит в течение 10 недель, а в математических и компьютерных - в течение 17 недель. В журналах с высоким импакт-фактором срок получения «моментального» отказа короче.
Оценка качества рецензии. Посетителям сайта предлагалось оценить качество написанной рецензии по пятибалльной системе. При этом оценивалось как качество рецензии в целом, так и трудности, с которыми сталкиваются авторы при учете замечаний рецензента, а также насколько лучше стала публикация после внесенных изменений. Для первого вопроса все оценки были практически одинаковыми и разместились в диапазоне от 3,4 до 3,7. При ответе на второй вопрос оценки не превысили 3,2, при этом в секторе здравоохранения в среднем выставлялась оценка более низкая -
2,6. Относительно улучшения качества публикации после рецензирования в целом авторы были более позитивны, оценивая этот процесс в среднем на 3,7 (с. 11).
Между «сложностями с исправлением статьи» и «значительным улучшением публикации после рецензирования» была замечена устойчивая позитивная корреляция (0,40). Импакт-фактор журнала в данном случае существенно не влиял на ответы респондентов.
Авторские исправления. В среднем у авторов уходит около 39 дней на то, чтобы исправить публикацию в соответствии с требованиями рецензентов. Однако эта цифра варьируется в зависимости от дисциплины. Дольше всего перерабатывают свои статьи экономисты и представители бизнеса (64 дня), а быстрее других с этой задачей справляются специалисты в области здравоохранения (29 дней). Обычные исследователи-медики исправляют статьи так же, как и в среднем все остальные (39 дней).
Корреляции с импакт-фактором журнала обнаружено при этом не было.
Общая оценка рецензирования. Задача авторов реферируемой статьи заключалась в том, чтобы обнаружить взаимосвязь общей оценки рецензирования с другими факторами, такими как время рецензирования, число раундов, импакт-фактор журнала, язык публикации (английский или неанглийский), дисциплина, окончательное согласие о принятии публикации. Как оказалось, авторы принятых впоследствии статей склонны оценивать процесс рецензирования более позитивно, чем их коллеги. Положительные оценки чаще давали ученые, чьи статьи рассматривались быстрее и за меньшее число раундов, при этом большее количество отзывов за один раунд всегда оставляет у автора хорошее впечатление (с. 14).
Специалисты - носители английского языка - всегда оценивают процедуру рецензирования чуть ниже, чем их коллеги из других стран. Объяснить этот феномен можно более высокими ожиданиями от процедуры рецензирования у жителей англоязычных стран.
Дисциплинарные различия также заметны: экономисты, психологи, математики и представители социальных дисциплин дают более высокие оценки, чем медики и представители естественных наук.
Комментарии в свободной форме. Помимо прямых оценок авторам публикаций предоставлялась возможность оставить комментарии в свободной форме. Из них следовало, что половина респондентов в общем оценивает процедуру рецензирования хорошо. Среди недовольных 1/3 респондентов вызывает неудовлетворение именно длительность процедуры рецензирования, а не ее качество. 45% неудовлетворенных авторов возражали против огромной роли главного редактора при решении вопроса о принятии статьи, недостаточной коммуникативности представителей редакции, их невнимательного отношения к своим обязанностям (с. 15).
15% авторов выразили недовольство качеством рецензии, их поверхностностью и нерациональностью. В некоторых комментариях были высказаны претензии к рецензентам этического характера (воровство идей, новые требования на новых раундах, требование вставить дополнительные ссылки в публикацию).
По мнению авторов статьи, проведение первой экспертизы в более сжатые сроки и сокращение числа раундов существенно улучшат отношение авторов к процедуре рецензирования и снизят психологическую неудовлетворенность большинства исследователей.
А. Э. Анисимова
2017.04.028. ХУ ЦЗИМИН, ЧЖАН ИНЬ. ИЗУЧЕНИЕ МЕЖДИСЦИПЛИНАРНОЙ ПРИРОДЫ ИССЛЕДОВАНИЯ «БОЛЬШИХ ДАННЫХ» С ПОМОЩЬЮ АНАЛИЗА СОЦИАЛЬНЫХ СЕТЕЙ И МЕТОДА ВИЗУАЛИЗАЦИИ.
HU JIMING, ZHANG YIN. Discovering the interdisciplinary nature of Big data research through social network analysis and visualization // Scientometrics. - 2017. - Vol. 112. - P. 91-109. - D0I:10.1007/s 11192-017-2383-1.
Ключевые слова: исследование больших данных; междисциплинарное сотрудничество; сетевые паттерны и структуры; визуальное представление данных.
Авторы публикации в рамках гранта, поддержанного Китайским научным фондом для молодых докторов наук, провели специальное исследование, посвященное оценке междисциплинарного
