CC BY
57
Редакционная статья
Р.Т. Сайгитов
Научный центр здоровья детей РАМН, Москва
Эффективность редакционной деятельности при подготовке рукописей, содержащих результаты оригинальных работ: итоги рандомизированного контролируемого исследования
Контактная информация:
Сайгитов Руслан Темирсултанович, доктор медицинских наук, Научный центр здоровья детей РАМН Адрес: 119991, Москва, Ломоносовский проспект, д. 2/62, тел.: (499) 132-30-43 Статья поступила: 06.12.2010 г., принята к печати: 13.12.2010 г.
Имеются ограниченные зарубежные данные об эффективности редакционной работы в медицинских журналах. Цель: изучить эффективность редакционной деятельности в повышении качества рукописей, содержащих результаты оригинальных работ, публикуемых в журнале «Вопросы современной педиатрии». Дизайн: в слепое рандомизированное контролируемое исследование в параллельных группах было включено 137 человек. Участников рандомизировали в соотношении 1:1 для оценки качества авторских и финальных (отредактированных) вариантов 5 рукописей, принятых в печать. Первичная цель: сравнить оценки качества описания в рукописях актуальности, новизны, методов, обсуждения и выводов, а также представления данных. Результаты: всего получено 412 заключений: 208 — по авторским и 204 — по отредактированным рукописям. Предоставили хотя бы одно заключение 102 (74%) участника, полностью выполнили запланированный объем исследования — 64 (47%). Анализ заключений показал, что актуальность, методы, обсуждение и выводы участники исследования в сравниваемых группах оценили одинаково. Оценка качества представления данных была выше в заключениях по отредактированным рукописям: отношение шансов (ОШ) для оценки & 3 по 5-балльной шкале в 4,1 (95% ДИ 2,0-8,4) раза выше, чем в их авторских версиях. Более высокую оценку редакционной деятельности дали «строгие» рецензенты, чья средняя оценка всех проанализированных рукописей была ниже значений нижнего квартиля. Этими участниками отмечено, что редакционная работа приводит к существенному повышению качества представления данных — для оценки & 3 по 5-балльной шкале ОШ составило 7,8 (95% ДИ 2,9-20,6), «выводов» — ОШ 2,3 (95% ДИ 1,0-5,2), «методов» — ОШ 2,2 (0,9-5,3; р = 0,068), улучшает общее впечатление от отредактированных рукописей. Заключение: редакционная работа повышает качество представления данных, а также описания разделов «выводы» и методы» (по мнению «строгих» рецензентов) в рукописях, содержащих результаты оригинальных работ.
Ключевые слова: рецензирование, редактирование, оригинальные исследования, качество.
R.T. Saygitov
Scientific Center of Children's Health, Russian Academy of Medical Sciences, Moscow
Effectiveness of editing in preparation of original articles: results of randomized controlled study
The data on effectiveness of editing in medical journals is restricted. Objective: to study an effectiveness of editing in improvement of manuscripts quality containing results of original study, which were published in the journal «Current Pediatrics» (Russia). Design: single blinded randomized controlled study in parallel groups. Consecutive eligible papers were sent to reviewers (n=137) who were randomised into 2 groups (1:1) for evaluation of five author’s or edited (accepted for publication) manuscripts. Main outcome measures: item of importance, originality, methods, data presentation, discussions and conclusion quality score were evaluated. Results: 102 (74%) participants gave at least one conclusion, 64 (47%) performed an estimation of all presented materials. 412 conclusions (208 on author’s manuscripts and 204 on edited ones) were analyzed. An analysis showed equal estimation of importance, methods, discussions and conclusions in both author’s and edited manuscripts. Evaluation of data presentation quality was higher in edited materials: odds ratio (OR) for estimation ^ 3 according 5-point scale was 4.1 (95% CI 2.0-8.4) times higher than in author’s manuscripts. Higher estimation of editing effectiveness was received from «strict» readers (mean estimations of manuscripts quality in lower quartile). They mentioned that editing improves quality of data presentation — for estimation ^ 3 according to 5-point scale OR was 7.8 (95% CI 2.9-20.6), conclusions — OR 2.3 (95% CI 1.0-5.2), methods — OR 2.2 (0.9-5.3; p = 0.068), and makes common impression of edited manuscripts better as well. Conclusion: editing improves quality of data presentation and description of conclusions and methods («strict» readers only) in manuscripts of original study.
Key words: reviewing, editing, original articles, quality.
Публикация результатов исследований является неотъемлемым и подчас завершающим этапом научной деятельности. Безусловно, краеугольный камень этого процесса — рецензирование. Упоминания о первых рецензируемых, в том числе и медицинских, изданиях датируются XVN-XVШ вв. [1, 2]. Вместе с тем на необходимость профессионального рецензирования как инструмента контроля медицинской деятельности указывали еще задолго до этого [3]. История издания медицинских журналов в России насчитывает уже более двух веков [4]. Однако становление и развитие системы рецензирования в отечественных изданиях, а также ее состояние в настоящее время остаются неизученными. Отсутствие сведений об этой сфере научной деятельности в странах постсоветского пространства отмечают и зарубежные коллеги [5].
Во многих зарубежных медицинских журналах рецензирование рукописей проходит в 2 этапа. На 1-м — осуществляется отсеивание редакторами журнала наименее информативных материалов, присылаемых для публикации (этап селекции). По разным данным, от 75 до 90% неопубликованных рукописей отклоняются именно на этом этапе рецензирования [6, 7]. Такой подход, по сравнению с «обычным» редакционным процессом (передача поступившей рукописи «внешним» рецензентам), позволяет принимать решения по рукописям в 2,5 раза быстрее, с привлечением меньшего количества рецензентов, притом что эффективность указанных подходов — качество принятых к рассмотрению рукописей — одинакова [6].
Последующее научное рецензирование, а также редактирование рукописей, принятых к рассмотрению, направлено, главным образом, на повышение их качества (этап предпубликационной подготовки). Эффективность указанного этапа в рандомизированных исследованиях ранее изучалась дважды [8, 9]. В обоих случаях отмечено, что предпубликационная подготовка рукописей повышает их качество, но, по оценкам авторов, лишь в незначительной мере [8, 9]. Следует также отметить, что «опыт» отдельных зарубежных медицинских журналов, обладающих значительными научными и финансовыми ресурсами, может и не отражать общую закономерность редакционной работы в журналах по всему миру, в том числе и в России. Тем более что данные отдельных исследований свидетельствуют
о низком качестве статей, публикуемых в российских журналах [10].
Целью настоящего исследования явилось изучение эффективности редакционной деятельности в повышении качества рукописей, содержащих результаты оригинальных исследований, публикуемых в журнале «Вопросы современной педиатрии».
МЕТОДЫ
Дизайн исследования
Исследование было слепым рандомизированным контролируемым в параллельных группах.
Участники исследования
Приглашение для участия в исследовании было разослано по 1358 электронным адресам участников XII Конгресса педиатров (2008 г.), слушателям «Школы специалистов» (аллерголога-иммунолога, пульмонолога, ревматолога, организатора здравоохранения, участкового педиатра, хирурга), проходивших в рамках Конгресса, а также авторам статей, ранее опубликованных в журнале «Вопросы
современной педиатрии». Контактная информация была получена в Организационном комитете Конгресса и в базе данных журнала. При получении подтверждения об участии высылалась анкета участника, заполнение которой было обязательным.
Место проведения
Журнал «Вопросы современной педиатрии», на базе которого проводилось исследование, — рецензируемое издание, публикуется с 2002 г. Периодичность выхода журнала — один раз в два месяца, тираж — 7 тыс. экземпляров. Объектом настоящего исследования стали все рукописи, принятые к печати в № 2 (Том 9) 2010 г. и содержащие результаты оригинальных работ. К печати в этом номере журнала были подготовлены 7 статей, 2 из них — не включены в исследование, т. к. соавторами являлись сотрудники редакции и редакционной коллегии журнала. Из числа статей, включенных в исследование, в 2 были опубликованы результаты плацебоконтроли-руемых исследований [11, 12], в 2 — открытых нерандомизированных исследований в параллельных группах [13, 14], в одном — исследования с дизайном по типу случай-контроль [15]. Авторы рукописей о проводимом исследовании проинформированы не были.
Процесс отбора и редактирования рукописей, включенных в исследование, состоял из следующих этапов:
1) предварительная оценка качества присланной в редакцию рукописи (выполняется ответственным редактором журнала);
2) рецензирование принятой к рассмотрению рукописи (научный и ответственный редакторы);
3) редактура текста рукописи (изменение стиля, исправление ошибок и пр.; выполняется литературным редактором);
4) редактирование финальной версии рукописи (заместитель главного редактора);
5) утверждение в печать (главный редактор).
Описанный выше алгоритм подготовки рукописей к печати типичен и применяется при отборе и подготовке к печати не только рукописей, содержащих результаты оригинальных исследований, но также обзоров, лекций, клинических наблюдений. Для внешнего рецензирования (одним или, реже, двумя рецензентами) рукописи направляются при необходимости на основании заключения одного их редакторов журнала.
Критерии эффективности
В исследовании по 5-балльной шкале (1 балл соответствовал худшей оценке, 5 баллов — максимально положительной оценке качества) оценивались обоснованность (качество) и полнота описания таких разделов рукописи, как актуальность, новизна, методы, представление данных (результаты), обсуждение и выводы (заключение). Дополнительно участникам исследования (далее рецензентам) предлагалось определить по 10-балльной шкале (от 1 до 10 баллов, где 1 балл — худшая оценка, а 10 баллов — максимально положительная оценка) общее впечатление о статье, а также дать заключение по каждой статье («публиковать без изменений», «публиковать с небольшими изменениями», «публиковать с существенными изменениями», «отказать»). Комментарии по статье (замечания, вопросы) рецензенты присылали в произвольном порядке (не являлось обязательным условием). До начала исследования всем его участникам были разосланы краткие рекомендации по оценке качества статей (см. Приложение1). При этом подчеркивалось, что рецен-
1 Размещено на сайте журнала по адресу: http://www.spr-journal.ru
зенты могут оценивать статьи в соответствии с собственными представлениями.
Для изучения эффективности редакционной деятельности использованы два варианта рукописей. Один — авторский, присланный в редакцию журнала авторами рукописи, другой — отредактированный, подготовленный редакторами журнала и утвержденный главным редактором в печать. В ходе редакционной подготовки велась переписка с авторами на предмет внесения изменений (сокращений, уточнений и пр.) в текст рукописи и утверждения ее окончательного варианта. Порядок включения рукописей в исследование определялся последовательностью их подготовки к печати. Критериями эффективности редакционной деятельности (первичная цель) на этапе планирования исследования было решено считать различия между оценками рецензентов каждого из 6 аспектов (актуальности, новизны, методов, представления данных, обсуждения и выводов) авторского и отредактированного вариантов рукописей. Кроме того, предполагалось определить различия между оценками общего впечатления о рукописях и заключениями о возможности их публикации или отказе. Наряду с этим предполагалось изучить (вторичная цель) факторы, ассоциированные с решением рецензентов о качестве рукописи, возможности ее публикации или, наоборот, отказе.
Объем исследования
При планировании работы было условлено, что минимально значимым будет считаться различие между оценкой авторского и отредактированного вариантов рукописи равное 0,4 балла или 1/10 (10%) от максимально возможного различия (4 балла при применении 5-балльной шкалы; аналогично в работе S. van Rooyen и соавт. [16]). Согласно предварительным расчетам, указанное минимально значимое различие можно зафиксировать (при величине a = 0,05; р = 0,10, стандартном отклонении различий равном 1,2)2 при числе участников (рецензентов) равном 382 (по 191 в двух параллельных группах). Учитывая, что в исследовании планировалось оценить суммарную эффективность редакционной деятельности, указанное минимально значимое различие могло быть зафиксировано и при получении 382 заключений по всем 5 рукописям, проанализированным в исследовании (или по 191 для авторского или отредактированного вариантов).
Процедура рандомизации
Рандомизация участников исследования в параллельные группы выполнена с помощью компьютерной программы SPSS 15.0 (SPSS Inc.). На 1-м этапе (перед рассылкой первой рукописи) рандомизация была простой одномоментной, в последующем — блочной (по 10 человек, последовательно присылавших заключения). Отношение числа участников исследования в группах рандомизации было 1:1. При получении от рецензента заключения, равно как и отказа по причине «непрофильности» темы (несоответствие специальности рецензента), ему высылалась следующая копия из 5 запланированных. Если рецензент не присылал заключение, копия следующей запланированной рукописи (ее авторский или отредактированный варианты) не высылалась. Первоначально предполагалось, что участники исследования должны присылать заключение по рукописи в течение 10 последующих дней. Однако уже после рассылки первой рукописи это
ограничение было снято, т. к. большинство участников прислали заключение по статье позже обозначенного срока. Рукописи рассылались в электронном виде (файлы Microsoft Word 2003), были одинаково оформлены и отформатированы с учетом размеров отступов, межстрочного интервала и шрифта. Рецензентов не информировали о первичной цели исследования и наличии рандомизации. Напротив, все участники редакционного процесса были осведомлены о проводимом исследовании (но не о его деталях), в том числе и о наличии рандомизации.
Статистический анализ
Статистический анализ результатов исследования выполнен с использованием пакета программ SPSS 15.0. Количественные переменные представлены в виде медианы (25; 75 процентиль). Проверка гипотез о равенстве средних (медиан) в независимых группах проведена с помощью U-теста Манна-Уитни (для 2 групп) или Крускала-Уоллиса (^ 3 групп); для парных сравнений использован критерий Вилкоксона. Сравнение частоты анализируемых событий в группах проводилось с помощью критерия Пирсона хи-квадрат с введением поправки Йейтса при анализе в подгруппах (для таблиц 2x2). При ожидаемой частоте в одной из ячеек 4-польной таблицы < 5 использовался двусторонний точный критерий Фишера. Статистически значимыми считались различия переменных при p < 0,05. Определение факторов, ассоциированных с зависимой бинарной переменной, выполнено с помощью бинарной логистической регрессии. Исключение незначимых факторов проводилось методом пошаговой элиминации при p < 0,10. Для факторов, включенных в итоговую модель, рассчитывалось отношение шансов (ОШ) и соответствующий 95% доверительный интервал (ДИ). Атрибутивное значение независимых переменных оценивалось по величине «объясненной» регрессионным уравнением дисперсии зависимого признака (R2), рассчитанной по Найджелкерку (диапазон возможных значений от 0 до 100%).
Настоящая рукопись подготовлена с учетом рекомендаций для повышения качества представления результатов рандомизированных контролируемых исследований (CONSORT 2010 Statement) [17].
РЕЗУЛЬТАТЫ
На 1358 разосланных приглашений об участии в исследовании дали ответ 180 (13%) человек, из них 15 (8%) отказались от участия сразу. В исследование не были включены также и 28 (16%) человек, согласившихся на участие, но не выполнивших обязательного условия — заполнение анкеты участника. Таким образом, в исследование было включено 137 человек, или 10% общего числа приглашенных (рис. 1). Первая копия рукописи выслана 11.04.2010 г., последнее заключение получено 17.06.2010 г. В течение всего исследования разослано 484 (71%) копии рукописей (по 242 копии авторских и отредактированных вариантов) из 685 запланированных (137x5). За весь период исследования (67 дней) получено 412 заключений: 208 — по авторским и 204 — по отредактированным вариантам рукописей (86 и 84% от числа разосланных копий; р = 0,610). Прислали хотя бы одно заключение 102 (74%) участника исследования, полностью выполнили запланированный объем исследования (прислали заключение по 5 рукописям) — 64 (47%) рецензента.
2 Расчет необходимого числа участников исследования выполнен с помощью online калькулятора (доступно на: http://hedwig.mgh. harvard.edu/sample_size/js/js_parallel_quant.html)
ВОПРОСЫ СОВРЕМЕННОЙ ПЕДИАТРИИ /2010/ ТОМ 9/ № б
Характеристика участников исследования
Общая характеристика участников исследования представлена в табл. Большинство прошли обучение в медицинском вузе по специальности «педиатрия». Общий медицинский стаж & 25 лет имели около половины рецензентов, опыт педагогической работы (& 1 года) — 84%. Около 90% участников исследования имели ученую степень (из них половина — степень доктора медицинских наук), 55% — ученое звание. Более 2/3 участников являлись сотрудниками кафедр, каждый десятый совмещал работу (часто работу на кафедре с работой в лечебном учреждении). Анализ публикационной активности показал, что автором хотя бы одной статьи в любом медицинском журнале были 134 (98%) рецензента, статьи в журнале из «Перечня» ВАК3 — 127 (93%), тезисов — 129 (94%) участников исследования.
Опыт рецензирования (статей, заявок на гранты и/или диссертационных работ) имелся у 94 (69%) коллег. При этом 19 (14%) участников исследования отметили, что не владеют методами статистического анализа (пункт в анкете: «знаком только в общих чертах, при необходимости обращаюсь к специалисту»), 71 (52%) — владеют методами одномерной статистики (Г-критерий, хи-квадрат), 41 (30%) — методами многофакторного анализа (регрессионный анализ, логистическая регрессия
и пр.). Свободно владели методами статистического анализа любого уровня сложности 6 (4%) рецензентов. Участники исследования характеризовались высокой читательской активностью: в течение последних 30 дней до начала исследования материалы какого-либо отечественного медицинского издания (в печатном и/или электронном формате) читали 134 (98%) рецензента, медиана числа прочитанных журналов была равна 3 (2; 4). Читателями журнала «Вопросы современной педиатрии» являлись 56 (41%) рецензентов. Столько же участников исследования (41%) отметили, что в течение последнего месяца читали материалы хотя бы одного зарубежного медицинского издания (в печатном и/или электронном формате).
Оценка качества авторских и финальных версий рукописей
Анализ заключений о качестве представленных для рассмотрения рукописей показал, что актуальность, методы, обсуждение и выводы участники исследования в сравниваемых группах оценили одинаково (во всех случаях р > 0,25). Вместе с тем оценка качества представления данных была выше в группе рецензентов, изучавших финальные (отредактированные) варианты рукописей (рис. 2). Вероятность (ОШ) оценки качества представления данных в отредактированных рукописях & 3 по 5-балльной шкале была в 4,1 (95% ДИ 2,0-8,4) раза выше, чем их авторских версиях = 8,0%)4. Наиболее высоко рецензенты обеих групп оценили актуальность исследований (5 баллов в 51% заключений), их методологическое качество (41%), и далее — такие характеристики рукописей, как «представление данных» (34%), «новизна полученных результатов» (31%) и «выводы» (31%). Реже всего оценка «отлично» присваивалась «обсуждению» полученных результатов (26%). Общее впечатление об авторских и отредактированных вариантах рукописей у рецензентов в сравниваемых группах не различалось — медиана оценки составила 7 (5; 8) и 7 (5; 9) баллов, соответственно (р = 0,317). Одинаковыми были и заключения рецензентов: публиковать рукопись без изменений или с небольшими изменениями рекомендовали 75% участников исследования; каждый четвертый считал, что рукопись требует существенной доработки или должна быть снята с рассмотрения (рис. 3). Комментарии (вопросы, замечания) прислали 82 (39%) рецензента, анализировавшие авторские, и 71 (35%) — отредактированные варианты рукописей (р = 0,332). Суммарно по авторским вариантам рукописей было дано 350 (от 33 до 109) уникальных (неповторяющихся) комментариев, по редакционным вариантам — 236 (от 33 до 60; для парного критерия Вилкоксона р = 0,034). Таким образом, число комментариев по каждой рукописи уменьшилось (медиана) на 21 (от 0 до 50), или 27% (разброс от 0 до 46%). Качественная (смысловая) составляющая комментариев не анализировалась.
В исследовании учитывалось время, потребовавшееся рецензентам для определения качества статьи (фиксировалось участниками самостоятельно). Рецензенты из сравниваемых групп «израсходовали» на анализ одной рукописи одинаковое время (р = 0,154), медиана которого составила 80 (40; 150) мин. Вместе
3 Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук. Утверждается Высшей аттестационной комиссией (ВАК) Минобрнауки России.
4 Величина R2 показывает (при некоторых допущениях), что различие сравниваемых вариантов рукописи (частота оценки & 3 баллов) на 8% определяется редакционной работой.
Характеристика Все, п = 137* 1-я группа, п = 242 2-я группа, п = 242 Значение р
Возраст, годы 46 (39; 54) 47 (40; 54) 48 (40; 54) 0,748
Женщины, абс. (%) 95 (69) 177 (73) 166 (69) 0,317
Специальность по окончании вуза, абс. (%) • педиатрия • лечебное дело • другая 101 (74) 25 (18) 11 (8) 166 (69) 53 (22) 23 (9) 181 (75) 49 (20) 12 (5) 0, 0, 0, 071 ■ч СО 01 СО 00 00
Стаж работы, годы
• общий 24 (15; 31) 24 (16; 30) 24 (16; 32) 0,734
• по основной специальности (п = 136) 22 (13; 28) 23 (15; 29) 23 (15; 28) 0,934
• педагогический (п = 115) 15 (7; 22) 17 (8; 22) 17 (8; 24) 0,495
Ученая степень, абс. (%)
• нет 17 (12) 26 (11) 24 (10)
• кандидат медицинских наук 60 (44) 110 (45) 92 (38) 0,182
• доктор медицинских наук 60 (44) 106 (44) 126 (52) ^ = 2)
Ученое звание, абс. (%)
• нет 61 (45) 103 (43) 99 (41)
• доцент или СНС 36 (26) 69 (28) 60 (25) 0,404
• профессор или ВНС 40 (29) 70 (29) 83 (34) ^ = 2)
Опубликовано, абс.
• статьи в медицинских журналах 45 (15; 128) 45 (15; 135) 56 (21; 132) 0,639
• статьи в журналах из «Перечня» ВАК 10 (5; 26) 11 (5; 27) 11 (5; 32) 0,948
• тезисы (п = 135) 49 (15; 100) 53 (23; 100) 56 (24; 116) 0,326
Место работы, абс. (%)
• кафедра 95 (69) 173 (71) 183 (76) 0,354
• НИИ 24 (18) 44 (18) 33 (14) 0,214
• стационар 19 (14) 30 (12) 32 (13) 0,892
• поликлиника 12 (9) 23 (10) 17 (7) 0,409
• административное учреждение 3 (2) 8 (3) 7 (3) 1,000
• фармацевтическая компания 2 (1) 4 (2) 1 (< 1) 0,217
^ 2 мест работы одновременно 17 (12) 36 (15) 30 (12) 0,508
Опыт рецензирования, абс. (%)** • нет • статей/заявок на грант • диссертационных работ 43 (31) 59 (43) 73 (53) 75 (31) 104 (43) 135 (56) 60 (25) 111 (46) 144 (60) 0,156 0,583 0,462
9
Примечание. СНС/ВНС — старший/ведущий научный сотрудник;
* — значения показателей рассчитаны для участников исследования, заполнивших анкету;
** — суммарная частота не равна 100%, т.к. 37 (27%) участников исследования имели опыт рецензирования как статей/заявок на грант, так и диссертационных работ;
1-я группа — рецензенты, приславшие заключение по авторскому варианту рукописи; 2-я группа — по отредактированному варианту рукописи. Значения показателей рассчитаны для рецензентов, которым был выслан хотя бы 1 вариант рукописи.
с тем отмечено, что с каждой последующей рукописью оценка качества требовала меньше времени. Так, в случае с 1-й рукописью участникам исследования потребовалось 115 (60; 199), 2-й — 90 (45; 180), 3-й — 80 (50; 180), 4-й — 60 (30; 105), 5-й — 45 (30; 90) мин (с^ = 4; р < 0,001). Указанная закономерность отмечена и на примере рецензентов, приславших заключения по всем 5 рукописям. Медианы затрат времени составили 105 (60; 205), 80 (45; 180), 75 (40; 170), 55 (30; 120) и 45 (30; 90) мин, соответственно (для парного критерия Вилкоксона при сравнении 1-го и 5-го показателей р < 0,001). И в том и в другом случаях статистически значимым было уменьшение затрат времени после 1-й и 3-й рукописей (при сравнении предыдущего показателя с последующим в обоих случаях р < 0,001).
«Строгость» рецензентов и оценка редакционной работы
Интегральной характеристикой «строгости» рецензентов в настоящем исследовании считалась средняя оценка качества проанализированных ими рукописей (независимо от того, авторский вариант или отредактированный). Суммарная оценка качества отдельной рукописи была получена путем сложения оценок отдельных ее составляющих (актуальность, новизна, методы, представление данных, обсуждение и выводы5). Таким образом, диапазон возможных суммарных оценок каждой отдельной рукописи мог варьировать от 6 (худшая оценка) до 30 (лучшая оценка) баллов. Соответственно, чем ниже была средняя оценка рецензентом проанализированных рукописей (которая также могла варьировать от 6 до 30 бал-
5 Для рецензентов, проанализировавших только 1 рукопись, характеристикой «строгости» служила суммарная оценка качества только этой статьи.
ВОПРОСЫ СОВРЕМЕННОЙ ПЕДИАТРИИ /2010/ ТОМ 9/ № 6
10
70 і
Актуальность
51 52
6 9 I----1 9
■ ■ гъ
27 28
Л
70
Новизна
22
ПІ
38
34 33
И
9
4
2 3
2
0
0
70
64 7 6
Методы
42 41
28 30
и
2 3 4 5
70
3 2
Представление данных р = 0,002 ^ = 4)
34 35 36
аИЛ
18 18
14
3
0
0
70
Обсуждение
9 7
33 33
28 27 I 25 28
ШГИ
3 4
Оценка, баллы
□ 1-я группа ■ 2-я группа
70
Выводы
(заключение)
20 21 [Ж
32 32 30
11
Оценка, баллы
□ 1-я группа ■ 2-я группа
36
9
8
55
0
0
Примечание. Здесь, а также на рис. 3 и 4: 1-я группа — рецензенты, приславшие заключение по авторскому варианту рукописи;
2-я группа — по отредактированному варианту рукописи.
лов), тем более «строгим» он считался. Диапазон средних оценок в группе рецензентов, представивших хотя бы
1 заключение (п = 102), составил от 9 до 29 баллов, медиана — 24,0 (20,8; 26,2) балла. Существенно, что «строгость» рецензентов, приславших разное количество заключений (от 1 до 5), не различалась ^ = 4, р = 0,613). Кроме того, одинаковым было число «строгих» рецензентов, давших заключения по авторским и отредактированным вариантам рукописей (22 и 26%, соответственно; р = 0,364).
С учетом значений медианы, 25-го и 75-го проценти-лей для ряда средних оценок качества рукописей, были выделены 4 класса рецензентов: условно «строгие» (средняя оценка качества проанализированных рукописей < 20,8 балла), два промежуточных класса (средние оценки от 20,8 до 23,9 и от 24,0 до 26,1 баллов, соответственно), а также условно «нестрогие» (^ 26,2 балла). Анализ
того, как рецензенты разных классов оценивали качество авторских и отредактированных вариантов рукописей, позволил обнаружить следующее. Рецензенты, независимо от их «строгости», одинаково оценивали такие характеристики авторских и отредактированных вариантов рукописей, как «актуальность», «новизну» и «обсуждение». Вместе с тем было отмечено, что обнаруженные выше различия в оценке качества представления данных имели место только в группе условно «строгих» рецензентов (рис. 4). Вероятность (ОШ) получить оценку & 3 по 5-балльной шкале для отредактированного варианта рукописи была в 7,8 (95% ДИ 2,9-20,6) раза выше, чем для авторского = 25,1%). Кроме того, обнаружено, что «строгие» рецензенты выше оценили «выводы» отредактированных рукописей: оценка & 3 баллов была получена в 68% заключений по сравнению с 48% для
авторских вариантов рукописей — разница 20% (95% ДИ 1-39), ОШ 2,3 (95% ДИ 1,0-5,2) = 5,4%), а также
раздел «методы»: оценка & 3 баллов в 77 и 60% заключений, соответственно — разница 17% (95% ДИ -1; 35), ОШ 2,2 (0,9-5,3; р = 0,068) = 4,7%). Свое общее
впечатление об отредактированных рукописях «строгие» рецензенты также оценили выше: оценка & 5 баллов (пороговое значение, аналогичное 3 баллам 5-балльной шкалы) дана в 68% заключений по сравнению с 46% для авторских вариантов — разница 22% (95% ДИ 3-41), ОШ 2,5 (95% ДИ 1,1-5,6) ^2 = 6,6%).
Несмотря на указанные выше различия оценок качества авторских и отредактированных вариантов рукописей, «строгие» рецензенты одинаково часто присылали комментарии по ним (в 46 и 49% случаев, соответственно; р = 0,901), одинаково часто рекомендовали их в печать (заключение «без изменений» или «с небольшими исправлениями» — в 48 и 55% случаях; р = 0,629) или, напротив, отказывали в публикации (19 и 15% заключений; р = 0,823). Вместе с тем «строгие» рецензенты чаще остальных (средняя оценка рукописей </& 20,8 балла), указывали на необходимость внесения существенных изменений в текст рукописи (в 32 и 13% случаев; р < 0,001) или отказывали в публикации (в 17 и 5% случаев; р < 0,001). Кроме того, «строгие» рецензенты чаще присылали свои комментарии к рукописям (в 48 и 34% случаев, соответственно; р = 0,018).
Характеристика «строгих» рецензентов
При сравнении характеристик «строгих» и «нестрогих» рецензентов (см. раздел «Характеристика участников исследования») каких-либо различий не обнаружено. Однако отмечено, что более низкую оценку проанализированным рукописям давали рецензенты, владевшие многофакторными методами статистического анализа, — средняя оценка составила 22,1 ± 4,3 балла по сравнению 24,0 ± 3,4 баллами (р = 0,012) в группе сравнения (знающие о статистическом анализе лишь в общих чертах или использующие одномерные методы статистического анализа). Кроме того, более низкую оценку проанализированным рукописям давали мужчины (21,9 ± 4,1 балла по сравнению с 23,9 ± 3,7 баллами у женщин; р = 0,016).
Рис. 3. Заключения рецензентов о возможности публикации рукописей
50
Публиковать Публиковать Требует Отказать
без изменений с небольшими существенной исправлениями доработки
Заключения рецензентов
□ 1-я группа
2-я группа
Рис. 4. Оценка «строгими» рецензентами качества представления данных в авторских и отредактированных вариантах рукописей
Примечание. * — в скобках указано число заключений, присланных по каждому варианту рукописи. Результаты статистического анализа см. в тексте.
ОБСУЖДЕНИЕ
Повышает ли редакционная работа качество публикуемых статей?
Проведенное исследование показало, что работа редакторов журнала «Вопросы современной педиатрии» позволяет добиться улучшения качества статей, содержащих результаты оригинальных работ. Вместе с тем отмечено, что из 5 проанализированных характеристик рукописей положительные изменения определены только в представлении данных, но не по пунктам «актуальность», «новизна», «методы», «обсуждение» и «выводы». Кроме того, редакционная работа не изменила общего впечатления участников исследования о рукописях, прошедших этап предпубликационной подготовки, и не привела к уменьшению числа отрицательных заключений. Отражением качественной составляющей внесенных редакторами изменений стало уменьшение (на 27%) числа вопросов в присланных участниками исследования комментариях.
Можно ли считать достигнутый эффект значимым (существенным)?
Общепризнанных критериев значимости изменения качества рукописей в ходе их предпубликационной подготовки
нет. Условно можно принять, что минимально значимым является увеличение оценки качества финальной версии рукописи по сравнению с ее авторским вариантом на 10% или на 0,4 балла при оценке по 5-балльной шкале. В настоящем исследовании оценка качества представления данных (разница средних оценок отредактированного и авторского вариантов рукописей) увеличилась на 0,25 (95% ДИ 0,05-0,45) балла. Следовательно, эффект редактирования был статистически значим, но с редакционной точки зрения — недостаточен (по аналогии с эффектами лечения, которые могут быть статистически значимыми, но не существенными для практики). С другой стороны, при определении значимости изменений важно исходить из оценки исходного (в авторском варианте) качества рукописи. Очевидно, чем она выше, тем меньшего эффекта можно ожидать от редакционной работы. Подтверждение этому получено в исследовании S. N. GooCman и соавт., итоги которого показали, что повышение качества рукописей, авторские варианты которых были оценены как «ниже среднего», было вдвое большим, чем в рукописях более высокого качества
0
11
ВОПРОСЫ СОВРЕМЕННОЙ ПЕДИАТРИИ /2010/ ТОМ 9/ № 6
[8]. Оценка качества представления данных в нашем исследовании увеличилась с исходных 83% (число заключений с оценкой & 3 баллов) по авторскому варианту рукописи до 95% — по финальной версии, или на 12,4% (95% ДИ 6,4-18,4). Является ли этот результат практически значимым? Однозначно ответить на этот вопрос невозможно. Однако, очевидно, достижение большего результата (например, получение 100% ответов с оценкой & 3 баллов) было бы уже не принципиальным.
Каков результат редакционной работы в других журналах?
Поиск исследований анализа эффективности редакционной работы позволил обнаружить 3 исследования по этой теме [7-9], два из которых были рандомизированными с полным или частичным «ослеплением» [8, 9]. В первом изучался суммарный эффект предпубликационной подготовки, включавшей работу и рецензентов и редакторов журнала [8]; во втором — результаты работы рецензентов и редакторов оценивались отдельно
[9]; в третьем (открытом исследовании) — оценивался только итог работы рецензентов [7]. Исследования, в которых изучались результаты технического (литературного) редактирования текстов, не учитывались (подробно см. обзор Е. Wager и соавт. [18]).
Первое изучение эффективности предпубликационной подготовки рукописей проведено в работе S. N. Goodman и соавт. (журнал Annals of Internal Medicine6) [8]. Это единственное исследование с полным «ослеплением» участников, рандомизацией и раздельным анализом авторских и финальных версий рукописей в параллельных группах. Участвовали 44 специалиста (врачи и эпидемиологи), которые анализировали качество 111 рукописей, принятых к печати. Было показано, что многоэтапная редакционная работа с рецензированием при участии двух «внешних» экспертов лишь незначительно повышала качество публикуемых материалов оригинальных исследований. Статистически значимое изменение было зафиксировано по 4 (12%) из 34 характеристик (пунктов опросника) и только по одному из 5 разделов рукописей, признанных наименее качественными. Средняя оценка качества отредактированных вариантов рукописей при оценке каждого пункта по 5-балльной шкале превышала оценку их авторских версий на 0,23 (95% ДИ 0,07-0,39) балла [8]. Величина изменения оценки качества рукописей, так же как и в нашем исследовании, почти наполовину ниже минимально значимого уровня (0,4 балла). Практически одинаковыми в нашем и американском исследованиях были оценки (по 10-балльной шкале) экспертов своего общего впечатления о рукописях. Разница средних значений этих оценок для отредактированных и авторских вариантов рукописей составила 0,28 (95% ДИ -0,17-0,72) и 0,29 (95% ДИ -0,25-0,83) баллов [8], соответственно.
Другой вариант тестирования эффективности редакционной деятельности использован в исследовании J. P. PierieM соавт. [9]. Читателям журнала Dutch Journal of Medicine7 (студенты-медики, выпускники медицинского университета, врачи-терапевты и врачи узких специальностей, всего 100 человек) предлагалось оценить качество сразу трех вариантов одной рукописи (автор-
ского, отредактированного с учетом замечаний рецензентов и финального, после правки редакторов журнала). Всего анализировали 50 уже опубликованных до начала исследования материалов; каждую рукопись оценивали 4 участника разного уровня образования. При этом участники исследования не знали, какой вариант является авторским, какой — отредактированным с учетом замечаний рецензентов, а какой — финальным. Качество рукописей после «внешнего» рецензирования участники исследования оценивали по 25 пунктам опросника с использованием 5-балльной шкалы, после внесения изменений редакторами журнала — с помощью опросника, содержащего 17 пунктов [9]. В итоге после первого этапа предпубликационной подготовки («внешнего» рецензирования) качество рукописи улучшилось по 14 из 25 пунктов (61%), после второго (редактирования работниками журнала) — по 11 из 16 пунктов (69%) опросника. Важно, что оценка качества рукописей практически не зависела от уровня образования участников исследования. В целом, медиана числа оценок отдельных характеристик рукописи & 3 баллов увеличилась в среднем с 75 (авторский вариант) до 94% (финальный вариант) [9]. Для сравнения, число таких оценок в исследовании S. N. Goodman и соавт. увеличилось в среднем с 75 до 82% (р < 0,001), то есть было вдвое меньшим [8]. Следует учесть один существенный недостаток исследования голландских коллег, который возможно предопределил получение относительно высокой оценки эффективности предпубликационной подготовки рукописей в журнале Dutch Journal of Medicine. Авторами исследования было отмечено, что журнал получает около 95% врачей в Голландии, то есть большинство участников могли ознакомиться со статьями уже в опубликованном виде и таким образом знать о том, какой вариант является финальным. И хотя авторы апеллируют к данным, согласно которым статьи с результатами оригинальных исследований регулярно читают только 6% подписчиков журнала (цитируется по [20]), исключить влияние этого фактора на результаты исследования полностью нельзя. Еще в одном исследовании (журнал Medicina Clinica, Испания)8 проводилась оценка изменения качества рукописей после «внешнего» рецензирования, но до внесения изменений редакторами журнала [7]. Исследование было полностью открытым, эксперты (n = 2), оценивавшие качество рукописей до и после рецензирования, знали, какой вариант был авторским, а какой — исправленным с учетом рекомендаций рецензентов. Было показано, что качество рукописей (оценивалось с помощью модифицированного опросника S. N. Goodman и соавт. [8]) в результате рецензирования изменилось статистически значимо, но не существенно — в среднем на 3,3% от исходного (авторского) уровня. Включение в «команду» рецензентов биостатистика принципиально ситуацию не изменило — качество рукописи изменилось в среднем на 6,3% [7], с учетом, что исходное качество рукописей было относительно невысоким — средняя оценка около 2,8 балла по 5-балльной шкале (для сравнения, в исследовании [8] — 3,5 балла, в нашем исследовании — 3,7 балла). Таким образом, определение эффективности редакционной деятельности тремя разными способами свидетельствует о небольшом увеличении качества рукописей
6 Официальное издание Американской ассоциации врачей, публикуется с 1927 г. Импакт-фактор по данным на 2008 г. — 16,2 (информация доступна на: http://www.annals.org/).
7 В оригинале NeCerlanCs Т^сЬтА: уоог GeneeskunCe — ведущий голландский медицинский журнал; импакт-фактор на период проведения исследования составлял около 0,5; по данным на 2006 г. — 1,2 [19].
8 Журнал основан в 1943 г. Импакт-фактор по данным на 2009 г. — 1,23 (информация доступна на: http://www.elsevier.es/revistas).
в ходе их предпубликационной подготовки. Менее консервативной оценки удавалось достичь при прямом сравнении рукописей, однако, учитывая недостатки исследования голландских авторов, это преимущество требует дальнейшего подтверждения.
О трудностях оценки эффективности редакционной работы
Во всех исследованиях, описанных выше, в том числе и в нашем, эффективность редакционной работы оценивалась на основании заключений «внешних» экспертов. По умолчанию, считается, что этот «инструмент» естественным образом чувствителен к производимым в ходе предпубликационной работы изменениям. Однако, как показало настоящее исследование, качества рецензентов могут существенным образом изменить оценку эффективности редакционной деятельности. В нашем случае установлено, что наиболее «внимательными» к результатам работы редакторов журнала были «условно строгие» рецензенты, то есть те, кто в целом относительно низко оценивал качество материала, направленного в печать. Анализ заключений именно этой группы рецензентов показал, что эффективность редакционной работы существенна. При этом «строгие» рецензенты отметили повышение качества не только представления данных, но и таких разделов рукописей, как «методы» и «выводы» (заключение). Оценка общего впечатления от финальных вариантов рукописей у «строгих» рецензентов также была выше, чем от их авторских версий. Заметим, что S. N. Goodman и соавт. также указывали на необходимость коррекции полученных результатов с учетом «строгости» (англ. toughness) отдельных рецензентов, однако важность этого обстоятельства для оценки редакционной деятельности авторами в итоге не обсуждалась [8].
По итогу исследования не удалось обнаружить каких-либо особенностей в характеристиках «строгих» рецензентов. С другой стороны, более низкие оценки рукописям давали участники, владеющие многофакторными методами статистического анализа. Эта характеристика рецензентов, по данным N. Black и соавт., связана с более высоким качеством рецензий, написанных ими по материалам, присланным с журнал British Medical Journal [21]. Однако этот фактор, а также возраст рецензентов < 40 лет, определяли оценку качества рецензий лишь на 8% (атрибутивное значение), то есть отражали профессиональные качества рецензентов лишь поверхностно. Интересной деталью можно считать тот факт, что женщины, принявшие участие в нашем исследовании, относительно высоко оценивали качество рукописей как авторских, так и отредактированных версий. Подобные наблюдения ранее фиксировались неоднократно [22, 23], хотя и не во всех исследованиях, изучавших результаты рецензирования [24, 25].
«Строгие» рецензенты в нашем исследовании чаще отказывали в публикации или считали, что рукопись требует существенной доработки. Впервые эту особенность отметил S. S. Siegelman (1991 г.) [26]. Анализируя средние оценки рецензентами качества большого числа рукописей (около 18 тыс.), автор ранжировал специалистов по 5 классам: 1) «убийцы» (англ. assasins),
2) «те, кто снижают оценку» (англ. demoters), 3) «основная группа» (англ. mainstream), 4) «не создающие трудностей» (англ. pushovers) и 5) «спасители» (англ. zealots). Проанализировав частоту отказов по одним и тем же рукописям (n = 859), S. S. Siegelman показал, что рецензенты 1-го класса «строгости» отклоняют 8 из 10 работ, рецензенты 2-го класса — две трети, 3-го — от 40 до 50%, 4 и 5-го классов — лишь каждую пятую статью. Позднее,
W. G. Baxt и соавт. [27], а затем и S. Schroter и соавт. показали [28], что рецензенты, дающие отрицательные заключения, чаще обнаруживают ошибки в научных текстах. Хотя, надо заметить, даже «строгие» рецензенты обнаруживают в тексте рукописей лишь около 40% «больших» и 25% «малых» ошибок [27, 28].
Таким образом, анализ результатов нашего исследования показывает, что эффективность редакционной работы в действительности выше, чем это отмечено на основании заключений широкой аудитории экспертов. Важно, что в пользу этого свидетельствуют заключения наиболее «строгих» рецензентов. Данные литературы позволяют предположить, что за этой «строгостью» стоит способность рецензентов критически относиться к результатам оригинальных исследований и/или их осведомленность о наиболее распространенных и подчас тиражируемых в рукописях ошибках.
Недостатки исследования
В исследование было включено небольшое число статей, что не позволяет отразить работу редакторов журнала достаточно полно. По сути, оценивалось качество одного номера. Кроме того, в числе 5 проанализированных статей в 2 представлены результаты рандомизированных исследований, редко публикуемых на страницах журнала. Суммарное качество авторских вариантов этих статей оценено участниками выше, чем статьи, содержащей результаты исследования по типу случай-контроль, и 2 статей с результатами открытых нерандомизированных исследований (25, 23 и 21 балл, соответственно; df = 2, р < 0,001). Исходя из этого, можно предположить, что качество статей, включенных в исследование, выше, чем статей, публикуемых в журнале в другое время (до или после исследования). По данным S.N. Goodman [8], при подготовке рукописей относительно высокого качества эффективность редакционной работы минимальна. Как результат, можно ожидать, что результативность редакционной работы в настоящем исследовании может быть ниже, чем в среднем за более длительный промежуток времени, по объективным причинам, связанным с высоким качеством отдельно взятого номера.
Одно из ограничений исследования — каждый десятый его участник не имел ученой степени, а каждый третий — опыт рецензирования. По сравнению с некоторыми зарубежными исследованиями, меньше задействовано специалистов, владеющих продвинутыми методами статистического анализа. Для сравнения, в исследовании S. N. Goodman и соавт. все участники исследования прошли обучение вопросам критического анализа медицинской литературы [8], более половины рецензентов British Medical Journal — методам статистического анализа в биомедицинских исследованиях [28]. Еще одна особенность нашего исследования — среди рецензентов преобладали женщины (69%), тогда как во многих зарубежных исследованиях, изучавших вопросы рецензирования — мужчины (73% [28], 85% [29], 89% [23]). Все указанные выше характеристики сформированной выборки рецензентов могли в той или иной мере повлиять на результаты оценки эффективности редакционной деятельности. Вместе с тем учет этих факторов (а также дизайна исследования в опубликованных работах) в рамках логистического регрессионного анализа вновь показал, что редакционная работа позволяет добиться более высокой оценки качества представления данных — ОШ для оценки & 3 балла в общей группе составило 4,5 (95% ДИ 2,1-9,5).
Из исследования после получения первой рукописи выбыл каждый четвертый участник (26%) и еще приблизительно столько же не выполнили протокол исследова-
ВОПРОСЫ СОВРЕМЕННОЙ ПЕДИАТРИИ /2010/ ТОМ 9/ № 6
ния в полном объеме. И если первые не могли повлиять на результат исследования, то выбывание вторых (по сути — каждый третий участник, приславший хотя бы одно заключение) могло быть источником систематической ошибки. Анализ характеристик участников исследования, приславших 1-2, 3-4 или 5 заключений, не выявил существенных различий. Одинаковым в указанных группах было и число «строгих» рецензентов. Следует отметить, что частота выбывания участников в подобных исследованиях вседа высокая. Так, например, после рассылки первой рукописи выбыли 14% рецензентов в исследовании [28], 22% — в исследовании [27], 47% — в исследовании [29]. Авторы одного из этих исследований не обнаружили влияния выбывания участников на полученные результаты [28].
Как уже отмечалось в разделе «Методы», рандомизация после получения первых заключений выполнялась последовательно по мере поступления ответов и блоками по 10 ячеек. Однако при обсуждении методики рандомизации (подробно см. http://forum.disser.ru/, топик «Рандомизация, как описать?») выяснилось, что адекватной рандомизация могла быть только при применении полной матрицы случайной последовательности чисел 0 и 1 для всех 5 рукописей, составленной еще на старте исследования. В противном случае исключить возникновение систематической ошибки невозможно, равно как и смещения результатов исследования из-за неучтенных вмешивающихся факторов. Несмотря на то, что в настоящем исследовании не было обнаружено различий в характеристиках рецензентов, присылавших заключение по авторским или отредактированным рукописям,
полностью преодолеть этот недостаток рандомизации уже после проведения исследования невозможно.
И, наконец, следует упомянуть, что в середине исследования номер журнала, в котором опубликованы оцениваемые статьи, был передан для распространения по подписке. Участников исследования предупредили, что при получении доступа (по подписке, в библиотеке) к этому номеру журнала им следует известить организаторов исследования. Предполагалось, что оценки и заключение по статье от данного участника в этом случае уже не будут учитываться. Однако ни один участник исследования такой информации не предоставил.
ЗАКЛЮЧЕНИЕ
Результаты проведенного исследования позволяют утверждать, что работа редакторов журнала «Вопросы современной педиатрии» повышает качество представления данных в рукописях, содержащих результаты оригинальных работ. В целом, эффект можно признать небольшим. Однако анализ заключений «строгих» рецензентов позволяет более высоко оценить эффективность редакционной работы. Лишь каждый десятый такой рецензент продолжал считать общее качество представления данных в финальной версии рукописи низким (^ 2 баллов по 5-балльной шкале), тогда как авторские версии рукописей аналогичным образом оценивали более половины «строгих» рецензентов. По мнению «строгих» рецензентов, редакционная работа приводила к повышению качества таких разделов рукописей, как «методы» и «выводы», а также к положительным изменениям общего впечатления от публикуемого материала.
СПИСОК ЛИТЕРАТУРЫ
1. Burnham J. C. The evolution of editorial peer review // JAMA. — 1990; 263 (10): 1323-1329.
2. Kronick D. A. Peer review in 18th-century scientific journalism // JAMA. — 1990; 263: 1321-1322.
3. Spier R. The history of the peer-review process // Trends Biotechnol. — 2002; 20 (8): 357-358.
4. Горелова Л. Е. Первый медицинский журнал России // РМЖ. — 2002; 10 (24): 1133-1134.
5. Rennie D. Editorial peer review: Its development and rationale. In: Godlee F, Jefferson T eds. Peer review in health sciences. — London: BMJ Books, 1999. — P. 7.
6. Johnston S. C., Lowenstein D. H., Ferriero D. M. et al. Early editorial manuscript screening versus obligate peer review: a randomized trial // Ann Neurol. — 2007; 61 (4): 10-12.
7. Cobo E., Selva-O'Callagham A., Ribera J. M. et al. Statistical reviewers improve reporting in biomedical articles: a randomized trial // PLoS One. — 2007; 2 (3): e332.
8. Goodman S. N., Berlin J., Fletcher S. W., Fletcher R. H. Manuscript quality before and after peer review and editing at Annals of Internal Medicine // Ann. Intern. Med. — 1994; 121 (1): 11-21.
9. Pierie J. P, Walvoort H. C., Overbeke A. J. Readers' evaluation of effect of peer review and editing on quality of articles in the Nederlands Tijdschrift voor Geneeskunde // Lancet. — 1996; 348 (9040): 1480-1483.
10. Бащинский С. Качество российских научных публикаций, посвященных лечебным и профилактическим вмешательствам // Международный журнал медицинской практики. — 2005; 1: 32-35.
11. Руперто Н. Абатацепт: новые возможности в терапии детей с полиартикулярным ювенильным идиопатическим артритом // Вопросы современной педиатрии. — 2010; 9 (2): 32-40.
12. Дондурей Е. А., Осидак Л. В., Суховецкая В. Ф. и др. Иммуномодулирующая терапия гриппа и острых респираторных инфекций у детей в условиях стационара // Вопросы современной педиатрии. — 2010; 9 (2): 45-53.
13. Чернышов В. Н., Сависько А. А., Лебеденко А. А. Новые возможности профилактики обострений бронхиальной астмы у детей при развитии острой респираторной инфекции // Вопросы современной педиатрии. — 2010; 9 (2): 54-57.
14. Кондратьева Е. И., Сутовская Д. В., Гринь Ю. Г., Шмаков В. Г. Роль фитотерапии в оптимизации санаторно-курортного этапа реабилитации больных хроническим тонзиллитом // Вопросы современной педиатрии. — 2010; 9 (2): 58-63.
15. Сугак А. Б., Дворяковский И. В. Оценка толщины комплекса интима-медиа общих сонных артерий у детей с ювенильным артритом и системной красной волчанкой // Вопросы современной педиатрии. — 2010; 9 (2): б4-б9.
16. van Rooyen S., Godlee F., Evans S. et al. Effect of open peer review on quality of reviews and on reviewers' recommendations: a randomised trial // BMJ. — 1999; 318 (7175): 23-27.
17. Schulz K. F., Altman D. G., Moher D. et al. CONSORT 2010 statement: updated guidelines for reporting parallel group randomized trials // Ann. Intern. Med. — 2010; 152 (11): 726-732. 1S. Wager E., Middleton P. Technical editing of research reports in biomedical journals // Cochrane Database Syst Rev. — 200S; (4): MR000002.
19. Stalenhoef A. Impact factor of the Netherlands Journal of Medicine >1! // Neth. J. Med. — 2007; 65 (9): 359.
20. Lagerwij E. W. De lezers van het Nederlands Tijdschrift voor Geneeskunde // Ned Tijdschr Geneeskd. — 1993; 137: 402-404.
21. Black N., van Rooyen S., Godlee F. et al. What makes a good reviewer and a good review for a general medicaljournal? // JAMA. — 1998; 280 (3): 231-233.
22. Lloyd M. E. Gender factors in reviewer recommendations for manuscript publication // J. Appl. Behav. Anal. — 1990; 23 (4): 539-543.
23. Nylenna M., Riis P, Karlsson Y. Multiple blinded reviews of the same two manuscripts. Effects of referee characteristics and publication language // JAMA. — 1994; 272 (2): 149-151.
24. Caelleigh A. S., Hojat M., Steinecke A., Gonnella J. S. Effects of reviewers' gender on assessments of a gender-related standardized manuscript // Teach. Learn. Med. — 2003; 15 (3): 163-167.
25. Kliewer M. A., DeLong D. M., Freed K. et al. Peer review at the American Journal of Roentgenology: how reviewer and manuscript characteristics affected editorial decisions on 196 major papers // AJR Am. J. Roentgenol. — 2004; 183 (6): 1545-1550.
26. Siegelman S. S. Assassins and zealots: variations in peer review. Special report // Radiology. — 1991; 178 (3): 637-642.
27. Baxt W. G., Waeckerle J. F., Berlin J. A., Callaham M. L. Who reviews the reviewers? Feasibility of using a fictitious manuscript to evaluate peer reviewer performance // Ann. Emerg. Med. — 1998; 32 (3 Pt 1): 310-317.
28. Schroter S., Black N., Evans S. et al. What errors do peer reviewers detect, and does training improve their ability to detect them? // J. R. Soc. Med. — 2008; 101 (10): 507-514.
29. Godlee F., Gale C. R., Martyn C. N. Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: a randomized controlled trial // JAMA. — 1998; 280 (3): 237-240.
Автоp выражает пpизнательность всем участникам исследования, а также сотpyдникам pедакции жypнала «Вопpосы совpеменной педиатpии» за помощь в его пpоведении.
Список участников исследования:9
Архангельск: Макарова В.И.
Астрахань: Джумагазиев А.А., Кирилочев О.К.
Баку: Гаджиева Н.А.
Барнаул: Кагирова Г.В., Макаревич С.В. Владивосток: Лучанинова В.Н.
Гомель: Мамчиц Л.П.
Екатеринбург: Стенникова О.В.
Ижевск: Кильдиярова РР, Моисеева О.В.
Казань: Волгина С.Я., Нурмеев И.Н., Софронов В.В. Кашира (Московская область): Муравьева Т.В. Красноярск: Галактионова М.Ю., Таранушенко Т.Е. Махачкала: Алискандиев А.М.
Москва: Абрамова М.Ф., Ахадов Т.А., Бородулин Б.Е., Долженко И.С., Нароган М.В., Пастушная В.С., Семенова Н.Ю., Суржик А.В., Чечельницкая С.М. Новокузнецк: Яковлев Я.Я.
Новосибирск: Лоскутова С.А.
Омск: Гудинова Ж.В., Викторова И.А.
Оренбург: Бурцева Т.И., Лебедькова С.Е.
Пермь: Аминова А.И., Яковлев И.Б.
Ростов-на-Дону: Летифов Г.М., Лукашевич М.Г.,
Полевиченко Е.В.
Рязань: Гудков Р.А.
Самара: Печкуров Д.В.
Санкт-Петербург: Глотов А.С., Рожавский Л.А., Якубова И.Ш. Саранск: Балыкова Л.А.
Саратов: Филина Н.Ю.
Саров (Нижегородская обл.): Козлов С.С.
Смоленск: Жаркова Л.П., Сорокина Л.А.
Тверь: Паренкова И.А.
Томск: Назаренко Л.П., Трушкина И.В.
Тюмень: Сагадеева Е.М., Тюлькова Т.Е.
Уфа: Малиевский В.А., Файзуллина РМ.
Хабаровск: Дрозд Д.Б., Чепель Т.В.
Чебоксары: Иванова И.Е.
Чита: Гаймоленко И.Н.
Исследование было анонимным, поэтому в списке участников приведены фамилии только тех, кто согласился «раскрыть» эту информацию.
15
9
