CC BY
101
о И вновь о качестве статистических
о аспектов медицинских публикаций:
о состояние проблемы, рекомендации,
| рецензирование
О.Ю. Реброва1 2
1 Российский национальный исследовательский медицинский университет им. Н.И. Пирогова Министерства здравоохранения РФ, Москва, Россия
2 Академия при Президенте Российской Федерации, РАНХиГС, Москва, Россия
Приведен краткий обзор состояния проблемы, связанной с обеспечением качества статистического анализа данных в медицинских исследованиях и представлением их результатов в публикациях. Констатируется почти полное отсутствие статистического рецензирования в отечественных научных медицинских журналах. Даны ссылки на документы и источники, содержащие рекомендации для авторов, рецензентов, редакций журналов.
КЛЮЧЕВЫЕ СЛОВА: статистический анализ, ошибки, рекомендации, САМПЛ.
8
CL
О
L0 -О
m
х
ш
О ^
О X
X
ш
о
X
m ш
При оценке методологического уровня исследования, помимо систематических ошибок, следует оценивать и адекватность статистического анализа данных, поскольку именно его результаты почти всегда являются основными результатами исследования. Наиболее известные опросники по методологическому качеству исследований не включают оценку данного аспекта, что представляется нам безосновательным. Ведь даже если дизайн исследования безупречен, но данные обработаны некорректно, выводы могут оказаться необоснованными или даже ложными. Американской статистической ассоциацией разработан этический кодекс статистической практики (http://www.amstat.oig/about/ethicalguidelines.cfm), согласно которому некорректное проведение статистического анализа признается неэтичным как по отношению к пациентам, так и по отношению к коллегам, и приводит к напрасной трате разного рода ресурсов.
О качестве статистического анализа в исследовании приходится судить по публикации. Рядом авторитетных изданий и организаций проводится политика обеспечения правильности статистического анализа в научных исследованиях. Еще в 1964 г. журналом JAMA был внедрена процедура статистического рецензирования рукописей отделом биостатистики Американской медицинской ассоциации (American Medical Association), осуществляемая после основного (проблемного) рецензирования. С тех пор и до настоящего времени основной целью статистического рецензирования является оценка обоснованности выводов результатами статистического анализа [1].
Спустя более 40 лет, а именно по данным 1998 г., проблема по-прежнему оставалась острой: из 114 обследованных международных журналов только в одной трети
осуществлялось сплошное статистическое рецензирование (в журналах с тиражом более 25 тыс. экз. - в 52%), а в трети - лишь по решению редактора. Было отмечено несколько существенных проблем: с одной стороны, это высокая стоимость такого рецензирования и нехватка специалистов в данной области, с другой - недооценка редакторами важности статистического рецензирования, что сохраняет высокий уровень статистических ошибок в публикациях [2]. Так, в одном из лучших журналов -Lancet - только 54% статей были признаны приемлемыми с точки зрения статистического анализа либо сразу (в том виде, в каком они были представлены авторами), либо после незначительной переработки [3]. Ошибки статистического анализа выявляются и в настоящее время в 87% рукописей [4], причем, как ни странно, большинство ошибок возникает при использовании простых, базовых методов статистического анализа.
Между тем, давно уже опубликованы документы и статьи, содержащие рекомендации по проведению статистического рецензирования в биомедицинских журналах и опросники для рецензентов, например [5-7].
В российских научных медицинских изданиях процедура статистического рецензирования и сегодня является экзотикой и, по нашим сведениям, на постоянной основе ни в одной из редакций не осуществляется. Отметим, что повышение формальных редакционных требований к представляемым рукописям практически не влияет на качество публикаций [8]. Это связано с тем, что в большинстве случаев редколлегии наших журналов не производят оценку рукописей на соответствие собственным требованиям, т.е. при поступлении статьи она не рассматривается по формальным признакам. В отличие от этого в зарубежных журналах статьи, не отвечающие формаль-
ным требованиям, обычно подлежат автоматическому отклонению без рассмотрения существа исследования, что заставляет авторов строго соблюдать объявленные редакцией правила оформления рукописей. В наших медицинских журналах такой подход пока невозможен - опустеет «редакционный портфель». Тем не менее полное игнорирование собственных требований самими редколлегиями безусловно свидетельствует о существовании конфликта интересов у их членов.
По нашим данным, ошибки проведения статистического анализа и представления его результатов содержатся почти во всех публикациях в российских научных медицинских журналах. Даже в публикациях о проведенных РКИ почти все представленные результаты являются необоснованными. Так, в 2013 г. нами были проанализированы 27 российских РКИ (публикации 2004-2012 гг.), и в 26 из них описание статистических аспектов исследований было признано неприемлемым, а выводы - необоснованными. В международных журналах ситуация лучше, однако тоже далека от идеальной: по нашим оценкам, лишь около 20% зарубежных статей о РКИ имеют низкий уровень ошибок статистического анализа. По оценкам [9-10], более чем в половине публикаций результатов РКИ отсутствует необходимая информация о статистических аспектах исследования и содержатся терминологические ошибки.
Вместе с тем, в настоящее время международные журналы переходят от статистического рецензирования к еще более жестким формам контроля качества публикаций с точки зрения статистического анализа данных. Так, поскольку признано, что влияние фармацевтической индустрии на результаты исследований весьма велико, журнал JAMA в 2006 г. ввел требование проведения независимого статистического анализа для статей, представляющих результаты исследований, спонсированных бизнесом [11].
Также вполне логичным представляется введение такого требования к автору рукописи, как предоставление в редакцию журнала первичных данных своего исследования для проведения их повторного анализа в тех случаях, когда у рецензента-статистика возникают сомнения в надежности результатов и правильности статистического анализа [12].
В США с 2003 г. данные исследований, финансируемых Национальными институтами здравоохранения США (National Institutes of Health), предоставляются грантодателю в обязательном порядке (http://grants.nih. gov/grants/policy/data_sharing).
Описание типичных ошибок статистического анализа приведено в ряде публикаций [13-15].
Рекомендации для авторов по представлению статистических аспектов исследований содержатся во многих документах. Так, в «Единых требованиях к рукописям, представляемым в биомедицинские журналы», подготовленных и постоянно обновляемых Международным
комитетом редакторов медицинских журналов (International Committee of Medical Journal Editors, ICMJE) (актуальная версия на англ. языке - http://www.icmje.org/ recommendations; на русском языке требования опубликованы в разных переводах на многих веб-сайтах), сказано следующее: «Описывайте статистические методы достаточно подробно, чтобы дать возможность компетентному читателю, имеющему доступ к исходным данным, проверить представленный результат. Когда возможно, представляйте полученные результаты в количественной форме и приводите их с соответствующими ошибками измерения или неопределенности (такими, как доверительный интервал). Старайтесь не ограничиваться лишь проверкой гипотезы, приводя уровень значимости Р, ведь он не дает информации о размере наблюдаемого эффекта. По возможности, при описании дизайна исследования и статистических методов следует приводить ссылки на общеизвестные источники (с указанием страниц). Давайте определения статистическим терминам, сокращениям и большинству символов. Указывайте использованное программное обеспечение».
В отношении клинических испытаний наиболее общие требования по применению статистики были установлены рекомендациями Good Clinical Practice в 1996 г. Многие вопросы, связанные со статистическими принципами и методологией, затрагиваются и в других многочисленных рекомендациях ICH (International Conference on Harmonization of Technical Requirements for Registration of Pharmaceuticals for Human Use). Наиболее важным документом являются принятые в 1998 г. рекомендации «Statistical Principles for Clinical Trials». Также следует ориентироваться на соглашение CONSORT - «Консолидированные стандарты отчета о клинических испытаниях» (www.consort-statement.org). Для нерандомизированных клинических исследований рекомендуется руководствоваться рекомендациями TREND (www.cdc. gov/trendstatement), для исследований диагностического метода - рекомендациями STARD (www.stard-statement. org), для когортных, «случай-контроль» и одномоментных исследований - рекомендациями STROBE (www. strobe-statement.org).
Общие рекомендации по представлению статистического анализа для авторов имеются на русском языке в [16]. В 2013 г. были опубликованы рекомендации SAMPL по представлению результатов статистического анализа в клинических медицинских журналах, подготовленные авторитетными специалистами T. Lang и D. Altman [17]. Эти рекомендации авторы предлагают научным журналам включать в правила подготовки рукописей статей. С разрешения авторов мы публикуем в данном выпуске журнала наш перевод этого документа и призываем к его широкому использованию как авторами при подготовке публикаций, так и рецензентами при оценке рукописей и диссертаций, а также редакторами научных медицинских журналов.
9
о ç
о d о
H ш
s
10
CL
О
LO _ü m
x
ш
О ^
О X
X
ш
о
X
m ш
В заключение подчеркнем, что квалифицированное статистическое сопровождение медицинских исследований должно осуществляться на всем их протяжении, начиная от этапа планирования и заканчивая подготовкой публикаций и отчетов, за которые статистик несет ответственность наравне с другими авторами исследования. При этом весьма важно, как отмечают также T. Lang и D. Altman [17], представлять результаты статистического анализа в форме, пригодной для их последующего включения в мета-анализы, которые, в свою очередь, используются в процессе оценки медицинских технологий.
ЛИТЕРАТУРА
1. Schor S. Statistical reviewing program for medical manuscripts. The American Statistician. 1967; 21(1): 28. http://amstat.tandfonline. com/doi/pdf/10.1080/00031305.1967.10481788
2. Goodman S.N., Altman D.G., George S.L. Statistical reviewing policies of medical journals. J Gen Intern Med. 1998; 13(11): 753-756. doi: 10.1046/j. 1525-1497.1998.00227.x http://www.ncbi.nlm.nih. gov/pmc/articles/PMC1497035
3. Gore S.M., Jones G., Thompson S.G. The Lancet's statistical review process: areas for improvement by authors, Lancet. 1992 Jul 11; 340(8811): 100-102. http://www.ncbi.nlm.nih.gov/pubmed/1351973
4. Simundic A.-M., Nikolac N. Statistical errors in manuscripts submitted to Biochemia Medica journal. Biochemia Medica 2009; 19(3): 294-300. http://dx.doi.org/10.11613/BM.2009.028
5. Gardner M.J., Machin D., Campbell M.J. Use of check lists in assessing the statistical content of medical studies. BMJ 1986; 292: 810-812.
6. Altman D.G. Statistical reviewing for medical journals. Stat Med. 1998 Dec 15; 17(23): 2661-2674. http://www.ncbi.nlm.nih.gov/ pubmed/9881413
7. Petrovecki M. The role of statistical reviewer in biomedical scientific journal. Biochemia Medica 2009; 19(3): 223-230. http://dx.doi. org/10.11613/BM.2009.020
8. Реброва О.Ю. Динамика качества представления результатов статистического анализа в оригинальных статьях журнала «Проблемы эндокринологии» за 1999-2006 гг. Проблемы эндокринологии, 2007; 53(5): 31-33.
9. Hopewell S., Dutton S., Yu L.-M., Chan A.-W., Altman D.G. The quality of reports of randomised trials in 2000 and 2006: comparative study of articles indexed in PubMed. BMJ 2010; 340: c723.
10. Charles P., Giraudeau B., Dechartres A., Baron G., Ravaud P. Reporting of sample size calculation in randomised controlled trials: review. BMJ 2009; 338: b1732.
11. BMJ Ethics Committee annual report 2006. http://www.bmj.com/ about-bmj/advisory-panels/ethics-committee/bmj-ethics-commit-tee-annual-report-2006
12. Wicherts J.M., Bakker M., Molenaar D. Willingness to share research data is related to the strength of the evidence and the quality of reporting of statistical results. PLoS One. 2011; 6(11): e26828. doi: 10.1371/journal.pone.0026828. Epub 2011 Nov 2. http://www. ncbi.nlm.nih.gov/pubmed/22073203
13. Lang T. Twenty statistical errors even you can find in biomedical research articles. Croat Med J. 2004; 45: 361-370.
14. Strasak A.M., Zaman Q., Pfeiffer K.P., Gobel G., Ulmer H.. Statistical errors in medical research - a review of common pitfalls. SWISS MED WKLY 2007; 137: 44-49, http://www.smw.ch/docs/ pdf200x/2007/03/smw-11587.pdf
15. Реброва О.Ю. Описание статистического анализа данных в оригинальных статьях. Типичные ошибки .Ж. неврологии и психиатрии им. С.С. Корсакова, 2010; №11: 71-74.
16. Реброва О.Ю. Описание процедуры и результатов статистического анализа медицинских данных в научных публикациях. В кн.: Рекомендации по подготовке научных медицинских публикаций. Под ред. С.Е. Бащинского, В.В. Власова. М.: Медиа Сфера, 2006. с. 94-105.
17. Lang T., Altman D. Basic statistical reporting for articles published in clinical medical journals: the SAMPL Guidelines. In: Smart P., Maisonneuve H., Polderman A. (eds). Science Editors' Handbook, European Association of Science Editors, 2013.
Сведения об авторе:
Реброва Ольга Юрьевна
профессор кафедры медицинской кибернетики и информатики РНИМУ им. Н.И. Пирогова, заместитель директора Центра оценки технологий в здравоохранении Института прикладных экономических исследований РАНХиГС, д-р мед. наук
Адрес для переписки:
117997, Москва, ул. Островитянова, д. 1 Телефон: +7 (495) 434-5478 E-mail: [email protected]
About the author:
Rebrova, Olga Yuryevna
Professor at the Department of Medical Cybernetics and Informatics of the N.I. Pirogov Russian National Research Medical University, Moscow, Russia; deputy director of the Center for Health Technology Assessment of the Institute for Applied Economic Research at the Russian Presidential Academy of National Economy and Public Administration (RANEPA); PhD (Doctor of Medical Sciences)
Correspondence address:
1 Ostrovityanova St., Moscow 117997
Tel: +7 (495) 434-5478
Email: [email protected]
METHODOLOGY
Once Again, on the Quality of Statistical Analysis in Medical Publications: Current Status of the Problem, Recommendations, Peer Reviewing
O.Yu. Rebrova1, 2
1 The N.I. Pirogov Russian National Research Medical University of the Ministry of Health of Russia (RNRMU), Moscow, Russia
2 The Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, Russia
This is a brief review of the current status of the problem of ensuring the quality of statistical analysis in medical studies and presenting their results. Peer reviewing of the statistical analysis is almost completely absent in scientific medical journals in Russia. This article contains references to documents and other sources of recommendations for authors, reviewers, and editors of scientific journals. KEYWORDS: statistical analysis, mistakes, recommendations, SAMPL.
