Вопросник для оценки риска систематических ошибок в нерандомизированных сравнительных исследованиях: русскоязычная версия шкалы Ньюкасл-Оттава

Реброва Ольга Юрьевна; Федяева Влада Константиновна

Реброва О. Ю.1, 2, 3, Федяева В. К. 2, 4

1 Российский национальный исследовательский медицинский университет им. Н. И. Пирогова, Москва, Россия

2 Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва, Россия

3 Научно-исследовательский финансовый институт Министерства финансов РФ, Москва, Россия

4 Центр экспертизы и контроля качества медицинской помощи Министерства здравоохранения РФ, Москва, Россия

В статье приведены русскоязычные версии вопросников для оценки риска систематических смещений в исследованиях «случай-контроль» и когортных исследованиях. Данные вопросники являются переводом шкалы Ньюкасл-Оттава для оценки методологического качества нерандомизированных исследований. Риск систематических смещений в оригинальной шкале не стратифицирован, однако на практике Кокрановское сообщество относит исследования с 5 и менее баллами (из 9 возможных) к имеющим низкое методологическое качество. Мы предлагаем для оценки методологического качества оценивать не только риск систематических ошибок, но и риск некорректности выполненного статистического анализа.

КЛЮЧЕВЫЕ СЛОВА: нерандомизированное исследование, «случай-контроль», когорта, вопросник, систематическое смещение, систематическая ошибка, оценка, методологическое качество, шкала Ньюкасл-Оттава.

The Questionnaire to Assess the Risk of Systematic Bias in Non-Randomized Comparative Studies: the Russian-Language ^ Version of the Newcastle-Ottawa Scale

CO oi

z Rebrova O. Yu1, 2, Fediaeva V. K.2, 3

ql 1 N. I. Pirogov Russian National Research Medical University, Moscow, Russia 2 2 Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, ^ Russia

^ 3 Financial Scientific Research Institute at the Ministry of Finances of Russian Federation, Moscow, Russia 4 Center of Expertise and Quality Control of Medical Care, Ministry of Health of the Russian Federation, Moscow, Russia

X

Ш

X

O The article presents the Russian-language version of the questionnaire to assess the risk of systematic bias in case-control studies and cohort stud-O ies. These questionnaires are translations of the Newcastle-Ottawa Scale to assess the methodological quality of non-randomized studies. The risk of X systematic bias in the original scale is not stratified, but in practice the Cochrane Collaboration considered trials with 5 or fewer points (of 9) to have a low methodological quality. We propose to assess the methodological quality not only by the assessing risk of systematic errors, but also the risk of W incorrectness of statistical analysis.

O KEYWORDS: non-randomized trial, case-control, cohort, questionnaire, systematic bias, systematic error, assessment, methodological quality, Newcastle-Ottawa Scale.

1=1 Ш

Несмотря на то, что рандомизированные контролируемые испытания (РКИ) и мета-анализы РКИ считаются наиболее достоверными источниками информации об эффективности/безопасности медицинских технологий, в некоторых областях медицины (оперативные вмешательства, общественное здравоохранение, организация медицинской помощи и др.) большая часть доказательств эффективности медицинских и иных вмешательств основана на результатах нерандомизированных исследований [1]. Кроме того, при построении экономических моделей применения медицинских технологий зачастую возникает необходимость в определении частоты событий, не связанных с применением определенной медицинской технологии в той или иной популяции пациентов. Такого рода сведения приходится искать в исследованиях различного дизайна, включая контролируемые и неконтролируемые, проспективные и ретроспективные. Общей чертой этих исследований является то, что в них не применяется рандомизация при формировании групп сравнения.

В более узком смысле к нерандомизированным исследованиям относятся сравнительные клинические исследования, в которых распределение больных по группам сравнения не является случайным, т. е. выполнено без применения рандомизации [2, 3]. Отсутствие рандомизации приводит к высокой вероятности систематической ошибки отбора пациентов и несбалансированности сравниваемых групп по отношению к вмешивающимся факторам (сопЮшйеге) [4, 5]. В роли вмешивающихся факторов могут выступать как установленные прогностические факторы исследуемого заболевания, так и неизвестные факторы, которые могли оказать влияние на исход лечения, но степень этого влияния невозможно учесть при оценке результатов исследования. Поэтому при использовании результатов нерандомизированных исследований тщательная оценка их методологического качества имеет особое значение и по возможности должна проводиться экспертами с глубоким знанием эпидемиологии заболевания или с привлечением соответствующих клинических специалистов [6].

За последние годы был создан ряд инструментов для оценки методологического качества нерандомизированных исследований. В 2003 г., по данным Deeks J. с коллегами, существовало 182 инструмента для оценки методологического качества нерандомизированных исследований (исключая исследования «случай-контроль»), 6 из которых указанные авторы сочли наиболее полными и рекомендовали для дальнейшего использования [7]. В рекомендациях Кокрановско-го сотрудничества по оценке нерандомизированных исследований [6] выделено два инструмента, которые также были среди рекомендованных к использованию в обзоре Deeks J. 2003 [7]: опросник Даунс&

Блэк (Downs&Black) [8] и шкала Ньюкасл-Оттава R (Newcastle-Ottawa Scale; NOS) [9]. ^

Опросник Даунс&Блэк [8] был разработан для О оценки методологического качества как рандомизи- q рованных, так и нерандомизированных исследований. ^ Он представляет собой список из 27 вопросов, разде- ^ ленных на 4 домена: предоставление информации о Ш методах и результатах исследования (10 вопросов), ^ внешняя валидность (3 вопроса), внутренняя валид-ность - риск возникновения систематических ошибок (7 вопросов) и анализ вмешивающихся факторов (7 факторов). Однако, по мнению кокрановских экспертов, опросник Даунс&Блэк слишком обширен и, соответственно, требует значительного времени для заполнения [6]. Кроме того, он включает вопросы о методах рандомизации, которые относятся только к РКИ, и не содержит вопросов о сопоставимости кли-нико-демографических характеристик пациентов в сравниваемых группах.

Шкала NOS [9] была разработана для оценки методологического качества двух типов нерандомизированных исследований и, соответственно, были созданы два варианта шкалы: для исследований «случай-контроль» и для когортных исследований. Выполненный нами перевод на русский язык обоих вариантов шкалы NOS представлен в таблицах 1 и 2.

Шкала включает 8 пунктов, разделенных на 3 категории: отбор пациентов, сопоставимость групп, анализ исходов (для когортных исследований) или -|g

анализ экспозиции (для исследований «случай-контр- -

оль»). Для каждого пункта предлагается несколько вариантов ответов. В процессе оценки за каждый пункт может быть присвоен один балл («звезда») внутри доменов «отбор пациентов» и «анализ исходов/экспозиции» или два балла внутри домена «сопоставимость групп»; максимальное значение суммы баллов - 9. В исходном варианте шкалы NOS не указано, сколько баллов должно набрать исследование для определения его методологического качества как высокого, среднего или низкого. В одном из Кокрановских систематических обзоров исследованиям, набравшим менее 6 баллов по шкале NOS, было присвоено низкое методологическое качество [10].

Несмотря на то, что шкала NOS была использована для оценки методологического качества когортных исследований и исследований «случай-контроль», в нескольких систематических обзорах, включая Кокра-новские [10-12], она не была валидизирована и подверглась серьезной критике в связи c рядом ограничений [7, 13, 14]. Например, Ross L. с коллегами указали на то, что данная шкала не оценивает, в какой степени было учтено влияние вмешивающихся факторов [13], а в обзоре Deeks J. и соавт. [7] было рекомендовано дополнить шкалу NOS пунктами, оценивающими адекватность методики анализа данных.

о ц,

о

4 о н ш

5

Таким образом, на текущий момент не существует общепризнанного валидизированного инструмента для оценки методологического качества нерандомизированных исследований. Однако работа в этом направлении продолжается; в частности, Международное общество фармакоэкономических исследований и оценки исходов (ISPOR) выпустило вопросник для оценки качества проспективных и ретроспективных когортных исследований, которую можно использовать в процессе принятия решений в сфере здравоохранения [15].

Оценке методологического качества нерандомизированных исследований серьезно препятствует низкое качество представления информации об их методах и результатах в публикациях [16]. С целью улучшения качества представления информации в публикациях о когортных, «случай-контроль» и одномоментных исследованиях международной группой экспертов были разработаны рекомендации по подготовке публикаций, известные как рекомендации STROBE (The Strengthening the Reporting of Observational Studies in Epidemiology) [17].

Таблица 1. Шкала для оценки риска систематических ошибок в исследованиях «случай-контроль» (адаптировано из [9])

Формирование групп Балл

1. Является ли определение «случая» адекватным?

а) да, с независимым подтверждением (например, извлечение информации двумя лицами, первичная медицинская документация) 1

б) представлены обобщенные сведения из базы данных или самоотчёт пациента (без доступа к первичной медицинской документации) 0

г) не описано 0

2. Является ли отобранная группа случаев репрезентативной?

а) использована сплошная или явно репрезентативная серия «случаев» 1

б) имеется риск возникновения систематической ошибки отбора или отсутствует информация о стратегии отбора в группу «случаев» 0

3. Каким образом был проведен отбор группы «контролей»?

а) использованы популяционные «контроли» (из той же популяции, что и группа «случаев», и имеется вероятность того, что «контроли» могли стать «случаями», если бы у них наблюдался изучаемый исход) 1

б) использованы госпитальные «контроли» 0

г) не описано 0

4. Было ли определение «контроля» адекватным?

а) да, например, было указано на отсутствие изучаемого исхода в прошлом, если изучали «случаи» с впервые возникшим исходом 1

б)не описано 0

Сопоставимость групп

5.Являются ли группы «случаев» и «контролей» сопоставимыми? (суждение на основании дизайна исследования или результатов анализа данных)

а) группы сопоставимы по наиболее важному критерию (укажите критерий) 1

б) группы сопоставимы по дополнительному критерию (укажите критерий) 1

Оценка экспозиции

6. Какой источник информации об экспозиции использовался?

а) записи с высокой степенью достоверности (например, протокол хирургической операции) 1

б) структурированное интервью, в процессе которого было соблюдено ослепление по отношению к принадлежности пациента к группе «случаев»/«контроля» 1

в) структурированное интервью без ослепления 0

в) письменный самоотчет пациента или записи в истории болезни 0

г) не указан 0

7. Был ли метод определения экспозиции одинаковым в группах «случаев» и «контролей»?

а) да 1

б) нет 0

8. Были ли учтены пропуски в данных?

а) пропуски были равномерно распределены между группами «случаев» и «контролей» 1

б) представлена информация о пациентах с пропусками в данных 0

в) пропуски данных распределены в сравниваемых группах неравномерно или информация отсутствует 0

Максимальная сумма баллов 9

Таблица 2. Шкала для оценки риска систематических ошибок в когортных исследованиях (адаптировано из [9])

Формирование когорт Балл

1. Является ли экспонированная когорта репрезентативной?

а) когорта является репрезентативной по отношению к изучаемой популяции (популяция описана) 1

б) когорта является частично репрезентативной по отношению к изучаемой популяции (популяция описана) 1

в) когорта представляет собой отдельную социальную группу (например, группу из профессионального сообщества: медсестры, волонтеры и т.п.) 0

г) нет описания состава когорты 0

2. Каким образом была сформирована неэкспонированная когорта?

а) сформирована из той же популяции, что и экспонированная когорта 1

б) сформирована из другой популяции 0

в)не описано 0

3. Каким образом был установлен факт воздействия изучаемого фактора?

а) записи с высокой степенью достоверности (например, протокол хирургической операции) 1

б) структурированное интервью 1

в) письменный самоотчет пациента 0

г) не описано 0

4. Было ли подтверждено отсутствие интересующего исхода в начале исследования?

а) да 1

б) нет 0

Сопоставимость когорт

5. Являются ли сравниваемые когорты сопоставимыми?

а) когорты сопоставимы по наиболее важному критерию (укажите критерий) 1

б) когорты сопоставимы по дополнительному критерию (укажите критерий) 1

Оценка исходов

6. Какой источник информации об исходах использовался?

а) независимая оценка с ослеплением 1

б) сведения из баз данных, извлеченные по идентификатору пациента 1

в) самоотчет пациента (без документального подверждения) 0

г) не указан 0

7. Была ли продолжительность наблюдения достаточной для возникновения интересующих исходов?

а) да (указать достаточную продолжительность наблюдения для регистрации интересующих исходов) 1

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

б)нет или не ясно 0

8. Каково было выбывание пациентов?

а) выбывших пациентов не было 1

б) выбывание пациентов было незначительным и, скорее всего, не привело к возникновению систематической ошибки (доля завершивших исследование пациентов достаточна (укажите %) либо приведена характеристика выбывших пациентов) 1

в) доля пациентов, завершивших исследование, недостаточна (укажите %), и не приведена характеристика выбывших пациентов 0

г) не описано 0

Максимальная сумма баллов 9

Результаты оценки рисков систематических смещений мы предлагаем интерпретировать следующим образом:

• исследования с 5 и менее баллами (из 9 возможных) имеют высокий риск систематических ошибок,

• исследования с 6 и 7 баллами - средний риск систематических ошибок,

• исследования с 8 и 9 баллами - низкий риск систематических ошибок.

Общее суждение о методологическом качестве нерандомизированных КИ мы рекомендуем выносить с учетом двух аспектов:

1. Риск систематических ошибок (может быть низким, средним, высоким), оцениваемый по шкале NOS.

2. Вероятность некорректности результатов статистического анализа (может быть низкой, средней, высокой), которая должна оцениваться экспертом с привлечением соответствующих методических материалов, например [18, 19].

Благодарность. Авторы благодарны канд. биол. наук Н. С. Андреевой за участие в подготовке материала.

о ц,

о

4 о н ш

5

18

CL

О

LQ _0 ш

X

ш

о ^

о

X

ш

о х

ш

ЛИТЕРАТУРА

1. Norris S. L., Atkins D. Challenges in using nonrandomized studies in systematic reviews of treatment interventions. Ann Intern Med. 2005; 142(12 Pt 2): 1112-1119.

2. The NICE glossary. URL: http://www.nice.org.uk/website/glossary/ glossary.jsp.

3. Glossary of Terms in The Cochrane Collaboration. Version 4.2.5 Updated May 2005. URL: http://www.cochrane.org/glossary.

4. Rochon P. A., Gurwitz J. H., Sykora K., Mamdani M., Streiner D. L., Garfinkel S., Normand S. L., Anderson G. M. Reader's guide to critical appraisal of cohort studies: 1. Role and design. BMJ. 2005; 330(7496): 895-897.

5. Mamdani M., Sykora K., Li P., Normand S. L., Streiner D. L., Austin P. C., Rochon P. A., Anderson G. M. Reader's guide to critical appraisal of cohort studies: 2. Assessing potential for confounding. BMJ. 2005; 330(7497): 960-962.

6. Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0 [updated March 2011], 13.5.2.3. The Cochrane Collaboration, 2011.

7. Deeks J. J., Dinnes J., D'Amico R., Sowden A. J., Sakarovitch C., Song F., Petticrew M., Altman D. G. International Stroke Trial Collaborative Group; European Carotid Surgery Trial Collaborative Group. Evaluating non-randomised intervention studies. Health Technol Assess. 2003; 7(27): iii-x, 1-173.

8. Downs S. H., Black N. The feasibility of creating a checklist for the assessment of the methodological quality both of randomised and non-randomised studies of health care interventions. J Epidemiol Community Health. 1998; 52(6): 377-384.

9. Wells G. A., Shea B., O'Connell D., Peterson J., Welch V., Losos M., Tugwell P. The Newcastle-Ottawa Scale (NOS) for assessing the quality of nonrandomised studies in meta-analyses. URL: http:// www.ohri.ca/programs/clinical_epidemiology/oxford.asp.

10. Lopez L. M., Chen M., Mullins S., Curtis K. M., Helmerhorst F. M. Steroidal contraceptives and bone fractures in women: evidence from observational studies. Cochrane Database Syst Rev. 2012; 8: CD009849.

11. Rees K., Stowe R., Patel S., Ives N., Breen K., Ben-Shlomo Y., Clarke C. E. Anti-hypertensive drugs as disease-modifying agents for Parkinson's disease: evidence from observational studies and clinical trials. Cochrane Database Syst Rev. 2011; №11: CD008535.

12. Jin H., Leng Q., Li C. Dietary flavonoid for preventing colorectal neoplasms. Cochrane Database Syst Rev. 2012; 8: CD009350.

13. Ross L. E., Grigoriadis S., Mamisashvili L., Koren G., Steiner M., Dennis C. L., Cheung A., Mousmanis P. Quality assessment of observational studies in psychiatry: an example from perinatal psychiatric research. Int J Methods Psychiatr Res. 2011; 20(4): 224-234.

14. Stang A. Critical evaluation of the Newcastle-Ottawa scale for the assessment of the quality of nonrandomized studies meta-analyses. Eur J Epidemiol. 2010; 25(9): 603-605.

15. Berger M. L., Martin B. C., Husereau D., et al. A Questionnaire to Assess the Relevance and Credibility of Observational Studies to Inform Health Care Decision Making: An ISPOR-AMCP-NPC Good Practice Task Force Report . Value in Health, 2014, 17, 143-156.

16. von Elm E., Egger M. The scandal of poor epidemiological research. BMJ. 2004; 329(7471): 868-869.

17. von Elm E., Altman D. G., Egger M., Pocock S. J., G0tzsche P. C., Vandenbroucke J. P. STROBE Initiative. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. Lancet. 2007; 370(9596): 1453-1457.

18. Ланг Т., Альтман Д. Основы описания статистического анализа в статьях, публикуемых в биомедицинских журналах. Руководство «Статистический анализ и методы в публикуемой литературе (САМПЛ)». Медицинские технологии. Оценка и выбор. 2014; 1(15), 11-16.

19. Реброва О. Ю. Описание статистического анализа данных в оригинальных статьях. Типичные ошибки. Журнал неврологии и психиатрии им. C .C. Корсакова. 2010; 110(11): 71-74.

REFERENCES