CC BY
57
Practical Aspects of Epidemiology and Vaccine Prevention
https://doi.org/10.31631/2073-3046-2022-21-3-80-89
AMSTAR 2 - инструмент оценки качества систематических обзоров
Д. В. Квашнина1, Р. В. Полибин2, Н. В. Саперкин*1, А. В. Светличная2, Н. В. Торчинский2
1 ФГБОУ ВО Приволжский исследовательский медицинский университет Минздрава России, г. Нижний Новгород
ФГАОУ ВО ПМГМУ им И. М. Сеченова Минздрава России (Сеченовский Университет), Москва
Резюме
Актуальность. Систематические обзоры, отвечающие стандартам их создания, являются важнейшими аргументом при выборе тактики медицинского вмешательства и при принятии решения в различных сферах медицинской деятельности. Очевидно, что систематические обзоры нуждаются в инструментах оценки их соответствия, предъявляемым им требованиям. В таких инструментах нуждаются как составители обзоров, так и их потребители. Цель. Изучить особенности оценочного инструмента AMSTAR 2 для определения методологического качества систематических обзоров, посвященных исследованиям вмешательств, а также валидировать русскоязычную версию данного вопросника. Материалы и методы. Для проведения описательно-оценочного исследования российских систематических обзоров была использована адаптированная русскоязычная версия AMSTAR 2. Поиск русскоязычных исследований осуществляли в электронной научной библиотеке eLibrary по ключевым словам и их сочетаниями, без хронологических ограничений. Отбор публикаций (всего 10) производили случайным образом, после чего независимо тремя авторами давалась оценка их методологического качества. Согласованность экспертных оценок определяли путем расчета коэффициента по методу Дж. Флейсса, при этом под нулевой гипотезой НО подразумевали k = 0, то есть наблюдаемое согласие между рецензентами равносильно случайному согласию. Статистический анализ проводили в R 4.1.2 (RStudio 1.1.463). Результаты. Анализ показал, что адаптироваанная нами русскоязычная версия AMSTAR 2 в качестве оценочного инструмента позволяет должным образом определять методологическое качество систематических обзоров и метаанализа их потенциальную ценность для потребителей как доказательной информации в отношении эффективности медицинских вмешательств Вывод. Адаптироваанная нами русскоязычная версия AMSTAR 2 дает возможность критически оценивать систематические обзоры не только рандомизированных контролируемых клинических испытаний, но нерандомизированных исследований. Расширенный функционал опросника позволяет однозначно определять правильность методологии написания систематического обзора и метаанализа, что поможет авторам, создающим обзоры, и в поиске качественного обзора.
Ключевые слова: систематический обзор, метаанализ, отчет, AMSTAR 2, методология Конфликт интересов не заявлен.
Для цитирования: Квашнина Д. В., Полибин Р. В., Саперкин Н. В. и др. AMSTAR 2 - инструмент оценки качества систематических обзоров. Эпидемиология и Вакцинопрофилактика. 2022;21(3): 80-89. https://doi:10.31631/2073-3046-2022-21-3-80-89._
A Russian version of AMSTAR 2: validation and guidance
DVKvashnina1, RV Polibin2, NVSaperkin**1, AVSvetlichnaja2, NV Torchinskij2
1 Privolzhsky Research Medical University, N. Novgorod, Russian Federation
2 Sechenov University, Moscow, Russian Federation Abstract
Relevance. Determining the quality of a systematic review is known to be of the main criteria to consider when making a clinical decision. And various assessment tools allow you to determine this, both for the readers themselves and for those who write a systematic review. Aim. In this study we investigate characteristics of the AMSTAR 2 assessment tool to determine the methodological quality of systematic reviews of intervention research, as well as validated the Russian version of this questionnaire. Materials and methods. We used an adapted Russian version of AMSTAR 2 (our own translation) to conduct a d escriptive study of systematic reviews which were made in the Russian language. The search for Russian-language studies was
Для переписки: Саперкин Николай Валентинович, к. м. н., магистр (MSc), доцент, ФГБОУ ВО Приволжский исследовательский медицинский университет Минздрава России, 603074, Нижний Новгород, ул. Бурнаковская, д. 53, кв. 76. +7 (903) 847-45-89, saperkinnv@mail.ru. ©Квашнина Д. В. и др.
* For correspondence: Saperkin Nikolay V., Cand. Sci. (Med.), MSc, associate professor, Privolzhsky Research Medical University, 53-76,
ul. Burnakovskaya, Nizhny Novgorod, 603074, Russia. +7(903) 847-45-89, saperkinnv@mail.ru. ©Kvashnina DV, etal.
Practical Aspects of Epidemiology and Vaccine Prevention
carried out in the electronic scientific library named «eLibrary», by keywords and their combinations, without chronological restrictions. The selection of publications (total 10) was carried out randomly. After that, the methodological quality was assessed independently by three authors. The agreement of expert assessments was measured by calculating the coefficient kappa according to the J. Fleiss' method. Under the null hypothesis H0 we meant kappa equaled 0, that is, the observed agreement between the reviewers is tantamount to random agreement. When testing statistical hypotheses, p < 0.05 was used. Statistical analysis was carried out in R 4.1.2 (RStudio 1.1.463), using the kappaGUI and irr packages. Results. We have translated the AMSTAR 2 questionnaire (16 signalling questions) into Russian, as well as made terminological and methodological additions to it. The preliminary analysis showed that our Russian-language version of this evaluation tool allows us to properly assess the methodological quality of systematic reviews and meta-analyses, their potential value for consumers of evidence-based information regarding the effectiveness of medical interventions. Conclusion. The AMSTAR 2 methodology allows critical evaluation of systematic reviews not only of randomized controlled clinical trials, but of non-randomized trials. The extended functionality of the questionnaire, in particular its Russian version, makes it possible to unambiguously determine the correctness of the methodology for writing a systematic review and meta-analysis, which will help in finding a high-quality review and control at the writing stage.
Keywords: systematic review, meta-analysis, reporting, AMSTAR 2, methodology No conflict of interest to declare.
For citation: Kvashnina DV, Polibin RV, Saperkin NV. et al. A Russian version of AMSTAR 2: validation and guidance. Epidemiology and Vaccinal Prevention. 2022;21(3): 80-89 (In Russ.). https://doi:10.31631/2073-3046-2022-21-3-80-89.
Введение
Нарастающий поток публикаций, касающихся всех актуальных тем, относящихся к медицинским вмешательствам и другим сферам здравоохранения, увеличивает востребованность систематических обзоров. В любой медицинской сфере прибегают к систематическим обзорам, так как они имеют наивысший (I) уровень доказательности результатов и наивысший уровень убедительности доказательств (А) [1]. Такой высокий уровень систематических обзоров, а также метаа-нализов (разновидность обзоров и одновременно их инструмент) достигается тем, что их создание регламентировано и осуществляется высококвалифицированными экспертами. При этом надо принимать во внимание, что систематический обзор - это тоже исследование, и потому оно подвержено влиянию многих факторов, таких как: правильность постановки клинического вопроса, методологии поиска, качества оригинальных исследований, гетерогенности включенных типов дизайнов и др. [1,2].
Таким образом, высокие требования к созданию систематических обзоров (ГОСТы, стандарты, протоколы) не исключают вероятность возникновения систематических ошибок, смещения результатов и т.п. При этом важно, чтобы читатели могли делать выводы по валидным обзорам, а пишущие их контролировать правильность составления [3]. Для оценки написания существует несколько всеобъемлющих инструментов критической оценки систематических обзоров, и методика AMSTAR, например, стала популярной в России [4].
С момента публикации первого варианта опросника AMSTAR было несколько публикаций с анализом этого аналитического инструмента, замечаниями и пожеланиями. В результате разработчики AMSTAR пересмотрели и обновили исходный
вариант с тем, чтобы обеспечить возможность оценки систематических обзоров не только рандомизированных, но и нерандомизированных исследований медицинских вмешательств. Новый вариант содержит расширенные категории вопросов, которые позволяют ясно увидеть методологические ошибки в обзоре, при этом бальная система, присутствующая в первоначальном варианте потеряла свою актуальность [6,7].
Поэтому благодаря пошаговой оценке результатов обзора, направленных на критическую оценку методологии написания, AMSTAR 2 способен помочь как в написании, так и в поиске высококачественных систематических обзоров.
Цель исследования - изучить особенности оценочного инструмента AMSTAR 2 для определения методологического качества систематических обзоров, посвященных исследованиям вмешательств, а также валидировать русскоязычную версию данного вопросника.
Материалы и методы
Проведено описательно-оценочное исследование по заранее разработанному протоколу и критериям включения публикаций в систематические обзоры, посвященные рандомизированным и нерандомизированным исследованиям безопасности и эффективности медицинских вмешательств. Поиск опубликованных русскоязычных систематических обзоров осуществляли в электронной научной библиотеке еЫЬгагу по ключевым словам и их сочетаниями без хронологических ограничений. Отбор систематических обзоров (всего 10) производили случайным образом, что обеспечивало равные шансы для выявления исследований [8-16]. По всем отобранным систематическим обзорам получены полные тексты, после чего независимо тремя экспертами производилась оценка их методологического качества. В работе была
Practical Aspects of Epidemiology and Vaccine Prevention
Таблица 1. AMSTAR 2 - вопросник для критической оценки систематических обзоров рандомизированных и/или нерандомизированных исследований медицинских вмешательств
Table 1. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or nonrandomized studies of healthcare interventions, or both
1. Учтены ли в вопросах исследования и критериях включения в обзор компоненты PICO
Для «Да»: По желанию (рекомендуется)
□ Популяция □ Вмешательство □ Cравнение □ Результат (исход) □ Дизайн исследования □ Сроки наблюдения (например, если эффект от вмешательства ожидается только через несколько лет). □ Да □ Нет
2. Четко ли указано, что методы были выбраны до проведения обзора, а также обоснованы ли в обзоре любые значимые отклонения от протокола?
Для частичного «Да»: Авторы указали на наличие письменного протокола или руководства, в котором содержится следующее: Для «Да»: То же + протокол был предварительно зарегистрирован, а также:
□ Исследуемый вопрос (проблема, тема) □ Стратегия поиска □ Критерии включения/ исключения □ Оценка риска предвзятости (необъективности) □ План проведения метаанализа, при необходимости, И □ План изучения причин гетерогенности □ Обоснование любых отклонений от протокола □ Да □ Частичное Да □ Нет
3. Объяснили ли авторы обзора свой выбор дизайна исследований для включения в обзор?
Для «Да»: обзор должен удовлетворять ОДНОМУ из следующих условий: □ Объяснение причин включения РКИ □ ИЛИ объяснение включения только неРИ □ ИЛИ объяснение включения РКИ и неРИ □ Да □ Нет
4. Использовали ли авторы обзора комплексную стратегию поиска литературы?
Для частичного «Да» (всё перечисленное): Для «Да», также следующее (всё из перечисленного):
□ Поиск минимум в 2 базах данных (соответствовавших поставленному вопросу) □ Указаны ключевые слова и/или стратегия поиска □ Ограничения поиска публикаций обоснованы (напр., по языку) □ Проводили поиск по спискам литературы в отобранных публикациях исследований □ Искали в регистрах исследований □ Привлекались специалисты в области исследовательского вопроса (в качестве соавторов, консультантов) □ Поиск в серой литературе □ Поиск исследований продолжился в течение 24 месяцев после завершения обзора □ Да □ Частичное Да □ Нет
5. Проводили ли авторы обзора параллельный отбор исследований?
Для «Да»: ОДНО из перечисленных: □ Минимум два независимых эксперта согласовали свой выбор исследований и достигли консенсуса в отношении того, какие исследования следует включить в обзор. □ ИЛИ два эксперта отобрали исследования, соответствующие критериям включения в обзор, и достигли согласия (в отношении не менее в 80 процентов отобранных исследований), а остальной отбор проводил один эксперт. □ Да □ Нет
6. Выполняли ли авторы обзора извлечение данных параллельно?
Для «Да»: ОДНО из перечисленных: □ По крайней мере, два составителя обзора достигли согласия относительно того, какие данные следует извлекать из включенных исследований. □ ИЛИ два эксперта извлекали данные из отобранных исследований и достигли согласия (каппа не менее 0,80), а из остальных исследований данные извлекал один эксперт. □ Да □ Нет
7. Представили ли авторы обзора список исключенных исследований и обосновали ли сделанные исключения?
Для частичного «Да»: Для «Да», также должно быть:
□ Дан список всех потенциально пригодных исследований, которые были прочитаны в полнотекстовой форме, но исключены из обзора □ Обосновано исключение из обзора каждого потенциально релевантного исследования. □ Да □ Частичное Да □ Нет
Practical Aspects of Epidemiology and Vaccine Prevention
8. Достаточно ли подробно авторы обзора описали включенные исследования?
Для частичного «Да» (всё перечисленное) описаны: Для «Да», также необходимо подробное описание всего из перечисленного:
□ Популяция □ Вмешательства □ Сравнение □ Результаты (исходы) □ Дизайны исследования □ Популяция □ Вмешательство (в т.ч. дозировки, где необходимо) □ Сравнение (в т.ч. дозировки, где необходимо) □ Описаны условия исследования □ Время наблюдения □ Да □ Частичное «Да» □ Нет
9. Использовали ли авторы обзора адекватные методы для оценки риска систематической ошибки в оригинальных исследованиях, которые были включены в обзор?
РКИ
Для частичного «Да» необходима оценка риска в связи с: Для «Да», также необходима оценка риска в связи с:
□ Отсутствием слепого распределения И □ Отсутствием слепой оценки исходов (не обязательно для таких показателей как смертность от всех причин) □ Нерандомизированным распределением И □ Сообщаемый результат выбран из нескольких измерений или анализов указанного исхода □ Да □ Частичное Да □ Нет □ Включены только неРИ
неРИ
Для частично «Да»: необходима оценка риска в связи с Для «Да», также необходима оценка риска в связи с:
□ Конфаундингом И □ Систематической ошибкой отбора □ Методами, применявшимися для определения воздействий и исходов И □ Отбор интересующего результата из множества измерений или анализов по указанному исходу □ Да □ Частичное Да □ Нет □ Включены только РКИ
10. Указали ли авторы обзора источники финансирования исследований, включенных в обзор?
Для «Да»: □ Необходимы указания на источники финансирования отдельных исследований, включенных в обзор Примечание: сообщение о том, что авторы систематического обзора искали эту информацию, но не обнаружили, также соответствует требованиям □ Да □ Нет
11. Если был проведен метаанализ, использовали ли авторы обзора соответствующие методы статистического обобщения результатов?
РКИ
Для «Да»: □ Авторы обосновали объединение данных в метаанализе □ И они использовали адекватные методы статистического обобщения результатов исследований с поправкой на неоднородность, если таковая имеется □ И изучили причины неоднородности □ Да □ Нет □ Метаанализ не проводился
неРИ
□ Авторы обосновали объединение данных в метаанализе □ И они использовали адекватные методы статистического обобщения результатов исследований с поправкой на неоднородность, если таковая имелась □ И авторы статистически объединили результаты неРИ, и эффекты были скорректированы с учетом конфаундинга, при этом простого объединения исходных данных не было, или же объединение необработанных данных было оправданным, когда не были доступны скорректированные оценки эффекта □ И они предоставили обобщенные оценки эффектов раздельно для РКИ и неРИ при включении в обзор обоих дизайнов □ Да □ Нет □ Метаанализ не проводился
12. Если был метаанализ, оценивали ли авторы обзора потенциальное влияние риска систематической ошибки в оригинальных исследованиях на результаты метаанализа или другого синтеза доказательств?
Для «Да»: □ включены только РКИ с низким риском систематической ошибки. □ ИЛИ, если обобщенная оценка была произведена на РКИ и/или неРИ при наличии риска смещения, авторы анализировали возможное влияние риска смещения на суммарные оценки эффекта □ Да □ Нет □ Метаанализ не проводился
13. Учитывались ли авторами обзора риски смещений в оригинальных исследованиях при интерпретации/обсуждении результатов обзора?
Для «Да»: □ включены только РКИ с низким риском систематической ошибки □ ИЛИ, если были включены РКИ и/или неРИ со средним или высоким риском смещения, в обзоре обсуждалась вероятность влияния риска смещений на полученные результаты □ Да □ Нет
Practical Aspects of Epidemiology and Vaccine Prevention
14. Предоставили ли авторы удовлетворительное объяснение гетерогенности, наблюдаемой в результатах обзора?
Для «Да»: □ значимая неоднородность отсутствовала в результатах □ ИЛИ, при наличии гетерогенности авторы изучали ее источники и обсуждали влияние этого факта на результаты обзора □ Да □ Нет
15. Если авторы проводили количественный синтез, провели ли авторы обзора адекватное исследование смещения (смещение в малых исследованиях) и обсудили ли они его возможное влияние на результаты обзора?
Для «Да»: □ Выполнены графические или статистические тесты на предмет публикационного смещения и обсуждены вероятность и величина воздействия такого смещения □ Да □ Нет □ Метаанализ не проводился
16. Сообщили ли авторы обзора о потенциальных источниках конфликта интересов, включая любое финансирование, полученное ими для проведения обзора?
Для «Да»: □ Авторы сообщили об отсутствии конфликта интересов ИЛИ □ Авторы описали свои источники финансирования и то, как решался вопрос с потенциальным конфликтом интересов □ Да □ Нет
использована собственная русскоязычная версия вопросника AMSTAR 2 (The Assessment of Multiple Systematic Reviews - Оценка различных систематических обзоров), который был разработан в Канаде в 2017 г. [6]. Этот оценочный инструмент является результатом дальнейшего развития хорошо известного вопросника AMSTAR, а также в определенной степени базируется на требованиях ROBINS-I (Risk Of Bias In Non-randomized Studies - of Interventions - Риск смещений в нерандомизированных исследованиях -вмешательствах). Обновления коснулись следующих аспектов: акцент на PICO (пациент, вмешательство, сравнение, исход), подходы к изучению риска систематической ошибки в ходе обобщения доказательств, обоснование выбора дизайна исследования, а также обсуждение возможных причин и значения гетерогенности величин эффекта изучаемого вмешательства.
AMSTAR 2 состоит из 16 вопросов и позволяет оценивать систематические обзоры, в которых анализируются и обобщаются как рандомизированные (РИ), так и нерандомизированные (неРИ) исследования [7]. Как упомянуто выше, использовалась русская версия AMSTAR 2, которая полностью сохранила суть оригинала и адаптирована с учетом отечественной терминологии. Если информация по какому-либо вопросу не предоставлена, дабы избежать сомнений предложено давать ответ «нет». Вариант ответа «частично «да» приемлем, когда целесообразно указать на частичное соблюдение стандарта.
Отличительной особенностью AMSTAR 2 является отсутствие необходимости объединять ответы по отдельным элементам для получения некой общей оценки. Считается более важным учитывать оценку по каждому вопросу. В зависимости от контекста экспертам следует решить какие оценки являются наиболее важными для конкретных обзоров. Разработчиками AMSTAR 2 предложены следующие варианты общей достоверности результатов систематического обзора (в оригинальной версии англ. confidence - уверенность):
Высокая достоверность
Отсутствие или наличие одного некритического недостатка: систематический обзор дает точное и исчерпывающее изложение результатов доступных исследований, посвященных изучаемой проблеме.
Умеренная достоверность
Наличие более одного некритического недостатка, но отсутствуют критические недостатки. Систематический обзор способен предоставить точное обобщение результатов доступных исследований, которые были включены в обзор. Несколько некритических недостатков могут уменьшить доверие к обзору, и в такой ситуации бывает уместно понизить общую оценку с умеренной до низкой достоверности.
Низкая достоверность
Один критический недостаток с некритическими недостатками или без них: наличие у обзора критического недостатка, обзор не дает точного и исчерпывающего обобщения доступных исследований, посвященных интересующей проблеме.
Чрезвычайно низкая достоверность
В обзоре содержится более одного критического недостатка, имеются некритические недостатки, обзор не может предоставить точное и исчерпывающее обобщение доступных исследований.
Согласованность экспертных оценок определяли путем расчет коэффициента каппа «к» по методу Дж. Флейсса, при этом под нулевой гипотезой НО подразумевали к = 0, то есть консенсус экспертов равносилен случайному [2,3]. В формуле
k=
P-P
_e
1-P
Р - процент наблюдаемого согласия, Ре - процентное совпадение. Коэффициент каппа показывает отношение фактически достигнутого согласия к степени согласия, достижимой сверх случайности. В качестве критического уровня значимости использовали р < 0,05. Статистический анализ
проводили в среде R 4.1.2 (RStudio 1.1.463), использовали пакеты kappaGUl и irr.
Результаты и обсуждение
Нами был переведен на русский язык вопросник AMSTAR 2 (табл. 1), а также внесены в него определенные дополнения, не искажающие его сути. Предварительный анализ показал, что наша русскоязычная версия AMSTAR 2 позволяет должным образом определять методологическое качество систематических обзоров и метаанализа их потенциальную ценность для потребителей доказательной информации в отношении эффективности медицинских вмешательств. Ниже приведены пояснения к 16 вопросам, AMSTAR 2.
Ниже приведены дополнительные пояснения для облегчения понимания смысла вопросов в AMSTAR 2.
Вопрос 1. Учтены ли в вопросах исследования и критериях включения в обзор компоненты PICO?
Как правило, PICO (популяция, вмешательство, контрольная группа и исход) служит основой при формулировании исследовательской цели. Иногда в эту схему добавляют еще и временные рамки (например, эффект от вмешательства ожидается только через несколько лет). Формат PICO определяет элементы, которые следует подробно описать в отчете о систематическом обзоре. Эти элементы должны позволять эксперту судить о выборе исследований и их сочетаемости, а также позволять читателю обзора определять применимость результатов к собственной практике. В публикациях не всегда компоненты PICO указаны четко, но они должны быть различимы при внимательном чтении резюме, введения и раздела, посвященного материалам и методам. Ответ «Да» на этот вопрос подразумевает, что все 4 элемента PICO так или иначе описаны в обзоре.
Вопрос 2. Четко ли указано, что методы были выбраны до проведения обзора, а также обоснованы ли в обзоре любые значимые отклонения от протокола?
Изучаемые вопросы и методы, используемые в обзоре, планируются до начала проведения обзора. Соблюдение разработанного протокола, как известно, снижает риск систематической ошибки в обзоре. Указания на действия по заранее разработанному плану могут быть, как минимум, отражены в тексте публикации (ответ «Частично да»). Ответ «Да» возможен в том случае, если авторы продемонстрировали, что до проведения обзора они разработали письменный протокол (путем ссылок на регистр или другую независимую структуру, напр., этический комитет). Обычно рецензенты сравнивают публикацию систематического обзора с зарегистрированным протоколом, если последний был доступен. При наличии отклонений от протокола, необходимо установить, было ли о них сообщено и обоснованы ли они авторами обзора. Явные расхождения, которые не удалось объяснить, требуют понижения оценки.
Вопрос 3. Объяснили ли авторы обзора свой выбор дизайна исследований для включения в обзор?
Авторам обзора надлежит указывать, следовали ли они какой-либо стратегии при включении исследований в свой обзор. Обычно (это может быть установлено на основе заявления авторов) сообщается, что обзор ограничен только РКИ или неполным описанием эффектов лечения. Это обосновывается отсутствием данных о некоторых исходах (особенно неблагоприятных), недостаточной статистической обработкой данных, нерепрезентативностью выборок и пр. Если ответ на подобный вопрос утвердительный, включение нерандомизированных исследований вмешательства (вмешательств) оправдано. Использование в обзоре только нерандомизированных исследований оправдано, когда РКИ не могут дать необходимые данные об исходах или в случае, когда обзоры РКИ уже были завершены, а обзор нерандомизированных исследований способен дополнить то, что уже известно. Включение как рандомизированных, так и нерандомизированных исследований возможно для получения исчерпывающей картины пользы и вреда, связанных с вмешательством. В этой ситуации рекомендуют, чтобы эти два типа исследований проходили оценку и были отдельно обобщались (если применим метаанализ).
Вопрос 4. Использовали ли авторы обзора комплексную стратегию поиска литературы?
Поиск публикаций исследований, как известно, проводиться хотя бы в двух библиографических базах данных с указанием года и названия базы данных (напр. MEDLINE, Central, EMBASE, eLibrary). В публикации также приводятся ключевые слова и/или предметные рубрики (напр., MESH, EMTREE). Полную стратегию поиска можно получить по запросу у авторов обзора. Поиски дополняются проверкой опубликованных обзоров, специализированных реестров, публикаций экспертов в конкретной области, а также просмотром списка литературы найденных исследований и при необходимости -«серой» литературы (диссертации, материалы конференций, регистры клинических испытаний и др.). Авторам обзора следует рассматривать публикации на всех доступных языках или же обосновывать введенные языковые ограничения.
Вопрос 5. Проводили ли обзора авторы параллельно отбор исследований?
Оптимальным подходом является, чтобы два автора определяли соответствие исследований критериям включения в систематические обзоры, что включает в себя проверку характеристик исследования (начиная с названия, резюме и полного текста) на соответствие элементам исследуемого вопроса. При возникновении разногласий при выборе исследования должен быть использован процесс достижения консенсуса. Если пригодность исследований определял один человек, то второй -проверяет согласие по выборке исследований,
и им необходимо получить показатель (каппа) согласованности заключений 0,80 или выше.
Вопрос 6. Выполняли ли авторы обзора извлечение данных параллельно?
Отбор публикаций для обзора производиться как минимум двумя авторами, независимо друг от друга. Возникшие разногласия следует разрешить путем поиска консенсуса. В случае, если отбор проводил один эксперт, то второй - анализирует выборку исследований, показатель согласованности (каппа) между ними не может быть ниже 0,80.
Вопрос 7. Представили ли авторы обзора список исключенных исследований и обосновали ли сделанные исключения?
Этот вопрос требует от авторов обзора предоставления полного списка потенциально адекватных исследований с обоснованием исключения для каждого из них. Причины к исключению исследований из обзора могут быть различными: нерелевантность популяции, вмешательства или контроля. В то же время, исключение не может быть основано на риске смещения, который в процессе выполнения обзора рассматривается отдельно. Подчеркнем, что необоснованное исключение исследований может исказить результаты обзора.
Вопрос 8. Достаточно ли подробно авторы обзора описали включенные исследования?
В публикации необходимо исчерпывающее описание участников, вмешательств, контроля, результатов, дизайна, анализа, а также условий проведения исследования, чтобы читатель мог судить о том, насколько правильно организовано исследование (с учетом формата PICO) и соответствует ли изучаемой популяции и вмешательству, представляющему для него интерес. Подобные характеристики также создают основу для изучения гетерогенности эффектов вмешательства (напр., по дозе, возрастным группам, клиническим условиям и т. д.).
Вопрос 9. Использовали ли авторы обзора подходящие методы для оценки риска систематической ошибки в оригинальных исследованиях, которые были включены в обзор?
Определение риска систематической ошибки является важной частью оценки любого систематического обзора, особенно тех, которые включают нерандомизированные исследования вмешательств. Ключевой аспект такой оценки заключается в том, учли ли составители обзора риск систематической ошибки при интерпретации результатов. Когда обзор ограничивается рандомизированными контролируемыми испытаниями, рекомендуется помнить о следующих источниках систематической ошибки и насколько оценка их риска была адекватной: проведение рандомизации, отклонения от запланированных вмешательств, пропуски данных об исходах, статистическая обработка результатов и их отбор.
В отношении нерандомизированных исследований важно отметить необходимость оценки риска на систематической основе, предпочтительно с использованием надежного оценочного инструмента. В случае использования какой-либо нестандартной методики нужно быть уверенным, что она действительно способна выявлять серьезные методологические недостатки в исследованиях. С учетом рекомендаций вопросника ROBINS-I наибольшее значение для проведения оценки риска смещений в нерандомизированных исследованиях имеют следующие варианты систематических ошибок: конфаун-динг, систематическая ошибка при отборе участников, ошибка классификации и др.
Вопрос 10. Указали ли авторы обзора источники финансирования исследований, включенных в обзор?
При выполнении систематического обзора для каждого исследования, включенного в обзор, представляется важным документировать источники финансирования или фиксировать, что соответствующая информация не была предоставлена в отчете о результатах исследования.
Вопрос 11. Если был проведен метаана-лиз, использовали ли авторы обзора соответствующие методы статистического обобщения результатов?
В протоколе обзора необходимо четко указать принципы, на которых было основано решение о проведении метаанализа данных из включенных исследований. Если метаанализ посчитали уместным, то в случае РКИ необходимо обосновать решения авторов использовать модели с фиксированным или случайными эффектами и изложить методы, которые они намеревались использовать для изучения гетерогенности. Необходимо отметить, что в нерандомизированных исследованиях популяции сильно различаются по размеру. Если такие результаты будут объединены с результатами небольших РКИ, то в обобщенных оценках эффекта будут преобладать данные из нерандомизированных исследований. Кроме того, на результаты нерандомизированных исследований могут повлиять различные смещения, а это означает, что итоговые оценки окажутся необъективными. Очевидно, авторам обзоров необходимо оценивать отдельно разные типы исследований. Как правило, при объединении в обзоре результатов нерандомизированных исследований авторы объединяют полностью скорректированные результаты, а не статистически неверифицирован-ные данные. В последнем случае необходимо четкое обоснование такого шага.
Вопрос 12. Если проводился метаанализ, оценивали ли авторы обзора потенциальное влияние риска систематической ошибки в оригинальных исследованиях на результаты метаа-нализа или другого синтеза доказательств?
В тех случаях, когда в обзор включены только высококачественные РКИ, обсуждению потенциального влияния систематической ошибки на результаты может быть уделено не так много внимания. Но если же были использованы РКИ различного уровня доказательности, авторам с помощью регрессионного анализа или другим методом необходимо оценить их влияние на результаты исследований с низким риском систематической ошибки. В случае нерандомизированных исследований стоит оценивать только исследования с низким или умеренным риском систематической ошибки и/или только исследования с низким риском систематической ошибки (если таковые имеются). Если метаанализ не проводился, авторам необходимо предоставить определенные комментарии о вероятном влиянии риска систематической ошибки на результаты отдельных исследований.
Вопрос 13. Учитывались ли авторами обзора риски смещений в оригинальных исследованиях при интерпретации/обсуждении результатов обзора?
Даже если метаанализ и не проводился, авторам обзора необходимо учитывать влияние риска систематической ошибки в обсуждение его результатов. Это важно всегда, но особенно, когда обзоры включают рандомизированные контролируемые испытания с переменным риском систематической ошибки, а также когда выполняют обзор нерандомизированных исследований. Не следует ограничиваться лишь влиянием риска систематической ошибки на обобщенные оценки, но важно также учитывать, может ли оно объяснять различия между результатами отдельных исследований. Учет авторами риска систематической ошибки приобретает особое значение, если они дают какие-либо рекомендации по оказанию медицинской помощи.
Вопрос 14. Предоставили ли авторы удовлетворительное объяснение гетерогенности, наблюдавшейся в результатах обзора?
Существует множество потенциальных причин гетерогенности результатов как неРКИ, так и РКИ. Этими причинами могут быть: различные дизайны исследования, методы анализа, различные популяции, а также отличающаяся интенсивности вмешательств, а в случае с фармакологическими препаратами - дозировки. Кроме того, в качестве потенциальных источников гетерогенности можно рассматривать элементы PICO, а также различные систематические ошибки.
Вопрос 15. Если авторы проводили количественный синтез, провели ли авторы обзора адекватное исследование смещения (смещение в малых исследованиях) и обсудили ли они его возможное влияние на результаты обзора?
В силу своей сложности, ответ на вопрос о публикационном смещении (систематической ошибке) может вызвать трудности как у составителей конкретного обзора, так и у его рецензентов. Как правило, применяют статистические
и графические критерии, которые могут указать на присутствие публикационного смещения. Однако отрицательный результат еще не гарантирует отсутствие такого смещения ввиду недостаточной чувствительности указанных критериев. В определенной степени важность публикационного смещения зависит от контекста и условий эксперимента. Влиянию публикационного смещения с большей вероятностью могут быть подвержены спонсируемые производителем, с вероятно надежной методологией, исследования (напр., лекарственные препараты, устройства, предполагаемые токсины) по сравнению с такими же исследованиями, проведёнными без зависимости от производителя. Ключевой аспект заключается в том, сделали ли авторы все возможное для выявления такого смещения путем более глубокого и интенсивного поиска литературы. Важно проверить, были ли они осведомлены о вероятном влиянии публикационного смещения на интерпретацию и обсуждение результатов, а также проводился ли анализ чувствительности.
Вопрос 16. Сообщили ли авторы обзора о потенциальных источниках конфликта интересов, включая любое финансирование, полученное ими для проведения обзора?
Систематические обзоры, финансируемые заинтересованными сторонами, могут давать результаты, которые с большей вероятностью благоприятствуют вмешательству, чем независимые обзоры. В связи с этим, авторам обзора следует сообщать как о своих прямых источниках финансирования, так и об иных связях. Обзор может быть профинансирован независимо, но авторы оказываются связаны с компаниями, производящими продукты, включенные в систематический обзор. Профессиональные конфликты интересов достаточно трудно оценить, но об этом можно судить по тому факту, что рецензенты много публиковались в рецензируемой области, и их исследования включены в систематический обзор.
Для проведения валидации вопросника было отобрано 10 систематических обзоров, каждый из которых проходил независимое рассмотрение тремя экспертами. В таблице 2 представлены результаты оценки уровней риска по 16 вопросам, а также степень согласованности экспертного мнения в количественном и качественном виде. По большинству вопросов уровень согласия колебался от среднего до высокого, при этом в ряде случаев показатель каппа достигал 1,0, т.е. является приемлемым.
Заслуживают особого внимания расхождение во мнениях экспертов по шести вопросам (вопрос 8, 1 1-15). Отметим, что по вопросу 8 оценки совпали полностью по 2 обзорам и частично (т.е. присутствовала однонаправленность, например, «частичное Да» и «Да») - по 3 обзорам. Следовательно, в 50% относительное согласие было достигнуто. Вопрос 11 достаточно объемный и подразумевает дифференцированный
Таблица 2.
Оценка согласия между 3 рецензентами
Сигнальные вопросы Каппа Флейсса Значение р Интерпретация по Fleiss et э1 (2003)
Вопрос 1 0,733 <0,0001 Высокое
Вопрос 2 0,423 0,021 Среднее
Вопрос 3 0,464 0,011 Среднее
Вопрос 4 0,426 0,02 Среднее
Вопрос 5 0,829 <0,0001 Высокое
Вопрос 6 0,760 <0,0001 Высокое
Вопрос 7 1,0 <0,0001 Высокое
Вопрос 8 0,167 0,21 Низкое
Вопрос 9 0,529 <0,0001 Среднее
Вопрос 10 1,0 <0,0001 Высокое
Вопрос 11 0,108 0,442 Низкое
Вопрос 12 0,091 0,516 Низкое
Вопрос 13 0,375 0,04 Низкое
Вопрос 14 -0,050 0,784 Низкое
Вопрос 15 0,215 0,127 Низкое
Вопрос 16 1,0 <0,0001 Высокое
подход при рассмотрении исследований различного дизайна. По этому вопросу мнение совпало полностью по 2 обзорам (совпадение и положительных, и отрицательных ответов) и совпало частично - по 3 обзорам. Аналогичная картина наблюдалась и для вопроса 12. Отметим, что по вопросу 13 оценки совпадали полностью при изучении 7 обзоров, т.е. для подавляющего количества обзоров согласие было достигнуто. Наиболее выраженные расхождения вызывал ответ на вопрос 14. При ответе на вопрос 15 мнение совпало полностью по 5 обзорам и частично - по 3 обзорам, т.е. в большинстве случаев наблюдались однонаправленные оценки. Важной отличительной особенностью вопросов с 11 по 15 является наличие дополнительного варианта отрицательного ответа, а именно «метаанализ не проводился». Вероятно рецензенты не всегда могли учитывать этот нюанс, хотя мы обращаем внимание на смысловую значимость этой формулировки.
Заключение
Систематические обзоры исследований, в частности касающиеся медицинских вмешательств часто включают не только рандомизированные, но и нерандомизированные исследования. Методика AMSTAR остается в нашей стране популярным инструментом для критической оценки систематических обзоров рандомизированных контролируемых клинических исследований. Тем не менее, этот
подход проходил дальнейшую доработку, чтобы дать возможность оценивать систематических обзоры, в основе которых, в том числе, лежат и нерандомизированные сравнительные исследования лечебно-профилактических вмешательств. Как известно, пересмотренная методика, получившая название AMSTAR 2, сохранила 10 исходных элементов и сейчас содержит всего 16 вопросов (по сравнению с 11 в исходном вопроснике). Она имеет более простую категоризацию ответов, чем исходный AMSTAR, а общее суждение, прежде всего, формируется, исходя из наличия недостатков, или слабых мест в ключевых пунктах обзора. Поэтому важно подчеркнуть, что вопросник AMSTAR 2 не предназначен для получения некоего суммарного заключения в баллах. С учетом исключительного значения для принятия решений высококачественных систематических обзоров AMSTAR 2 может облегчить их поиск. Тем не менее, равное значение имеет и необходимость корректного и максимально подробного описания методологии и результатов систематического обзора еще на этапах подготовки отчета или рукописи стат(ьи. В связи с этим, убедительность, ясность и воспроизводимость систематического обзора во многом могут быть обеспечены соблюдением рекомендаций, которые изложены в опросном листе PRISMA 2020 (The Preferred Reporting Items for Systematic reviews and Meta-Analyses - Предпочтительные элементы отчетности для систематических обзоров и метаанализов).
Practical Aspects of Epidemiology and Vaccine Prevention
Литература
1. Chalmers I, Hedges LV, Cooper H. A brief history of research synthesis. Eval Health Prof. 2002;25 (1):12-37.
2. Polkki T, Kanste O, Kaariainen M, et al. The methodological quality of systematic reviews published in high-impact nursing journals: a review of the literature. J Clin Nurs. 2014;23(3-4):315-32.
3. Page MJ, McKenzie JE, Bossuyt PM, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ 2021;372:n71.
4. Реброва О. Ю., Федяева В. К. Метаанализы и оценка их методологического качества. Русскоязычная версия вопросника AMSTAR. Медицинские технологии. 2016. № 1: С. 10-16.
5. Shea BJ, Reeves BC, Wells G, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358:j4008.
6. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or nonrandomised studies of healthcare interventions, or both. Доступно на: https://amstar.ca/docs/AMSTAR-2.pdf Ссылка активна на 8.04.2022 г.
7. Гринь А. А., Кордонский А. Ю., Львов И. С. и др. Применение латерального ретроплеврального и ретродиафрагмального доступа у пациентов с травмой и заболеваниями позвоночника: систематический обзор и метаанализ. Вопросы нейрохирургии им. Н.Н. Бурденко. 2021. №3: С. 94-103.
8. Журавлева М. В., Городецкая Г. И., Резникова Т. С. и др. Метааналитическая оценка клинической эффективности комплексного метаболического нейропротектора у больных с хронической ишемией головного мозга. Антибиотики и химиотерапия. 2021. № 66: С. 39-53.
9. Воронова В. М., Лебедева С. А., Секачева М. И. и др. Сравнение эффективности радио- и комбинированной радио- и иммунотерапии: систематический обзор и метаанализ. РМЖ. 2020. № 26(1): С. 67-73.
10. Хрыщанович В. Я., Большов А. В., Скобелева Н. Я. Ривароксабан снижает риск развития посттромботического синдрома: систематический обзор и метаанализ. Кардиология в Беларуси. 2021. №13(4): С.650-662.
11. Касян В. Н., Зайцев А. В., Перепанова Т. А. и др Изучениеклинико-бактериологической эффективности нифуратела при терапии инфекций мочевыводящих путей. Систематический обзор эффективности и безопасности нифуратела для пациентов с инфекцией нижних мочевыводящих путей. Акушерство и гинекология. 2021. № 6: С. 168-176.
12. Мазина Н. К., Мазин П. В., Редькина Д. В. Влияние циклоферона на эффективность фармакотерапии инфекционных заболеваний широкого спектра у детей и взрослых. Антибиотики и Химиотерапия. 2018. № 63(11-12):С. 31-40.
13. Шелыгин Ю. А., Нагудов М. А., Пономаренко А. А. и др. Пероральная антибиотикопрофилактика в колоректальной хирургии (систематический обзор литературы и сетевой метаанализ). Колопроктология. 2018. №(3): С.103-114.
14. Босиева А. Р., Ермощенкова М. В., Зикиряходжаев А. Д. и др. Систематический обзор и метаанализ результатов органосохраняющих операций после неоадъювантной терапии у больных раком молочной железы. Сибирский онкологический журнал. 2021. № 20(2): С.118-126.
15. Баранов И. И., Зароченцева Н. В., Малиновская В. В. и др. Неинвазивные методы лечения пациенток с ВПЧ-инфекцией и цервикальными интраэпителиальными неоплазиями. Акушерство и гинекология: новости, мнения, обучение. 2021. №9(1): С. 31-43.
16. Буркин А. В., Свистушкин В. М., Никифорова Г. Н. и др. Глюкозаминилмурамилдипептид в терапии инфекционных заболеваний респираторного тракта. Вестник отоларингологии. 2019. № 84(6): С.118-131.
References
Chalmers I, Hedges LV, Cooper H. A brief history of research synthesis. Eval Health Prof. 2002;25 (1):12-37.
Pölkki T, Kanste O, Kääriäinen M, et al. The methodological quality of systematic reviews published in high-impact nursing journals: a review of the literature. J Clin Nurs. 2014;23(3-4):315-32. Page MJ, McKenzie JE, Bossuyt PM, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ 2021;372:n71.
Rebrova OYu, Fedyaeva VK. Meta-analyses and evaluation of their methodological quality. Russian version of the AMSTAR questionnaire. Medicinskie tehnologii. 2016;1:10-16 (In Russ). Shea BJ, Reeves BC, Wells G, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ. 2017;358:j4008. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or nonrandomised studies of healthcare interventions, or both. Available at https://amstar.ca/docs/AMSTAR-2.pdf Available on 8.04.2022.
Grin AA, Kordonsky AYu, Lvov IS, et al. The use of lateral retropleural and retrodiaphragmatic access in patients with trauma and diseases of the spine: a systematic review and meta-analysis. Voprosy nejrohirurgii im. N.N. Burdenko. 2021;3:94-103 (In Russ)
Zhuravleva MV, Gorodetskaya GI, Reznikova TS, et al. Meta-analytical evaluation of the clinical efficacy of a complex metabolic neuroprotector in patients with chronic cerebral ischemia. Antibiotiki i himioterapija. 2021; 66:39-53 (In Russ).
Voronova VM, Lebedeva SA, Sekacheva MI, et al. Comparison of the effectiveness of radio- and combined radio- and immunotherapy: a systematic review and meta-analysis. RMZh. 2020;26(1):67-73 (In Russ). Khryshchanovich VYa, Bolshov AV, Skobeleva NYa. Rivaroxaban reduces the risk of post-thrombotic syndrome: a systematic review and meta-analysis. Kardiologija v Belarusi. 2021;13(4):650-662 (In Russ). Kasyan VN, Zaitsev AV, Perepanova TA, et al. Study of the clinical and bacteriological efficacy of nifuratel in the treatment of urinary tract infections. Systematic review of the efficacy and safety of nifuratel in patients with lower urinary tract infection. Akusherstvo i ginekologija. 2021;6:168-176 (In Russ).
Mazina NK, Mazin PV, Redkina DV, et al. Influence of cycloferon on the effectiveness of pharmacotherapy of broad-spectrum infectious diseases in children and adults. Antibiotiki i Himioterapija. 2018;63(11-12):31-40 (In Russ).
Shelygin YuA, Nagudov MA, Ponomarenko AA, et al. Oral antibiotic prophylaxis in colorectal surgery (systematic literature review and network meta-analysis). Koloproktologija. 2018;3:103-114 (In Russ). Bosieva AR, Ermoshchenkova MV, Zikiryakhodzhaev AD, et al. Systematic review and meta-analysis of the results of breast-conserving surgery after neoadjuvant therapy in patients with breast cancer. Sibirskij onkologicheskij zhurnal. 2021;20(2):118-126. (In Russ)
Baranov II, Zarochentseva NV, Malinovskaya VV, et al. Non-invasive methods of treatment of patients with HPV and cervical intraepithelial neoplasia. Akusherstvo i ginekologija: novosti, mnenija, obuchenie. 2021;9(1): 31-43 (In Russ).
Burkin AV, Svistushkin VM, Nikiforova GN, et al. Glucosaminylmuramyl dipeptide in the treatment of infectious diseases of the respiratory tract. Vestnik otolaringologii. 2019;84(6):118-131 (In Russ).
Об авторах
• Дарья Валерьевна Квашнина - старший преподаватель кафедры эпидемиологии, микробиологии и доказательной медицины, ФГБОУ ВО Приволжский исследовательский медицинский университет Минздрава России. +7 (906) 366-81-49, daria_tsariova@mail.ru.
• Роман Владимирович Полибин - к. м. н., доцент кафедры эпидемиологии и доказательной медицины Института общественного здоровья им. Ф.Ф. Эрисмана, ФГАОУ ВО ПМГМУ им. И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский Университет). +7 (926) 349-52-43, polibin_r_v@staff.sechenov.ru. ОРСЮ: 0000-0003-4146-4787.
• Николай Валентинович Саперкин - к. м. н., магистр (МБс), доцент, ФГБОУ ВО Приволжский исследовательский медицинский университет Минздрава России. +7 (903) 847-45-89, saperkinnv@mail.ru. ОРСЮ: 00000002-3629-4712.
• Анастасия Владимировна Светличная - ассистент кафедры эпидемиологии и доказательной медицины Института общественного здоровья им Ф.Ф. Эрисмана, ФГАОУ ВО ПМГМУ им. И.М. Сеченова Министерство здравоохранения РФ (Сеченовский Университет). +7 (915) 395-51-96, svetlichnaya_a_v@staff.sechenov.ru.
• Николай Викторович Торчинский - к. м. н., доцент кафедры эпидемиологии и доказательной медицины Института общественного здоровья им. Ф.Ф. Эрисмана, ФГАОУ ВО ПМГМУ им И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский Университет). +7 (926) 313-01-71, torchinskiy_n_v@staff.sechenov.ru.
Поступила: 09.04.2022. Принята к печати: 25.06.2022.
Контент доступен под лицензией СС БУ 4.0.
About the Authors
• Darya V. Kvashnina - senior teacher, Privolzhsky Research Medical University. +7 (906) 366-81-49, daria_tsariova@mail.ru.
• Roman V. Polibin - Cand. Sci. (Med.), associate professor, Sechenov University. +7 (926) 349-52-43, polibin_r_v@staff.sechenov.ru. ORCID: 0000-00034146-4787.
• Nikolay V. Saperkin - Cand. Sci. (Med.), MSc, associate professor, Privolzhsky Research Medical University. +7 (903) 847-45-89, saperkinnv@mail.ru. ORCID: 0000-0002-3629-4712.
• Anastasiya V. Svetlichnaya - assistant, Sechenov University. +7 (915) 395-5196, svetlichnaya_a_v@staff.sechenov.ru.
• Nikolay V. Torchinskiy - Cand. Sci. (Med.), associate professor, Sechenov University. +7 (926) 313-01-71, torchinskiy_n_v@staff.sechenov.ru.
Received: 09.04.2022. Accepted: 25.06.2022.
Creative Commons Attribution CC BY 4.0.
