Мета-анализы и оценка их методологического качества. Русскоязычная версия вопросника amstar

Реброва Ольга Юрьевна; Федяева Влада Константиновна

о ц,

о

4 о н ш

5

10

Мета-анализы и оценка их методологического качества. Русскоязычная версия вопросника AMSTAR

О. Ю. Реброва1, 2, 3, В. К. Федяева2, 3

1 Российский национальный исследовательский медицинский университет им. Н. И. Пирогова, Москва, Россия

2 Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва, Россия

3 Научно-исследовательский финансовый институт Министерства финансов РФ, Москва, Россия

Результаты мета-анализа часто считают наивысшим доказательством эффективности и безопасности лекарственных препаратов; однако известно, что методологическое качество мета-анализов и систематических обзоров существенно варьирует и, соответственно, могут различаться как сами оценки изучаемых эффектов, так и уровни их доказательности. В 2007 г. был разработан валидизированный инструмент по оценке методологического качества систематических обзоров AMSTAR, основанный на комбинации элементов многочисленных предыдущих систем оценки. Мы выполнили его перевод на русский язык и внесли некоторые пояснения. В публикации представлена русскоязычная версия вопросника AMSTAR, которая, как мы полагаем, может использоваться для более объективной оценки доказательной базы медицинских технологий.

КЛЮЧЕВЫЕ СЛОВА: систематический обзор, мета-анализ, вопросник, AMSTAR, русскоязычная версия, методологическое качество.

Meta-analyses and Assessment of Their Methodological Quality. Russian Version of AMSTAR Questionnaire

O. Yu. Rebrova1, 2, 3, V. K. Fedyaeva2, 3

1 N. I. Pirogov Russian National Research Medical University, Moscow, Russia

2 Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, Russia

CM

— 3 Financial Scientific Research Institute at the Ministry of Finances of Russian Federation, Moscow, Russia

— Meta-analysis is often considered as the highest level evidence on the effectiveness and safety of drugs and other medical technologies; however, the Q- methodological quality of meta-analyses and systematic reviews varies considerably, which leads to the differences of effect values and the levels of lq evidence of the results. In 2007, validated tool to assess the methodological quality of systematic reviews AMSTAR has been developed. It is based on ^ the combination of many elements of the previous evaluation systems. We have translated AMSTAR into Russian and made some extra explanation. The

current publication presents the Russian-language version of the questionnaire. We believe that the Russian version of AMSTAR questionnaire can be < used for a more objective assessment of the evidence of medical technology.

5 KEYWORDS: systematic review, meta-analysis, questionnaire, AMSTAR, Russian version.

CD О

8 При оценке доказательной базы эффективности и мого вмешательства относительно одного и того же ^ безопасности медицинских технологий выполняется вмешательства сравнения, обычно плацебо или стань анализ и синтез информации. Анализ включает отбор, дартного ведения (в классическом мета-анализе), так з: рассмотрение результатов и оценку методологическо- и в проведении непрямых сравнений медицинских о го качества отдельных оригинальных исследований. технологий, что в общем случае называют сетевым

Синтез информации может заключаться как в объеди- мета-анализом (о нем мы писали подробно в [1, 2]).

§ нении результатов нескольких сходных исследований Часто считают, что мета-анализ обеспечивает на-

2 и получении обобщающей оценки эффекта изучае- ивысшее качество доказательств эффективности и

безопасности лекарственных препаратов. Так, Постановлением Правительства РФ № 871 от 28.08.2014 «Правила формирования перечней лекарственных препаратов для медицинского применения и минимального ассортимента лекарственных препаратов, необходимых для оказания медицинской помощи» безальтернативно предусмотрено присвоение наивысшего (I) уровня доказательности результатов и наивысшего уровня убедительности доказательств (А) систематическим обзорам и мета-анализам. В то же время известно, что методологическое качество мета-анализов и систематических обзоров существенно варьирует (см., например, [3-6]), что приводит к различиям как самих оценок изучаемых эффектов, так и уровня доказательности их результатов.

В настоящее время разработаны валидизирован-ные инструменты-вопросники для оценки методологического качества мета-анализов. В данной публикации мы приводим краткое описание мета-анализа как способа синтеза информации и наш перевод на русский язык международного вопросника ЛМБТАЯ, предназначенного для оценки методологического качества мета-анализа.

Систематические обзоры и мета-анализы целесообразно выполнять в случаях, когда существует несколько исследований одинакового или сходного дизайна, посвященных оценке эффективности/безопасности одной и той же медицинской технологии, в частности лекарственного препарата. Результаты этих исследований могут быть однонаправленными (согласованными), но могут и противоречить друг другу (например, в одном исследовании доказано существование эффекта, в другом - не доказано). Кроме того, всегда несколько различаются величины выявленного в исследованиях эффекта. В такой ситуации возникает необходимость в обобщенном заключении, и обычно формулирование такого заключения возможно по результатам мета-анализа.

В мета-анализы традиционно принято включать только рандомизированные контролируемые испытания (РКИ), однако на практике в них иногда включают и так называемые квази-РКИ. Последние обычно являются проспективными сравнительными исследованиями без применения рандомизации.

Систематическим обзором называется научно-исследовательская работа, в рамках которой осуществляют систематический поиск и отбор исследований, отвечающих на поставленный клинический вопрос, после чего критически оценивают их методологическое качество и проводят статистическое обобщение результатов - мета-анализ (если это возможно). Обобщение результатов реализуется с помощью специальных методов объединения результатов разных исследований - методов мета-анализа. Систематический обзор с применением мета-анализа называют также количественным систематическим обзором, или просто мета-анализом.

При мета-анализе существенно увеличивается чи- К сло наблюдений (оно становится равным сумме объ- ^ емов выборок во всех объединяемых исследованиях), О что повышает статистическую мощность анализа и 0 точность оценки эффекта лечения. Цель мета-анали- Ц за - выявить, изучить и объяснить различия (обуслов- ^ ленные статистической неоднородностью, или гете- Ш рогенностью) в результатах исследований, а также ^ более точно оценить изучаемый эффект.

Существуют два основных подхода к выполнению мета-анализа.

Первый из них заключается в статистическом анализе объединенных первичных данных из всех включенных в мета-анализ исследований. Очевидно, что далеко не всегда это выполнимо (первичные данные пациентов редко бывают доступны), но нужно заметить, что в настоящее время за рубежом уже начали создаваться банки первичных данных по определенным медицинским научным проблемам.

Второй (и основной, наиболее распространенный) подход заключается в обобщении опубликованных результатов исследований, посвященных одной проблеме. Такой мета-анализ выполняется обычно в несколько этапов, важнейшими из которых являются:

• выработка критериев включения/исключения оригинальных исследований в мета-анализ;

• оценка методологического качества каждого из включенных исследований;

• оценка гетерогенности (статистической неоднород- ц ности) результатов оригинальных исследований;

• проведение собственно мета-анализа - получение обобщенной оценки величины эффекта;

• анализ чувствительности выводов. Необходимо отметить, что этап определения набора включаемых в мета-анализ исследований (как в аспекте полноты выявления выполненных работ, так и в отношении формальных критериев оценки их методологического качества) часто становится источником систематических смещений мета-анализа. Качество мета-анализа существенно зависит от качества включенных в него исходных исследований и описывающих их публикаций.

Основная проблема, возникающая при объединении исследований в мета-анализе, - это различия исследований по критериям включения и исключения пациентов, схемам применения изучаемой медицинской технологии, дизайну исследования.

Существует также смещение, связанное с преимущественным опубликованием положительных результатов исследований (исследования, в которых получены статистически значимые результаты, чаще публикуются, чем те, в которых такие результаты не получены). Поскольку мета-анализ основан, главным образом, на опубликованных данных, следует обращать особое внимание на недостаточную репрезентативность отри-

о ц,

о

4 о н ш

5

12

CL

О

LQ _0 ш

X

ш

о ^

о

X

ш

о х

ш

цательных результатов в литературе. Включение в мета-анализ неопубликованных результатов тоже представляет значительную проблему, так как их качество неизвестно, поскольку они не проходили рецензирование.

Один из первых этапов мета-анализа - это оценка гетерогенности (статистической неоднородности) результатов эффекта вмешательства в разных исследованиях. Для оценки гетерогенности часто используют критерий Хи-квадрат (х2) с нулевой гипотезой о равном эффекте во всех исследованиях и с уровнем значимости 0,1 для повышения статистической мощности (чувствительности) теста.

Источниками гетерогенности результатов разных исследований принято считать дисперсию внутри исследований (обусловленную случайными отклонениями результатов разных исследований от единого истинного значения эффекта), а также дисперсию между исследованиями (обусловленную случайными эффектами, т. е. различиями в характеристиках больных, заболеваний, вмешательств в изучаемых выборках, приводящими к несколько разным значениям эффекта).

Если предполагается, что дисперсия между исследованиями близка к нулю, то каждому из исследований приписывается вес, величина которого обратно пропорциональна дисперсии результата данного исследования. Дисперсия внутри исследований определяется объемом выборки и рядом других характеристик исследования.

При небольшой дисперсии между исследованиями можно использовать модель фиксированного (постоянного) эффекта. В этом случае предполагается, что изучаемое вмешательство во всех исследованиях имеет одну и ту же эффективность, а выявляемые различия между исследованиями обусловлены только дисперсией внутри исследований.

Модель случайных эффектов предполагает, что эффективность изучаемого вмешательства в разных исследованиях может варьировать. Данная модель учитывает дисперсию не только внутри одного исследования, но и между разными исследованиями. В этом случае суммируются дисперсии внутри исследований и дисперсия между исследованиями.

Конечной целью мета-анализа является, как правило, представление точечных и интервальных (95% доверительный интервал, ДИ) оценок обобщенного эффекта вмешательства - обычно в форме таких показателей, как относительный риск (relative risk, risk ratio), отношение шансов (odds ratio), отношение угроз (hazard ratio), разность средних (mean difference).

Существует также ряд других подходов к выполнению мета-анализа, например байесовский, кумулятивный.

Мета-анализ может выполняться для обобщения результатов не только контролируемых испытаний

медицинских вмешательств (чаще всего используются результаты РКИ), но и когортных исследований (например, исследований факторов риска). Однако при этом следует учитывать высокую вероятность возникновения систематических ошибок.

Особый вид мета-анализа - обобщение оценок информативности диагностических методов, полученных в разных исследованиях. Цель такого мета-анализа - построение характеристической кривой взаимной зависимости чувствительности и специфичности тестов (ROC-кривой) с использованием взвешенной линейной регрессии.

После получения обобщенной оценки эффекта возникает необходимость определить устойчивость его величины. Для этого выполняется так наз. анализ чувствительности. Одним из способов его проведения является сопоставление результатов, получаемых в двух моделях - фиксированного эффекта и случайных эффектов. Во второй модели результаты обычно бывают статистически менее значимыми. Другой способ анализа чувствительности - исключение того или иного исследования из анализа и пересчет результатов с последующей оценкой их гетерогенности по критерию х2

Разработаны также способы оценки полноты выявления исследований, подлежащих включению в мета-анализ. Обычно неполнота выявления связана с возникновением систематической ошибки, обусловленной преимущественным опубликованием положительных результатов исследований (результатов, описывающих статистически значимые различия сравниваемых групп). Для качественной оценки наличия такой систематической ошибки мета-анализа обычно прибегают к построению воронкообразной диаграммы рассеяния (funnel plot) результатов отдельных исследований в координатах «величина эффекта-размер выборки». При полном выявлении исследований эта диаграмма должна быть симметричной. Вместе с тем существуют и формальные методы оценки существующей асимметрии.

Результаты мета-анализа обычно представляют как графически (точечные и интервальные оценки величин эффектов каждого из включенных в мета-анализ исследований; пример на рисунке), так и в виде таблиц с соответствующими статистическими параметрами (разность средних, относительный риск, отношение шансов, ДИ и т. д.).

Выполнение мета-анализа возможно с использованием ряда программных продуктов, часть которых является коммерческими, часть бесплатными.

Во многих случаях при проведении оценки технологий здравоохранения (ОТЗ) можно воспользоваться результатами уже опубликованных мета-анализов или систематических обзоров, однако надо помнить, что только кокрановские мета-анализы являются всегда актуальными (поскольку оперативно инкорпорируют вновь публикуемые исследования), а другие обзоры

ФФ 5ФУ Относительный риск Относительный риск Исследование Всего Всего Всего Всего Вес Модель фиксированного Год Модель фиксированного _событий пациентов событий пациентов_эффекта Мантела-Хэнзела, 95% ДИ_эффекта Мантела-Хзнзела, 95% ДИ

Bedikian AY et al, 1983 7 35 6 32 47.1% 1.07 [0.40,2.84] 1983 —1 1—

Bjerkeset T et al, 1986 Andersen E etal, 1987 5 1 19 26 7 1 26 24 46.7% 6.1% 0.98 [0.37, 2.61] 0.92 [0.06,13.95] 1986 —1 1—

1987

Total (95% CI) 80 82 100.0% 1.01 [0.52,1.99]

Всего событий 13 14

Гетерогенность: Tau2 = 0.00; Chi2 = 0.02, df = 2 (Р = 0.99); I2 = 0% Тест на общий эффект: Z = 0.04 (Р = 0.97)

О ц,

о

4 о н ш

5

Рис. Пример представления результатов мета-анализа [7].

быстро устаревают. Поэтому перед проведением ОТЗ необходимо проверить, не появились ли после публикации мета-анализа новые исследования по данной проблеме. Если это случилось, то мета-анализ следует повторить. Тем не менее, для широкого круга работников здравоохранения систематические обзоры являются в настоящее время незаменимым источником информации об эффективности и безопасности медицинских вмешательств; эти работы помогают практикующим врачам быть в курсе существующих научных доказательств, служат отправной точкой для разработки клинических рекомендаций, предоставляют обзор доказательств для организаций, спонсирующих новые исследования. В идеале, и диссертационные исследования должны начинаться с систематических обзоров, обосновывающих их актуальность. Ежегодно в базе данных MEDLINE появляется более 2000 новых англоязычных систематических обзоров, однако, как было отмечено выше, систематические обзоры могут различаться по методологическому качеству, что может приводить к появлению противоречивых ответов на один и тот же клинический вопрос. Под методологическим качеством систематического обзора подразумевают степень, с которой его дизайн и методы выполнения предотвращают возникновение систематических и случайных ошибок. Следовательно, читатели систематических обзоров должны принимать это качество во внимание, прежде чем использовать их результаты.

К 2001 г. существовало 24 системы оценки качества систематических обзоров (21 вопросник и 3 шкалы)

[8], однако ни одна из них не была валидизированной и не получила широкого применения в дальнейшем. В 2007 г. B. J. Shea с соавторами представили новый инструмент по оценке методологического качества систематических обзоров - AMSTAR (A Measurement Tool to Assess Reviews - Измерительный инструмент для оценки обзоров), разработанный на основании комбинации элементов предыдущих систем оценки, эмпирических доказательств и мнений экспертов

[9]. Система AMSTAR продемонстрировала высокую

внутреннюю и внешнюю согласованность, т. е. была подтверждена ее валидность и возможность практического использования для оценки систематических обзоров [10, 11]. В настоящее время данная система получила широкое признание; она была адаптирована и использована рядом профессиональных медицинских организаций, включая Кокрановское сотрудничество.

Система AMSTAR оценивает систематические обзоры по 11 критериям. Каждому из критериев присваивается оценка «да» (было выполнено), «нет» (не было выполнено) или «неясно». Кокрановское сотрудничество при использовании системы AMSTAR присваивает 1 балл за оценку «да» и 0 баллов за оценки «нет» и «неясно» и классифицирует систематические обзоры следующим образом: 8-11 баллов - систематические обзоры высокого методологического качества, 4-7 баллов - среднего, 0-3 балла - низкого [12, 13].

При оценке систематических обзоров по вопроснику AMSTAR их методологическое качество очень часто оказывается низким из-за недостаточности приводимой в них информации о применявшихся методах и результатах (и, соответственно, большой доли ответов «неясно»), что снижает их потенциальную ценность для потребителей [4, 14-16]. Чтобы повысить качество представления информации о методах и результатах систематических обзоров, международной группой экспертов был разработан инструмент PRISMA (Preferred Reporting Items for Systematic reviews and Meta-analysis) - список из 27 пунктов, по каждому из которых авторам систематических обзоров настоятельно рекомендуется представлять полную информацию [17, 18].

Нами был выполнен перевод на русский язык системы (вопросника) AMSTAR (табл.), а также внесены некоторые пояснения в него. Предварительный анализ показал, что наш русскоязычный вариант вопросника позволяет однозначно определять методологическое качество систематических обзоров, а, следовательно, может использоваться для более объективной оценки доказательной базы медицинских технологий.

Таблица. Критерии оценки методологического качества систематических обзоров (на основе системы АМвТАЯ и балльной системы Кокрановского сотрудничества [13, 16, 17])

Характеристика Баллы

1. Был ли дизайн исследования заявлен заранее?

Да Цель работы (в форме клинического вопроса) и критерии включения исследований были определены в протоколе/ плане систематического обзора заранее (например, в обзорах с доступным протоколом (Cochrane) или в обзорах в рамках научно-исследовательской программ AHQR, NICE, U.S. Preventive Services Task Force и т. д.) 1

Нет Авторы указали на отсутствие протокола 0

Неясно Нет информации 0

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

2. Были ли отбор исследований и/или извлечение данных выполнены независимо двумя исследователями?

Да Было выполнено хотя бы одно из следующих условий: • как минимум два исследователя независимо друг от друга выполнили отбор работ; описан способ достижения консенсуса в случае возникновения разногласий; • как минимум два исследователя независимо друг от друга выполнили извлечение данных; описан способ достижения консенсуса в случае возникновения разногласий 1

Нет Авторы указали, что каждая из процедур (отбор исследований и извлечение данных) была выполнена одним исследователем 0

Неясно Нет информации 0

3. Был ли поиск литературных источников исчерпывающим?

Да Были выполнены два условия: 1) использовались как минимум две электронные библиографические базы данных (например, Central, EMBASE, Medline), приведены их названия, временной диапазон поиска, ключевые слова и/или термины MeSH (Medical Subject Headings), стратегия поиска (если последнее было возможно); 2) для поиска использовались дополнительные источники информации - оглавления журналов, обзоры, учебная литература, специализированные регистры, библиографические списки из уже включенных исследований, консультации с профильными экспертами 1

Нет Имело место хотя бы одно из следующих обстоятельств: • для поиска была использована только одна электронная база данных; • не были использованы дополнительные источники информации 0

Неясно Нет информации или приводится неполная информация (например, указаны базы данных, но не указаны ключевые слова и период поиска) 0

4. Были ли тип или язык публикации использованы в качестве критерия отбора исследований?

Нет Авторы искали отчеты об исследованиях независимо от типа публикации (поиск осуществлялся в том числе и в «серой» литературе - неопубликованных отчетах, препринтах, рабочих материалах и др.) или языка публикации 1

Да Авторы указали, что исключали исследования на основании типа или языка публикации 0

Неясно Нет информации 0

5. Перечислены ли все исследования (включенные и исключенные)?

Да В публикации приведены списки включенных и исключенных исследований, а также указано: • сколько всего исследований было найдено в результате поиска; • сколько исследований было рассмотрено для включения; • сколько исследований было включено и исключено (с указанием причины исключения) 1

Нет Нет информации или представлен перечень только включенных исследований 0

Неясно Неполная информация (например, исключенные исследования были перечислены только в библиографическом списке, но не в тексте обзора) 0

6. Дана ли характеристика включенным исследованиям?

Да Для каждого из включенных исследований в табличной форме или в тексте приведены сведения о пациентах, вмешательствах и клинических исходах с указанием важных для рассматриваемого клинического вопроса характеристик (например, возраст, раса, пол, социально-экономические данные, стадия и тяжесть заболевания, его длительность, сопутствующие заболевания) 1

Нет Нет информации 0

Неясно Неполная информация (например, приведены только год публикации и информация о вмешательстве или были охарактеризованы не все включенные исследования) 0

7. Была ли проведена оценка методологического качества исследований, описаны ли ее результаты?

Да Авторы провели оценку методологического качества исследований на основе заявленных методов и представили ее результаты (для совокупности исследований и/или для каждого отдельного исследования) 1

Нет Нет информации 0

Неясно Авторы указали, что оценка методологического качества исследований была проведена, но не пояснили, каким образом это было сделано 0

m ш

Продолжение табл.

Характеристика Баллы

8. Учтено ли качество исследований в должной степени при формулировании выводов?

Да Результаты оценки качества исследований были рассмотрены при проведении анализа и в должной степени учтены при формулировании выводов и вынесении рекомендаций 1

Нет Оценка качества исследований была выполнена, но ее результаты не были учтены при проведении анализа, формулировании выводов и вынесении рекомендаций 0

Неясно Влияние качества исследований на результаты анализа неясно или не было учтено при формулировании выводов 0

9. Было ли обобщение результатов исследований проведено с помощью адекватных методов?

Да Соблюдалось хотя бы одно из следующих условий: 1) при выборе статистической модели мета-анализа были учтены результаты оценки гетерогенности исследований. При наличии статистически значимой гетерогенности исследований была рассмотрена клиническая приемлемость объединения результатов и использована модель случайных эффектов; 2) по умолчанию использовалась модель случайных эффектов; 3) было возможно ограничиться только описательным обобщением результатов 1

Нет Авторы установили наличие гетерогенности, но не учли ее и использовали модель фиксированного эффекта 0

Неясно При наличии хотя бы одного из следующих обстоятельств: • не приведены результаты теста на гетерогенность и использована модель фиксированного эффекта; • не указано, какая модель (фиксированного или случайных эффектов) использована для объединения результатов 0

10. Была ли проведена оценка публикационного смещения?

Да Публикационное смещение оценено с помощью графических средств, например воронкообразной диаграммы рассеяния, и/или статистических тестов, например теста Эггера 1

Нет Нет информации 0

Неясно Авторы упомянули оценку публикационного смещения, но не представили ее результаты 0

11. Заявлен ли конфликт интересов и указаны ли источники финансирования?

Да Источники финансирования и конфликт интересов описаны 1

Нет Конфликт интересов или источники финансирования не описаны 0

Максимальное количество баллов 11

Благодарность. Авторы благодарны к.б.н. Н. С. Андреевой за участие в подготовке материала.

15

ЛИТЕРАТУРА

1. Горяйнов С. В., Реброва О. Ю. Непрямые сравнения в оценке медицинских технологий. Медицинские технологии. Оценка и выбор. 2011; № 3(5): 9-12.

2. Реброва О. Ю., Горяйнов С. В. Непрямые и смешанные сравнения медицинских технологий, сетевой мета-анализ. Медицинские технологии. Оценка и выбор. 2013; № 4(14): 8-14.

3. Martins D. E., Astur N., Kanas M., et al. Quality assessment of systematic reviews for surgical treatment of low back pain: an overview. Spine J. 2016 Jan 27.

4. Moher D., Tetzlaff J., Tricco A. C., et al. Epidemiology and reporting characteristics of systematic reviews. PLoS Med. 2007 Mar 27; 4(3): e78.

5. Moher D., Soeken K., Sampson M., et al. Assessing the quality of reports of systematic reviews in pediatric complementary and alternative medicine. BMC Pediatr. 2002; 2: р.3. Published online 2002 Feb 27. doi: 10.1186/1471-2431-2-3.

6. Braga L. H., Pemberton J., Demaria J., Lorenzo A. J. Methodological concerns and quality appraisal of contemporary systematic reviews and meta-analyses in pediatric urology. J Urol. 2011 Jul; 186(1): 266-271.

7. Герасимова К. В., Авксентьева М. В., Аксенов В. А. и соавт. Кли-нико-экономический анализ лечения колоректального рака пе-роральными лекарственными препаратами тегафур (Фторафур) и капецитабин (Кселода). Медицинские технологии. Оценка и выбор. 2014; № 1(15): 72-80.

8. Shea B., Dube C., Moher D. Assessing the quality of reports of systematic reviews: the QUOROM statement compared to other tools. In: Systematic reviews in health care: meta-analysis in context. Ed. by Egger M., Smith G. D., Altman D. G. London, UK: BMJ Publishing Group. 2001: 122-139.

9. Shea B. J., Grimshaw J. M., Wells G. A., et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol. 2007 Feb 15; 7: 10. Published online 2007 February 15. doi: 10.1186/14712288-7-10.

10. Shea B. J., Bouter L. M., Peterson J., et al. External validation of a measurement tool to assess systematic reviews (AMSTAR). PLoS One. 2007 Dec 26; 2(12): e1350. Published online 2007 December 26. doi: 10.1371/journal.pone.0001350.

11. Shea B. J., Hamel C., Wells G. A., et al. AMSTAR is a reliable and valid measurement tool to assess the methodological quality of systematic reviews. J Clin Epidemiol. 2009 Oct; 62(10): 1013-1020.

12. Ryan R., Santesso N., Hill S., et al. Consumer-oriented interventions for evidence-based prescribing and medicines use: an overview of systematic reviews. Cochrane Database Syst Rev. 2011 May 11; 5: CD007768.

13. Flodgren G., Eccles M. P., Shepperd S., et al. An overview of reviews evaluating the effectiveness of financial incentives in changing healthcare professional behaviours and patient outcomes. Co-chrane Database Syst Rev. 2011 Jul 6; 7: CD009255.

14. Wen J., Ren Y., Wang L., et al. The reporting quality of meta-anal-yses improves: a random sampling study. J Clin Epidemiol. 2008 Aug; 61(8): 770-775.

15. Dixon E., Hameed M., Sutherland F., et al. Evaluating meta-analyses in the general surgical literature: a critical appraisal. Ann Surg. 2005 Mar; 241(3): 450-459.

16. Hemels M. E., Vicente C., Sadri H., et al. Quality assessment of meta-analyses of RCTs of pharmacotherapy in major depressive disorder. Curr Med Res Opin. 2004 Apr; 20(4): 477-484.

17. Moher D., Liberati A., Tetzlaff J., Altman D. G.; PRISMA Group. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Int J Surg. 2010; 8(5): 336-341.

о ц,

о

4 о н ш

5

16

CL

О

LQ _0 ш

X

ш

о ^

о

X

ш

18. Liberati A., Altman D. G., Tetzlaff J., et al. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. J Clin Epidemiol. 2009 Oct; 62(10): e1-34.

REFERENCES

1. Goryajnov S. V., Rebrova O. Yu. Indirect comparisons in health technology assessment. Medical Technologies. Assessement and Choice. 2011; № 3(5): 9-12.

2. Rebrova O. Yu., Goryaynov S. V. Indirect and Mixed Treatment Comparisons, Network Meta-Analysis . Medical Technologies. Assessement and Choice. 2013; № 4(14): 8-14.

3. Martins D. E., Astur N., Kanas M., et al. Quality assessment of systematic reviews for surgical treatment of low back pain: an overview. Spine J. 2016 Jan 27.

4. Moher D., Tetzlaff J., Tricco A. C., et al. Epidemiology and reporting characteristics of systematic reviews. PLoS Med. 2007 Mar 27; 4(3): e78.

5. Moher D., Soeken K., Sampson M., et al. Assessing the quality of reports of systematic reviews in pediatric complementary and alternative medicine. BMC Pediatr. 2002; 2: p.3. Published online 2002 Feb 27. doi: 10.1186/1471-2431-2-3.

6. Braga L. H., Pemberton J., Demaria J., Lorenzo A.J. Methodological concerns and quality appraisal of contemporary systematic reviews and meta-analyses in pediatric urology. J Urol. 2011 Jul; 186(1): 266-271.

7. Gerasimova K. V., Avxentyeva M. V., Aksenov V. A., Rebrova O. Yu., Dobrova N. V. Clinical and Economic Analysis of Oral Formulations Tegafur (Ftorafur) and Capecitabine (Xeloda) for Colorectal Cancer. Medical Technologies. Assessement and Choice. 2014; № 1(15): 72-80.

8. Shea B., Dube C., Moher D. Assessing the quality of reports of systematic reviews: the QUOROM statement compared to other tools. In: Systematic reviews in health care: meta-analysis in context. Ed. by Egger M, Smith G. D., Altman D. G. London, UK: BMJ Publishing Group. 2001: 122-139.

9. Shea B. J., Grimshaw J. M., Wells G. A., et al. Development of AM-STAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol. 2007 Feb 15; 7: 10. Published online 2007 February 15. doi: 10.1186/1471-2288-7-10.