Роль систематического обзора и метаанализа при оценке технологий в здравоохранении Текст научной статьи по специальности «Науки о здоровье»

<

о s н а. ш с

о *

о

о S

ц <

X

<

■

к

<

ш о d

ш ^

о о

Доказательная медицина

Роль систематического обзора и метаанализа при оценке технологий в здравоохранении

С. Ч. Джалалов, Д. Х. Джалалова, Д. С. Хоч

Онкологический комитет провинции Онтарио, Канада

Систематические обзоры и метаанализы позволяют синтезировать первичные данные из большого массива доказательств, помогая врачам, пациентам и лицам, принимающим решения, найти ответ на интересующий клинический вопрос. Авторы объясняют, каким образом провести высококачественный систематический обзор, как сформировать стратегию поиска, осуществить критическую оценку клинических исследований, уменьшить отклонения и корректное обобщить результаты. Правильное понимание процесса обеспечит специалистов, занимающихся оценкой технологий в здравоохранении, надежным инструментом, позволяющим собирать высококачественные данные, критически оценивать систематические обзоры и интерпретировать результаты.

КЛЮЧЕВЫЕ СЛОВА: систематический обзор, метаанализ, доказательства, критическая оценка, гетерогенность, лечебный эффект.

10

CL

О

LQ _0 Ш

X

ш

о ^

о

X

X

ш

о х

Достижения научно-технического прогресса в здравоoхранении и биомедицине стимулировали появление огромного количества научных публикаций. Только за последние полвека зарегистрировалось около 20 000 журналов, публикующих примерно 2 млн статей в год [1]. Появление Интернета и создание электронных баз данных облегчили доступ к огромным масотвам информации. Достоверная и высококачественная информация об эффективности новых технологий в наши дни необходима врачам, научным работникам, лицам, принимающим решения, и, наконец, пациентам. Иногда запрос на поиск научной литературы по одной узкой проблеме во всемирной паутине может составить сотни и тысячи статей. В то же время выводы отдельно взятых статей могут быть неясны, а иногда противоречат друг другу. Поэтому в доказательной медицине важную роль приобрeли систематически обзоры (CO) и метаанализы (MA).

Cистематический обзор - это обзор литературы, позволяющий определить, выбрать, оценить и обобщить все достоверные научные данные по исстеду-емому вопросу (англ. research question). Проводятся CO, освещающие как этиолoгию различных болезней, так и применение медицинских технологий для профилактики, прогнозирования, диагностики, лечения. Правильно проведенные СО позволяют обобщить существующие данные, откорректировать гипотезы и определить будущие планы исмедования. В здравоoхранении СО необходимы при определении клинической эффективности и при анализе «затраты-эффективность» медицински технологий, который часто выполняется с использованием методов моде-

лирования. В последнем случае достоверность оценки технологий в здравоoхранении (ОТЗ) достигается за счет тщательного и целенаправленного подбора параметров модели. Параметры подбираются как для основного варианта (base case) модели, так и для возможных наименьших и наибольших значений основных параметров, которые используются при одностороннем анализe чувствительности (one-way sensitivity analysis) модели. Поэтому не секрет, что порядка 90 % времени, необходимого для построения модели, затрачивается на поиск литературы, критическую оценку, обобщение результатов и, нaконец, на определение параметров, используемых при экономической оценке. Данные, полученные с помощью CO и МА, считаются наиболее достоверными и находятся на вершине пирамиды доказательной медицины (рис. 1).

Задачей данной статьи является ознакомление специалистов, занимающихся моделированием, с основными этапами проведения CO, включающими: 1) формулирование исследуемого вопроса; 2) стратегию поиска литературы в электронных базах данных; 3) критическую оценку исследований (качества данных); 4) синтез и анализ данных с помощью МА. Это вторая статья из серии методологии оценки эффективности технологий в здравоoхранении. Термины и их определения представлены в первой статье, опубликованной в 2012 г. в № 1 (7) данного журнала [3].

1. ФОРМУЛИРОВАНИЕ ИССЛЕДУЕМОГО ВОПРОСА

Проведение СО - долгий и трудоемкий процесс, который может занять от нескольких месяцев до года, поэтому с самого начала очень важно правильно

Рис. 1. Иерархия дизайна исследования в доказательной медицине.

Источник: Velasco-Garrido М. [2].

сформулировать исследуемый вопрос. Правильно сформулированный вопрос должен быть четким и простым, содержать в себе компоненты, обозначаемые англоязычной аббревиатурой PICO [4]:

• Patients/Population - пациенты (характеристика исследуемых пациентов);

• Interventions - внедряемые (исследуемые) технологии (лекарственные препараты, хирургические вмешательства и т.д.);

• Comparisons - технологии сравнения;

• Outcomes - исходы

В некоторых случаях подготовку СО ограничивают по времени и дизайну исcлeдования. Например, если необходимо провести СО эффективности гормонального лечения женщин с раком молочной железы в ранней стадии, то исследуемый вопрос должен быть уточнен и сформулирован, скажем, следующим образом: "Какова продолжительность жизни (исход) у женщин c эстроген-зависимым раком молочной железы ранней стадии после менопаузы (пациенты) при лечении летрозолом (исследуемая технология) по сравнению с тамоксифеном (технология сравнения)?"

2. ЭЛЕКТРОННЫЕ БАЗЫ ДАННЫХ И СТРАТЕГИЯ ПОИСКА ЛИТЕРАТУРЫ

Электронные базы данных в медицине можно разделить на две категории: 1) общего назначения -PubMed (Medline) и EMBASE, где собраны статьи по всем болезням и 2) специализирующиеся по видам болезней, такие как CancerList (онкология), PsycInfo (неврология и психология), AIDSLine (СПИД) и т.д. (табл. 1).

Крупнейшей базой данных по рандомизированным контрольным исследованиям (более 400 тыс.), является Кокрановская библиотека (The Cochrane Library), содержащая большую базу СО. Прежде чем начать поиск СО, во избежания дублирования рекомендуется провести поиск аналогичных (отвечающий на этот же вопрос) обзоров в электронной ба-

зе данных PubMed, используя специальный фильтр "Systematic review", а затем в Кокрановской библиотеке, специализирущейся на СО. Специалистам, занимающимся моделированием, можно порекомендовать, кроме поиска в перечисленных базах данных, просмотреть отчеты агентств, занимающихся оценкой технологий, таких как CADTH, NICE, PBAM и т.д. (табл. 1.) Эти отчеты содержат детальные CO по клиническим и экономическим показателям, а также существующие обзоры моделей по соответствующим тематикам.

Разработка стратегии поиска литературы обычно производится с библиотекарем, специализирующимся на биомедицине. Крупные базы данных имеют специальные обучающие видео и аудио-материалы, позволяющие даже новичкам освоить самостоятельный поиск литературы. Oсновнoe внимание при поиске должно быть уделено так называемым операторам булевой логики: "OR" (ИЛИ) и "AND" (И) (рис. 2).

Различные фильтры, задающие ограничена поиска по типам исследования, времени, языку и т.д., позволяют существенно сузить поиск. После завершения поиска литературы, полученные результаты (статьи) критически оцениваются двумя независи-

Рис. 2. Операторы булевой логики для поиска литературы

<

о s н а. ш с

о *

о

о S

ц <

X

<

■

05

Таблица 1. Электронные базы данных

Базы данных Доступ

Общая медицина

PubMed (Medline), более 16 млн источников Свободный доступ, http://www.pubmed.gov

Embase, Excerptia Medica, более 10 млн источников Необходимо подписаться, URL: www.embase.com

Cochrane Controlled Trial Register (CENTRAL), более 400 тыс исследований Необходимо подписаться, URL: www.cochranelibrary.com/enter/

DARE, Database of Abstracts of Reviews of Effects, база данных СО Свободный доступ, www.york.ac.uk/inst/crd/gaherp.htm

Оценка технологий в здравоохранении

CADTH (Canadian Agency for Drugs and Technologies in Health), Канада Свободный доступ, http://cadth.ca

NICE (National Institute for Health and Clinical Excellence), Великобритания Свободный доступ, http://www.nice.org.uk

PBAC (Pharmaceutical benefits Advisory Committee), Австралия Свободный доступ, http://www.health.gov.au

Источник: Pai P. et al. [8] с дополнениями авторов

<

tt О

ч

ш ц,

о о

12

мыми экспертами. Такой подход позволяет избежать субъективизм при отборе литературы и уменьшить вероятность потери нужных статей. В случае возникновения разногласий между экспертами спор может быть улажен третьей стороной. В качестве примера на рис. 3 показано, как проходил процесс отбора необходимой литературы по экономической оценке генетитических тестов и соответствующего лечения.

3. OЦЕНКА КАЧЕСТВА ИССЛЕДОВАНИЙ И ПОСЛЕДОВАТЕЛЬНОЕ ИЗВЛЕЧЕНИЕ ДАННЫХ

Оценка качества исследований является важным элементом СО. Исследования в зависимости от качества обычно делят на три категории: отличные, хорошие и удовлетворительные. Наличие большого количества статей высокого качества увеличивают достоверность, а следовательно, и ценность СО; соответственно, исследования низкого качест-

ва делает СО и МА менее востребованными. Методики оценки качества зависят от целей и задач, а также типов исследований, используемых в СО. Для специалистов, занимающихся моделированием, наибольший интерес представляют данные работ, характеризующие показатели клинической эффективности, такие как продолжительность жизни, эффект лечения (treatment effect) и т.д. Другой группой востребованных работ являются экономические исследования, описывающие показатели, используемые при оценке технологий, такие как затраты (cost) и полезность (utility). Существует несколько методик оценки качества экономических исследований [6, 7]. По нашему мнению, практичную методику количественной оценки качества экономических исследований удалось создать группе ученых из Калифорнии под руководством Chiou [6]. Методика включает 16 критериев, по каждому из которых производится оценка в баллах (суммарная оценка - в пределах 100 баллов). Значение, или

CL

О

LO -О

m

х

ш

О ^

О X

X

ш

о

X

Рис. 3. Стратегия отбора литературы по проекту «Экономическая оценка использования генетических тестов».

Источник: Djalalov S. et al. 2011 [5].

Критерий оценки

Качество

Рандомизированные исследования

Высшее

Наблюдение

Низкое

Любые другие данные

Очень низкое

Уменьшить итоговое значение, , если существуют:

• Серьезные (-1) или очень серьезные (-2) недостатки в дизайне исследования;

• Значительные расхождения в результатах разных исследований (-1);

• Незначительная (-1) и значительная (-2) неопределенность относительно наличия прямых доказательств;

• Неточные данные (-1);

• Высокая вероятность публикационной ошибки (-1).

Увеличить итоговое значение, если существуют:

• Сильные доказательства ассоциации (+1); например: значительные относительные риски (relative risk), а именно >2 или < 0,5, основанные на последовательных доказательствах двух или более наблюдений при отсутствии возможных вмешивающихся факторов (œnfounCers);

• Очень сильные доказательства ассоциации (+2) и значительные относительные риски > 5 или <0,2, выявленные путем прямых сравнений и потому значимые (validity);

• Значимые доказательства зависимости «доза-эффект» (Cose response) (+1);

• Снижение эффекта, вызванное возможные вмешивающимися факторами (+1).

Источник: GRADE Working Group [7].

«удельный вес» каждого критерия был определен путем опроса 60 специалистов по всему миру.

Оценка качества клинических показателей производится по методике группы GRADE (Grades of Recommendation, Assessment, Development, and Evaluation) [9]. Методика оценивает четыре ключевых элемента исследований: дизайн, качество, согласованность результатов и наличие прямых или косвенных доказательств. Дизайн исследования делится на две крупный категории: рандомизированные исследования и наблюдения. Качество исследования зависит от того, насколько деталью разработана методика исследования, и от его исполнения. Согласованность результатов определяется тем, насколько результаты данного исследования совпадают с результатами предыдущих. По критерию «наличие прямых или косвенных доказательств» оценивают, насколько исследуемые технологии и результаты/исходы, по которым определяли эффективность этих технологий, соответствуют целям исследования. Этот элемент приобретает, например, важную роль, если в исследовании отсутствует прямое сравнение интересующих нас технологий и приходится косвенно сравнивать данные из разных исследований (табл. 2). После завершения оценки качества все исследования, получившие низкую оценку, обычно исключаются из обзора. Для более объективной оценки можно сгруппировать исследования по качеству и посмотреть, как влияют данные разных групп на конечные результаты мета-анализа.

Следующий этап СО - извлечение данных, который осуществляется с использованием специальных форм, разрабатываемый в соответствии с задачами исследования. Для включения в СО обычно извлекают информацию о характеристиках исследования и методологии, а также данные о пациентах, интервенциях и клинических результатах. Для моделирования

наибольший интерес представляют показатели клинической эффективности, такие, как относительный риск (relative risk), отношение шансов (odds ratio), полезность (utility) для оценки качества жизни, продолжительность жизни, выживаемость (overall survival) и часто используемый в онкологическом моделировании показатель - период времени без прогрессирова-ния (progression free survival). При оценке эффективности диагностических тестов извлекаются данные по их чувствительности (sensitivity) и специфичности (specificity).

4. СИНТЕЗ И ОБОБЩЕНИЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ (МЕТААНАЛИЗ)

Метаанализ - статистический метод, в котором математически объединены результаты двух или более исследований со сходными характеристиками для того, чтобы повысить надежность конечных результатов. MA используется для оценки клинической эффективности технологий в здравоохранении, поскольку дает наиболее точную оценку эффекта лечения (treatment effect) с учетом «удельного веса» различных исследований. Надежность результатов MA зависит от того, насколько качественно и всеобъемлюще был проведен CO. К преимуществам MA можно отнести: возможность стaтистическoй оценки влияния всех факторов на полученные в исследованиях показатели; обобщение результатов исследований; контроль вариаций между исследованиями и их объяснение; наконец, намного большая, чем у единичного исследования, статистическая мощность при определении эффекта. Недостатки MA включают: зависимость от качества анализируемых исследований; парадокс Симпсона, состоящий в том, что два небольших отдельно взятых исследования могут дать одни результаты, однако после обобщения результаты этих работ оказываются противоположными. К дру-

<

о s н о. ш с

о *

о

О S

ц <

X

<

■

к

<

tt о d

ш ^

о о

гим недостаткам следует отнести и некоторое преувеличение значимости результатов. Объясняется это тем, что очень сложно опубликовать статистически незначимые (p > 0,05) результаты исследований; как следствие, огромная доля исследований c результатами, представленными как статистически значимые, искажает реальную картину.

Основными инструментами синтеза результатов, используемых в МА, является построение «лесных графиков» (forest plot). Эти графики показывают величину эффекта лечения с доверительным интервалом (ДИ; confident interval) и обобщают данные всех анализируемых исследований. Результат каждого исследования представлен в виде квадрата с горизонтальной линией, показывающий доверительный интервал. На рис. 4 приведен «лесной график» эффективности гормональной терапии тамоксифеном и ингибиторами ароматазы (ИА) у женщин с эстроген-зависимым раком молочной железы ранней стадии. Для удобства объяснения анализ ограничен только двумя крупными в этой области исследованиями: ATAC и BIG 1-98. Данные на графиках представлены несколькими колонками. Крайне левая колонка - названия рандомизированных исследований с указанием года публикаций. Следующие четыре колонки представляют общее количество пациентов и число осложнений при ле-

чении тамоксифеном (существующая технология) и ингибиторами ароматазы (новая технология). В следующей колонке указан удельный вес каждого исследования. Показатель, необходимый в моделировании, ради которого были проведены СО и МА, известный как относительный риск (relative risk), или эффект лечения, или (реже) соотношение рисков (risk ratio), представлен в седьмой колонке (в последующих статьях будет подробно рассказано o видах рисков). Интерпрeтация относительных рисков (OP) выражается в следующем: если ОР < 1, то лечебный эффект новой интервенции (лечения) превышает лечебный эффект существующей технологии; если же OP > 1, то новая технология оказывает меньший лечебный эффект, чем существующая, т.е. новую технологию не стоит внедрять. При ОР = 1 рекомендуется провести анализ «затраты-последствия» (cost-consequences) и в случае, если новая технология окажется дешевле, рекомендовать ее для использования. На рис. 4, в правой его части, где ОР представлен графически, размеры квадратов пропорциональны удельному весу рандомизированных исследований. MA позволяет использовать различные статистические модели, включая модель случайных эффектов (МСЭ) (random effects model) и модель фиксированных эффектов (МФЭ) (fixed effect model). Примерами МФЭ являются модели

14

CL

О

LO -О

m

х

ш

О ^

О X

X

ш

о

X

Исследование или подгруппа

Ингибиторы ароматазы Тамоксифен

Весовой коэффициент

ОР (МФЭ, 95% ДИ)

Всего событий Всего пациентов Всего событий Всего пациентов

АТАС 2010 247 2618 314 2598 65,9% 0,78 [0,67; 0,91]

BIG 1-98 2009 149 1546 163 1548 34,1% 0,92 [0,74; 1,13]

Всего (95% ДИ) 4164 4146 100,0% 0,83 [0,73; 0,94]

Всего событий 396 477

ОР (МСЭ, 95% ДИ)

Гетерогенность: Chi2 = 1,41, df = 1 (р = 0,24); 12 = 29% Тест на общий эффект: Z = 2,96 (р = 0,003)

0.01

0.1 1 10 100 В пользу ИА В пользу тамоксифена

а) Модель фиксированного эффекта (МФЭ)

Исследование Ингибиторы ароматазы Тамоксифен Весовой ОР (МСЭ, 95% ДИ)

или подгруппа коэффициент

Всего Всего Всего Всего

событий пациентов событий пациентов

АТАС 2010 247 2618 314 2598 60,0% 0,78 [0,67; 0,91]

BIG 1-98 2009 149 1546 163 1548 40,0% 0,92 [0,74; 1,13]

Всего (95% ДИ) 4164 4146 100,0% 0,83 [0,71; 0,97]

Всего событий 396 477

ОР (МФЭ, 95% ДИ)

Гетерогенность: Tau = 0,00; Chi2 = 1,41, df = 1 (р = 0,24); I2 = 29% Тест на общий эффект: Z = 2,36 (р = 0,02)

0.01 0.1 1 10 100 В пользу ИА В пользу тамоксифена

б) Модель случайного эффекта (МСЭ)

Рис. 4. «Лесной график» относительного риска осложнений у женщин с раком молочной железы ранней стадии

Источник: Разработка авторов.

Мантеля-Хензля (Mantel-Haenszel) и Пето (Peto); наиболее распространенной из МСЭ является модель Дерсиминьяна-Лэйрда (Dersiminian-Laird). Основное различие заключается в следующем: в МФЭ оцениваемый эффект зафиксирован (неизменен), а наблюдаемые различия в данных исследований вызваны случайной ошибкой (random error), тогда как МСЭ строится на предположении, что включенные в МА исследования являются случайной выборкой из огромного числа всех возможных исследований по конкретному исследуемому вопросу, поэтому эффект, выявленный в единичных исследованиях, варьируeт вокруг средней величины эффекта [10]. МСЭ включает два источника изменчивости: случайную ошибку и различия в условиях проведения исследований. Вследствие этого МСЭ в основном используется в случаях большого разброса (гетерогенности) анализируемых данных, так как позволяет представить искомый результат с учетом различий между исследованиями. На рис. 4 представлены оба типа моделей, но в нашем анализе гетерогенность данных отсутствует, поскольку мы рассматриваем только два исследования и оба показывают почти одинаковый результат.

Гетерогенность данных - нередкое явление в МА. Оно возникает каждый раз, когда исследования, включенные в СО, показывают принципиально разные результаты: одни - в пользу новой технологии, другие -в пользу существующей технологии. В таких случаях на диаграмме МА исследования будут располагаться по обе стороны вертикальной линии (ОР = 1). В нашем случае гетерогенность отсутствует, хотя исследование BIG 1-98 пересекает единицу. Это означает, что доверительный интервал включает результаты в пользу существующей технологии лечения тамоксифеном. Однако обобщенные результаты с большей долей уверенности - ОР = 0,83 (95 % ДИ 0,71; 0,97) - говорят в пользу новой технологии лечения ИА. При наличии гетерогенности обобщенная сумма результатов не является значимой, так как получается за счет усреднения экстремальных (различных) показателей, не отражающих анализируемые данные. Поэтому не стоит ограничиваться получением единого, но незначимого результата, а нужно выяснить причину, вызвавшую разнообразие величины эффекта. Это может быть достигнуто за счет анализа подгрупп, метарегрессии и применения графических методов анализа.

Завершающим этапом СО и МА является интерпретация клинической значимости полученных результатов. Неотъемлемая часть данного этапа - обсуждение недостатков или ограничений СО и МА, что ни в коем случае не связано с умалением достоинства проведенного исследования. Наоборот, объективная его оценка позволит пользователям СО - врачам, лицам, принимающие решения, и пациентам - сделать правильные выводы.

К ограничениям СО можно отнести включение в обзор исследований только на английском или только русском языке либо невозможность обобщения результата в связи с гетерогенностью данных. Обсуждение подобного рода ограничений позволит оценить, насколько сильны доказательства, используемые в СО, применимы ли представленные результаты на практике и можно ли на их основе определить направленность будущих исследований.

В настоящее время многие журналы, публикующие результаты ОТЗ, требуют приложения к основным материалам результатов СО и МА по всем параметрам модели. В данной статье мы попытались рассказать об основных этапах проведения СО и их роли в фарма-коэкономике. Опыт последних лет показывает, что экономическая оценка новых ресурсов приобретает особую актуальность в условиях нарастающего дефицита используемых ресурсов и в основном интересует лиц, распределяющих эти ресурсы. Однако результаты СО и МА позволяют ответить и на широкий спектр клинических вопросов, представляющих интерес для широкой аудитории врачей, пациентов и администрации.

ЛИТЕРАТУРА

1. Hemingway P., Brereton N. What is a systematic review. URL: http://www.medicine.ox.ac.uk/bandolier/painres/download/whatis/ syst-review.pdf

2. Velasco Garrido M., Busse R. Health technology assessment, An introduction to objectives, role of evidence, and structure in Europe. Observatory Policy Brief. 2005; № 8.

3. Джалалов С. Ч., Джалалова Д. Х., Хоч Д. С. Обзор руководств по оценке технологий в здровоохранении: Основные условия построения моделeй. Медицинские технологии. Оценка и выбор. 2012; № 1 (7): 35-41.

4. Khalid Khan et al. Systematic reviews to support evidence-based medicine: how to review and apply findings of health care research. Royal Society of Medicine Press Ltd. 2003.

5. Djalalov S., Musa Z., Mendelson M. A review of economic evaluations of genetic testing services and interventions (2004-2009). Genet Med. 2011; 13, Feb.: 89-94.

6. Drummond M., Jefferson T. Guidelines for authors and peer reviewers of economic evaluations to the BMJ. BMJ, 1996; vol. 313: 275-283.

7. McGhan W. F. et al. The ISPOR good practices for quality improvement of cost-effectiveness research. Value Health. 2009; 12(8): 1086-1099.

8. Chiou C. F., Hay J., Wallace J. F., et al. Development and validation of a grading system for the quality of cost-effectiveness studies. Med. Care. 2003; 41: 32-44.

9. GRADE Working Group. Grading quality of evidence and strength of the recommendations. BMJ, 2004; 329, June 19: 1490-1494.

10. Pai P., McCulloch M., Gorman J., et al. Systematic reviews and meta-analysis: An illustrated, step-by-step guide. Natl Med J India. 2004; 17 (2): 86-95.

Сведения об авторах:

Джалалов Санджар Чингизович

старший аналитик, Фармакоэкономическая группа Онкологического комитета провинции Онтарио, д-р экон. наук

Джалалова Дильфуза Хамидовна

научный ассистент, Фармакоэкономическая группа Онкологического комитета провинции Онтарио, канд. пед. наук

Джеффри Стюарт Хоч Адрес для переписки:

директор Фармакоэкономической группы Онкологического ко- 30 Bond Street, St. Michael Hospital, Health Economics Department

митета провинции Онтарио, профессор Университета Торонто, Toronto, Canada

Ph. D 416-864-6060 ext. 2194

E-mail: sandjar.djalalov@cancercare.on.ca

RESEARCH. ANALYSIS. EXPERTISE

Evidence-Based Medicine

The Role of Systematic Reviews

and Meta-Analyses in Health Technology

Assessment

S. Ch. Djalalov, D. H. Djalalova, J. C. Hoch

Cancer Care Ontario, 30 Bond Street, St. Michael Hospital, Health Economics Department, Toronto, Canada

Systematic reviews and meta-analyses synthesize primary data from a large body of evidence and thereby assist physicians, patients and decision-makers in answering a particular clinical question. The authors explain how to perform a high-quality systematic review, formulate a search strategy, critically evaluate clinical studies, minimize deviations, and generalize the results correctly. A good grasp of this process will provide experts in health technology assessment with a reliable tool for collecting high-quality evidence, critically evaluating systematic reviews, and interpreting the results. KEYWORDS: systematic review, meta-analysis, evidence, critical assessment, heterogeneity, treatment effect.

16

О ^

О X

X

Ш

о

X