Вопросник для оценки достоверности сетевого мета-анализа (в том числе непрямых и смешанных сравнений) Текст научной статьи по специальности «Науки о здоровье»

Вопросник для оценки достоверности сетевого мета-анализа (в том числе непрямых и смешанных сравнений)

О. Ю. Реброва1, 2, 3, В. К. Федяева2, 4

1 Российский национальный исследовательский медицинский университет им. Н. И. Пирогова, Москва, Россия

2 Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва, Россия

3 Научно-исследовательский финансовый институт Министерства финансов РФ, Москва, Россия

4 Центр экспертизы и контроля качества медицинской помощи Министерства здравоохранения РФ, Москва, Россия

Представлен инструмент оценки методологического качества сетевых мета-анализов, разработанный нами на основе вопросника, предложенного Международным обществом фармакоэкономики и оценки исходов (ISPOR). Данный инструмент включает в себя 15 вопросов по пяти аспектам: доказательная база, анализ, представление результатов, их интерпретация, конфликт интересов. По каждому вопросу оценивающим лицом неформально выставляется оценка, а затем оценивается итоговая достоверность (методологическое качество) исследования.

КЛЮЧЕВЫЕ СЛОВА: сетевой мета-анализ, непрямое сравнение, смешанное сравнение, достоверность, оценка, методологическое качество, вопросник, ISPOR.

The Questionnaire for Evaluating the Credibility of the Network Meta-Analysis (Including Mixed and Indirect Comparisons)

O. Yu. Rebrova1, 2, V. K. Fediaeva2, 3

1 N. I. Pirogov Russian National Research Medical University, Moscow, Russia

2 Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, Russia

3 Financial Scientific Research Institute at the Ministry of Finances of Russian Federation, Moscow, Russia

4 Center of Expertise and Quality Control of Medical Care, Ministry of Health of the Russian Federation, Moscow, Russia

We have developed an instrument to assess the methodological quality of network meta-analyzes and indirect comparisons based on International Society for Pharmacoeconomics and Outcomes Research (ISPOR) tool. This instrument includes 15 questions on five aspects (domains): the evidence base, analysis, presentation of results, interpretation, conflict of interests. For each domain the estimate is given informally then the general credibility (methodological quality) of the research is assessed.

KEYWORDS: network meta-analysis, indirect comparison, mixed treatment comparison, credibility, methodological quality, questionnaire, assessment, ISPOR.

9

В настоящее время для лечения наиболее распространенных заболеваний зачастую доступно несколько альтернативных вмешательств, и хотя обычно речь идет о лекарственных препаратах, в ряде случаев возникает необходимость выбора между различными медицинскими технологиями, такими

как, например, хирургическое вмешательство и фармакотерапия. При проведении сравнительной оценки технологий здравоохранения (ОТЗ) прежде всего возникает вопрос о соотношении их клинической эффективности и безопасности. Такой анализ актуален как для ОТЗ и последующего принятия решений

о ц,

о

4 о н ш

5

10

CL

О

LQ _0 ш

X

ш

о ^

о

X

X

ш

о х

на уровне органов управления здравоохранением и плательщиков, так и для подготовки клинических рекомендаций по ведению того или иного заболевания [1]. Золотым стандартом изучения сравнительной эффективности и безопасности различных медицинских технологий являются рандомизированные контролируемые испытания (РКИ) и основанные на них мета-анализы (МА), однако зачастую полученных в РКИ данных недостаточно для принятия решения в пользу той или иной технологии. Это обусловлено рядом причин:

1) целью большинства РКИ является получение доказательств эффективности и безопасности новой медицинской технологии для дальнейшей регистрации, поэтому в качестве компаратора обычно используется плацебо или отсутствие лечения (часто - на фоне стандартной терапии). Таким образом, в РКИ чаще всего не сравниваются альтернативные медицинские технологии.

2) В РКИ, как правило, участвуют две группы пациентов - получающие исследуемое вмешательство и не получающие такого вмешательства. Включение большего количества групп пациентов значительно усложняет дизайн РКИ и повышает его стоимость, что зачастую бывает нецелесообразно.

Сетевой мета-анализ (СМА) и его варианты: непрямое сравнение (НС) и смешанное сравнение -виды анализа, применяемые для получения доказательств сравнительной клинической эффективности и безопасности двух или более альтернативных медицинских технологий в тех случаях, когда отсутствуют прямые сравнительные исследования этих технологий. Более подробное описание этих методов анализа можно прочитать в статье [1].

В настоящее время опубликовано множество выполненных СМА, однако их методологическое качество не всегда бывает высоким. Международным обществом фармакоэкономики и оценки исходов (ISPOR) совместно с Академией лекарственного обеспечения (Academy of Managed Care Pharmacy, США) и Национальным фармацевтическим советом (the National Pharmaceutical Council, США) в 2014 г. был разработан инструмент оценки методологического качества СМА [2]. Данный инструмент был существенно нами переработан в соответствии с нашим опытом проведения и оценки СМА (в том числе НС и смешанных сравнений). Текущая версия вопросника представлена в настоящей публикации.

Оценка достоверности СМА состоит из рассмотрения 5 аспектов СМА (разделов вопросника):

1) доказательная база,

2) анализ,

3) представление результатов,

4) интерпретация результатов,

5) конфликт интересов.

Вопросник характеризует достоверность СМА и включает 15 вопросов (табл. 1). Каждый вопрос касается того, усиливает ли или ослабляет достоверность СМА конкретная реализация того или иного его аспекта. Вопросы допускают ответы «Да», «Нет», «Неопределенная оценка» (последний - с указанием причин, в том числе недостаточной компетентности лица, производящего оценку). Оценка достоверности результатов опубликованного СМА начинается с вопросов N° 2 и 9, т. к. в случае отрицательного ответа на какой-либо из их, дальнейшая оценка не имеет смысла, и выставляется отрицательная итоговая оценка «Недостаточная достоверность».

По каждому из 5 разделов вопросника выставляется итоговая оценка, а затем общая достоверность СМА в целом оценивается как «достаточная» либо «недостаточная».

Рассмотрим подробно каждый из указанных разделов вопросника и основные критерии выставления оценок по отдельным вопросам. Конечно, описание критериев нельзя считать исчерпывающим, оно также не является абсолютно строгим. При выставлении оценок рекомендуется приведение их обоснований в виде цитат из оригинальной публикации с переводом на русский язык и/или ссылок на текст оригинальной публикации.

ВОПРОСНИК

Доказательная база

1. Выполнен ли систематический поиск исследований?

Усиление достоверности: в соответствии с критериями, указанными в вопроснике о методологическом качестве мета-анализа [2], систематическим считается поиск, проведенный независимо двумя исследователям не менее чем в двух базах данных.

Ослабление достоверности: в публикации явно указано, что поиск производился только в одной базе данных, или применялись другие ограничения.

Неопределенная оценка: поиск публикаций не описан, не указаны используемые источники информации и ключевые слова.

2. Включены ли в СМА только РКИ и/или мета-анализы РКИ?

Усиление достоверности: в СМА и, в частности, в НС включены только РКИ и/или мета-анализы РКИ.

Ослабление достоверности: в СМА включены исследования различных дизайнов (в том числе нерандомизированные исследования).

Неопределенная оценка: не указаны дизайны включенных исследований.

Два последние ответа приводят к прекращению анализа, общая достоверность СМА оценивается как недостаточная.

3. Было ли методологическое качество всех включенных в СМА РКИ высоким или средним (как отдельных РКИ, так и включенных в МА)?

Усиление достоверности: в рассматриваемой публикации должны быть приведены критерии оценки методологического качества РКИ (или дана ссылка на метод оценки методологического качества РКИ), а также приведена обоснованная информация о низкой или неопределенной степени риска систематического смещения в каждом из РКИ по каждому из вопросов.

Ослабление достоверности: методологическое качество хотя бы одного из включенных в анализ РКИ было низким.

Неопределенная оценка: методологическое качество включенных исследований не описано.

4. Было ли методологическое качество всех включенных мета-анализов высоким или средним?

Усиление достоверности: в рассматриваемой публикации должны быть приведены критерии оценки методологического качества мета-анализов (или дана ссылка на метод оценки методологического качества мета-анализов), а также приведена обоснованная информация о соответствии мета-анализа каждому из критериев оценки методологического качества мета-анализа.

Ослабление достоверности: методологическое качество хотя бы одного из включенных в анализ мета-анализов было низким.

Неопределенная оценка: методологическое качество включенных мета-анализов не описано. В случае, если в СМА не используются результаты мета-анализов, данный вопрос считается неприменимым.

5. Сопоставимы ли характеристики популяций во включенных исследованиях?

Усиление достоверности: сопоставимость популяций подразумевает одинаковые (или сходные) критерии включения и исключения пациентов в отдельных РКИ и мета-анализах, а также отсутствие статистически значимых различий по тем основным характеристикам пациентов, которые могут влиять на эффект вмешательства (пол, возраст, степень тяжести заболевания, стадия заболевания и т. д.). Зачастую выявление статистически значимых различий невозможно, однако все важные характеристики пациентов должны быть описаны.

Ослабление достоверности: существуют различия в характеристиках популяций во включенных исследованиях (прямо указано в публикации или выявлено в результате собственной проверки).

Неопределенная оценка: характеристики популяций в исследованиях, включенных в СМА, не описаны.

6. Сопоставимы ли характеристики вмешательств во включенных исследованиях?

Усиление достоверности: исследуемые вмешательства принципиально не различаются по режимам дозирования, форме выпуска препарата и т. п. Информация об исследуемых вмешательствах должна быть приведена в публикации в явном виде для каждого из включенных исследований.

Ослабление достоверности: существуют различия в характеристиках вмешательства в исследованиях (прямо указано в публикации или следует из инструкции по применению ЛП).

Неопределенная оценка: не приведена информация об исследуемых вмешательствах для каждого из включенных исследований.

7. Сопоставимы ли характеристики общего контроля во включенных исследованиях?

Усиление достоверности: общий контроль должен быть одинаковым (плацебо, стандартная терапия, конкурирующее вмешательство или отсутствие вмешательства), в ином случае проведение сравнения через общий контроль недопустимо.

Ослабление достоверности: контроль, использованный для непрямого сравнения, не является одинаковым.

Неопределенная оценка: не приведена информация об общем контроле.

8. Выявлены ли различия в модификаторах эффекта во включенных исследованиях?

Усиление достоверности: различия в модификаторах эффекта выявлены не были (при условии проведения соответствующей проверки с применением статистических методов), при этом приведены пороговые и рассчитанные уровни статистической значимости.

Ослабление достоверности: различия в модификаторах эффекта были выявлены на основании проверки (с применением статистических методов).

Неопределенная оценка: недостаточно информации либо другие причины, не позволяющие выставить определенную оценку.

Анализ

9. Корректно ли выполнен СМА?

Усиление достоверности: описаны применяемые для проведения СМА методы, даны ссылки на публикации о методах и используемые программные продукты. Отсутствуют «наивные» сравнения: проведен расчет величины относительного эффекта через общий контроль, приведен ее 95% ДИ.

Ослабление достоверности: в исследовании присутствуют «наивные» сравнения или не приведен 95% ДИ для величины относительного эффекта.

Неопределенная оценка: информация о методах проведения НС недостаточна либо отсутствует.

Два последних ответа приводят к прекращению анализа, общая достоверность СМА оценивается как недостаточная.

о ^

о ч о н ш

2

12

о. О ш _0 ш

X

ш

о ^

О X

X

ш

о

X

Качество представления результатов и транспарентность

10. Было ли представлено графическое или табличное описание сети доказательств, содержащее информацию о всех РКИ, включенных в СМА?

Усиление достоверности: в тексте публикации приведена информация (в виде рисунка или таблицы), отображающая в явном виде сеть доказательств, количество РКИ, включенное в каждое «звено», и ссылки на оригинальные публикации о них.

Ослабление достоверности: не выполнено хотя бы одно условие из пункта «Усиление достоверности».

11. Приведены ли результаты отдельных РКИ и МА, включенных в СМА или во вспомогательные МА?

Усиление достоверности: в тексте публикации в явном виде приведены результаты всех отдельных исследований, включенных в сеть доказательств.

Ослабление достоверности: в тексте публикации не приведены результаты каждого из отдельных исследований либо приведены частично.

12. Корректно ли представлены результаты отдельных исследований, МА и СМА?

Усиление достоверности: результаты отдельных исследований приведены в тексте публикации.

Результаты РКИ, МА и СМА должны быть представлены:

• в форме абсолютных и относительных частот, относительного риска, отношения шансов, разности абсолютных рисков, их 95% ДИ, а также достигнутых уровней статистической значимости (для бинарных исходов);

• в форме средних, среднеквадратических отклонений и/или 95% ДИ для среднего, в форме разности средних и ее 95% ДИ либо медиан и их разностей с их 95% ДИ,а также достигнутых уровней статистической значимости (для непрерывных исходов);

• в виде отношения угроз и его 95% ДИ, а также достигнутых уровней статистической значимости (для оценок времени до события);

Для МА и СМА дополнительно должны быть указаны:

• величины мер гетерогенности, достигнутые уровни статистической значимости статистических тестов анализа гетерогенности,

• используемые математические модели. Ослабление достоверности: хотя бы часть результатов приведена в несоответствующем данным требованиям виде.

Интерпретация результатов

13. Обоснованы ли выводы?

Усиление достоверности: выводы сформулированы с указанием на конкретные результаты. Выводы по

первичным исходам являются однозначными, отсутствуют ошибки в интерпретации полученных расчетов. Выводы учитывают методологическое качество оригинальных исследований и СМА.

Ослабление достоверности: не выполнено хотя бы одно из указанных условий.

Конфликт интересов

14. Существовал ли потенциальный конфликт интересов (КИ)?

Усиление достоверности: авторы СМА заявляют об отсутствии КИ, потенциального КИ не было выявлено, при этом перечень возможных источников КИ и указание места работы авторов исследования явно присутствуют в публикации.

Ослабление достоверности: наличие хотя бы одного из следующих условий:

• хотя бы один авторов исследования получал персональный грант от компании-производителя исследуемого препарата;

• хотя бы один из авторов исследования является сотрудником компании-производителя исследуемого препарата;

• представители компании-производителя напрямую участвовали хотя бы в одном из следующих этапов работы: разработка дизайна исследования, процесс распределения пациентов, сбор данных, анализ данных, интерпретация результатов. Неопределенная оценка: в тексте публикации не

приведено информации о потенциальном КИ.

15. Если присутствовал КИ, были ли приняты меры по его урегулированию?

Усиление достоверности: в тексте публикации приведены меры по урегулированию КИ, например, четко описана роль спонсора в организации исследования и явно указано на невмешательство спонсора в проведение исследования.

Ослабление достоверности: в тексте публикации не приведено информации о мерах по урегулированию КИ.

ОЦЕНКА ДОСТОВЕРНОСТИ ПО РАЗДЕЛАМ Доказательная база

• Положительная: наличие не более чем одной неопределенной оценки (за исключением вопроса № 4, если неопределенная оценка неприменима) при условии усиления достоверности по остальным вопросам.

• Неопределенная: неопределенные оценки в 2 вопросах (за исключением вопроса .№4, если неопределенная оценка неприменима) при условии усиления достоверности по остальным вопросам.

• Отрицательная: во всех остальных случаях.

Вопросы Усиление достоверности Ослабление достоверности Неопределенная оценка

Неприменимо Нет информации Недостаточно информации Другие причины*

Доказательная база

1 Выполнен ли систематический поиск исследований? Да Нет

2 Включены ли в СМА только РКИ и/или МА РКИ? Да Нет (ведет к прекращению оценки) Ведет к прекращению оценки Ведет к прекращению оценки Ведет к прекращению оценки

3 Было ли методологическое качество всех включенных в СМА РКИ высоким или средним (как отдельных РКИ, так и включенных в МА)? Да Нет

4 Было ли методологическое качество всех включенных МА высоким или средним? Да Нет МА не включены в СМА

5 Сопоставимы ли характеристики популяций во включенных исследованиях? Да Нет

6 Сопоставимы ли характеристики вмешательств во включенных исследованиях? Да Нет

7 Сопоставимы ли характеристики общего контроля во включенных исследованиях? Да Нет

8 Выявлены ли различия модификаторов эффекта между различными сравнениями внутри сети? Нет Да

Итоговая оценка по разделу Положительная Отрицательная Неопределенная

Анализ

9 Корректно ли выполнен СМА? Да Нет (ведет к прекращению оценки) Ведет к прекращению оценки Ведет к прекращению оценки Ведет к прекращению оценки

Итоговая оценка по разделу Положительная Отрицательная

Качество представления результатов и транспарентность

10 Было ли представлено графическое или табличное описание сети доказательств, содержащее информацию о количестве РКИ на каждое прямое сравнение? Да Нет

11 Приведены ли результаты отдельных исследований и МА, включенных в СМА или во вспомогательные МА? Да Нет

12 Корректно ли представлены результаты отдельных исследований, МА и СМА? Да Нет

Итоговая оценка по разделу Положительная Отрицательная

Интерпретация результатов

13 Обоснованы ли выводы? Да Нет

Итоговая оценка по разделу Положительная Отрицательная

Конфликт интересов

14 Существовал ли потенциальный конфликт интересов (КИ)? Нет Да

15 Если КИ присутствовал, были ли приняты меры по его урегулированию? Да Нет

Итоговая оценка по разделу Положительная Отрицательная Неопределенная

Итоговая оценка достоверности: достаточна ли достоверность? Да Нет

О ^

о ч о н ш

2

13

Примечания:

Ячейки с серой заливкой - соответствующая оценка не может быть выставлена. * Включая недостаточную компетенцию лица, заполняющего вопросник

о ц,

о

4 о н ш

5

14

CL

О

L0 _0 m

х

ш

О ^

О X

X

ш

о

X

Анализ

Положительная при усилении достоверности, отрицательная при ослаблении достоверности и неопределенной оценке по вопросу.

Качество представления результатов и транспарентность

• Положительная: все 3 оценки усиливают достоверность.

• Отрицательная: наличие хотя бы одной оценки, приводящей к снижению достоверности.

Интерпретация результатов

Положительная при усилении достоверности, отрицательная при ослаблении достоверности по вопросу.

Конфликт интересов

• Положительная: обе оценки ведут к усилению достоверности.

• Неопределенная: по вопросу 14 оценка является неопределенной, по 15 вопросу - усиливающей достоверность.

• Отрицательная: наличие хотя бы одной оценки, приводящей к снижению достоверности.

ИТОГОВАЯ ОЦЕНКА ДОСТОВЕРНОСТИ

Итоговая достоверность результатов исследования оценивается как достаточная при отсутствии отрицательных оценок и не более 1 неопределенной оценки по разделам. В остальных случаях достоверность оценивается как недостаточная.

ЗАКЛЮЧЕНИЕ

Инструмент оценки методологического качества СМА и НС, предложенный Международным обществом фармакоэкономики и оценки исходов (ISPOR) [3], был существенно нами переработан. В настоящее время планируется проведение исследования по оценке валидности данного вопросника - независимая оценка исследований двумя экспертами и анализ согласованности их заключений, как это ранее мы сделали для вопросника по оценке методологического качества РКИ [4].

ЛИТЕРАТУРА

1. Реброва О. Ю., Горяйнов С. В. Непрямые и смешанные сравнения медицинских технологий, сетевой мета-анализ. Медицинские технологии. Оценка и выбор. 2013; № 4(14): 8-14.

2. Реброва О. Ю., Федяева В. К. Мета-анализы и оценка их методологического качества. Русскоязычная версия вопросника AMSTAR. Медицинские технологии. Оценка и выбор. 2016; № 1(23): 10-16.

3. Jansen J. P., Trikalinos T., Cappelleri J. C.,et al. Indirect Treatment Comparison/Network Meta-Analysis Study Questionnaire to Assess Relevance and Credibility to Inform Health Care Decision Making: An ISPOR-AMCP-NPC Good Practice Task Force Report. Value in Health. 2014; v. 17: 157-173.

4. Реброва О. Ю., Федяева В. К., Хачатрян Г Р. Адаптация и валиди-зация вопросника для оценки риска систематических ошибок в рандомизированных контролируемых испытаниях. Медицинские технологии. Оценка и выбор. 2015; № 1(19): 9-17.

REFERENCES

1. Rebrova O. Yu., Goryaynov S. V. Indirect and Mixed Treatment Comparisons, Network Meta-Analysis. Medical Technologies. Assessment and Choice. 2013; № 4(14): 8-14.

2. Rebrova O. Yu., Fedyaeva V. K. Meta-analyses and Assessment of Their Methodological Quality. Russian Version of AMSTAR Questionnaire. Medical Technologies. Assessment and Choice. 2016; № 1(23): 10-16.

3. Jansen J. P., Trikalinos T., Cappelleri J. C.,et al. Indirect Treatment Comparison/Network Meta-Analysis Study Questionnaire to Assess Relevance and Credibility to Inform Health Care Decision Making: An ISPOR-AMCP-NPC Good Practice Task Force Report. Value in Health. 2014; v. 17: 157-173.

4. Rebrova O. Yu., Fedyaeva V. K., Khachatryan G. R. Adaptation and Validation of the Cochrane Questionnarie to Assess Risks of Bias in Randomized Controlled Trials. Medical Technologies. Assessment and Choice. 2015; № 1(19): 9-17.

Сведения об авторах:

Реброва Ольга Юрьевна

профессор кафедры медицинской кибернетики и информатики Российского национального исследовательского медицинского университета им. Н. И. Пирогова, ведущий научный сотрудник Лаборатории оценки технологий здравоохранения Института прикладных экономических исследований Российской академии народного хозяйства и государственной службы при Президенте РФ, ведущий научный сотрудник Центра финансов здравоохранения Научно-исследовательского финансового института Министерства финансов РФ, д-р мед. наук.

Адрес для переписки:

117997, Москва, ул. Островитянова, д. 1 Телефон: +7 (495) 434-5478 E-mail:o.yu.rebrova@gmail.com

Федяева Влада Константиновна

главный специалист отдела методологического обеспечения проведения комплексной оценки технологий в здравоохранении ФГБУ ЦЭККМП Министерства здравоохранения РФ, научный сотрудник Лаборатории оценки технологий в здравоохранении Института прикладных экономических исследований Российской академии народного хозяйства и государственной службы при Президенте РФ

Адрес для переписки:

109028, Москва, Хохловский переулок, вл. 10, стр. 5. Телефон:+7 (495) 783-1905 E-mail: vlada.fedyaeva@gmail.com

Writing committee:

Rebrova Olga Yuryevna

Professor at the Department of Medical Cybernetics and Informatics of the N. I. Pirogov Russian National Research Medical University; Leading Researcher at the Research Department of Health Technology Assessment, Institute for Applied Economic Research, Russian Presidential Academy of National Economy and Public Administration (RANEPA), Leading Researcher at the Center for Healthcare Funding of the Financial Scientific Research Institute at the Ministry of Finance of the Russian Federation; PhD, DHab

Address for correspondence:

Ostrovityanova St.,1, Moscow 117997 Tel.: +7 (495) 434-5478 E-mail:o.yu.rebrova@gmail.com

Fediaeva Vlada Konstantinovna

Chief specialist Department of the methodological support for a comprehensive assessment in health care technology of the Center of Expertise and Quality Control of Medical Care, Ministry of Health of the Russian Federation, Researcher at the Research Department of Health Technology Assessment, Institute for Applied Economic Research, Russian Presidential Academy of National Economy and Public Administration (RANEPA)

Address for correspondence:

Khokhlovsky per., 10, bldg. 5, Moscow 109028

Tel: +7 (495) 783-1905

E-mail: vlada.fedyaeva@gmail.com

o ^

o

CI

o

I-

u

5

15