Научная статья на тему 'Адаптация и валидизация вопросника для оценки риска систематических ошибок в рандомизированных контролируемых испытаниях'

Адаптация и валидизация вопросника для оценки риска систематических ошибок в рандомизированных контролируемых испытаниях Текст научной статьи по специальности «Клиническая медицина»

CC BY
793
244
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
РАНДОМИЗИРОВАННЫЕ КОНТРОЛИРУЕМЫЕ ИСПЫТАНИЯ / RANDOMIZED CONTROLLED TRIALS / СИСТЕМАТИЧЕСКИЕ ОШИБКИ / ВОПРОСНИК / QUESTIONNAIRE / КОКРАНОВСКОЕ СОТРУДНИЧЕСТВО / COCHRANE COLLABORATION / ВАЛИДИЗАЦИЯ / VALIDATION / АДАПТАЦИЯ / ADAPTATION / BIAS

Аннотация научной статьи по клинической медицине, автор научной работы — Реброва Ольга Юрьевна, Федяева Влада Константиновна, Хачатрян Георгий Рубенович

В публикации представлены перевод на русский язык вопросника Кокрановского сотрудничества для оценки риска основных систематических ошибок (смещений) в рандомизированных контролируемых испытаниях (РКИ), результаты его адаптации и валидизации. В качестве обязательного аспекта дополнительно предлагается рассматривать риск, связанный с конфликтом интересов. Модифицировано правило определения общего (итогового) риска систематических смещений в РКИ. Выполнена валидизация вопросника двумя экспертами по 20 РКИ, согласие оказалось хорошим: Каппа = 0,785, 95% ДИ (0,503; 1,000).

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по клинической медицине , автор научной работы — Реброва Ольга Юрьевна, Федяева Влада Константиновна, Хачатрян Георгий Рубенович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Adaptation and Validation of the Cochrane Questionnarie to Assess Risks of Bias in Randomized Controlled Trials

The questionnaire of the Cochrane Collaboration developed to assess risks of the main bias in randomized controlled trials (RCT) was translated into Russian. It was also adapted and validated. We proposed to consider the risk of the conflict of interests as a mandatory part of the questionnaire. Also we slightly modified the rule to determine the total risk of bias in RCTs. Validation of the questionnaire accomplished by two experts on 20 RCTs demonstrated good agreement: Kappa = 0.785, 95% CI (0.503; 1.000).

Текст научной работы на тему «Адаптация и валидизация вопросника для оценки риска систематических ошибок в рандомизированных контролируемых испытаниях»

Адаптация и валидизация вопросника для оценки риска систематических ошибок в рандомизированных контролируемых испытаниях

О. Ю. Реброва1, 2, В. К. Федяева2, Г. Р. Хачатрян2

1 ГБОУ ВПО РНИМУ им. Н. И. Пирогова Минздрава России, Москва, Россия

2 Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва, Россия

В публикации представлены перевод на русский язык вопросника Кокрановского сотрудничества для оценки риска основных систематических ошибок (смещений) в рандомизированных контролируемых испытаниях (РКИ), результаты его адаптации и валидизации. В качестве обязательного аспекта дополнительно предлагается рассматривать риск, связанный с конфликтом интересов. Модифицировано правило определения общего (итогового) риска систематических смещений в РКИ. Выполнена валидизация вопросника двумя экспертами по 20 РКИ, согласие оказалось хорошим: Каппа = 0,785, 95% ДИ (0,503; 1,000).

КЛЮЧЕВЫЕ СЛОВА: рандомизированные контролируемые испытания, систематические ошибки, вопросник, Кокрановское сотрудничество, валидизация, адаптация.

Adaptation and Validation of the Cochrane Questionnarie to Assess Risks of Bias in Randomized Controlled Trials

O. Yu. Rebrova1, 2, V. K. Fedyaeva2, G. R. Khachatryan2

1 The Russian National Research Medical University named after N.I. Pirogov (RNRMU), Moscow, Russia

2 The Russian Presidential Academy of National Economy and Public Administration, Moscow, Russia,

The questionnaire of the Cochrane Collaboration developed to assess risks of the main bias in randomized controlled trials (RCT) was translated into Russian. It was also adapted and validated. We proposed to consider the risk of the conflict of interests as a mandatory part of the questionnaire. Also we slightly modified the rule to determine the total risk of bias in RCTs. Validation of the questionnaire accomplished by two experts on 20 RCTs demonstrated good agreement: Kappa = 0.785, 95% CI (0.503; 1.000).

KEYWORDS: randomized controlled trials, bias, questionnaire, Cochrane collaboration, validation, adaptation.

О Ц,

о d о

H ш

s

9

Рандомизированные контролируемые испытания (РКИ) - современный «золотой стандарт» дизайна исследований эффективности и безопасности лекарственных препаратов (ЛП) и других медицинских вмешательств. Во многих странах для регистрации (лицензирования) ЛП в качестве доказательств его эффективности и безопасности требуется представить в уполномоченный государственный орган в составе досье на ЛП результаты плацебо-контролируемых РКИ, т. е. оценку абсолютной величины эффекта ЛП. Отметим, что в действующих в РФ правилах экспертизы [1] РКИ как обязательное условие для регистрации ЛП не упоминается.

В свою очередь, при оценке целесообразности включения ЛП в ограничительные перечни действующей в РФ процедурой [2] предусмотрено рассматривать РКИ с учетом их:

• «масштабности»,

• открытости/«слепоты»,

• однозначности результатов,

• вероятности ошибок.

Определения всех этих терминов в упомянутом документе не приведены, однако в зависимости от этих параметров предлагается оценивать «уровень убедительности данных» и «уровень убедительности результатов» клинического исследования.

о ц,

о ч о

I-

ш

s

10

CL

О

LÛ _ü m

х

ш

О ^

О X

X

ш

о

X

Такой подход открывает значительную свободу для толкований и не обеспечивает объективность и прозрачность экспертизы. Следствием этого явилось низкое качество проведенной экспертизы, продемонстрированное в ходе интернет-трансляции заседания Комиссии Минздрава России по формированию перечней лекарственных препаратов 27.11.2014 [3].

В настоящее время хорошо известно, что методологическое качество РКИ может существенно варьировать, а потому не исключены смещения оценок показателей эффективности и безопасности изучаемого вмешательства и, как следствие, необъективность и неточность результатов. Это делает актуальным рассмотрение и учет методологического качества РКИ при принятии государством или иными плательщиками решений о финансировании той или иной медицинской технологии.

Рассмотрению вопросов методологического качества оригинального исследования должна предшествовать оценка соответствия дизайна исследования его цели. Так, дизайн РКИ является оптимальным для оценки величины эффекта и безопасности ЛП. Оценка методологического качества РКИ подразумевает определение того, в какой степени методы его проведения предотвращают возникновение систематических и случайных ошибок, приводящих к снижению достоверности и смещению его результатов; последнее, в свою очередь, может приводить к принятию неверных решений в здравоохранении [4].

Ранее мы предложили [5] делать итоговое заключение о методологическом качестве оригинального исследования, в том числе РКИ, после рассмотрения следующих двух аспектов:

1. Оценка общего риска систематических ошибок (СО) в исследовании (низкий, средний, высокий);

2. Оценка риска некорректности результатов статистического анализа (низкий, средний, высокий).

В данной публикации мы рассмотрим первый из этих аспектов.

Международной группой редакторов, клинических эпидемиологов и биостатистиков были разработаны рекомендации по подготовке публикации о РКИ. Эти рекомендации (стандарты), известные как CONSORT (Consolidated Standards of Reporting Trials) [6], предлагаются в настоящее время сотнями редакций научных медицинских журналов и Международным Комитетом редакторов медицинских журналов (International Committee of Medical Journal Editors) в качестве «золотого стандарта» описания методов и результатов РКИ. Материалы CONSORT содержат контрольный список разделов и схему по-

токовой диаграммы, которые необходимо включать в отчет (и публикацию) о РКИ. В то же время существуют десятки систем оценки рисков систематических смещений в РКИ. Так, в 2002 г. было найдено 49 систем оценки, включая 20 шкал и 11 вопросников [7], и было показано, что как минимум 25 шкал дают несогласованные результаты [8]. Одной из наиболее известных шкал является шкала Jadad, разработанная для оценки РКИ [9].

Эксперты Кокрановского сотрудничества признали все существовавшие ранее шкалы и вопросники ненадежными и недостаточно прозрачными инструментами оценки качества РКИ и разработали собственную систему оценки [10]. Она основана на определении риска возникновения шести систематических ошибок (СО). В качестве основных источников (доменов) возникновения СО выделяют следующие компоненты (аспекты) дизайна и выполнения исследования, а также публикации его результатов:

1) метод рандомизации;

2) сокрытие рандомизационной последовательности;

3) «ослепление» пациентов и медперсонала в процессе лечения;

4) «ослепление» врачей при оценке эффекта вмешательства;

5) выбывание пациентов из исследования;

6) представление результатов в публикации.

Кроме того, данная система оценки предоставляет возможность учитывать и другие источники СО, имеющие значение в том или ином исследовании, например, конфликт интересов, перенос эффекта в исследованиях с перекрестным дизайном, досрочное прекращение исследования.

Нами был выполнен перевод на русский язык Кокрановской системы (вопросника) оценки РКИ и произведены некоторые адаптации формулировок и дополнения (табл. 1). Для каждого домена (источника СО) риск возникновения СО определяется как низкий (0), неопределенный (1) или высокий (2). Для таких доменов, как ««ослепление» пациентов и медперсонала в процессе лечения», ««ослепление» врачей при оценке эффекта вмешательства» и «выбывание пациентов из исследования», оценка риска СО может быть разной для различных исходов в одном и том же исследовании (например, для субъективных и объективных исходов или для одного и того же исхода, определяемого в разные моменты времени). В таком случае оценка методологического качества РКИ может проводиться отдельно для каждого из исходов или группы исходов.

m ш

Таблица 1. Вопросник для оценки риска систематических ошибок в РКИ

1. Метод рандомизации (систематическая ошибка распределения пациентов по группам)

Низкий риск (0) По описанию исследователей, случайное распределение пациентов по группам проводилось на основе: • таблицы случайных чисел; • случайной последовательности чисел, генерируемой компьютером; • выбрасывания жребия или монеты; • тасования карт или конвертов; • бросания игральных костей; • принципа минимизации

Высокий риск (2) Описанный исследователями метод распределения пациентов по группам не обеспечивает случайность распределения, поскольку оно осуществлялось на основе: • даты рождения; • даты включения в испытание; • номера медицинской карты; • мнения клинического врача; • предпочтения пациента; • результатов лабораторных и других тестов; • доступности медицинского воздействия и др.

Неопределенный риск (1) Представлено недостаточно информации

2. Сокрытие рандомизационной последовательности (систематическая ошибка распределения пациентов по группам)

Низкий риск (0) Пациенты и исследователи, включающие пациентов в испытание, не могут предвидеть, в какую группу попадет следующий включаемый испытуемый, поскольку для сокрытия рандомизационной последовательности был использован один из следующих методов (или эквивалентный им): • централизованное распределение (по телефону, через интернет или выполняемое независимой исследовательской организацией); • идентичные контейнеры для всех сравниваемых веществ; • запечатанные конверты

Высокий риск (2) Пациенты и исследователи, включающие пациентов в испытание, могут предвидеть, в какую группу попадет следующий включаемый испытуемый, поскольку при распределении использовали: • общедоступную рандомизационную последовательность (например, легкодоступный список случайных чисел); • непронумерованные, незапечатанные или прозрачные конверты; • другой метод, который с очевидностью не позволяет скрыть последовательность распределения

Неопределенный риск (1) Недостаточно информации (например, авторы не указывают, были ли используемые конверты последовательно пронумерованными, непрозрачными и запечатанными)

3. «Ослепление» пациентов и медперсонала (маскирование/сокрытие вмешательства от пациентов и медперсонала) в процессе лечения (систематическая ошибка исполнения; может оцениваться отдельно для каждого исхода)

Низкий риск (0) Выполнено хотя бы одно из следующих условий: • отсутствие «ослепления» не могло повлиять на эффект вмешательства (изучаемый исход объективный); • «ослепление» пациентов и медперсонала было заявлено или описано, и нет оснований предполагать, что оно могло быть нарушено (см. ниже)

Высокий риск (2) При хотя бы одном из следующих обстоятельств: • отсутствие «ослепления» (при изучении субъективных исходов); • «ослепление» было заявлено, но есть основания предполагать, что оно могло быть нарушено (например, исследователи не учли, что в ходе испытания пациенты и медперсонал могли догадаться о производимом вмешательстве из-за специфического вкуса или цвета препарата, специфических побочных явлений, необходимости модификации дозы, ярко выраженного эффекта лечения)

Неопределенный риск (1) Представлено недостаточно информации

4. «Ослепление» лиц, оценивающих эффект вмешательства (систематическая ошибка выявления исходов; может оцениваться отдельно для каждого исхода)

Низкий риск (0) Выполнено хотя бы одно из следующих условий: • отсутствие «ослепления» не могло повлиять на оценку эффекта вмешательства (изучаемый исход -объективный); • «ослепление» было заявлено, и нет оснований предполагать, что оно могло быть нарушено (см. ниже)

Высокий риск (2) При хотя бы одном из следующих обстоятельств: • отсутствие «ослепления» (при изучении субъективных исходов); • «ослепление» было заявлено, но есть основания предполагать, что оно могло быть нарушено (например, исследователи не предупредили пациентов, знающих о проводимом им вмешательстве, о неразглашении этой информации лицам, оценивающим эффект; лечение и оценка эффекта проводились одним и тем же врачом, который мог догадаться о производимом пациенту вмешательстве в процессе лечения)

Неопределенный риск (1) Представлено недостаточно информации

5. Пропуски в данных об исходах (систематическая ошибка пропуска данных; может оцениваться отдельно для каждого исхода)

Низкий риск (0) Выполнено хотя бы одно из следующих условий: • нет пропусков в данных об исходах; • возникновение пропусков в данных об исходах скорее всего не связано с эффектом вмешательства (например, может быть следствием цензурирования при анализе выживаемости); • доля пропусков в данных об исходах не превышает 20%, и при этом пропуски равномерно распределены между группами сравнения; • адекватный метод восстановления пропущенных данных (использование информации, полученной при последнем визите пациента, средних значений признака и др.); • для оценки эффекта применялся анализ времени до события

О ^

о ч о н ш

2

11

Продолжение табл. 1

Высокий риск (2) При наличии хотя бы одного из следующих обстоятельств: • пропуски в данных об исходах скорее всего связаны с эффектом вмешательства, которое привело к неравномерному распределению пропусков данных или несопоставимости причин их возникновения в группах сравнения; • доля пропусков в данных об исходах составляет более 20%; • доля пропусков в данных об исходах не превышает 20%, но был использован неадекватный метод восстановления пропущенных данных

Неопределенный риск (1) Недостаточно информации (например, не указано число рандомизированных пациентов, не приведены причины пропусков данных, не описан метод восстановления пропущенных данных и т. д.)

6. Представление результатов исследования (систематическая ошибка представления результатов)

Низкий риск (0) Выполнено хотя бы одно из следующих условий: • есть информация о том, какие исходы были запланированы для изучения в исследовании (например, в протоколе исследования, в регистрах клинических исследований, в предварительных публикациях и т. п.), и результаты по всем заявленным исходам были представлены в отчетах об исследовании; • нет информации о том, какие исходы были запланированы для изучения в исследовании, но в отчетах об исследовании ясно указано, что были приведены результаты по всем заявленным в протоколе исходам

Высокий риск (2) При наличии хотя бы одного из следующих обстоятельств: • представлены результаты не по всем основным исходам1, заявленным до начала исследования; • результаты по основным исходам получены на основании незаявленных методов измерения и анализа данных (например, на основании лишь части оценочной шкалы и т. п.); • представлены результаты дополнительных основных исходов, которые не были заявлены до начала исследования (исключая случаи, когда их включение в исследование было обоснованным, например при появлении непредвиденного побочного эффекта); • в отчетах об исследовании не были представлены результаты по исходам, которые должны быть включены в подобное исследование

Неопределенный риск (1) Представлено недостаточно информации

Другие возможные источники систематических ошибок, например: • конфликт интересов • сложный дизайн исследования (более двух групп сравнения, перекрестный план, последовательный план и т. д.); • отклонение от протокола исследования, противоречащее стандартам надлежащей клинической практики (GCP - good clinical practice); • недостаточная длительность исследования для оценки заявленных в протоколе клинических исходов; • малый размер выборки (менее 20 наблюдений хотя бы в одной из групп).

Низкий риск (0) Нет источника возникновения других систематических ошибок

Высокий риск (2) Есть дополнительный источник систематических ошибок, и он не был нивелирован при проведении исследования

Неопределенный риск (1) Представлено недостаточно информации

Пример: конфликт интересов как дополнительный источник систематических ошибок

Низкий риск (0) В статье явно указано, что компания-производитель ЛП (или другого вмешательства) не оказывала влияния на проведение исследования и подготовку публикации, авторы публикации не являются сотрудниками компании-производителя и не получали от нее гонораров

Высокий риск (2) При наличии хотя бы одного из следующих обстоятельств: • В статье явно указано, что производитель ЛП (или другого вмешательства) непосредственно участвовал в проведении исследования, подготовке публикации; • Сотрудник компании-производителя является автором публикации; • Автор получал персональные гонорары или гранты от производителя

Неопределенный риск (1) Представлено недостаточно информации

Примечание: Переведено из The Cochrane Handbook for Systematic Reviews of Interventions [7] и дополнено нами.

Кокрановское сотрудничество практикует следующее правило оценки общего риска СО в РКИ:

Исследования с низким риском всех рассмотренных СО предлагается считать имеющими низкий общий риск систематических ошибок (А), с неопределенным риском одной и более СО - имеющими средний общий риск систематических ошибок (В), с высоким риском одной и более СО - имеющими высокий общий риск систематических ошибок (С).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

1 Основные исходы - исходы, имеющие наибольшее значение для пациентов или системы здравоохранения.

Мы выполнили валидизацию вопросника следующим образом. В рассмотрение были взяты по 10 публикаций о РКИ, находившихся на текущем независимом рассмотрении у двух экспертов (Г. Р. Х. (Эксперт 1, Э1) и В. К. Ф. (Эксперт 2, Э2)), т. е. всего 20 публикаций 2002-2012 гг. [11-30]. Каждая публикация была независимо оценена каждым из экспертов. В таблице 2 представлены оценки уровней риска по 6 вопросам (доменам), расхождения оценок отмечены серой заливкой ячеек. В правых столбцах таблицы представлены итоговые оценки общего риска СО, выставленные в соответствии с приведенным выше правилом Кокрановского сотрудничества. В нижних

CL

О

LQ _D

m

х

ш

О ^

О X

X

ш

о

X

ш

Таблица 2. Оценки уровней риска СО в 20 РКИ, выставленные двумя экспертами (0 - низкий риск,

1 - неопределенный риск, 2 - высокий риск) и итоговые оценки риска (А, В, С) в соответствии с Кокрановским

правилом

Публикация Вопрос №1 Вопрос №2 Вопрос №3 Вопрос №4 Вопрос №5 Вопрос №6 Итоговая оценка

Э1 Э2 Э1 Э2 Э1 Э2 Э1 Э2 Э1 Э2 Э1 Э2 Э1 Э2

[11] 0 0 0 0 0 0 0 0 0 0 0 0 A A

[12] 0 0 0 0 2 0 2 0 0 0 0 0 C A

[13] 0 0 1 1 0 0 0 0 0 0 0 0 B B

[14] 0 0 1 1 0 0 0 0 0 0 0 0 B B

[15] 1 1 0 0 0 0 0 0 0 0 0 0 B B

[16] 1 1 0 0 0 0 2 2 0 0 0 0 C C

[17] 0 0 0 0 0 0 0 0 0 0 0 0 A A

[18] 0 0 0 0 0 0 0 0 0 0 0 0 A A

[19] 0 0 1 1 0 0 0 0 0 0 0 0 B B

[20] 0 0 0 0 0 0 0 0 1 2 0 0 B C

[21] 1 1 0 0 0 0 0 0 0 0 0 0 B B

[22] 1 1 1 1 2 2 0 1 2 2 1 1 C C

[23] 1 1 1 1 0 0 0 0 0 0 1 1 B B

[24] 2 2 2 2 0 0 0 0 0 0 1 1 C C

[25] 1 1 1 1 0 0 0 0 1 2 0 0 B C

[26] 0 0 0 0 0 0 0 0 0 0 0 0 A A

[27] 0 0 1 0 0 0 2 2 2 2 0 0 C C

[28] 0 0 0 0 0 0 0 0 2 2 1 1 C C

[29] 0 0 1 1 0 0 0 0 0 0 0 0 B B

[30] 0 0 1 1 0 0 0 0 0 0 0 0 B B

Каппа, 95% ДИ 1,000 (1,000; 1,000) 0,908 (0,731; 1,000) 0,643 (0,006; 1,000) 0,619 (0,151; 1,000) 0,750 (0,494; 1,000) 1,000 (1,000; 1,000) 0,767 (0,527; 1,000)

Качественная оценка согласия Отличное Очень хорошее Хорошее Хорошее Хорошее Отличное Хорошее

строках таблицы показаны результаты статистической оценки согласия экспертов по каждому вопросу с использованием статистики Каппа (GraphPad Software, Inc., США). Как можно видеть, уровень согласия как по отдельным вопросам, так и по итоговым оценкам варьирует от хорошего до отличного, т. е. является приемлемым.

Отдельного внимания заслуживает существенное расхождение оценок РКИ [12] по вопросам 3 и 4 («ослепление» пациентов и персонала, «ослепление» лиц, оценивающих эффект). В исследовании [12] оценивался субъективный исход и было указано, что подготовка препаратов производилась фармацевтом, а лечение осуществлялось другими исследователями. По этой причине Э2 оценил риски СО ослепления как низкие, в то время как Э1, действующий более формально, т. е. согласно формулировкам вопросника, оценил риск таких СО как высокий (табл. 2). Расхождение этих оценок привело и к существенному расхождению оценки общего риска СО.

Из перечисленных выше дополнительных источников СО (см. табл. 1) наибольшее значение, с нашей точки зрения, имеет конфликт интересов, поэтому мы предлагаем учитывать данный аспект в обязательном порядке и поэтому внесли его в вопросник как 7-й обязательный вопрос. Оценки риска СО вследствие конфликта интересов и изменившиеся итоговые оценки приведены в табл. 3. Как можно видеть, эксперты часто оценивали этот риск как высокий, что привело к заметному изменению итоговых оценок риска (ср. итоговые оценки по 6 и 7 вопросам), понизив их уровень в ряде исследований. В результате среди анализируемых РКИ не осталось исследований уровня А (за исключением одного, по которому оценки экспертов разошлись [12]). Такая ситуация характеризует снижение дифференцирующей способности вопросника и является непродуктивной. В связи с этим мы предлагаем в качестве компромиссного решения «смягченное» правило, допускающее неопределенный риск СО в одном (любом) из вопросов для уровня А.

Таблица 3. Оценки уровней риска СО в связи с конфликтом интересов в 20 РКИ, выставленные двумя экспертами (0 - низкий риск, 1 - неопределенный риск, 2 - высокий риск) и итоговые оценки, выставляемые по Кокрановскому и «смягченному» правилу

Публикация Итоговая оценка по 6 вопросам Вопрос №7 (о конфликте интересов) Итоговая оценка по 7 вопросам «Смягченное» правило

Э1 Э2 Э1 Э2 Э1 Э2 Э1 Э2

[11] А А 2 2 С С С С

[12] С А 0 0 С А С А

[13] В В 2 2 С С С С

[14] В В 0 0 В В А А

[15] В В 0 0 В В А А

[16] С С 2 2 С С С С

[17] А А 2 2 С С С С

[18] А А 2 2 С С С С

[19] В В 2 2 С С С С

[20] В С 2 2 С С С С

[21] В В 1 1 В В В В

[22] С С 1 0 С С С С

[23] В В 1 1 В В В В

[24] С С 1 0 С С С С

[25] В С 1 1 В С В С

[26] А А 1 1 В В А А

[27] С С 2 2 С С С С

[28] С С 1 1 С С С С

[29] В В 2 2 С С С С

[30] В В 2 2 С С С С

Каппа, 95% ДИ 0,767 (0,527; 1,000) 0,840 (0,641; 1,000) 0,770 (0,479; 1,000) 0,785 (0,503; 1,000)

Качественная оценка согласия Хорошее Очень хорошее Хорошее Хорошее

Смягченное правило оценки общего риска СО

^ в РКИ мы сформулировали следующим образом:

см

Исследования с низким риском всех рассмо-

2 тренных СО или с неопределенным риском одной

— (любой) СО предлагается рассматривать как име-

О ющие низкий общий риск СО (А), с неопределенным

2 риском двух и более СО - как имеющие средний об-ш

^ щий риск систематических ошибок (В), с высоким риском одной и более СО - как имеющие высокий ш общий риск систематических ошибок (С).

0

При применении данного смягченного правила ^ согласие экспертов осталось хорошим, при этом мы § получили более равномерное распределение уровней

1 общего риска в анализируемой совокупности РКИ.

Как мы видим, учет конфликта интересов оказы-^ вает существенное негативное влияние на итоговые

у

о оценки общего риска СО в РКИ, но при этом мы по-^ лагаем, что учитывать его более важно, чем не допускать на уровень А исследования с неопределенным ■5 риском по одному из основных источников СО.

Таким образом, предложенный нами адаптированный вариант вопросника, основанный на наиболее авторитетном вопроснике Кокрановского сотрудничества и дополненный нами для лучшего понимания деталей оценки, позволяет достаточно надежно оценивать общий риск систематических ошибок в РКИ. Тем не менее полного исключения расхождений оценок экспертов и абсолютной объективности экспертизы достичь невозможно, т. к. исчерпывающее описание в вопроснике всех возможных ситуаций, встречающихся в разнообразной практике планирования, выполнения и публикации результатов РКИ, нереально. Расхождения в оценках будут связаны также и с различной квалификацией экспертов, а следовательно, по-прежнему наиболее правильной практикой представляется выполнение оценок двумя и более экспертами с последующим обсуждением и достижением консенсуса.

В настоящее время мы разрабатываем веб-приложение для автоматизации данного вопросника и ведения базы данных экспертизы исследований.

ЛИТЕРАТУРА

1. Приказ Минздравсоцразвития России от 26 августа 2010 г. № 750н Москва «Об утверждении правил проведения экспертизы лекарственных средств для медицинского применения и форм заключения комиссии экспертов по результатам экспертизы лекарственных средств».

2. Постановление Правительства РФ от 28 августа 2014 г № 871 «Об утверждении Правил формирования перечней лекарственных препаратов для медицинского применения и минимального ассортимента лекарственных препаратов, необходимых для оказания медицинской помощи». Приложение №3 «Форма заключения о проведении научной экспертизы предложения о включении/исключении лекарственного препарата в перечни лекарственных препаратов, предусмотренные законодательством Российской Федерации».

3. Интернет-трансляция заседания Комиссии Минздрава России по формированию перечней лекарственных препаратов. URL: https:// www.rosminzdrav.ru/events/2014/11/27/521-internet-translyatsiya-zasedaniya-komissii-minzdrava-rossii-po-formirovaniyu-perechney-lekarstvennyh-preparatov.

4. Moher D, Jones A, Lepage L; CONSORT Group (Consolidated Standards for Reporting of Trials). Use of the CONSORT statement and quality of reports of randomized trials: a comparative before-and-after evaluation. JAMA. 2001, Apr 18; 285(15): 1992-1995.

5. Реброва О. Ю. Принципы оценки методологического качества оригинальных медицинских исследований. Медицинские технологии. Оценка и выбор, 2014; №4: с. 14—18.

6. Consolidated Standards of Reporting Trials. URL: http://www.con-sort-statement.org/.

7. Systems to Rate the Strength of Scientific Evidence. Evidence Report/Technology Assessment Number 47. Prepared for: Agency for Healthcare Research and Quality. AHRQ Publication No. 02-E016, April 2002. URL: http://www.ncbi.nlm.nih.gov/books/ NBK11930/.

8. JUni P., Witschi A., Bloch R., Egger M., The hazards of scoring the quality of clinical trials for meta-analysis. JAMA. 1999 Sep 15; 282(11): 1054—1060.

9. Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJM, Ga-vaghan DJ, McQuay H. Assessing the quality of reports of randomized clinical trials: Is blinding necessary? Controlled Clinical Tri-als.1996; 17: 1—12.

10. Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 (updated March 2011). The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

11. Bacon B. R., Gordon S. C., Lawitz E., et al. Boceprevir for previously treated chronic HCV genotype 1 infection. N Engl J Med. 2011 Mar 31; 364(13): 1207—1217. doi: 10.1056/NEJ-Moa1009482.

12. Braun J., Brandt J., Listing J., et al. Treatment of active ankylosing spondylitis with infliximab: a randomised controlled multicentre trial. Lancet. 2002 Apr 6; 359(9313): 1187—1193.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

13. Fernandez-Montequin J. I., Infante-Cristia E., Valenzuela-Silva C., et al. Intralesional injections of Citoprot-P (recombinant human epidermal growth factor) in advanced diabetic foot ulcers with risk of amputation. Int Wound J. 2007 Dec; 4(4): 333—343.

14. Hoffmann U., Truong Q. A., Schoenfeld D. A., et al. Coronary CT angiography versus standard evaluation in acute chest pain. N Engl J Med. 2012 Jul 26; 367(4): 299—308. doi: 10.1056/NEJ-Moa1201161.

15. Juergens C. P., Winter J. P., Nguyen-Do P., et al. Nephrotoxic effects of iodixanol and iopromide in patients with abnormal renal function receiving N-acetylcysteine and hydration before coronary angiog-raphy and intervention: a randomized trial. Intern Med J. 2009 Jan; 39(1): 25—31. doi: 10.1111/j.1445-5994.2008.01675.x.

16. Kantarjian H., Shah N. P., Hochhaus A., et al. Dasatinib versus ima-tinib in newly diagnosed chronic-phase chronic myeloid leukemia. N Engl J Med. 2010 Jun 17; 362(24): 2260—2270. doi: 10.1056/ NEJMoa1002315.

17. Kavanaugh A., McInnes I., Mease P., et al. Golimumab, a new human tumor necrosis factor alpha antibody, administered every four weeks as a subcutaneous injection in psoriatic arthritis: Twenty-four-week efficacy and safety results of a randomized, placebo-controlled study. Arthritis Rheum. 2009 Apr; 60(4): 976-986. doi: 10.1002/art.24403.

18. Khullar V., Amarenco G., Angulo J. C., et al. Efficacy and toler-ability of mirabegron, a ß(3)-adrenoceptor agonist, in patients with overactive bladder: results from a randomised European-Australian phase 3 trial.Eur Urol. 2013 Feb; 63(2): 283-295. doi: 10.1016/j. eururo.2012.10.016.

19. Nitti V. W., Auerbach S., Martin N., et al. Results of a randomized phase III trial of mirabegron in patients with overactive bladder. J Urol. 2013 Apr; 189(4): 1388-1395. doi: 10.1016/j. juro.2012.10.017.

20. Poordad F., McCone J. Jr., Bacon B. R., et al. Boceprevir for untreated chronic HCV genotype 1 infection. N Engl J Med. 2011 Mar 31; 364(13): 1195-1206. doi: 10.1056/NEJMoa1010494.

21. Brocklehurst P., Farrell B., King A., et al. Treatment of neonatal sepsis with intravenous immune globulin. N Engl J Med. 2011 Sep 29; 365(13): 1201-1211. doi: 10.1056/NEJMoa1100441.

22. Chan Y. H., Shek L. P., Aw M., et al. Use of hypoallergenic formula in the prevention of atopic disease among Asian children. J Paediatr Child Health. 2002 Feb; 38(1): 84-88.

23. El-Nawawy A., El-Kinany H., Hamdy El-Sayed M., Boshra N. Intravenous polyclonal immunoglobulin administration to sepsis syndrome patients: a prospective study in a pediatric intensive care unit. J Trop Pediatr. 2005 Oct; 51(5): 271-278.

24. El-Zibdeh M. Y., Yousef L. T. Dydrogesterone support in threatened miscarriage. Maturitas. 2009 Dec; 65 Suppl 1: S43-46. doi: 10.1016/j.maturitas.2009.11.013.

25. Gluz O., Mengele K., Schmitt M., et al. Y-box-binding protein YB-1 identifies high-risk patients with primary breast cancer benefiting from rapidly cycled tandem high-dose adjuvant chemotherapy. J Clin Oncol. 2009 Dec 20; 27(36): 6144-6151. doi: 10.1200/ JCO.2008.19.6261.

26. Hentrich M., Fehnle K., Ostermann H., et al. IgMA-enriched im-munoglobulin in neutropenic patients with sepsis syndrome and septic shock: a randomized, controlled, multiple-center trial. Crit Care Med. 2006 May; 34(5): 1319-1325.

27. Lowe A. J., Hosking C. S., Bennett C. M., et al. Effect of a partially hydrolyzed whey infant formula at weaning on risk of allergic disease in high-risk children: a randomized controlled trial. J Allergy Clin Immunol. 2011 Aug; 128(2): 360-365. e4. doi: 10.1016/j. jaci.2010.05.006.

28. Rodriguez A., Rello J., Neira J., et al. Effects of high-dose of intravenous immunoglobulin and antibiotics on survival for severe sepsis undergoing surgery. Shock. 2005 Apr; 23(4): 298-304.

29. Von Berg A., Filipiak-Pittroff B., Krämer U., et al. Preventive effect of hydrolyzed infant formulas persists until age 6 years: long-term results from the German Infant Nutritional Intervention Study (GINI). J Allergy Clin Immunol. 2008 Jun; 121(6): 1442-1447. doi: 10.1016/j.jaci.2008.04.021.

30. Werdan K., Pilz G., Bujdoso O., et al. Score-based immunoglobulin G therapy of patients with sepsis: the SBITS study. Crit Care Med. 2007 Dec; 35(12): 2693-2701.

REFERENCE

1. Order of the Ministry of Health and Social Development of the Russian Federation of August 26, 2010 .№ 750n, city of Moscow «On approval of rules of conducting expert evaluation of medicinal products for medical use and of forms of experts' commission findings based on the results of expert evaluation of medicinal products».

2. Russian Federation Government Resolution of August 28, 2014 .№ 871 «On approval of Rules of forming lists of medicinal products for medical use and for minimum assortment of medicinal products necessary for medical treatment». Annex .№ 3 «Form of findings of the conducted scientific evaluation of proposal regarding inclusion/exclusion of the medicinal product into the lists of medicines, as provided for by the law of the Russian Federation».

о ц,

о ч о

I-

ш

s

16

CL

о

LÛ _ü m

х

ш

О ^

О X

X

ш

о

X

m ш

3. Online translation of the meeting of the Lists of medicines forming Committee of the Ministry of Health of the Russian Federation. [URL] https://www.rosminzdrav.ru/events/2014/11/27/521-internet-translyatsiya-zasedaniya-komissii-minzdrava-rossii-po-formirovani-yu-perechney-lekarstvennyh-preparatov.

4. Moher D, Jones A, Lepage L; CONSORT Group (Consolidated Standards for Reporting of Trials). Use of the CONSORT statement and quality of reports of randomized trials: a comparative before-and-after evaluation. JAMA. 2001 Apr 18; 285(15): 1992-1995.

5. Rebrova O.Y. On Principles of Assessment of Medical Research Methodological Quality. Medical technologies. Assessment and choice, 2014, №4, p. 15-18.

6. Consolidated Standards of Reporting Trials URL: //http://www. consort-statement.org/.

7. Systems to Rate the Strength of Scientific Evidence. Evidence Report/Technology Assessment Number 47. Prepared for: Agency for Healthcare Research and Quality. AHRQ Publication No. 02-E016, April 2002. URL: http://www.ncbi.nlm.nih.gov/books/NBK11930/.

8. Juni P., Witschi A., Bloch R., Egger M., The hazards of scoring the quality of clinical trials for meta-analysis. JAMA. 1999 Sep 15; 282(11): 1054-1060.

9. Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJM, Ga-vaghan DJ, McQuay H. Assessing the quality of reports of randomized clinical trials: Is blinding necessary? Controlled Clinical Tri-als.1996; 17: 1-12.

10. Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 (updated March 2011). The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

11. Bacon B. R., Gordon S. C., Lawitz E., et al. Boceprevir for previously treated chronic HCV genotype 1 infection. N Engl J Med. 2011 Mar 31; 364(13): 1207-1217. doi: 10.1056/NEJMoa1009482.

12. Braun J., Brandt J., Listing J., et al. Treatment of active ankylosing spondylitis with infliximab: a randomised controlled multicentre trial. Lancet. 2002 Apr 6; 359(9313): 1187-1193.

13. Fernandez-Montequin J.I., Infante-Cristia E., Valenzuela-Silva C., et al. Intralesional injections of Citoprot-P (recombinant human epidermal growth factor) in advanced diabetic foot ulcers with risk of amputation. Int Wound J. 2007 Dec; 4(4): 333-343.

14. Hoffmann U., Truong Q.A., Schoenfeld D.A., et al. Coronary CT angiography versus standard evaluation in acute chest pain. N Engl J Med. 2012 Jul 26; 367(4): 299-308. doi: 10.1056/NEJ-Moa1201161.

15. Juergens C. P., Winter J. P., Nguyen-Do P., et al. Nephrotoxic effects of iodixanol and iopromide in patients with abnormal renal function receiving N-acetylcysteine and hydration before coronary angiog-raphy and intervention: a randomized trial. Intern Med J. 2009 Jan; 39(1): 25-31. doi: 10.1111/j.1445-5994.2008.01675.x.

16. Kantarjian H., Shah N. P., Hochhaus A., et al. Dasatinib versus ima-tinib in newly diagnosed chronic-phase chronic myeloid leukemia. N Engl J Med. 2010 Jun 17; 362(24): 2260-2270. doi: 10.1056/ NEJMoa1002315.

17. Kavanaugh A., McInnes I., Mease P., et al. Golimumab, a new human tumor necrosis factor alpha antibody, administered every four weeks as a subcutaneous injection in psoriatic arthritis: Twenty-four-week efficacy and safety results of a randomized, placebo-controlled study. Arthritis Rheum. 2009 Apr; 60(4): 976-986. doi: 10.1002/art.24403.

18. Khullar V., Amarenco G., Angulo J.C., et al. Efficacy and toler-ability of mirabegron, a p(3)-adrenoceptor agonist, in patients with overactive bladder: results from a randomised European-Australian phase 3 trial.Eur Urol. 2013 Feb; 63(2): 283-295. doi: 10.1016/j. eururo.2012.10.016.

19. Nitti V. W., Auerbach S., Martin N., et al. Results of a randomized phase III trial of mirabegron in patients with overactive bladder. J Urol. 2013 Apr; 189(4): 1388-1395. doi: 10.1016/j. juro.2012.10.017.

20. Poordad F., McCone J. Jr., Bacon B. R., et al. Boceprevir for untreated chronic HCV genotype 1 infection. N Engl J Med. 2011 Mar 31; 364(13): 1195-1206. doi: 10.1056/NEJMoa1010494.

21. Brocklehurst P., Farrell B., King A., et al. Treatment of neonatal sepsis with intravenous immune globulin. N Engl J Med. 2011 Sep 29; 365(13): 1201-1211. doi: 10.1056/NEJMoa1100441.

22. Chan Y. H., Shek L. P., Aw M., et al. Use of hypoallergenic formula in the prevention of atopic disease among Asian children. J Paediatr Child Health. 2002 Feb; 38(1): 84-88.

23. El-Nawawy A., El-Kinany H., Hamdy El-Sayed M., Boshra N. Intravenous polyclonal immunoglobulin administration to sepsis syndrome patients: a prospective study in a pediatric intensive care unit. J Trop Pediatr. 2005 Oct; 51(5): 271-278.

24. El-Zibdeh M.Y., Yousef L.T. Dydrogesterone support in threatened miscarriage. Maturitas. 2009 Dec; 65 Suppl 1: S43-46. doi: 10.1016/j.maturitas.2009.11.013.

25. Gluz O., Mengele K., Schmitt M., et al. Y-box-binding protein YB-1 identifies high-risk patients with primary breast cancer benefiting from rapidly cycled tandem high-dose adjuvant chemotherapy. J Clin Oncol. 2009 Dec 20; 27(36): 6144-6151. doi: 10.1200/ JC0.2008.19.6261.

26. Hentrich M., Fehnle K., Ostermann H., et al. IgMA-enriched im-munoglobulin in neutropenic patients with sepsis syndrome and septic shock: a randomized, controlled, multiple-center trial. Crit Care Med. 2006 May; 34(5): 1319-1325.

27. Lowe A. J., Hosking C. S., Bennett C. M., et al. Effect of a partially hydrolyzed whey infant formula at weaning on risk of allergic disease in high-risk children: a randomized controlled trial. J Allergy Clin Immunol. 2011 Aug; 128(2): 360-365. e4. doi: 10.1016/j. jaci.2010.05.006.

28. Rodriguez A., Rello J., Neira J., et al. Effects of high-dose of intravenous immunoglobulin and antibiotics on survival for severe sepsis undergoing surgery. Shock. 2005 Apr;23(4): 298-304.

29. Von Berg A., Filipiak-Pittroff B., Krämer U., et al. Preventive effect of hydrolyzed infant formulas persists until age 6 years: long-term results from the German Infant Nutritional Intervention Study (GINI). J Allergy Clin Immunol. 2008 Jun; 121(6): 1442-1447. doi: 10.1016/j.jaci.2008.04.021.

30. Werdan K., Pilz G., Bujdoso O., et al. Score-based immunoglobulin G therapy of patients with sepsis: the SBITS study. Crit Care Med. 2007 Dec; 35(12): 2693-2701.

Сведения об авторах:

Реброва Ольга Юрьевна

профессор Кафедры медицинской кибернетики и информатики РНИМУ им. Н. И. Пирогова, в. н. с. Центра оценки технологий в здравоохранении РАНХиГС, д-р мед. наук

Адрес для переписки:

117997, Москва, ул. Островитянова, д. 1 Телефон: +7 (495) 434-5478 E-mail: o.yu.rebrova@gmail.com

Федяева Влада Константиновна

научный сотрудник Центра оценки технологий в здравоохранении Института прикладных экономических исследований РАНХиГС, Москва, Россия

Адрес для переписки:

117335, Москва, а/я 90 Телефон: +7 (499) 956-9528 E-mail: vlada.fedyaeva@gmail.com

Хачатрян Георгий Рубенович

научный сотрудник Центра оценки технологий в здравоохранении Института прикладных экономических исследований РАНХиГС, Москва, Россия

Адрес для переписки:

117335, Москва, а/я 90 Телефон: +7 (499) 956-9528 E-mail: revenant87@ya.ru

Writting commitee:

Rebrova Olga Yuryevna

Professor at the Department of Medical Cybernetics and Informatics of the N. I. Pirogov Russian National Research Medical University, Moscow, Russia; Leading Researcher at the Center for Health Technology Assessment of the Institute for Applied Economic Research at the Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, Russia; PhD (Doctor of Medical Sciences)

Address for correspondence:

1 Ostrovityanova St., Moscow 117997

Tel: +7 (495) 434-5478

E-mail: o.yu.rebrova@gmail.com

Fedyaeva Vlada Konstantinovna

Researcher at the Center for Health Technology Assessment of the Institute for Applied Economic Research at the Russian Presidential

Academy of National Economy and Public Administration (RANEPA), Moscow, Russia

Address for correspondence:

117335, Moscow, p/o 90

Tel: +7 (499) 956-9528

E-mail: vlada.fedyaeva@gmail.com

Khachatryan Georgy Rubenovich

Researcher at the Center for Health Technology Assessment of the Institute for Applied Economic Research at the Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, Russia

Address for correspondence:

117335, Moscow, p/o 90 Tel: +7 (499) 956-9528 E-mail: revenant87@ya.ru

O ^

O CI O I-u

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

5

17

i Надоели баннеры? Вы всегда можете отключить рекламу.