CC BY
224
Оценка качества научных публикаций (часть II)1
Н.А. Зорин
НИИ клинико-экономической экспертизы и фармакоэкономики (НИИ КЭЭФ) Российского национального исследовательского медицинского университета (РНИМУ) имени Н. И. Пирогова Министерства здравоохранения и социального развития Российской Федерации, Москва, Россия
В статье рассматриваются первые шаги алгоритма определения ценности научных публикаций, посвященных результатам медицинских вмешательств. Сквозь эту призму анализируются стандартные части самой публикации. Рассматриваются основные понятия доказательной медицины. В приложении представлен вопросник, позволяющий проводить оценку таких публикаций.
КЛЮЧЕВЫЕ СЛОВА: качество научных публикаций, медицинские вмешательства, клиническая эпидемиология, доказательная медицина (ДМ), рандомизация, контроль, систематическая ошибка (СО), случайная ошибка, клинические исходы, суррогатные исходы, рандомизированное клиническое исследование (РКИ), метаанализ.
Прошлый мастер-класс завершился рекомендацией читать статьи по интересующему нас предмету в хороших журналах, что будет являться достаточной гарантией их качества [3]. Однако жизнь нас не балует, и нам гораздо чаще приходится читать что попало. Большинство хороших журналов написаны на иностранном языке (конечно, сегодня смело можно сказать, что знание английского, международного языка науки, должно быть обязательным результатом медицинского образования, равно как и минимальная компьютерная грамотность). Однако живы еще те врачи, для которых это не было нормой.
Читать на иностранном тяжело, да еще научные статьи! Большинство из нас (и это нормально) предпочитает читать по-русски. Фармацевтические гиганты заботятся о нас и переводят интересные для них работы, публикуя их в российских «ретрансляторах истинного знания» - журналах, которые живут рекламой и распространяются бесплатно [3]. Мы сами вынуждены судить: а правда ли то, что там написано? Что же способно убедить нас в правоте, истинности, качестве опубликованного?
Сегодня речь пойдет об одном из наиболее важных для практикующего врача предмете - оценке публикаций, посвященных исследованиям, в которых оценивалась эффективность и/или безопасность медицинского вмешательства. Этот вопрос не безразличен и для организатора здравоохранения, который принимает решение о массовом применении, например, того или иного лекарства и т.п.
В настоящем мастер-классе мы погрузимся в содержательную часть тех обязательных разделов,
1 Для написания данного текста мною, с разрешения редакций соответствующих журналов, использовались фрагменты ранее написанных на эту же тему статей: [1]; [2]
которые должна включать любая грамотно написанная научная статья, и рассмотрим некоторые из них через призму оценки медицинского вмешательства. Повторим их вновь:
• Обоснование проведения исследования.
• Гипотеза исследования.
• Цель исследования.
• Характеристика материала исследования.
• Методы исследования.
• Результаты исследования.
• Обсуждение результатов.
• Выводы.
• Список литературы.
• Реферат и ключевые слова.
Первые три позиции нередко объединяют в разделе «цель». Тем не менее, в идеале все они требуют отдельного разъяснения в тексте статьи (что все еще редко делается в отечественных работах).
«Обоснование исследования». Данный раздел обычно содержит историю вопроса (введение), формулировку надобности проводимого автором исследования, нередко называемого «актуальность исследования» и объявление его дизайна (методики)2. Нередко в качестве обоснования проведения исследования, его актуальности, указывается на то, что данный предмет (вопрос) в научной литературе «не описан» или «описан недостаточно». Не говоря уже о том, что понятие «достаточности» обычно не раскрывается, нужно признать, что такое обоснование
2 Нередко (а точнее, почти повсеместно) слово «методика» заменяют в текстах на неправильный, дословный перевод с английского «методология». Последняя - это наука о методе, а не схема исследования (дизайн). К сожалению, в самом английском эти слова стали использовать как синонимы. Ничем кроме путаницы в головах это не кончается. О дизайне подробнее - ниже.
85
о
о <
ц,
X
Q. Ш
н
о <
5
86
CL
О
LQ _0 ш
X
ш
о ^
о
X
X
ш
о х
ш
актуальности, мягко говоря, неудовлетворительно. Кроме того, нередки случаи замалчивания уже сделанного в этой области другими исследователями. В данном разделе следует четко сформулировать, зачем, собственно, предпринято исследование, из каких общетеоретических соображений вытекает его смысл. То есть должны быть очерчены его исторический и теоретический контексты. Недостаточно сослаться только на тот факт, что «данная проблема еще не изучалась...», ибо вполне возможно, что ее и не нужно изучать. Формулировка актуальности исследования должна включать исчерпывающее объяснение того, что именно не было изучено предшественниками, а главное, почему это важно было изучать. Сделанное же предшественниками ни при каких обстоятельствах не должно замалчиваться.
Казалось бы, очевидно, что в обосновании проведения собственного исследования, написании обзора литературы и т.п., иначе говоря, в анализе прецедентов, следует ориентироваться на поиск и цитирование самых доказательных работ, а среди них - на самые последние и обновленные данные.
Но что означает термин «доказательные» и какие исследования следует считать самыми доказательными? Нередко этот вопрос решается исходя из неких «традиций», вкусов исследщоватеоля или его руководителей. Между тем, существуют научные критерии доказательности медицинских исследований.
Современное спланированное клиническое исследование это исследование построенное на принципах доказательной медицины. Здесь нам потребуется экскурс в основы этой дисциплины.
КЛИНИЧЕСКАЯ ЭПИДЕМИОЛОГИЯ И ДОКАЗАТЕЛЬНАЯ МЕДИЦИНА
В 80-е годы теперь уже прошлого столетия в Канаде возникла новая медицинская дисциплина -клиническая эпидемиология, а на основе ее принципов сформировалась новая форма медицинской практики - evidence-based medicine (букв. «медицина, основанная на неопровержимых доказательствах»). Термин получил русский перевод - «доказательная медицина» (ДМ) после выхода в России книги Р. Флетчер c соавт. [4].
Это направление вскоре стало основой развития медицины индустриально развитых стран.
Клиническая эпидемиология (КЭ) - относительно новая технология проведения клинических исследований, а также сбора и анализа их данных, которая позволяет контролировать влияние на результат систематических и случайных ошибок. Такой подход позволяет разделить достоверные и недостоверные исследования.
ДМ - врачебная практика, основанная на данных достоверных исследований.
Основные положения клинической эпидемиологии таковы:
• Диагноз, прогноз и результаты лечения конкретного больного неопределенны и выражаются через вероятности.
• Эти вероятности оцениваются на основе опыта, накопленного в отношении групп аналогичных больных.
• Клинические исследования проводятся людьми (исследователями) и на людях (пациентах), поэтому результаты подвержены систематическим ошибкам.
• Любые наблюдения подвержены влиянию случайности.
• Полагаться можно только на достоверные исследования.
Достоверность - термин из клинической эпидемиологии, который отнюдь не является синонимом (как это принято считать) другого термина - статистической значимости3.
Достоверным исследованием называют работу, где сведены к минимуму систематические и учтены случайные ошибки. Данные термины требуют объяснения. Понятие ошибок:
• Систематическая ошибка (bias, смещение, предвзятость) - получение искаженных результатов, систематически отличающихся от истинных величин.
• Случайная ошибка - отклонение результата отдельного наблюдения или измерения от его истинного значения, обусловленное исключительно случайностью.
Систематические ошибки (СО) возникают по множеству причин. Наиболее часто - в результате неточных измерений, неправильного отбора материала в группах сравнения (включая выбывание испытуемых в ходе исследования), влияния вмешивающихся факторов и субъективности оценок результатов. Кроме точности измерений (калибровки приборов, применения тестов с установленной валидностью и т.п.), единственный способ избежать СО - избавиться от тенденциозности в подборе групп сравнения и оценке результатов испытания. Достичь этого можно применением рандомизации (случайной выборки) при отборе групп сравнения (испытуемые - контроль) и учете выбывания испытуемых в ходе исследования. СО оценочного (психологического) свойства устраняет процедура слепого (в идеале тройного слепого) контроля. Об этих понятиях речь пойдет ниже.
Тому, кто читает научную статью, в частности, предстоит понять, насколько исследователю удалось избежать влияния «человеческого фактора» в процессах отбора испытуемых, лечения и оценки результата.
3 Об этом см. подробнее [5]
В медицине чрезвычайно широко распространен миф о «честном исследователе», который, якобы, может усилием воли «отключить» предвзятость. Однако наблюдающий человек полагается на свои органы чувств, чья работа предопределяется совершенно определенными психологическими установками. Нет ничего надежнее, чтобы впасть в заблуждение, как довериться своим чувствам. Психология располагает экспериментальными доказательствами того, что чувствами можно манипулировать (с помощью рекламы, например). Все мы слышали об оптических иллюзиях, но никогда не относим это к себе, подобно героям рассказа Л.Н. Толстого «Смерть Ивана Ильича», которые воспринимали смерть, как нечто, присущее только Ивану Ильичу... То есть людям свойственно видеть только то, что они хотят видеть, и не видеть то, что видеть им неприятно (впрочем, это относится и к другим органам чувств.). Этот тезис можно смело положить и в основу критического отношения к написанному в научной литературе. Собственно говоря, он является расшифровкой одного из положений ДМ («Исследование делается людьми и на людях».). Все сказанное выше справедливо как для того, кто проводит научное исследование и потом публикует его результаты, так и для тех, кто эти публикации читает. Наприрмер нет никаких оснований считать, что так называемые «объективные исследования» будут восприниматься всеми одинаково. Давно показано обратное [6] 4. Это же справедливо и для чтения научных текстов.
Нельзя полагаться на чувства, а также на «здравый смысл», например на усмотрение причинной связи там, где лишь имеется простая последовательность событий (дали лекарство - стало лучше) 5.
Осознание этой проблемы привело к созданию такой технологии проведения клинических исследований, из которой максимально исключался субъект. Человек со своими слабостями, способными повлиять на результат, исключался не физически (это невозможно), а с помощью специальной техники организации исследования.
Устранение случайных ошибок достигается применением методов статистики. Столь любимая отечественными исследователями статистическая значимость (р<...) имеет отношение только к случайным ошибкам. Здесь нужно особо подчеркнуть, что методология ДМ направлена, прежде всего, на устранение или минимизацию СО. При их наличии никакая математическая обработка результатов (т.е. учет ошибок случайных), сколь изыскана она бы ни была, уже не способна ничего исправить, и может только вводить в заблуждение читателей, придавая работе наукообразность.
Таким образом, достоверное исследование — это исследование, свободное от СО, в котором заключение о различиях изучаемого явления в группах сравнения подтверждено статистически значимым результатом.
Мы подошли к понятию методики исследования, ныне именуемое упомянутым иностранным словом «дизайн». ДМ позволила выстроить иерархию дизайнов исследований в зависимости от числа потенциально возможных СО в них:
• систематический обзор (метаанализ);
• рандомизированное контролируемое исследование;
• псевдорандомизированное исследование;
• нерандомизированное исследование;
• проспективное когортное исследование;
• ретроспективное когортное исследование;
• исследование случай-контроль;
• неконтролируемое одномоментное исследование;
• описание случаев.
Сообразно тематике сегодняшнего мастер-класса, обратимся к верхней части этого списка.
Образцовой единицей, «золотым стандартом» доказательного исследования медицинских вмешательств считается рандомизированное контролируемое исследование (РКИ)6. Здесь нам предстоит «пробежаться» по всем этим терминам.
Неоднократно упомянутая выше достоверность стоит на «трех китах»:
87
4 В этих исследованиях было показано, что различные специалисты (офтальмологи, интернисты и анестезиологи) совершенно по-разному оценивают данные одних и тех же «объективных» исследований: ЭКГ, подсчета форменных элементов крови, рентгеноскопии грудной клетки, определения печеночных ферментов, электролитов плазмы и т.д. Также было продемонстрировано, что результаты любых, сколь угодно «объективных» наблюдений имеют смысл только в рамках определенной теоретической конструкции. В зависимости от концепции, в которую включены объективные данные, поставленный на их основании диагноз может быть подвергнут сомнению.
5 К ним относятся столь любимые в отечественной медицине описания (описательные исследования) отдельных случаев или серий случаев. К примеру, еще недавно такие исследования составляли около трети всех опубликованных работ в отечественной психиа-
трии [8]. Нужно помнить, что описательные исследования вообще ничего не доказывают. Они лишь позволяют выдвинуть то или иное количество предположений (гипотез), которые, в свою очередь, требуют проверки. А проверка проводится уже в специально спланированных исследованиях, дизайн которых может быть раз-
личным и зависит от предмета исследования (диагностика, патогенез, вмешательство и пр.).
Наблюдение и описание имеет право на существование. Они могут применяться, например, для изучения так называемого «естественного течения заболевания» (без нашего вмешательства). Я заостряю внимание на различиях описательных и специально спланированных исследований, поскольку в отечественной медицине, как показывает опыт, сознательно или с той или иной степенью осознанности, результаты описания отдельных случаев (серий) до сих пор становятся руководством к неким неоправданным обобщениям и, что гораздо хуже, к действиям (например, рекомендациям применять то или иное вмешательство). Это совершенно недопустимо. 6 Сразу надо сказать, что эту аббревиатуру многие расшифровывают неправильно - а именно, как рандомизированное клиническое испытание (исследование). Это принципиально. Слово контролируемое (а не клиническое) — один из элементов дизайна и непременное условие такой схемы исследования, которое гарантирует нам непредвзятость (то, что оно клиническое - само собой разумеющийся факт).
о
о <
ц,
X
CL ш H
о <
S
88
CL
О
LQ _û m
х
ш
О ^
О X
X
ш
о
X
m ш
• рандомизации (в идеале «слепой»);
• контроле (в идеале тройном «слепом»);
• достаточной величине выборки.
Термин рандомизация (от амер. англ. randomize -вносить элемент случайности, перемешивать, располагать в случайном порядке) давно «кочует» из одного медицинского исследования в другое. И хотя он уже навяз уже в зубах, но, как показывает опыт, многими понимается неправильно.
Подобно тому, как дед Щукарь определял слово «бордюр» как «гулящую девку», термину «рандомизация» многие врачи и научные сотрудники так же придают произвольное значение - «по созвучию» или иным ассоциациям. Так, часть медицинских работников считают этот термин просто модным наукообразным обозначением обычного отбора испытуемых в группы. Другие же, понимая, что отбор должен быть все-таки случайным, по-разному трактуют уже слово «случайность». Одни считают, что больные, вошедшие в дверь поликлиники, зашли туда случайно и их можно, по мере поступления, распределять направо и налево (т.е. в группу испытуемых и группу сравнения); другие полагают, что можно придать отбору случайность, распределяя испытуемых в группы по буквам алфавита, с которых начинаются их фамилии, и т.д. и т.п.
Между тем перечисленные методы отбора называются псевдо- или квазирандомизацией (от quasi - кажущийся, видимый, как бы, якобы, почти, напоминающий что-либо). Псевдорандомизация - это «метод отнесения участников испытания к группам, получающим разное лечение, который не обеспечивает по-настоящему случайный порядок такого отнесения. Скажем, когда для этого используют данные о дате рождения, дне недели, номере истории болезни, месяце года или последовательно включают участников в группы (путем чередования).
Рандомизация - метод, который использует случайный порядок отнесения участников испытания к сравниваемым группам, например на основе таблицы случайных чисел или случайной последовательности чисел, генерируемой компьютером. Случайное отнесение к той или иной группе означает, что каждый индивидуум или включаемая в испытание единица имеет одинаковый шанс получить любое из возможных медицинских вмешательств. Таким образом, вероятность того, что индивидуум получит данное лечение, не зависит от вероятности того, что любой другой индивидуум получит такое же лечебное вмешательство.
Попытаемся разобраться.
Смысл рандомизации
Все люди разные, это известно. У нас разные генотипы и, соответственно, фенотипы. Один лю-
бит попадью, другой - попову дочку (или свиной хрящик). Почему же мы все-таки в своем большинстве одинаково реагируем на одно и то же хорошее лекарство? Как получилось, что оно подходит многим? Потому, что хорошее лекарство прошло проверку в хорошо организованном клиническом исследовании (РКИ).
В таком исследовании именно рандомизация позволяет достичь максимального разнообразия в сравниваемых группах испытуемых, избавляя отбо-рот СО в виде накопления в одной из групп одинаковых испытуемых (в карикатурном варианте - когда группу мужчин, сравнивают с группой женщин). Ее «сермяжный смысл» в том, чтобы получить в итоге портрет «собирательного испытуемого», «испытуемого вообще», который вобрал бы максимум доступных генетических черт той популяции, для которой мы хотим в последующем применить наше вмешательство. Иначе результаты испытания будет невозможно перенести (экстраполировать) на эту популяцию7.
Вся человеческая деятельность, хотим мы того или нет, пронизана психологией. Поэтому, памятуя о ранее сформулированном фундаментальном принципе ДМ («Человеку свойственно видеть то, что он хочет видеть...»), дополним его в данном контексте еще одним: «Человек вольно или невольно может влиять на любую процедуру, о которой ему что-то известно». Поэтому, чтобы избежать СО, рандомизация должна быть еще и скрытой (или «слепой»).
Слепая рандомизация - это дополнение рандомизации процедурой скрытого отнесения участников испытания к той или иной группе (allocation concealment).
Метод маскирования («ослепления») позволяет избежать СО, которая возникает из-за явного или ненамеренного отнесения испытуемых к группам, подлежащим исследуемому медицинскому вмешательству, или к группе контроля. Исследователь в идеале не должен знать, в какую группу попал тот или иной испытуемый.
В современных РКИ врач, принимающий больного для исследования, просто сообщает его фамилию по телефону на пункт рандомизации, где его относят в одну из групп сравнения. Заинтересованный врач никогда не узнает, в какую именно группу попал тот или иной больной. В списках последний уже не имеет имени, а фигурирует под номером, который будет «демаскирован» лишь по завершении иссле-
7 Поэтому выводы подавляющего большинства исследований, где не применялся «золотой стандарт» (коих большинство), должны были бы выглядеть следующим образом: «Как нам показалось, испытанное нами лечение эффективно только для больных с диагнозом Х, находившихся в больнице N в такое-то время и т.д.». К сожалению, в реальности так никогда не происходит.
дования, когда подсчитают эффект вмешательства. Исследования, где рандомизация констатируется, но не описана, должны рассматриваться как псевдорандомизированные (как было показано, отсутствие рандомизации или ее неверное проведение приводят к переоценке эффекта до 150% , либо к его недооценке на 90% [9]).
КОНТРОЛЬ
Группа испытуемых, с результатами в которой сравнивают результаты медицинского вмешательства в основной группе, называется контрольной.
Испытуемые в контрольной группе могут получать другое (сравниваемое) лечебное вмешательство, могут получать пустышку (плацебо), а могут вовсе не подвергаться никакому вмешательству. Все это разные схемы исследования. Однако главное, чтобы об этом никто ничего не знал! Тогда эта процедура будет называться слепым контролем. Но контроль не всегда обязательно слепой.
Наличие контрольной группы в российских клинических исследованиях уже можно считать маленьким достижением, поскольку большая их часть все еще проводится по принципу «дали - посмотрели», т.е. без всяких сравнений с теми, кому «не дали» или «дали что-то другое». Оценка результата при таком эксперименте всегда имеет элемент субъективности, т.е. будет получена СО за счет предвзятости наблюдения. Чтобы избавиться от СО, возникающих за счет такой предвзятости («А мы видим эффект!»), была разработана процедура слепого контроля. Процесс «ослепления», или маскирования, бывает очень сложным и зависит от сравниваемых типов медицинского вмешательства (например, когда применяется комбинированная терапия и т.п.). Из дидактических соображений мы рассмотрим наиболее простые его формы. Итак, слепой контроль может быть простым, двойным и в идеале тройным.
1. Первый вариант - простой слепой контроль - такой, при котором о проводимом лечебном вмешательстве знает только тот, кто его проводит. Испытуемый же не знает.
2. Двойной слепой контроль (double blind control) называется так потому, что уже двое (и врач, и больной) не знают, что и кому делают/не делают. В этом случае оценивать эффект лечения может сам лечащий врач-исследователь. Такие формы контроля легко осуществимы, когда испытывают лекарственные средства в сравнении с плацебо или другим, например, традиционно применяемым препаратом. Все препараты-«пустышки» маскируют (делают одинаковые с основным препаратом упаковки, капсулы и т.д.). то есть при всей простоте идеи техническая сторона дела весьма затратна.
Другой вид двойного слепого контроля применяется при невозможности «ослепить» проводящего лечение. Это приглашение для оценки результата лечения другого исследователя. От него должно быть скрыто, что именно делали с тем или иным испытуемым и к какой группе - контрольной или основной - относится оцениваемый им больной (или иной объект). Такой метод применяют тогда, когда врач, проводящий процедуру, просто не может не знать, что он делает: например, хирург либо отрезает что-то, либо ничего не отрезает (если только его специально не обмануть...). Врач также может с исследовательской целью сам целенаправленно инсценировать ложное медицинское вмешательство (к примеру, введение лекарства), хотя больной в данном случае не знает, что с ним на самом деле делали8.
3. Самый лучший и самый объективный вид контроля - тройной слепой контроль (triple blind control). Он заключается в том, что «ослеплен» еще один участник процесса, а именно - исследователь, обрабатывающий материал статистически. Он не должен знать, кому из испытуемых принадлежат те или иные показатели эффективности лечебного вмешательства.
Интересно, что чем серьезнее изучаемый эффект, тем меньше надобность в «ослеплении». Крайним случаем является смерть. Испытуемый не может быть «скорее жив, чем мертв», как говорили герои «Приключений Буратино», или наоборот. То есть такие исходы, как выживаемость, тяжелая инвалидность и прочие нуждаются в слепом контроле меньше, чем такие, как, например, выраженность боли, качество жизни и т.п.
В чем смысл «ослепления»? Он, как уже говорилось, превращает СО наблюдения в ошибку случайную. И только тогда результаты могут быть скорректированы с поправкой на случайность с помощью любимой всеми статистики. Теперь мы можем сформулировать понятия контролируемого клинического исследования и рандомизированного контролируемого исследования (РКИ).
Контролируемое клиническое исследование (controlled clinical trial) - это исследование, в котором проводят сравнение одной (и более) группы, пациенты в которой получают медицинское вмешательство, с одной (и более) группой сравнения (контрольной).
В то время как не все контролируемые исследования являются рандомизированными, все рандомизи-
8 Мы не касаемся здесь этической стороны вопроса. Понятно, что никто не станет просто обманывать испытуемого или давать ему пустышку, если его состояние может ухудшиться без лечения. Для этого разработаны этические нормы (Хельсинкское соглашение). Больного с тяжелой патологией могут подвергать испытанию новыми лечебными методами только при сохранении традиционного лечения, а испытуемые дают согласие на свое «незнание» о проводимом вмешательстве и т.д.
89
о
о <
ц,
X
о. ш н
о <
5
90
рованные исследования (randomized trials), как правило, являются контролируемыми.
В специальных проверочных исследованиях было показано, к чему приводит отсутствие или неправильное проведение процедуры «ослепления». В исследованиях, где метод слепого контроля был неадекватен, эффект лечения «оказывался» на 41% выше; на 30% больше (р <0,001) - в испытаниях, где не сообщалось о способе ослепления; и на 17% больше (p <0,01) - в испытаниях без применения двойного слепого метода [10].
Человек, читающий научную публикацию, должен решить, удалось ли исследователю избежать СО.
Как избежать систематических ошибок?
Основные источники СО
Отсутствует или неверно выбрана группа сравнения
Группы сравнения различаются вследствие предвзятого отбора, или неизвестных нам вмешивающихся факторов
Эффект плацебо
Предвзятость в назначении лечения
Группы сравнения различаются вследствие выбывания участников из исследования
Нарушение первоначально выбранного плана лечения
Способы борьбы с ними
Использование параллельной контрольной группы
Рандомизация - случайное распределение больных по группам
Применение слепого плацебо-контроля
Применение двойного слепого метода
Максимально полное отслеживание всех участников исследования
Анализ результатов проводится исходя из допущения, что все больные получили лечение, предписанное при рандомизации
CL
О
LQ _D
m
х
ш
О ^
О X
X
ш
о
X
ш
Достаточность величины выборки
Выше РКИ было названо «образцовой единицей» потому, что этот тип исследования - не предел уровня достоверности. Количество испытуемых в РКИ нередко бывает недостаточным для окончательного вывода об изучаемом явлении. Да и рандомизиро-вать можно только более-менее значительное число испытуемых. Чтобы устранить этот недостаток, была разработана методика метаанализа.
Метаанализом называется техника математической обработки суммарного материала нескольких аналогичных исследований. Этот термин также употребляется как синоним термина «систематический обзор», если последний содержит метаанализ. Систематические обзоры (метаа-нализы) относятся к классу аналитических исследований в медицине.
Одним из первых ученых, который усовершенствовал технологию метаанализа, был выдающийся эпидемиолог и математик, англичанин Арчи Кокран (в других транскрипциях Кохрейн). Именно ему принадлежит идея находить по всему миру РКИ на
заданную тему и проводить метаанализы, собирая их затем в единую библиотеку. Идея, как это часто случается, была осуществлена уже после смерти Кокрана его учениками. Они создали международную научную организацию «Кокрановское сотрудничество» (Cochrane Collaboration), имеющую ныне филиалы во всем мире, в том числе и в России (подробности на сайте [11]). На сегодня эта организация располагает самой лучшей электронной библиотекой («Кокрановская библиотека») РКИ и метаанализов, выполненных в самых разных областях медицины. Она представляет собой настоящий кладезь для практикующих врачей, снабжая их достоверной информацией о действии тех или иных медицинских вмешательств.
Метаанализы, представляемые медицинской общественности, обычно называют систематическими обзорами. Систематическими (а не системными, как иногда неверно говорят) они называются потому, что систематически пополняются. Их авторы берут на себя труд дополнять эти обзоры новыми данными (по мере их поступления) и вновь пересчитывать результаты.
Кокрановскую электронную библиотеку можно считать очень высоким стандартом сравнения. Поэтому текст обоснования исследования публикации, посвященной медицинским вмешательствам, должен содержать прямые указания на то, есть ли ссылки на аналогичные исследования, имеющиеся в базе данных Кокрановской библиотеки.
«Гипотеза исследования»
Гипотеза - предположение, которое данное исследование призвано доказать или опровергнуть. К сожалению, большинство исследователей (особенно в России) не утруждают себя формулировкой гипотез. Они ограничиваются описанием цели, например «Целью нашей работы было сравнить препараты Х и Y при патологии Z». Гипотеза, как можно догадаться, позволила бы уточнить, а что, собственно, они ожидают увидеть в результате такого сравнения.
МАТЕРИАЛ ИССЛЕДОВАНИЯ
Смысл это раздела - доказать репрезентативность представленного материала (в частности, отражает ли он изучаемые свойства генеральной совокупности, и если нет, то что он отражает и т.д.). Характеристики испытуемых (больных или иных объектов исследования), способ их отбора и условия проведения исследования должны быть изложены настолько подробно, чтобы читатель мог самостоятельно решить, правильно ли они описаны и выполнены, и соответствует ли описание конкретным условиям его клинической практики.
Для этого требуется объяснить:
• Почему был выбран именно этот, а не другой материал (эти испытуемые, эти объекты, эти анализируемые параметры, эти источники материала и т.п.).
• Должен быть изложен принцип отбора материала. Был ли отбор сплошным или выборочным. Как и где проводилась выборка. Для этого должны быть описаны критерии включения/исключения объектов исследования.
• Должен быть объяснен принцип и смысл разделения материала на какие-либо группы (по возрасту, полу, и т.д.) и последующего анализа этих групп. Объяснения типа «традиционно», к сожалению, столь же часты, сколь недопустимы.
При формировании групп сравнения нужно указать, применялась ли рандомизация. Если да, то должен быть описан ее принцип (заклеенные конверты, генератор случайных чисел, минимизация); доказана (а не просто констатируема, как это часто бывает) сопоставимость сравниваемых групп. Неслучайность сходства/различия основных параметров сравнения должны быть доказаны статистически.
• Для контролируемых исследований необходимо указать, был ли контроль слепым или двойным, тройным слепым. Метод «ослепления» должен быть описан, Должно быть описано выбывание испытуемых в течение проведения исследования (причины, количество, сроки). Абсолютно критическим считается выбывание 20 и более процентов больных.
МЕТОДЫ ИССЛЕДОВАНИЯ
В этом разделе:
• должно быть приведено обоснование того, почему выбран именно этот, а не другой метод;
• при описании метода необходимо указать его автора и источник, чтобы было понятно, имеет ли он историю применения и профессионального признания (валидизация и т.п.);
• чрезвычайно важно сформулировать критерии оценки эффекта или результата применяемого метода (инструмента измерения: теста, опросника и др.). Иначе говоря, какие качественные или количественные значения применяемого метода определяют порог изменения изучаемого параметра (например, показателями социальной дезадаптации были такие-то числовые значения следующих показателей и т.п.»). Пренебрежение этим правилом может стать источником ошибок измерения (т.е. СО);
• методы количественного анализа предпочтительнее, чем описательные. Если они не применяются и их отсутствие неочевидно, нужно указать, почему не используются методы статистики.
Что значит правильно использовать методы статистики?
Подробный разбор адекватности применения статистических методов выходит за рамки данной статьи, поэтому придется ограничиться общими замечаниями.
• Статистические методы должны быть адекватны поставленной задаче (например, поиску корреляции, причинной связи явлений, математическому моделированию, прогнозу и т.д.), распределению выборки исследуемых объектов (нормальное или смещенное распределение), применявшимся методам измерений (ранговые или иные и т.д., и в зависимости от чего употребляются параметрические или непараметрические методы и т.д.).
• Методы статистического анализа должны быть описаны настолько полно, чтобы грамотный читатель мог самостоятельно решить, адекватны ли методы статистического анализа поставленным задачам.
• Описывая методы статистической обработки, следует указать конкретные программные продукты, использованные при статистической обработке (название, версия программы, производитель, и т.п.).
Здесь не лишним будет повторить: прежде чем переходить к методам статистической обработки, необходимо позаботиться о том, чтобы материал, который будет ей подвергаться, был бы достоверным, то есть свободным от СО.
Отсюда вытекает еще одно очень важное следствие: критерий значимости различий между сравниваемыми группами больных (столь милое сердцу всех исследователей-медиков р - числовое выражение неслучайности различий) само по себе не может быть доказательством чего-либо. Например, при значении р < 0,05 утверждение: «Различие между группами А и Б статистически значимо, значит лечение эффективно» - будет неверным. Верно так: «Различие между группами А и Б статистически значимо и не связано с влиянием систематических ошибок, значит лечение эффективно». Кроме того:
• для основных результатов должны быть рассчитаны доверительные интервалы и приведено точное значение показателя р или оба эти показателя;
• при описании выборки приводится величина стандартного отклонения а не стандартной ошибки среднего (т).
Исследователи и врачи часто путают понятия статистической и клинической значимости (это еще один пример того, как лингвистика вмешивается в наш понятийный аппарат).
91
о
о <
*
о. ш н
о <
2
92
Понятия статистической и клинической значимости
Клинически значим результат, который может повлиять на решение врача применять либо не применять новый метод лечения или диагностики.
Статистически значим результат, который не случаен. Точнее - вероятность того, что обнаруженные различия выявлены вследствие случайности, низка.
По мере накопления числа наблюдений статистическая значимость растет, а клиническая, которая могла вначале показаться значительной, за счет малого числа наблюдений, может стремительно падать.
Пример:
Исследование I Исследование II
п=120 п=19185
Препарат А эффективнее препарата Б на 50%, р=0,051 Препарат А эффективнее препарата Б на 8,7%, р=0,043
Вывод: большая эффективность препарата Б возможно следствие случайности; учитывая клиническую значимость эффекта нужно увеличить число наблюдений Вывод: большая эффективность препарата Б не случайна, однако клиническая значимость эффекта, по-видимому, невелика
о. О ш _0 ш
X
ш
о ^
О X
X
ш
о
X
ш
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
В этом разделе авторы должны высказать свою точку зрения на полученные результаты исследования. Поскольку полностью избежать СО сложно, хорошая статья (что большая редкость) может содержать раздел «ограничения исследования». В нем авторы обсуждают возможные источники СО. В заключении нужно обязательно указать, подтвердили ли (не противоречили или опровергли) данные настоящего исследования проверявшуюся гипотезу.
ВЫВОДЫ
1. Выводы должны быть сформулированы в виде отдельных положений, а не растворены в тексте, как нередко происходит.
2. Выводы должны соответствовать заявленной цели (гипотезе).
3. Выводы должны быть основаны на полученных результатах.
Читателю может показаться, что мы говорим о вещах само собой разумеющихся. Например, ну как выводы могут не быть основаны на полученных результатах? А на чем же еще? Могут..., поверьте. Анализ ряда отечественных статей показал, что выводы вообще могут «существовать» отдельно не только от результатов, но и от применявшихся методов [8].
ПРИЛОЖЕНИЕ
Вопросник, позволяющий оценить качество научной публикации
• Отражает ли название статьи ее содержание?
• Определяют ли авторы, к какому типу относится их исследование?
Основные типы исследований:
- метаанализ (систематический обзор);
- рандомизированное контролируемое исследование;
- псевдорандомизированное исследование;
- нерандомизированное исследование;
- проспективное когортное исследование;
- ретроспективное когортное исследование;
- исследование случай-контроль;
- неконтролируемое одномоментное исследование;
- описание случаев.
• Разбита ли статья на разделы?
• Есть ли ссылки на аналогичные исследования, имеющиеся в базе данных Кокрановской библиотеки?
• Сформулирована ли гипотеза исследования?
• Перечисленыы ли критерии включения/исключения больных (других объектов исследования)?
• Описан ли метод формирования выборки?
• Дана ли характеристика включенных больных (объектов)?
• описан ли метод формирования групп сравнения (применялась ли рандомизация)?
• Оценена ли сопоставимость групп сравнения?
• Описано ли выбывание испытуемых в процессе исследования?
• описаны ли методы контроля (слепой, двойной слепой и пр.)?
• Сформулированы ли критерии оценки эффекта (или результата)?
• Достаточно ли полно описаны методы статистического анализа (адекватны ли методы статистического анализа?).
• Учитывались ли возможные источники систематических ошибок при планировании, анализе или обсуждении результатов?
• Для статей, где изучалось вмешательство, оценен ли эффект вмешательства?
• Был ли результат исследования оценен авторами?
• Соответствуют ли выводы заявленной цели (гипотезе)?
• Основаны ли выводы на полученных результатах?
ЛИТЕРАТУРА
1. Зорин Н.А. Введение в доказательную медицину (часть II) // Эстетическая медицина. 2009. Т. VIII. №3. С. 257-265.
2. Зорин Н.А. Методика формирования структуры и содержания медицинских научных публикаций // Ведомости научного центра экспертизы средств медицинского применения. 2007. №2. С. 82-90.
3. Зорин Н.А. Оценка качества научных публикаций (часть 1) // Медицинские технологии. Оценка и выбор. 2011. № 3(5). С. 71-76.
4. Флетчер, Р., Флетчер, С., Вагнер Э. Клиническая эпидемиология. Основы доказательной медицины. М.: Медиа-Сфера, 1999
5. Зорин Н.А. «Достоверность» или «статистическая значимость» - 12 лет спустя. Оценка качества научных публикаций // Медицинские технологии. Оценка и выбор. 2011. № 2(4). С. 89-97.
6. Bass EB, Steinberg PE, Luthra R, Schein O, Tielsch J, Javitt J, Sharkey P, Petty B, Feldman M, Steinwachs D. Do ophthalmologists, anesthesiologists and internists agree about preoperative testing in healthy patients undergoing cataract surgery? Arch Ophthalmol 1995;113:1248-1256.
7. Foucar E. Carcinoma-in-situ of the breast: have pathologists run amok? Lancet 1996; 347: 707-708.
8. Зорин Н.А. Немцов А.В. Формализованная экспертная оценка качества исследовательских публикаций в психиатрии // Журнал неврологии и психиатрии. 2001. Т. 101. № 3. С. 64-68.
9. Kunz R., Oxman. A. The unpredictability paradox: review of empirical comparisons of randomised and non-randomised clinical trials. BMJ 1998; 317: 1185
MASTER CLASS
Quality Assessment of Scientific Publications (part II)
N.A. Zorin
This article discusses the first steps inquality evaluation ofpublications devoted to the assessment of medical interventions.In this respect the typical parts of publications are analyzed. The basic concepts of the evidence-based medicine are covered. The check list for the quality assessment of that sort of publications is provided in the supplementary material.
KEYWORDS: Quality of scientific publications; medical intervention; clinical epidemiology; evidence-based medicine; randomization; control; bias; random error; clinical outcomes; substitute outcomes; randomized clinical trials (RCT); meta-analysis
10. Schulz K., Chalmers I., Hayes R., et al. Empirical evidence (j of bias: dimension of the methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995; ^ 273: 408-412. Ц
11. The cochrane collaboration. URL. http://www.cochrane.org/
(L I-
Сведения об авторе: ££
Зорин Никита Александрович 2
зав. лабораторией доказательной медицины НИИ КЭЭФ РНИМУ им. Н.И. Пирогова, Москва, Россия, канд. мед. наук
Адрес для переписки:
119435, Москва, ул. Россолимо, д. 14 Телефон: +7 (499) 245-38 07 E-mail: [email protected]
93
