CC BY
191
ОБЩИЕ ПРОБЛЕМЫ СТАНДАРТИЗАЦИИ
ИСПЫТАНИЯ ЛЕКАРСТВЕННЫХ СРЕДСТВ С ПОЗИЦИИ ДОКАЗАТЕЛЬНОЙ МЕДИЦИНЫ: ПРОБЛЕМЫ И РЕШЕНИЯ
С. А. Бабанов
Самарский государственный медицинский университет
Описаны подходы к проведению доклинических и клинических испытаний новых лекарственных средств, охарактеризованы фазы клинических исследований, современные методические принципы их организации и проведения. Обсуждаются проблемы внедрения принципов доказательности в медицинскую практику. Отмечается, что соблюдение этапности испытаний лекарственных средств, оценка их с позиций доказательной медицины, использование рандомизированных «слепых» исследований должны повысить качество и эффективность лекарственных средств, используемых в клинической практике, и способствовать улучшению показателей общественного здравоохранения.
Ключевые слова: доказательная медицина, доклиническое исследование, клиническое испытание, фаза клинических испытаний, лекарственное средство.
В клинической практике необходимо принятие конкретных клинических, экономических и политических решений не столько на основе личного опыта или мнения экспертов, сколько исходя из строго доказанных научных данных. Особое внимание следует обращать не только на бесполезность, но и на отсутствие научно обоснованных доказательств пользы применения различных методов лечения и профилактики. В настоящее время это положение приобретает особую актуальность, так как проявилась отчетливая тенденция к преобладанию клинических исследований, финансируемых фармацевтической промышленностью и производителями различных медицинских товаров и услуг [1, 3, 4].
Понятие «evidence-based medicine», или «медицина, основанная на доказательствах (доказательная медицина)», было предложено канадскими учеными из университета Мак Мастера в Торонто в 1990 г. Доказательная медицина — это не новая наука, а скорее новый подход, направление или технология сбора, анализа, обобщения и интерпретации научной информации. Необходимость в доказательной медицине возникла, прежде всего, в связи с увеличением объема научной информации, в частности в области клинической фармакологии. Ежегодно в клиническую практику внедряются все новые и новые лекарственные средства. Они активно изучаются в многочисленных клинических исследованиях, результаты которых нередко оказываются
неоднозначными, а иногда и прямо противоположными. Чтобы использовать полученную информацию на практике, ее необходимо не только тщательно проанализировать, но и обобщить.
Несомненно, что широкое внедрение доказательной медицины в клиническую практику и оценку достоверности и значимости клинических исследований лекарственных средств во многом обусловлено экономическим аспектом. От того насколько убедительны научные данные в отношении клинической и экономической эффективности методов диагностики, лечения и профилактики, зависит правильность размещения финансовых средств.
Несмотря на значительное распространение принципов доказательной медицины на Западе, в Российской Федерации внедрение этой современной концепции оценки медицинских технологий в значительной мере сдерживается. Это объясняется, на наш взгляд, следующими причинами:
1. Низкой степенью мотивации специалистов, ответственных за принятие решений.
2. Активным влиянием на этих специалистов представителей фармацевтической индустрии, пытающихся превратить доказательную медицину в очередной (хотя и весьма дорогостоящий) инструмент поиска конкурентных преимуществ. Доказательная медицина стала модой. Это лучше всего чувствуют рекламодатели, и в журналах мы уже давно видим рекламу сомнительных средств под заголовком «Вести доказательной медицины».
3. Отсутствием системы подготовки специалистов здравоохранения по доказательной медицине.
Для рационального применения новых лекарственных средств, достижения их максимального терапевтического действия и предупреждения побочных реакций необходимо уже на стадии испытаний получить всестороннюю характеристику препарата, данные обо всех его лечебных и возможных отрицательных свойствах. Одним из основных путей получения новых лекарственных средств является скрининг биологически активных веществ. Следует отметить, что такой путь поиска и создания новых препаратов очень трудоемок — в среднем один заслуживающий внимания препарат приходится на 5—10 тыс. исследованных соединений.
Путем скрининга и случайных наблюдений в свое время были найдены ценные препараты, вошедшие в медицинскую практику. Однако случайность не может быть основным принципом отбора новых лекарственных средств. По мере развития науки стало совершенно очевидным, что создание лекарственных препаратов должно базироваться на выявлении биологически активных веществ, участвующих в процессах жизнедеятельности, изучении патофизиологических и патохимических процессов, лежащих в основе развития различных заболеваний, а также углубленном исследовании механизмов фармакологического действия. Достижения медико-биологических наук позволяют все шире проводить направленный синтез веществ с улучшенными свойствами и определенной фармакологической активностью.
Доклиническое изучение биологической активности веществ принято разделять на фармакологическое и токсикологическое. Такое разделение условно, поскольку указанные исследования взаимозависимы и строятся на одних и тех же принципах. Результаты изучения острой токсичности потенциальных лекарственных соединений дают информацию для последующих фармакологических исследований, которые, в свою очередь, определяют степень и продолжительность изучения хронической токсичности вещества.
Цель фармакологических исследований — определение терапевтической эффективности препарата, а также его влияния на основные анатомические и физиологические системы организма. В процессе изучения фармакодинамики вещества устанавливают не только его специфическую активность, но и возможные побочные реакции, связанные с фармакологической активностью. Действие исследуемого препарата на здоровый и больной организм может различаться, поэтому фармакологические испытания должны проводиться на моделях соответствующих заболеваний или патологических состояний.
При токсикологических исследованиях устанавливают характер и выраженность возможного повреждающего воздействия препаратов на экспериментальных животных. В токсикологических исследованиях выделяют три этапа:
1) изучение острой токсичности вещества
при однократном введении;
2) определение хронической токсичности соединения, которое включает в себя повторные введения препарата на протяжении 1 года, а иногда и более;
3) установление специфической токсичности препарата — онкогенности, мутагенности, эмбриотоксичности, включая тератогенное действие, аллергизирующих свойств, а также способности вызывать лекарственную зависимость.
Изучение повреждающего действия исследуемого препарата на организм экспериментальных животных позволяет определить, какие органы и ткани наиболее чувствительны к данному веществу и на что следует обратить особое внимание при клинических испытаниях. Однако нельзя забывать, что данные экспериментального исследования на животных не гарантируют полную безопасность препарата для человека.
Цель клинических испытаний — оценка терапевтической или профилактической эффективности и переносимости нового фармакологического средства, установление наиболее рациональных доз и схем его применения, а также сравнительная характеристика с уже существующими лекарственными средствами.
Для оценки доказательности клинических испытаний и эффективности лекарственных средств необходимо соблюдение ряда важных параметров (позиций): наличие «контрольной группы», ясные критерии выбора (включения и исключения) пациентов, включение пациентов в исследование до выбора лечения, случайный выбор лечения, правильный метод рандомизации, неизвестность лечения пациентам («ослепление»), «слепая» оценка результата лечения, информация об осложнениях и побочных эффектах, информация о качестве жизни пациентов, информация о числе «потерянных» в ходе эксперимента пациентов, адекватный статистический анализ с указанием названий тестов, программ, использованных в анализе, статистическая сила — информация о размере выявленного эффекта, информация о том, насколько полно пациенты, включенные в исследование, получали лечение [3].
Программы клинических испытаний для разных групп препаратов могут значительно отличаться. Однако некоторые основные положения должны быть всегда отражены. Четко следует
сформулировать цели и задачи испытания; определить критерии выбора больных для испытания; указать метод распределения больных в основную и контрольную группы, число больных в каждой группе; метод установления эффективных доз препарата, длительность испытания; метод контролируемого испытания (открытый, «слепой», двойной «слепой» и т. д.), препарат сравнения и плацебо, методы количественной оценки действия исследуемых препаратов (подлежащие регистрации показатели); методы статистической обработки полученных результатов.
Выбор пациентов для исследования в основном определяется его задачами и характером препарата. Обычно это больные, страдающие заболеваниями, для лечения которых предназначен новый препарат. С этической точки зрения правильнее говорить не о выборе больного для испытания препарата, а о подборе исследуемого препарата для конкретного больного. На начальной стадии клинических испытаний новый препарат нельзя назначать больным, находящимся в тяжелом состоянии. На более поздних стадиях действие исследуемого средства должно быть изучено на больных различных возрастных групп, особенно в тех случаях, когда препарат предназначен для лечения заболеваний, часто встречающихся у пожилых людей.
При оценке публикаций, посвященных методам лечения, следует помнить, что критерии исключения больных из исследования достаточно часто указываются в публикациях, но критерии включения — реже. Если не ясно, на каких пациентах испытывалось лечение, то нельзя представить, подойдут ли результаты испытания для практики в целой стране, в отдельной больнице. Большая часть испытаний проводится в специализированных университетских больницах и научных центрах, где больные, конечно же, отличаются от больных в районной поликлинике. Поэтому после первичных испытаний проводят все новые и новые. Сначала — многоцентровые, где благодаря привлечению разных больниц и амбулаторий особенности каждой из них сглаживаются. Затем — открытые. С каждым этапом уверенность в том, что результаты испытаний будут применимы для любого стационара, увеличивается, но в основе всего лежат критерии включения и исключения пациентов.
«Потеря» пациентов по ходу исследования является распространенным недостатком. В ре-
зультате таких потерь конечные цифры успешности лечения могут быть существенно искажены. Как минимум в статье должны быть приведены разнообразные сведения о пациентах, которых удалось отследить до конца, и о пациентах, которые были потеряны. Если потерянные отличаются от отслеженных и если потеряно много (более 20 %), то можно ожидать больших искажений в оценке результата лечения.
Например, если из 100 пациентов, пролеченных предлагаемым методом, обследованы через два года 70, и у всех хороший результат, то это сомнительное доказательство достоинств метода. Ведь может быть, что 30 человек, которых не смог обследовать исследователь, умерли или огорчены исходом лечения в такой степени, что отказались от сотрудничества с исследовательским коллективом. Для проверки надежности результата в такой ситуации есть верный, хотя и грубый метод. Предположим, что новое лечение лучше, и об этом пишет автор. Далее, примем для проверки, что все потерянные пациенты имели неблагоприятный исход ( например, умерли в группе с наилучшим исходом). Если пересчет оригинальных авторских данных покажет, тем не менее, преимущества нового метода, то можно поверить, что метод действительно лучше. В приведенном выше примере мы можем считать, что хороший результат получен не менее чем у 70 %.
Соответственно, если при применении сравниваемого старого метода из 100 пациентов при потере 10 % еще 20 % имели плохой результат, го по нашему «осторожному» расчету получается, что два метода лечения не различаются.
Число больных для испытания различных препаратов определить довольно трудно. Оно во многом зависит от выраженности различий в действии исследуемого средства и препарата сравнения. Чем меньше это различие, тем большее число больных необходимо для получения достоверного результата. Весьма важным и сложным является вопрос об установлении оптимальной дозы и режима применения исследуемого препарата. Существуют только самые общие рекомендации, в основном сводящиеся к тому, что следует начинать с очень малой дозы, а затем постепенно переходить на более высокие до получения желаемого или побочного эффекта. Обычно рекомендуют начинать с малой части предполагаемой эффективной дозы, опреде-
ленной на наиболее чувствительном виде животных.
При разработке рациональных доз и схем применения исследуемого препарата желательно установить широту его терапевтического действия, диапазон между минимальной и максимальной безопасной терапевтическими дозами.
Длительность применения исследуемого средства на людях не должна превышать периода, определенного на основании результатов токсикологических испытаний на животных.
Участвующие в испытании нового препарата больные должны находиться под постоянным наблюдением опытного персонала. Для уменьшения риска необходимо располагать высокочувствительными методами обнаружения фар-макодинамических эффектов (ожидаемых и неожиданных).
В процессе клинических испытаний новых фармакологических средств выделяют 4 взаимосвязанные фазы (этапы).
Фазу I клинических испытаний называют «пристрелочной», или «клинико-фармаколо-гической» (англ. pilot). Цель ее — установить переносимость исследуемого препарата и наличие у него терапевтического действия. Исследования проводят на ограниченном числе больных (5—10 человек). Во многих странах первая фаза клинических испытаний включает в себя изучение фармакокинетики препарата на здоровых добровольцах.
В фазу II клинические испытания проводят на 100—200 больных. Необходимое условие — наличие контрольной группы, существенно не отличающейся по составу и численности от основной. Больные опытной (основной) и контрольной групп должны быть одинаковыми по полу, возрасту, исходному фоновому лечению (его желательно прекратить за 2—4 нед до начала испытания). Рандомизация, или случайное распределение, — основной способ обеспечения сравнимости основной и контрольной групп. Группы формируются случайным образом путем использования таблиц случайных чисел, в которых каждая цифра или каждая комбинация цифр имеет равную вероятность отбора.
Наиболее часто на практике проводят открытое испытание, при котором врачу и больному известен способ лечения (исследуемый препарат или препарат сравнения). При «слепом» испытании больной не знает, какой препарат он при-
нимает (это может быть плацебо), а при двойном «слепом» об этом не осведомлены ни больной, ни врач, а только руководитель испытания. Применение «ослепления» повышает достоверность результатов клинического испытания, устраняя влияние субъективных факторов.
«Слепой» метод эксперимента является важнейшим условием правильности конечного результата. Если больной знает, что он получает новое многообещающее лекарство, то эффект «лечения» может быть связан с его успокоением, удовлетворенностью тем, что достигнуто самое желанное лечение из возможных. Наконец, хорошо известно, что любое вмешательство само по себе, даже если оно обманное, несуществующее (например, прикладывание выключенного аппарата) иногда приводит к субъективному эффекту у больных. Это называют эффектом плацебо. Поскольку мы не можем его объяснить и предсказать, то есть не знаем, будет ли иметь место этот эффект, его нельзя применять в медицинской практике. Более того, испытания медицинских вмешательств основаны именно на сравнении с плацебо. Так только можно узнать, насколько лекарство (операция) увеличивает, например, продолжительность жизни больных по сравнению с отсутствием лечения.
Аналогично, если врачи будут знать, какой пациент лечится каким средством, они непроизвольно могут давать оценки лечению в зависимости от своих предпочтений или объяснений. Эго в особенности важно, если испытываемое средство заметно влияет на процедуры, выполняемые врачами или медицинскими сестрами. Например, недопустимо сравнивать пациентов, получавших процедуры иглоукалывания при болях в спине, с пациентами, не получавшими этих процедур. Недопустимо это потому, что пациент, направляющийся к иглотерапевту, получает огромную «дозу» индивидуального внимания, проводит время совершенно по-другому. Поэтому в хороших испытаниях иглоукалывания пациентам, рандомизированным в контрольную группу, проводят ложное иглоукалывание — специальными иголками и в точки, близкие к «правильным» точкам иглоукалывания. Естественно, такие испытания выявляют у иглоукалывания значительно меньший эффект, чем неконтролируемые, нерандомизированные испытания. Конечно, специалист, проводящий такую ложную процедуру, знает об этом, пото-
му двойного «ослепления» достичь не удается, но полное «ослепление» пациента становится возможным.
Из рассмотрения нужно сразу исключать статьи об исследованиях, где распределение пациентов по видам лечения было неслучайным или метод распределения был неудовлетворительным (например, делили пациентов по дням недели поступления в стационар), или способ распределения не описан вообще. Еще хуже статьи с историческим контролем (когда сравнивают результаты лечения новым методом с результатами, которые получали раньше) или содержащим сравнение с другими больницами. В международной литературе о рандомизации сообщается в 9/10 статей о методах лечения, но только в 1/3 статей уточняется метод рандомизации. Если в рандомизации возникает сомнение, надо отбрасывать статью, вероятно, в ней опытная и контрольная группы несравнимы. Следует искать другие источники для оценки интересующего нас вмешательства [3].
Почему не во всех исследованиях применяют рандомизацию? Причин тому много, и главная — это недостаточная образованность врачей. Но есть еще ряд «поведенческих» причин:
— существующее лечение может поддерживаться (или отвергаться) авторитетом;
— поддержка или отрицание может быть традицией;
— отношения врач — пациент формируют у врача желание именно помогать, а не испытывать;
— влияние результатов прошлых плохо выполненных испытаний, формирующих ошибочные исходные ожидания.
Если не удается найти статьи по рассматриваемой проблеме, описывающие испытание лечения на высоком методическом уровне, надо «семь раз» убедиться, что таких исследований действительно нет. Только потом можно переходить к анализу методически несовершенных исследований. Их всегда больше, они всегда менее убедительны, но зато более однозначны и более обещающие. При чтении подобных статей надо постоянно помнить о том, что именно такими исследованиями обосновывали в свое время все виды лечения, в последующем оказавшиеся неэффективными [2, 3, 5, 6].
Важно различатьз начимость и статистическую достоверность результатов лечения. Результаты клинического испытания или популя-ционного исследования мер профилактики представляются в виде сведений о частоте исходов и о статистической достоверности различий между группами пациентов. Но не представляет ли автор статистически достоверные, но малые различия как клинически значимые? Статистически значимо то, что действительно существует с высокой вероятностью. Клинически значимо то, что своими размерами (например, величиной снижения смертности) убеждает врача в необходимости изменить свою практику в пользу нового образа действий.
Эффективность и переносимость нового фармакологического средства сравнивают с таковыми плацебо или препарата аналогичного действия, являющегося одним из наиболее эффективных в данной группе. В зависимости от целей исследования, типа исследуемого препарата, характера заболевания применяют плацебо, стандартный препарат или и то и другое. Плацебо-контролируемые испытания особенно важно проводить при заболеваниях, течение которых во многом зависит от психологических факторов (вера в новый препарат и т. п.), например при артериальной гипертонии.
Методы, критерии оценки эффективности препарата, время измерения соответствующих показателей должны быть согласованы перед началом испытания. Критерии оценки бывают клинические, лабораторные, морфологические и инструментальные. Нередко об эффективности исследуемого средства судят по уменьшению дозы других лекарственных препаратов, например, числа таблеток нитроглицерина при стенокардии. Для каждой группы препаратов существуют обязательные (облигатные) и дополнительные (факультативные) критерии.
Целью фазы III клинических испытаний является получение дополнительных сведений об эффективности и побочном действии фармакологического средства. Во время этой фазы контролируемые и неконтролируемые испытания проводятся на сотнях или даже тысячах больных не только в стационаре, но и в амбулаторных условиях, уточняются особенности действия препарата и определяются относительно редко встречающиеся побочные реакции. Новое фармакологическое средство назначают
больным, страдающим сопутствующими заболеваниями, получающим одновременно другие лекарственные средства. Изучаются особенности действия препарата у больных с нарушением кровообращения, функции печени и почек, оценивается взаимодействие нового препарата с другими средствами. Результаты клинического испытания заносятся в индивидуальную стандартную карту для каждого больного, которая содержит минимум необходимых данных. В конце исследования полученные результаты суммируются, обрабатываются статистически и оформляются в виде отчета. Соответствующие показатели, полученные за один и тот же период времени в основной и контрольной группах, сопоставляются статистически. Для каждого показателя вычисляется средняя разность за изучаемый промежуток времени (по сравнению с исходным уровнем до лечения) и оценивается достоверность отмеченной динамики внутри каждой группы. Затем сравниваются средние разности величин конкретных показателей в основной и контрольных группах для оценки различия в действии исследуемого средства и плацебо или препарата сравнения. Отчет о результатах клинических испытаний нового фармакологического средства оформляется в соответствии с установленными требованиями и представляется с конкретными рекомендациями по клиническому применению. Рекомендации считаются обоснованными, если новый препарат:
— более эффективен, чем известные препараты аналогичного действия;
— обладает лучшей переносимостью, чем известные препараты (при одинаковой эффективности);
— эффективен в тех случаях, когда лечение известными препаратами безуспешно;
— более выгоден экономически, имеет более простую методику лечения или более удобную лекарственную форму;
— при комбинированной терапии повышает эффективность уже существующих лекарственных средств, не увеличивая их токсичности.
После разрешения применения нового препарата в медицинской практике и его внедрения проводится фаза IV исследований — действие лекарственного средства изучается в разнообразных ситуациях на практике.
Рациональное назначение лекарственных средств, то есть подходящее для данного больного, экономичное, эффективное и безопасное, зависит от уровня профессиональной образованности врача, источников получения информации, умения критически осмысливать предлагаемую информацию, а также от личностных качеств врача: тенденции к выработке стереотипов в назначении лекарств или некритичному предпочтению новинок на фармацевтическом рынке [4]. Так, Н. Н. Ардентова указывает, что за рубежом имеет место постоянное информационное давление со стороны фармацевтических компаний, особенно прицельно направленное на интернов, курсантов различных форм последипломного обучения, преподавателей медицинских и фармацевтических вузов — фармацевтическим компаниям экономически выгоднее работать с целыми группами лиц, определяющих медицинскую практику будущего [1]. Сами представители фармацевтической индустрии косвенно признают этот факт, отмечая, что «...многие фармацевтические или медицинские фирмы спонсируют издание в России тематических медицинских журналов, постоянно выступают в качестве либо спонсора, либо организатора научных конгрессов, семинаров, симпозиумов, различных образовательных программ» [6]. В то же время бывший главный редактор одного из авторитетнейших изданий — Британского медицинского журнала (British Medical Journal, BMJ) Ричард Смит раскритиковал политику медицинских журналов в плане участия в рекламных кампаниях по продвижению тех или иных лекарственных средств: «Для фармацевтической компании положительный отзыв или сообщение об успешных клинических испытаниях гораздо предпочтительнее, чем тысячи страниц рекламы, поэтому фирмы зачастую затрачивают миллионы долларов на перепечатку таких материалов в профильных журналах по всему миру. А журналы без колебаний печатают результаты проплаченных исследований, удобных для фирм-производителей. При этом подобные публикации достаточно редко приводят результаты, отражающие негативные стороны продукции тех или иных компаний» [8]. Несомненно, сегодня в Российской Федерации выбор лекарственного препарата также часто связан с маркетинговой активностью фирм-производителей и не всегда является оптимальным [4].
Известно, что в медицине, основанной на доказательствах, принято выделять несколько уровней доказательности эффективности лекарственных средств, например:
A. Доказательства получены на основе метаанализа рандомизированных контролируемых исследований или на основе данных одного рандомизированного контролируемого клинического исследования.
B. Доказательства получены на основе данных контролируемого нерандомизированного исследования или исследования с высоким уровнем дизайна, например, когортного исследования.
C. Доказательства получены на основе данных описательных исследований: исследования «случай-контроль», сравнительные исследования, корреляционные исследования, одномоментные исследования.
D. Доказательства получены на основе исследований отдельных случаев, консенсусов специалистов и заключений экспертных комитетов.
При отборе источников для определения эффективности используются, как правило, компьютерные базы данных Medline (Index Medicus online), EMBASE (Exœrpta Medica online), SCISEARCH (the Science Citation Index), библиотека созданного в 1992 г. Кокрановского сотрудничества (систематические обзоры результатов рандомизированных контролируемых исследований) и другие доступные источники [2, 5]. На основании систематического обзора может проводиться метаанализ — обобщенный статистический анализ результатов отдельных исследований, без которого судить с позиций доказательной медицины об эффективности того или иного лекарственного препарата некорректно. Кроме того, Т. Гринхальх, автор нашумевшей книги «Основы доказательной медицины» (2004), считает, что любой врач, при встрече с представителем фармацевтической компании для получения достоверной информации должен выполнять ряд условий:
1. Контролируйте беседу. Не выслушивайте заранее отрепетированные банальные фразы, а попросите сразу нужную Вам информацию.
2. Требуйте представления независимых сведений, опубликованных в известных рецензируемых журналах.
3. Не читайте рекламных брошюр, которые часто содержат неопубликованные материалы, обманчивые схемы и выборочные цитаты.
4. Игнорируйте такие «доказательства», как, например, использование данного препарата известным уважаемым специалистом.
5. Требуйте обоснованных сведений о безопасности, переносимости, сравнительной эффективности, стоимости (прямой и непрямой) применения препарата.
6. Строго оценивайте научные сведения, обращая внимание на размер выборки, методологическое качество клинических испытаний.
7. Не принимайте новизну продукта как довод к его использованию. Новизна препарата не является залогом его качества и эффективности [4].
Очевидно, что в клинической практике должны применяться только лекарственные средства с доказанной эффективностью. Залогом этого может служить соблюдение этапности испытаний лекарственных средств, оценка их с позиций доказательной медицины, использова-
ние рандомизированных и «слепых» испытаний. Все это должно повысить качество и эффективность лекарственных средств, используемых в клинической практике, и способствовать улучшению показателей общественного здравоохранения.
ЛИТЕРАТУРА
1. Ардентова Н. Н. // Материалы научно-практической конференции «Клиническая фармакология — практическому здравоохранению». — Саратов, 1998. — С. 4—5.
2. Бискуп А. Б. // Российский семейный врач. — 1999. — № 4. — С. 37—40.
3. Власов В. В. // Введение в доказательную медицину. — М.: МедиаСфера, 2001. — С. 52—60.
4. Гринхальх Т. // Основы доказательной медицины. — М.: «Гэотар-Мед», 2004. — С. 119—123.
5. Лоуренс Д. Р., Бенитт П. Н. // Клиническая фармакология. — М.: Медицина, 1991. — Т. 1. — С. 11—16.
6. Панюшин Р. // Мед. вестн. — 13 ноября 2005. — № 31 (338). — С. 22.
7. Egger M., Smith D. G. // BMJ. — 1997. — No 315. — P. 1371 — 1374.
8. http://www.Medlinks.ru
