CC BY
188
современная фармакоэкономика и фармакоэпидемиология
О ©
х 3:
о а я '= ■ ” ©
Я ш Е ¡^1 18 =
I Й с
И!
я 2 ¡й
*
Зь
Е
¡; Я
! 5 »
° « I
«48
0 1А ^ 2? °
1 ~ *
2»г ■5 А . * ^ ^ 85 2
£ г 1
е
,ш
*1! и О с (в * ^
5 л = я £ в * * *
0 *£ ¡2 © Е
1 ; |
■ | О
Ё = 1 * *С
5 52 *
I I о
Л а"®
£ £■ д
ТОЙ
а о а
О £ £ X ^ « * |» 5 аЕ !5 4» <9 I* ,2 Я X £ ЧХ1-
Использование непрямых сравнений
при проведении фармакоэкономической экспертизы
Фармакоэкономический анализ включения в схемы лечения ингибиторной формы гемофилии А лекарственного средства антиингибиторный коагулянтный комплекс (АИКК)
Фармакоэпидемиология лекарственных средств, применяемых для лечения инфаркта мозга, в стационарах различного типа
Использование непрямых сравнений при проведении
фармакоэкономической экспертизы
Балыкина Ю.Е.1, Колбин А.С.2
1ФГБОУВПО «Санкт-Петербургский государственный университет»
2 ТБОУВПО СПбТМУим. И.П. Павлова Минздрава РФ, Санкт-Петербург
Резюме: оценка медицинских технологий является основополагающим инструментом при выборе наиболее целесообразной, с экономических и клинических позиций, технологией, внедряемой в систему здравоохранения. Основой для оценки считают данные клинических исследований. При этом экспертов интересует не просто эффект от новой медицинской технологии, а сравнение ее с подобными лечебными подходами, то есть - сравнительные исследования. Однако, в силу ряда объективных причин, такого рода исследования проводятся далеко не часто. В работе рассматриваются вопросы, связанные с применением непрямых сравнений медицинских технологий при отсутствии прямых сравнений. Приводятся общие рекомендации по методике их проведения. Рассматривается возможность использования результатов, полученных в ходе непрямых сравнений, при проведении фармакоэкономического анализа.
Ключевые слова: оценка медицинских технологий, непрямые сравнения, сравнительные исследования.
Актуальность
Оценка технологий здравоохранения и клинико-экономические исследования являются важным инструментом при принятии решения в современной системе здравоохранения в большинстве развитых стран мира [3]. Материализуется понимание данного научно обоснованного подхода и в Российской Федерации. Под технологиями здравоохранения (ТЗ) понимают любые ресурсы, используемые для удовлетворения здоровья здоровых или больных людей, в индивидуальном или коллективном порядке, включая лекарственные средства, медицинское оборудование и устройства, медицинские процедуры, а также применяемые организационные модели и системы обеспечения [3,10]. Чаще всего основой того, с чем работают эксперты, являются данные рандомизированных клинических (РКИ) плацебо-контролируемых исследований или обсервационных и прагматических рандомизированных исследований [4,15]. В первом случае анализируют действенность (efficacy), а во втором - эффективность (effectiveness). Иногда действенность еще называют «идеальной», то есть полученной в идеальных условиях - специализированный медицинский центр с обученным и подготовленным персоналом; строгие критерии
включения и исключения пациентов из исследования; аудит данных; тренинги исследователей и т.д. [2,16]. В то же время в клинической практике важно также представлять себе эффективность (effectiveness), иначе - «поведение» медицинской технологии в реальных условиях у конкретного пациента [4,15]. Более того, для выбора лечебной (профилактической, диагностической) тактики необходима информация не просто о действенности или эффективности, а о сравнительной действенности и/или сравнительной эффективности разных вмешательств.
К сожалению, сравнительные исследования редки, а зачастую и вовсе отсутствуют, что усложняет процесс принятия решений. Для этого есть объективные причины. К примеру, в исследованиях, направленных на получение результатов для скорейшего лицензирования, новые лекарственные средства (ЛС) не сравнивают между собой, уступая место сравнению с плацебо или со стандартными методами лечения или профилактики. Отсутствует и коммерческий интерес для сравнения новой ТЗ с активным контролем. Даже при наличии интереса к включению конкурирующих вмешательств в РКИ интересующие вмешательства могут варьироваться в зависимости от рассматриваемой страны или меняться с течением времени из-за появления новых доказательств и взглядов на лечение [15]. Для некоторых показаний число конкурирующих ТЗ делает проведение таких исследований вообще нецелесообразным.
В последнее время появились данные, что выходом из сложившейся ситуации могут быть непрямые исследования. С целью выяснить, какие методики для их проведения возможны, в чем между ними различия и был проведен настоящий анализ литературы.
Методика информационного поиска
Проведен анализ публикаций в период с 1990 по 2012 г. на предмет выявления данных, посвященных непрямым исследованиям. Поиск производили в системах MEDLINE, Cochrane Library, EMBASE. Использовали ключевые слова: health technology assessment, comparative study, comparative assessment, pharmacoeconomics, indirect comparisons и др.
Критерии включения: в анализ вошли публикации, в которых описывали непрямые исследования и методологию их проведения.
ФАРМАКОЭКОНОМИКА Том 6, №4, 2013
Балыкина Ю.Е. - тел.: (911) 737-86-34 - e-mail: [email protected]
3
Данная интернет-версия статьи была скачана с сайта http://www.pharmacoeconomics.ru . Не предназначено для использования в коммерческих целях.
Информацию о репринтах можно получить в редакции. Тел.: +7 (495) 649-54-95; эл. почта: [email protected] . Copyright © 2013 Издательство ИРБИС. Все права охраняются.
This article has been downloaded from http://pharmacoeconomics.ru . Not for commercial use. To order the reprints please send request on [email protected] . Copyright © 2013 IRBIS Publishing House. All right reserved.
Критерии исключения: не включали данные по прямым исследованиям.
Результаты
Действительно в отсутствие исследований с участием прямого сравнения интересующих стратегий лечения (direct treatment comparison) непрямое сравнение (indirect treatment comparison) может предоставить полезную информацию о разнице в эффекте между конкурирующими вмешательствами (которая в противном случае бы отсутствовала) с целью выбрать наилучшую ТЗ [1]. Например, если два конкретных метода лечения никогда не сравнивали между собой напрямую, но имело место сравнение их с общим компаратором (сравниваемой ТЗ), то непрямое сравнение может использовать относительные эффекты этих методов по отношению к общему ЛС сравнения [19]. Важно также отметить, что, по данным литературы, чаще всего непрямые исследования проводят с данными РКИ для получения сравнительной действенности. Далее в тексте мы рассматривали именно этот методологический подход. Хотя, вероятно, возможно получение и сравнительной эффективности через прагматические РКИ. Проведение исследований на основе данных обсервационных наблюдений кажется крайне сомнительным.
Методика проведения непрямых исследований
Непрямые сравнения представляют собой статистическое сравнение эффекта двух и более ТЗ относительно общего для них контроля. Таким общим контролем может быть как плацебо (чаще), так и стандартная или базисная терапия (профилактика или диагностика) [1].
При проведении непрямых исследований основными предположениями, которые следует учитывать, являются предположение однородности (homogeneity assumption), предположение сходства (similarity assumption) и предположение согласованности (consistency assumption) для сочетания прямых и непрямых сравнений.
На рисунке 1 показана сеть возрастающей сложности, в которой несколько методов лечения сравнивали между собой [12]. Каждый узел отражал вмешательство, при этом линия, соединяющая два узла, отражала одно или несколько РКИ (с данными действенности). Для любого вмешательства в рассматриваемой сети можно оценить относительный эффект лечения в сравнении с другим вмешательством.
Предположим, что основной интерес представляет собой сравнение методов С и В, но при этом никаких прямых сравнений этих ТЗ между собой не производили. В первой сети (см. рис. 1а) метод В сравнивали с методом А в исследовании В-А, а метод С сравнивали с методом А в исследовании А-С, так что непрямое сравнение позволяет оценить относительный эффект метода С относительно метода В. Непрямое сравнение методов С и В «привязано» к методу А (anchored indirect comparison, при этом также в литературе можно встретить термин adjusted indirect comparison). Метод А может представлять собой как активный контроль, так и плацебо. Ключевым моментом является сохранение рандомизации исследования.
©
©
©
0
©
@ © © ©
б)
г)
Рисунок 1. Различные варианты непрямых сравнений. Сплошные линии указывают на наличие прямых сравнений между соответствующими технологиями здравоохранения.
Например, если A, B, и С - методы лечения пациентов, ошибочным будет являться простое сравнение доли пациентов, ответивших на лечение методом В в исследовании пары А-В и доли пациентов, ответивших на лечение препаратом С в исследовании пары А-С. При использовании данных таким образом могут возникнуть трудности в отделении действенности ЛС от эффекта плацебо.
Также отличия в эффекте могут говорить о различных базовых рисках, даже там, где относительный риск согласуется между исследованиями, что является еще одной причиной ухода от нарушения рандомизации. Построение сравнения, где используются только лишь данные из групп, получающих сравниваемые ЛС и опускаются данные из группы плацебо, называют «наивным непрямым сравнением» (naive indirect comparison). Таких сравнений следует избегать, так как они ведут к ошибкам в результатах. Для сохранения рандомизации в каждом исследовании необходимо сравнивать относительные эффекты (более подробно они будут рассмотрены ниже).
Вторая сеть (см. рис. 1б) позволяет провести непрямое сравнение методов B, C, D и Е, привязанных к общему компаратору А. Так как все рассматриваемые методы лечения связаны в сеть (т.е. каждая пара имеет путь, связывающий методы внутри пары между собой), может быть проведено непрямое сравнение методов С и В, методов D и В, методов E и В, методов D и С, методов E и С, а также методов E и D. Примером такой «сети-звездочки» является сравнение терапий бисфосфонатами при лечении остеопороза, в котором четыре конкурирующих режима терапии были проанализированы в составе плацебо-контролируемых исследований [13]. Для некоторых из этих методов лечения было доступно несколько плацебо-контролируемых исследований, так что анализ можно было рассматривать как сетевой мета-анализ. Другим примером может быть непрямое сравнение внутрикоронарных стентов с лекарственным покрытием [5].
В третьей сети (рис. 1в) не все исследования имеют общий компаратор, но все вмешательства по-прежнему связаны. F и G связаны с A, B, C, D и E посредством исследований пары E-F и пары F-G, так что возможно непрямое сравнение каждого метода лечения с любым другим из рассматриваемой сети. При этом следует отметить, что более опосредованные сравнения будут иметь меньшую точность. Примером такой сети может служить мета-анализ противогрибкового лечения доказанных инвазивных микозов [17].
Последняя сеть (см. рис. 1г) включает в себя как прямые, так и непрямые возможные сравнения, так называемые смешанные сравнения (mixed treatment comparison) для стратегий лечения A, B, и С. При этом стратегии A, C, E, F образуют другую, более длинную петлю. Для сетей, которые содержат петли, важно, чтобы результаты непрямых сравнений соответствовали результатам прямых сравнений. В качестве примеров можно привести исследование профилактики инсульта у пациентов с фибрилляцией предсердий [9], а также новых антидепрессантов при депрессии [8].
Независимо от структуры сети, парные сравнения, будь то прямые или непрямые, возможны только между стратегиями лечения, между которыми существуют связи. Термины множественные непрямые сравнения, смешанные сравнения и сетевой мета-анализ иногда используются в литературе как синонимы. Так, Jansen и соавт. рассматривали следующее деление: предлагали использовать термин сетевой мета-анализ в случае рассмотрения более двух РКИ, связывающих более двух стратегий лечения [12]. Если сеть содержит хотя бы одну петлю, чаще всего употребляют термин смешанные сравнения. При наличии разомкнутой сети целесообразно использовать термин непрямые сравнения.
Основные этапы непрямого сравнения
Согласно данным литературы можно выделить 5 необходимых этапов проведения непрямого исследования (на примере трех ТЗ сравнения) [1,12]:
Данная интернет-версия статьи была скачана с сайта http://www.pharmacoeconomics.ru . Не предназначено для использования в коммерческих целях.
Информацию о репринтах можно получить в редакции. Тел.: +7 (495) 649-54-95; эл. почта: [email protected] . Copyright © 2013 Издательство ИРБИС. Все права охраняются.
This article has been downloaded from http://pharmacoeconomics.ru . Not for commercial use. To order the reprints please send request on [email protected] . Copyright © 2013 IRBIS Publishing House. All right reserved.
Во-первых, поиск публикаций об исследованиях с использованием заранее сформулированных параметров поиска - критериев включения и исключения. Качество существенно зависит от качества включенных в него исходных исследований. К основным проблемам при включении исследований относят такие, как различия по критериям включения и исключения, структуре, контролю;
Во-вторых, анализ гетерогенности включенных исследований. При этом определяют:
a. Соответствуют ли исследуемые популяции друг другу по основным параметрам (пол, возраст, стадия заболевания и др.). Если не вполне соответствуют, то с помощью критериев согласия (критерий Хи-квадрат) оценивают, могут ли влиять различия в популяциях на абсолютную или относительную величину эффекта;
b. Одинаковы ли в анализируемых исследованиях дозы, режимы введения ЛС и т.д.;
c. В случае включения мета-анализов - используются ли в них одинаковые модели (модели с фиксированными или случайными эффектами) и пр. Строгих критериев для определения гетерогенности исследования в настоящее время не разработано [15];
В-третьих, определение относительных эффектов технологий С и В относительно общего компаратора А из имеющихся прямых исследований С-А и В-А соответственно (точечные и интервальные оценки эффектов);
В-четвертых, вычисление непрямого относительного эффекта метода С относительно метода В (точечная и интервальная оценки). Следует отметить, что рандомизация при этом не нарушается, так как относительные эффекты в прямых сравнениях вычисляют до синтеза эффектов.
В-пятых, анализ чувствительности результатов к исследованиям, включенным в анализ, но относительно более слабым методологически.
Обычно изучаемые явления (эффект от ТЗ) представлены с помощью следующих показателей: отношение шансов, относительный риск, разность величин непрерывных эффектов, отношение угроз (в анализе выживаемости) [12,18].
Относительный риск (relative risk - rR):
Помимо собственно отношения шансов часто производят масштабирование и рассматривают логарифм отношения шансов:
1п ОК = 1п ОКлг - 1п ОКл„.
АС АВ
При этом величина стандартного отклонения может быть вычислена в логарифмической шкале:
БЕ (1п ОЯвс) = ^(ьотг^с)2 +5£’(1пО^)2
Важно обратить внимание, что при непрямом сравнении двух и более ТЗ результаты могут зависеть от того, какой показатель оценивали ^, RD, или OR). Например, при сравнении с соответствующими плацебо медицинская технология В может быть предпочтительнее С при оценивании показателя RR но, в то же время, С может быть предпочтительнее В при оценивании через OR [18].
Следует отметить, что проведение непрямого сравнения возможно также и в более сложных случаях, при наличии более трех ТЗ сравнения и отсутствии прямых сравнений между ними (рис. 1б-1г). В таких случаях речь может идти о множественных непрямых сравнениях.
Непрямые исследования и фармакоэкономический анализ
При проведении фармакоэкономического анализа требуется, помимо оценки отношения шансов, вычисление относительной действенности сравниваемых стратегий лечения. Основываясь на относительной разнице с общим компаратором, можно оценить эффективность каждого из вмешательств с поправкой на группу общего компаратора. Так, в одном исследовании приводится следующая методика оценки эффективности [11]:
Среднюю эффективность для группы общего компаратора рассчитывали как средневзвешеную эффективность групп плацебо по всем включенным исследованиям с учетом числа пациентов в каждой группе. Данную величину рассматривали в качестве показателя эффекта в эталонной группе плацебо ^Р). Далее можно было оценить отношение шансов в группе плацебо, вычисляемое по формуле
RRBC = Rac/Rab
(отношение частоты события в группе лечения к частоте события в группе контроля).
Разность рисков:
RDBC = Rac - Rab
(разница в частоте исходов между группами лечения и контроля).
Наиболее часто используемый критерий, отношение шансов (odds ratio - OR):
ORBC = 0Rac/0Rab ,
где OR = p/(l -p)
(отношение шансов = (вероятность того, что событие произошло)/ (вероятность того, что событие не произошло)).
Согласно Bucher et al. для проведения непрямого сравнения В и С при наличии прямых сравнений А и В, а также А и С, в случае оценки отношения шансов, следует сделать следующее [6]:
1. Получить значения отношения шансов ORAB и ORAC из имеющихся прямых сравнений медицинских технологий;
2. Оценить отношение шансов при применении С относительно В (собственно сравнение):
ORBC = ORac/ORab ■
RP.OR =
Pr 1 -Pr
где рг - вероятность эффекта. Аналогичным образом могут быть вычислены отношения шансов для каждого вмешательства (ТТ) и соответствующей группы плацебо (ТР):
adjOR =
RP.OR \ TP.OR
х ТТ.OR,
при этом получаем «adjOR» - скорректированное отношение шансов. Тогда искомая величина эффекта с поправкой на группу контроля <^ТТ» может быть вычислена по формуле
adjTT --
adjOR ' 1+ adjOR
В дальнейшем скорректированная эффективность, вычисленная по данной формуле, может быть использована для последующего анализа «затраты-эффективность» и вычисления коэффициента «затраты-эффективность» CER (cost-effectiveness ratio) и инкрементального коэффициента ICER (incremental cost-effectiveness ratio) [20].
Другим примером использования непрямых сравнений может быть исследование Chu и соавт., где анализировались результаты как прямого, так и непрямого сравнения ЛС для профилактики оп-
ФАРМАКОЭКОНОМИКА Том 6, №4, 2013
5
Данная интернет-версия статьи была скачана с сайта http://www.pharmacoeconomics.ru . Не предназначено для использования в коммерческих целях.
Информацию о репринтах можно получить в редакции. Тел.: +7 (495) 649-54-95; эл. почта: [email protected] . Copyright © 2013 Издательство ИРБИС. Все права охраняются.
This article has been downloaded from http://pharmacoeconomics.ru . Not for commercial use. To order the reprints please send request on [email protected] . Copyright © 2013 IRBIS Publishing House. All right reserved.
портунистических инфекций, вызванных ВИЧ, и плацебо [7]. Рассматривали вариант, когда в одном случае сравнивали А и В, в то время как в другом исследовании сравнивали В и плацебо. Скорректированное непрямое сравнение позволило оценить эффект А относительно плацебо без потери рандомизации. Полученные данные затем могут быть использованы для оценки значений входных параметров моделей для анализа эффективности затрат.
Выводы и рекомендации
Обобщая приведенные выше сведения, можно заключить, что проведение непрямых сравнений позволяет получить необходимую информацию для дальнейшего процесса принятия решений при клинико-экономическом анализе рассматриваемых ТЗ. Необходимость в непрямых сравнениях может возникнуть в случае, когда:
• имеющиеся клинические исследования не содержат результатов сравнения интересуемой ТЗ и стандарта лечения при заданных условиях;
• отсутствуют клинические исследования, проводящие сравнение двух новых ТЗ между собой.
При этом в ходе выполнения непрямых сравнений следует помнить о следующих особенностях:
• соответствие включенных в анализ исследований предположениям об однородности, сходстве, а также согласованности для сочетания прямых и непрямых сравнений;
• сохранение рандомизации исследований;
• наличие возможной зависимости результата от того, какой из показателей оценивали (RR, RD, или OR).
При методологически правильно проведенном непрямом сравнении его результаты могут быть использованы в фармакоэконо-мическом анализе: полученная на основе непрямого сравнения «скорректированная» эффективность может быть использована для анализа «затраты-эффективность» и вычисления инкрементальных коэффициентов ICER для ТЗ сравнения.
Литература:
1. Горяйнов С.В., Реброва О.Ю. Непрямые сравнения в оценке медицинских технологий Педиатрическая фармакология. 2012; 9 (2): 6-9.
2. Клиническая эпидемиология. Основы доказательной медицины. Пер. с англ. Под ред. Р. Флетчер, С. Флетчер, Э. Вагнер. М. 1998; 347 с.
3. Хабриев Р.У., Ягудина Р.И., Правдюк Н.Г. Оценка технологий здравоохранения. М. 2013; 416 с.
4. Berger M.L., Dreyer N., Anderson F. et al. Prospective Observational Studies to Assess Comparative Effectiveness: The ISPOR Good Research Practices Task Force Report. Value Health. 2012; 15 (2) :217-30.
5. Biondi-Zoccai G.G., Agostoni P., Abbate A. et al. Adjusted indirect comparison of intracoronary drug-eluting stents: evidence from a metaanalysis of randomized bare-metal-stent-controlled trials. Int. J. Cardiol. 2005; 100: 119-23.
6. Bucher H.C., Guyatt G.H., Griffith L.E., Walter S.D. The results of direct and indirect treatment comparisons in meta-analysis of randomized controlled trials. Journal of Clinical Epidemiology. 1997; 50 (6): 683-9.
7. Chu et al. Drug efficacy by direct and adjusted indirect comparison to placebo: An illustration by Mycobacterium avium complex prophylaxis in HIV. AIDS Research and Therapy 2011; 8: 14.
8. Cipriani A., Furukawa T.A., Salanti G., et al. Comparative efficacy and acceptability of 12 new-generation antidepressants: a multiple treatments meta-analysis. Lancet. 2009; 373: 746-58.
9. Cooper N.J., Sutton A.J., Lu G. Mixed comparison of stroke prevention treatments in individuals with nonrheumatic atrial fibrillation. Arch. Intern. Med. 2006; 166: 1269-75.
10. http://www.inahta.net.
11. http://www.ispor.org/awards/13Euro/PMS33-COST-EFFECTIVENESS-OF-TOCILIZUMAB-FOR-THE-MANAGEMENT-OF-PATIENTS-WITH-ACTIVE-RHEUMATOID-ARTHRITIS-DESPITE-PREVIOUS-DMARD-THERAPY-IN-MEXICO.pdf
12. Jansen J.P., Fleurence R., Devine B. et al. Interpreting indirect-treatment comparisons and network meta-analysis studies: report of the ISPOR task force on indirect treatment comparisons good research practices - part 1. Value Health. 2011; 14: 429-437.
13. Jansen J.P., Bergman G.J., Huels J., Olson M. Prevention of vertebral fractures in osteoporosis: mixed treatment comparison of bisphosphonate therapies. Curr. Med. Res. Opin. 2009; 25: 1861-8.
14. Jansen J.P., Fleurence R., Devine B. et al. Conducting indirect-treatment comparisons and network meta-analysis studies: report of the ISPOR task force on indirect treatment comparisons good research practices - part 2. Value Health. 2011; 14: 429-437.
15. Kleijnen S., George E., Goulden S. et al. Relative effectiveness assessment of pharmaceuticals: similarities and differences in 29 jurisdictions. Value Health. 2012; 15 (6): 954-60.
16. Klimt C. The conduct and principles of randomized clinical trials. Controlled Clinical Trials. 1981; 4: 283-293.
17. Mills E.J., Perri D., Cooper C., et al. Antifungal treatment for invasive Candida infections: a mixed treatment comparison metaanalysis. Ann. Clin. Microbiol. Antimicrob. 2009; 8: 23.
18. Norton E.C., Miller M.M., Wang J.J. et al. Rank reversal in indirect comparisons. Value Health. 2012; 15 (8): 1137-40.
19. Song F., Altman D.G., Glenny A.M. et al. Validity of indirect comparison for estimating efficacy of competing interventions: empirical evidence from published meta analyses. BMJ. 2003; 1: 326.
20. Walley T., Haycox A., Boland A. Pharmacoeconomics. Elsevier Health Sciences, 2004; 216 c.
Using indirect comparisons in pharmacoeconomic examination
Balykina Yu.E.1, Kolbin A.S.2
1Saint Petersburg State University 2 Pavlov State Medical University of St. Peterburg
Abstract: Health technology assessment is a fundamental tool while choosing the most cost- and clinical effective technologies that are being introduced into the health system. The basis for assessment is the data of clinical studies. The experts are interested in not only the effect of a new medical technology, but in its comparison with similar therapeutic approaches. The above is the essence of a comparative study. However, such studies are not common. The article considers the problems associated with the use of indirect comparisons of new medical technologies in the absence of direct comparisons. General recommendations on conducting indirect comparisons are provided. Possibilities of application of the results obtained in the course of indirect comparisons to conducting pharmacoeconomic analysis are shown.
Key words: health technology assessment, indirect comparisons, comparative assessment.
Данная интернет-версия статьи была скачана с сайта http://www.pharmacoeconomics.ru . Не предназначено для использования в коммерческих целях.
Информацию о репринтах можно получить в редакции. Тел.: +7 (495) 649-54-95; эл. почта: [email protected] . Copyright © 2013 Издательство ИРБИС. Все права охраняются.
This article has been downloaded from http://pharmacoeconomics.ru . Not for commercial use. To order the reprints please send request on [email protected] . Copyright © 2013 IRBIS Publishing House. All right reserved.
