CC BY
194
ОБЗОРЫ И ОРИГИНАЛЬНЫЕ СТАТЬИ
© КОЛЛЕКТИВ АВТОРОВ, 2017 УДК 615.065
ИДЕНТИФИКАЦИЯ СИГНАЛА О БЕЗОПАСНОСТИ ЛЕКАРСТВЕННЫХ СРЕДСТВ: СТАТИСТИЧЕСКИЕ МЕТОДЫ ВЫЯВЛЕНИЯ
К. Э. Затолочина, И. И. Снегирева, Е. О. Журавлева, М. А. Дармостукова, Р. Н. Аляутдин
Федеральное государственное бюджетное учреждение «Научный центр экспертизы средств медицинского применения» Министерства здравоохранения Российской Федерации, 127051, Российская Федерация, Москва, Петровский бульвар, д. 8, стр. 2
Статья поступила 20.03.2017. Принята к печати 17.04.2017
Резюме: Представлены современные подходы к решению проблемы выявления сигналов о безопасности лекарственных средств. Представлена основная концепция, на основании которой осуществляется выявление сигналов количественными методами в базах данных спонтанных сообщений. Описаны подходы к интерпретации сигнала о диспропорциональности.
Ключевые слова: методы диспропорциональности; количественные методы; сигнал; безопасность лекарственных средств; фармаконадзор.
Библиографическое описание: Затолочина КЭ, Снегирева ИИ, Журавлева ЕО, Дармостукова МА, Аляутдин РН. Идентификация сигнала о безопасности лекарственных средств: статистические методы выявления. Безопасность и риск фармакотерапии 2017; 5(2): 76-82.
Термин «сигнал» является одним из ключевых понятий современной системы фарма-конадзора. Сигнал — это информация, которая предполагает наличие новой потенциальной причинно-следственной связи (или нового аспекта известной взаимосвязи) между воздействием лекарственного препарата (ЛП) и нежелательным явлением (НЯ) или совокупностью взаимосвязанных НЯ, включая информацию об изменении частоты возникновения уже известной нежелательной реакции (НР) [1, 2, 3].
Метод спонтанной отчетности играет ключевую роль в выявлении сигналов. Этот метод является основным методом работы локальных систем фармаконадзора во многих странах мира, а также является основой таких международных систем фармаконадзора, как программа мониторинга Всемирной организации здравоохранения (иМС), система фармаконадзора Европейского медицинского агентства (Еи^аУ1^1апсе) и система фармако-надзора Евразийского экономического союза.
Классический способ выявления сигнала («качественное обнаружение») основан на оценке экспертами каждой поступающей в сообщении комбинации подозреваемого ЛС и
произошедшего клинического события, то есть — подозреваемой НР. Вместе с тем, из-за все большего объема данных в системах фар-маконадзора, адекватное выявление сигналов, основанное исключительно на качественном подходе, оказалось крайне трудоемким и все менее эффективным, особенно для обнаружения и оценки сложных ассоциаций, таких как, например, взаимодействия ЛС и НР. В связи с этим, для выявления сигналов в дополнение к качественным методам с конца 1990-х годов стали применяться количественные статистические методы [4-7].
В настоящее время существуют различные статистические методы автоматического выявления сигналов в больших базах данных, основанные на выявлении диспропорциональности количества сообщений (dis-proportionality methods), то есть более высоком уровне репортирования о предполагаемой подозреваемой НР на соответствующее лекарственное средство (ЛС) по сравнению с другими ЛС в базе данных.
При использовании автоматического скрининга в процессе обнаружения сигналов соответствующие индивидуальные сообщения о НР, выбранные в качестве потенциаль-
ных сигналов, в последующем изучаются по отдельности и вне зависимости от используемого статистического метода, а в дальнейшем подвергаются клинической оценке [4, 8, 9].
Статистические методы выявления сигнала включают в себя частотные методы, такие как PRR (Proportional Reporting Ratio), ROR (Reporting Odds Ratio), байесовские методы — MGPS (Multi-item Gamma Poisson Shrinker) и BCPN (Bayesian Confidence Propagation Neural network) [4, 5, 9, 10].
В основе большинства статистических методов лежит таблица сопряженности «2x2», которая связывает наблюдаемое количество случаев представляющего интерес неблагоприятного события и представляющего интерес ЛП, со всеми другими неблагоприятными событиями и ЛП в базе данных, которые вместе составляют «фоновое ожидание» [11].
Для выявления возможного сигнала между определенным ЛП (X ) и определенным НЯ (Y), рассматривается количество сообщений на данную комбинацию ЛП (X ) - НЯ (Y ) в базе данных. Далее строится таблица сопряженности (таблица 1), где:
- «а»: все сообщения для конкретного НЯ (Y) для ЛП (X);
- «b»: все сообщения для всех других неблагоприятных событий для ЛП (X );
- «a + b»: все отчеты для ЛП (X);
- «с»: все сообщения для всех других ЛП для Hß(Y);
- «d»: все сообщения для всех других ЛП для всех других НЯ;
- «с + d»: все сообщения для всех других ЛП [5, 9].
Каждый отдельный элемент в таблице сопряженности — это отдельный случай, содержащийся в базе данных. Таким образом, данный конкретный случай может вносить вклад
Таблица 1. Способ вычисления PRR (Proportional Reporting Ratio).
Интересуемое НЯ (Y) Все другие НЯ Всего
Интересуемый ЛП(Х ) a b a + b
Все другие ЛП с d с + d
Всего a + с b + d a + b + + с + d
только в одну из ячеек таблицы, даже если индивидуальный случай относится к нескольким ЛП или множественным НЯ.
В соответствии с обычной практикой фар-маконадзора, в подобных таблицах учитывают ЛП являющиеся «подозрительными» или «взаимодействующими», и обычно не учитывают «сопутствующие» ЛП.
Дальнейший расчет показателя РЯЯ проводится по формуле [9]:
PRR =
a / (a + b) с / (с + d)
Пример:
Удельный вес отдельных случаев головокружения среди всех сообщений, содержащих ЛП (X), равен 15 %. Например, 15 сообщений о головокружении среди 100 поступивших извещений, представленных с данным подозреваемым ЛП (X), тогда а = 15, Ь = 85, а + Ь = = 100.
Удельный вес отдельных случаев головокружения среди всех отчетов, включающих все другие подозреваемые ЛП базы данных, но не ЛП (X), равен 5 %. Например, 5000 сообщений о головокружении среди 100000 сообщений со всеми другими подозреваемыми ЛП, тогда с = 5000, й = 95000, с + й = 100000.
Показатель диспропорциональности РЯЯ = 3 (т.е. 0,15/0,05).
В общем виде, если отношение [а/(а + Ь)] больше, чем отношение [с/(с + й)] — НЯ (У) «диспропорционально» для ЛП (X).
Не существует универсальных пороговых значений для статистических сигналов, а используемые в рутинной практике пороговые величины показателя диспропорциональности (ПД) являются эмпирическими. При этом пороговые значения обычно используемые для обнаружения сигналов о диспропорциональности являются компромиссом между двумя противоположными вариантами: либо генерируется слишком много ложноположи-тельных сигналов, если пороговое значение слишком низкое, либо отсутствуют истинные сигналы, если этот порог слишком высок.
Согласно стандартной практике — при выявлении сигнала на основе диспропорциональности по данным базы спонтанных сооб-
щений EudraVigilance (за исключением интервенционных клинических исследований) для такого ПД как PRR принимаются следующие варианты предельных значений:
а) если PRR учитывается со своим 95 % доверительным интервалом:
- нижняя граница 95 % доверительного интервала больше или равна единице;
- количество отдельных случаев, большее или равное 3.
б) если PRR учитывается со статистикой х2:
- PRR > 2;
- X2 > 4;
- число отдельных случаев больше или равно 3 [10-12].
В связи с тем, что метод PRR не применим в случае малого количества наблюдений или малого количества сообщений на интересующую пару событий, а каждое поступившее сообщение может представлять собой потенциальный сигнал, в этих условиях следует использовать другие статистические методы.
Центры FDA в своей практике в таких условиях используют метод MGPS, где в качестве ПД рассчитывается эмпирическое геометрическое среднее Байеса (Empirical Bayesian Geometric Mean — EGBM) [13]. При этом расчет EBGM концептуально аналогичен расчету PRR, но позволяет получить ПД по отношению к нулевому значению, особенно при ограниченном количестве данных и малом числе интересуемых случаев. Статистические модификации, используемые в методологии EBGM, уменьшают влияние ложно высоких значений PRR, тем самым уменьшая количество ложноположительных сигналов безопасности.
Результаты количественных методов следует интерпретировать с осторожностью и с учетом ограничений, присущих спонтанной отчетности, на основании которой проводится расчет показателя диспропорциональности. В связи с этим, при интерпретации результатов статистических методов выявления сигнала принимают во внимание ряд положений [11]:
1. Любой показатель диспропорциональности измеряет только репортируемое отношение между ЛП (X) и НЯ (У) на основе относительного увеличения доли отдельных
случаев, связанных с неблагоприятным явлением и не подразумевает какой-либо причинно-следственной связи между применением ЛП (X) и возникновением НЯ (У). Такая статистическая диспропорциональность также может отражать ошибки (например, обусловленные основным заболеванием пациента), артефакты, присущие данным спонтанной отчетности, и «статистический шум». Таким образом, сигналы, идентифицированные с помощью количественных методов, всегда оцениваются с клинической точки зрения.
2. Решение о том, следует ли дополнительно изучать пару ЛП (X) - НЯ (У), основывается на пороговых значениях, применяемых к оценкам ПД и других статистических данных (например, нижней границе доверительного интервала).
3. В процессе отбора и определения приоритетности сигнала о диспропорциональности в дополнение к количественным параметрам также учитывают и другие факторы, такие, как потенциальное воздействие сигнала о диспропорциональности с точки зрения общественного здравоохранения; предвиден-ность НЯ; наличие подозреваемых или подтвержденных потенциальных рисков, связанных с сигналом о диспропорциональности.
4. В связи с тем, что величина ПД основывается на сравнение репортируемого отношения для конкретного ЛП (X) со всеми другими ЛП в базе данных, при интерпретация ПД принимают во внимание:
- тип лекарственных средств, включенных в базу данных;
- медицинскую терминологию, которая использовалась в отчетах;
- практики кодирования информации;
- дату создания базы данных;
- источники спонтанных сообщений.
5. Учитывается возможность маскировки взаимосвязи между ЛП (X) и НЯ (У) другими ЛС. При этом сигнал о диспропорциональности может быть уточнен путем объединения нескольких ЛП и/или НЯ, а также стратификацией по возрасту (например, для выявления возможного сигнала между вакциной и НЯ) и полу пациента.
6. Отсутствие сигнала о диспропорциональности не исключает вероятность наличия взаимосвязи между ЛП (X) и НЯ (У).
В настоящее время автоматическое выявление сигналов в базах данных фармаконад-зора на основе анализа диспропорциональности является признанным и рутинным методом.
Однако, в России до настоящего времени не проводилась работа по выработке подходов к автоматизации выявления сигналов в отечественной федеральной базе данных спонтанной отчетности на основе количественных статистических методов. Во многом это было связано с недостаточным совокупным числом индивидуальных спонтанных сообщений для использования подобных методов [14-20]. Однако значительный рост уровня репортирования в последние годы и значительно увеличившийся объем базы данных АИС Росздравнадзор снижает эффективность выявления сигналов исключительно качественными методами [21-27].
В связи с этим представляется целесообразным проведение дальнейших исследований в данной области и внедрение статистических методов автоматического выявления сигналов в нашей стране и в Евразийском экономическом союзе.
ЛИТЕРАТУРА
1. Лепахин ВК, Романов БК, Торопова ИА. Анализ сообщений о нежелательных реакциях на лекарственные средства. Ведомости Научного центра экспертизы средств медицинского применения 2012; 1: 22-25.
2. Guideline on Good pharmacovigilance practices [Интернет]. 2017 (дата обращения 20.03.2017). Доступно на: https://goo.gl/jciWGe.
3. Правила надлежащей практики фармаконад-зора [Интернет]. 2017 (дата обращения 20.03.2017). Доступно на: http://www.eurasian-commission.org/ru/act/texnreg/deptexreg/konsult-Comitet/Documents82.pdf.
4. Bate A, Lindquist M, Edwards IR, Olsson S, Orre R, Lansner A, et al. A Bayesian neural network method for adverse drug reaction signal generation. Eur J Clin Pharmacol. 1998; 54 (4): 315-21.
5. Evans SJW, Waller PC, Davis S. Use of proportional reporting ratios (PRRs) for signal generation from spontaneous adverse drug reaction reports. Pharmacoepidemiol Drug Saf. 2001; 10 (6): 483-6.
6. Lindquist M, Stahl M, Bate A, Edwards IR, Meybo-om RHB. A retrospective evaluation of a data mining approach to aid finding new adverse drug re-
action signals in the WHO international database. Drug Saf. 2000; 23 (6): 533-42.
7. Montastruc JL, Sommet A, Bagheri H, Lapeyre-Mestre M. Benefits and strengths of the dispropor-tionality analysis for identification of adverse drug reactions in a pharmacovigilance database. Brit J Clin Pharmacol. 2011 Dec; 72 (6): 905-8.
8. Романов БК, Лепахин ВК, Астахова АВ, Глаголев СВ, Поливанов ВА. Совершенствование принципов управления сигналами по бзопасно-сти лекарственных препаратов для медицинского применения. Безопасность и риск фармакотерапии. 2016; (1): 13-20.
9. Bate A, Evans SJW Quantitative signal detection using spontaneous ADR reporting. Pharmacoepi-demiology and drug safety 2009; 18: 427-436.
10. Zorych I, Madigan D, Ryan IP Bate A. Disproportio-nality methods for pharmacovigilance in longitudinal observational databases. Stat. Methods Med. Res. 2011; 22: 39-56.
11. CIOMS. Practical aspects of signal detection in pharmacovigilance: report of CIOMS Working Group VIII. Geneva: CIOMS; 2010.
12. Screening for adverse reactions in EudraVigilance [Интернет]. 2017 (дата обращения 20.03.2017). Доступно на: https://goo.gl/Yb4YUI.
13. Data Mining at FDA — White Paper [Интернет]. 2017 (дата обращения 20.03.2017). Доступно на: https://goo.gl/3g3m8g.
14. Снегирева ИИ, Затолочина КЭ, Озерецковский НА, Романов БК, Миронов АН. Фармаконадзор вакцин в России: нормативно-правовое регулирование, особенности развития на современном этапе. Ведомости Научного центра экспертизы средств медицинского применения 2014; 4: 27-31.
15. Романов БК, Глаголев СВ, Поливанов ВА, Леонова МВ. Мониторинг безопасности лекарственных средств. Безопасность и риск фармакотерапии 2014; 3 (4): 11-14.
16. Меркулов ВА, Бунятян НД, Сакаева ИВ, Лепахин ВК, Романов БК, Ефремова ТА. Новые законодательные инициативы по повышению безопасности лекарственных средств в Европейском союзе. Ведомости Научного центра экспертизы средств медицинского применения 2013; 3: 45-48.
17. Лепахин ВК, Романов БК, Никитина ТН, Снегирева ИИ. Экспертиза оценки отношения ожидаемой пользы к возможному риску применения лекарственных средств. Ведомости Научного центра экспертизы средств медицинского применения 2012; 2: 19-21.
18. Кутехов ГВ, Лепахин ВК, Романов БК. Выявление назначения лекарственных средств с нарушениями предписаний инструкции (OFF-LABEL) в педиатрической практике. Ведомости Научного центра экспертизы средств медицинского применения 2012; 3: 23-27.
19. Аляутдин РН, Романов БК, Гусейнов МД, Лопатин ПВ, Зилфикаров ИН. Экспериментальная скрининговая оценка стресспротекторного действия фитопрепаратов. Российский медицинский журнал 2008; 3: 29-33.
20. Васькова ЛБ, Лопатин ПВ, Романов БК. Фарма-коэкономика в фармации. М.: Первый москов-
ский гос. мед. университет им. И. М. Сеченова Минздрава России; 2012.
21. Романов БК. Кальциевая регуляция активности лизосомальных ферментов миокарда. Биомедицинская химия 2005; 51 (6): 634-642.
22. Затолочина КЭ, Снегирева ИИ, Озерецковский НА, Романов БК, Миронов АН. Особенности методов выявления нежелательных реакций на вакцинацию. Врач-аспирант 2013; 61 (6): 96-103.
23. Меркулов ВА, Бунятян НД, Сакаева ИВ, Лепа-хин ВК, Романов БК, Рычихина ЕМ, Кошеч-кин КА. Анализ и обобщение документов по безопасности лекарственных средств при проведении международных клинических исследований в Российской Федерации. Ведомости Научного центра экспертизы средств медицинского применения 2013; 2: 21-23.
24. Лепахин ВК, Романов БК, Снегирева ИИ. Методы выявления и экспертной оценки нежелательных
ОБ АВТОРАХ
реакций на лекарственные средства. Москва; 2013.
25. Романов БК, Торопова ИИ, Колесникова ЕЮ. Неправильное применение лекарственных средств. Безопасность и риск фармакотерапии 2014; 2 (3): 28-30.
26. Меркулов ВА, Бунятян НД, Сакаева ИВ, Рычихина ЕМ, Лепахин ВК, Романов БК, Комратов АВ, Колесникова ЕЮ, Кошечкин КА, Козлович АВ. Совершенствование системы оценки информации о безопасности лекарственных средств при проведении клинических исследований. Ведомости Научного центра экспертизы средств медицинского применения 2014; 1: 20-26.
27. Снегирева ИИ, Затолочина КЭ, Дармостуко-ва МА, Аляутдин РН, Романов БК. Современные подходы к взаимозаменяемости вакцин. Ведомости Научного центра экспертизы средств медицинского применения. 2016; (4): 3-8.
Федеральное государственное бюджетное учреждение «Научный центр экспертизы средств
медицинского применения» Министерства здравоохранения Российской Федерации.
Российская Федерация, 127051, Москва, Петровский бульвар, 8, стр. 2.
Затолочина Карина Эдуардовна. Начальник научно-аналитического отдела
Центра экспертизы безопасности лекарственных средств, канд. мед. наук.
Снегирева Ирина Илларионовна. Начальник отдела экспертизы побочного действия МИБП
Центра экспертизы безопасности лекарственных средств, канд. мед. наук.
Журавлева Евгения Олеговна. Старший научный сотрудник научно-аналитического отдела
Центра экспертизы безопасности лекарственных средств
Дармостукова Мария Андреевна. Старший научный сотрудник отдела экспертизы побочного действия МИБП Центра экспертизы безопасности лекарственных средств.
Аляутдин Ренад Николаевич. Директор Центра экспертизы безопасности лекарственных средств, д-р мед. наук.
АДРЕС ДЛЯ ПЕРЕПИСКИ
Затолочина Карина Эдуардовна Zatolochina@expmed.ru
STATISTICAL SIGNAL DETECTION METHODS
K. E. Zatolochina, 1.1. Snegireva, E. O. Zhuravleva, M. A. Darmostukova, R. N. Alyautdin
Federal State Budgetary Institution «Scientific Centre for Expert Evaluation of Medicinal Products» of the Ministry of Health of the Russian Federation Petrovsky boulevard 8, bld. 2, Moscow 127051, Russian Federation
Abstract. Modern approaches to solving the problem of detecting signals about the safety of drugs are presented. The basic concept, provided the detection of signals by quantitative methods in databases of spontaneous messages is presented. Approaches to the interpretation of the signal about disproportionality are described.
Key words: disproportionality methods; quantitative methods; signal; drug safety; pharmacovigilance For citation: Zatolochina KE, Snegireva II, Zhuravleva EO, Darmostukova MA, Alyautdin RN. Statistical signal detection methods. Safety and Risk of Pharmacotherapy 2017; 5(2): 76-82.
REFERENCES
1. Lepakhin VK, Romanov BK, Toropova IA. The analysis of reports on adverse drug reactions. The bulletin of the scientific centre for expert evaluation of medicinal products/The Bulletin of the Scientific Centre for Expert Evaluation of Medicinal Products 2012; 1: 22-25.
2. Guideline on Good pharmacovigilance practices [Internet]. 2017 (cited 20 Mar 2017). Avaible at: https://goo.gl/jciWGe.
3. Good pharmacovigilance practice. [Internet]. 2017 (cited 20 Mar 2017). Avaible at: http://www.eurasi-ancommission.org/ru/act/texnreg/deptexreg/kon-sultComitet/Documents82.pdf.
4. Bate A, Lindquist M, Edwards IR, Olsson S, Orre R, Lansner A, et al. A Bayesian neural network method for adverse drug reaction signal generation. Eur J Clin Pharmacol. 1998; 54 (4): 315-21.
5. Evans SJW, Waller PC, Davis S. Use of proportional reporting ratios (PRRs) for signal generation from spontaneous adverse drug reaction reports. Pharmacoepidemiol Drug Saf. 2001; 10 (6): 483-6.
6. Lindquist M, Stahl M, Bate A, Edwards IR, Meybo-om RHB. A retrospective evaluation of a data mining approach to aid finding new adverse drug reaction signals in the WHO international database. Drug Saf. 2000; 23 (6): 533-42.
7. Montastruc JL, Sommet A, Bagheri H, Lapeyre-Mestre M. Benefits and strengths of the dispropor-tionality analysis for identification of adverse drug reactions in a pharmacovigilance database. Brit J Clin Pharmacol. 2011 Dec; 72 (6): 905-8.
8. Romanov BK, Lepakhin VK, Astakhova AV, Glago-lev SV, Polivanov VA. Perfection of management principles by the safety of medicinal products. Safety and Risk of Pharmacotherapy 2016; (1): 13-20.
9. Bate A, Evans SJW. Quantitative signal detection using spontaneous ADR reporting. Pharmacoepi-demiology and drug safety 2009; 18: 427-436.
10. Zorych I, Madigan D, Ryan IP Bate A. Disproportio-nality methods for pharmacovigilance in longitudinal observational databases. Stat. Methods Med. Res. 2011; 22: 39-56.
11. CIOMS. Practical aspects of signal detection in pharmacovigilance: report of CIOMS Working Group VIII. Geneva: CIOMS; 2010.
12. Screening for adverse reactions in EudraVigilance [Internet]. 2017 (cited 20 Mar 2017). Avaible at: https://goo.gl/Yb4YUI.
13. Data Mining at FDA — White Paper [Internet]. 2017 (cited 20 Mar 2017). Avaible at: https://goo.gl/ 3g3m8g.
14. Snegireva II, Zatolochina KE, Ozeretskovsky NA, Romanov BK, Mironov AN. Vaccine pharmacovigi-lance in Russia, legal and regulatory framework, current stage of development. Scientific Centre for Expert Evaluation of Medicinal Products Bulletin 2014; 4: 27-31.
15. Romanov BK, Glagolev SV Polivanov VA, Leonova MV Monitoring of drug safety. Safety and Risk of Pharmacotherapy. 2014; 3(4): 11-14.
16. Merkulov VA, Bunyatyan ND, Sakaeva IV Lepakhin VK, Romanov BK, Yefremova TA. New legislative initiatives to improve drug safety in the European Union. Scientific Centre for Expert Evaluation of Medicinal Products Bulletin 2013; 3: 45-48.
17. Lepakhin VK, Romanov BK, Nikitina T, Snegireva II. Estimation of correlation between anticipated benefit and possible risk from the use of medicines. The Bulletin of the Scientific Center for Expert Evaluation of Medical Products 2012; 2: 19-21.
18. Kutekhova GV, Lepakhin VK, Romanov BK. Identify the purpose of medicines with violations of the requirements of the regulations (OFF-LABEL) in pediatric practice. The Bulletin of the Scientific center for expert evaluation of medical products 2012; 3: 23-27.
19. Alyautdin RN, Romanov BK, Guseynov MD, Lopa-tin PV Zilfikarov IN. Experimental screening evaluation of the stress-protection action of herbal remedies. Russian medical journal 2008; 3: 29-33.
20. Vaskova LB, Lopatin PV, Romanov BK. Pharmacoe-conomics in pharmacy. Moscow: Publishing house of the First Moscow state medical. University. I. M. Sechenov Of Ministry Of Healthcare Of Russia; 2012.
21. Romanov BK. Regulation of Myocardial lysosomal enzyme activity by calcium. Biomedical Chem. 2005; 51(6): 634-642.
22. Zatolochina KE, Snegireva II, Ozeretskovsky NA, Romanov BK, Mironov AN. Features methods of identifying adverse reactions to the vaccination. Doctor-graduate student 2013; 61: 96-103.
23. Merkulov VA, Bunyatyan ND, Sakaeva IV, Lepak-hin VK, Romanov BK, Richikhina EM, Koshech-kin KA. Analysis and synthesis of documents on the safety of medicines when conducting international clinical trials in Russian Federation. The Bulletin of the Scientific center for expert evaluation ofmedical products 2013; 2: 21-23.
24. Lepakhin VK, Romanov BK, Snegireva II. Methods of detection and evaluation of adverse reactions to medicines. Moscow; 2013.
25. Romanov BK, Toropova IA, Kolesnikova EY. Medication errors. Safety and Risk of Pharmacotherapy 2014; 2(3): 28-30.
26. Merkulov VA, Bunyatyan ND, Sakaeva IV, Richikhi-na EM, Lepakhin VK, Romanov BK, Komratov AV, Kolesnikova EYu, Koshechkin KA, Kozlovich AV. Improving the system of evaluating information on the safety of medicines in clinical trials. The Bulletin of the Scientific center for expert evaluation of medical products 2014; 1: 20-26.
27. Snegireva II, Zatolochina KE, Darmostukova MA, Alyautdin RN, Romanov BK. Modern approaches to vaccine interchangeability. The Bulletin of the Scientific center for expert evaluation of medical products 2016; 4: 3-8.
AUTHORS
Federal State Budgetary Institution «Scientific Centre for Expert Evaluation of Medicinal Products» of the Ministry of Health of the Russian Federation, Petrovsky boulevard 8, bld. 2, Moscow 127051, Russian Federation.
Zatolochina KE. Head of the Department of Science and Analysis of the Centre of Expertise of Drugs Safety. PhD.
Snegireva II. Head of the Department of Safety of Biological Medicinal Products of the Centre of Expertise of Drugs Safety. PhD.
Zhuravleva EO. Senior research scienstist of the Department of Science and Analysis of the Centre of Expertise of Drugs Safety.
Darmostukova MA. Senior research scientist of the Department of Safety of Biological Medicinal Products of the Centre of Expertise of Drugs Safety.
Alyautdin RN. Director of Center of Expertise of Drug Safety. MD, PhS, Dsc, prof.
