CC BY
14МЕТОДОЛОГИЯ
■Vi'myRWD
Оценка качества данных реальной клинической практики
Боровская В. Г. Э1, Гомон Ю. М. © 12
1 — ФГБОУ ВО «Первый Санкт-Петербургский государственный медицинский университет имени И. П. Павлова»,Санкт-Петербург,Российская Федерация
2 — СПб ГБУЗ «Городская больница Святого Великомученика Георгия»,Санкт-Петербург,Российская Федерация
Аннотация
В последние годы разработка методологии получения доказательств клинической эффективности и безопасности медицинских технологий на основе сбора и анализа данных реальной клинической практики (real-world data; RWD, и real-world evidence; RWE) становится крайне актуальной. Методология RWD/RWE предполагает использование различных видов исследований, что определяет наличие как преимуществ, так и недостатков, что требует разработки как единой методологии проведения подобных исследований, так и подходов к оценке достоверности их результатов. Одним из таких направлений является ранжирование достоверности результатов исследований на основе оценки качества исходных данных: популяции пациентов, воздействий, исходов — и конфаундинга факторов (вмешивающихся факторов). Оптимальная оценка уровня достоверности достигается в случае наличия подробного описания использованных источников данных; методик, применённых при их обработке. Ключевые слова: RWD; RWE; клинические исследования; достоверность; оценка качества Для цитирования:
Боровская В. Г., Гомон Ю. М. Оценка качества данных реальной клинической практики. Реальная клиническая практика: данные и доказательства. 2022;4(3):10-16. https://doi.org/10.37489/2782-3784-myrwd-22.
Поступила: 14 октября 2022 г. Одобрена: 14 ноября 2022 г. Опубликована: 25 декабря 2022 г
Quality assessment of real-world data
Borovskaya V. G. € 1, Gomon Y. M. 0 12
1 — First St. Petersburg State Medical University,named after I. P. Pavlov,St. Petersburg,Russian Federation
2 — St. George the Martyr City hospital,St. Petersburg,Russian Federation
Abstract
Recently, the development of a methodology for obtaining evidence of clinical efficacy and safety of medical technologies based on the collection and analysis of real clinical practice data (real-world data; RWD; real-world evidence; RWE) has become extremely relevant. Different types of research are used in RWD/RWE. It must develop a unified methodology for conducting and approach the reliability of the results of such studies. One of these approaches is the ranking of the reliability of research results based on an assessment of the quality of the original data: patient populations, exposures, outcomes and confounding factors (interfering factors). Simultaneously, for an optimal assessment of reliability, the following should be considered: a description of the data sources implemented during the study; techniques used to transform them; the techniques used to make up for missing information in the collection of these data. Keywords: RWD; RWE; clinical trials; reliability, quality assessment For citation:
Borovskaya VG, Gomon YM. Quality assessment of real-world data. Real-World Data & Evidence. 2022;4(3): 10-16. https://doi.org/10.37489/2782-3784-myrwd-22.
Received: October 14, 2022. Accepted: November 14, 2022. Published: December 25, 2022.
Введение
В последние годы разработка методологии получения доказательств клинической эффективности и безопасности медицинских технологий на основе данных реальной клинической практики (англ. real-world evidence; RWE, и, соответственно, real-world data; RWD) становится крайне актуальной [1, 2]. Это связано с тем, что в рамках проведения RWD/RWE возможно оценить любые исходы, связанные с ис-
пользованием медицинской технологии. Под данными реальной клинической практики понимают данные, относящиеся к состоянию здоровья пациента и/или к процессу оказания медицинской помощи, полученные из различных источников. В свою очередь, под RWE понимают доказательства, полученные на основе данных реальной клинической практики, то есть клинические доказательства в отноше-
л; "niyRWD
нии применения и потенциальной пользы или риска применения лекарственного препарата, полученные на основе сбора и анализа данных реальной клинической практики [3]. Методологические подходы к проведению таких исследований крайне разнообразны: они могут быть проспективными или ретроспективными, продольными (англ. longitudinal study) или срезовыми, открытыми или заслеплёнными, наблюдательными или интервенционными, а также прагматическими, которые вобрали в себя преиму-
В рамках РКИ с помощью критериев отбора, а также методики рандомизации создаётся однородная по своим демографическим и клиническим характеристикам выборка пациентов, что позволяет при последующем анализе результатов применения медицинской технологии свести к минимуму воздействие внешних факторов на исходы. При этом чрезмерно строгие критерии отбора приводят к тому, что выбранная популяция не отражает реальную популяцию пациентов, в которой медицинская технология будет использована. Так, при проведении РКИ из изучаемой популяции, как правило, исключаются лица с декомпенсированной сопутствующей патологией, лица младше 18 и старше 75 лет, беременные, пациенты с нарушением функции органов, что приводит к нерепрезентативности выборки [6, 7]. Исследование Mamtani R с соавт. (2021 г.) продемонстрировало, что в США менее 5% взрослых пациентов со злокачественными новообразованиями принимают участие в РКИ, при этом участвующие оказались статистически значимо моложе и имели значительно меньше сопутствующих заболеваний, чем пациенты, наблюдаемые в клинической практике [8].
Все указанные факторы, вместе с относительно короткими сроками наблюдения пациентов в рам-
МЕТОДОЛОГИЯ^
щества и наблюдательных, и рандомизированных клинических исследований (РКИ). В качестве источников данных для RWD/RWE могут быть использованы регистры, электронные медицинские карты, электронные приложения и другие источники информации [4, 5, 6]. В определённых ситуациях исследования RWD/RWE приходят на смену «золотому стандарту» дизайна клинических исследований — РКИ. Как видно из табл. 1, исследования RWD/RWE и РКИ имеют свои преимущества и недостатки.
ках РКИ, не позволяют в полной мере оценить отдалённые результаты эффективности, определяя разрыв между данными о действенности (англ. efficacy), полученной в рамках РКИ, и эффективности (англ. effectiveness) в реальной клинической практике [9, 10]. Данный разрыв обусловлен многими факторами, ведущий из которых заложен в саму методологию проведения РКИ, когда путём рандомизации и ослепления осуществляется попытка изолировать чистый эффект применения медицинской технологии, в то время как RWD отражает реальную практику её применения, в которой лечение назначается систематически, а не случайным образом, в том числе с предвзятостью отбора [11, 12].
Те же проблемы связаны с оценкой профиля безопасности изучаемой медицинской технологии. Хорошо известно, что в рамках РКИ III и IV фазы ввиду ограниченности объёмов выборок пациентов чаще выявляются нежелательные реакции, относящиеся к типу А (предсказуемые, частые реакции, связанные с фармакологической активностью лекарственных средств (ЛС)), которые встречаются с частотой более 1%. В то же время выявление реакций типа С, возникающих при длительном приёме ЛС (толерантность, зависимость, синдром отмены и т. д.), а также типа D (отсроченные эффек-
Таблица. Преимущества и недостатки сбора данных об эффективности/безопасности медицинских технологий в рамках РКИ и исследований RWD/RWE
Показатель РКИ RWD/RWE
Объём выборки Соответствует необходимой мощности исследования Ограничен только размерами используемых баз данных
Выборка пациентов Сформирована на основании критериев включения/исключения Сформирована из лиц, обращавшихся за медицинской помощью по поводу данного заболевания
Горизонт наблюдения Ограничен целями исследования Ограничен сроками ведения баз данных
Влияние внешних факторов на результат Низкое Высокое
Возможность систематизации данных Высокая: однородность собираемой информации Низкая: отсутствие структурированности собираемой информации
Организационные сложности Этические и финансовые аспекты Регуляторные аспекты: доступность сведений для исследователей
^МЕТОДОЛОГИЯ
ты: мутагенные, тератогенные, эмбриотоксическое действие и т. д.) в рамках РКИ крайне затруднительно или практически невозможно [13].
В то же время неоднородность выборки, отсутствие рандомизации и ослепления, характерные для исследований реальной клинической практики, создают сложности в статистической обработке полученных данных: какие бы сложные статистические методики ни использовались для исправления смещения выборки данных, полностью исключить влияние внешних факторов при их анализе не представляется возможным [4, 5, 6, 14, 15]. Имеющиеся сложности статистической обработки дополняются сложностями, связанными с интерпретацией исходных данных: наличие пропущенных данных, данных, представленных неструктурированно, без использования единых нормирующих шкал, препятствует отслеживанию динамики состояния пациента во времени [16]. Таким же препятствием систематизации данных о пациентах является тот факт, что во многих странах мира пациенты не имеют единого идентификационного номера, который использовался бы во всех организациях здравоохранения, что не позволяет отслеживать исходы у пациентов, которые могут консультироваться и лечиться одновременно в нескольких медицинских учреждениях [16].
Общими проблемами RWD/RWE исследований и РКИ является публикационная ошибка (т. е. предпочтение журналов публиковать только положительные результаты), а также организационные сложности проведения: финансовые и этические — для РКИ, организационные (получение доступа к базам данных, а также отслеживание качества собираемой информации) — для RWD/RWE-иссле-дований [6, 14].
Использование данных RWD/RWE на практике
Исследования с использованием RWD позволяют оценить не только эффективность и безопасность медицинской технологии, но и приверженность пациентов к терапии, проанализировать реальные затраты в связи с её использованием, что может позволить лицам, принимающим решения, оценить не только её клинические, но и экономические преимущества в сравнении с альтернативами. В 2016 году в США Конгрессом был принят Закон о лекарствах XXI века (англ. the 21st Century Cures Act), регламентирующий необходимость использования данных реальной клинической практики при принятии решений о доступе ЛС на фармацевтический рынок, что особенно актуально для регистрации ЛС, используемых для патогенетической терапии орфанных заболеваний, когда проведение традиционных РКИ может быть неосуществимым или неэтичным ввиду малочисленности популяции пациентов, отсутствия эф-
í-Ví-í» •Vi'myRWD
фективных и безопасных альтернатив [6]. В таких случаях RWD/RWE могут стать единственным инструментом для обоснования эффективности и безопасности медицинских технологий, в том числе при их регистрации по ускоренной программе [17].
Так, Европейское агентство по лекарственным средствам (англ. The European Medicines Agency; EMA) использовало RWD/RWE для изучения долгосрочной эффективности и безопасности нусинер-сена («Спинраза»), зарегистрированного в качестве средства патогенетической терапии у пациентов со спинальной мышечной атрофией [18]. Также с помощью RWD/RWE были зарегистрированы два ЛС для CAR-T-терапии: аксикабтаген цилолейцел (Yescarta) и тизагенлеклейцел (Kymirah). Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США (англ. Food and Drug Agency; FDA) в процессе регистрации блинатомумаба для применения у пациентов с рецидивирующим или рефрактерным В-клеточным острым лимфобластным лейкозом в качестве источника данных об эффективности и безопасности также было использовано RWD/RWE-исследование — открытое неконтролируемое исследование MT103-211 [19]. Совершенствование системы наблюдения за безопасностью лекарственной терапии в Японии также стало возможным за счёт внедрения методики RWD/RWE: благодаря интенсивному развитию баз данных начиная с 2011 года отслеживание нежелательных реакций лекарственной терапии осуществлялось внешними аудиторами при систематическом анализе электронных карт пациентов, результатов лабораторных исследований пациентов 23 крупнейших стационаров [6]. В настоящее время FDA рассматривает возможность расширения использования данных реальной клинической практики для принятия решений об эффективности, включая изменения в инструкциях по применению (например, добавление или изменение показаний, изменение информации о дозировании) и добавление новой информации о сравнительной эффективности [15, 16]. Однако FDA всё же с осторожностью использует эти данные для принятия регуляторных решений, ввиду сложности сбора данных и их анализа в рамках исследований подобного дизайна. В связи с этим заявитель при подаче заявки на регистрацию ЛС должен доказать обоснованность использования данного дизайна исследования [17].
Одной из проблем RWD/RWE является колоссальный объём информации, часто представленной в неструктурированном виде. Эта проблема решается с помощью методологии искусственного интеллекта — программ машинного обучения для распознавания и обработки информации. Перспективы этого направления наглядно отражены результатами поиска статей в базе данных ClinicalTrials. gov
с использованием поисковых запросов AI (англ. artificial intelligence; искусственный интеллект), ML (англ. Machine Learning; машинное обучение), DL (англ. Deep Learning; глубокое обучение) — более 300 публикаций за последние 3 года [6]. Несмотря на крайне осторожное отношение к использованию RWD/RWE при принятии решений, осенью 2020 г. FDA объявило о выделении нескольких грантов на изучение процесса сбора данных реальной клинической практики с целью создания на их основе доказательной базы, используемой для поддержки при принятии регуляторных решений [17]. Данные гранты направлены как на разработку возможности суммирования данных реальной клинической практики и РКИ с целью объединения сильных сторон обеих методологий и нивелирования недостатков, так и на стандартизацию и совершенствование как методологии проведения самих RWD/RWE-ис-следований, так и валидированных инструментов их статистической обработки [17].
Концепция оценки достоверности результатов RWD/RWE-исследований
Ключевым вопросом RWD/RWE-исследований является стандартизация методологии их проведения. В 2020 году Cocoros N с соавт. было подготовлено практическое руководство для исследователей и регуляторных органов по планированию и оценке качества подобных исследований [15]. Для разработки собственной классификации авторами была использована концепция «уровней диагностической достоверности» Брайтонского сотрудничества с ранжированием уровней достоверности на оптимальный, достаточный и вероятный [20]. Эта трёхуровневая структура позволяет оценить качество четырёх основных переменных исследования: характеристик, определяющих когорту исследования, воздействия, исхода и наличия дополнительных факторов, влияющих на исходы (конфаундинг-факторы). Схематично общие принципы концепции представлены на рис.
Рис. Принципы определения достоверности результатов RWD/RWE-исследований
Достоверность считается оптимальной, если данные получены в популяции пациентов, характеристики которой полностью соответствуют целям исследования, а когорта идентифицирована с использованием «золотых стандартов» диагностики [15]. Например, при оценке эффективности мер профилактики и лечения гриппа целесообразно использовать базы данных, содержащие информацию о лабораторно подтверждённых случаях гриппа; для изучения эффективности лечения онкологических заболеваний — данные национальных раковых регистров, куда включают только пациентов с гистологически подтверждёнными случаями заболевания.
Достоверность также будет считаться оптимальной, если имеются лабораторные тесты или иные данные, которые позволяют однозначно идентифицировать и измерить воздействие медицинской технологии. Например, определение когорты пациентов, использующих лекарственные препараты из группы ГМГ-КоА-редуктазы (статинов), на основании идентификации самих лекарственных средств или их метаболитов в биологических образцах; использование данных медицинских карт пациентов с отметками о назначении и факте введения внутривенных иммуноглобулинов при оценке их эффективности и безопасности.
^МЕТОДОЛОГИЯ
Достоверность результатов проведённого исследования по исходу будет считаться оптимальной, если учитывались только те исходы, которые были подтверждены клинически и/или лабора-торно путём ручного просмотра медицинской документации врачом-экспертом. Например, взаимосвязь случаев инвагинации кишечника у детей с вакцинацией от ротавирусной инфекции должна быть установлена врачом-экспертом на основании анализа медицинских карт каждого пациента. Или применение баз данных с диагнозами, выставленными на основании устойчивых критериев, на которые воздействие внешних факторов минимально (например, диагноз сахарный диабет, основанный на лабораторном показателе — уровне гликированного гемоглобина) [15].
Достаточная достоверность может быть установлена, если данные были получены вне текущего исследования или исходной популяции. Например, достоверность считается достаточной, если для оценки эффективности вакцинации используются не медицинские карты каждого конкретного вакцинированного пациента, а оценки охвата населения вакцинацией министерствами здравоохранения или Всемирной организацией здравоохранения [15]. Достоверность также будет считаться достаточной, если, например, в RWD/RWE-исследовании использованы данные о вероятности развития инвагинации кишечника после вакцинации от ротавирусной инфекции, обладающие высокой прогностической ценностью, но полученные в популяции детей в другой стране/регионе.
Вероятная достоверность устанавливается в случае, если данные не валидированы внутри или вне текущего исследования или исходной популяции. Достоверность может считаться вероятной в случае, если использованы данные о популяции пациентов с гриппом, диагноз у которых был установлен на основании клинической картины заболевания во время сезонного подъёма заболеваемости, без лабораторного подтверждения. Достоверность может считаться вероятной, если были использованы базы данных электронных медицинских карт, содержащих сведения о назначении изучаемых лекарственных средств: в этом случае можно только предполагать, что назначенные лекарственные средства действительно принимались пациентом.
В то же время при экспертной оценке методологическое качество может не соответствовать указанным уровням достоверности. Так, примером низкой достоверности может считаться использование баз медицинских карт пациентов, содержащих данные о назначении аспирина, в качестве источника данных о лицах, принимающих аспирин, так как часто пациенты принимают аспирин вне врачебных рекомендаций.
í-Ví-í» •Vi'myRWD
Для того чтобы достоверность полученных результатов была оценена верно, необходимо подробное описание источников данных, методик, использованных для их преобразования, методик, использованных для восполнения информации при пропуске данных и т. д., в том числе с возможностью проведения внешнего аудита RWD/RWE-исследований с целью контроля качества их проведения.
По своей сути, использование данных реальной клинической практики для принятия клинических или нормативных решений представляет собой баланс между осуществимостью сбора данных и обеспечением их достоверности, надёжности. Так, при оценке эффективности или безопасности нового метода лечения орфанного заболевания или новой инфекционной патологии (например, пандемии новой коронавирусной инфекции COVID-19) проведение исследований с меньшей достоверностью полученных данных лучше, чем отсутствие доказательств вообще.
Таким образом, концепция оценки достоверности результатов RWD/RWE-исследований может использоваться исследователями во время разработки и планирования исследований и регулирующими органами или внешними рецензентами после проведения исследования при принятии нормативных, клинических решений и для других целей [15, 16].
Заключение
Для целого ряда ситуаций, связанных как с регистрацией ЛС, так и с пострегистрационным мониторингом их эффективности и безопасности, исследования RWD являются единственным инструментом сбора подобной информации. Тем не менее в настоящее время регулирующие органы во всём мире редко учитывают результаты RWD/RWE-исследований при принятии решений. В то же время такой опыт уже имеется у Канадского агентства по лекарственным средствам и технологиям в здравоохранении (англ. Canadian Agency for Drugs and Technologies in Health; CADTH), Европейского медицинского агентства (англ. European Medicines Agency; EMA), FDA, Южно-Корейского министерства безопасности пищевых продуктов и медикаментов (англ. Ministry of Food and Drug Safety; MFDS), Китайского Национального управления по медицинским изделиям (англ. National Medical Products Administration; NMPA), Японского Агентства по фармацевтическим препаратам и медицинским изделиям (англ. Pharmaceuticals and Medical Devices Agency; PMDA). Разработка стандартизированных методик проведения RWD/RWE-исследований, наряду со стандартизацией статистических подходов к анализу полученных результатов, с одной
стороны, а также интеграцией методологии проведения RWD/RWE и РКИ — с другой, позволит в будущем минимизировать существующие неДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ Конфликт интересов.
Автор декларирует отсутствие конфликта интересов.
Участие авторов. Боровская В. Г. — написание текста; Гомон Ю. М. — написание текста, редактирование, оформление статьи.
СВЕДЕНИЯ ОБ АВТОРАХ
Боровская Валентина Геннадьевна —
врач-терапевт, ординатор кафедры клинической фармакологии и доказательной медицины ФГБОУ ВО ПСПбГМУ им. акад. И. П. Павлова Минздрава России, Санкт-Петербург, Российская Федерация Автор, ответственный за переписку e-mail: [email protected] © https://orcid.org/0000-0002-4180-0878
Гомон Юлия Михайловна — д. м. н., профессор кафедры клинической фармакологии и доказательной медицины ФГБОУ ВО ПСПбГМУ им. И. П. Павлова Минздрава России, Санкт-Петербург, Российская Федерация; СПб ГБУЗ «Городская больница Святого Великомученика Георгия», Санкт-Петербург, Российская Федерация e-mail: [email protected] © https://orcid.org/0000-0001-7704-9900
Литература/References
1. Исследования реальной клинической практики/А. С. Колбин, Д. Ю. Белоусов, С. К. Зырянов, В. В. Омельяновский, Д. А. Сычёв, А. Л. Хохлов, С. Л. Плавинский, Б. К. Романов, М. В. Журавлёва, Е. В. Вербицкая, Е. А. Вольская, Д. А. Рождественский, С. В. Глаголев, М. Ю. Фролов, А. В. Рудакова, А. В. Павлыш, Ю. Е. Балыкина, А. А. Курылёв, А. В. Иванов, Д. С. Козлов, С. Б. Васильченко, Т. И. Га-лимов, О. А. Логиновская, С. А. Мишинова, Т. А. Гольдина, В. А. Булатов, Е. В. Лаврентьева, В. В. Горин, Л. А. Худова, В. В. Секачёв, И. В. Ефименко, Л. И. Карпенко, А. А. Поли-карова. — М.: Издательство ОКИ: Буки Веди, 2020. — 208 с.: ил. — ISBN 978-5-4465-2902-5. [Real-world clinical practice/AS Kolbin, DYu Belousov, SK Zyryanov, VV Omelyanovsky, DA Sychev, AL Khokhlov, SL Plavinsky, BK Romanov, MV Zhuravleva, EV Verbitskaya, EA Volskaya, DA Rozhdestvensky, SV Glagolev, MYu Frolov, AV Rudakova, AV Pavlysh, YuE Balykina, AA Kurylev, AV Ivanov, DS Kozlov, SB Vasilchenko, TI Galimov, OA Loginovskaya,
достатки и максимально использовать преимущества, связанные с проведением исследований реальной клинической практики.
ADDITIONAL INFORMATION Conflict of interests.
The author declares no conflict of interest.
Participation of authors. Borovskaya VG — text writing; Gomon YM — text writing, editing; article design.
ABOUT THE AUTHORS
Borovskaya Valentina G. — Cand. Sci. Med., Assistant of professor Department of Clinical Pharmacology and Evidence-Based Medicine, FSBEI HE named after I. P. Pavlov SPbSMU MOH Russia, St. Petersburg, Russian Federation Corresponding author
e-mail: [email protected] © https://orcid.org/0000-0002-4180-0878
Gomon Yulia M. — Doctor of Medical Sciences, Professor of the Department of Clinical Pharmacology and Evidence-Based Medicine I. P. Pavlov of the Ministry of Health of Russia, St. Petersburg, Russian Federation; St. George the Martyr City hospital, St. Petersburg, Russian Federation
e-mail: [email protected] © https://orcid.org/0000-0001-7704-9900
SA Mishinova, TA Goldina, VA Bulatov, EV Lavrentiev, VV Gorin, LA Khudova, VV Sekachev, IV Efimenko, LI Karpenko, AA Polikarova. — M.: OKI Publishing House: Buki Vedi, 2020. — 208 p.: ill. — ISBN 978-5-4465-2902-5. (In Russ.)].
2. Колбин А. С. Резолюция по результатам работы конференции: «RWD/RWE — Инструменты исследования реальной клинической практики: сегодня и завтра». Реальная клиническая практика: данные и доказательства. 2021;1 (1). https://doi.org/10.37489/2782-3784-myrwd-5. [Kolbin AS. Resolution based on the results of the conference: «RWD/RWE — Research Tools of Real-World Clinical Practice Today and Tomorrow». Real-World Data & Evidence. 2021;1 (1). (In Eng.)].
3. Решение Совета ЕЭК от 17.03.2022 № 36 «О внесении изменений в Правила регистрации и экспертизы лекарственных средств для медицинского применения». Режим доступа: https://www.alta.ru/tamdoc/22sr0036/. [Decision of the EEC Council dated March 17,
^МЕТОДОЛОГИЯ
2022 No. 36 «On Amendments to the Rules for Registration and Examination of Medicinal Products for Medical Use» (In Russ.)].
4. Солодовников А. Г., Сорокина Е. Ю., Гольдина Т. А. Данные рутинной практики (real-world data): от планирования к анализу. Медицинские технологии. Оценка и выбор. 2020;3 (41):9-16. doi: 10.17116/med-tech2020410319. [Solodovnikov AG, Sorokina EYu, Goldina TA. Real-world data: from planning to analysis. Medical Technologies. Assessment and Choice. 2020; (3):9-16. (In Russ.)].
5. Гольдина Т. А., Колбин А. С., Белоусов Д. Ю., Боровская В. Г. Обзор исследований реальной клинической практики. Качественная клиническая практика. 2021; (1):56-63. https:// doi.org/10.37489/2588-0519-2021-1-56-63. [Goldina TA, Kolbin AS, Belousov DYu, Bor-ovskaya VG. Review of real-world data study. Kachestvennaya klinicheskaya praktika = Good Clinical Practice. 2021; (1):56-63. (In Russ.)].
6. Гольдина Т. А., Суворов Н. И. Исследования рутинной клинической практики: от получения данных к оценке медицинских технологий и принятию решений в здравоохранении. Медицинские технологии. Оценка и выбор. 2018;31 (1):21-9. [Goldina TA, Suvorov NI. Routine Clinical Practice Research: From Data Acquisition to Medical Technology Assessment and Healthcare Decision Making. Medical Technologies. Assessment and Choice. 2018;31 (1):21-9. (In Russ.)].
7. Самсонов М. Ю., Погребной Н. О., Вольская Е. А. Новые технологии в области анализа Данных реального мира (RWD): вопросы и перспективы. Ремедиум. 2020;1:3-9. doi: 10.21518/1561-5936-2020-1-2-3-3-9. [Sam-sonov MYu, Pogrebnoy NO, Vol»skaya EA. New Technologies in Real-World Data Analysis (RWD): challenges and potential solutions. Remedium. 2020;1:3-9. (In Russ.)].
8. Mamtani R, Lund J, Hubbard RA. Considering the totality of evidence: Combining real-world data with clinical trial results to better inform decision-making. Pharmacoepidemiology and Drug Safety. 2021;30 (6):814-6. doi:10.1002/pds. 5218
9. Thompson D. Replication of Randomized, Controlled Trials Using Real-World Data: What Could Go Wrong? Value Health. 2021;24 (1):112-5. doi: 10.1016/j. jval. 2020.09.015
10. Nordon C, Karcher H, Groenwold RHH, et al. The «efficacy-effectiveness gap»: Historical background and current conceptualization. Value Health. 2016;19:75-81.
11. Collins R, Bowman L, Landray M, Peto R. The magic of randomization versus the myth
•Vi'myRWD
of real-world evidence. N Engl J Med. 2020;382:674-8.
12. Miksad RA, Abernethy AP. Harnessing the power of real-world evidence (RWE): A checklist to ensure regulatory-grade data quality. Clin Pharmacol Ther. 2018;103:202-5.
13. Фармаконадзор/под общ. ред. Колбина А. С., Зырянова С. К., Белоусова Д. Ю. — М.: Издательство ОКИ: Буки Веди, 2019. — 248 с.: ил. — ISBN 978-5-4465-2373-3. [Pharmacovig-ilance/under the general ed. Kolbin AS, Zyryan-ov SK, Belousov DYu. — M.: OKI Publishing House: Buki Vedi, 2019. — 248 p.: ill. — ISBN 978-5-4465-2373-3].
14. Berger ML, Sox H, Willke RJ, et al. Good practices for real-world data studies of treatment and/or comparative effectiveness: Recommendations from the joint ISPOR-ISPE Special Task Force on real-world evidence in health care decision making. Pharmacoepidemiology and Drug Safety. 2017;9 (26):1033-9. doi: 10.1002/pds. 4297
15. Cocoros NM, Arlett P, Dreyer NA, et al. The Certainty Framework for Assessing Real-World Data in Studies of Medical Product Safety and Effectiveness. Clinical Pharmacology and Therapeutics. 2021;5 (109);1189-96. doi:10.1002/cpt. 2045
16. FDA Framework for FDA's Real-World Evidence Program. 2018. Режим доступа: https:// www.fda.gov/media/120060/download.
17. Борзова М. А., Колбин А. С. Применение данных реальной клинической практики для поддержки принятия регуляторных решений в США. Качественная клиническая практика. 2021; (1):64-9. https://doi.org/10.374 89/2588-0519-2021-1-64-69. [Borzova MA, Kolbin АS. Applying real-world data to support regulatory decision — making in the United States. Kachestvennaya klinicheskaya praktika = Good Clinical Practice. 2021; (1):64-9. (In Russ.)].
18. Cave A, Kurz X, Arlett P. Real-World Data for Regulatory Decision Making: Challenges and Possible Solutions for Europe. Clinical Pharmacology and Therapeutics. 2019;106 (1):36-9. doi:10.1002/cpt. 1426
19. Przepiorka D, Ko C, Deisseroth A, et al. FDA approval: Blinatumomab. Clinical Cancer Research. 2015;18 (21);4035-9. doi:10.1158/1078-0432. CCR-15-0612
20. Kohl K, Bonhoeffer J, Braun MM, et al. The Brighton Collaboration: Creating a Global Standard for Case Definitions (and Guidelines) for Adverse Events Following Immunization. Advances in Patient Safety: From Research to Implementation. Volume 2: Concepts and Methodology. 2005.
