CC BY
24Использование данных реальной клинической практики при принятии решений в Канаде и Великобритании
Мухортова П. А. 1 ©, Горкавенко Ф. В. 1 О, Струнина Ю. В. 1 С, Омельяновский В. В. 1,2,3 О, Калиниченко В. В. 1 ¡>
1 — ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации, Москва, Российская Федерация
2 — ФГБУ «Научно-исследовательский финансовый институт» Министерства финансов Российской Федерации, Москва, Российская Федерация
3 — ФГБОУ ДПО «Российская медицинская академия непрерывного профессионального образования» Министерства здравоохранения Российской Федерации, Москва, Российская Федерация
Аннотация
В статье представлен обзор подходов к использованию данных реальной клинической практики (РКП) в области регистрации и оценки технологий здравоохранения в Канаде и Великобритании, а также краткое описание инструментов для принятия управленческих решений в области здравоохранения — Канадского сотрудничества по использованию доказательств, полученных на основе данных реальной клинической практики в области онкологии, электронных баз данных и регистров. Представлена информация о том, в каких случаях возможно и рекомендовано представление данных РКП и какие требования к данным РКП и доказательствам на их основе предъявляют регуляторные агентства. Ключевые слова: данные реальной клинической практики; регуляторные подходы; CADTH; MHRA; NICE Для цитирования:
Мухортова П. А., Горкавенко Ф. В., Струнина Ю. В., Омельяновский В. В., Калиниченко В. В. Использование данных реальной клинической практики при принятии решений в Канаде и Великобритании. Реальная клиническая практика: данные и доказательства. 2022;3(2):7 — 19. https://doi.org/10.37489/2782-3784-myrwd-18.
Поступила: 18 сентября 2022 г. Одобрена: 24 октября 2022 г. Опубликована: 17 ноября 2022 г.
Use of real-world data for decision making in Canada and United Kingdom
Mukhortova RA.1 , Gorkavenko F.V.1 , Strunina Y.V.1 «3, Omelyanovskiy V.V.1, 2- 3 , KalinichenkoV.V.1 ©
1 — Center for Healthcare Quality Assessment and Control of the Ministry of Health of the Russian Federation
2 — Financial Research Institute of the Ministry of Finance of the Russian Federation
3 — Russian Medical Academy of Continuous Professional Education of the Ministry of Healthcare of the Russian Federation
Abstract
This article provides an overview of approaches to the use of real-world data (RWD) and real-world evidence (RWE) in the processes of registration and health technology assessment in Canada and the UK, as well as a brief description of tools for health management decision-making, the Canadian Real-world Evidence for Value in Cancer Collaboration and electronic databases and registries. Information is provided on when RWE submission is possible and recommended, and what requirements the regulatory agencies have for RWD and RWE.
Keywords: real-world data; regulatory approaches; CADTH; MHRA; NICE
For citation:
Mukhortova P.A., Gorkavenko F.V., Strunina Y.V., Omelyanovskiy V.V., Kalinichenko V.V. Use of real-world data for decision making in Canada and United Kingdom. Real-World Data & Evidence. 2022;3(2):7 — 19. https://doi.org/10.37489/ 2782-3784-myrwd-18.
Введение
На фоне популяризации персонализированного подхода к медицине у научного, врачебного и ре-гуляторного сообщества появляется потребность в данных, отличающихся от полученных в «идеальных» условиях данных рандомизированных
контролируемых испытаний (РКИ) [1]. В связи с этим отмечается значительное повышение интереса к данным реальной клинической практики (РКП, англ. real-world data; RWD) и доказательствам, полученным на основе данных РКП (англ.
real-world evidence; RWE), как на международном, так и на российском уровне. Данные РКП представляют собой альтернативный источник информации, который может быть использован для получения доказательств эффективности и безопасности лекарственных препаратов (ЛП) на протяжении всего жизненного цикла. Одновременно с этим наблюдается тенденция к увеличению числа собираемых и обрабатываемых электронных медицинских данных (электронные медицинские карты, носимые гаджеты, информация с приложений смартфонов и т. д.) [2], что стимулирует разработку инструментов для их обработки.
Регуляторная база Евразийского экономического союза на данный момент включает в себя определения понятий «данные реальной клинической практики» и «доказательства, полученные на основе данных реальной клинической практики», но не содержит требований к качеству доказательств и способу их применения [3], в то время как в ряде других стран (США, ЕС, Япония, Китай) уже появились нормативные документы, направленные на повышение качества собранных данных и сформированных на их основе доказательств, а также различные практики по агрегации и анализу таких данных [4-6].
Цель настоящей статьи — актуализация роли данных РКП в процессе принятия управленческих решений при регистрации и оценке технологий здравоохранения (ОТЗ), а также выявление дополнительных примеров использования данных РКП и доказательств на основе РКП при организации лекарственного обеспечения в Канаде и Великобритании.
1. Применение доказательств, основанных
на данных реальной клинической практики, в Канаде
Согласно определению, данному правительством Канады, данные реальной клинической практики — это данные, относящиеся к состоянию пациента и/или оказанию медицинской помощи, собираемые различными источниками в ходе рутинной клинической практики; доказательства на основе данных реальной клинической практики — это доказательства, касающиеся использования, а также потенциальных преимуществ или рисков медицинской технологии, полученные в результате анализа данных РКП [7].
Министерство здравоохранения Канады уже рассматривает доказательства, основанные на данных РКП, в процессе пред- и пострегистрационного регулирования ЛП для обоснования принятия решений и признаёт, что они могут иметь большую значимость в тех областях, где проведение контролируемых клинических испытаний невозможно или затруднительно [7]. При этом использование
таких доказательств предпочтительно в следующих ситуациях:
• расширение показаний для групп населения, часто исключённых из клинических испытаний (дети, пожилые люди и беременные женщины);
• включение показаний, для которых клинические испытания нецелесообразны, как в случае редких заболеваний, или для которых проведение клинических испытаний неэтично, как в случае экстренной угрозы (химической или биологической) [8].
В 2018 году Министерство здравоохранения Канады инициировало проект по оптимизации использования доказательств на основе РКП под названием «Улучшение использования доказательств реальной клинической практики при обращении лекарственных препаратов» (англ. Strengthening the use of real world evidence for drugs). Проект ставит перед собой следующие цели [9]:
• расширение использования доказательств, полученных на основе данных РКП, для повышения эффективности принятия регуляторных решений и информирования о рисках на протяжении всего жизненного цикла ЛП;
• улучшение обмена доказательствами с партнёрами в системе здравоохранения;
• повышение доступности информации для заинтересованных сторон в отношении того, где и как данные доказательства могут быть использованы для поддержки принятия регуля-торных решений;
• улучшение доступности ЛП за счёт использования новых источников доказательств в процессе регистрации ЛП.
Завершение всех частей проекта планируется до конца 2022 года.
1.1. Повышение активности в использовании доказательств реальной клинической практики для поддержки регуляторных решений при обращении лекарственных препаратов
Одним из промежуточных результатов проекта стала разработка руководства по созданию доказательств, получаемых на основе данных РКП, которое применимо как к ЛП, так и к медицинским изделиям [7].
Оно включает в себя два ключевых раздела: принципы разработки протокола исследования и подходы к сбору данных РКП для обеспечения их качества.
Принципы разработки протокола исследования с использованием данных РКП должны соответствовать принципам надлежащей клинической практики и охватывать все аспекты и этапы про-
ведения исследования (разработку дизайна исследования, обозначение контрольных точек, определение изучаемой популяции, план сбора и анализа данных и др.).
Подходы к сбору данных, которые используются при создании высококачественных доказательств, полученных на основе данных РКП, в целом, аналогичны тем, которые применяются в РКИ
1) наличие чётко сформулированного клинического вопроса и цели исследования;
2) определение уровня детализации и объёма данных для оценки вмешательства, представляющего интерес, и ковариат, а также валидация этих параметров;
3) анализ ограничений исследования (в случае ретроспективного дизайна) и методы устранения этих ограничений;
4) доступность исходных данных в тех случаях, когда это возможно;
5) использование обработанных данных в тех случаях, когда это возможно;
6) обеспечение достоверности статистических предположений (например, сопоставимость исследуемых групп);
7) чётко сформулированное и детальное описание всех этапов исследования;
8) описание валидации массива данных, включающее информацию о наличии пропусков данных, а также детальное описание валидации всех элементов массива в тех случаях, где это возможно.
Кроме того, планируется создание структуры перекрёстного сотрудничества между Министерством здравоохранения Канады и его партнёрами по проведению ОТЗ для оптимизации использования доказательств, полученных на основе данных РКП, при принятии решений о возмещении затрат, а также создание консультативных и рабочих групп для оказания соответствующей поддержки [10].
1.2. Доказательства реальной клинической практики в деятельности CADTH и INESSS
Традиционно регулирующие органы и организации по проведению ОТЗ при оценке новых ЛП руководствуются данными, полученными в ходе РКИ. Однако применение РКИ ограничено, например, в области орфанных заболеваний или тех нозоло-гий, в области которых проведение качественного РКИ не всегда возможно. В свою очередь, применение данных РКП в ОТЗ является всё более и более актуальным.
Канадское агентство по лекарствам и технологиям в здравоохранении (англ. Canadian Agency for Drugs & Technologies in Health; CADTH), центральное ОТЗ-агентство Канады, опубликовало литературный обзор, который описывает, каким образом
канадские и международные ОТЗ-агентства учитывают данные РКП в своей практике. Литературный обзор включает в себя следующие блоки: критерии приемлемости доказательств РКП, их использование, а также последствия их применения [11].
Так, согласно обзору, CADTH формально принимает от заявителей все доказательства эффективности и безопасности ЛП, но при принятии решений используются сравнительные клинические исследования с основными препаратами сравнения.
Доказательства, полученные в ходе проведения отличных от РКИ исследований, могут быть применены в следующих случаях:
• оценка требует долгосрочного наблюдения;
• существует неопределённость в отношении сохранения эффективности по результатам краткосрочных клинических испытаний;
• проведение РКИ нецелесообразно из-за ограниченного числа пациентов;
• проведение РКИ неэтично;
• в РКИ отсутствуют релевантные препараты сравнения;
• существует неопределённость в отношении дозировки ЛП, используемого в клинической практике;
• РКИ имеют ограниченную внешнюю достоверность.
В то же время, согласно литературному обзору CADTH, Национальный институт передового опыта в области здравоохранения и социальных услуг Квебека (фр. Institut national d'excellence en santé et en services sociaux; INESSS) как ОТЗ-агентство Квебека предъявляет к доказательствам более жёсткие требования. Для оценки требуется как минимум одно опубликованное РКИ, а если это условие не может быть выполнено, это должно быть обосновано отдельно. Двойные слепые исследования являются предпочтительными. Дополнительные данные, включая данные РКП, могут быть приняты без ограничений по дизайну исследования или источников данных. Для повторного предложения ЛП требуются новые клинические данные с теми же требованиями. Доказательства РКП могут использоваться для дополнения данных РКИ, например, для представления данных об эффективности в сравнении с препаратом сравнения в тех случаях, когда ЛП оценивался только в плаце-бо-контролируемых исследованиях.
1.3. Канадское сотрудничество по использованию доказательств, полученных на основе данных реальной клинической практики в области онкологии
Несмотря на то что потенциальная ценность данных РКП признаётся во многих областях медици-
ны, существуют технические и методологические сложности, связанные с их получением и использованием. Одним из путей решения данных проблем является создание сотрудничеств и рабочих групп. Канадское сотрудничество по использованию доказательств, полученных на основе данных реальной клинической практики в области онкологии (англ. Canadian Real-world Evidence for Value in Cancer Collaboration; CanREValue), направлено на создание общих правил для канадских провинций в отношении получения и использования данных РКП для принятия решений о финансировании онкологических ЛП.
В рамках сотрудничества CanREValue было создано пять официальных рабочих групп (РГ), которые занимаются конкретными процессами создания и использования данных РКП для принятия решений о финансировании онкологических ЛП в Канаде:
Кроме того, в рамках деятельности рабочих групп были предложены идеи для совершенствования процедуры повторной ОТЗ [17] с учётом появления и накопления данных РКП. Среди барьеров для их внедрения были отмечены:
• недоступность данных, их ненадёжность и низкое качество;
• потенциальный конфликт интересов, который может возникнуть в результате участия производителей в программах по сбору данных РКП;
• недостаток теоретической информации (специального образования и/или мероприятий по обмену опытом) по данной теме среди заинтересованных сторон.
Также следует отметить, что до создания CanREValue Канада уже создавала и использовала
1) РГ по планированию исследований и выбору ЛП для сбора РКП;
2) РГ для выбора и разработки методов анализа данных РКП;
3) РГ, определяющая стратегии получения данных в разных провинциях и гармонизации их элементов;
4) РГ, направленная на включение данных РКП в процессы повторной процедуры ОТЗ онкологических ЛП;
5) РГ по вовлечению всех заинтересованных лиц в сотрудничество.
Рабочие группы встречаются очно один раз в год для обмена информацией внутри и между собой, а также для составления общих рекомендаций [12].
На данный момент сообществом опубликовано 4 исследования на основе данных РКП (табл. 1).
национальные базы данных для наблюдения онкологических пациентов. Канадский регистр по раку почки использовался для сбора данных пациентов, подвергающихся хирургическому вмешательству по поводу почечно-клеточной карциномы; информация из реестра пациентов Канадской исследовательской сети по меланоме помогает исследователям понять реальные последствия внедрения новых терапевтических средств [18, 19]. Исходя из этого, развитие и агрегация данных РКП внутри регистров могут также стать основой для более широкого применения данных РКП не только внутри CanREValue, но и всем исследовательским сообществом в Канаде.
Таким образом, в Канаде применение и использование данных РКП формально разрешено как при регистрации, так и при ОТЗ; а в настоящее время
Таблица 1. Исследования на основе данных РКП, опубликованные сотрудничеством CanREValue
Автор и год публикации Изучаемая терапия Терапия сравнения Изучаемая популяция (показание) Изучаемые исходы
Dai W. F. et al., 2022 [13] Пертузумаб, трастузумаб и химиотерапия Трастузумаб и химиотерапия Терапия первой линии метастатического рака молочной железы — общая выживаемость; — частота обращений в скорую медицинскую службу; — частота госпитализаций; — нежелательные явления
Dai W. F. et al., 2022 [14] Пертузумаб, трастузумаб и химиотерапия Трастузумаб и химиотерапия Терапия первой линии метастатического рака молочной железы — годы сохранённой жизни (LYG); — сохранённые годы жизни с поправкой на качество (QALY); — затраты
Pataky R. E. et al., 2021 [15] Бевацизумаб и химиотерапия на основе иринотекана Химиотерапия на основе иринотекана Терапия первой линии метастатического колоректального рака — годы сохранённой жизни (LYG); — затраты
Dai W. F. et al., 2022 [16] Ипилилумаб Иная терапия Терапия второй линии метастатической меланомы Общая выживаемость
появляются как нормативные документы, регламентирующие качество исследований на основе РКП, так и инициативы по их применению на различных уровнях системы здравоохранения.
2. Использование данных реальной клинической практики в Великобритании
В 2020 году Агентство по регулированию лекарственных средств и продуктов медицинского назначения (англ. Medicines and healthcare products regulatory agency; MHRA) подготовило 2 документа:
1) руководство MHRA по применению данных реальной клинической практики в клинических исследованиях для поддержки решений регулирующих органов;
2) руководство MHRA по проведению РКИ с использованием данных реальной клинической практики для поддержки решений регулирующих органов.
В первом документе представлены аспекты, которые следует учитывать при оценке того, является ли источник данных РКП достаточно качественным для предполагаемого использования, второй содержит рекомендации, которые необходимо учитывать при планировании проспективного рандомизированного исследования с использованием данных РКП.
2.1. Руководство MHRA по использованию данных реальной клинической практики в клинических исследованиях для поддержки решений регулирующих органов
В руководстве MHRA по использованию данных реальной клинической практики в клинических исследованиях для поддержки решений регулирующих органов отмечается, что особенно важное значение имеет обеспечение качества исходных данных, включая их точность, достоверность, однородность и информацию об источнике [20].
В руководстве также представлен список вопросов, посвящённых различным аспектам дизайна исследования, в котором будут собираться данные РКП (рис. 1).
Спонсорам рекомендуют включать в протокол исследования описание инструментов и методов отбора, извлечения, методов передачи и обработки данных, а также того, как они были или будут вали-дированы. Важно, чтобы предлагаемые методы работы с данными обеспечили их сохранность от получения до архивирования и была предусмотрена возможность проверки качества каждого этапа работы с данными.
Ожидается, что достоверность данных РКП, которые предполагается собирать в исследовании,
будет обосновываться спонсором до публикации протокола исследования или представления его в МНЯА. К любым дополнительным данным, собранным вне основной исходной базы данных, должны быть применены схожие требования.
Перечень вопросов, направленных на улучшение качества используемых данных
• Будет ли база данных использоваться в качестве исходного источника данных или она представлена в качестве дополнения к другим источникам данных? Будет ли она включать соответствующую популяцию с точки зрения размера, охвата и репрезентативности?
• Регулярно ли измеряются важные исходные характеристики и какова вероятность того, что они будут актуальными?
• Будет ли база данных достаточно подробно, последовательно и непредвзято регистрировать вмешательства, исходы и другие переменные исследования с той частотой и полнотой, которая требуется для исследования? Если нет, то как данные из базы данных будут сочетаться с дополнительными источниками данных для исследования?
• Как будут обрабатываться изменения в сборе данных в течение периода исследования, как для отдельных пациентов, так и для всей популяции, например изменения в системах кодирования?
• Как будут решаться любые потенциальные проблемы операционной совместимости между системами здравоохранения в отдельных странах Великобритании и на международном уровне?
• Подходит ли время между наступлением событий и доступностью данных для исследовательской группы для использования данных в исследовании? Как скоро данные можно будет проанализировать после обследования последнего пациента? Если данные будут использоваться для мониторинга неблагоприятных событий, какое влияние окажет доступность данных на пригодность базы данных?
• Какой метод будет использоваться для связи базы данных с ДОПОЛНИТЕЛЬНЫМИ источниками данных для исследования? Возможна ли надежная связь для исследуемой популяции? Были ли предложенные методы установления связей проверены ранее?
• Какие политики конфиденциальности и безопасности применяются к использованию базы данных? Какие ограничения применяются к передаче, хранению, использованию, публикации и хранению данных?
• Какие проверки качества данных проводятся контролёром данных? Какие дополнительные проверки потребуются для конкретного исследования?
2.2. Руководство MHRA по проведению рандомизированных контролируемых исследований с использованием данных реальной клинической практики для поддержки решений регулирующих органов Второе руководство, Руководство MHRA по проведению рандомизированных контролируемых испытаний с использованием реальных данных для
поддержки решений регулирующих органов (англ. MHRA guideline on randomised controlled trials using real-world data to support regulatory decisions), предназначено для спонсоров, которые планируют провести так называемое прагматическое исследование [21].
Наиболее простым вариантом таких исследований является исследование с использованием различных регистров, где пациенты распределяются на группы методом рандомизации (случайным образом) в две группы, каждая из которых включает в себя только уже существующую и использующуюся терапию, а эффекты регистрируются только в процессе рутинной медицинской практики лечащего врача. Прагматические исследования также могут быть направлены на изучение эффекта дополнительного вмешательства, добавляемого к стандартной терапии, по сравнению с применением только стандартной терапии или на изучение эффекта вмешательства по сравнению со стандартной терапией.
Прагматическое исследование, проведённое исключительно в условиях «реального мира», характеризуется отсутствием сбора дополнительных данных помимо тех, которые собираются в регистре, а также отсутствием ослепления (что подразумевает использование объективных исходов). Таким образом, опыт пациента, участвующего в таком исследовании, будет отличаться от опыта пациента, не участвующего в нём, только процедурой информированного согласия и рандомизацией. Различия в фоновой терапии и другие факторы в подобном исследовании не корректируются, однако в протокол могут быть внесены изменения, направленные на повышение объективности получаемых доказательств.
Прагматические исследования могут быть выполнены в следующих ситуациях или иметь следующий дизайн (но не ограничиваясь ими):
• если в процессе проведения исследования будет использоваться регистр, который уже применялся в других исследованиях и для которого может быть предоставлена оценка качества данных по полноте, точности и т. д.;
• если исход, определяемый в исследовании, является объективным, при этом эти данные полно, регулярно и последовательно собираются в регистре для интересующей популяции пациентов;
• если вмешательство представляет собой уже зарегистрированный ЛП с хорошо установленным профилем безопасности, который будет добавлен к стандартному лечению и сравнён со стандартным лечением с целью демонстрации превосходства;
• если вмешательство уже разрешено для применения у пациентов с тяжёлой формой забо-
левания, в то время как данное исследование направлено на изучение пользы для пациентов с более лёгкой формой того же заболевания.
Согласно руководству, при условии сбора качественных данных и применении корректного дизайна исследования, доказательства, полученные в ходе таких исследований, не считаются более или менее ценными для принятия регуляторных решений, чем доказательства, полученные в ходе традиционных РКИ, в то время как нагрузка на пациентов и медицинских работников при проведении прагматических РКИ существенно ниже.
2.3. NICE и использование данных реальной клинической практики
В своей последней пятилетней программе NICE выразил заинтересованность в использовании данных РКП для обоснования принятия решений.
Так, согласно стратегии NICE, «использование данных реальной клинической практики будет играть всё более важную роль в принятии решений в области здравоохранения и в оценке фактического влияния этих решений на практике. Способность связать реальные данные с доказательной практикой приведёт к переходу от рекомендаций, вырабатываемых в один «статичный» момент времени, к более динамичным, «живым» руководствам, а также от оценки технологий здравоохранения к управлению технологиями здравоохранения» [22].
23 июня 2022 года NICE опубликовал концепцию по применению данных РКП в Великобритании для повышения качества доказательств на основе РКП, используемых в руководствах NICE [23]. Данная концепция направлена на повышение качества реальных доказательств, на основе которых разрабатываются рекомендации, и не устанавливает минимально приемлемых стандартов качества доказательств.
NICE определяет данные РКП как любые данные, полученные вне высококонтролируемых клинических исследований, и выделяет следующие источники данных РКП для наблюдательных исследований:
• электронные истории болезней;
• административные данные;
• данные страховых компаний;
• регистры;
• данные, генерируемые пациентом (в том числе полученные от электронных медицинских изделий, например пульсоксиметров);
• ретроспективный анализ медицинских карт пациентов;
• аудиты лечебно-профилактических учреждений;
• наблюдательные когортные исследования;
• опросы.
NICE в своей практике уже использует данные РКП для описания состояния здоровья населения, разработки экономических моделей, разработки или проверки цифровых технологий здравоохранения, оценки неравенства в области здравоохранения, анализа безопасности медицинских технологий, оценки воздействия вмешательств на предоставление услуг и принятие решений, а также для оценки применимости клинических
Документ NICE состоит из трёх разделов:
1) проведение исследований, направленных на сбор количественных данных,
2) оценка данных РКП,
Особое внимание в документе уделено рискам смещения результатов. NICE выделяет следующие основные риски смещений и неопределённости:
• ошибка отбора (англ. selection bias);
• информационная ошибка (англ. information bias);
• вмешивающиеся факторы (спутывающие переменные) (англ. confounding);
исследований (внешняя достоверность) к пациентам в Национальной службе здравоохранения Великобритании (англ. National Health Service; NHS).
В будущем NICE планирует использовать данные РКП для оценки эффективности медицинских технологий, разделяя при этом оценку новых и уже применяющихся технологий. Более подробно информация представлена в табл. 2.
3) проведение сравнительных исследований для оценки эффективности.
Более подробная структура документа представлена на рис. 2.
(качество j (релевантность^)
• обратная причинно-следственная связь (англ. reverse causation);
• публикационное смещение (англ. publication bias).
В подразделе «Источники данных» NICE выделяет два принципиальных способа работы с данными: связывание данных (англ. data linkage) и объединение данных (англ. data pooling).
Таблица 2. Аспекты, для которых NICE предлагает применение данных РКП для оценки эффективности
Новые технологии Уже применяющиеся в Великобритании технологии
- создание групп сравнения; - использование данных, полученных из программ раннего доступа; - оценка сравнительных эффектов в других странах, в которых технология была доступна раньше, чем в Великобритании; - прогнозирование исходов и эффектов лечения в обычных условиях - эффективность медицинских технологий в рутинной практике; - сравнение технологии с предпочитаемым препаратом сравнения; - оценка эффекта в определённых группах пациентов; - изучение гетерогенности эффекта; - изучение конечных исходов вмешательства; - оценка комбинаций из изучаемой технологии и других технологий; - дополнение уже проведённых сетевых метаанализов
Рис. 2. Структура концепции NICE по применению данных РКП
Связывание данных — это процесс объединения источников данных для пациента, направленный на расширение имеющейся информации о нём, например путём объединения данных из проспективного наблюдательного когортного исследования с данными о выписке из больницы или смертности.
Объединение данных — это процесс объединения источников данных о разных лицах. Он часто используется для увеличения размера выборки, и особенно часто используется в исследованиях редких заболеваний.
Для планирования дизайна сравнительных ко-гортных исследований NICE рекомендует применять следующие подходы: подход «целевого» исследования, оценка вмешивающихся факторов, пропусков данных, погрешностей измерения, а также количественный анализ рисков смещения и проведение анализа чувствительности. Подход целевого исследования (англ. target trial) или имитации исследования предполагает, что нерандомизированные исследования должны быть разработаны таким образом, чтобы максимально имитировать рандомизированные исследования.
Возможными прототипами целевых исследований могут быть прагматические рандомизированные исследования, важнейшие аспекты которых могут быть воспроизведены авторами исследования с использованием данных РКП. К таким аспектам относятся:
• критерии включения и исключения;
• стратегии лечения;
• распределение пациентов по группам;
• период наблюдения;
• конечные точки;
• изучаемая эффективность вмешательства (исходя из набора данных по намерению лечить (англ. intention to treat; ITT) или исходя из набора данных по протоколу (англ. per protocol; PP)) и статистического плана анализа.
Допускаются незначительные исключения для тех характеристик, которые невозможно воспроизвести в точности, учитывая различия в источниках данных.
В РКИ люди (или группы) случайным образом распределяются по вмешательствам, но в наблюдательных исследованиях невозможно ни случайное распределение, ни ослепление. Однако при наличии достаточной информации о вмешивающихся факторах случайное распределение можно приблизить с помощью различных аналитических подходов.
Помимо основного текста, NICE составил проект трёх приложений:
1) инструмент для оценки пригодности данных (DataSAT), оценивающий 3 домена (источники данных, качество данных и релевантность данных) и исследовательский вопрос;
2) шаблон для отчёта о методах, использованных
для минимизации риска смещения результатов;
3) шаблон для отчётов об использовании отдельных аналитических методов.
Несмотря на то что стратегия, отмечающая значимость данных РКП, была опубликована только в 2021 году, уже задолго до этого NICE использовал их при проведении своих оценок. Ряд публикаций был посвящён подсчёту числа отчётов и рекомендаций NICE, в которых упоминались данные РКП (табл. 3).
Данные РКП накапливаются и применяются NICE также и в рамках соглашений об управляемом доступе (англ. Managed Access Agreement; MAA). Они позволяют собирать доказательства для решения вопросов эффективности ЛП, одновременно обеспечивая их доступность для пациентов до повторной оценки NICE. На 2018 год из 22 выявленных MAA только две пары «препарат — показание» были впоследствии повторно оценены NICE: брентукси-маб ведотин по показанию «неходжкинская лимфо-ма» («рекомендовано») и пембролизумаб по показанию «рецидивная или рефрактерная классическая лимфома Ходжкина» («рекомендовано») [24]. Данные этих наблюдений были успешно использованы для уточнения вопросов в отношении последующего применения брентуксимаба, однако не были упомянуты в рекомендации NICE по пембролизумабу.
3. Базы данных и регистры
В Великобритании с момента перехода от бумажных к электронным медицинским картам стало возможным создание больших наборов данных, содержащих важную информацию, такую как клинические события, результаты лабораторных исследований, истории лечения и т. д.
Электронные медицинские карты имеют ряд преимуществ для здравоохранения [25]:
• помогают улучшить понимание текущей практики оказания медицинской помощи и результатов лечения пациентов;
• открывают новые возможности для получения новых знаний;
• могут способствовать развитию персонализированной медицины, благодаря соединению электронных медицинских карт с геномными базами данных.
Электронные медицинские карты могут позволить пациентам улучшить получение медицинской помощи, предоставляя свои медицинские карты другим специалистам при необходимости, а медицинским работникам — вести регистры пациент-ских данных и регулярно обновлять хранящуюся в них информацию.
Таблица 3. Исследования, оценивающие опыт применения данных РКП в отчётах NICE
Исследование Изучаемый период Число проанализированных исследований NICE Число исследований NICE, в которых использованы данные РКП Область применения данных РКП
Oyinlola et al., 2016 [25] 2000-2016 25 руководств NICE, которые были включены в окончательный обзор, ссылались на 43 различных исследования c использованием базы данных Clinical Practice Research Datalink (GPRD/CPRD) — информация об эпидемиологии заболеваний (32/43, 74,4%); — фармаконадзор (12/43, 27,9%); — фармакоэпидемиологические данные (5/43, 11,6%); — показатели заболеваемости или распространённости (3/43, 6,9%); — показатели полезности (1/43, 2,3%)
Ash Bullement et al., 2020 [26] 201 1-2018 113 отчётов STA в области лечения рака 108 (96%) — качество жизни пациентов, связанное со здоровьем (71%); — затраты (46%); — показатели использования медицинских ресурсов (40%)
H Van Lier et al., 2017 [27] 2016-2016 28 STA, впервые оценивающих вмешательство 5 (18%) — описание состояния здоровья, раздел 3 (45%); — анализ клинико-экономической эффективности, раздел 5 (33%); — клиническая эффективность, раздел 4 (16%); — другие разделы документа (6%)
Polak et al., 2022 [28] 2010-2020 380 заключений TA 206 (54%) использовали данные из программ расширенного доступа — безопасность (20,8%); — эффективность (22,8%); — использование ресурсов (25,2%)
Glen F et al., 2017 [29] 201 5-201 6 91 TA, 9 DA и 9 MTE 9 (10%) TA, 6 (67%) DA, 8 (89%) MTE Нет данных
Leahy TP et al., 2020 [30] 2003-2019 52 ТА, 47 из которых использовали базу данных GPRD/CPRD, 10 — базу данных The Health Improvement Network (THIN) и 3 — базы данных QResearch. В 63% (33/52) ТА — описание клинической потребности и текущего лечения. В 69 (36/52) ТА — обоснование исходных параметров для экономических моделей
Примечания: STA — single technology appraisal, TA — technology appraisal, DA — Diagnostic Assessment, MTE — Medical Technologies Evaluation.
Так, самыми крупными базами данных, регулярно действующими в Великобритании, являются: Clinical Practice Research Datalink (CPRD) и The Health Improvement Network (THIN), получающие данные от врачей общей практики (первичного звена); Hospital Episode Statistics (HES), охватывающая госпитализированных пациентов; Cancer screening: National Breast Screening Programme data, получающая данные обо всех британских женщинах, проходящих маммографическое обследование; Cancer screening: National Bowel Screening Programme data — база данных пациентов старше 59 лет, прошедших скрининг на рак кишечника; The National Cancer Waiting Times (CWT) Monitoring Data Set и National Cancer Data Repository (NCDR), обобщающие информацию о пациентах с подозрением на рак и с подтверждённым диагнозом соответственно [31]. Использование только CPRD в ис-
следовательских целях привело к появлению более 1000 рецензируемых публикаций [32].
В то же время использование баз данных в Великобритании сопряжено с некоторым сопротивлением со стороны пациентов, в первую очередь беспокоящихся о безопасности своих данных. Так, в 2013 году внедрение программы care. data было встречено обеспокоенностью общества по поводу обмена личными данными пациентов без явного согласия, передачи конфиденциальных данных третьим лицам и обеспечения безопасности данных [32]. По результатам проверки, проведённой в октябре 2014 года, был сделан вывод, что программа имела «серьёзные проблемы с определением проекта, графиком, бюджетом, качеством и/или получением выгод, которые на данном этапе не представляются управляемыми или решаемыми» [33].
Заключение
Канадское правительство акцентирует внимание медицинского исследовательского сообщества на важности обеспечения качества собираемых данных РКП. Канадские ОТЗ-агентства, в целом, поддерживают и не ограничивают применение доказательств, основанных на данных РКП, в процессе принятия решений, однако подчёркивают необходимость их применения лишь в некоторых ситуациях, например, если невозможно проведение РКИ. Опыт Канады также ценен практикой создания и работы крупного сообщества CanREValue, направленного на улучшение использования данных РКП в онкологии.
Опыт Великобритании показывает, что, даже имея большое число инструментов и богатую исто-
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ Конфликт интересов.
Авторы декларируют отсутствие конфликта интересов.
Участие авторов. Мухортова П. А., Горкавен-ко Ф. В., Струнина Ю. В., Омельяновский В. В., Ка-линиченко В. В. — написание текста, редактирование, финальное утверждение рукописи.
Финансирование: статья подготовлена без финансовой поддержки.
СВЕДЕНИЯ ОБ АВТОРАХ
Мухортова Полина Алексеевна — ведущий специалист отдела методологического обеспечения проведения комплексной оценки технологий в здравоохранении ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации, Москва, Россия Автор, ответственный за переписку e-mail: [email protected] © https://orcid.org/0000-0001-7261-3461
Горкавенко Филипп Васильевич — заместитель начальника отдела методологического обеспечения проведения комплексной оценки технологий в здравоохранении ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации, Москва, Россия
e-mail: [email protected] © https://orcid.org/0000-0002-4586-2451
Струнина Юлия Витальевна — начальник отдела методологического обеспечения проведения комплексной оценки технологий в здравоохранении ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации, Москва, Россия e-mail: [email protected] © https://orcid.org/0000-0002-6751-2903
рию применения данных РКП в принятии управленческих решений, необходимо совершенствовать подходы и методы работы с ними: создавать стандарты методологического качества, использовать данные РКП при повторной ОТЗ и работать над безопасностью и сохранностью персональных данных.
На примере этих двух стран можно подчеркнуть необходимость согласованного всестороннего подхода к внедрению данных РКП в процессе принятия решений — заинтересованными сторонами и инициаторами нововведений являются и государственные органы, и пациенты, и исследователи, и медицинское сообщество. В дальнейшем этот подход возможно перенести и на российскую практику.
ADDITIONAL INFORMATION
Conflict of interests.
The authors declare no conflict of interest.
Participation of authors. Mukhortova PA, Gorkavenko FV, Strunina YV, Omelyanovskiy VV, Kalinichenko VV—text writing; editing; final approval of the manuscript.
Funding: The article was prepared without financial support.
ABOUT THE AUTHORS
Mukhortova Polina A. — Leading Specialist of the Department of Methodological Support for Comprehensive Assessment of Technologies in Healthcare Federal State Budgetary Institution «Center for Expertise and Quality Control of Medical Care» of the Ministry of Health of the Russian Federation, Moscow, Russia Corresponding author
e-mail: [email protected] © https://orcid.org/0000-0001-7261-3461
Gorkavenko Philip V. — Deputy Head of the Department of Methodological Support for Comprehensive Assessment of Technologies in Healthcare Federal State Budgetary Institution «Center for Expertise and Quality Control of Medical Care» of the Ministry of Health of the Russian Federation, Moscow, Russia
e-mail: [email protected] © https://orcid.org/0000-0002-4586-2451
Strunina Yulia V. — Head of the Department of Methodological Support for Comprehensive Assessment of Technologies in Healthcare Federal State Budgetary Institution «Center for Expertise and Quality Control of Medical Care» of the Ministry of Health of the Russian Federation, Moscow, Russia e-mail: [email protected] © https://orcid.org/0000-0002-6751-2903
Омельяновский Виталий Владимирович — генеральный директор ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации; руководитель Центра финансов здравоохранения ФГБУ «Научно-исследовательский финансовый институт» Министерства финансов Российской Федерации; заведующий кафедрой экономики, управления и оценки технологий здравоохранения ФГБОУ ДПО «Российская медицинская академия непрерывного профессионального образования» Министерства здравоохранения Российской Федерации, д. м. н., профессор, Москва, Россия e-mail: [email protected] © https://orcid.org/0000-0003-1581-0703
Калиниченко Вадим Валентинович — заместитель начальника аналитического отдела ФГБУ «ЦЭККМП» Минздрава России, Москва, Россия
e-mail: [email protected] © https://orcid.org/0000-0002-7996-6953
Литература/References
1. Касимова А. Р., Колбин А. С. Рынок доказательств, основанных на данных реальной клинической практики: ключевые игроки и основные сегменты. Реальная клиническая практика: данные и доказательства. 2022;2 (1):40-3. [Kasimova AR, Kolbin AS. Real-world evidence market: key players and key segments. Real-World Data & Evidence. 2022;2 (1):40-3. (In Russ.)]. https://doi.org / 10.37489 / 2782-3784-myrwd-11.
2. Anandkumar M. Coordination and Continuity Through Electronic Medical Records // Public Heal. Behind Bars. New York, NY: Springer, New York, NY, 2022. Pp. 475-82.
3. Решение Совета Евразийской экономической комиссии от 3 ноября 2016 г. № 78 «О Правилах регистрации и экспертизы лекарственных средств для медицинского применения».
4. Борзова М. А. Данные реальной клинической практики: обобщённые регуляторные подходы ЕС и Японии. Реальная клиническая практика: данные и доказательства. 2022;2 (1):11-6. [Borzova MA. Real-world data: general regulatory approaches in the EU and Japan. Real-World Data & Evidence. 2022;2 (1):11-6]. https://doi.org / 10.37489 / 2782-3784-myrwd-7.
5. Колбин А. С., Белоусов Д. Ю. Краткий отчёт о развитии доказательств, основанных на данных реальной клинической практики (RWD / RWE) в 2021 году: США, Россия и Евразийский экономический союз (ЕАЭС). Реальная клиническая практика: данные и доказательства. 2022;2 (1):1-9. [Kolbin AS, Belousov DYu.
Omelyanovskiy Vitaly V. — General Director of the Center for Expertise and Quality Control of Medical Care of the Ministry of Health of the Russian Federation; Head of the Center for Healthcare Finance of the Federal State Budgetary Institution «Research Financial Institute» of the Ministry of Finance of the Russian Federation; Head of the Department of Economics, Management and Evaluation of Health Technologies, Federal State Budgetary Educational Establishment «Russian Medical Academy of Continuing Professional Education» of the Ministry of Health of the Russian Federation, MD, Professor, Moscow, Russia e-mail: [email protected] © https://orcid.org/0000-0003-1581-0703
Kalinichenko Vadim V. — Deputy Head of the Analytical Department of the Federal State Budgetary Institution «CEKKMP» of the Ministry of Health of Russia, Moscow, Russia
e-mail: [email protected] © https://orcid.org/0000-0002-7996-6953
A brief report of real-world evidence development (RWD / RWE) in 2021: United States, Russia, and the Eurasian Economic Union (EAEU). Real-World Data & Evidence. 2022;2 (1):1-9]. https://doi.org / 10.37489 / 2782-3784-myrwd-6.
6. Колбин А. С., Белоусов Д. Ю. Китайский опыт по использованию доказательств, полученных на основе данных реальной клинической практики в процессе разработки, исследования и оценки лекарственных препаратов. Реальная клиническая практика: данные и доказательства. 2022;2 (1):17-27. [Kolbin AS, Belousov DYu. Chinese experience on using RWE to support drug research, development and evaluation. Real-World Data & Evidence. 2022;2 (1):17-27. (In Russ.)]. https://doi.org / 10.37489 / 2782-3784-myrwd-8.
7. Elements of real world data / evidence quality throughout the prescription drug product life cycle [Электронный ресурс] // Canada. ca. URL: https://www.canada.ca / en / services / health / publications / drugs-health-products / real-world-data-evidence-drug-lifecycle-report. html (дата обращения: 08.09.2022).
8. OptimizingtheUseofRealWorldEvidencetoInform Regulatory Decision-Making [Электронный ресурс] // Canada. ca. URL: https://www.canada.ca / en / health-canada / services / drugs-health-products / drug-products / announcements / optimizing-real-world-evidence-regulatory-decisions. html (дата обращения: 08.09.2022).
9. Regulatory review of drugs and devices: Strengthening the use of real world evidence
for drugs [Электронный ресурс] // Canada. ca. URL: https://www.canada.ca / en / health-canada / corporate / transparency / regulatory-transparency-and-openness / improving-review-drugs-devices / strengthening-use-real-world-evidence-drugs. html (дата обращения: 08.09.2022).
10. About the IHE / CAPT Real World Evidence Workshop [Электронный ресурс] // Institute of Health Economics. URL: https://www.ihe.ca/ events / past / conferences / ihe-capt-rwe / ihe-capt-rwe-about (дата обращения: 08.09.2022).
11. Use of Real-World Evidence in Single-Drug Assessments Environmental Scan [Электронный ресурс] // CADTH. URL: https://www.cadth.ca / use-real-world-evidence-single-drug-asses-sments-environmental-scan (дата обращения: 08.09.2022).
12. Chan K, Nam S, Evans B, de Oliveira C, Chambers A, Gavura S, Hoch J, Mercer RE, Dai WF, Beca J, Tadrous M, Isaranuwatchai W. Developing a framework to incorporate real-world evidence in cancer drug funding decisions: the Canadian Real-world Evidence for Value of Cancer Drugs (CanREValue) collaboration. BMJ Open. 2020 Jan 7;10 (1):e032884. doi: 10.1136 / bmjopen-2019-032884. PMID:31915169; PMCID: PMC6955501.
13. Dai WF, Beca JM, Nagamuthu C, Liu N, de Oliveira C, Earle CC, Trudeau M, Mercer RE, Chan KKW. Comparative Effectiveness and Safety of Pertu-zumab and Trastuzumab Plus Chemotherapy vs Trastuzumab Plus Chemotherapy for Treatment of Metastatic Breast Cancer. JAMA Netw Open. 2022 Feb 1;5 (2):e2145460. doi: 10.1001/ jamanet-workopen. 2021.45460. PMID: 35226087; PMCID: PMC8886524.
14. Dai WF, Beca JM, Nagamuthu C, Liu N, de Oliveira C, Earle CC, Trudeau M, Chan KKW. Cost-effectiveness Analysis of Pertuzumab With Trastuzumab in Patients With Metastatic Breast Cancer. JAMA Oncol. 2022 Apr 1;8 (4):597-606. doi: 10.1001 / jamaoncol. 2021.8049. PMID: 35201264; PMCID: PMC8874900.
15. Pataky RE, Beca J, Tran D, Dai WF, Dvorani E, Isaranuwatchai W, Peacock S, Alvi R, Cheung WY, Earle CC, Gavura S, Chan KKW. Real-World Cost-Effectiveness of Bevacizumab With FirstLine Combination Chemotherapy in Patients With Metastatic Colorectal Cancer: Population-Based Retrospective Cohort Studies in Three Canadian Provinces. MDM Policy Pract. 2021 Jun 19;6 (1):23814683211021060. doi: 10.1177 / 23814683211021060. PMID: 34212111; PMCID: PMC8216386.
16. Dai WF, Beca JM, Croxford R, Isaranawatchai W, Menjak IB, Petrella TM, Mittmann N, Earle CC,
Gavura S, Hanna TP, Chan KKW. Real-world comparative effectiveness of second-line ipilimumab for metastatic melanoma: a population-based cohort study in Ontario, Canada. BMC Cancer. 2020 Apr 15;20 (1):304. doi: 10.1186 / s12885-020-06798-1. PMID: 32293341; PMCID: PMC7158109.
17. Dai WF, Arciero V, Craig E, Fraser B, Arias J, Boehm D, Bosnic N, Caetano P, Chambers C, Jones B, Lungu E, Mitera G, Potashnik T, Reiman A, Ritcher T, Beca JM, Denburg A, Mercer RE, Parmar A, Tadrous M, Takhar P, Chan KKW. On Behalf Of The CanREValue Collaboration Reassessment And Uptake Working Group. Considerations for Developing a Reassessment Process: Report from the Canadian Real-World Evidence for Value of Cancer Drugs (CanREValue) Collaboration's Reassessment and Uptake Working Group. Curr Oncol. 2021 Oct 16;28 (5):4174-83. doi: 10.3390 / curroncol28050354. PMID: 34677272; PMCID: PMC8534602.
18. Ernst DS, Petrella T, Joshua AM, Hamou A, Thabane M, Vantyghem S, Gwadry-Sridhar F. Burden of illness for metastatic melanoma in Canada, 2011-2013. Curr Oncol. 2016 Dec;23 (6):e563 — e570. doi: 10.3747 / co. 23.3161. Epub 2016 Dec 21. PMID: 28050145; PMCID: PMC5176382.
19. Lawson KA, Saarela O, Liu Z, Lavallee LT, Breau RH, Wood L, Jewett MAS, Kapoor A, Tanguay S, Moore RB, Rendon R, Pouliot F, Black PC, Kawakami J, Drachenberg D, Finelli A. Benchmarking quality for renal cancer surgery: Canadian Kidney Cancer information system (CKCis) perspective. Can Urol Assoc J. 2017 Aug;11 (8):232-7. doi: 10.5489 / cuaj. 4397. PMID: 28798821; PMCID: PMC5542828.
20. MHRA guidance on the use of real-world data in clinical studies to support regulatory decisions [Электронный ресурс] // GOV. UK. URL: https://www.gov.uk / government / publications / mhra-guidance-on-the-use-of-real-world-data-in-clinical-studies-to-support-regulatory-decisions / mhra-guidance-on-the-use-of-real-world-data-in-clinical-studies-to-support-regulatory-decisions (дата обращения: 08.09.2022).
21. MHRA guideline on randomised controlled trials using real-world data to support regulatory decisions [Электронный ресурс] // GOV. UK. URL: https://www.gov.uk / government / publications / mhra-guidance-on-the-use-of-real-world-data-in-clinical-studies-to-support-regulatory-decisions / mhra-guideline-on-randomi-sed-control-led-trials-using-real-world-data-to-support-regula-tory-decisions (дата обращения: 08.09.2022).
22. NICE strategy 2021 to 2026: Dynamic, Collaborative, Excellent [Электронный ресурс]. URL:https://www.nice.org.uk/about/who-we-are/ corporate-publications / the-nice-strategy-2021-to-2026 (дата обращения: 08.09.2022).
23. NICE real-world evidence framework [Электрон-ныйресурс]. URL: https://www.nice.org.uk/corpo-rate / ecd9 (дата обращения: 08.09.2022).
24. Liu L, Hall A, Macaulay R, & Walsh S. PP189 Filling In The Blanks: Is RWE From MAAs Used In NICE Decision Making? International Journal of Technology Assessment in Health Care. 2019;35 (S1):72-3. doi:10.1017 / S0266462319002769
25. Oyinlola JO, Campbell J, Kousoulis AA. Is real world evidence influencing practice? A systematic review of CPRD research in NICE guidances. BMC Health Serv Res. 2016 Jul 26;16:299. doi: 10.1186 / s12913-016-1562-8. PMID: 27456701; PMCID: PMC4960862.
26. BullementA, Podkonjak T, Robinson MJ, Benson E, Selby R, Hatswell AJ, Shields GE. Real-world evidence use in assessments of cancer drugs by NICE. Int J Technol Assess Health Care. 2020 Jul 10:1-7. doi: 10.1017 / S0266462320000434. Epub ahead of print. PMID: 32646531.
27. Lier HG, Boeck MD, Edwards V, Hanekamp E, Hartog TE, Richmond G, & Broek RV. The Use of Published Real-World Evidence In HTA: An Analysis Of The Evidence Base Of Company Submissions In 2016 Nice Appraisals. Value in Health. 2017;20. doi: 10.1016 / J. JVAL. 2017.08.076
28. Polak TB, Cucchi DGJ, van Rosmalen J, Uyl-de Groot CA. Real-world data from expanded access programmes in health technology assessments:
a review of NICE technology appraisals. BMJ Open. 2022 Jan 6;12 (1):e052186. doi: 10.1136 / bmjopen-2021-052186.PMID:34992108;PMCID: PMC8739059.
29. Glen F, & Pulfer A. The Use of Real World Data for Nice Decision-Making: A Review of Submissions To Three Treatment Effectiveness Evaluation Programmes In 2015 And 2016. Value in Health. 2017;20. doi: 10.1016 / J. JVAL. 2017.08.1775
30. Leahy TP, Ramagopalan S, Sammon C. The use of UK primary care databases in health technology assessments carried out by the National Institute for health and care excellence (NICE). BMC Health Serv Res. 2020 Jul 22;20 (1):675. doi: 10.1186 / s12913-020-05529-3. PMID: 32698805; PMCID: PMC7374907.
31. Bate A, Juniper J, Lawton AM, Thwaites RM. Designing and incorporating a real world data approach to international drug development and use: what the UK offers. Drug Discov Today. 2016 Mar;21 (3):400-5. doi: 10.1016 / j. drudis. 2015.12.002. Epub 2015 Dec 13. PMID: 26694021.
32. McDonald L, Lambrelli D, Wasiak R, Ramagopalan SV. Real-world data in the United Kingdom: opportunities and challenges. BMC Med. 2016 Jun 24;14 (1):97. doi: 10.1186 / s12916-016-0647-x. PMID: 27342341; PMCID: PMC4921013.
33. NHS patient data plans unachievable, review finds [Электронный ресурс]. URL: https://www. theguardian.com / politics / 2015 / jun / 26 / nhs-patient-data-plans-unachievable-review-health (дата обращения: 08.09.2022). eme
