CC BY
22Роль RWD/RWE в оценке технологий здравоохранения
Боровская В. Г. 1, Курылев А. А. О 12
1 — ФГБОУ ВО «Первый Санкт-Петербургский государственный медицинский университет имени И. П. Павлова», Санкт-Петербург,Российская Федерация
2 — ФГБУ «Национальный исследовательский центр онкологии им. Н. Н. Петрова» Минздрава России, Санкт-Петербург, Российская Федерация
Аннотация
Ввиду ряда причин рандомизированные клинические исследования на сегодняшний день не могут справиться с теми задачами, которые ставит современное здравоохранение, что было ярко продемонстрировано пандемией COVID-19. Это дало новый импульс для развития направления RWD/RWE, тогда стало ясно, что в случае невозможности, неэтичности и других причин можно эффективно пользоваться новыми методиками получения качественных доказательств, которые в дальнейшем могут использоваться лицами, принимающими решения, и организациями, занимающимися оценкой технологий здравоохранения.
Ключевые слова: данные реальной клинической практики; RWD; доказательства реальной клинической практики; RWE; оценка технологий здравоохранения; ОТЗ; COVID-19 Для цитирования:
Боровская В. Г., Курылев А. А. Роль RWD/RWE в оценке технологий здравоохранения. Реальная клиническая практика: данные и доказательства. 2023;3(1):1 — 8. https://doi.org/10.37489/2782-3784-myrwd-26.
Поступила: 27 января 2023 г. Принята: 30 января 2023 г. Опубликована: 09 марта 2023 г
Role of RWD/RWE in health technology assessment
Borovskaya V. G. G 1, Kurylev A. A. 1 2
1 — FSBEI HE First St. Petersburg State Medical University named after I. P. Pavlov,St. Petersburg,Russian Federation
2 — FSBI National Research Center of Oncology named after N. N. Petrov of the Ministry of Health of Russia,St. Petersburg, Russian Federation
Abstract
For many reasons randomized clinical trials today can»t cope with the tasks set by modern health care, which was clearly demonstrated by the COVID-19 pandemic. This gave new impetus to the development of the RWD/RWE. It became obviously that in cases of impossibility, unethical and other reasons, new methods for obtaining high-quality evidence may be effectively used, and later can be used by decision-makers and organizations engaged in the assessment of health technologies.
Keywords: real-world data; RWD; real-world evidence; RWE; health technology assessment; HTA; COVID-19 For citation:
Borovskaya VG, Kurylev AA. Role of RWD/RWE in health technology assessment. Real-World Data & Evidence. 2023;3(1):1 — 8. https://doi.org/10.37489/2782-3784-myrwd-26.
Received: January 27, 2023. Accepted: January 30, 2023. Published: March 09, 2023.
Актуальность
На протяжении многих лет многоцентровые рандомизированные двойные слепые плацебо-контро-лируемые исследования считаются золотым стандартом получения всей необходимой информации о безопасности, доказательств об эффективности исследуемого лекарственного препарата (ЛП). Эти данные лежат в основе принятия решения со стороны регуляторов о разрешении или отклонении заявки о выдаче регистрационного удостоверения для
ЛП. Рандомизированные клинические исследования (РКИ) — исследования на определённых выборках людей, все эти исследования были заблаговременно спланированы, и все процедуры в рамках РКИ строго регламентированы. Столь жёсткое следование протоколу обусловлено необходимостью достичь статистической достоверности и минимизировать риск ошибок анализа [1]. Помимо множества положительных сторон у РКИ есть свои недостатки:
• дороговизна — поскольку требуется наличие многочисленных центров для проведения исследований, персонала, большой выборки пациентов для получения репрезентативной выборки;
• длительность — проведение РКИ, особенно III фазы, может занимать не один год;
• неэтичность — проведение некоторых РКИ, например с плацебо-контролем, для ряда пациентов, которые страдают хроническими, онкологическими заболеваниями, будет неэтично и невозможно;
• изолированность от «реального мира» — пациенты, участвующие в РКИ, находятся в своеобразной изоляции, в «тепличных условиях», на которые не воздействуют многочисленные факторы из обычной жизни. При выходе ЛП в широкое обращение он может применяться у пациентов с факторами риска, которые не были учтены в исследовании, что может сказаться на эффективности;
• неспособность дать исчерпывающие ответы на вопросы, которые возникают по мере развития науки и технологий, поскольку РКИ не предусматривают анализ больших данных (англ. Big Data).
Учитывая стремительное развитие современных технологий, рост количества пользователей электронных устройств, их доступность и вместе с тем рост объёма информации, которая могла бы быть полезна для здравоохранения, необходимо создавать инструменты для их анализа и применения результатов. В связи с этим растёт интерес со стороны различных регуляторных органов и организаций, занимающихся оценкой технологий здравоохранения (ОТЗ), к данным, полученным из реальной клинической практики (англ. real-world data; RWD), и доказательствам, основанным на данных клинической практики (англ. real-world evidence; RWE), для принятия решений об эффективности новых стратегий в лечении пациентов [2]. Таким образом, нет необходимости проводить РКИ:
• когда ввиду неэтичности к пациентам, у которых течение заболевания предсказуемо и без вмешательства в скором времени приведёт к смерти, не целесообразно создавать плацебо группу сравнения;
• когда для развития нежелательных явлений (НЯ) в ходе РКИ требуется неопределённо долгое время и вероятность НЯ низка;
• когда существуют иные препятствия для проведения РКИ (например, юридические);
• когда из-за многочисленных критериев включения/невключения невозможно обеспечить высокую валидность и адекватную обобщае-
мость, набрать участников для исследования — из-за этого результаты будут неприменимы для пациентов с определённым заболеванием.
В таких случаях следует обращаться к RWD/RWE [1].
Материалы и методы
Для подготовки литературного обзора были проанализированы последние публикации в журнале Journal of Comparative Effectiveness Research, опубликованные с 2021 по декабрь 2022 года включительно. Выбор узкого временного диапазона обусловлен динамичностью развития этого направления и необходимостью отслеживать последние изменения в этой области. Все публикации содержали такие ключевые слова, как «RWD/RWE», «ОТЗ», «оценка сравнительной эффективности», дополнительно были проанализированы предлагавшиеся списки литературы.
Экстраполяция данных RWD/RWE о сравнительной эффективности между странами
Регулирующие органы и агентства по ОТЗ обычно отдают предпочтение использованию РКИ для оценки сравнительной эффективности медицинских технологий, поскольку рандомизация сводит к минимуму риск путаницы из-за неизмеренных характеристик пациентов. Однако для принятия решений, основанных на RWD/RWE, требуется, чтобы данные были внешне достоверными, другими словами, чтобы эффекты лечения в исследовании представляли собой объективные оценки эффективности в популяции, для которой принимается решение («целевая популяция»). РКИ проводятся на тщательно отобранных выборках пациентов, исключая важные подгруппы пациентов, которые могут получать лечение в клинической практике.
Исследования с использованием RWD/RWE становятся всё более распространёнными источниками доказательств сравнительной эффективности. Несмотря на увеличивающее риск смещения отсутствие рандомизации, исследования RWD/RWE проводятся на выборках пациентов, проходящих лечение в реальной клинической практике, что, как считается, больше соответствуют действительности.
Внешняя валидность включает в себя обоб-щаемость и переносимость. Под обобщаемостью понимается, насколько выводы исследования могут быть распространены на целевую популяцию, из которой была получена информация для проведения исследования. Под переносимостью результатов понимают, насколько они могут быть распространены на отдельную (внешнюю) популяцию, не принимавшую участия в исследовании. Для того
чтобы переносимость была полноценной, следует проанализировать большой объём информации, который поступает вне исследований — например, из международных баз данных. Однако существуют различия в доступности и качестве RWD в разных странах, что обусловливает озабоченность ряда организаций, занимающихся ОТЗ, отсутствием возможности экстраполяции данных. Из-за этого европейские агентства ОТЗ неохотно принимают реальные данные из других стран. В конечном итоге это приводит к тому, что агентства ОТЗ отдают предпочтение местным RWD, что ведёт к неполному пониманию ситуации [3].
Оценка клинической пользы
Потенциал использования RWD/RWE для оценки сравнительного эффекта лечения огромен и всё чаще признаётся агентствами ОТЗ и другими органами, занимающимися возмещением расходов в здравоохранении [4]. Тем не менее до сих пор не существует полноценных руководств, которые бы описывали наилучшие методики для использования таких исследований. В исследовании Jaksa et al. авторы определили набор критериев, которым должны соответствовать рекомендации для RWD/RWE, и проанализировали 41 опубликованное методологическое руководство регулирующих органов, агентств ОТЗ и профессиональных сообществ [5]. Проведённое исследование продемонстрировало пробелы в существующих руководствах и побудило авторов призвать к совместным усилиям для поддержки разработки всесторонних согласованных руководств по RWD/RWE в условиях регулирования и возмещения расходов.
Публикация Kent S и соавт. посвящена сбору и анализу RWD/RWE [6]. Авторы разработали набор рекомендаций для тех, кто проводит нерандомизированные сравнения, основанные на обзоре существующих руководств, взаимодействии с органами ОТЗ и конференции с участием 16 профильных экспертов из 8 стран. Общие рекомендации охватывают передовой опыт в планировании, разработке, анализе и подготовке отчётности исследований, в них пересматривается отношение к ряду ранее игнорируемых подходов.
Высший совет по здравоохранению Франции (фр. Haute Autorité de Santé; HAS) недавно попытался удовлетворить потребность в таких руководствах, опубликовав своё методологическое пособие по использованию RWD/RWE при оценке ЛП и медицинских устройств во Франции. Руководство HAS предоставляет информацию по ряду областей, включая соображения, касающиеся ситуаций, в которых использование RWE может быть полезным, а также подходы для устранения предвзятости и путаницы.
Британский национальный институт здравоохранения и передового опыта в области здравоохранения (англ. National Institute for Health and Care Excellence; NICE) опубликовал проект системы фактических данных из реального мира [7]. Это новый шаг вперёд, так как проект описывает текущее и потенциальное использование RWE в представлении NICE, включая документирование естественного течения болезни, её экономического бремени, а также предоставление входных данных для экономических моделей, исходную частоту событий на этапе включения, использование ресурсов и затраты. NICE также разрабатывает специальный инструмент оценки пригодности данных для облегчения подсчётов. Установлены критерии, касающиеся источников данных (сбор, охват и управление), качества данных (полнота и точность ключевых переменных исследования) и актуальности данных (наличие ключевых искажающих факторов и результатов, обобщаемость для целевой популяции, размер выборки и последующее наблюдение). Руководство по анализу содержит рекомендации о том, как выявить потенциальные искажающие факторы, сформулировать причинно-следственные связи, решить проблему смещения результатов, рассмотреть и устранить влияние систематической ошибки из-за информационной цензуры, отсутствующих данных и ошибок измерения, а также использовать анализ чувствительности и количественной систематической ошибки. В документе изложены требования к отчётности, включая обоснование необходимости нерандомизированных доказательств, публикации протоколов исследований и планов анализа, использование инструментов для предоставления информации о ключевых аналитических методах и методах для минимизации риска систематической ошибки [4, 8].
Влияние пандемии COVID-19 на RWD/RWE
Большую роль для поддержки развития технологий здравоохранения в области RWD/RWE имеет скорость получения этих данных. Эта проблема особо остро стоит в Европе, где из-за характера систем здравоохранения поставщиками данных чаще являются государственные органы, что зачастую увеличивает срок извлечения данных. Это ключевое препятствие в контексте начальной оценки технологий здравоохранения, где сроки для создания RWD обычно ограничиваются периодом между получением результатов исследований и сроком рассмотрения ОТЗ.
Пандемия COVID-19 продемонстрировала на примерах ряда стран, что время, за которое получают доступ к RWD (данным о проведённом лечении, об исходах), можно сократить или даже разработать новые платформы. Таким примером
служит использование аналитической сети TriNetX, охватывающей 8 стран, 62 организации здравоохранения, более 81 миллиона пациентов. Сеть была разработана для изучения неврологических и психиатрических исходов у перенесших СОУГО-19. Исследование показало значительную частоту развития этих исходов (ретроспективный анализ более 200000 пациентов) и острую потребность в соответствующем уходе за такими пациентами [9].
В международном когортном исследовании, проведённом в США, Испании, Китае и Южной Корее, изучались методы лечения, используемые при госпитализации по поводу СОУГО-19. Труднодоступные испанские данные были предоставлены двумя больницами, которые сотрудничали в рамках схемы обмена данными о СОУГО-19, при этом данные в целом демонстрируют огромную неоднородность в использовании ЛП на ранних стадиях пандемии, поскольку практикующие врачи пытались понять, какие методы лечения были бы эффективны против этого заболевания [10].
OpenSAFELY, британская аналитическая платформа, созданная для решения неотложных вопросов, касающихся эпидемиологии СОУГО-19 и охватывающая 24 миллиона человек, зарегистрированных в клиниках общей практики с использованием специального программного обеспечения, использовалась для изучения этнических различий в частоте госпитализаций и смертей от СОУШ-19. Были продемонстрированы существенные этнические различия в частоте развития неблагоприятных исходов СОУГО-19, в том числе после учёта важных ковариатов, таких как социально-демографические характеристики и бытовые особенности [11].
В то время как результатом пандемии стало огромное количество информации, в настоящее время доступ к ней остаётся только для тех, кто исследует СОУГО-19 и связанные с ним последствия для здоровья, что подчёркивает необходимость в создании подобных интернациональных баз данных и по другим нозологиям. Разумеется, развитие этих инициатив в области данных потребует значительных инвестиций и определения приоритетности ресурсов в долгосрочной перспективе, но уже не является непреодолимой преградой [12].
Ценность инновационных методов для ОТЗ
За последнее десятилетие доступность инновационных методов лечения существенно возросла, особенно в области онкологии. Потребность в получении новых видов лечения онкологических заболеваний и желание ускорить доступность этого лечения для пациентов привели к одобрению инновационных методов. В ряде случаев новые методы лечения обладают ограниченными данными об их преимуществах в эффективности и безопас-
ности. Таким образом, эти ЛП начинают использоваться в условиях ограниченных данных об их превосходстве относительно уже существующей терапии. Для решения этой проблемы методы лечения подвергаются переоценке через определённый период времени, при этом использование RWD играло положительную роль в таких переоценках, т. к. выявляются наиболее эффективные методы лечения. Результаты повторных исследований, которые не подтверждают первоначальную предполагаемую ценность конкретного лечения, часто вызывают споры о целесообразности их дальнейшего применения. Однако при рассмотрении выгод от ускоренного доступа на рынок важно не сосредотачиваться исключительно на конкретных случаях, а понимать, в какой степени доступ к целому ряду инновационных методов лечения приносит пользу популяциям пациентов и системам здравоохранения в целом. В связи с этим в ряде недавних работ использовались данные реального мира (RWD), чтобы дать представление о преимуществах на уровне населения и ценности инновационных методов лечения в онкологии.
В анализе, опубликованном на основе данных Surveillance, Epidemiology and End Results — программы наблюдения за онкологическими пациентами Национального института рака США, — продемонстрировано, что смертность при немелкокле-точном раке лёгкого (НМРЛ) снижалась быстрее и что улучшение выживаемости произошло вскоре после внедрения инновационных методов лечения этого заболевания [13].
Эффективность лечения метастатического рака молочной железы (мРМЖ) изучалась в исследовании Grinda et al. на основании данных Epidemio-Strategy-Medico-Economical, французской общенациональной обсервационной когорты. Исследование показало, что выживаемость у пациентов с мРМЖ улучшилась за 12-летний период, начиная с 2008 г., в первую очередь за счёт улучшений в лечении в подгруппе пациентов с HER2+, что коррелировало со значительным увеличением использования анти-HER2-терапии за тот же период [14].
В отличие от предыдущих исследований, которые были сосредоточены только на клинических преимуществах, недавнее бельгийское исследование использовало RWD для изучения как клинической, так и экономической перспективы для пациентов и здравоохранения. Это исследование объединило данные из Бельгийского регистра рака о выживаемости, использовании ЛП с данными о расходах на случаи нетрудоспособности из двух других бельгийских источников RWD. Исследователи изучили взаимосвязь между улучшением выживаемости по 12 онкологическим заболеваниям в период с 2004 по 2017 год и увеличением затрат
на лечение пациентов с этими диагнозами за тот же период. Исследование показало, что при НМРЛ увеличение выживаемости наблюдалось одновременно со значительным увеличением расходов на инновационные ЛП. Однако при многих других заболеваниях, в том числе при раке молочной железы, значительного улучшения выживаемости не наблюдалось, несмотря на существенное увеличение расходов на инновационные лекарства за тот же период. Эти результаты вызывают вопросы относительно общей ценности инновационных методов лечения в онкологии. Авторы признают недостатки в оценке клинических преимуществ инновационных методов лечения, которые привели к таким результатам. Например, отсутствие серьёзных улучшений в выживаемости, несмотря на внедрение инновационных методов лечения, можно объяснить отсутствием детализации данных для проведения оценки [15].
Методы машинного обучения
Несмотря на то что РКИ по-прежнему остаются золотым стандартом для оценки эффективности лечения, использование RWD для этой цели становится всё более важным. RWD предлагают оценить сравнительную эффективность, когда нет возможности провести полноценные РКИ, т. к. можно дополнить их данные, предоставляя оценки в долгосрочной перспективе для популяции, обычно исключаемой из РКИ.
Однако отказ от использования рандомизации имеет ограничения, наиболее важным из которых является повышенный риск смещения и других систематических ошибок. Количественные методы анализа погрешностей помогают изучить влияние учтённых отклонений на оценку лечения и экономической эффективности, но более важными представляются подходы, которые помогают ограничить эти отклонения [16].
В недавно опубликованном отчёте о передовой практике Международного общества фармакоэко-номики и исследований исходов (англ. International Society of Pharmacoeconomics and Outcomes Research; ISPOR) представлены возможности, которые методы машинного обучения могут предоставить в клинико-экономических исследованиях, а также выделяются несколько подходов, позволяющих свести к минимуму путаницу в исследованиях RWD, включая когортные исследования, выбор, идентификацию и корректировку вмешивающихся факторов, а также оценку неоднородности лечебного эффекта [17].
Выбор когорты выделен в отчёте как область, в которой методы машинного обучения предлагают особые перспективы. Источники RWD, особенно электронные медицинские карты, часто содержат переменные (данные) из неструктурированных
источников, таких как заметки врача произвольного характера в историях болезни. Традиционно из таких источников информацию извлекали вручную, что требует больших затрат и времени. В отчёте подчёркивается, что методы машинного обучения, например обработка часто используемых профессиональных выражений, могут повысить эффективность когортного отбора. При этом специалисты сначала маркируют данные, обучают программные модели на этих данных, а затем применяют их к новым данным, чтобы определить вероятность приемлемости когорты. Высказанная в отчёте озабоченность заключается в том, что такой подход максимизирует специфичность по сравнению с чувствительностью (генерируя мало ложноположительных результатов, но много ложноотрицательных результатов), что приводит к систематической ошибке отбора, если ложноотрицательные результаты не отбираются случайным образом [18].
В руководстве ISPOR представлены методы идентификации вмешивающихся факторов (кон-фаундеров). Руководящие принципы ОТЗ по RWD рекомендуют выявлять вмешивающиеся факторы с помощью систематического поиска прогностических исследований и/или использования мнений экспертов [7, 16]. Однако недостаток в знаниях в отношении менее изученных нозологий, небольшие размеры выборки могут ограничивать возможность учёта всех потенциальных вмешивающихся факторов, даже если данные о них доступны. В отчёте объясняется, как методы машинного обучения можно использовать вместе с данными выборки исследования для выявления новых релевантных вмешивающихся факторов и/или сокращения набора ковариат до тех, которые являются наиболее прогностически значимыми. Это может быть особенно полезно при небольших выборках, где статистические методы способны к переобучению. В отчёте описывается, как методы машинного обучения могут улучшить подходы, используемые для корректировки систематических ошибок, таким образом, эти технологии позволяют гибко оценивать неоднородность эффекта лечения [19, 20], что полезно в переходе к индивидуализированному подходу в лечении пациентов. Алгоритмы машинного обучения хороши ровно настолько, насколько хороши данные, на которых они учатся, а это означает, что если обучающие данные ошибочны, то и алгоритмы тоже. Например, система обучения для выявления диабетической ретинопатии, разработанная Google Health, продемонстрировала высокую точность как в лабораторной, так и в клинической практике во многих странах [21, 22], но столкнулась с трудностями внедрения в странах с низким и средним уровнем дохода, где превалировали изображения низкого качества [23].
Заключение
Благодаря научно-техническому прогрессу, человечество находится в бесконечном потоке информации, которую стараются преобразовать в электронный формат для удобства дальнейшего анализа. Для здравоохранения значение имеют медицинские карты, реестры и регистры пациентов, базы данных, предоставляемых страховыми компаниями, и даже информация, которая собирается мобильными устройствами и специальными приложениями. Сейчас эта информация становится всё более доступной для научного сообщества, а благодаря современным технологиям машинного обучения и постоянно разрабатываемым рекомендациям её легче анализировать, а результаты внедрять в медицинскую практику. В тех случаях, когда не представляется возможным провести РКИ и использовать данные «золотого стандарта», а вопрос неудовлетворённости медицинской помощью
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ Конфликт интересов.
Автор декларирует отсутствие конфликта интересов.
Участие автора. Боровская В. Г. — анализ литературных данных, написание текста; Куры-лев А. А. — редактирование, финальное утверждение рукописи.
СВЕДЕНИЯ ОБ АВТОРАХ
Боровская Валентина Геннадьевна — врач-терапевт, ординатор кафедры клинической фармакологии и доказательной медицины ФГБОУ ВО ПСПбГМУ им. акад. И. П. Павлова Минздрава России, Санкт-Петербург, Российская Федерация e-mail: valentine.borovskaya@gmail.com © https://orcid.org/0000-0002-4180-0878 SPIN-код 9795-9621
Курылев Алексей Александрович — к. м. н.,
доцент кафедры клинической фармакологии и доказательной медицины ФГБОУ ВО ПСПбГМУ им. акад. И. П. Павлова Минздрава России; ФГБУ «Национальный исследовательский центр онкологии им. Н. Н. Петрова» Минздрава России, Санкт-Петербург, Российская Федерация Автор, ответственный за переписку e-mail: alexey-kurilev@yandex.ru © https://orcid.org/0000-0003-3031-4572 SPIN-код 7966-0845
Литература/References
1. Журавков А. А., Колбин А. С. Внешний контроль при проведении исследований RWD/RWE: методологический подход. Качественная
остаётся открытым, RWD и RWE становятся отличным подспорьем для учёных, регуляторных органов и организаций по ОТЗ. Однако даже наличие большого количества информации не даёт гарантий её качества и последующей возможности применения полученных результатов в жизни. Открытыми вопросами остаются подходы к выбору информации и способам её анализа. Немаловажным является стремление получения более полной картины об имеющейся ситуации, для чего необходимо объединять базы данных, начиная от первичного медицинского звена до стационаров и научных центров в рамках одного города, а затем по стране в целом, с последующей возможностью обмениваться этими данными с другими странами.
Для это следует продолжать активную мульти-дисциплинарную и интернациональную работу над созданием рекомендаций, которые бы могли наиболее полно отвечать на вопросы исследователей.
ADDITIONAL INFORMATION Conflict of interests.
The author declares no conflict of interest.
Participation of author. Borovskaya VG — analysis of literary data, writing the text; Kurylev AA — editing, final approval of the manuscript.
ABOUT THE AUTHORS
Borovskaya Valentina G. — MD, general practitioner, resident Department of Clinical Pharmacology and Evidence-Based Medicine, FSBEI HE named after I. P. Pavlov SPbSMU MOH Russia, St. Petersburg, Russian Federation
e-mail: valentine.borovskaya@gmail.com © https://orcid.org/0000-0002-4180-0878 SPIN code 9795-9621
Kurylev Alexey A. — Cand. Sci. Med., associate professor Department of Clinical Pharmacology and Evidence-Based Medicine, FSBEI HE named after I. P. Pavlov SPbSMU MOH Russia; FSBI National Research Center of Oncology named after N. N. Petrov, St. Petersburg, Russian Federation Corresponding author
e-mail: alexey-kurilev@yandex.ru © https://orcid.org/0000-0003-3031-4572 SPIN code 7966-0845
клиническая практика. 2022;(2):21-7. https:// doi.org/10.37489/2588-0519-2022-2-21-27. [Zhuravkov AA, Kolbin AS. External control
during RWD/RWE research: a methodological approach. Kachestvennaya klinicheskaya praktika = Good Clinical Practice. 2022; (2):21-7. (In Russ.)].
2. Новодережкина Е. А., Зырянов С. К. Значение исследований реальной клинической практики в оценке технологий здравоохранения. ФАРМАКОЭКОНОМИКА. Современная фар-макоэкономика и фармакоэпидемиология. 2022;15(3):380-9. https://doi.org/10.17749/2070-4909/farmakoekonomika. 2022.120. [Novode-rezhkina EA, Zyryanov SK The role of real-world data and real-world evidence in health technology assessment. FARMAKOEKONOMIKA. Modern Pharmacoeconomics and Pharmacoepidemiology. 2022;15 (3):380-9. (In Russ.)].
3. Simpson A, Ramagopalan SV. R WE ready for reimbursement? A round up of developments in real-world evidence relating to health technology assessment: part 10. J Comp Eff Res. 2023 Jan; 12 (1):e220194. doi: 10.2217/cer-2022-0194. Epub 2022 Dec 1. PMID: 36453665.
4. Simpson A, Ramagopalan SV. R WE ready for reimbursement? A round up of developments in real-world evidence relating to health technology assessment: part 4. J Comp Eff Res. 2022 Jan; 11 (1):11-2. doi: 10.2217/cer-2021-0243. Epub 2021 Oct 27. PMID: 34702048.
5. Jaksa A, Wu J, Jonsson P, Eichler HG, Vititoe S, Gatto NM. Organized structure of real-world evidence best practices: moving from fragmented recommendations to comprehensive guidance. J Comp Eff Res. 2021 Jun;10 (9):711-31. doi: 10.2217/cer-2020-0228. Epub 2021 Apr 30. PMID: 33928789.
6. Kent S, Salcher-Konrad M, Boccia S, Bouvy JC, Waure C, Espin J, Facey K, Nguyen M, Rejon-Parrilla JC, Jonsson P. The use of nonrandomized evidence to estimate treatment effects in health technology assessment. J Comp Eff Res. 2021 Oct;10 (14):1035-43. doi: 10.2217/cer-2021-0108. Epub 2021 Jul 19. PMID: 34279114.
7. National Institute for Health and Care Excellence. NICE real-world evidence framework (2022). https://www.nice.org.uk / corporate / ecd9 / chapter/overview.
8. Simpson A, Ramagopalan SV. R WE ready for reimbursement? A round up of developments in real-world evidence relating to health technology assessment: part 9. J Comp Eff Res. 2022 Nov; 11 (16):1147-9. doi: 10.2217/cer-2022-0145. Epub 2022 Aug 23. PMID: 35998008.
9. Taquet M, Geddes JR, Husain M, Luciano S, Harrison PJ. 6-month neurological and psychiatric outcomes in 236379 survivors of COVID-19: a retrospective cohort study using electronic
health records. Lancet Psychiatry. 2021 May; 8(5):416-27. doi: 10.1016/S2215-0366 (21) 00084-5. Epub 2021 Apr 6. PMID: 33836148; PMCID: PMC8023694.
10. Prats-Uribe A, Sena AG, Lai LYH, Ahmed WU, Alghoul H, Alser O, Alshammari TM, Areia C, Carter W, Casajust P, Dawoud D, Golozar A, Jon-nagaddala J, Mehta PP, Gong M, Morales DR, Nyberg F, Posada JD, Recalde M, Roel E, Shah K, Shah NH, Schilling LM, Subbian V, Vizcaya D, Zhang L, Zhang Y, Zhu H, Liu L, Cho J, Lynch KE, Matheny ME, You SC, Rijn-beek PR, Hripcsak G, Lane JC, Burn E, Reich C, Suchard MA, Duarte-Salles T, Kostka K, Ryan PB, Prieto-Alhambra D. Use of repurposed and adjuvant drugs in hospital patients with covid-19: multinational network cohort study. BMJ. 2021 May 11;373: n1038. doi: 10.1136/bmj. n1038. Erratum in: BMJ. 2021 May 21;373: n1277. PMID: 33975825; PMCID: PMC8111167.
11. Mathur R, Rentsch CT, Morton CE, Hulme WJ, Schultze A, MacKenna B, Eggo RM, Bhaskaran K, Wong AYS, Williamson EJ, Forbes H, Wing K, McDonald HI, Bates C, Bacon S, Walker AJ, Evans D, Inglesby P, Mehrkar A, Curtis HJ, DeVito NJ, Croker R, Drysdale H, Cockburn J, Parry J, Hester F, Harper S, Douglas IJ, Tomlinson L, Evans SJW, Grieve R, Harrison D, Rowan K, Khunti K, Chaturvedi N, Smeeth L, Goldacre B; OpenSAFELY Collaborative. Ethnic differences in SARS-CoV-2 infection and COVID-19-related hospitalisation, intensive care unit admission, and death in 17 million adults in England: an observational cohort study using the OpenSAFELY platform. Lancet. 2021 May 8;397 (10286):1711-24. doi: 10.1016/S0140-6736 (21) 00634-6. Epub 2021 Apr 30. Erratum in: Lancet. 2021 May 6. PMID: 33939953; PMCID: PMC8087292.
12. Simpson A, Ramagopalan SV R WE ready for reimbursement? A round up of developments in RWE relating to health technology assessment: part 2. J Comp Eff Res. 2021 Sep;10 (13):957-9. doi: 10.2217/cer-2021-0144. Epub 2021 Jun 29. PMID: 34184540.
13. Howlader N, Forjaz G, Mooradian MJ, Meza R, Kong CY, Cronin KA, Mariotto AB, Lowy DR, Feuer EJ. The Effect of Advances in Lung-Cancer Treatment on Population Mortality. V Engl J Med. 2020 Aug 13;383 (7):640-9. doi: 10.1056/NEJMoa1916623. PMID: 32786189; PMCID: PMC8577315.
14. Grinda T, Antoine A, Jacot W, Blaye C, Cottu PH, Dieras V, Dalenc F, Gongalves A, Debled M, Patsouris A, Mouret-Reynier MA, Mailliez A, Clatot F, Levy C, Ferrero JM, Desmoulins I,
Uwer L, Petit T, Jouannaud C, Lacroix-Triki M, Deluche E, Robain M, Courtinard C, Bachelot T, Brain E, Perol D, Delaloge S. Evolution of overall survival and receipt of new therapies by subtype among 20446 metastatic breast cancer patients in the 2008-2017 ESME cohort. ESMO Open. 2021 Jun;6 (3):100114. doi: 10.1016/ j. esmoop. 2021.100114. Epub 2021 Apr 23. PMID: 33895695; PMCID: PMC8095121.
15. Neyt M, Devos C, Thiry N et al. Do innovative medicines against cancer always have a real added value? Belgian Health Care Knowledge Centre, 343Cs (2021). https://doi.org/10.57598/R343CS.
16. Simpson A, Ramagopalan SV. R WE ready for reimbursement? A round up of developments in real-world evidence relating to health technology assessment. J Comp EffRes. 2021 Jul;10 (10):797-9. doi: 10.2217/cer-2021-0098. Epub 2021 May 6. PMID: 33955236.
17. Padula WV, Kreif N, Vanness DJ, Adamson B, Rueda JD, Felizzi F, Jonsson P, IJzerman MJ, Butte A, Crown W. Machine Learning Methods in Health Economics and Outcomes Re-search-The PALISADE Checklist: A Good Practices Report of an ISPOR Task Force. Value Health. 2022 Jul;25 (7):1063-80. doi: 10.1016/j. jval. 2022.03.022. PMID: 35779937.
18. Birnbaum B, Nussbaum N, Seidl-Rathkopf K et al. Model-assisted cohort selection with bias analysis for generating large-scale cohorts from the EHR for oncology research. arXiv. 2020. doi: 10.48550/arXiv. 2001.09765
19. Athey S, Tibshirani J, Wager S. Generalized random forests. Project Euclid. 2019;47 (2):1148-78. doi: 10.1214/18-A0S1709
20. Kreif N, Diazordaz K, Moreno-Serra R, Mi-relman A, Hidayat T, Suhrcke M. Estimating
¡•Vi-i*
•Vl'myRWD .fry,
heterogeneous policy impacts using causal machine learning: a case study of health insurance reform in Indonesia. Health Serv Outcomes Res Method Springer. 2022;22 (2):192-227. doi: 10.1007/s10742-021-00259-3
21. Gulshan V, Peng L, Coram M, Stumpe MC, Wu D, Narayanaswamy A, Venugopalan S, Wid-ner K, Madams T, Cuadros J, Kim R, Raman R, Nelson PC, Mega JL, Webster DR. Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs. JAMA. 2016 Dec 13;316 (22):2402-10. doi: 10.1001/jama. 2016.17216. PMID: 27898976.
22. Raumviboonsuk P, Krause J, Chotcomwongse P, Sayres R, Raman R, Widner K, Campana BJL, Phene S, Hemarat K, Tadarati M, Silpa-Archa S, Limwattanayingyong J, Rao C, Kuruvilla O, Jung J, Tan J, Orprayoon S, Kangwanwong-paisan C, Sukumalpaiboon R, Luengchaicha-wang C, Fuangkaew J, Kongsap P, Chualinpha L, Saree S, Kawinpanitan S, Mitvongsa K, Lawa-nasakol S, Thepchatri C, Wongpichedchai L, Corrado GS, Peng L, Webster DR. Deep learning versus human graders for classifying diabetic retinopathy severity in a nationwide screening program. NPJ Digit Med. 2019 Apr 10;2:25. doi: 10.1038/s41746-019-0099-8. Erratum in: NPJ Digit Med. 2019 Jul 23;2:68. PMID: 31304372; PMCID: PMC6550283.
23. Beede E, Baylor E, Hersch F et al. A human-centered evaluation of a deep learning system deployed in clinics for the detection of diabetic ret-inopathy. Presented at: Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. Honolulu, Hawaii, USA (2020):1-12. doi: 10.1145/3313831.3376718 rns
