CC BY
142
Оценка исходов пациентами в клинических исследованиях
Леонова М.В.
ФГБОУ ВП РНИМУ им. Н.И. Пирогова Минздрава России, г. Москва
Резюме. Представлен обзор по использованию исходов лечения, оцениваемых пациентами (рatient-reported outcomes — PRO) в клинических исследованиях: концепция и содержание PRO, методология включения PRO в клинические исследования, этапы создания и разработки, основные виды и формы инструментов PRO, психометрические характеристики инструментов PRO (валидация, чувствительность, надёжность), техника проведения оценок PRO.
Ключевые слова: исходы, оцениваемые пациентами, рatient-reported outcomes, инструменты PRO, клинические исследования
Patient-reported outcomes in clinical studies
Leonova M.V.
FGBOU VP RNRMU named after Pirogova N.I., Russian Federation, Moscow
Abstract. A review on the use of patient-reported outcomes (PRO) in clinical studies: the concept and content of the PRO, methodology enable PRO in clinical studies, the stages of creation and development, basic types and forms of PRO instruments, psychometric characteristics of the instruments PRO (validation, sensitivity, reliability) of PRO assessment technique.
Keywords: patient-reported outcomes, methodology, PRO instruments, clinical studies
Автор, ответственный за переписку:
Леонова Марина Васильевна — д.м.н., профессор, член-корреспондент РАЕН, ФГБОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, зав. кафедрой клинической фармакологии; е-mail: [email protected], тел. +7(915)320-43-79
В течение последнего десятилетия интерес к оценке исходов лечения пациентами всё более привлекает исследователей и регуляторные органы, в частности при принятии решений о внедрении новых видов лечения в реальную клиническую практику. Произошёл существенный сдвиг в сторону большего акцента на вовлечение пациента в оценке методов лечения, что нашло отражение в ряде стратегических и национальных инициативах регуляторных органов. Так, в 2006 г. FDA впервые представило руководство по проведению оценок исходов пациентами (Patient-reported outcomes — PRO) для использования в разработке новых медицинских продуктов: «Guidance for Industry Patient-Reported Outcome Measures: Use in Medical Product Development to Support Labeling Claims DRAFT GUIDANCE». Это послужило мощным толчком для разработки методологий, инструментов и востребованности включения оценки исходов лечения пациентами в рамки различных клинических исследований (КИ), а особенно фаз III—IV, а также в фармакоэкономический анализ для выражения перспективы пациентов. Главная причина использования оценок, даваемых самими пациентами и известных только самим пациентам, связана с потребностью глубокого внедрения в их переживания и чувства на этапе оценки результатов новых
методов лечения, медицинских технологий и пр. Понятно, что улучшение состояния здоровья пациента имеет первостепенное значение для врача-клинициста и, следовательно, поиск методик позволяющих наилучшим образом оценивать улучшения в состоянии здоровья представляется важным в современных условиях.
Оценка исходов пациентами (PRO) — это любая оценка состояния здоровья пациента, данная самим пациентом без какой-либо интерпретации со стороны врача или кого-либо («a measurement of any aspect of a patient's health status that comes directly from the patient without interpretation of the patient's response by a clinician or anyone else») [1]. PRO позволяет оценивать симптомы, состояние здоровья, повседневную активность или функционирование, психологическое благополучие (well-being), качество жизни и качество жизни, связанное со здоровьем, их динамику в сравнении, имеющие прямое отношение к заболеванию, а также удовлетворенность лечением (табл. 1) [2, 3]. Типичными инструментами в оценке благополучия состояния пациента являются шкалы оценки депрессии и тревожности. В оценке удовлетворенности лечением пациентом учитываются субъективное ощущение результата лечения, побочные эффекты, удобство лечения (комплаенс).
Таблица 1
Типы исходов в оценке PRO
• Выявление различных симптомов (частота возникновения, тяжесть симптомов):
■ субъективные симптомы (боль, слабость, недержание, нарушения сна и т.п.);
■ психологические симптомы (депрессия, тревога и т.п.).
• Степень нарушения функционирования организма для пациента:
■ ограничения физической активности (самообслуживание, способность самостоятельно одеваться, ходить и пр.);
■ ограничения функциональной активности (способность к работе, социальной активности).
• Ощущения, которые испытывает пациент из-за болезни или результатов лечения.
• Удовлетворенность лечением, комплаенс.
• Качество жизни, связанное со здоровьем.
• Качество жизни.
Понятие PRO и различие с понятием качества жизни впервые предложило FDA, которое использовало термин «качество жизни» как составную часть понятия состояние здоровья, включающий целый ряд других аспектов, таких как симптомы, повседневную деятельность и пр. Таким образом, качество жизни концептуализируется как один из показателей состояния здоровья пациентов, оцениваемых с помощью PRO (рис. 1) [3, 4].
Рис. 1. Взаимодействие различных типов оценок PRO в клинических исследованиях
PRO в клинических исследованиях. В клинических исследованиях PRO представляет инструмент для измерения эффекта после применения медицин-
ского вмешательства. Выбор необходимого инструмента для оценки PRO в клиническом исследовании является важнейшим аспектом разработки дизайна. Эффективный способ установить связь между измеряемым результатом, таким как самочувствие пациента после вмешательства, является разработка стратегии оценок, которая требует чёткого понимания заболевания и исходов, относящихся к пациентам (рис. 2).
Опеределение ключевого результата лечения и исходов
Опеределение исходов, соответствующих лечению или вмешательству
Построение модели с конечными точками
Выбор подходящих инструментов PRO
Рис. 2. Ключевые этапы разработки стратегии оценок в клиническом исследовании [1]
Главное место в разработке стратегии оценок КИ является построение модели исходов и конечных точек путём чёткого определения взаимодействия между оценкой состояния здоровья и других доменов, ассоциируемых с пациентами. Клинический исход не всегда может полностью отражать результат применения лечения или вмешательства, положительно воспринимаемый пациентом. Кроме того, для отдельной группы заболеваний ведущими симптомами могут быть только ощущения пациентов, которые невозможно измерить объективными (физикальными или лабораторно-инструменталь-ными) методами исследования. В результате возможны два варианта стратегии модели исходов: 1) модель, когда главным критерием оценки является клинический результат, определяемый врачами-специалистами и используется в качестве первичной конечной точки исследования, а PRO только дополняет или уточняет полученный клинический эффект и используется в качестве вторичной конечной точки (рис. 3);
2) модель, в которой единственным критерием оценки результатов лечения или вмешательства является PRO, который используется в качестве первичной конечной точки исследования, а в качестве вторичных точек могут быть использованы и другие важные для пациентов домены, а также объективные данные (рис. 4) [1].
Использование PRO в качестве первичной точки в КИ возможно при следующих условиях:
1) когда самооценка пациентов является ведущим и единственным критерием в оценке динамики заболевания или оценке лечения;
2) когда лечение имеет совсем небольшое влияние на выживаемость или прогноз заболевания,
Цель исследования
Конечные точки
Лечение заболевания
Первичная конечная точка
Клинический эффект (не PRO)
Вторичные конечные точки
Рис. 3. Применение PRO в качестве вторичных конечных точек исследования [1]
Цель исследования
Конечные точки
Лечение заболевания
Первичная конечная точка
Общая шкала симптомов заболевания (PRO)
Улучшение симптомов
Вторичные конечные точки
Физическая работоспособность (PRO и не PRO)
Нарушение здоровья, связанное с заболеванием (PRO)
Физикальные данные
Рис. 4. Применение PRO в качестве первичной конечной точки исследования [1]
но оказывает существенное влияние (позитивное или негативное) на аспекты качества жизни, функционирование или благополучие пациентов;
3) когда объективная клиническая эффективность сравниваемых методов лечения сопоставима, но имеет разные преимущества в PRO;
4) когда эффективность метода лечения доказывается совокупностью объективных исходов и PRO [5].
Концепция использования PRO в КИ новых лекарственных средств (ЛС) не является новой; она прослеживается на протяжении более 20 лет. Так, по данным мета-анализа C.Sanders, проведённого по регистру КИ за период 1980—1997 гг., применение PRO (в основном оценка качества жизни) было отмечено в 4,2% (в исследованиях в области онкологии — 8,2%) [1, 2]. По результатам другого анализа исследований 215 новых ЛС, проведённых за период 1997—2002 гг., было показано, что в 30% (для 64 ЛС) случаев в качестве конечных точек были использованы PRO, из них в 10% (для 23 ЛС) PRO явились единственной конечной точкой оценки эффективности. Это были ЛС для лечения мигрени, эпилепсии, гриппа, аллергического конъюнктивита, а в сочетании с клиническими конечными точками PRO использовались для оценки противовоспалительных препаратов, вакцин, препаратов для лечения желудочно-кишечных, респираторных и урологических заболеваний [6]. В одном из последних мета-анализов, проведённых по анализу регистра КИ FDA за 2004—2007 гг., из 17 704 КИ в 2 481 из них (14%) использовался хотя бы один инструмент PRO. Причём наиболее часто спонсорами таких исследований были научные университеты или исследовательские организации (относительный риск, ОР=1,12), в исследованиях изучались режимы вмешательства (ОР: 2,98), способ вмешательства (ОР: 1,92) или устройства для вмешательства (ОР: 1,75), исследования относились к рандомизированным фазы III (особенно часто в области лечения уро-генитальных заболеваний — 22% PRO) [7].
Использование PRO для оценки новых ЛС принято регуляторными органами: FDA регламентирует их применение в клинических исследованиях в качестве первичной конечной точки, если нет иных объективных критериев оценки; в рекомендациях EMEA использование PRO (в частности, качество жизни, связанное со здоровьем) предлагается в качестве обязательной дополнительной конечной точки во всех клинических исследованиях [8—10].
Инструменты для PRO могут быть представлены общими или иметь специфическое (болезнь-специфическое, условие-специфическое или популяцион-но-специфическое) отношение, каждый из которых имеет свои преимущества и недостатки (табл. 2) [11]. Общие инструменты PRO представляют интерес для широкого круга пациентов и населения в целом, и
могут быть использованы для сравнения в разных условиях, включая сравнение со здоровой популяцией. Болезнь-специфические или условие-специфические PRO разрабатываются, чтобы использовать специфические домены и элементы здоровья, качества жизни, имеющие отношение к определённой группе заболеваний или подгрупп пациентов. Для их создания используются такие методики, как глубинное интервью и фокус-группы пациентов с определённым заболеванием или состоянием, таким образом, гарантируя, что выбранные домены и темы являются наиболее значимыми и приемлемыми именно для них. Болезнь-специфические PRO имеют более высокую клиническую значимость для использования в КИ, а также являются более чувствительным для выявления клинически значимых изменений в результате лечения. По данным регистра КИ FDA, из 160 различных видов PRO частота использования специфических инструментов PRO (в подавляющем большинстве — болезнь-специфических инструментов) составила 41%, тогда как общих инструментов PRO (в основном оценка качества жизни, связанного со здоровьем) — 36% [7]. В систематическом обзоре 34 опубликованных клинических исследований с применением PRO за период 1978-2007 гг. в 60,7% были использованы болезнь-специфические инструменты PRO и в 39,3% — общие инструменты [12].
Таблица 2
Сравнение общих и специфичных инструменты PRO
Преимущества и недостатки Общие инструменты Специфичные инструменты
Пригодны для оценки генеральной популяции пациентов или населения V
Сравнение с разными группами заболеваний V
Чув ствительно сть к выявлению болезнь-специфичных вопросов V
Чувствительность к выявлению клинических значимых изменений V V
Структура инструментов PRO может представлять одномерное или многомерное измерение исходов пациентов. Примером одномерного измерения может быть боль, примером многомерности измерения — характеристики таких показателей, как физическое и социальное функционирование, психическое здоровье и боль.
Разработка и создание инструментов PRO. Согласно рекомендациям FDA, создание инструментов PRO происходит в несколько этапов (рис. 5) [1, 13]. Первый этап заключается в разработке концептуальной модели изучения исходов и конечных точек, определяются основные домены, которые важны для оценки состояния пациентов. Второй этап состоит
в наполнении содержанием доменов: определении ключевых тем для оценки PRO, типов шкал, методологии проведения опросов пациентов и сбора данных. На этом этапе возможно использование различных подходов по выявлению тем и формулированию вопросов для пациентов: с помощью опросов мнения медицинских специалистов, опросов больных с конкретным заболеванием или симптомами, проведения литературного поиска и факторного анализа для отбора наиболее значимых симптомов. При разработке опросников проводится предварительное тестирование пациентов с заболеванием или симптомами (например, интервьюирование по телефону), в рамках которого оценивается когнитивность (понятность вопросов, полнота ответов, простота вопросов и ответов, удобство для пациентов), Третий этап необходим для проведения пилотного исследования с тест-опросником на интересующей популяции пациентов для оценки основных психометрических характеристик (валидация, чувствительность, надёжность), определения минимального значимого различия при оценке динамики состояния, а при необходимости применения опросников в разных странах с разными языками — проведение культу-ральной и языковой адаптации (методом двойных переводов). При анализе результатов пилотного исследования возможно проведение корреляционного анализа с клиническими данными и критериями, а также с другими уже апробированными опросниками. На четвёртом этапе проводится модификация опросников в связи с изменение доменов или тем, целевой популяции, области применения, методологии опросов и пр., с последующей адаптацией и оценкой психометрических характеристик.
4. Модификация инструментов (изменение концепции, популяции, частоты оценок области применения и пр.)
Рис. 5. Этапы разработки и создания инструментов PRO [1]
Инструменты PRO должны отвечать таким психометрическим характеристикам, как надёжность, достоверность, валидность, чувствительность для выявления изменений в ходе лечения. Надёжность инструмента показывает насколько согласуются результаты, а валидность — насколько мы измеряем то, что хотим измерить (табл. 3) [1].
Поскольку PRO используются в клинических исследованиях для оценки динамики изменений во времени, то они должны быть адекватными при различных клинических условиях, что обеспечивается проверкой их надёжности и достоверности к предоставлению воспроизводимых и согласованных результатов измерения [1]. Для доказательства воспроизводимости результатов оценки используется метод тест-ретест проверки: проведение оценок в разные периоды времени и через временные интервалы, достаточные для минимизирования эффекта запоминания у пациентов, которые характеризуются высокими коэффициентами корреляции результатов >0,80. Для доказательства согласованности результатов также используется тест-ретест метод: проверка непротиворечивости результатов оценки при использовании разных тем или вопросов для получения сходных результатов, которые характеризуются высоким коэффициентом а=0,70—0,85 [11].
Валидность инструментов PRO также должна быть изучена и доказана, для чего применяются различные подходы — опросы пациентов (фокус-группы), анализ клинических данных, обширный обзор литературы. Валидность призвана показать тесную взаимосвязь между темами, доменами и другими понятиями с основной гипотезой оценок, для чего применяется многофакторный анализ.
1. Создание концепции и важных доменов для пациентов
3. Процедура тестирования
(пилотные исследования, чувствительность, валидация, весовая значимость и др.)
2. Разработка инструментов (темы, методы, шкалы)
Виды и формы инструментов PRO. Для получения данных от пациента о его состоянии, частоте и тяжести симптомов, исходов лечения, удовлетворенности лечением используются различные виды и формы инструментов. Чаще всего инструменты PRO представляют собой визуально-аналоговую шкалу (ВАШ) или опросники (табл. 4) [1]. ВАШ используется для индивидуальной оценки степени выраженности симптомов, состояния здоровья или качества жизни. Опросники с предлагаемыми ответами, характеризующими наличие, частоту или степень выраженности симптомов, могут быть простыми ^hecklis^ или более сложными (ранговая шкала, шкала Лайкерта).
Методология проведения оценок PRO. Для удовлетворения потребностей пациентов в различных языковых, культурных, образовательных и профессиональных навыках, врачи и исследователи требуют определённой гибкости в выборе соответствующих методов и режимов выполнения опросов PRO. Некоторые аспекты в методологии проведения опросов PRO представлены в табл. 5 и включают особенности репортирования, способы управления и методы администрирования этого процесса [14].
Наиболее важные психометрическ
Перспектива пациента является главной в оценке PRO; вместе с тем при ряде обстоятельств достижение этой цели может быть сложным или невозможным. Так, у взрослых с когнитивными нарушениями и дефицитом коммуникаций из-за бремени болезней имеют место ограничения для выполнения опросов PRO. Это особенно вероятно для субпопуляции пожилых людей, а также пациентов любого возраста, страдающих тяжёлыми неврологическими расстройствами и заболеваниями. Также проблемной субпопуляцией являются дети, особенно младшего возраста, которые не умеют читать и писать или имеют недостаточный уровень развития. Для включения таких субпопуляций пациентов в оценки используется методология прокси-респондентов. Такими респондентами может быть ближайшее окружение пациента (например, родители, супруги или другие члены семьи, друзья или официальные опекуны), а также медицинский персонал или профессиональные работники (врачи, медицинские сёстры, нянечки, учителя). Такая методология не только позволяет включить более широкий и представительный круг пациентов для проведения оценок PRO, но и помогает в проведении сложных опросов, а также может
Таблица 3
характеристики инструментов PRO
Надежность, достоверность — стабильность значений при повторных оценках (test-retest, inter-interviewer, intrainterviewer)
Валидность содержания и структуры — способность всесторонне и полностью отражать именно интересующую область исследования — доказательство, что корреляционные взаимосвязи тем (шкал, доменов) сохраняются при оценке одинаковых или разных групп пациентов
Способность определить динамику — доказательство, что используемые показатели могут выявить динамику во времени, необходимую в клиническом исследовании (достаточная чувствительность)
Таблица 4
Характеристика видов и форм инструментов PRO (FDA, 2009 г.)
Линейная ВАШ Градуированный отрезок (обычно длиной 100 мм) со словами обозначения концов; на отрезке ставится отметка пациентом
Линейная ВАШ с дополнительными категориями Наличие дополнительных меток внутри отрезка, помогающих пациенту сориентироваться в шкале
Ранговая шкала Содержит серии категорий (ответов), которые пациент выбирает для характеристики своего состояния. Сколько эпизодов заболевания у вас было за последнюю неделю? ■ >10 ■ 7-10 ■ 5-7 ■ 2-5 ■ <2
Шкала Лайкерта Шкала, представляющая градацию степени согласия с каким-либо утверждением относительно состояния или наличия симптома: ■ очень сильно ■ сильно ■ иногда ■ очень редко ■ нет симптомов
Checklist Содержит краткие и простые характеристики состояния пациента, предназначенные для выбора: ■ да, ■ нет, ■ не знаю
Шкала с рисунками Содержит серии рисунков, отражающих разную степень состояния. Используется в педиатрии у детей не умеющих читать.
Регистрация исходов, случаев и пр. Отметка о развитии исхода или случая состояния (дневник пациента)
помочь минимизировать пропущенные сведения. Вместе с тем, проведение прокси-опросов сопряжено с дополнительными проблемами. Так, полезность прокси-опросов в качестве заменителей ответов пациентов зависит от валидности и надёжности прок-си-ответов, и требуют проверки на согласованность и доверенность по сравнению с ответами пациентов (коэффициенты корреляции, статистические методы анализа). Наиболее высокий уровень согласованности прокси-ответов и ответов пациентов наблюдается по таким аспектам, как физическое функционирование или качество жизни, связанное со здоровьем (физическая активность, деятельность в повседневной жизни, физическое здоровье и двигательные функции). Согласованность снижается для оценки более субъективных аспектов пациентов, таких как социальное функционирование, боль, когнитивные функции, психологическое или эмоциональное благополучие, а также в подгруппах пациентов с более тяжёлыми формами заболеваний или расстройств, инвалидизации. Наибольшие проблемы в согласованности прокси-ответов, даваемых родителями, наблюдаются для оценок детской популяции. Выявляются наибольшие противоречия между детьми
и взрослыми в оценках различных сфер, особенно, эмоционального функционирования. С другой стороны, прокси-опросы могут быть более полезны и информативны, когда пациенты ввиду особых ментальных расстройств (например, деменция), не могут предоставить объективную и адекватную самооценку своего состояния.
Область применения PRO очень широкая как для системы здравоохранения, клинической практики, так и клинических исследований: получение базовой оценки состояния здоровья, качества жизни, удовлетворенности пациентов и благополучия и т. д. для выявления необходимости и оказания эффективной помощи; мониторинг клинических исходов различных вмешательств для принятия решений; средство коммуникации между пациентом и врачом (например, врач может обсудить с пациентом почему результат лечения пациента улучшился или уменьшился по сравнению с прошлым визитом); применение в клинических исследованиях (особенно фазы III) как в оценке результатов лечения, так и качества проведения исследования; для дальнейшей разработки и маркетинговой политики изучения препаратов [12, 15—17].
Таблица 5
Основные характеристики методологии оценки PRO
Методология Характеристики Недостатки
Источник репортирования
Пациент Пациент отвечает на опросники непосредственно сам Возможны проблемы из-за когнитивного дефицита или возрастных проблем, недостаточного уровня развития
Прокси (proxy) респондент Окружение пациента отвечает на опросники Может не точно отражать субъективные ощущения, переживания и др.
Метод проведения
Пациент Пациент самостоятельно записывает ответы; возможность большего раскрытия участника Возможен пропуск вопросов
Интервьюер Интервьюер записывает ответы; помогает в случае тяжести пациента (нарушения зрения, затруднения письма или чтения) или недостаточной грамотности; позволяет проводить более сложные опросы Дополнительные затраты на участие интервьюера; предвзятость интервьюера, его влияние на ответы
Способ заполнения
Карандаш и бумага Пациент записывает ответы ручкой Затраты и ошибки при вводе данных в электронные базы
Электронный Использование компьютера для ответов; минимизируются ошибки при вводе данных Технологические проблемы для пациента; затраты
Место проведения
Дома Пациент заполняет опросник до или после визита к врачу; обеспечение конфиденциальности медицинской информации Возможны проблемы из-за когнитивного дефицита и необходимости в помощи прокси
Клиника Пациент заполняет опросник в клинике — оценки результата лечения в реальном времени Беспокойство пациента из-за потока других пациентов и медицинского персонала
Литература
1. Guidance for Industry. Patient-Reported Outcome Measures: Use in Medical Product Development to Support Labeling Claims. FDA 2009.
2. Deshpande P.R., Rajan S., Sudeepthi B.L., Nazir A.C.P. Patient-reported outcomes: A new era in clinical research. Perspect Clin Res 2011; 2: 137—144.
3. McKenna S.P. Measuring patient-reported outcomes: moving beyond misplaced common sense to hard science. BMC Medicine 2011; 9: 86.
4. Bradley C. Feedback on the FDA's February 2006 draft guidance on Patient Reported Outcome (PRO) measures from a developer of PRO measures. Health and Quality of Life Outcomes 2006; 4: 78.
5. Willke R.J. Measuring the value of treatment to patients: patient-reported outcomes in drug development. American health & drug benefits. 2008; 2: 34—40.
6. Willke R., Burke B.L., Erickson P. Measuring treatment impact: a review of patient-reported outcomes and other efficacy endpoints in approved labels. Control Clin Trials. 2004; 25 (6): 535—552.
7. Scoggings J.F., Patrick D.L. The use of patient-reported outcomes instruments in registered clinical trials: evidence from ClinicalTrials.gov. Contemp Clin Trials. 2009; 30: 289—292.
8. Patrick D.L., Burke L.B., Powers J.H. et al. Patient-reported outcomes to support medical product labeling claims: FDA perspective. Value Health 2007, 10: (Suppl 2): S125—S137.
9. European Medicines Agency, Committee for Medicinal Products for Human Use (CMHP): Reflection Paper on the Regulatory Guidance for the Use of Health-Related Quality of Life (HRQL) Measures in the Evaluation of Medicinal Products London: European Medicines Agency; 2005.
10. Szende A., Leidy N.K., Revicki D. Health related quality of life and other patient reported outcomes in the European centralized drug regulatory process: a review of guidance documents and performed authorizations of medicinal products 1995 to 2003. Value Health 2005; 8: 534—548.
11. Meadows K. 5 things you need to know about patient reported outcome (PRO) measures. DHP Research 2012.
12. Valderas J.M., Kotzeva A., Espallargues M. et al. The impact of measuring patient-reported outcomes in clinical practice: a systematic review of the literature. Qual Life Res 2008; 17: 179—193.
13. U.S. Food and Drug Administration. Guidance for Industry. Patient-Reported Outcomes Measures: Use in Medical Product Development to Support Labeling Claims. U.S. Department of Health and Human Services, Food and Drug Administration, Center for Drug Evaluation and Research (CDER), Center for Biologics Evaluation and Research (CBER), Center for Devices and Radiological Health (CDRH). February 2006. www.fda.gov/CDER/guidance/5460dft/ pdf. Accessed December 11, 2007.
14. Cella D., Hahn E.A., Jensen S.E. et al. Patient-Reported Outcomes in Performance Measurement. RTI Press. 2015; 97.
15. Marshall S., Haywood K.L., Fitzpatrick R. Impact of patient-reported outcome measures on routine practice: а structured review. J Eval Clin Pract. 2006; 12 (5): 559—568.
16. Nelson E.C., Eftimovska E., Lind C. et al. Patient reported outcome measures in practice. BMJ 2015; 350: g7818.
17. Greenhalgh J. The applications of PROs in clinical practice: what are they, do they work, and why? Qual Life Res 2009; 18: 115—123.
