Инструменты для сбора данных сообщений об исходах от медицинского вмешательства от пациентов (PRO) применяемые в педиатрии и предназначенные для инструкции для медицинского продукта: Отчёт Исследовательской группы ISPOR по разработке Надлежащих Исследовательских Практик о сообщаемых пациентами исходах Текст научной статьи по специальности «Науки о здоровье»

Инструменты для сбора данных сообщений об исходах от медицинского вмешательства от пациентов (PRO) применяемые в педиатрии и предназначенные для инструкции для медицинского продукта:

Отчёт Исследовательской группы ISPOR по разработке Надлежащих Исследовательских Практик о сообщаемых пациентами исходах

Louis S. Matza, PhD1, Donald L. Patrick, PhD, MSPH2, Anne W. Riley, PhD, MS3, John J. Alexander, MD, MPH4, Luis Rajmil, MD, PhD, MPH5, Andreas M. Pleil, PhD6,

Monika Bullinger, PhD7

1 — Outcomes Research, United BioSource Corporation, Bethesda, MD, USA

2 — Department of Health Services, University of Washington, Seattle, WA, USA

3—Johns Hopkins Bloomberg School of Public Health, Baltimore, MD, USA

4 — Division of Anti-Infective Products, FDA, Silver Spring, MD, USA;

5 — IMIM-Hospital del Mar Medical Research Institute, and Catalan Agency for Health Information, Assessment and Quality, Barcelona, Spain

6 — Pfizer Global Pharmaceuticals, Pfizer, Inc., San Diego, CA, USA

7 — Department of Medical Psychology, University Medical Centre Hamburg-Eppendorf, Hamburg, Germany

Переводчики:

Гапешин Роман Андреевич — Медицинский факультет, Санкт-Петербургский государственный университет, Россия Малышев Станислав Михайлович — Медицинский факультет, Санкт-Петербургский государственный университет, Россия

Рецензент:

Колбин Алексей Сергеевич — д.м.н., профессор, Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова, Санкт-Петербург, Российская Федерация

Резюме. Общие сведения: Инструменты для сбора данных сообщений об исходах от медицинского вмешательства от пациентов (PRO) у детей и подростков часто включают в клинические исследования с целью сбора данных, подтверждающие сведения, изложенные в инструкции по применению медицинского продукта. Цель: Целью настоящего отчёта исследовательской группы было создание рекомендаций по надлежащей практики для исследований PRO в педиатрии,

организованных с целью предоставления данных для принятия управленческих решений и подтверждающих сведений, изложенных в инструкции по применению медицинского продукта. Рекомендации основываются на консенсусе междисциплинарной группы исследователей, объединённых в исследовательскую группу, ассоциированную с Международным Обществом Фармакоэкономики и Исследования Исходов (International Society for Pharmacoeconomics and Outcomes Research (ISPOR)). В тех случаях, когда был недостаток доступных сведений или, когда общие принципы неприменимы ко всем ситуациям, настоящая исследовательская группа указывает факторы, которые следует рассмотреть при принятии решений касательно дизайна и использования педиатрических инструментов PRO, при этом обозначая проблемы, требующие дальнейших исследований. Надлежащие Исследовательские Практики: Обсуждены пять надлежащих исследовательских практик: 1). Рассмотреть особенности развития и определить критерии для введения PRO, основанные на возрасте пациента: опираясь на предыдущие исследования, проанализированы четыре возрастные группы (<5 лет, 5-7 лет, 8-11 лети 12-18 лет). Эти возрастные группы рекомендуют в качестве отправной точки при принятии решений. Конкретные возрастные рамки следует определять отдельно для каждой популяции и инструмента PRO; 2). Установить содержательную валидность педиатрических инструментов PRO: в данном разделе обсуждают преимущества привлечения детей в качестве экспертов, а также стратегии выявления концепций и когнитивных интервью с детьми; 3). Определить, необходим ли инструмент PRO: обсуждают отличия между двумя типами (доверительный и обсервационный) опросников, заполняемых опрашиваемыми, и даны рекомендации; 4). Убедиться, что инструмент создан и оформлен соответственно целевой возрастной группе. К рассмотренным факторам относят лексикон, связанный со здоровьем, уровень чтения, шкалы ответов, память, длительность, наглядность, оформление, организационные подходы и электронный сбор данных; 5). Рассмотреть кросс культурные аспекты. Выводы: Для формирования методического руководства для будущих исследований, особенно включающих детей младшего возраста и сообщения от родителей, требуются дополнительные данные. Поскольку, данные PRO всё чаще используются для подтверждения и улучшению информации в инструкции к медицинским продуктам в педиатрии, стоит ожидать новую информацию, касающуюся стандартов, этих инструментов. Использование инструментов PRO в клинических исследованиях и при оформлении заявки на регистрацию медицинского продукта помогут убедиться в том, что переживание ребёнком болезни и процесса лечения адекватным образом отображены и проанализированы при принятии административных решений.

Ключевые слова: подростки, дети, ISPOR, маркировка медицинского продукта, сообщаемые пациентами исходы, педиатрия, PRO, исследовательская группа

Pediatric Patient-Reported Outcome Instruments for Research to Support Medical Product Labeling: Report of the ISPOR

Good Research Practices for the Assessment of Patient-Reported Outcomes in Children and Adolescents Task Force

Abstract. Patient-reported outcome (PRO) instruments for children and adolescents are often included in clinical trials with the intention of collecting data to support claims in a medical product label. The purpose of the current task force report is to recommend good practices for pediatric PRO research that is conducted to inform regulatory decision making and support claims made in medical product labeling. The recommendations are based on the consensus of an interdisciplinary group of researchers who were assembled for a task force associated with the International Society for Pharmacoeconomics and Outcomes Research (ISPOR). In those areas in which supporting evidence is limited or in which general principles may not apply to every situation, this task force report identifies factors to consider when making decisions about the design and use of pediatric PRO instruments, while highlighting issues that require further research. Five good research practices are discussed: 1) Consider developmental differences and determine age-based criteria for PRO administration: Four age groups are discussed on the basis of previous research (<5 years old, 5-7 years, 8-11 years, and 12-18 years). These age groups are recommended as a starting point when making decisions, but they will not fit all PRO instruments or the developmental stage of every child. Specific age ranges should be determined individually for each population and PRO instrument. 2) Establish content validity of pediatric PRO instruments: This section discusses the advantages of using children as content experts, as well as strategies for concept elicitation and cognitive interviews with children. 3) Determine whether an informant-reported outcome instrument is necessary: The distinction between two types of informant-reported measures (proxy vs. observational) is discussed, and recommendations are provided. 4) Ensure that the instrument is designed and formatted appropriately for the target age group. Factors to consider include health-related vocabulary, reading level, response scales, recall period, length of instrument, pictorial representations, formatting details, administration approaches, and electronic data collection (ePRO). 5) Consider cross-cultural issues. Additional research is needed to provide methodological guidance for future studies, especially for studies involving young children and parents' observational reports. As PRO data are increasingly used to support pediatric labeling claims, there will be more information regarding the standards by which these instruments will be judged. The use of PRO instruments in clinical trials and regulatory submissions will help ensure that children's experience of disease and treatment are accurately represented and considered in regulatory decisions.

Keywords: adolescents, children, ISPOR, medical product labeling, patient-reported outcomes, pediatrics, PRO, task force

Об Исследовательской Группе

В марте 2009 года Совет по Стратегии в области Науки о Здоровье ISPOR (ISPOR Health Science Policy Council) реко-

мендовал Совету Директоров ISPOR собрать Исследовательскую группу ISPOR по разработке Надлежащих Исследовательских практик о сообщаемых пациентами исходах (PRO) (ISPOR Good Research Practices Patient-Reported Outcomes Task Force), чтобы целенаправленно изучить оценку сообщаемых пациентами исходов у детей и подростков. Совет Директоров одобрил формирование Исследовательской группы по PRO в марте 2009 года. Председатель (доктор Матза) и сопредседатель (доктор Патрик) Педиатрической Исследовательской Группы по PRO выбрали членов исследовательской группы, исходя из их опыта в оценке PRO и исследованиях, касающихся детей и подростков. Участники были отобраны таким образом, чтобы был представлен широкий спектр мнений, в том числе правительства (Управление по санитарному надзору за качеством пищевых продуктов и медикаментов Соединённых Штатов Америки), научного сообщества, исследовательских организаций и фармацевтической промышленности. Кроме того, исследовательская группа характеризовалась международным участием, в её состав входили представители Германии, Испании и Соединённых Штатов Америки.

Первоначально Исследовательская Группа собиралась примерно каждые два месяца с помощью телеконференций, чтобы разработать основные положения и обсудить темы, которые должны войти в отчёт. Личные встречи прошли в Новом Орлеане в Октябре 2009 года и в Атланте в мае 2010 года, где эти темы обсуждались далее и был достигнут консенсус по части рекомендаций. Кроме того, председатель исследовательской группы неоднократно проводил индивидуальные телеконференции с членами группы, участвовавшими в формировании черновой версии отчёта. Всеми членами группы было просмотрено множество вариантов отчёта и регулярно предоставлялись отзывы на них в устной и письменной форме.

Предварительные выводы и рекомендации были представлены на форуме в рамках 15-й Ежегодной Международной Конференции ISPOR в мае 2010 года. Дополненные выводы и рекомендации были представлены на форуме в рамках 17-й Ежегодной Международной Конференции ISPOR в июне 2012 года. Комментарии, полученные в ходе этих двух форумов, были учтены в последующих версиях отчёта.

Черновая версия данного отчёта была предоставлена Обзорной Группе ISPOR (включавшей более 400 участников) в марте 2012 года. Проверенный черновик был предоставлен всему сообществу ISPOR в январе 2013 года. В ходе этих двух этапов обзора было получено свыше 250 письменных комментариев от 40 членов ISPOR. Письменные комментарии также пересылали участниками различных регуляторных и финансовых органов, в том числе тремя рецензентами из Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), одному из Института качества и эффективности в здравоохранении Германии (Institute for Quality and Efficiency in Health Care (IQWiG)) и представителем французского Национального бюро здоровья (Haute Autorité de Santé [HAS]) и Европейской сети по оценке технологий здравоохранения (EUnetHTA).

Все комментарии были рассмотрены, большинство из них были существенные и конструктивные. В дальнейшем, комментарии обсуждали исследовательской группой в ходе нескольких телеконференций и соответствующим образом учитывали в рецензированных версиях отчёта. Когда все участники исследовательской группы достигли согласия, окончательная версия отчёта была опубликована в «Value in Health» в апреле 2013 года.

Все письменные комментарии опубликованы на веб-сайте ISPOR на веб-странице исследовательской группы: http:// www.ispor.org/TaskForces/PROChildrenAdolescents.asp. Отчёт и веб-страница исследовательской группы также доступны на официальном сайте ISPOR (www.ispor.org) через фиолетовое меню Инструментов для Исследования, Надлежащие Практики для Исследования Исходов, рубрика: Методы изучения исходов, ориентированных на пациента и описанные клиницистом, ссылка: Оценка PRO у детей и подростков. Также на веб-странице исследовательской группы доступен список рецензентов.

Введение

Инструменты, с помощью которых получают информацию, сообщаемых пациентами исходов (PRO) подразумевает сбор сведений о состоянии здоровья напрямую от пациента без интерпретации его мнения клиницистом, исследователем или кем-либо ещё [1, 2]. Многие аспекты заболеваний известны только самим пациентам, и прямая оценка точки зрения необходима для чёткого понимания переживания больным заболевания и процесса лечения. В последние годы стали подчёркивать важность систематической разработки и валидации инструментов PRO для использования в клинических исследованиях, оценивающих эффективность медицинского продукта. Инструменты PRO часто включают в клинические

исследования с целью сбора данных, подкрепляющих сведения о медицинском продукте в инструкции по его применению [3, 4].

Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (The US Food and Drug Administration (FDA)) и Европейское агентство лекарственных средств (European Medicines Agency (EMEA)) опубликовали руководства по оценке PRO. Руководство FDA, опубликованное в предварительном варианте в 2006 году и завершённое в 2009 году, оказало существенно влияние на финансируемые фармацевтической индустрией исследования PRO [1]. Данное руководство содержит обзор использования PRO в контексте разработки медицинских продуктов, а также рекомендации по созданию и оценке таких методов. Неболь-

шой раздел руководства посвящен инструментам PRO, пригодным для использования в отношении детей и подростков (Раздел III.G.1). Он начинается с утверждения, что «проблемы, связанные с процессом разработки педиатрических инструментов PRO те же, что и обозначенные для взрослых». Далее, в разделе отмечается, что использование инструментов PRO в педиатрических популяциях ставит особые задачи, не возникающие при исследовании PRO у взрослых. Упомянуто несколько задач, в том числе соответствующий возрасту лексикон, понимание концепции здоровья, необходимость определения нижнего возрастного порога, начиная с которого дети могут давать надёжные и ценные описания, и соответствующее использование ответов, данных не самими пациентами, а другими информантами.

Как и FDA, EMA дала рекомендации для изучения PRO, особенно в отношении оценки качества жизни, связанного с состоянием здоровья (health-related quality of life (HRQOL)) [5]. Руководство EMA, тем не менее, не рассматривает применение инструментов PRO для детей и подростков. В целом, существует лишь ограниченное количество доступных руководств по исследованиям, включающим оценку PRO в педиатрии при разработке медицинских продуктов.

Таким образом, целью настоящего отчёта исследовательской группы было рекомендовать надлежащие практики для исследований PRO в педиатрии, направленных на предоставление информации для принятия управленческих движений и поддержку сведений в инструкции к медицинскому продукту. Рекомендации в данном отчёте основаны на консенсусе междисциплинарной исследовательской группы, ассоциированной с Международным Обществом по Фармакоэкономике и Исследованию Исходов (International Society for Pharmacoeconomics and Outcomes Research (ISPOR)). Надлежащие исследовательские практики суммированы в табл. 1.

Проблемы, связанные с выбором, разработкой и применением инструментов PRO для детей и подростков, были изложены и проанализированы во многих публикациях [6—22]. Несколько статей и глав книг также содержали списки и разборы универсальных и специфичных для того или иного заболевания инструментов PRO для детей и подростков [6, 9, 14, 23—28]. Настоящий отчёт исследовательской группы отличается от этих работ сосредоточенностью на инструментах PRO в педиатрии в контексте разработки и регистрации медицинских продуктов.

Рекомендации в этом отчёте основаны, насколько это было возможно, на опубликованных исследованиях. Оценка PRO в педиатрии, тем не менее, является развивающимся направлением исследований, и эмпирические данные ограничены для некоторых аспектов дизайна, разработки, валидации и применения инструментов. Таким образом, на сегодняшний день невозможно дать чёткие рекомендации по

некоторым проблемам, изложенным в настоящем отчёте. В таких ситуациях в отчёте исследовательской группы обсуждается дизайн и использование инструментов PRO для детей и подростков. Кроме того, данный отчёт подчёркивает те сферы, в которых для развития оценки PRO в педиатрии необходимы дальнейшие исследования.

Педиатрическая литература, посвящённая PRO, часто уделяет внимание вопросам особенностям развития и возрастным ограничениям [16, 21, 29, 30]. Например, в каком возрасте дети впервые могут описать состояние своего здоровья, и когда дети могут работать с более абстрактными понятиями? Наша исследовательская группа не считает, что возможно ввести возрастные рамки, которые можно будет использовать во всех ситуациях. Для каждого отдельного исследования или измерения PRO ответ на все эти вопросы о возрасте будут зависеть от множества факторов, в том числе от оцениваемой концепции, формата инструмента, степени независимости, требующейся от респондентов (например, анкеты для самостоятельного заполнения либо измерения, осуществляемые интервьюером) и характеристик интересующей популяции (например, медицинское или психиатрическое состояние). Определение возрастных ограничений также осложняется существенной вариабельностью когнитивного уровня в пределах любой отдельно взятой возрастной группы, а также возможными половыми различиями в восприятии и поведении в условиях заболевания [31].

Несмотря на перечисленные проблемы, представляется возможным предложить рекомендации, касающиеся способностей детей в различных возрастных группах на основании исследований в области психометрии и когнитивного развития. В то время как не существует возрастных ограничений, подходящих для всех инструментов PRO, необходимо обсудить общие возрастные рамки, чтобы суммировать данные научной литературы и выработать практические рекомендации. Исследовательская группа считает, что педиатрические выборки можно разделить на четыре общие возрастные группы с точки зрения оценки PRO для оценки медицинских продуктов, но эти возрастные группы следует использовать лишь в качестве отправной точки для принятия решений. Конкретные возрастные рамки должны быть определены индивидуально для каждого инструмента PRO, и возрастные группы для инструмента PRO следует испытывать при помощи когнитивных интервью всякий раз, когда инструмент начинает использоваться для новой целевой популяции.

Кроме того, как уже упоминалось, дети в пределах каждой возрастной группы, скорее всего, будут различаться по способности достоверно проходить опросники. Исследователям потребуется иметь представление об этих различиях на этапе сбора данных. В то время как некоторые исследования полагаются

Таблица 1

Надлежащие исследовательские практики, рассмотренные в данном отчёте исследовательской группы PRO

Надлежащие Исследов ательские Практики Комментарии и Рекомендации

Рассмотреть особенности развития и определить критерии для введения PRO, основанные на возрасте пациента Были проанализированы четыре возрастные группы. Их следует использовать в качестве отправной точки для принятия решений. Определить возрастные диапазоны для каждой ситуации невозможно. Конкретные возрастные диапазоны определяются индивидуально для каждого инструмента PRO и проверяются с помощью когнитивных интервью в каждой новой целевой популяции. Младше 5 лет: Отсутствие чёткого подтверждения надёжности или валидности показателей сообщений от детей. 5-7 лет: Сбор сообщений от детей возможен, но надёжность и валидность зачастую сомнительны. 8-11 лет: Повышение надёжности и валидности сообщений от детей 12-18 лет: Собственные сообщения оказываются предпочтительными.

Установить валид-ность содержания инструментов PRO в педиатрии Дети и подростки могут быть эффективными экспертами по материалам. В большинстве случаев, детей следует включать в качественные исследования, направленные на установление содержательной валидности педиатрических PRO. С предполагаемым респондентом надлежит проводить когнитивные интервью. Детей следует интервьюировать по поводу сообщений от детей, а родителей — по поводу сообщений от родителей. Содержательную валидность следует демонстрировать для узких возрастных подгрупп.

Определить, необходим ли инструмент сообщённых информантом исходов Описанные информантом исходы включают доверительные и наблюдаемые опросники. Когда дети в целевой возрастной группе способны самостоятельно воспользоваться инструментом PRO, следует использовать данные сообщений от детей. Во-вторых, когда дети в целевой возрастной группе не способны пройти опросник PRO, следует использовать данные сообщений от информантов. Данные сообщений от информантов, насколько это возможно, должны оценивать наблюдаемые материалы.

Убедиться, что инструмент создан и оформлен соответственно целевой возрастной группе Лексикон и уровень чтения с учётом состояния здоровья Шкала ответа Период воспроизведения Длительность инструмента Графические изображения Оформление Административные аспекты Сбор электронных данных ^PRO)

Рассмотреть крос-скультурные проблемы Содержательная валидность и подход к изучению педиатрического инструмента PRO нужно будет перепроверять в условиях каждой новой культуры.

Надлежащие исследовательские практики по разработке и применению педиатрических инструментов PRO

Надлежащая исследовательская практика 1: Рассмотреть особенности развития и определить критерии для использования PRO, основанные на возрасте пациента

на мнение интервьюеров или сборщиков данных, более стандартизированный подход подразумевает изучение способности детей участвовать в оценке PRO. Например, недавнее исследование оценивало уровень чтения у каждого ребёнка с помощью Индикатора Уровня Чтения от American Guidance Service (AGS) [32]. Детям, демонстрировавшим способность к чтению не ниже уровня четвёртого класса, предлагали заполнить анкету письменно. Дети, не достигшие этого уровня, проходили интервью. Этот скрининговый подход основывается на идее о том, что каждое умение ребёнка, а не собственно возраст, должен определять возможность и способ измерения PRO. Наша исследовательская группа считает крайне важным дальнейшее исследование методов скрининга способностей к прохождению инстру-

ментов PRO и путей решения проблемы их вариабельности в возрастных группах.

Также следует отметить, что общепринятых определений детства и подросткового возраста не существует. Определения различаются в зависимости от культуры и законодательства. Определение, принятое Всемирной Организацией Здравоохранения [33], впервые появилось в Статье 1 Конвенции Организации Объединённых Наций о правах ребёнка: «Ребёнком является каждое человеческое существо до достижения 18-летнего возраста» [34]. Центры по контролю и профилактике заболеваний цитировали это определение по крайней мере один раз [35], но другой документ Центров по контролю и профилактике заболеваний касался более широкой группы лиц до 19 лет [36]. Старшую часть этого диапазона,

начиная приблизительно с 12-13 лет, обычно называют «подростковым возрастом» [37, 38]. Признавая нечёткость и изменчивость данных определений, наша исследовательская группа работает в первую очередь в возрастном диапазоне от 0 до 18 лет. В настоящем отчёте термин «подростковый возраст» относится к лицам строго от 12 до 18 лет, в то время как термин «младший возраст» в целом касается детей до 8 лет.

Возрастная группа 1 (младше 5 лет)

Первая возрастная категория начинается с момента рождения и включает новорождённых и детей преддошкольного и дошкольного возраста. Хотя для детей младше 5 лет разработаны инструменты для самостоятельно сообщаемых исходов, чётких данных о надёжности или валидности изучения таких описаний получено не было [39]. Таким образом, оценка состояния здоровья в самой младшей возрастной группе должна основываться на клиническом обследовании и обсервационных сообщениях родителей или других взрослых.

Возрастная группа 2 (5-7 лет)

Вторая возрастная категория включает детей младшего возраста от 5 до 7 лет. Детям этого возрастного диапазона доступны общие и специфичные для отдельных заболеваний методы самостоятельных сообщений для оценки состояния здоровья, в том числе симптомов и HRQOL [9, 10, 14, 24, 27, 28, 40]. Некоторые исследователи высказываются за прямую оценку точки зрения ребёнка в этой возрастной группе [8, 30, 41], существует несколько статей с доступными психометрическими данными уже в пятилетнем возрасте. Например, дети пяти лет, проходившие Педиатрический опросник качества жизни (Pediatric Quality of Life Questionnaire (PedsQL)), широко используемый для общего измерения HRQOL, дали минимальное количество нерелевантных результатов (2,8%) и надёжную внутреннюю непротиворечивость с суммарной альфой Кронбаха 0,86 для всех 23-х параметров [21]. Тем не менее, эти данные не подтверждаются другими исследованиями с куда менее обнадёживающими психометрическими результатами. При валидации версии с сообщениями детей Профиля детского здоровья и болезни (Child Health and Illness Profile (CHIP-SE)) надёжность внутренней непротиворечивости и воспроизводимости результатов для детей от 6 до 7 лет оказалась ниже общепринятых пределов (то есть <0,70) для трёх или двух подшкал (альфы Кронбаха для множественных подшкал варьировались от 0,64 до 0,83; коэффициенты внутригрупповой корреляции [КВК] = 0,350,69), однако статистика надёжности была значительно лучше в группе 8-11 лет (альфы Кронбаха =

0,72-0,85; КВК = 0,71-0,80) [42]. Аналогично, разработчики процедур самостоятельных сообщений для детей с эпилепсией указали на повышение надёжности воспроизводимости с 6-7 лет (КВК = 0,18-0,52) до 8-15 лет (КВК = 0,59-0,69) [43]. Более того, обзор 53-х опросников самостоятельных сообщений, связанных со здоровьем, у детей до 8 лет указывает на то, что только 51% опросников соответствовал минимальным стандартам надёжности внутренней непротиворечивости (альфа Кронбаха = 0,70) и лишь 23% опросников соответствовали стандартам надёжности воспроизводимости (КВК = 0,70) [24]. Основанная на доступных данных, полученных от детей младшего возраста, надёжность воспроизводимости представляется особенно проблематичным параметром, в то время как надёжность внутренней непротиворечивости обычно оказывается ближе к общепринятым стандартам.

В добавок к сомнениям в надёжности, некоторые данные указывают на то, что многие дети в возрасте от 5 до 6 лет, возможно, не пользуют все пять пунктов обычной шкалы Лайкерта. Напротив, они больше доверяют вариантам в середине или в конечных точках шкалы, как если бы она состояла из трёх пунктов [19, 44]. У детей этой возрастной группы также может быть ограничен лексикон, связанный со здоровьем. Исследование с использованием когнитивных интервью показало, что понимание детьми терминов, широко используемых в опросниках состояния здоровья (например, «нервный», «энергия» и «боль»), обычно ограничен в возрасте 5 лет, но затем постепенно расширяется с 6 до 8 лет (рис. 2) [19].

Health-Related Terms ^^»Pairi

Energy

— — Healthy Enough

-Comfortable

^m Nervous

Рис. 2. Возрастные различия в понимании ребёнком терминов, связанных со здоровьем

Данные из Qual Life Res, 10, Rebok G, Riley A, Forrest C, et al., Elementary school-aged children's reports of their health: a cognitive interviewing study, 59-70, 2001. С любезного разрешения Springer Science and Business Media.

Исследования возможностей когнитивной обработки указывает на то, что данные PRO, предоставленные детьми в этом возрастном диапазоне, могут быть полезны для оценки некоторых концепций, но должны интерпретироваться с осторожностью [29,

45]. Дети в возрасте от 5 до 7 лет, как правило, понимают, что значит чувствовать себя здоровым/нездоровым или хорошо/плохо, и обычно способны применить это знание к самим себе, часто с некоторыми особенностями. Также предполагают, однако, что дети в этом возрастном диапазоне могут иметь неравные когнитивные возможности (то есть выраженные способности в одном когнитивном домене, например, в распознавании слов, но слабые в другом, например, во внимании). Более того, некоторые дети могут быть медлительными, неумелыми или склонными к ошибкам при выборе варианта ответа, наилучшим образом выражающего их точку зрения [29, 45].

В целом, хотя анкеты самостоятельного сообщения могут быть полезны для сбора информации о здоровье детей в возрасте от 5 до 7 лет, накопленные данные позволяют усомниться в надёжности и точности их ответов. Для инструментов PRO, которые предполагают использовать в принятии решений, им нужно продемонстрировать валидность материалов и соответствующие психометрические свойства в целевом возрастном диапазоне, что может быть затруднительно в этой возрастной группе. Вероятность выявления приемлемых свойств измерения для детей в возрасте от 5 до 7 лет может быть повышена путём использования или создания анкет PRO, оценивающих простые концепции с понятным изложением, лексиконом, соответствующим возрасту, и меньшим числом вариантов ответа по сравнению с опросниками для старших детей. Если в данной возрастной группе продемонстрировать адекватные свойства анкеты невозможно, можно воспользоваться анкетами исходов, описанных информантом, заполняемыми родителями или другими взрослыми (см. Надлежащая Клиническая Практика 3 в этом отчёте исследовательской группы). Мы призываем к дальнейшему исследованию процедур PRO, выполняемых детьми, в надежде, что опыт и точка зрения детей может быть рассмотрена в ходе принятия решений.

Возрастная группа 3 (8-11 лет)

Третья возрастная группа состоит из старших детей, примерно от 8 до 11 лет. Способность детей независимо проходить анкетирование о состоянии здоровья, как считают, в этом возрастном диапазоне расширяется. Как было указано ранее в обсуждении возрастной группы 2, в ходе нескольких исследований среди детей в возрасте от 8 лет и старше была выявлена повышенные по сравнению с младшими группами надёжность, понимание слов, связанных со здоровьем, владение шкалами Лайкерта [19, 42, 43]. Самостоятельные сообщения детей в старшем возрастном диапазоне нередко соответствуют общепринятым стандартам надёжности универсальных и специфичных для заболевания методов измерения [21, 27, 46].

Результаты недавнего исследования, основанного на использовании когнитивных интервью и проведённого группой педиатров из Patient Reported Outcomes Measurement Information System (PROMIS), указали на наличие соответствующих умений у детей в этой возрастной группе [47]. Выборка в этом качественном исследовании, опиравшемся на педиатрический круг понятий, включала 24 ребёнка в возрасте 8-9 лет. Подобно подросткам, дети в этой возрастной группе были способны воспринять большинство понятий, вариантов ответа, инструкций и время воспроизведения при встрече с трудными для понимания словами.

Изучение умственного развития детей также предоставляет данные в поддержку методологии самостоятельных сообщений для детей, начиная с диапазона от 8 до 11 лет [29]. На этом этапе развития у детей формируются когнитивные способности, необходимые для прохождения опросников о здоровье. К ним относят: 1). понимание концепций здоровья; 2). способность к самоконтролю, в том числе к поддержанию внимания, минимизации недовольства и избеганию отвлекающих факторов; 3). способности к когнитивной обработке, в том числе к пониманию задания, удержанию вопроса в рабочей памяти в течение времени, достаточного для дачи ответа, оценке применимости вопроса к респонденту, оценке различий между вариантами ответа и выбору оптимального варианта [29].

В целом, проводят всё больше и больше исследований, подтверждающих осуществимость и надёжность самостоятельных сообщений от детей в возрасте 8-11 лет. Таким образом, оказывается возможным использование данных самостоятельных сообщений от этой возрастной группы в исследованиях, направленных на оценку медицинского продукта. Как и для всех остальных контрольных точек PRO, необходим тщательный качественный анализ, чтобы убедительно показать способность детей этой возрастной группы к пониманию инструментов PRO.

Возрастная группа 4 (12-18 лет)

Четвёртая возрастная группа включает в себя подростков примерно от 12 лет. Большинство подростковых PRO разработаны и валидированы для респондентов в возрасте 16, 17 или 18 лет [27]. Учитывая, что инструменты самостоятельных сообщений для подростков соответствуют общепринятым психометрическим стандартам, их использование не должно быть сопряжено с особыми сложностями [21, 28, 46]. Тем не менее, основная проблема в разработке инструментов PRO для подростков заключается в фиксации релевантного данной возрастной группе контента. Хотя элементы оценки симптомов могут быть теми же, что используются для взрослых, разработчикам инструментов для оценки влияния

симптома или функционального статуса следует принимать во внимание уникальные социальные и эмоциональные аспекты данного периода развития. Это было показано в качественном исследовании, проводившегося с использованием фокус-групп и интервьюирования подростков 12-18 лет, целью которого был сбор концепций инструмента для измерения качества жизни [48]. Полученная концептуальная модель выдвигает на первый план уникальность подросткового возраста, с широким спектром соответствующих концепций: поддержка взрослыми, свобода, взаимоотношения со сверстниками, самоидентификация, духовность, удовлетворённость жизнью, финансовые средства, видение будущего и образование. Многие из этих областей более сложны, нежели концепции, которые могут включаться в инструменты для детей до 12 лет. Кроме того, такие сферы, как взаимоотношения со сверстниками, видение будущего и образование могут включать контент, отличающийся от используемого в инструментах PRO у взрослых. Таким образом, многие материалы PRO вряд ли подойдут подросткам. Определение подходящего состава элементов для данной возрастной группы осложняет гетерогенность в этом возрастном диапазоне. Например, контент, релевантный для 18-летнего, не обязательно релевантен для 12-летнего. В целом, материалы самостоятельных сообщений у подростков зачастую указывают на психометрические качества, необходимые в качестве ключевой контрольной точки в клинических исследованиях. В то же время, качественным исследованиям также потребуется демонстрировать, что конкретный инструмент обладает содержательной валидностью, специфичной для целевой возрастной группы.

Лица старше 18 лет в целом проходят PRO, разработанные для использования во всех взрослых возрастных группах. Однако может оказаться полезным анализ релевантности инструментов, ранее валидированных для молодых взрослых, обладающих собственными характеристиками. Исследователи предполагают, что возраст от 20 до 29 лет может рассматриваться как «ранняя взрослость» [49, 50]. Этот этап жизни, по-видимому, связан с задачами, особенными с точки зрения уровня независимости, личности, карьерного роста и взаимоотношений. Исследования, касающиеся развития и адаптации на данном этапе, будут публиковаться в новом научном журнале "Emerging Adulthood", первый выпуск которого ожидается в 2013 году. Некоторые процедуры PRO для взрослых могут потребовать качественного анализа с целью подтверждения содержательной валидности всех элементов для данной переходной возрастной группы.

В целом, при разработке новых инструментов PRO или использовании существующих инструментов для исследований, включающих оценку медицинского продукта, необходимо продемонстриро-

вать возрастную целесообразность инструмента для целевой популяции. Возрастная целесообразность PRO должна быть обоснована совокупностью качественных и количественных исследований. В первую очередь следует провести когнитивные интервью, чтобы проверить, все ли аспекты инструмента подходят для целевой возрастной группы. Эти интервью должны оценить мнение респондента об уровне словаря, содержимом элементов, периоде воспроизведения, вариантах ответов, инструкциях, понятности, релевантности и чёткости формулировок. Такое качественное исследование следует проводить на выборке адекватного объёма на верхней и нижней границе целевого возрастного диапазона, чтобы показать, что имеется достаточно данных для установления выбранных возрастных рамок. Далее может быть проведён качественный анализ для оценки психометрических характеристик инструмента для выборки, соответствующей заданному возрастному диапазону детей в запланированных клинических исследованиях.

Надлежащая исследовательская практика 2: установить содержательную валидность педиатрических инструментов PRO

Дети как эксперты содержания

В последние годы установление содержательной части подчёркивается в качестве критического этапа разработки и валидации инструментов PRO [1, 51, 52]. Существуют различные определения содержательной валидности [53], но определение, предложенное предыдущей исследовательской группой ISPOR, представляется соответствующим большинству источников, в том числе руководству FDA: «Степень, с которой инструмент содержит релевантные и значимые аспекты изучаемой с его помощью концепции» [54]. Также достигнуто согласие в том, что содержательная валидность устанавливается в первую очередь посредством качественного анализа, включающего прямые входные данные от целевой популяции.

Подобное качественное исследование, детально описанное ранее, принципиально проводить в два последовательных этапа: выявление концепций и когнитивные интервью [1, 55, 56]. В первую очередь с целью формирования совокупности элементов проводят когнитивные интервью или фокус-группы по выявлению концепций [51]. Руководства по полуструктурированным интервью и обсуждениям фокус-групп обычно основываются на информации из обзора литературы и клинических интервью. На стадии выявления концепций пациенты способствуют обнаружению концепций и словаря, использующихся для элементов процедуры PRO. В ходе выявления концепций для педиатрических процедур PRO осо-

бенно важно идентифицировать особый язык, с помощью которого пациенты описывают свою болезнь и лечение, поскольку дети и подростки могут пользоваться иными словами, нежели взрослые. Информацию, накопленную при выявлении концепций, следует использовать для поддержки концептуальной схемы инструмента, представляющей собой диаграмму, отражающую взаимоотношения между элементами, областями и концепциями, исследуемыми инструментом [1]. Важно, чтобы концептуальная схема педиатрического инструмента была специфична для целевой возрастной группы, а не являлась копией или аналогом концептуальной схемы для взрослых [14].

После составления схемы инструмента, вторым этапом является проведение когнитивных интервью с целью оценки и коррекции черновой версии инструмента на основании восприятия пациентами релевантности, чёткости и понятности материалов [52, 57]. Данные мероприятия по качественному анализу считают необходимыми для установления содержательной валидности, которую невозможно продемонстрировать путём количественного психометрического анализа. Руководство FDA даёт детальные рекомендации касательно методов определения содержательной валидности, но оно не рассматривает концептуальные или методологические проблемы, характерные для её оценки в педиатрических исследованиях.

Несмотря на призыв FDA к предоставлению документации по содержательной валидности, основанной на мнении пациента [1], исследователи по-прежнему избегают разрабатывать инструменты PRO на основе прямых данных от детей. Содержательная валидность педиатрических измерений, основанных на сообщениях детей и родителей, часто обосновывается данными, полученными не от детей, а от родителей или клинических экспертов [58—61]. Всё больше исследований, однако, указывают на то, что дети и подростки могут быть эффективными экспертами содержания инструмента [62—65]. Например, в одном исследовании изучали использование подростков как «опытных экспертов» при установлении содержательной валидности, и авторы пришли к выводу, что данные от подростков обеспечивали большую релевантность PRO для целевой популяции [66]. Понятно, что существуют ситуации, когда невозможно выяснить точку зрения ребёнка, к примеру, если целевая популяция слишком молода или если её когнитивный статус не позволяет читать, понимать или отвечать на вопросы о состоянии здоровья [67, 68]. Однако если дети способны обсуждать состояние своего здоровья, они могут обладать некой особенной точкой зрения, основанной на личном опыте, неизвестном клиницистам и родителям.

Как и для взрослых PRO, оценка точки зрения ребёнка в ходе выявления концепций и генерации элементов необходима для того, чтобы убедиться в релевантности и понятности материала педиа-

трических PRO для целевой аудитории. Более того, имеются некоторые аспекты восприятия и влияния симптомов, известные только самим пациентам [2]. Таким образом, мы рекомендуем либо включать детей в качественные исследования для установления валидности педиатрических PRO, либо предоставлять обоснование для исключения детей из исследования. При планировании и усовершенствовании материалов качественные данные от детей должны рассматриваться наряду с сообщениями родителей, клиницистов и/или экспертов.

Центральная роль окружения ребёнка

Для педиатрических и взрослых PRO базовые принципы и методология валидности контента одинаковы. Оценка валидности контента для педиатрических материалов, тем не менее, связана с отдельными концептуальными сложностями и методологическими проблемами, не встречающимися при разработке материалов для взрослых популяций. Во-первых, ранние фазы установления валид-ности контента сфокусированы на выявлении целевой концепции материала PRO и «содержимого» элементов. При проведении исследования для выявления концепций и элементов для педиатрического инструмента необходимо рассмотреть центральную роль контекста в развитии ребёнка. Дети встроены во множество социальных сред, которые могут отличаться от таковых у взрослых. Эти среды включают семью, сверстников, школу, внешкольные занятия и общество [16, 69]. Влияние болезни и лечения, а также релевантность отдельных симптомов могут отличаться в каждой из этих сред. Например, некоторые симптомы относительно слабо влияют на взрослых, но в то же время ограничивают для ребёнка возможность участвовать в занятиях спортом или повседневными делами со сверстниками. Таким образом, при разработке педиатрических инструментов PRO, исследователи должны рассматривать релевантность и влияние симптомов и лечения внутри этих сред. Хотя родители могут иметь свою точку зрения на восприятие ребёнком своего здоровья дома, только сами дети могут дать полную картину, со всеми средами и социальными группами. Следовательно, чтобы обеспечить адекватность оценки инструментом всех важных аспектов заболевания и его лечения, при установлении содержательной валидности должна учитываться точка зрения ребёнка.

Выявление концепций и генерация элементов

Процедуры для выявления концепций и генерации элементов детально обсуждали ранее [51]. Однако исследования по выявлению концепций у детей сопряжены с дополнительными методологическими трудностями, не встречающимися при проведении

качественных исследований во взрослой популяции. Во-первых, мы рекомендуем проводить такие качественные исследования с разными типами респондентов, в том числе с самими детьми. Как указывалось, ранее, детей следует включать на как можно более ранних этапах установления содержательной валидности, особенно в ходе разработки инструмента фиксирования сообщений от детей. Ещё одним важным источником информации являются клиницисты, особенно педиатры, медсёстры педиатрических отделений и другие медицинские работники. При разработке педиатрических PRO необходимо проконсультироваться с клиницистами, имеющими опыт в лечении детей, а также в лечении данного заболевания. Родители или ответственные опекуны также являются существенным источником информации, особенно при разработке материалов для детей младшего возраста или анкет для родителей. Наконец, при оценке таких заболеваний как синдром дефицита внимания и гиперактивности, приобретающих особое значение в условиях школы, у учителей может быть особый взгляд на детские симптомы и их влияние на социальную и познавательную деятельность. В целом, содержательная валидность педиатрических PRO должна базироваться на качественных данных, полученных как от пациентов, так и от других информантов, например, родителей или клиницистов.

Исследования по выявлению концепций могут проводиться в формате индивидуальных интервью или фокус-групп, и каждый из этих подходов обладает преимуществами [51]. К примеру, фокус-группы позволяют исследователям опрашивать много пациентов за раз, в то время как пациенты могут пользоваться идеями других респондентов, чтобы высказывать свою точку зрения. У взрослых пациентов фокус-группы дают возможность участникам общаться друг с другом, что даёт больше информации о состоянии пациентов [56]. Однако некоторые проблемы, связанные с работой в группах, возникают чаще у детей и подростков, нежели у взрослых. Например, некоторые дети младшего возраста отвлекаются в большей степени, чем старшие дети или взрослые. Сообщения от детей могут быть подвержены влиянию сверстников или социально приемлемого смещения, что приводит к менее точному описанию симптомов и переживаний. Кроме того, из-за различного рода давления социума, возникающего в детстве и подростковом возрасте, педиатрические респонденты могут стесняться говорить откровенно в условиях группового обсуждения.

При проведении фокус-групп исследователи должны принимать меры, чтобы дети и подростки делились точной и правдивой информацией о своём здоровье. Например, хотя многие медицинские проблемы у взрослых могут обсуждаться в смешанных по полу группах, дети и подростки могут чув-

ствовать себя комфортнее и быть более открытыми в несмешанных группах, особенно при обсуждении таких тем как сексуальная активность или подростковые проблемы, связанные с взрослением. Исследователям также следует определить, может ли данное медицинское состояние вызывать стыд, неловкость или смущение. Например, подростки могут избегать обсуждения трудностей, которые они испытывают из-за ожирения, в кругу сверстников, и одно качественное исследование показало, что дети с заболеваниями стоп и голеностопных суставов стеснялись вида своей обуви, отличавшейся от обуви других детей [62]. Взрослые также могут стесняться обсуждать некоторые темы в присутствии других пациентов, но эта стеснительность или неловкость вызывает наибольшие сложности у детей и подростков.

Хотя индивидуальные интервью проигрывают методу фокус-групп по скорости, они также могут быть использованы для сбора более детальной информации о переживаниях индивидуума. Интервью могут быть более эффективны, чем фокус-группы, для чувствительных тем, вызывающих дискомфорт при обсуждении на публике. Кроме того, в отличие от результатов фокус-групп, данные индивидуальных интервью точно представляют каждого респондента при составлении таблицы или сетки насыщения для установления валидности контента (см. предыдущий отчёт исследовательской группы ISPOR о таблицах насыщения; Patrick et al. [51]). Напротив, при анализе данных фокус-групп, зачастую непросто выяснить точное число пациентов, сообщивших о некотором симптоме или воздействии.

Настоящая исследовательская группа рекомендует при разработке детских PRO проводить интервью по выявлению концепций у детей по возможности без родителей. Если во время интервью ребёнок чувствует себя некомфортно в отсутствие родителей, следует позволить родителям присоединиться к ребёнку в комнате интервью, но при этом не давать им участвовать в самом процессе беседы. Родителей также можно попросить сесть позади ребёнка, чтобы исключить возможность зрительного контакта с ребёнком или непреднамеренного влияния на его ответы. Кроме того, иногда опросник может быть составлен для пары родитель-ребёнок для оценки совместного опыта, связанного со здоровьем [70]. В таких ситуациях, когда исследуют совместную точку зрения, полезно разработать опросник, основанный на парных, а не на индивидуальных интервью по выявлению концепций. Также следует отметить, что имеются данные в пользу такого парного подхода в оценке HRQOL ребёнка, в отличие от фазы выявления концепций при разработке инструмента PRO. Некоторые инновационные исследования дают возможность предположить, что обученные интервьюеры могут получать надёжные и валидные ответы от пары родитель-ребёнок, при этом, возможно, повышая точность и сво-

дя к минимуму систематические ошибки и пробелы в ответах, что может происходить, когда дети самостоятельно проходят анкетирование или интервью [71, 72]. В то время как эти наводящие на размышления результаты заслуживают рассмотрения и дальнейшего изучения, настоящая исследовательская группа считает, что за редким исключением риски от участия родителей в интервью по выявлению концепций у детей перевешивают потенциальную выгоду. Следовательно, рекомендуют проводить интервью по выявления концепций у детей по возможности без участия родителей (или участия других взрослых, например, учителей), чтобы быть уверенными в том, что ответы ребёнка не ошибочны и не ограничены мнением или присутствием родителя.

С учётом проблем, возникающих при проведении фокус-групп у детей и подростков, исследователи могут провести и фокус-группы, и индивидуальные интервью. Подобный комбинированный подход пользуется преимуществом больших объёмов информации, получаемых на основе групповой динамики в фокус-группах, подтверждая при этом, что индивидуальные интервью не дают новые концепции. Если фокус-группа оказывается непродуктивной для некоторых медицинских состояний в определённых возрастных группах, исследователям приходится продолжать качественные исследования с использованием исключительно индивидуальных интервью.

Часто разработка продуктивного интервью или фокус группы для выявления концепций у детей является трудной задачей. В начале интервью или фокус-групп интервьюер должен поговорить с детьми, чтобы убедиться, что они понимаю цель беседы. Кроме того, прямые вопросы касательно симптомов и их влияния могут быть продуктивны только в том случае, если сформулированы и заданы в понятном для детей виде. Согласно одному из возможных подходов, начинать следует с более общих вопросов и постепенно переходить к более частным. Например, первые вопросы оказываются наиболее эффективными, если они ясны, непосредственны, просты и при этом касаются жизни ребёнка (например, «Расскажи, что ты делаешь дома после школы?»). Затем дополнительные вопросы могут оценивать влияние здоровья и болезни на занятия или же другие темы, затрагиваемые ребёнком в ответ на вводные вопросы. Последующие вопросы постепенно фокусируются конкретно на здоровье ребёнка и связанных с ним ограничениях. В ходе процесса выявления концепций, исследователи должны оставаться открытыми для изменений в структуре интервью, и на основе первых нескольких интервью может потребоваться внести изменения в руководства по их проведению.

Некоторые исследователи используют творчество, чтобы помочь детям дать полезную информацию при проведении интервью или фокус-групп. Интересным примером является исследование с фокус-груп-

пами, проведённое в ходе выявления концепций для Оксфордского Опросника о Стопе и Голеностопном Суставе (Oxford Ankle Foot Questionnaire), оценивающем нарушения, вызванные проблемами стопы и голеностопного сустава у детей [62]. В некоторых группах дети участвовали в «лайф-мэппинге», при этом их просили проанализировать один день из жизни гипотетического ребёнка с проблемами стопы или голеностопного сустава, в том числе трудности, возникающие в разное время дня и в разных ситуациях (например, утром, в школе, дома, на выходных и на каникулах). Детей просили дать имя этому выдуманному ребёнку и поработать вместе над описанием проблем, с которыми он сталкивается в каждом случае. Исследователи просили детей обсудить гипотетического ребёнка, чтобы впоследствии помочь им обсудить потенциально чувствительные темы, такие как боулинг, не спрашивая напрямую об их собственных сложных переживаниях. В качестве ещё одной стратегии, позволяющей детям чувствовать себя комфортно, эти фокус-группы начинали с разминки, включающей беседа на нейтральную тему. Такое решение положительно сказалось на желании детей свободно общаться в группе. Авторы пришли к выводу, что фокус-группы, включающие творческую деятельность детей, позволяли получать полезную информацию касательно последствий проблем стопы и голеностопного сустава в детстве даже у большинства детей самой младшей возрастной группы (5—7 лет).

В другом качественном исследовании использовали инновационный подход, включавший рисование, с целью получения описаний синдрома беспокойных ног и его последствий у детей в возрасте от 6 до 17 лет [73]. Детям задавали следующий вопрос: «Ты можешь нарисовать мне на листе бумаги, что ты ощущаешь, когда возникает это чувство в ногах?» После того, как рисунок закончен, к детям обращались со следующими словами: «Расскажи мне о своей картинке». По-видимому, рисунки способствовали налаживанию контакта и помогали детям описывать свои симптомы устно. Эти результаты дают основания предполагать, что рисование может быть потенциально полезным подходом в интервью или фокус-группах по выявлению концепций.

Когнитивные интервью

Стандартной практикой после планирования инструмента PRO является проведение интервью с респондентами из целевой аудитории, чтобы получить дополнительные сведения о содержательной валид-ности, подтвердив, что пациенты понимают элементы и верят в то, что опросник адекватно представляет интересующую концепцию [1, 52, 54]. Такие интервью часто называют «когнитивными итоговыми интервью», чаще — «когнитивными интервью». Для педиатрических инструментов мы рекомендуем проводить

когнитивные интервью с предполагаемым респондентом. Другими словами, дети должны быть проинтервьюированы касательно инструментов сообщений от детей, а родители — касательно родительских доверительных или обсервационных инструментов.

В когнитивных интервью для взрослых инструментов респондентов из целевой популяции спрашивают о чёткости, вразумительности, полноте и релевантности элементов. Когнитивные интервью с детьми могут следовать тем же общим процедурам интервью, что были ранее описаны для взрослых [52, 55, 56, 74], но полезен также более тщательный расспрос, чтобы убедиться, что интервьюер правильно понимает уровень понимания у данного ребёнка. Например, после того как ребёнок ответил на элемент, его могут попросить объяснить, как он или она выбрали такой ответ. Другими полезными вопросами об отдельных элементах могут быть «Как ты понимаешь этот вопрос?» и «Что тебя просят сделать в этом вопросе?». Ответы ребёнка помогут обнаружить, что ребёнок интерпретировал вопрос не так, как предполагал исследователь. Удобный подход для характеристики типов проблем, которые возникают у респондентов при работе с элементами, был предложен Knafl и соавторами [74].

Целесообразность разработки инструмента PRO — это основная задача, которую рассматривается когнитивными интервью. Руководство FDA [1] рекомендует «разработку инструментов в рамках довольно узких возрастных группировок». Эта рекомендация особенно важна для когнитивных интервью. Даже если инструмент PRO показал содержательную ва-лидность в одном возрастном интервале, невозможно предполагать её наличие и в других интервалах. Хотя контент, необходимый для представления некоторой конструкции, может быть одинаковым для всех возрастных групп, возрастные различия в понимании отдельных элементов и в релевантности каждого из них могут влиять на содержательную валид-ность. Например, лексикон, широко используемый детьми одной возрастной группы для описания своих симптомов, может быть слишком сложным для младших детей. Более того, содержание некоторых элементов необязательно одинаково релевантно для всех детских возрастных групп, особенно элементов, оценивающих влияние симптомов на социальную сферу и занятия. Предыдущая исследовательская группа ISPOR дала детальные рекомендации по методам когнитивного интервьюирования для оценки других аспектов инструментов PRO, таких как инструкции, период воспроизведения, варианты ответа, форматирование инструмента, длительность инструмента и метод использования [52]. При проведении этих интервью для сообщаемых детьми инструментов, важно оценивать каждую из этих характеристик в рамках узких возрастных группировок, чтобы убедиться в том, что все аспекты опросника

PRO подходят для полного возрастного интервала предполагаемой популяции. В целом, и при разработки нового инструмента, и при использовании существующих инструментов для педиатрических выборок, когнитивные интервью должны документировать содержательную валидность, ясность, понятность и соответствие возрасту инструмента PRO в определённом возрастном интервале сообразно предполагаемой сфере применения инструмента.

В ходе когнитивного интервью дети могут испытывать большие по сравнению с взрослыми сложности в понимании своей роли как экспертов содержания в процессе разработки опросника. Например, некоторые дети могут фокусироваться на собственных ответах, а не на абстрактной задаче оценки содержания и ясности опросника [64]. Таким образом, в начале каждого интервью следует давать чёткое разъяснение хода оценки опросника, и интервьюеры должны уметь при необходимости концентрировать внимание ребёнка на задание по оценке.

Несмотря на небольшое число опубликованных исследований, проведённых с использованием когнитивного интервьюирования детей, некоторые из них дали обнадёживающие результаты. В ходе разработки педиатрического банка элементов, педиатрическая группа PROMIS провела когнитивные интервью с 77 детьми в возрасте 8-17 лет [47]. Дети во всех возрастных интервалах были в состоянии дать существенную информацию о своём здоровье и о самих элементах. Авторы также пришли к выводу, что дети также позволили составить представление о понятности элементов, так как дети младшего возраста помогли обнаружить несколько трудных для понимания элементов. Исследование с использованием когнитивных интервью PedsQL Diabetes Module также включало интервью с детьми 8 лет [75]. Версию опросника для детей 8-12 лет редактировали на основе вклада детей по результатам этих когнитивных интервью.

Надлежащая исследовательская практика 3:

необходим ли инструмент для сообщаемых информантом исходов

При определении состояния здоровья младших детей важно рассматривать, помимо точки зрения ребёнка, еще и мнение информантов. Анализ исходов, описываемых информантами, может понадобиться тогда, когда дети не способны сами правильно оформить показатели PRO по причине своего уровня развития, тяжести заболевания или когнитивного функционирования [16, 29, 76, 77]. Настоящая исследовательская группа использует термин «информант» по отношению к людям, не включая детей, которые предоставляют информацию о ребенке. Чаще всего информантом является родитель ребенка, но оценка также может быть проведена другими взрослыми, такими как клиницисты, учителя и

опекуны. Несмотря на то, что анкеты, заполненные информантами, фактически не являются «описанными пациентом», данная специальная группа предоставляет рекомендации по использованию данных от информантов из-за их частого применения в педиатрической оценке.

Прежде чем перейти к рекомендациям, необходимо определиться с соответствующей терминологией. Анкеты, заполненные информантами, могут быть разделены на две большие категории исходя из содержащихся в методе исследования заданий: доверительные или обсервационные. Эти две категории могут быть далее разделены на подкатегории, как проиллюстрировано на рис. 3. Доверительные вопросы требуют от информантов выводов по детским субъективным впечатлениям. Многие формы, заполняемые родителями, включают доверительные задания, которые должны помочь выразить мнение ребенка через его субъективное восприятие, такое как эмоциональный статус, уровень удовлетворенности или степень болезненных ощущений [78—80]. Также информанта могут попросить описать, как ребенок отвечает на определенные вопросы. В одном исследовании, касавшемся опекунов взрослых пациентов, обнаружили, что вопросы, для ответа на которые информанту требуется представить себя на месте пациента, имеют большую схожесть с отчетами пациентов, чем вопросы к информантам о субъективных впечатлениях больных [81]. В педиатрическом исследовании доверительные вопросы могут принести полезные данные, так как родители, как правило, хорошо понимают своих детей, основываясь на жизненном опыте. Кроме того, мнение родителей имеет большое значение потому, что они обычно принимают решения в отношении детей и подростков.

Литература по доверительному анализу чаще основывается на степени совпадения между мнениями родителей и ребенка. Результаты исследований получились смешанными, причём некоторые испытания дали строгое соответствие [82—85], тогда как другие подчеркнули отличия во взглядах родителя и ребенка [86—92]. Степень соответствия определяется сложной комбинацией факторов, включающих здоровье родителя [86, 91, 93], тяжелое положение в семье [94], возраст ребенка [21, 86, 95], здоровье ребенка [25, 90, 93, 96], статистический метод для оценки соответствия [86, 93] и оцениваемую когнитивную сферу [25, 93]. С учётом этих данных, большинство исследователей признают, что отчеты родителей не могут считаться точно отражающими субъективное состояние здоровья ребенка. Несмотря на то, что родители могут давать полезную информацию о здоровье своих детей, для вопросов доверительного обзора требуются респондент, делающий заключение о субъективном мнении другого человека, и эти выводы не обязательно будут такими же, как истинное мнение обследуемого.

Вследствие этих трудностей, в руководстве FDA по PRO [1] не рекомендуют использование данных доверительной оценки исходов от респондентов для детского населения при изучении медицинской продукции. В руководство, однако, признается, что существуют педиатрические группы населения, такие как дети самого младшего возраста, которые не способны описать свое состояние здоровья. В ситуациях, когда необходимо получить информацию от информантов, FDA рекомендует, чтобы показатели были обсервационными, а не доверительными. Руководство утверждает, что эти «обсервационные описания... включают только те события или изменения поведения, которые могут быть отслежены». Для иллюстрации данной концепции FDA приводит следующий пример: «наблюдатели не могут достоверно рассказать об интенсивности болевых ощущений у младенца, но могут описать поведение младенца, предположительно изменившееся под влиянием болей». Определенные примеры наблюдаемых признаков детских симптомов приводят в руководстве FDA [97] по клинической разработке лекарств для лечения острого бактериального среднего отита, воспаления среднего уха, вызванного патогенными бактериями. Для младенцев и маленьких детей, которые не могут сформулировать свои симптомы, руководство рекомендует принимать во внимание рассказ взрослых о наблюдаемых признаках, таких как дергание уха, шелушение уха, возбужденность и сниженный аппетит.

Доверительные опросники привносят важную информацию о здоровье и развитии ребенка, и настоящая исследовательская группа призывает проводить исследования, включающие доверительные показатели от родителей. Тем не менее, исследовательская группа соглашается с рекомендациями FDA в том, что в исследованиях, проводимых для принятия управленческих решений, следует избегать использовать доверительные показатели. Данные, относящиеся к принятию таких решений и лицензированию медицинской продукции, должны быть по возможности непротиворечивыми. Результаты, основанные на доверительных опросниках, неизбежно содержат погрешности, как, например, противоречия между мнением информантов и детей.

Данная исследовательская группа также поддерживает рекомендации FDA по использованию обсервационных показателей в необходимости применения отчетов информантов в исследованиях, связанных с лицензированием медицинской продукции. Несоответствие между ответами родителей и детей обычно в большей степени проявляется в недоступном наблюдении субъективных сферах, таких как боль и эмоциональные проблемы [9, 25, 98, 99]. Напротив, эти исследования зачастую обнаруживают строгое соответствие между ответами детей и родителей в измеряемых объективных областях, таких как соматическое функционирование. Данные выво-

ды подтверждают, что показатели отчетов родителем более точны и надежны, когда элементы опросника сосредоточены на обсервационных материалах. Два примера обсервационных анкет, разработанных для обследования маленьких детей, включают Индекс тошноты Келлера, который был создан для заполнения педиатрическими медицинскими сестрами [100], и заполняемый родителями пересмотренный Опросник по гастроэзофагеальному рефлюксу у младенцев [101]. Как видно на рис. 3, обсервационные опросники могут быть касаться лишь текущей оценки поведения ребенка на момент наблюдения или при общем наблюдении за поведением ребенка в определённом временном промежутке. Любой из этих двух обсервационных подходов подходит исследованиям, связанным с лицензированием медицинской продукции. Третий тип обсервационных показателей, включающий записи высказываний ребенка, обычно менее предпочтителен, так как основывается на доверии во взаимоотношениях между родителем и ребенком и на точности памяти родителей, относительно высказываний их детей.

Основываясь на анализе опубликованной литературы и недавних регуляторных изменений, настоящая исследовательская группа может дать три рекомендации относительно выбора между опросниками исходов, заполненными родителями либо детьми в управленческой сфере. Во-первых, когда дети в целевом

возрастном диапазоне способны сами воспользоваться инструментом по PRO, тогда показатели, полученные от детей, следует использовать (для обсуждения по изменяющимся различиям в способности выполнения показателей PRO был изложен в Надлежащей исследовательской практике 1). В регламентирующей среде предпочтительны опросники, заполненные ребенком, потому что это наиболее точная оценка переживания ребенком заболевания и лечения без какой-либо погрешности или интерпретации, которая может искажать данные при использовании отчетов информантов. Чтобы быть способными пользоваться инструментом по PRO, дети в целевом возрастном диапазоне должны быть в состоянии прочитать опросник, понять основные положения и ответить на них адекватно и достоверно. Чтение и понимание должны быть проверены с помощью когнитивного опроса, во время которого адекватность и правильность ответов может быть зафиксирована в больших психометрических исследованиях правильности показателей PRO. Из-за различий в развитии внутри любой возрастной группы, всегда есть несколько детей, которые не могут выполнить оценку PRO, в отличие большинства их сверстников. Поэтому исследователи должны определять крайние значения и придерживаться основных тенденций внутри целевой возрастной группы при выяснении, способна ли возрастная группа использовать отдельный инструмент по PRO.

Рис. 3. Виды опросников, заполняемых информантами, для оценки в педиатрической практике

Во-вторых, если дети в целевом возрастном диапазоне не могут выполнить анализ PRO, следует использовать показатели, описанные информантами. В-третьих, когда используется опросник, заполненный информантом, все элементы инструмента должны по возможности соответствовать обсервационному содержанию, а не субъективному восприятию ребенка.

Также необходимо отметить, что есть ситуации, когда могут понадобиться и родительские, и детские формы одного и того же инструмента, заполняемые одновременно. Интерпретация данных из двух одновременных источников, однако, зачастую поднимает вопросы, подобные обсуждаемым в разделе «Выводы и рекомендации для будущих исследований» настоящего обзора.

Надлежащая исследовательская практика 4: убедиться, что инструмент создан и оформлен

соответственно целевой возрастной группе

В некоторых обзорных статьях обсуждаются вопросы дизайна и оформления параметров педиатрических PRO, различающихся по возрасту респондентов [6, 8, 9, 14—16, 24, 102]. В ответ на уклон в сторону качественных методов в руководстве FDA по PRO, возрастает число исследований, непосредственно принимающих во внимание пожелания детей по структуре и оформлению опросника [19, 47, 103, 104]. Такие предварительные исследования привнесли полезную информацию, и наше понимание, каким должны быть дизайн и формат опросника, будет увеличиваться по мере публикации все большего количества педиатрических когнитивных интервьюированных исследований. Кроме того, мы поддерживаем проведение более качественных испытаний, направленных на поиск наиболее эффективных дизайна и оформления параметров PRO.

В последующих разделах обсуждается перечень факторов, который должен быть учтен, чтобы гарантировать, что инструмент по PRO соответствует рассматриваемой педиатрической возрастной группе. Важно принять во внимание эти факторы при разработке нового, а также при применении ранее проверенного инструмента в новой возрастной группе. Определенные возрастные ограничения для любого аспекта дизайна исследования основываются на множестве взаимосвязанных факторов, таких как предметный состав и связанные со здоровьем характеристики целевой группы населения. Поэтому данный раздел не рассматривает возрастные ограничения, применяемые в каждой ситуации. Вместо этого, целью главы является обзор аспектов дизайна и оформления инструмента, которые с большей вероятностью будут различаться среди возрастных групп при выполнении рекомендаций, основанных на современных тенденциях, описанных в опубликованных исследованиях.

Связанный со здоровьем словарный запас и уровень чтения

Зачастую отмечается, что у детей словарный запас, связанный со здоровьем, увеличивается с возрастом. Сведения, опубликованные Rebok и соавторами, иллюстрируют данную тенденцию. В данном исследовании понимание детьми терминов, относящихся к здоровью, было проверено внутри четырех возрастных групп: возраста 5, 6, 7 и с 8 до 11 лет (рис. 2). Для большинства терминов процент респондентов с малым пониманием снижался по мере увеличения возраста. Например, 14,3% пятилетних детей слабо осознают значение термина «боль», в сравнении с 8,3% шестилетних, 6,2% семилетних и 0% старших детей. Процент недостаточного знания других понятий, связанных со здоровьем, также снижается с возрастом, например, «энергия», «достаточное здоровье», «состояние комфорта» и «нервный». Похожие примеры выводов были описаны в ряде других педиатрических исследований [71].

Ясно, что словарный запас и читабельность опросника не может быть выше лингвистических способностей целевой популяции. Разработчики инструмента долгое время избегали этой проблемы, но делали попытки упростить язык и понятия в версиях, созданных специально для младших возрастных групп [9, 80, 105]. Известный метод заключается в оценке читабельности опросника, используя показатели читабельности, такие как оценка уровня качества Flesch-Kinkaid, и подгонке опросника к целевому возрастному диапазону [9, 80, 106, 107]. В дополнение к терминологии, факторы, относящиеся к читабельности, включают: сложность синтаксиса, длину предложений и число предложений в каждом параграфе [14]. Одно направление разработки опросника с соответствующим возрасту словарным составом состоит в соблюдении языка, используемого детьми во время опроса и в целевых группах [51]. Тогда словарный запас, полученный напрямую от детей из целевого возрастного диапазона, может быть включен в окончательный инструмент.

При подаче педиатрических показателей PRO, вместе с заявлением на регистрацию, важно иметь документацию о пригодности уровня языка для использования в целевой возрастной группе. Соответствие возраста уровню читаемости и словарному запасу может быть подкреплено баллами индекса читабельности и данными когнитивных опросов, в которых респонденты целевой возрастной группы предоставляют обратную связь по доступности вопросов для понимания. Методология когнитивных опросов была признана эффективным способом для коррекции словаря банка педиатрических вопросов PROMIS [47]. В таком качественном интервьюированном исследовании 77 детей и подростков в возрасте от 8 до 17 лет, когнитивные опросы выявляли

некоторые термины, которые были непонятны для части детей в данной возрастной группе. Сложные термины включали понятия: раздражительный (рекомендуемая замена: капризный), изможденный (рекомендуемая замена: уставший), взбешенный (рекомендуемая замена: злой или свирепый), общественные мероприятия (рекомендуемая замена: отдых с друзьями). Похожие результаты были получены в исследовании, включавшем когнитивные опросы, направленные на диабетический модуль PedsQL [75]. Дети сообщили, что некоторые слова были слишком сложными. По этой причине версия опросника для 8- и 12-летних детей была скорректирована для включения языка, соответствующего возрасту. Например, «утомление» было изменено на «усталость», а «раздражительный» было изменено на «капризный или угрюмый».

Шкала ответной реакции

Обзор связанных со здоровьем описанных пациентами показателей для детей в возрасте от 3 до 8 лет обнаружил, что шкалы Лайкерта (то есть шкалы с характеристиками по всему диапазону) чаще всего использовались в качестве шкал ответной реакции в 34 из 53 опросников из данной возрастной группы [24]. Другие типы шкал включают графическое отображение, выражение лица и наглядную аналоговую шкалу, которая очень редко используется в педиатрических критериях и зачастую непонятна для маленьких детей [110]. Одно исследование 120 детей в возрасте от 6 до 18 лет выявило, что дети предпочитают шкалы Лайкерта наглядным аналоговым шкалам и пронумерованным 10-балльным шкалам, объясняя это тем, что шкалы Лайкерта проще для заполнения [104]. Более того, когнитивное интервьюированное исследование, изучавшее банк педиатрических вопросов PROMIS, выявило, что даже самые маленькие дети в группе (например, 8- лет) не имели видимых трудностей в понимании вариантов выбора в шкале Лайкерта из пяти пунктов [47]. В дополнение, комиссия Delphi, созванная для разработки детских опросников HRQOL, пришла к единому заключению с учетом мнения 94,1% респондентов, что шкалы Лайкерта наиболее подходят для применения у детей [111].

Резюмируя, шкалы Лайкерта адекватны большинству педиатрических опросников PRO, что было подтверждено качественными исследованиями, мнением экспертов, мнением детей и значительным числом опросников, использовавших шкалы в прошлом. Однако элементы со шкалами Лайкерта не подойдут любому педиатрическому опроснику для любой возрастной группы. В двух исследованиях были получены достоверные выводы в отношении возрастных различий в способности детей использовать все параметры шкалы Лайкерта. Маленькие дети склонны

предоставлять больше информации на самом высоком и самом низком уровне шкалы ответной реакции. В одном из таких исследований дети от 5 до 6 лет предоставляли более радикальные ответы, чем более взрослые дети при оценке эмоционально окрашенных заданий по трех- и пятибалльной шкале [44]. Другое исследование обнаружило, что процент крайних ответов снижается с возрастом: 87,1% в возрасте 5 лет, 78,9% в возрасте 6 лет, 61,4% в возрасте 7 лет и 50,4% в возрасте от 8 до 11 лет [19]. Данные этих двух испытаний показывают, что в некоторых случаях шкалы ответной реакции Лайкерта могут быть уместными для старших, но не младших детей. Поэтому мы рекомендуем оценивать варианты ответов по критериям PRO с помощью детей целевой возрастной группы в когнитивных интервью. В них важно установить возраст, в котором дети начинают использовать и понимать весь спектр параметров шкалы ответной реакции, а не только крайние ответы. Чтобы подходить для опросников PRO, используемых в заявлениях на регистрацию, параметры ответов должны также отвечать критериям, описанным в руководстве FDA по PRO [1], включающим отличия в выборе ответов, ясные формулировки и понятные инструкции (возможно включающие пример заполненного ответа на вопрос).

Период воспроизведения

Недавний обзор инструментов оценки HRQOL у детей показал, что многие часто используемые опросники, заполняемые детьми, имеют период воспроизведения в течение последних 4 недель или последнего месяца [14]. К ним относят CHIP (Опросник по здоровью детей, Child Health Questionnaire) [79, 112, 15] и PedsQL [113]. Опросники, такие как эти три, с относительно длительными периодами воспроизведения привносят важную информацию о здоровье детей во многих клинических испытаниях и других исследованиях. Однако инструменты с периодами воспроизведения не более месяца могут быть скептически оценены при использовании в заявке на регистрацию продукта.

В руководстве FDA по PRO [1] говорится:

Инструменты PRO, которые зависят от памяти пациентов, в особенности, если они должны предоставлять информацию за длительный период,... вероятнее всего будут снижать содержательную ва-лидность. Ответная реакция с большой вероятностью будет зависеть от состояния пациента во время воспроизведения. По этим причинам, вопросы с короткими периодами воспроизведения или вопросы, требующие от пациентов описать их настоящее или недавнее состояние, являются предпочтительными.

В руководстве FDA по PRO не приводят оптимальный период воспроизведения, потому что он зависит от большого количества факторов, включа-

ющих предназначение инструмента, а также продолжительность, частоту и интенсивность оцениваемой концепции. Руководство отмечает, что адекватность периода следует оценивать с учетом «способности пациента к правильному воспроизведению требуемой информации».

Есть некоторая особенность в том, что способность детей к правильному использованию периодов воспроизведения различается среди возрастных групп. Например, одно исследование обнаружило, что дети младше 8 лет, по сравнению со старшими, были менее способны рассказать о последнем появлении симптома в последние 4 недели, и было не ясно, правильно ли 5- и 6-летние дети понимают значение недели или месяца [19]. Исследование пар родитель-ребенок также подтвердило ограничения в использовании периодов воспроизведения у детей [71]. В этом испытании у детей иногда проявлялся недостаток когнитивных навыков, необходимых для оценки временных рамок, и родители часто помогали своим детям вспоминать случаи проблем со здоровьем, связывая временной промежуток с определенными событиями и занятиями. Результаты были распределены не по возрасту, но 69% исследуемых были от 8 до 10 лет, предполагая, что некоторые дети в этом диапазоне могли иметь трудности с периодами воспроизведения. Другое недавнее исследование проверяло эффект «сохранения в памяти» (то есть прошедшее время между проведением обследования и описываемым событием) по точности памяти детей на приемы пищи [114]. В данном примере на детях четвертого поколения (то есть примерно 9 лет) прочность памяти на школьные завтраки и ланчи была улучшена путем укорочения времени запоминания. Это открытие подчеркивает важность использования более коротких периодов воспроизведения для признаков, описываемых детьми. Разработчики инструмента PRO опасаются, что дети могут иметь больше трудностей с периодами воспроизведения, чем взрослые. Например, Опросник по качеству жизни детей с астмой (Child Asthma Quality of Life Questionnaire) имеет период воспроизведения длительностью в 1 неделю, который был уменьшен с 2 недель во взрослой версии инструмента [115].

Резюмируя, более короткие периоды воспроизведения являются предпочтительными для оценки PRO, используемой в управленческой сфере, и они могут быть важнее для педиатрических опросников, чем для взрослых. Данная исследовательская группа считает, что периоды воспроизведения длительностью 24 часа или менее выглядят предпочтительнее, чем более длительные в регламентирующей сфере, основанной на рекомендациях руководства FDA по PRO по более коротким периодам воспроизведения и времени исследования, выявляющих сложности у детей в понимании продолжительных временных интервалов. Более того, способ моментальной оцен-

ки (то есть оценка представлений ребенка о своём текущем состоянии) может быть полезен, так как он помогает избежать многих проблем, возникающих при непонимании детьми периодизации времени.

Невозможно, однако, предложить такой определенный период воспроизведения, который был бы оптимальным для всех педиатрических исследований, при условии, что длительные периоды могут быть применимы лишь в адекватно обоснованных ситуациях. Короткие периоды воспроизведения могут также иметь недостатки, такие как необходимость частого анализа и возможное упущение при анализе важных, имеющих отношение к здоровью симптомов или событий, происходящих за пределами определенных периодов. Также, наличие периодов воспроизведения, согласованных с клиническими параметрами в отдельном испытании, может быть выгодно для сбора данных и их интерпретации для оценки PRO. Некоторые терапевтические области, такие как психиатрия, стремятся использовать опросники, заполняемые клиницистами, с периодом воспроизведения в 1 неделю, а PRO с более коротким периодом воспроизведения могут негативно влиять на интерпретацию полученных сведений. Все эти факторы должны быть рассмотрены при определении адекватного периода воспроизведения для каждой задачи, инструмента и возрастной группы. Для информирования будущих решений о периодах воспроизведения необходимо исследование детской памяти с использованием различных временных рамок, которое следует сочетать с группировкой по узкому диапазону возрастов.

Продолжительность применения инструмента

Объем педиатрического опросника PRO требует тщательного обсуждения из-за больших различий в способности детей концентрировать внимание на заданиях [16]. Обычно считается, что инструменты, разработанные для использования у маленьких детей, имеют большее количество ограничений, чем разработанные для использования у старших детей и взрослых. Также предполагается, что для маленьких детей требуются более короткие инструкции, чем для старших [47]. Излишне длительные испытания могут стать причиной упущения детьми данных или несерьезного отношения к каждому пункту, тем самым, предоставляя менее точные и надежные сведения [9]. При рассмотрении этих проблем, одним способом решения было создание множества версий одного инструмента, различающихся по продолжительности и нацеленных на разные возрастные группы [105]. Пробное тестирование и когнитивные опросы детей в целевой возрастной группе могут помочь определить, соответствует ли целевой возрастной группе продолжительность использования инструмента перед включением его в клиническое испытание.

Наглядное представление

Разработчики инструмента часто включают наглядное изображение методов и возможных вариантов действий в анализе педиатрических PRO [14]. Небольшое количество эмпирических данных демонстрирует преимущества этих иллюстраций, но в ходе одного из исследований обнаружили, что педиатрический опросник с иллюстрациями значительно быстрее заполнялся, чем вариант без иллюстраций, что наводит на мысль, что мультипликационная версия гораздо эффективнее привлекает внимание детей [116]. Несмотря на небольшое эмпирическое обоснование, многие исследователи считают, что данный наглядный подход способен помочь маленьким детям пройти опросник. Теоретически, картинки могут помочь пробудить интерес у детей, удержать их внимание, улучшить доступность вопросов для понимания, прояснить, как именно нужно отвечать, и, следовательно, способствовать более целенаправленным ответам [9]. Для проверки и подтверждения таких потенциальных преимуществ необходимы новые исследования, но, основываясь на мнениях экспертов и многих инструментах, использующих данный подход, становится ясно, что картинки могут быть полезными для маленьких детей.

Применяют несколько графических подходов. Простейшим способом для конкретизации вариантов ответа может быть использование окружностей возрастающих размеров. Например, в CHIP-CE от детей требуется выбрать один из предложенных вариантов для ответа на вопросы [112]. Каждому ответу соответствует определенная окружность, которые увеличиваются в размере по мере перехода вариантов от «никогда» до «всегда» (рис. 4). Возможные ответы могут также быть изображены в виде рисунков выражений лиц, которые отображают нейтральность или различные степени позитивных или негативных эмоций (рис. 5) [105, 117—119]. Такая

методика «улыбающегося лица» рекомендована для использования у маленьких детей 80% участниками комиссии, управляющей разработкой показателей качества жизни KIDSCREEN [111].

Поэтому, регламентирующие органы со скептицизмом смотрят на данную схему. Воспроизведено из Med Care, 42, Riley АЖ Forrest CB, Rebok GW, et al. The Child Report Form of the CHIP-Child Edition: reliability and validity, 221-31, 2004, witc permission from Lippincott Williams & '^Шш.Существуют также

In the past 4 weeks, how often did you have a bad stomachache?

О

о О

Never Almost Sometimes Almost Never Always

Always

Рис. 4. Пример шкалы ответов, использующей иллюстрации и окружности увеличивающихся размеров для облегчения выбора варианта ответа

*В последние 4 недели, как часто у вас появлялась боль в животе? Ответ: никогда, почти никогда, временами, почти постоянно, постоянно Следующий примером вопроса по PRO с использованием наглядного представления, помогающего детям понять, как работать со шкалой. Однако, другие аспекты этой схемы не оптимальны для применения в регламентирующей сфере. Например, относительно долгий период воспроизведения и параметры ответов требуют от ребёнка усреднить его впечатления о симптомах за 4-недельный промежуток времени. Это сложная задача, а память детей не настолько точная для охвата 4-недель-ного периода.

Рис. 5. Пример шкалы ответов с выражениями лиц, отражающими варианты ответа

*Какое из этих лиц наиболее точно описывает ваши ощущения во рту или горле в данный момент? Обведите одно. Ответы: нет болей (0), чуть-чуть болит (1), болит немного сильнее (2), болит ещё сильнее (3), сильно болит (4), очень сильно болит (5).

Воспроизведено из Eur J Oncol Nurs, 14, Tomlinson D., Gibson F., Treister N., et al., Refinment of the Cildren's International Mucositis Evaluation Scale (ChlMES): child and parent perspectives on understandability/, content validity and acceptability, 41, 2010, with permission from Elsevier.

примеры опросников, использующих более детализированные рисунки для иллюстрации вопросов и вариантов ответа. CHIP-CE использует изображения детей, отражающих крайние варианты по шкале ответов Лайкерта для каждого вопроса (рис. 4) [112]. Другие критерии используют мультипликационные иллюстрации, предназначенные, чтобы помочь детям понять содержание вопроса, включающие изображения детей, отражающих психиатрические диагнозы (рис. 6) [120], и картинки с собаками, показывающие педиатрические дерматологические симптомы [116].

Рис. 6. Примеры рисунков, используемых для иллюстрации психиатрических заболеваний в заполняемом ребёнком опроснике

Воспроизведены из J. Abnorm Child Psyhol, 22, Valla J.P., Bergeron L., Berube H, et al., A structured pictoral questionnaire to assess DSM-III-R-based diagnoses in children (6-11 years): development, validity, and reliability, 403-23, 1994. With kind permission from Springer Science and Business Media.

Результаты одного из исследований, однако, показывают, что испытателям следует использовать эти графические методы с осторожностью. Chambers и Craig [118] сравнили два вида шкал, классифицирующих боль, используя лица в качестве вариантов ответов в группе из 100 детей. Одна из шкал включала нейтральное лицо «нет боли» как точку отсчета, в то время как другая в качестве этой же точки отсчета использовала улыбающееся лицо (рис. 7). Два типа шкал привели к получению значительно различающихся сумм баллов по вопросам. Эти выводы пока-

Рис. 7. Два типа шкал, использующих лица, с различными выражениями для понятия «нет боли» Ответы: нет боли, наибольшая боль. Воспроизведены из Pain, 78, Chambers CT, Craig KD, An intrusive impact of anchors in children's faces pain scales, 2737, 1998, with permission from the International Associatio n for the Study of Pain.

зывают, что иллюстрации должны быть разработаны и проверены также тщательно, как и другие составные части опросника, так как изображения могут исказить результаты и снизить их ценность. Другим возможным риском использования иллюстраций является то, что некоторые подростки могут посчитать их слишком детскими. Так, когнитивные интервью могут быть использованы для проверки восприятия и понимания детьми наглядных изображений вместе с другими аспектами структуры опросника.

Другие детали оформления

Другие детали оформления, которые на первый взгляд могут показаться менее важными, также имеют влияние на наглядность и ценность показателей педиатрических PRO. Выработка четкого плана вопросов с достаточной величиной шрифта может улучшить возможность прочтения, в частности, для маленьких детей. Вопросы по формату редко обсуждаются в публикуемой литературе, но в некоторых публикациях указывают, что в данном вопросе не выработалось общепринятое мнение. Например, по результатам качественных интервью было пересмотрено оформление Анкеты по влиянию здоровья полости рта у детей (Child Oral Health Impact Profile), и был увеличен размер букв и затенения в каждом вопросе [103]. Более того, в исследовании с когнитивными интервью для банка вопросов PROMIS дети-респонденты предложили сделать буквы больше и выделить жирным шрифтом период воспроизведения для большей ясности [47].

Организационные подходы

При разработке и внедрении показателей, описанных взрослыми пациентами, исследователи обычно исходят из того, что большинство больных может заполнить опросник самостоятельно. Однако дети различаются по своей способности самостоятельно заполнить опросник. Вследствие этого, при разработке показателей педиатрических PRO, исследователям необходимо принимать во внимание все виды управленческих подходов, различающихся по степени самостоятельности, ожидаемой от ребенка-респондента. Предполагается, что старшие дети и подростки, в большинстве случаев могут сами заполнить опросник. Для маленьких детей могут потребоваться критерии, заполняемые опрашивающим, или помощь родителей в преодолении ограничений в способности к чтению и концентрации внимания. Например, Опросник по детской астме был разработан в трех видах, соответствующих трем возрастным периодам [105, 119]. Форма для самого младшего возраста (4-7 лет) заполняется ребенком с помощью родителей, форма для среднего возрастного диапазона (8-11 лет) может быть заполнена при необходимости при участии взрослых, и форма для

старшей возрастной группы (12-16 лет) была создана для самостоятельного выполнения (смотри «Выводы и рекомендации для будущих исследований» ниже в обзоре, где обсуждаются подходы, комбинирующие данные из множества версий инструмента, определенных для каждого возраста). Другие виды управленческих подходов, таких как электронный сбор данных (смотри ниже) или использование дополнительных средств может повысить внимание детей и осознание ими процесса ответа на вопросы [24].

Выбор управленческого подхода зависит от многих факторов, включающих возраст детей и сложность оцениваемых концепций. Следует подробно оговорить административный подход во время качественной фазы разработки инструмента. Например, если по результатам когнитивных опросов предполагается, что детям сложно самим выполнить задание, возможно, что менее самостоятельный организационный подход принесет больше полезной информации. Но, как уже обсуждалось в Надлежащей исследовательской практике 2, присутствие родителей или другого взрослого может исказить или препятствовать ответам ребенка. Поэтому настоящая исследовательская группа рекомендует, что родителям или другим взрослым следует помогать детям при заполнении инструмента PRO, только когда это действительно необходимо.

Для обеспечения успешного сбора данных необходимо, чтобы члены коллектива, управляющие опросами и другими параметрами исследования, были достаточно квалифицированы. Обучение особенно важно для неограниченных испытаний, таких как опросы для оценки подходов, требующие от интервьюера большей чувствительности и понимания. Процесс опроса ребенка и подростка может существенно отличаться от опроса взрослого. Интервьюеры должны иметь базовые знания по разработанным вопросам, а также способам взаимоотношений с детьми и их поведенческим реакциям [121]. Рекомендации по опросу родителей и учителей о поведении детей и его объяснению также были опубликованы ранее [121].

Несмотря на то, что исследовательская группа анализировала, главным образом, организацию PRO, стоит отметить, что исследования в педиатрии требует повышенного внимания ко всем аспектам процесса сбора данных. Например, исследователям необходимо разработать соответствующий возрасту язык для объяснения детям целей испытания и порядка его проведения. Перед началом выполнения детьми оценки PRO, интервьюеры или другие участники исследования должны информировать их о том, что от них потребуется, сообщать цель задаваемых вопросов, предполагаемое использование данных, конфиденциальность процесса и что делать при появлении неприятных ощущений или как прекратить свое участие. Пока дети не понимают деталей исследования в том же объеме, что и взрослые, исследователям следу-

ет пытаться дать детям хотя бы общее представление о нём и позволить им чувствовать себя комфортно.

Электронный сбор данных

Электронные методики сбора данных PRO (то есть эPRO или ePRO) могут иметь значительные преимущества в исследованиях с детьми и подростками. Устройства с дисплеями, полезные при работе с детьми, включают портативные устройства, такие как смартфоны, планшеты и сенсорные экраны, работающие без использования клавиатуры или мыши, стационарные или переносные компьютеры [122]. В некоторых опубликованных исследованиях говорится о том, что прохождение детьми электронных опросников, включающих управление через Интернет, может быть целенаправленным, надежным и эффективным способом сбора данных [123—127]. Многие дети хорошо знакомы и уверенно себя чувствуют при работе с экраном, и в одном исследовании было обнаружено, что дети предпочитают проходить опросы по собственному здоровью и поведению через Интернет, а не использовать бумажные версии [123]. Если способы заполнения при помощи экрана могут помочь детям оставаться сконцентрированными и увлеченными, то они будут способствовать улучшению качества данных, полученных непосредственно от пациента, при уменьшении количества потерянной информации. Технология интерактивного голосового ответа может также стать подходящим способом сбора данных для части возрастных групп [128]. Этот удобный метод, включающий словесную озвучку вопросов с помощью телефона, может быть проще для выполнения, чем напечатанные опросники для детей с ограниченными способностями к чтению и письму.

Предыдущие специальные группы ISPOR по PRO продвигали рекомендации по разработке и тестированию показателей эPRO, включая когнитивные опросы, тестирование на практичность и оценку идентичности бумажных и электронных версий опросника [52, 122]. Эти рекомендации по разработке эPRO имеют отношение и к опросникам у детей и подростков. Кроме того, настоящая специальная группа рекомендует оценивать пригодность к использованию методов электронного сбора данных в пределах небольших возрастных групп при создании показателей PRO для детей. Как и в случае напечатанного опросника, заполняемого самостоятельно пациентом, технология, основанная на использовании дисплеев, опирается на способности респондента к чтению, но применение эPRO может быть эффективным в одной возрастной группе, а не в нескольких. Вследствие этого, исследователям необходимо документировать сферы применения показателей ePRO по всем соответствующим возрастным группам, чтобы они были признаны эффективными в регламентирующих органах.

Надлежащая исследовательская практика 5: обсуждение межкультурных аспектов

При создании педиатрических инструментов для широкого использования важно определить возможные различия, связанные с культурными и языковыми особенностями. Несмотря на то, что методы для перевода и подтверждения эффективности педиатрических показателей в различных культурных слоях общества сходны с используемыми во взрослой практике [129—131], могут возникать дополнительные вопросы, связанные с их применением. Например, из-за различий в системе образования разных стран способность детей к чтению будет отличаться в любом рассматриваемом возрасте. Отличия в текстах на разных языках могут также приводить к географическому разнообразию уровня грамотности внутри определенных возрастных групп [132]. Поэтому может потребоваться повторная оценка соответствия инструмента возрасту в каждой новой стране, где он может применяться у детей. Также культурные различия могут быть в виде информации, сообщаемой детям о заболевании и его лечении, а также отличия по степени самостоятельности детей в описании своего состояния. Кроме того, могут иметься различия в готовности детей общаться с интервьюерами без родителей. Подобные культурные нормы требуют новых исследований по определению содержательной валидности в пределах каждой новой культуры. Наконец, влияние заболевания и лечения на социальное, эмоциональное и качественное функционирование может сильно отличаться в разных культурах, завися от обыденной деятельности детей данной культуры.

Вследствие этого, целесообразность инструмента по педиатрическим PRO требует пересмотра, вместе с оценкой валидности материалов для каждой нации. Оценка должна проводиться с учетом всех значимых особенностей инструмента, включая инструкции, цели, подходы, словарный состав и наглядные изображения. В целом, разработка межкультурного инструмента PRO для детей, вероятно, потребует большего внимания и труда, чем простое следование межкультурным руководствам, написанным для инструментов для взрослых. Будущие исследования и руководства должны помочь в определении шагов, которые нужно пройти при переводе и оценке опросников PRO в разных культурах.

Выводы и рекомендации для будущих исследований

Предоставляемые исследовательской группой рекомендации не следует рассматривать в качестве жёстких правил, обязательных к исполнению в каждом исследовании. На самом деле, целью исследовательской группы было создание общего руковод-

ства и обсуждение важных вопросов, касающихся разработки, оценки или внедрения инструментов педиатрических PRO. Полученную информацию предполагают использовать при подаче заявок на регистрацию и при составлении инструкции по медицинскому применению медицинской продукции. Каждое отдельное исследование по-своему уникально, и оптимальный способ оценки зависит от множества факторов, включающих возраст ребенка, состояние здоровья исследуемой группы населения и вид оцениваемой модели. Более того, различные подходы к PRO и дизайну исследования могут быть рекомендованы к изучению, не направленному на поддержку регистрации медицинской продукции и решений регулирующих органов. Вследствие этого, надлежащие исследовательские практики, рекомендуемые в настоящем обзоре, следует рассматривать как точку отсчета, и каждый исследователь должен учитывать цель и условия проведения каждого испытания.

Исследование PRO у детей и подростков является относительно новым направлением изучения, и необходима дальнейшая работа по подготовке усовершенствованных инструментов PRO и методических руководств для будущих исследований. Например, необходимы исследования по оптимизации дизайна PRO у маленьких детей, в особенности у детей младше 8 лет, для которых самостоятельно описанные показатели характеризуются неустойчивой надежностью и валидностью. Существуют определенные пути формулировки, представления и оформления вопросов для улучшения их доступности для понимания у маленьких детей и, соответственно, увеличения надежности и валидности инструмента. Исследования, сравнивающие различные подходы к оценке, могут способствовать разработке более целенаправленных рекомендаций, чем доступные на настоящий момент. Также, больше усилий необходимо для изучения качественных проектов исследования, которые с большей вероятностью будут эффективны у маленьких детей. В данном обзоре предлагаются основные рекомендации для качественных методов, но лишь небольшое количество исследований, проверявших пригодность инструмента по PRO для детей, было опубликовано. Поэтому нужны дополнительные исследования для проверки и улучшения этих методик. Эта методология развивается по мере проведения и публикации все большего количества качественных исследований в данной группе населения.

При использовании инструментов описанных информантом исходов все большее внимание уделяется разработке истинно обсервационных вопросов, вместо репрезентативных, требующих выводов о субъективном мнении ребенка. Следовательно, для отражения данных обсервационных подходов может быть полезным улучшение и обоснование применения часто используемых инструментов сообщений от пациентов или клиницистов.

Другая проблема заключается в интерпретации данных от различных возрастных групп. Многие опросники PRO у детей создаются в виде множества версий для разных возрастных групп. Содержание вопросов, шкалы ответов, словарный состав, наглядное изображение вариантов ответа и другие характеристики инструмента могут отличаться среди различных вариантов для определенных возрастов, обеспечивая соответствие каждого варианта своей возрастной группе. Респонденты также могут быть разными: родители, отвечающие за маленьких детей, и старшие дети, заполняющие опросник самостоятельно. Такой множественный подход может гарантировать, что определенный инструмент будет отражать соответствующее нужному возрасту содержание с порядком оценки, соответствующей широкому возрастному диапазону. Целью исследования PRO, при его проведении в соответствии с задачами регулирующих органов, является создание выборочных инструкций по применению, а не индивидуальных для каждой узкой возрастной группы. Как следствие, использование разных вариантов ставит вопрос о том, как данные из различных вариантов или даже различных докладчиков могут быть использованы при написании одной инструкции для детей всех возрастов. Одним возможным аналитическим подходом является суммирование данных из множества источников в одном анализе, но для этого необходимо обеспечить, чтобы содержание и параметры оценки всех версий были эквивалентны и сравнимы. Другой подход — исследовать разные версии отдельно друг от друга и проверить, сравнимы ли закономерности исходов лечения, в целом по разным возрастам и вариантам инструмента. Нужны дальнейшие исследования для разработки руководств по проведению анализа и интерпретации данных, собранных с использованием множества версий одного инструмента по PRO, специфичных для конкретного возраста.

Также может быть сложно интерпретировать данные от родителей и детей, заполняющих одинаковые формы одного и того же инструмента. В некоторых ситуациях и родители, и дети могут давать полезную информацию, но не до конца ясно, как должны рассматриваться результаты, если два респондента имеют разные взгляды на одни и те же инструменты. Более того, в связи с увеличивающимся вниманием к ограниченным опросникам, заполняемым информантами, как к значимой сфере (смотри Надлежащую исследовательскую практику 3), некоторые формы сообщений от пациентов могут иметь несколько иное содержание по сравнению с формами, заполняемыми детьми и включающими больше субъективной информации. Поэтому при получении данных от родителей и детей лучше всего будет определить априори, что данные от одного из докладчиков принимаются за точку отсчета. Необходимо

больше исследований для создания руководства, охватывающего мнения и родителей, и детей по оценке исходов, даже при их сильном различии.

Новые исследования также необходимы для изучения чувствительности инструментов по педиатрическим PRO. Чувствительность — это диапазон, в котором опросники состояния здоровья точно отражают изменения в здоровье пациента на протяжении времени [133—135]. С точки зрения регламентирующих решений чувствительность необходима для соответствия опросника PRO цели «в определении различий в баллах в течение времени у отдельных лиц и групп, у которых есть изменения с отношением к оцениваемому подходу» [1]. Как отмечалось в обсуждении Надлежащей исследовательской практики 1 в настоящем обзоре, надежность и валидность была проанализирована и описана для многих показателей PRO, разработанных для детей и подростков. Однако опубликовано относительно немного данных по чувствительности показателей педиатрических PRO [14]. С учётом важности точного обнаружения изменений в исследованиях, связанных с маркировкой медицинской продукции, настоящая исследовательская группа рекомендует оценивать чувствительность любого педиатрического опросника PRO, используемого в данном контексте.

Несмотря на то, что данный обзор специальной группы ориентируется, в первую очередь, на создание новых инструментов PRO, рекомендации и пояснения могут также относиться к использованию, оценке и модификации существующих опросников PRO, разработанных для применения у детей. Вопросы, касающиеся использования и совершенствования существующих инструментов, детально рассматривались предыдущей исследовательской группой ISPOR [54].

Одним из недостатков данной специальной группы было ограниченное внимание к оценке педиатрических PRO в сфере исследований, связанных с подачей документации в регулирующие органы. Исследования исходов здоровья вне данной области не включали в настоящий обзор, но стоит отметить, что другие области исследования у детей и подростков также поднимают важные методологические вопросы. Например, оценка практичности структур здравоохранения необходима для определения количества лет жизни с учетом ее качества (QALY) при моделировании «затраты-полезность», согласованным со страховыми организациями и другими лицами, принимающими решения. Но оценка состояния здоровья детей поднимает особые вопросы [136—138]. Дети могут быть не способны представить себе абстрактные понятия, необходимые для непосредственной оценки свойств, таких как временные согласованные и стандартные игровые задания, и зачастую методы оценки свойств, используемые у взрослых, не применимы к педиатрическим

заболеваниям. Более того, в связи с ускоренным физическим и умственным развитием детей, состояние детского здоровья менее стабильно, чем взрослого, а временная оценка здоровья сложна [139]. Тем не менее, анализ «затраты-полезность» зачастую связан со схемами лечения детской патологии, и средства для педиатрических состояний необходимы для оценки качества жизни детей с учётом данных схем [140]. Поэтому исследователи работают над созданием практичных опросников здоровья, специфичных для детей и подростков [141—144]. Другое расширяющееся поле для исследований, которое в будущем будет влиять на клинические и политические решения — это исследование сравнительной эффективности (Comparative Effectiveness Research, CER). Предполагается, что методы и понятия CER могут отличаться при оценке лечения у детей, по сравнению с взрослыми [145]. По причине определенного уклона в сторону PRO в регламентирующей сфере, настоящая исследовательская группа не рассматривает данные области исследований, но ожидается, что будущие испытания продолжат изучать вопросы, касающиеся детей, по широкому ряду тем, таких как практическая оценка состояния здоровья и CER.

Многие другие важные темы, относящиеся к педиатрическим исследованиям, не были освещены в настоящем обзоре. Например, оценка лекарственной терапии у детей затрагивает специфические этические вопросы, детально рассмотренные в опубликованных руководствах Американской педиатрической академии (American Academy of Pediatrics) [146]. Вопросы, касающиеся привлечения детей для рандомизированного клинического исследования, также были рассмотрены ранее [147].

Литература

С каждым новым исследованием PRO у детей и подростков уверенность в инструментах и методологии по педиатрическим PRO будет продолжать расти. Более того, по мере роста использования данных по PRO для написания инструкций, все больше информации будет появляться о стандартах применения инструментов. В связи с непрекращающимся развитием данных областей исследования, использование инструментов PRO в клинических исследованиях и заявки на регистрацию медицинского продукта помогут убедиться в том, что переживание ребёнком болезни и процесса лечения адекватным образом отображены и проанализированы при принятии управленческих решений.

Благодарности

Авторы искренне благодарны следующим членам ISPOR за их вклад в разработку этих совместных надлежащих исследовательских практик, указанных в данном отчёте: Elizabeth Molsen, Bhagwan Aggarwal, Celestina Arrigo, Alexandra Barsdorf, Katy Benjamin, Andrew Bottomley, Yan Cheng, Hsingwen Chung, Ben Craig, Dalia Dawoud, Prasanna Deshpanade, Pero Draganic?, Ancilla Fernandes, Emmuela Flood, Mary Gawlicki, Richa Goyal, Rosina Hinojosa, Stefan Holmstrom, Manthan Janodia, Peter Kaskel, David Keleti, Kanav Khera, Ramanath Kv, Jeanne Landgraf, Kathryn Lasch, Tamar Lasky, Yvonne Lis, Michelle Mocarski, Chris Morris, Shekoufeh Nikfar, Mira Pavlovic, Farhan Abdul Rauf, Yong Joo Rhee, Margaret Rothman, Joerg Ruof, Steve Ryder, Luciana Scalone, Jun Su, Tara Symonds, Elio Tanaka, Sreedhar Tirunagari, Nayanabhirama Udupa, Wendy Ungar, Erica Velthuis, and Etta Vinik.

1. Food and Drug Administration. Guidance for Industry — Patient-Reported Outcome Measures: Use in Medical Product Development to Support Labeling Claims. SilverSpring, MD: Food and Drug Administration, 2009.

2. Patrick D.L., Burke L.B., Powers J.H., et al. Patient-reported outcomes to support medical product labeling claims: FDA perspective. Value Health 2007;10 (Suppl. 2):S125—37.

3. Burke L.B., Kennedy D.L., Miskala P.H., et al. The use of patient-reported outcome measures in the evaluation of medical products for regulatory approval. Clin Pharmacol Ther 2008;84:281—3.

4. Gnanasakthy A., Mordin M., Clark M., et al. A review of patient-reported outcome labels in the United States: 2006 to 2010. Value Health 2012;15:437—42.

5. European Medicines Agency. Reflection Paper on the Regulatory Guidance for the Use of Health-Related Quality of Life (HRQL) Measures in the Evaluation of Medicinal Products. London, United Kingdom: European Medicines Agency. Committee for Medicinal Products for Human Use (CHMP), 2005.

6. Connolly M.A., Johnson J.A. Measuring quality of life in paediatric patients. Pharmacoeconomics 1999;16:605—25.

7. Drotar D. Measuring Health-Related Quality of Life in Children and Adolescents: Implication for Research and Practice. Mahwah, NJ: Erlbaum, 1998.

8. Eiser C., Mohay H., Morse R. The measurement of quality of life in young children. Child Care Health Dev 2000;26:401—14.

9. Eiser C., Morse R. Quality-of-life measures in chronic diseases of childhood. Health Technol Assess 2001;5:1—157.

10. Eiser C., Morse R. A review of measures of quality of life for children with chronic illness. Arch Dis Child 2001;84:205—11.

11. Erling A. Methodological considerations in the assessment of health-related quality of life in children. Acta Paediatr Suppl 1999;88:106—7.

12. De Civita M., Regier D., Alamgir A.H., et al. Evaluating health-related quality-of-life studies in paediatric populations: some conceptual, methodological and developmental considerations and recent applications. Pharmacoeconomics 2005;23:659—85.

13. Hinds P.S., Brandon J., Allen C., et al. Patient-reported outcomes in end-of-life research in pediatric oncology J Pediatr Psychol, 32 (2007), pp. 1079—1088

14. Landgraf J.M. Practical considerations in the measurement of HRQoL in child/adolescent clinical trials. P. Fayers, R. Hays (Eds.), Accessing Quality of Life in Clinical Trials (2nd ed.), Oxford University Press, New York (2005)

15. Landgraf J.M., Abetz L.N. Measuring health outcomes in pediatric populations: issues in psychometrics and application. Qual Life Pharmacoecon Clin Trials, 2 (1996), pp. 793—802

16. Matza L.S., Swensen A.R., Flood E.M., et al. Assessment of health-related quality of life in children: a review of conceptual, methodological, and regulatory issues. Value Health, 7 (2004), pp. 79—92

17. Morris C., Gibbons E., Fitzpatrick R. Child and Parent Reported Outcome Measures: A Scoping Report Focusing on Feasibility for Routine Use in the NHS. Department of Public Health, University of Oxford, Oxford, United Kingdom (2009).

18. Quittner A.L., Modi A., Cruz I. Systematic review of health-related quality of life measures for children with respiratory conditions. Paediatr Respir Rev, 9 (2008), pp. 220—232

19. Rebok G., Riley A., Forrest C., et al. Elementary school-aged children's reports of their health: a cognitive interviewing study. Qual Life Res, 10 (2001), pp. 59—70

20. Theunissen N.C., Vogels T.G., Koopman H.M., et al. The proxy problem: child report versus parent report in health-related quality of life research. Qual Life Res, 7 (1998), pp. 387—397.

21. Varni J.W., Limbers C.A., Burwinkle T.M. How young can children reliably and validly self-report their health-related quality of life? An analysis of 8,591 children across age subgroups with the PedsQL 4.0 Generic Core Scales. Health Qual Life Outcomes, 5 (2007), p. 1.

22. Wallander J.L., Schmitt M., Koot H.M. Quality of life measurement in children and adolescents: issues, instruments, and applications. J Clin Psychol, 57 (2001), pp. 571—585.

23. Clarke S.A., Eiser C. The measurement of health-related quality of life (QOL) in paediatric clinical trials: a systematic review. Health Qual Life Outcomes, 2 (2004), p. 66.

24. Cremeens J., Eiser C., Blades M. Characteristics of health-related self-report measures for children aged three to eight years: a review of the literature. Qual Life Res, 15 (2006), pp. 739—754.

25. Eiser C., Morse R. Can parents rate their child's health-related quality of life? Results of a systematic review. Qual Life Res, 10 (2001), pp. 347—357.

26. Rajmil L., Herdman M., Fernandez de Sanmamed M.J., et al. Generic health-related quality of life instruments in children and adolescents: a qualitative analysis of content. J Adolesc Health, 34 (2004), pp. 37—45.

27. Ravens-Sieberer U., Erhart M., Wille N., et al. Generic health-related quality-of-life assessment in children and adolescents: methodological considerations. Pharmacoeconomics, 24 (2006), pp. 1199—1220.

28. Solans M., Pane S., Estrada M.D., et al. Health-related quality of life measurement in children and adolescents: a systematic review of generic and disease-specific instruments. Value Health, 11 (2008), pp. 742—764.

29. Bevans K.B., Riley A.W., Moon J., et al. Conceptual and methodological advances in child-reported outcomes measurement. Expert Rev Pharmacoecon Outcomes Res, 10 (2010), pp. 385—396.

30. RileyA.W. Evidence that school-age children can self-report on their health. Ambul Pediatr, 4 (2004), pp. 371—376.

31. Williams C. Gender, adolescence and the management of diabetes. J Adv Nurs, 30 (1999), pp. 1160—1166.

32. Patrick D.L., Edwards T.C., Skalicky A.M., et al. Validation of a quality-of-life measure for deaf or hard of hearing youth. Otolaryngol Head Neck Surg, 145 (2011), pp. 137—145.

33. Peden M. World report on child injury prevention appeals to "Keep Kids Safe". Inj Prev, 14 (2008), pp. 413—414.

34. Office of the United Nations High Commissioner for Human Rights. Convention on the Rights of the Child. Geneva, Switzerland: United Nations, 1989.

35. Centers for Disease Control and Prevention. Protect the Ones You Love: Child Injuries Are Preventable. Atlanta, GA: Centers for Disease Control and Prevention, 2012.

36. Borse N.N., Rudd R.A., Dellinger A.M., et al. Years of Potential Life Lost Due to Unintentional Injuries among Children and Adolescents. Atlanta, GA: Centers for Disease Control and Prevention, 2012.

37. US Department of Health & Human Services. What Is Adolescence? Washington, D.C.: US Department of Health & Human Services, Office of Population Affairs, 2012.

38. Kaplan P.S. Adolescence. Houghton Mifflin Company, Boston (2004).

39. Grange A., Bekker H., Noyes J., et al. Adequacy of health-related quality of life measures in children under 5 years old: systematic review. J Adv Nurs, 59 (2007), pp. 197—220.

40. Khan F.I., Reddy R.C., Baptist A.P. Pediatric Dyspnea Scale for use in hospitalized patients with asthma. J Allergy Clin Immunol, 123 (2009), pp. 660—664.

41. Luby J.L., Belden A., Sullivan J., et al. Preschoolers' contribution to their diagnosis of depression and anxiety: uses and limitations of young child self-report of symptoms. Child Psychiatry Hum Dev, 38 (2007), pp. 321—338.

42. Riley A., Forrest C.B., Starfield B., et al. Technical Manual for the Child Health and Illness Profile-Child Edition and CHIP-CE. The Johns Hopkins University, Baltimore, MD (2001)

43. Ronen G.M., Streiner D.L., Rosenbaum P., et al. Health-related quality of life in children with epilepsy: development and validation of self-report and parent proxy measures. Epilepsia, 44 (2003), pp. 598—612.

44. Chambers C.T., Johnston C. Developmental differences in children's use of rating scales. J Pediatr Psychol, 27 (2002), pp. 27—36.

45. Demetriou A., Raftopoulos A. Modeling the developing mind: from structure to change. Dev Rev, 19 (1999), pp. 319—368.

46. Juniper E.F., Guyatt G.H., Feeny D.H., et al. Minimum skills required by children to complete health-related quality of life instruments for asthma: comparison of measurement properties. Eur Respir J, 10 (1997), pp. 2285—2294.

47. Irwin D.E., Varni J. W., Yeatts K., et al. Cognitive interviewing methodology in the development of a pediatric item bank: a Patient Reported Outcomes Measurement Information System (PROMIS) study. Health Qual Life Outcomes, 7 (2009), p. 3.

48. Edwards T.C., Huebner C.E., Connell F.A., et al. Adolescent quality of life, part I: conceptual and measurement model. J Adolesc, 25 (2002), pp. 275—286.

49. Arnett J.J. Emerging adulthood: a theory of development from the late teens through the twenties. Am Psychol, 55 (2000), pp. 469—480.

50. HenigR.M. What is it about 20-somethings? The New York Times. August 22 (2010) MM28.

51. Patrick D.L., Burke L.B., Gwaltney C.J., et al. Content validity—establishing and reporting the evidence in newly developed patient-reported outcomes (PRO) instruments for medical product evaluation: ISPOR PRO Good Research Practices Task Force report: part 1--eliciting concepts for a new PRO instrument. Value Health, 14 (2011), pp. 967—977.

52. Patrick D.L., Burke L.B., Gwaltney C.J., et al. Content validity—establishing and reporting the evidence in newly developed patient-reported outcomes (PRO) instruments for medical product evaluation: ISPOR PRO Good Research Practices Task Force report: part 2—assessing respondent understanding. Value Health, 14 (2011), pp. 978—988.

53. Fehnel S. Establishing optimal requirements for content validity: a work in progress. Value Health, 12 (2009), p. 1074

54. Rothman M., Burke L., Erickson P., et al. Use of existing patient-reported outcome (PRO) instruments and their modification: the ISPOR Good Research Practices for Evaluating and Documenting Content Validity for the Use of Existing Instruments and Their Modification PRO Task Force Report. Value Health, 12 (2009), pp. 1075—1083.

55. Brod M., TeslerL.E., Christensen T.L. Qualitative research and content validity: developing best practices based on science and experience. Qual Life Res, 18 (2009), pp. 1263—1278.

56. Leidy N.K., Vernon M. Perspectives on patient-reported outcomes: content validity and qualitative research in a changing clinical trial environment. Pharmacoeconomics, 26 (2008), pp. 363—370.

57. Collins D. Pretesting survey instruments: an overview of cognitive methods. Qual Life Res, 12 (2003), pp. 229—238.

58. Deane D.M. Content, construct, and criterion-related validity. Diabetes Educ, 17 (1991), pp. 361—362.

59. Gannotti M.E., Cruz C. Content and construct validity of a Spanish translation of the Pediatric Evaluation of Disability Inventory for children living in Puerto Rico. Phys Occup Ther Pediatr, 20 (2001), pp. 7—24.

60. McCabe M.A., Granger C.V. Content validity of a pediatric functional independence measure. Appl Nurs Res, 3 (1990), pp. 120—122.

61. Penny A.M., Waschbusch D.A., Klein R.M., et al. Developing a measure of sluggish cognitive tempo for children: content validity, factor structure, and reliability. Psychol Assess, 21 (2009), pp. 380—389.

62. Morris C., Liabo K, Wright P., et al. Development of the Oxford Ankle Foot Questionnaire: finding out how children are affected by foot and ankle problems. Child Care Health Dev, 33 (2007), pp. 559—568.

63. Riesch S.K., Anderson L.S., Angresano N., et al. Evaluating content validity and test-retest reliability of the children's health risk behavior scale. Public Health Nurs, 23 (2006), pp. 366—372.

64. Stewart J.L., Lynn M.R., Mishel M.H. Evaluating content validity for children's self-report instruments using children as content experts. Nurs Res, 54 (2005), pp. 414—418.

65. Tomlinson D., Gibson F., Treister N., et al. Understandability, content validity, and overall acceptability of the Children's International Mucositis Evaluation Scale (ChIMES): child and parent reporting. J Pediatr Hematol Oncol, 31 (2009), pp. 416—423.

66. SchillingL.S., Dixon J.K., Knafl K.A., et al. Determining content validity of a self-report instrument for adolescents using a heterogeneous expert panel. Nurs Res, 56 (2007), pp. 361—366.

67. Harris S.R., Daniels L.E. Content validity of the Harris Infant Neuromotor Test. Phys Ther, 76 (1996), pp. 727—737.

68. Palisano R.J., Rosenbaum P., Bartlett D., et al. Content validity of the expanded and revised Gross Motor Function Classification System. Dev Med Child Neurol, 50 (2008), pp. 744—750.

69. Cox M.J., Paley B. Families as systems. Annu Rev Psychol, 48 (1997), pp. 243—267.

70. Pleil A.M., Kimel M, McCormack J., et al. Psychometric Assessment of the Injection Pen Assessment Questionnaire (IPAQ): measuring ease of use and preference with injection pens for human growth hormone. Health Qual Life Outcomes, 10 (2012), p. 126.

71. Ungar W. J., Mirabelli C., Cousins M., et al. A qualitative analysis of a dyad approach to health-related quality of life measurement in children with asthma. Soc Sci Med, 63 (2006), pp. 2354—2366.

72. Ungar W.J., Boydell K., Dell S., et al. A parent-child dyad approach to the assessment of health status and health-related quality of life in children with asthma. Pharmacoeconomics, 30 (2012), pp. 697—712.

73. Picchietti D.L., Arbuckle R.A., Abetz L., et al. Pediatric restless legs syndrome: analysis of symptom descriptions and drawings. J Child Neurol, 26 (2011), pp. 1365—1376.

74. Knafl K., Deatrick J., Gallo A., et al. The analysis and interpretation of cognitive interviews for instrument development. Res Nurs Health, 30 (2007), pp. 224—234.

75. Varni J. W., Curtis B.H., Abetz L.N., et al. Content validity of the PedsQL 3.2 Diabetes Module in newly diagnosed patients with type 1 diabetes mellitus ages 8-45 [published online ahead of print December 27, 2012]. Qual Life Res (2012) 10.1007/s11136-012-0339-8

76. Chang P.C., Yeh C.H. Agreement between child self-report and parent proxy-report to evaluate quality of life in children with cancer. Psychooncology, 14 (2005), pp. 125—134.

77. Varni J. W., Limbers C.A., Burwinkle T.M. Parent proxy-report of their children's health-related quality of life: an analysis of 13,878 parents' reliability and validity across age subgroups using the PedsQL 4.0 Generic Core Scales. Health Qual Life Outcomes, 5 (2007), p. 2.

78. Landgraf J, Abetz L., Ware J. The CHQ User's Manual. (2nd ed.) Health Act, Boston (1999).

79. Riley A.W., Forrest C.B., Starfield B., et al. The Parent Report Form of the CHIP-Child Edition: reliability and validity. Med Care, 42 (2004), pp. 210—220.

80. Varni J. W., Seid M., Kurtin P.S. Pediatric health-related quality of life measurement technology: a guide for health care decision makers. JCOM, 6 (1999), pp. 33—40.

81. Pickard A.S., Lin H.W., Knight S.J., et al. Proxy assessment of health-related quality of life in African American and white respondents with prostate cancer: perspective matters. Med Care, 47 (2009), pp. 176—183.

82. Beattie P.E., Lewis-Jones M.S. A comparative study of impairment of quality of life in children with skin disease and children with other chronic childhood diseases. Br J Dermatol, 155 (2006), pp. 145—151.

83. Brown G.T., Wright F.V., Lang B.A., et al. Clinical responsiveness of self-report functional assessment measures for children with juvenile idiopathic arthritis undergoing intraarticular corticosteroid injections. Arthritis Rheum, 53 (2005), pp. 897—904.

84. Brunner H.I., Klein-Gitelman M.S., Miller M.J., et al. Health of children with chronic arthritis: relationship of different measures and the quality of parent proxy reporting. Arthritis Rheum, 51 (2004), pp. 763—773.

85. Hutchings H.A., Upton P., Cheung W.Y., et al. Development of a parent version of the Manchester-Minneapolis quality of life survey for use by parents and carers of UK children: MMQL-UK (PF). Health Qual Life Outcomes, 6 (2008), p. 19.

86. Cremeens J., Eiser C., Blades M. Factors influencing agreement between child self-report and parent proxy-reports on the Pediatric Quality of Life Inventory 4.0 (PedsQL) generic core scales. Health Qual Life Outcomes, 4 (2006), p. 58.

87. Davis E., Nicolas C., Waters E., et al. Parent-proxy and child self-reported health-related quality of life: using qualitative methods to explain the discordance. Qual Life Res, 16 (2007), pp. 863—871.

88. De Los Reyes A., Kazdin A.E. Measuring informant discrepancies in clinical child research. Psychol Assess, 16 (2004), pp. 330—334.

89. Jozefiak T., Larsson B., Wichstrom L., et al. Quality of life as reported by school children and their parents: a cross-sectional survey. Health Qual Life Outcomes, 6

(2008), p. 34.

90. Kiss E., Kapornai K., Baji I., et al. Assessing quality of life: mother-child agreement in depressed and non-depressed Hungarian. Eur Child Adolesc Psychiatry, 18

(2009), pp. 265—273.

91. Vance Y.H., Morse R.C., Jenney M.E., et al. Issues in measuring quality of life in childhood cancer: measures, proxies, and parental mental health. J Child Psychol Psychiatry, 42 (2001), pp. 661—667.

92. Zhou H., Roberts P., Horgan L. Association between self-report pain ratings of child and parent, child and nurse and parent and nurse dyads: meta-analysis. J Adv Nurs, 63 (2008), pp. 334—342.

93. Upton P., Lawford J., Eiser C. Parent-child agreement across child health-related quality of life instruments: a review of the literature. Qual Life Res, 17 (2008), pp. 895—913.

94. Canning E.H., Hanser S.B., Shade K.A., et al. Maternal distress and discrepancy in reports of psychopathology in chronically ill children. Psychosomatics, 34 (1993), pp. 506—511.

95. Guyatt G.H., Juniper E.F., Griffith L.E., et al. Children and adult perceptions of childhood asthma. Pediatrics, 99 (1997), pp. 165—168.

96. Levi R.B., Drotar D. Health-related quality of life in childhood cancer: discrepancy in parent-child reports. Int J Cancer Suppl, 12 (1999), pp. 58—64.

97. Food and Drug Administration. Guidance for Industry—Acute Bacterial Otitis Media: Developing Drugs for Treatment. Food and Drug Administration, Silver Spring, MD (2012).

98. Janse A.J., Sinnema G., Uiterwaal C.S., et al. Quality of life in chronic illness: children, parents and paediatricians have different, but stable perceptions. Acta Paediatr, 97 (2008), pp. 1118—1124.

99. Klassen A.F., Miller A., Fine S. Agreement between parent and child report of quality of life in children with attention-deficit/hyperactivity disorder. Child Care Health Dev, 32 (2006), pp. 397—406.

100. Keller V.E., Keck J.F. An instrument for observational assessment of nausea in young children. Pediatr Nurs, 32 (2006), pp. 420—426.

101. Kleinman L., Rothman M., Strauss R., et al. The infant gastroesophageal reflux questionnaire revised: development and validation as an evaluative instrument. Clin Gastroenterol Hepatol, 4 (2006), pp. 588—596.

102. Annett R.D. Assessment of health status and quality of life outcomes for children with asthma. J Allergy Clin Immunol, 107 (Suppl.) (2001), pp. S473—S481.

103. Broder H.L., McGrath C., Cisneros G.J. Questionnaire development: face validity and item impact testing of the Child Oral Health Impact Profile. Community Dent Oral Epidemiol, 35 (Suppl. 1) (2007), pp. 8—19.

104. van Laerhoven H., van der Zaag-Loonen H.J., Derkx B.H. A comparison of Likert scale and visual analogue scales as response options in children's questionnaires. Acta Paediatr, 93 (2004), pp. 830—835.

105. Christie M.J., French D., Sowden A., et al. Development of child-centered disease-specific questionnaires for living with asthma. Psychosom Med, 55 (1993), pp. 541—548.

106. Flesch R. A new readability yardstick. J Appl Psychol, 32 (1948), pp. 221—233.

107. ProutH.T., ChizikR. Readability of child and adolescent self-report measures. J Consult Clin Psychol, 56 (1988), pp. 152—154.

108. Likert R.A. A technique for the development of attitude scales. Educ Psychol Meas, 12 (1952), pp. 313—315.

109. Streiner D.L., Norman G.R. Health Measurement Scales: A Practical Guide to Their Development and Use. Oxford University Press, New York (2008).

110. Shields B.J., Palermo T.M., Powers J.D., et al. Predictors of a child's ability to use a visual analogue scale. Child Care Health Dev, 29 (2003), pp. 281—290.

111. Herdman M., Rajmil L., Ravens-Sieberer U., et al. Expert consensus in the development of a European health-related quality of life measure for children and adolescents: a Delphi study. Acta Paediatr, 91 (2002), pp. 1385—1390.

112. Riley AW, Forrest C.B., Rebok G.W., et al. The Child Report Form of the CHIP-Child Edition: reliability and validity. Med Care, 42 (2004), pp. 221—231.

113. Varni J.W., Seid M., Kurtin P.S. PedsQL 4.0: reliability and validity of the Pediatric Quality of Life Inventory version 4.0 generic core scales in healthy and patient populations. Med Care, 39 (2001), pp. 800—812.

114. Baxter S.D., Guinn C.H., Royer J.A., et al. Accuracy of children's school-breakfast reports and school-lunch reports (in 24-h dietary recalls) differs by retention interval. Eur J Clin Nutr, 63 (2009), pp. 1394—1403.

115. Juniper E.F., Guyatt G.H., Feeny D.H., et al. Measuring quality of life in the parents of children with asthma. Qual Life Res, 5 (1996), pp. 27—34.

116. Holme S.A., Man I., Sharpe J.L., et al. The Children's Dermatology Life Quality Index: validation of the cartoon version. Br J Dermatol, 148 (2003), pp. 285—290.

117. Tomlinson D., Gibson F., Treister N., et al. Refinement of the Children's International Mucositis Evaluation Scale (ChIMES): child and parent perspectives on understandability, content validity and acceptability. Eur J Oncol Nurs, 14 (2010), pp. 29—41.

118. Chambers C.T., CraigK.D. An intrusive impact of anchors in children's faces pain scales. Pain, 78 (1998), pp. 27—37.

119. French D.J., Christie M.J., Sowden A.J. The reproducibility of the Childhood Asthma Questionnaires: measures of quality of life for children with asthma aged 4-16 years. Qual Life Res, 3 (1994), pp. 215—224.

120. Valla J.P., Bergeron L., Berube H., et al. A structured pictorial questionnaire to assess DSM-III-R-based diagnoses in children (6-11 years): development, validity, and reliability. J Abnorm Child Psychol, 22 (1994), pp. 403—423.

121. Whitcomb S.A., Merrell K.W. Interviewing techniques. Behavioral, Social, and Emotional Assessment of Children and Adolescents (4th ed.) Routledge, New York (2013) chapter 6.

122. Coons S.J., Gwaltney C.J., Hays R.D., et al. Recommendations on evidence needed to support measurement equivalence between electronic and paper-based patient-reported outcome (PRO) measures: ISPOR ePRO Good Research Practices Task Force report. Value Health, 12 (2009), pp. 419—429.

123. Mangunkusumo R. T., Duisterhout J.S., de GraaffN., et al. Internet versus paper mode of health and health behavior questionnaires in elementary schools: asthma and fruit as examples. J Sch Health, 76 (2006), pp. 80—86.

124. Mussaffi H., Omer R., Prais D., et al. Computerised paediatric asthma quality of life questionnaires in routine care. Arch Dis Child, 92 (2007), pp. 678—682.

125. Raat H., Mangunkusumo R.T., Landgraf J.M., et al. Feasibility, reliability, and validity of adolescent health status measurement by the Child Health Questionnaire Child Form (CHQ-CF): internet administration compared with the standard paper version. Qual Life Res, 16 (2007), pp. 675—685.

126. Varni J.W., Limbers C.A., Burwinkle T.M., et al. The ePedsQL in type 1 and type 2 diabetes: feasibility, reliability, and validity of the Pediatric Quality of Life Inventory Internet administration. Diabetes Care, 31 (2008), pp. 672—677.

127. Young N.L., Varni J.W., Snider L., et al. The Internet is valid and reliable for child-report: an example using the Activities Scale for Kids (ASK) and the Pediatric Quality of Life Inventory (PedsQL). J Clin Epidemiol, 62 (2009), pp. 314—320.

128. Stritzke W.G., Dandy J., Durkin K., et al. Use of interactive voice response (IVR) technology in health research with children. Behav Res Methods, 37 (2005), pp. 119—126.

129. Bullinger M., Alonso J., Apolone G., et al. Translating health status questionnaires and evaluating their quality: the IQOLA Project approach. International Quality of Life Assessment. J Clin Epidemiol, 51 (1998), pp. 913—923.

130. Wild D., Grove A., Martin M., et al. Principles of good practice for the translation and cultural adaptation process for patient-reported outcomes (PRO) measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health, 8 (2005), pp. 94—104.

131. Guillemin F., Bombardier C., Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol, 46 (1993), pp. 1417—1432.

132. Smythe I., Everatt J., Al-Menaye N., et al. Predictors of word-level literacy amongst grade 3 children in five diverse languages. Dyslexia, 14 (2008), pp. 170—187.

133. Guyatt G., Walter S., Norman G. Measuring change over time: assessing the usefulness of evaluative instruments. J Chronic Dis, 40 (1987), pp. 171—178

134. Leidy N.K., Revicki D.A., Geneste B. Recommendations for evaluating the validity of quality of life claims for labeling and promotion. Value Health, 2 (1999), pp. 113—127.

135. Revicki D., Hays R.D., Cella D., et al. Recommended methods for determining responsiveness and minimally important differences for patient-reported outcomes. J Clin Epidemiol, 61 (2008), pp. 102—109.

136. Griebsch I., Coast J., Brown J. Quality-adjusted life-years lack quality in pediatric care: a critical review of published cost-utility studies in child health. Pediatrics, 115 (2005), pp. e600—e614.

137. Prosser L.A., Hammitt J.K., Keren R. Measuring health preferences for use in cost-utility and cost-benefit analyses of interventions in children: theoretical and methodological considerations. Pharmacoeconomics, 25 (2007), pp. 713—726.

138. Ungar W.J. Challenges in health state valuation in paediatric economic evaluation: are QALYs contraindicated?. Pharmacoeconomics, 29 (2011), pp. 641—652.

139. Wright D.R., WittenbergE., Swan J.S., et al. Methods for measuring temporary health states for cost-utility analyses. Pharmacoeconomics, 27 (2009), pp. 713—723.

140. Kromm S.K., Bethell J., Kraglund F., et al. Characteristics and quality of pediatric cost-utility analyses. Qual Life Res, 21 (2012), pp. 1315—1325.

141. Ratcliffe J., Flynn T., Terlich F., et al. Developing adolescent-specific health state values for economic evaluation: an application of profile case best-worst scaling to the Child Health Utility 9D. Pharmacoeconomics, 30 (2012), pp. 713—727.

142. Ravens-Sieberer U., Wille N., Badia X., et al. Feasibility, reliability, and validity of the EQ-5D-Y: results from a multinational study. Qual Life Res, 19 (2010), pp. 887—897.

143. Stevens K. Valuation of the Child Health Utility 9D Index. Pharmacoeconomics, 30 (2012), pp. 729—747.

144. Wille N., Badia X., Bonsel G., et al. Development of the EQ-5D-Y: a child-friendly version of the EQ-5D. Qual Life Res, 19 (2010), pp. 875—886.

145. Prosser L.A. Comparative effectiveness and child health. Pharmacoeconomics, 30 (2012), pp. 637—645.

146. Shaddy R.E., Denne S.C. The Committee on Drugs and Committee on Pediatric Research. Clinical report-guidelines for the ethical conduct of studies to evaluate drugs in pediatric populations. Pediatrics, 125 (2010), pp. 850—860.

147. Shilling V., Williamson P.R., Hickey H., et al. Processes in recruitment to randomised controlled trials of medicines for children (RECRUIT): a qualitative study. Health Technol Assess, 15 (2011), pp. 1—116.