CC BY
21
Многонациональные исследования — Рекомендации по требованиям к переводам, подходам к использованию одного языка в разных странах, а также к подходам в поддержке при сборе данных:
отчет Целевой группы ISPOR по надлежащей исследовательской практике в переводах и лингвистической валидации оценок результатов пациентами
Diane Wild, MSc1, Sonya Eremenco, MA2, Isabelle Mear, MA3, Mona Martin, RN, MPA4, Caroline Houchin, MA1, Mary Gawlicki, MBA5, Asha Hareendran, PhD6, Ingela Wiklund, PhD7, Lee Yee Chong, PhD8, Robyn von Maltzahn, MSc1, Lawrence Cohen, PharmD, BCPP,
FASHP, FCCP9, Elizabeth Molsen, RN10
1 — Oxford Outcomes Ltd, Oxford, UK
2 — United BioSource Corporation, Bethesda, MD, USA
3 — Mapi Research Institute, Lyon, France
4 — Health Research Associates, Inc., Mountlake Terrace, WA, USA
5 — Corporate Translations, Inc., Harford, CT, USA
6 — Global Outcomes Research, Pfizer, Ltd., Sandwich, UK
7 — Global Health Outcomes, GlaxoSmithKline, Middlesex, UK
8 — Formerly at AHP Research Ltd, Middlesex, UK
9 — Washington State University, Spokane, WA, USA
10 — International Society for Pharmacoeconomics & Outcomes Research (ISPOR), Lawrenceville, NJ, USA
[Correction added after online publication 13-November-2008: Information on FDA requirements in Section I has been updated]
Переводчик:
Павлыш Андрей Владиславович — к.м.н.. докторант Первого Санкт-Петербургского государственного медицинского университета им. акад. И.П. Павлова, Санкт-Петербург, Российская Федерация Рецензент:
Вербицкая Елена Владимировна — к.б.н., доцент, Первый Санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова, Санкт-Петербург, Российская Федерация
Резюме. Цели: интернационализация программ клинических исследований повысила необходимость переводить и культурно адаптировать оценки результатов пациентами (PRO). Хотя существуют руководства по надлежащей практике перевода и лингвистической валидации, Целевая группа ISPOR по переводам и лингвистической валидации при оценке результатов пациентами определила ряд областей, в которых, по мнению ее участников, требовалось дальнейшее обсуждение методов и надлежащих практик. Группа выделила следующие области: 1) выбор языков, необходимых для многонациональных исследований; 2) подходы, предлагаемые, если в двух или более странах используется один и тот же язык; и 3) оценка эквивалентности измерений для объединения данных из разных стран. Методы: Целевая группа рассмотрела эти три области, прочитала имеющуюся литературу и провела множество обсуждений для разработки данного отчета. Результаты: Инструменты для помощи в принятии решений также были разработаны и представлены для выбора языков и подходов, предлагаемых для использования одного и того же языка в разных странах. Заключение: Мы надеемся, что этот отчет и предлагаемые инструменты для принятия решений помогут участникам многонациональных исследований: 1) принимать решения о переводах, необходимых для конкретной страны; 2) выбирать подход, когда на одном и том же языке говорят больше, чем в одной стране; и 3) выбирать методы для сбора данных, полученных с помощью различных языковых версий одного и того же инструмента.
Ключевые слова: адаптация, лингвистическая валидация, многонациональный, объединение, перевод
Multinational Trials — Recommendations on the Translations Required, Approaches to Using the Same Language in Different Countries, and the Approaches to Support Pooling the Data: The ISPOR Patient-Reported Outcomes Translation and Linguistic Validation Good Research Practices Task Force Report Abstract. Objectives: With the internationalization of clinical trial programs, there is an increased need to translate and culturally adapt patient-reported outcome (PRO) measures. Although guidelines for good practices in translation and linguistic validation are available, the ISPOR Patient-Reported Outcomes Translation and Linguistic Validation Task Force identified a number of areas where they felt that further discussion around methods and best practices would be beneficial. The areas identified by the team were as follows: 1) the selection of the languages required for multinational trials; 2) the approaches suggested when the same language is required across two or more countries; and 3) the assessment of measurement equivalence to support the aggregation of data from different countries. Methods: The task force addressed these three areas, reviewed the available literature, and had multiple discussions to develop this report. Results: Decision aid tools have also been developed and presented for the selection of languages and the approaches suggested for the use of the same language in different countries. Conclusion: It is hoped that this report and the decision tools proposed will assist those involved with multinational trials to 1) decide on the translations required for each country; 2) choose the approach to use when the same language is spoken in more than one country; and 3) choose methods to gather evidence to support the pooling of data collected using different language versions of the same tool.
Keywords: adaptation, linguistic validation, multinational, pooling, translation
Введение
Совет ISPOR по здоровью, науке и политике одобрил и рекомендовал создание Целевой группы по переводу и лингвистической валидации в январе 2007 года. Совет ISPOR одобрил это в марте 2007 года.
Члены Целевой группы являются опытными и хорошо осведомленными специалистами в области перевода, лингвистической валидации и измерению международной эквивалентности, и работают в научной среде, промышленности, контрактных исследовательских организациях (contract research organizations, CRO), а также в качестве советников в правительстве. Они представляют несколько стран Европы, а также США.
В рамках форума по оценкам результатов пациентами ??(patient-reported outcome, PRO), проводившегося на 12-й ежегодной международной встрече ISPOR в 2007 году, был представлен обзор первоначальных рекомендаций и будущего направления работы Целевой группы. На форуме была также получена обратная связь.
Целевая группа встречалась раз в месяц, чтобы обсудить наиболее важные вопросы, возникшие в связи с переводами и лингвистической валидацией документов PRO. Целевая группа была разделена на три подгруппы, которые разрабатывали наброски и проекты отчетов, каждая по своей соответствующей теме. Все результаты работы были рассмотрены Целевой группой в полном составе.
После того, как был готов проект версии окончательного отчета, состоящего из трех разделов, он был представлен на рассмотрение в течение трех недель группе особого интереса по оценкам результатов пациентами. Была получена важная и конструктивная обратная связь, которую, по мере необходимости, включили в отчет. Кроме того, содержание отчета было представлено в 2008 году на 13-й ежегодной международной конференции ISPOR о PRO. Вновь полученные комментарии включались в окончательный отчет. Члены Целевой группы также получили многочисленные варианты отчета за время его 18-месячной разработки. После того, как было достигнуто соглашение, рукопись предоставили журналу Value in Health.
Растущая интернационализация клинических исследований вызвала необходимость переводов и адаптации инструментов PRO для использования в странах, чей язык отличается от языка оригинала, и она продолжает расти с привлечением в клинические исследования новых стран, таких как Индия и Китай. Большинство инструментов разрабатывается в англоговорящих странах, поэтому они должны быть переведены и адаптированы для использования в других странах.
Эта Целевая группа была основана в марте 2007 года с целью распространения принципов надлежащей практики по переводу и процессу культурной адаптации оценок результатов пациентами (PRO): Отчета Целевой группы ISPOR по переводу и культурной адаптации [1]. Члены Целевой группы представляют научные круги, службу лингвистической валидации и промышленность.
Целевая группа вычленила три важных вопроса, которые не были рассмотрены в предыдущих отчетах или в литературе: 1) выбор языков, необходимых для перевода; 2) методы перевода для одноязычных версий, используемых в разных странах; и 3) вопросы и проблемы объединения данных PRO для разных стран.
РАЗДЕЛ 1 — Многонациональные исследования: помощь в принятии решений о выборе языков для перевода
Введение
Поскольку клинические исследования проводят во всём большем числе стран, становится необходимым выбрать языковые версии, требующиеся для эффективного использования PRO. Нужно найти компромисс между необходимостью адекватно покрыть все используемые целевой популяцией языки, быть эффективными для целевой группы населения и необходимостью экономить ресурсы.
Важно не недооценить требуемое время, ресурсы и сложность реализации внедрения конечных точек PRO среди целого ряда культурно разных стран. Для индустрии крайне важно адекватно оценить значимость этих вопросов (выбор страны, селекционный центр, число пациентов на сайте, необходимость и стоимость обучения и т.д.). Чем больше пациентов можно набрать через один сайт, тем ниже риск ошибок в данных из-за различий при включении сайтов в исследование. Это особенно важно для развивающихся стран, где может не быть стандартизированных критериев в здравоохранении или процедур. Меньшее число клинических сайтов с большим количеством пациентов обеспечит большую согласованность процедур исследования.
Кроме того, может оказаться разумным рассмотрение набора относительно большого количества пациентов в пределах данной страны (например, 100 пациентов). Во-первых, это сделает психометри-
ческую оценку инструментов более осуществимой. Во-вторых, могут существовать нормативные правила, специфические для данной страны, по которым в клиническом исследовании должно принять участие определенное количество пациентов внутри страны, чтобы продукт был одобрен для использования. Ре-гуляторные вопросы также должны быть приняты во внимание при определении того, сколько пациентов набирать в каждой стране.
Целью этого раздела отчета было определение процесса выбора количества языков, необходимых для адекватной работы с глобальными группами людей для исследований.
Методы
Подгруппа раздела 1 сосредоточила свои усилия на разработке инструмента, который будет оказывать помощь в определении того, какие языки необходимы для стран, отобранных для участия в глобальном клиническом исследовании. Цель состояла в том, чтобы собрать необходимую информацию и предложить процесс принятия решений, которые будут направлять пользователей к оптимальному варианту, а не к окончательным решениям.
Поиск литературы мало что выявил по этому вопросу. После его завершения, в качестве первого проекта инструмента была разработана Сетка (фор-ма)высокой производительности, для чего потребовалась следующая информация:
1. Анализ группы населения: определить происхождение популяции и ее потенциальное влияние на языки, используемые в этой стране.
2. Распространенность заболевания в стране: является ли это фактором, влияющим на выбор языка.
3. Анализ необходимости включения языка: предоставить одновременно информацию об исследовании, которая может повлиять на выбор языка, и информацию о языке, которая должна быть принята во внимание при принятии решения о включении.
Для того чтобы оценить простоту использования и согласованности с точки зрения результатов и ясности инструкций, три компании лингвистической ва-лидации использовали сетки (таблицы- формы), чтобы выбрать язык для следующих стран: Аргентина, Чили, Южная Африка, США, Индия и Сингапур. Результаты согласовывались между тремя компаниями.
Разбирательство после использования сетки (формы) показало, что инструкции были ясны, но потребовались некоторые изменения для подтверждения и уточнения необходимой информации. Кроме того, было разработано дерево решений (рис. 1), чтобы продемонстрировать, каким образом следует проводить процесс выбора после того, как была заполнена Сетка (форма-таблица). См. финальную форму (табл. 1).
Таблица 1
Сетка (таблица-форма) выбора языка
Источники информации:
Цель: определить происхождение населения и его влияние на языки, на которых говорят в стране
1. Анализ населения
Цель: определить происхождение населения и его влияние на языки, на которых говорят в стране
% населения, рожденного в стране % иммигрантов, не рожденных в стране Происхождение иммигрантов Уровень грамотности Национальный официальный язык(и) Язык правительства и СМИ
X X X X X X
2. Преобладание заболевания
Этничность Возрастные рамки Социоэкономи-ческая группа
X X X
3. Анализ необходимости включения языка
Цель: определить вероятность включения языка согласно критериям, указанным ниже.
Страна: хххх
Заполняется персоналом Город или регион Город или регион Город или регион
Определенное количество пациентов на сайт
Заполняется персоналом Спикеры языка А Спикеры языка В Спикеры языка С
X X X
Расположение сайтов исследования
Ассоциированный предоминантный язык(и)
Главный язык(и), определенный кол-вом спикеров Язык Язык Язык
Официальный язык (Да/Нет) X X X
Устный/письменный язык X X X
% и количество людей, говорящих на этом языке как на родном X X X
Изначальное расположение людей, говорящих на этом языке (укажите любое расположение) X X X
Вывод: нужен язык или нет X X X
Сетка (форма)должна быть кем-то заполнена данными о языках, на которых говорят в целевой стране, а для заполнения части 3, раздел 1 (анализ необходимости включения языка) необходимо знание дизайна исследования. Самой большой проблемой, встречающейся при выборе языка, является точность и доступность данных. Вся информация должна быть получена из достоверных источников (если это возможно, то из государственных регулярно обновляемых сайтов). Любая информация, включенная в форму, должна иметь перекрестные ссылки и быть явно указана в начале документа. В идеале, нужно использовать три разных источника, и далее либо сохраняется самый надежный показатель, либо рассчитывается средний показатель, если отсутствуют государственные сайты.
Результаты
Решения, касающиеся выбора языка, являются результатом целого комплекса факторов, например, является ли язык официальным (т.е. имеет ли язык юридический статус). Как правило, официальный язык используется в правительстве, в судах и для административных вопросов. В большинстве случаев выбирается официальный язык, если число носителей не ограничено. Тем не менее, порог может быть выражен в процентах по отношению ко всему населению страны. Так, 3 % — ный порог, показанный на Рисунке 1, не представляет собой абсолютный уровень; вместо этого он обеспечивает индикацию уровня, ниже которого включение языка не имеет смысла (согласно предварительному тестированию). Этот уровень может быть ниже или выше в зависимости от
Страна
Официальный национальный язык(и)
Процент | | Процент спикеров >3% J I спикеров <3%
Будет рассмотрено
Другой язык(и)
±
Расположение сайтов
Ж
Предоминантный язык
X
Другой язык(и)
Нет
X
Процент Процент
спикеров >3% спикеров <3%
Будет рассмотрено
Будет рассмотрено
Нет
Будет рассмотрено: при низком уровне грамотности или преимущественно устном языке стоит использовать формы, администрируемые интервьюером
Рис. 1. Древо решений
количества носителей языка, которое он представляет, распространенность заболевания среди населения, и легкость или сложность нахождения пациентов, отражающих заранее определенное целевое население для исследования. Авторы не рекомендуют создавать переводы на языки, на которых говорит всего лишь 3% населения, за вычетом отдельных редких случаев.
Выбор языка для страны Заключение
Определение того, какие языковые версии необходимы для каждой страны-участницы в клиническом исследовании, остается сложным вопросом, по которому не существует никакого волшебного рецепта. Использование одних и тех же инструментов всеми, кто принимает решения, может значительно облегчить процесс принятия решений и разработать более глубокое обоснование для этой цели.
РАЗДЕЛ 2 — Один язык, разные страны Введение
После определения, какие языки будут необходимы для каждой страны-участницы в клиническом исследовании, возникает вопрос о том, какой подход является наиболее подходящим для создания необходимых переводов. Общие руководства по переводу инструментов PRO, в целом, были предложены
[1, 2]. Тем не менее, эти руководства фокусируются на общем процессе разработки лингвистически утвержденных переводов, вне зависимости от того, о каком языке идет речь, и не рассматривается вопрос о том, как подойти к проблеме создания инструмента на том же языке для использования в различных целевых странах. Целью данного раздела является определение возможных подходов к обработке этой ситуации и определение соответствующих преимуществ и недостатков каждого подхода, чтобы можно было принимать более обоснованные решения. Решение региональных различий, которые могут возникнуть внутри страны, выходит за рамки этой статьи. Для целей этой статьи мы будем использовать термин «страна» для обозначения различных мест, где используется один и тот же язык.
Справочная информация
Две основные причины, по которым на одном и том же языке могут говорить в разных странах — колониализм и изменения границ (Данная фраза не корректна для России). Совсем недавно возросшая иммиграция привела к ситуации, когда в стране с одним изначальным языком все еще в такой мере распространен язык иммигрантов, что услуги для иммигрантов должны быть предоставлены на их языке (например, для турецкого населения в Австрии). В результате географической дисперсии различных языковых групп разговорный язык развился до такой степени, что произношение и словарный запас от-
личаются, (например, португальский в Португалии против португальского в Бразилии). Письменность, как правило, развивается медленнее. Различные языковые группы населения скорее поймут один и тот же письменный язык в отличие от разговорного, что делает возможным использование в различных странах опросников, написанных на том же языке.
Методы
Был проведен обзор литературы с целью изучения существующих правил и подходов, применяемых для решения вопроса переводов, требующихся при использовании одного языка в различных странах. Несколько публикаций отвечает на этот вопрос [2, 3]. Во многих случаях, в публикациях представлены рекомендации, предназначенные для конкретного инструмента, например, FACIT [4, 5], EORTC [6], EQ-5D (руководства EuroQol), и [7], Ноттингемский профиль здравоохранения, но там не было рекомендаций для инструментов PRO в общем. Результаты этого обзора литературы подтвердили необходимость получения дополнительной информации в этой области.
Возможные подходы
Основываясь на литературе и нашем практическом опыте, мы определили три основных подхода к решению проблемы языков в более чем одной стране. Четвертый подход, подразумевающий разработку перевода для использования в одной стране и предположение, что он будет приемлем для использования во всех других странах, разделяющих один и тот же язык, без дальнейшей работы не будет обсуждаться в этой статье. Мы считаем такой подход нецелесообразным, за исключением редких случаев, когда размер выборки по стране настолько мал, что дополнительная работа не является экономически целесообразной. Для целей настоящей статьи будем считать, что английский язык является основным языком инструментов PRO, которые будут переведены. Существуют следующие подходы:
1. Подход, специфический для страны: разные версии перевода разрабатываются для каждой крупной страны или субпопуляции внутри страны.
2. Подход адаптации того же языка: языковая версия документа существует для одной страны; она адаптирована для использования в новых странах или группах населения.
3. Универсальный подход: перевод с самого начала предназначен для нескольких языковых стандартов. Переводчики из разных стран происхождения достигают компромисса для получения перевода, понятного всем.
В некоторых случаях может быть принят комбинированный подход, в котором перевод инициируется с помощью универсального подхода, и, если разрешение разногласий невозможно, реализуются небольшие вариации для каждой страны. Кроме того, можно обратить вспять процесс от специфического для страны к универсальному. Тем не менее, это может оказаться более сложным, потому что перевод изначально ориентирован только на одну группу. Мы обнаружили, что на практике могут быть приняты многие вариации каждого из этих подходов в зависимости от рассматриваемого документа и истории его перевода. Мы разработали ряд сценариев, чтобы лучше проиллюстрировать, как эти подходы могут быть применены в реальных ситуациях. Эти сценарии представляют подходы на всей их протяженности от полностью специфического для страны на одном конце, до полностью универсального на другом конце, с несколькими вариациями подходов, в том числе адаптацию одного языка, между двумя крайностями.
Эти сценарии также включают количество вовлеченных переводчиков, и относительного ранжирования времени и связанных с этим расходов, (основываясь, прежде всего, на количестве переводчиков и типе, и количестве этапов), так же, как и другие способы сравнения различных подходов. В таблице 2 представлены сценарий 1, где есть несколько испа-ноговорящих целевых стран, и нет существующих доступных переводов. В таблице 3 представлен сценарий 2, где существует перевод для Франции и требуется несколько переводов для франкоговорящих целевых стран. Дополнительные сценарии находятся за рамками данной статьи. Они заключаются в следующем:
1. Через один год после того, как проверка, описанная в сценарии 1, была завершена, потребовалась версия для перуанского испанского.
2. Испанский вариант для Мексики, США, Гватемалы, Колумбии, Венесуэлы и Аргентина является обязательным. В настоящее время испанских переводов не существует.
3. Английский вариант для Канады, Великобритании, Австралии, Индии и Южной Африки является обязательным. Оригинальная версия инструмента написана на американском английском.
4. Китайский вариант для Тайвани и Гонконга является обязательным. В настоящее время переводов не существует.
Примечание: Ограничение места не позволяет воспроизвести в этой статье все сценарии. Если вы хотели бы получить полную версию сценарных таблиц, пожалуйста, свяжитесь с авторами этого раздела.
Сценарий 1. Испанский для разных испаноговорящих стран: Испания, США, Мексика и Аргентина.
Сейчас не существует перевода на испанский
Номер опции
Описание опции
Плюсы
Минусы
Примерная стоимость
Примерное затраченное время
1. Специфический для страны
Создает четыре разных перевода вне зависимости друг от друга. Разбирается в каждой стране. Требуемые ресурсы: 8-16 переводчиков/ 2-4 запасных переводчика Результат: 4 перевода для каждой конкретной страны
1) Все переводы подгоняются под каждую конкретную страну
2) Технологические термины, системы образования/ здравоохранения, демографические вопросы, названия продуктов и т.п.
не потребуют дальнейшей адаптации.
3) Переводчики из разных стран не должны будут искать компромиссы.
4)Переводчики из разных стран не будут иметь затруднений
с разными словарями и структурами предложений в процессе перевода для другой страны.
1) Максимальный потенциал для стилистических и прочих различий в финальном переводе.
2) Требуются пользователи для поддержки максимального количества версий.
3) Потенциал возникновения путаницы из-за по-разному сформулированных вопросов.
2. Комбинация специфического для страны и адаптации того же языка
Создает перевод для Испании и разбирается в Испании. Независимо создает второе перевод для любой другой и остальных трех стран. Потом переводчиков из оставшихся двух стран просят адаптировать изначальный перевод для их целевой страны. Разбирательство происходит отдельно в каждой из этих трех стран. Требуемые ресурсы: 6-8 переводчиков / 4 запасных переводчика Результат:
2 перевода для каждой страны / 2 адаптации с одного языка
1) Перевод для Испании и второй перевод подгоняются под конкретную страну.
2) Для остальных стран делается лингвистически и культурно адекватная адаптация.
3) Возможность адаптировать технические термины, системы о браз ов ания/здраво охр анения, демографические вопросы, названия продуктов и т.п.
4) Меньше стилистических и прочих незначимых различий между разными версиями, потому что их независимо адаптируют.
5) Освещает проблемы, связанные с адаптацией других версий из версии с известными расхождениями в структуре предложения и использовании.
То же, что и пункты 2 и 3 в предыдущем, плюс: 1) Переводчики, делающие адаптации, могут ошибиться из-за оригинальной версии перевода и/или не внести необходимые культурные различия. В этом случае некоторая терминология в получившемся переводе будет некорректной.
3. Комбинация специфического для страны и адаптации того же языка
Создает перевод для Испании. Предоставляет переводчикам из других трех целевых стран испано-испанскую адаптацию и просят их адаптировать перевод для каждой из своих стран. Разбирательство происходит отдельно во всех четырех странах. Требуемые ресурсы: 5-10 переводчиков / 2-4 запасных переводчика
Результат: 1 перевод для страны/3 адаптации с одного и того же языка
Те же плюсы, что и пункты (2-5) выше, плюс: 1) Перевод для Испании подгоняется конкретно под эту страну
То же, что пункты 2 и 3 из первого и пункт 1 из второго, плюс: 1) Сложнее делать адаптации из версии на испанском из-за разницы в словарях и построении предложений.
4. Комбинация специфического для страны и универсального
Создает перевод для Испании и разбирается в Испании. Переводчики из Мексики, США и Аргентины работают вместе, чтобы создает единый перевод, который они посчитают приемлемым в трех целевых странах. Разбирательство происходит отдельно в каждой из стран.
Требуемые ресурсы: 5-8
переводчиков / 2-4 запасных переводчика
Результат: 1 перевод для страны / 1 универсальный перевод
Тот же плюс, что и 3-1, плюс:
1) Нужно меньше пользователей для поддержки версий
2) Стилистических и прочих расхождений тоже меньше, потому что вторую версию разрабатывают универсально
То же, что пункты 1-3 и 2-1, плюс:
1) Скорее всего, не вся лексика будет одинаково уместной и подходящей для всех стран.
2)Меныпе возможностей адаптировать технические термины, системы образования/здравоохранения, демографические вопросы, названия продуктов и т.п.
3) Для достижения соглашения по финальному переводу переводчикам придется идти на компромисс
4) В зависимости от результатов разбирательства все равно могут понадобиться 4 разных версии.
5. Универсальный
Переводчики из Испании, Мексики, США и Аргентины работают вместе для создания одного перевода, который сочтут приемлемым в четырех целевых странах. Разбирательство происходит отдельно в каждой из четырех стран. Требуемые ресурсы: 4 переводчика / 1-2 запасных переводчика
Результат: 1 универсальный перевод
1) Нужны пользователи для поддержки только одной версии
2) Одна версия освещает проблемы стилистических или прочих неважных различий между версиями
3) Меньше возможностей для ошибки, потому что всем задается один и тот же вопрос
То же, что в пунктах 3-3 и 3-4, плюс:
1) Скорее всего, не вся лексика будет одинаково уместной и подходящей для всех стран.
2)Нет возможности адаптировать технические термины и т.д.
3) Сложнее достичь соглашения по лексике
4) Решения о том, подходит ли лексика, принимаются единолично переводчиком в каждой стране
Сценарий 2. Много целевых стран: Франция, Бельгия, Канада и Швейцария. Для Франции существует полностью согласованный и разобранный перевод инструмента А
Номер опции Описание опции Плюсы Минусы Примерная стоимость Примерное затраченное время
1. Специфический для страны Создает три разных перевода вне зависимости друг от друга и существующего перевода для Франции. Разбирается в каждой стране. Требуемые ресурсы: 6-12 переводчиков / 3-6 запасных переводчика Результат: 4 перевода для каждой конкретной страны Те же, что в сценарии 1, опции 1 Те же, что в сценарии 1, опции 1 4 1
2. Некоторая языковая адаптация Предоставляет переводчикам из других трех стран франко-французскую адаптацию перевода и просит их адаптировать этот перевод для каждой из их целевых стран самостоятельно. Требуемые ресурсы: 3-6 переводчиков / 40-3 запасных переводчика Результат: 1 перевод для каждой страны/3 адаптации с одного языка Те же, что 2-2, 2-3, 2-4 Те же, что 1-2, 1-3 и 2-1, плюс: 1) Сложнее создать адаптацию для Канады из-за различий в использовании отельных слов. 3 4
3. Адаптация языка к региону Странны в группе в соответствии с «лингвистической схожестью» разрабатывают региональные переводы -один для Европы, один для Канады. Переводчиков из Бельгии и Швейцарии просят адаптировать перевод для использования в каждой из стран. То же для Канады. Разбирательство проходит в Европе большим размером выборки, чтобы обе целевые страны были полностью задействованы. В Канаде разбирательство как обычно. Требуемые ресурсы: 3-6 переводчиков / 0-2 запасных переводчика Результат: 1 перевод для страны / 2 адаптации (движение в сторону универсального) Те же плюсы, что 2-4 и 3-1 Те же, что в 2-3, 3-1, 3-2, 3-3, 3-4 2 2
4. Универсальный Переводчики из Франции, Бельгии, Канады и Швейцарии работают вместе для создания одного перевода, который сочтут приемлемым в четырех целевых странах. Разбирательство происходит отдельно в каждой из четырех стран (включая Францию, если получившийся перевод отличается от оригинальной французской версии) Требуемые ресурсы: 4-8 переводчиков / 1-2 запасных переводчика Результат: 1 универсальный перевод Те же, что в сценарии 1, опции 5 То же, что в сценарии 1, опции 5 1 3
Резюме преимуществ и недостатков подхода, специфического для страны, выглядит следующим образом
Преимущества:
• Позволяет получить дополнительное разговорное и идиоматическое применение. Существенно снизится риск того, что пациенты неправильно поймут используемую формулировку, в том числе термины, используемых для культурных ссылок, таких как образование. Это может быть особенно актуально для пожилых пациентов, которые привыкли к более традиционному языку с меньшим количеством слов, заимствованных из других стран.
• Сроки могут быть короче, чем с универсальным подходом, потому что время не тратится на ожидание соглашения от всех представителей стран.
Недостатки:
• Основные изменения в переводах одного и того же языка могут привести к систематической ошибке и отразить стилистические различия переводчиков, а не истинные различия между языками, которые на самом деле существуют в этих странах. Трудно представить доказательства того, что является одним из важнейших изменений, основанным на реальных лингвистических культурных вопросах, а что — личным мнением участвующих переводчиков.
• Расходы спонсора на печать Индивидуальных Регистрационных Карт, ИРК (case report forms, CRF), могут быть выше.
Резюме преимуществ и недостатков подхода адаптации того же языка выглядит следующим образом
Преимущества:
• При использовании для конкретной страны преимущества аналогичны преимуществам в конкретных странах выше. Он также допускает терминологию, определенную в этой стране, при сохранении части предыдущего перевода.
Недостатки:
• В случаях, когда вовлечено мало переводчиков, может быть увеличено влияние личного мнения, превосходящего лингвистическую необходимость.
Резюме преимуществ и недостатков универсального подхода выглядит следующим образом
Преимущества:
• Всем группам задают один и тот же вопрос; следовательно, меньше вероятность появления по-разному сформулированных вопросов.
• Могут быть практические и логистические преимущества при единственной доступной языковой версии.
Недостатки:
• Формулировка может звучать для пациентов неестественно, и язык может быть в культурном и лингвистическом смысле сглаженным (однако, в большинстве случаев, пациенты в состоянии все понять, используя свою пассивную лексику, которая относится к пониманию терминов, даже если они не являются частью повседневного лексикона пациента).
• Если была создана универсальная версия языка, перевод становится менее очевидным, чем в любой индивидуальный подход, особенно если позднее потребуется перевод в еще одной стране, где говорят на том же языке. См. сценарий 2 для поиска вариантов, как справиться с этой ситуацией.
Факторы, которые необходимо учитывать, выбирая подход
Существует мнение, что ни один из подходов не лучше другого, так как каждый имеет свои преимущества и недостатки. Наша рекомендация — каждая ситуация и исследование должны оцениваться на основе рассмотрения каждого случая в отдельности. Мы разработали схему принятия решений для оказания помощи в этом процессе и обеспечения руководства в отношении случаев, в которых может быть оказано явное предпочтение одному подходу в сравнении с другими. Факторами, которые следует учитывать, являются участвующие языки и страны, а также содержание опросника и рекомендации разработчика.
Общие рекомендации
1. Решение о выборе наиболее подходящего подхода частично относится к культурным сходствам и различиям между странами, в которых говорят на целевых языках. Например, сходство часто будет больше между двумя южноамериканскими испа-ноговорящими странами, чем между Испанией и любой из стран Южной Америки. Лингвистическое сходство между французским во Франции и французским в Бельгии больше, чем между французским во Франции и французским в Канаде.
2. Некоторые вопросы нельзя перевести универсаль-
ным образом:
• образовательные системы;
• некоторая демография (например, уровень доходов и этническая принадлежность);
• некоторое содержание деликатного или ограничительного характера может быть связано с культурой (например, сексуальное поведение или вопросы, относящиеся к алкоголю);
• использование ресурсов здравоохранения со ссылкой на конкретные учреждения (например, «Meals on Wheels» — «Еда на колесах»);
• государственные учреждения и программы, такие как медицинское страхование, инвалидность; и
• компьютерная терминология, в настоящее время требуемая для некоторых переводов ePRO. Соответствием этой меры методу является то, что всегда должно быть рассмотрено и никогда не предполагается.
Способы осуществления этих подходов к переводу
После принятия решения о подходе или комбинации подходов рекомендуются следующие общие процессы:
Метод адаптации одного языка
• Начинать стоит с существующей языковой версии.
• Два носителя языка (профессиональные переводчики или исследователи в ключевой стране) от целевой группы населения рассматривают существующий перевод и определяют условия использования, которые неприемлемы в целевой стране или будут там неправильно поняты.
• После сравнения комментариев рецензентов, рецензент-носитель языка (новый человек или один из упомянутых выше) подтверждает приемлемость пересмотренного документа в целевой стране или идентифицирует термины, которые могут там быть неправильно поняты.
• Выполнение резервного перевода пересмотренных элементов с целевого языка на английский для обеспечения точности.
• Внедрение изменений.
• Корректура пересмотренного инструмента.
• Когнитивное разбирательство с пациентами в каждой целевой стране для подтверждения, что новую версию хорошо понимают.
Универсальные рекомендации по переводу, применяемые к стандартной методологии перевода
• Основные переводчики должны быть происхождением из нескольких стран, особенно важно — из целевых для исследования. Например, для немецкого языка, один основной переводчик может быть из Германии, а другой — из Австрии. Если нужно включить много других стран, предполагается наличие более чем двух основных переводчиков.
• Синхронизатор должен быть знаком с использованием инструмента в разных странах, чтобы иметь возможность согласовать изменения таким образом, чтобы перевод не склонялся к той или иной стране.
• После обратного перевода несколько рецензентов или врачей вносят свой вклад в синхронизацию перевода и определяют проблемы для своей страны или региона.
• Переводчики работают вместе, чтобы найти решения, приемлемые для всех регионов. В случаях, когда такое решение невозможно, могут быть получены различные заключительные переводы, которые поддерживают большинство тех же формулировок, но требуется включение вариаций для конкретных стран.
• Корректировка (представителями разных стран, если поддерживается универсальная версия).
• Рекомендуется когнитивное разбирательство с пациентами в разных странах, чтобы подтвердить, что универсальный перевод понятен и приемлем. Для опроса пациентов необходимо достаточное количество людей из каждой целевой страны для получения обратной связи, в большинстве случаев, как минимум, пять человек от страны или региона. Если пациенты находят проблемы в универсальном переводе и вносят предложения об изменениях, может быть проведена та же адаптация универсальной версии языка на основе этой обратной связи с изменением только проблемных условий или предметов.
Метод перевода, специфический для каждой страны
Перевод нового инструмента (опросника), специфического для каждой страны, будет следовать руководству ISPOR по надлежащей практике [1], с переводчиками, синхронизаторами и представителями внутри страны от каждой страны, вовлеченной в процесс.
Заключение
При рассмотрении вопроса переводов для одного и того же языка, но в разных странах, ситуация довольно сложная. При недостатке литературы по этому вопросу, мы опирались на практический опыт. Мы исследовали несколько хорошо известных подходов: специфический подход для конкретной страны, подход языковой адаптации и универсальный подход. Разработка сценариев и схемы принятия решений подтвердила, что ни один из подходов не является лучшим или уместным в любой ситуации. Наша рекомендация — оценивать каждое исследование на индивидуальной основе. Кроме того, участвующие язык и страны и содержание инструментов должны быть оценены, чтобы определить наиболее уместный подход. Необходимы дополнительные исследования, чтобы сравнить результаты этих подходов. Например, одно эмпирическое исследование могло бы сравнить данные, собранные при универ-
сальном переводе в двух или более странах, используя различные трактовки для оценки, понимается ли один и тот же перевод по-разному в сравниваемых странах. Другим возможным исследованием будет сравнение данных, собранных в разных странах, использующих специфические версии для страны или адаптацию того же язык для оценки, показывают ли разные переводы существенные различия. Исследования, подобные этим, будут способствовать сбору эмпирических данных о различных подходах к переводу и обеспечат понимание методов оценки объединения данных из разных переводов.
РАЗДЕЛ 3 — Вопросы по сбору различных языковых и культурных данных
Введение
Растущее включение оценок исходов пациентами (PRO) в крупных международных исследованиях приводит к новым методологическим проблемам в анализе и интерпретации данных, полученных в ходе исследований. PRO часто разрабатываются на английском языке и переводятся на различные языки, необходимые для поддержки этих глобальных испытаний.
Существующая литература описывает стандартные методы лингвистической валидации для разработки высококачественных новых языковых версий PRO [1, 2]. Большинство этих методов, однако, сосредотачивается на качестве отдельных языковых версий для обеспечения семантической эквивалентности и не распространяется на решения о целесообразности объединения и анализа данных, полученных при использовании нескольких языковых версий.
Клинические исследования проводятся во многих странах, чтобы определить вариабильность данных и количество участников, включенных для оценки. Увеличение размера выборки имеет положительное влияние на силу и репрезентативность статистического анализа [8]. Однако, если данные неуместно объединяли, изначальные различия между разными источниками данных могут быть скрыты, уступая ошибочным результатам и выводам и, в конечном счете, поставляя недействительные данные [9].
Успешное объединение многонациональных наборов данных имеет решающее значение для достижения преимуществ, связанных с увеличенным размером выборки. Вопросы целесообразности объединения данных очень важны. Различия клинических данных между странами могут быть результатом различий в клинических стандартах оказания медицинской помощи, различия персонала сайтов, процедур и оценке смешанных случаев. Отличия культурных и языковых предпочтений в субъективном выражении результата представляют собой дополнительные проблемы для PRO.
В настоящее время не существует установленных критериев, касающихся дизайна исследования или аналитических требований для обеспечения уместности объединения данных, полученных из нескольких языков и культур. Предположение, что разные языковые версии одного и того же инструмента (если они были адаптированы с использованием соответствующей методологии) имеют эквивалентные психометрические свойства, а также выполняются одинаково в различных языковых группах, было использовано для поддержки объединения многонациональных предварительных данных [10]. Однако же, это непроверенные предположения. Ло и др. [11] предположили, что шаг по объединению данных может осуществляться только при уверенности, что различные языковые версии измерительных инструментов можно построить с той же метрикой.
Для объединения данных PRO из нескольких источников существуют разные виды эквивалентности. К ним относятся основные вопросы описательных характеристик населения, включая уровень грамотности, когнитивную эквивалентность понятий, используемых в документах сбора данных, эквивалентность в методах, используемых для вывода нескольких языковых версий, эквивалентность в способности инструментов продемонстрировать приемлемые психометрические свойства (психометрическую эквивалентность) и метрическую (измерение) эквивалентность в масштабах реагирования и озвучивания собранных данных.
Для объединения данных PRO полученных за время исследований в разных странах, первые шаги включают в себя обеспечение эквивалентности в области дизайна и методов исследования. Следующим шагом является обеспечение языковой и когнитивной эквивалентности концепций инструментов PRO (используя соответствующие методы языковой и культурной адаптации, см. раздел 2). Эти методы обсуждались в литературе [1, 2, 12]. Кроме того, эквивалентность измеряемых понятий может быть протестирована на фокус-группах или при индивидуальных интервью в новых странах/культурах, чтобы проверить действенность концепции.
Этот раздел содержит обсуждение методов, используемых для оценки измерения эквивалентности, которое должно быть рассмотрено в процессе объединения данных, полученных из различных языков и культур.
Эквивалентность измерений
Эквивалентность измерений представляет собой сложную концепцию с различными существующими определениями.
Хорн и Макардл [13] и Маллен [14] определяют измерение эквивалентности как отражение степени, в которой измерительный прибор и соответствующий
протокол сбора данных может принести надежные и достоверные данные о некоторых явлениях, представляющих интерес у различных групп населения. Эквивалентность измерений считается достигнутой, если в различных условиях проведения наблюдательных исследований процессы измерения дают одинаковые результаты [9].
Ло и др. [11] определяют измерение эквивалентности как различные языковые версии одного и того же документа, требующие схожих показателей элементов и уровня шкал с одинаковыми уровнями качества жизни, связанного со здоровьем (HRQoL), выраженных респондентами. Дрэзгоу (1984) также признает наличие измерительной эквивалентности, когда отношения между наблюдаемыми результатами тестов и измеренными показателями идентичны внутри по субпопуляций в базе данных [15]. Таким образом, основной целью измерений эквивалентности является ответ на вопрос, что является причиной различий в показателях между участвующими группами населения: действительная разница между этими группами в измеряемых показателях или другие причины, которые могут повлиять на объединенные данные.
Проще говоря, измерение эквивалентности — это аналитический процесс для оценки полученных свойств измерительных приборов, используемых в исследовании участвующих групп населения.
Методы демонстрации измерения эквивалентности
Для оценки измерения эквивалентности используются разнообразные методы, в том числе классическая теория тестирования, факторный анализ, моделирование структурных уравнений (SEM) и оценка различного функционирования заданий по отношению к различным группам испытуемых (DIF).
Классическая теория тестирования (СТТ)
Классическая теория тестирования основана на идее, что тест состоит из ряда элементов, каждый из которых — попытка измерить психологическую характеристику оценки. Каждая попытка измерить черту (пункт) производит отличный от предыдущей результат, потому что каждый тестируемый продукт не является идеально надежным. Классическая теория тестирования, при использовании в измерении эквивалентности, гарантирует, что каждая языковая версия имеет схожие теоретические значения (например, среднее значение, дисперсия и т.д.) в пределах подобной выборки. Скотт-Леннокс и др. [16] использовали классические элементы теории испытания надежности и валидности, чтобы проверить эквивалентность различных языковых версий MOS в популяции ВИЧ. Данные, относящиеся к MOS и SCL-57, были собраны с использованием пяти различных
языковых версий и дополнили данные, сообщенные самими пациентами, собранные у 363 ВИЧ-позитивных амбулаторных больных. Оценивалась внутри культурная и межкультурная психометрическая адекватность переводов, чтобы определить целесообразность перевода исследования медицинских результатов (MOS) ВИЧ. Внутренняя согласованность, дискриминация элементов и конвергенция элементов, а также эффекты крайних точек были оценены на разных языках. Авторы обнаружили, что, в общем, пять переводов имели подобные психометрические свойства в США на английском языке. Шталь и др. [17] исследовали поперечные и продольные корреляции между переводами опросника качества жизни больных астмой (AQLQ) и клинических оценок. Они пришли к выводу, что непротиворечивость поперечной корреляции между AQLQ и клинической шкалой по странам подтверждает достоверность переводов.
Факторный анализ
Факторный анализ опирается на понятие, что эквивалентность достигается, когда отношения между наблюдаемыми оценками и латентными переменными равны для обеих групп сравнения. Отсутствие эквивалентности может возникать по двум причинам: 1) значимые групповые различия для скрытой переменной, или 2) отсутствие эквивалентного измерения для всех групп. Первую причину легко проверить; вторая является более серьезной, поскольку это означает, что изменение функции между группами различно [16, 18—20]. Штраус и Карпентер [21] используют факторный анализ для оценки структуры факторов французского перевода пересмотренных Строссом и Карпентером критериев оценки шкалы результатов (SCOCSR). Они обнаружили, что структура фактора, так же, как и достоверность внутренней оценки и конвергентная валидность французского перевода, являются зеркальным отражением оригинальной английской версии шкалы.
Моделирование структурных уравнений (SEM). Это статистический метод для тестирования и оценки причинно-следственных связей за счет использования комбинации статистических данных и причинно-следственных предположений. SEM может быть использовано для оценки серии вложенных измерительных моделей [22], чтобы определить, присутствует ли измерение эквивалентности между языковыми группами.
Различное функционирование заданий по отношению к различным группам испытуемых (DIF). DIF происходит, когда люди из разных групп (например, языков/культур) с одним и тем же скрытым признаком имеют разную вероятность дать определенный ответ. Это особенность подхода теории отклика элемента (IRT), она была использована для оценки измерения эквивалентности между переводами. Скотт и др. [23]
сравнили 13 переводов европейской организации по исследованию и лечению рака (EORTC) опросника качества жизни -C30 (QLQ -C30) в 22 странах. Большинство языков показали аналогичные результаты с английским. Однако в каждом переводе был найден как минимум один случай значительной DIF. В другом исследовании, проведенном Пагано и Gotay [24], DIF был найден по нескольким пунктам EORTC QLQ-C30 в кавказской, филиппинской, гавайской и японской группах, хотя выбор метода использовался для того, чтобы оценить, от какого ряда факторов зависит измерение эквивалентности: возможно, самое главное — размер выборки из стран, представляющих интерес. Требования в отношении размеров выборки для анализа СТТ намного меньше, чем те, которые требуются для факторного анализа, SEM и DIF. Когда Смит и др. [18] использовали методы SEM, они обнаружили, что японский перевод шкалы суточного ритма не измеряет ту же смысловую величину, что и оригинальная английская версии шкалы. Однако, когда авторы использовали подход СТТ, они обнаружили эквивалентность между версиями.
Проблемы интерпретации
Независимо от того, какой метод используется для поддержки объединения многокультурных предварительных данных, нет существующих золотых стандартов для определения уровня принимаемого сходства или дисперсии. В то время как измерение эквивалентности может быть желаемой целью, должны быть разработаны практические решения и параметры для определения степени измерения эквивалентности, необходимой для поддержки объединения данных глобальных исследований. Необходимо дальнейшее изучение альтернативных решений этих вопросов.
Было бы полезным определить, является ли достижимым на практике установление уровня эквивалентности или нет, а также некоторые формы руководства по предложенным подходам и степень необходимого сходства. В идеале, это будет включать в себя тесты для изучения, могут ли быть объединены данные, и правила для принятия решения, когда данные PRO по стране должны быть исключены. Смит и др. [18] и Харви и др. [25] предполагают, что выборки должны быть как можно более близкими в начале исследования, чтобы факторы (конфаундинг) вмешивающиеся.
Тем не менее, априори можно относительно установить только то, что кросс-национальные различия переменных существуют. Кроме того, существует необходимость учитывать репрезентативность различных выборок в рамках многокультурных групп (Харви и др., [25]). Как предполагалось ранее, кросс-культурная действительность понятий могла бы быть изучена при качественных исследованиях. Кроме того, это может быть изучено с помощью ана-
лиза существующих пробных выборок и обсуждено с местными клиническими экспертами.
Когда различия найдены, возможно, целесообразно будет провести качественное исследование в странах/культурах, представляющих интерес с группами пациентов и/или медицинских работников, чтобы определить, существуют ли какие-либо потенциальные объяснения различий. Если есть возможность, те же PRO могут быть использованы на других наборах данных.
Заключение
При оценке приемлемости объединения данных транснациональных исследований, свидетельства эквивалентности могут быть рассмотрены на различных уровнях, включая сходство дизайна (проекта) исследования и лингвистической/культурной эквивалентности PRO. Проводится дополнительное рассмотрение измерения эквивалентности. Есть несколько аналитических подходов, которые исследуют сходства и различия измерений эквивалентности внутри субпопуляций. Однако в настоящее время не существует конечных точек сходства или приемлемого количества различий, которые можно принять. Усилия по укреплению качества отдельных языковых версий по мере их разработки не могут обеспечить гарантию того, что сами меры будут обладать приемлемым уровнем сходства внутри популяций.
Исследователям рекомендуется применять широкий спектр количественных и качественных методов и анализ результатов этих исследований, чтобы определить, является ли тест адекватным для конкретной популяции [15].
Патрик и др. [26] предположили, что с целью проверки основных свойств измерений, таких как распределение ответов, внутренняя согласованность, надежность результатов повторного тестирования и действия на нескольких языках, необходимо рассмотреть характеристики населения и изменчивость данных, таких как распределение ответов, значимых стандартных отклонений и т.д., для различных языковых групп.
Исследователи призывают к усиленному сбору научных доказательств целесообразности многих принятых, но непроверенных способов лечения на многонациональных пробных данных [27]. Важно, что любые рекомендации, полученные из таких доказательств, должны быть как строго соответствующе для защиты качества будущих испытаний, так и достаточно гибкими, чтобы учесть быстро меняющиеся характер и условия для клинических исследований, в которых все чаще используют PRO для оценки значимости фармакологических соединений.
Источник финансовой поддержки: никакой финансовой помощи для финансирования данной рукописи не предоставлялось.
Литература
1. Wild D., Grove A., Martin M.L., et al. ISPOR principles of good practice: the cross-cultural adaptation process for patient reported. Value Health 2005;8:94—104.
2. Acquadro C., Conway K., Hareendran A., Aaronson, N., for the ERIQA Group. Literature review of methods to translate health related quality of life questionnaires for use in multinational clinical trials. Value Health 2008;11:509—21.
3. Eremenco S., Cella D., Arnold B.J. A comprehensive method for the translation and cross-cultural validation of health status questionnaires. Eval Health Prof 2005;28:212—32.
4. Bonomi A.E., Cella D.F., Hahn E.A., et al. Multilingual translation of the functional assessment of cancer therapy (FACT) quality of life measurement system. Qual Life Res 1996;5:309—20.
5. Cella D., Hernandez L., Bonomi A.E., et al. Spanish language translation and initial validation of the functional assessment of cancer therapy quality-of-life instrument. Med Care 1998;36:1407—18.
6. Koller M., Aaronson N.K., Blazeby J., et al. Translation procedures for standardised quality of life questionnaires: The European Organisation for Research and Treatment of Cancer (EORTC) approach. Eur J Cancer 2007;43:1810—20.
7. Hunt S.M., Alonso J., Bucquet D., et al. Cross-cultural adaptation of health measures. European Group for Health Management and Quality of Life Assessment. Health Policy 1991;19:33—44.
8. Thumboo J., Fong K.Y., Chan S.P., et al. The equivalence of English and Chinese SF-36 versions in bilingual Singapore Chinese. Qual Life Res 2002;11:495—503.
9. Rungtusanatham M.J., Ng C.H., Zhao X., Lee T.S. Pooling data across transparently different groups of key informants: measurement equivalence and survey research. Decis Sci 2008;39:115—45.
10. Mark B.A., Wan T.T.H. Testing measurement equivalence in a patient satisfaction instrument. West J Nurs Res 2005;27:772—87.
11. Luo N., Chew L.H., Fong K.Y., et al. Do English and Chinese EQ-5D versions demonstrate measurement equivalence? An exploratory study. Health Qual Life Outcomes 2003;1:7.
12. Maneesriwongul W., Dixon J.K. Instrument translation process: a methods review. J Adv Nurs 2004;48:175—86.
13. Horn J., McA.rdle J. A practical and theoretical guide to measurement invariance in aging research. Exp Aging Res 1992;1:117— 44.
14. Mullen MR. Diagnosing measurement equivalence in cross national research. J Int Bus Stud 1995;26:573—96.
15. Davies S., Little I.S., Ross R. Ensuring the measurement equivalence and appropriate use of personality assessments across cultures. Paper presented at the Annual Meeting of the Society for Industrial-Organizational Psychology, May 2006, Dallas.
16. Scott Lennox J.A., Wu A., Boyer G., Ware J.E. Reliability and validity of French, German, Italian, Dutch, and UK English translations of the Medical Outcomes Study HIV Health Survey. Med Care 1995.
17. Stahl E., Postma D.S., Juniper E.F., et al. Health-related quality of life in asthma studies. Can we combine data from different countries? Pulm Pharmaco Ther 2003;16:53—9.
18. Smith C.S., Tisak J., Bauman T., Green E. Psychometric equivalence of a translated circadian rhythm questionnaire: implications for ISPOR Task Force Translation Guidelines 439 between- and within- population assessments. J Applied Psycho 1991;76:628—36.
19. Wee H.L., Ravens-Sieberer U., Erhart M., Li S. Factor Structure of the Singapore English version of the KINDL Children Quality of Life Questionnaire. Health Qual Life Outcomes 2007.
20. Timmerman E.M., Hoogstraten J., Nauta M., Meijer K. Structural comparison of a translated dental attitude questionnaire: a factor analytic study. Community Dent Oral Epidemiol 1996;24:236—9.
21. Poirier S., Bureau V., Lehoux C., et al. A factor analysis of the Strauss and Carpenter revised outcome criteria scale: a validation of the French translation. J Nerv Ment Dis 2004;192:864—7.
22. Vandenberg R.J., Lance C.E. A review and synthesis of the measurement invariance literature: suggestions, practices, and recommendations for organizational research. Organ Res Methods 2000;4—69.3
23. Scott N.W., Fayers P.M., Bottomley A., et al. Comparing translations of the EORTC QLQ-C30 using differential item functioning. Qual Life Res 2006;1103—15.
24. Pagano I.S., Gotay C.C. Ethnic differential item functioning in the assessment of quality of life in cancer patients. Health Qual Life Outcomes 2005;3:60.
25. Harvey P.D., Fortuny L.A., Vester-Blackland E., De Smedt G. Cross national cognitive assessment in schizophrenia clinical trials: a feasibility study. Schizophr Res 2002;59:243—51.
26. Patrick D.L., Burke L.B., Powers J.H., et al. Patient-reported outcomes to support medical product labelling claims: FDA perspective. Value Health 2007;10(Suppl.):S125—37.
27. Lenderking W.R. Comments on the ISPOR Task Force Report on Translation and Adaptation of Outcomes Measures: guidelines and the need for more research. Value Health 2005;8:92—3.
