Научная статья на тему 'Разработка и результаты апробации русской версии опросника MPN10 для оценки симптомов у пациентов с миелопролиферативными новообразованиями с учетом международных рекомендаций'

Разработка и результаты апробации русской версии опросника MPN10 для оценки симптомов у пациентов с миелопролиферативными новообразованиями с учетом международных рекомендаций Текст научной статьи по специальности «Клиническая медицина»

CC BY
430
49
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ОПРОСНИК ОЦЕНКИ СИМПТОМОВ / МИЕЛОПРОЛИФЕРАТИВНЫЕ НОВООБРАЗОВАНИЯ / ПСИХОМЕТРИЧЕСКИЕ СВОЙСТВА ОПРОСНИКА / ВАЛИДАЦИЯ / SYMPTOM ASSESSMENT FORM / MYELOPROLIFERATIVE NEOPLASMS / PSYCHOMETRIC PROPERTIES OF THE FORM / VALIDATION

Аннотация научной статьи по клинической медицине, автор научной работы — Ионова Т.И., Виноградова О.Ю., Ефремова Е.В., Керсилова А.Е., Никитина Татьяна Павловна

Цель. Разработать русскую версию опросника MPN10 для пациентов с миелопролиферативными новообразованиями (МПН) с учетом международных рекомендаций. Материалы и методы. В исследование включено 57 пациентов, проходивших лечение в 2019 г. в Московском городском гематологическом центре ГКБ им. С.П. Боткина (п = 30) и в ФГБУ «Российский НИИ гематологии и трансфузиологии ФМБА России» (п = 27). Согласно диагнозу больные распределялись следующим образом: миелофиброз 36, истинная полицитемия 9, эссенциальная тромбоцитемия 12. Средний возраст больных составил 54,6 года (стандартное отклонение 15,9 года; диапазон возраста 20-79 лет). Соотношение мужчин/женщин 23/34 (40,4/59,6 %). Длительность основного заболевания от 1 мес. до 33 лет (в среднем 7 лет; стандартное отклонение 8,6 года). Результаты. Продемонстрированы устойчивая структура опросника, высокое внутреннее постоянство и воспроизводимость его как инструмента, подтверждена конвергентная и дискриминантная валидность, а также удовлетворительная чувствительность к изменениям в состоянии больного. Заключение. Русская версия опросника MPN10 может использоваться для оценки симптомов у больных с МПН в клинической практике и научных исследованиях.Aim. To develop a Russian version of MPN10 form for patients with myeloproliferative neoplasms (MPN) compliant with international recommendations. Materials & Methods. The study included 57 patients treated in 2019 at the Hematology Center of Botkin Hospital (n = 30) and the Russian Research Institute of Hematology and Transfusiology (n = 27). Among them there were 36 myelofibrosis, 9 polycythemia vera, and 12 essential thrombocythemia patients. Mean age of the patients was 54.6 years (standard deviation 15.9 years; age range 20-79 years). The male/female ratio was 23/34 (40.4 %/59.6 %). Underlying disease duration was from 1 month to 33 years (mean duration 7 years; standard deviation 8.6 years). Results. A stable structure and a high internal consistency of the form as well as its reproducibility as a tool were demonstrated. The study also confirmed its convergent and discriminant validity and satisfactory sensitivity to changes in a patient’s status. Conclusion. The Russian MPN10 version can be used for symptom assessment in MPN patients in clinical practice and scientific research.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по клинической медицине , автор научной работы — Ионова Т.И., Виноградова О.Ю., Ефремова Е.В., Керсилова А.Е., Никитина Татьяна Павловна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Разработка и результаты апробации русской версии опросника MPN10 для оценки симптомов у пациентов с миелопролиферативными новообразованиями с учетом международных рекомендаций»

Клиническая онкогематология. 2020;13(2):176-84

Clinical oncohematology. 2020;13(2):176-84

МИЕЛОИДНЫЕ ОПУХОЛИ MYELOID TUMORS

Разработка и результаты апробации русской версии опросника MPN10 для оценки симптомов у пациентов с миелопролиферативными новообразованиями с учетом международных рекомендаций

Т.И. Ионова12, О.Ю. Виноградова345, Е.В. Ефремова6, А.Е. Керсилова6, Т.П. Никитина1,2, М.М. Панкрашкина3, Н.М. Порфирьева2, А.-П.А. Пошивай6, М.С. Фоминых67, Д.И. Шихбабаева3, В.А. Шуваев6

1 Клиника высоких медицинских технологий им. Н.И. Пирогова, ФГБОУ ВО «Санкт-Петербургский государственный университет», Набережная р. Фонтанки, д. 154, Санкт-Петербург, Российская Федерация, 190103

2 РОО «Межнациональный центр исследования качества жизни»,

ул. Артиллерийская, д. 1, Санкт-Петербург, Российская Федерация, 191014

3 Московский городской гематологический центр, ГБУЗ «Городская клиническая больница им. С.П. Боткина» ДЗМ, 2-й Боткинский пр-д, д. 5, Москва, Российская Федерация, 125284

4 ФГБУ «НМИЦ детской гематологии, онкологии и иммунологии

им. Дмитрия Рогачева» Минздрава России, ул. Саморы Машела, д. 1, Москва, Российская Федерация, 117997

5 ФГАОУ ВО «РНИМУ им. Н.И. Пирогова» Минздрава России, ул. Островитянова, д. 1, Москва, Российская Федерация, 117997

6 ФГБУ «Российский НИИ гематологии и трансфузиологии ФМБА России», ул. 2-я Советская, д. 16, Санкт-Петербург, Российская Федерация, 191024

7 ФГБОУ ВО «Санкт-Петербургский государственный университет», Университетская наб., д. 7-9, Санкт-Петербург, Российская Федерация, 199034

РЕФЕРАТ

Цель. Разработать русскую версию опросника MPN10 для пациентов с миелопролиферативными новообразованиями (МПН) с учетом международных рекомендаций. Материалы и методы. В исследование включено 57 пациентов, проходивших лечение в 2019 г. в Московском городском гематологическом центре ГКБ им. С.П. Боткина (л = 30) и в ФГБУ «Российский НИИ гематологии и трансфузиологии ФМБА России» (л = 27). Согласно диагнозу больные распределялись следующим образом: миелофиброз — 36, истинная полицитемия — 9, эссенциальная тромбоцитемия — 12. Средний возраст больных составил 54,6 года (стандартное отклонение 15,9 года; диапазон возраста 20-79 лет). Соотношение мужчин/женщин — 23/34 (40,4/59,6 %). Длительность основного заболевания — от 1 мес. до 33 лет (в среднем 7 лет; стандартное отклонение 8,6 года). Результаты. Продемонстрированы устойчивая структура опросника, высокое внутреннее постоянство и воспроизводимость его как инструмента, подтверждена

Development and Validation Results of the Russian MPN10 Form for Symptom Assessment in Patients with Myeloproliferative Neoplasms in Compliance with International Recommendations

TI lonova12, OYu Vinogradova345, EV Efremova6, AE Kersilova6, TP Nikitina1,2, MM Pankrashkina3, NM Porfirieva2, A-PA Poshivai6, MS Fominykh6 7, Dl Shikhbabaeva3, VA Shuvaev6

1 NI Pirogov Clinic for High Medical Technology, Saint Petersburg State University, 154 Fontanka nab., Saint Petersburg, Russian Federation, 190103

2 Multinational Center for Quality of Life Research, 1 Artilleriiskaya str., Saint Petersburg, Russian Federation, 191014

3 Hematology Center of Botkin Hospital, 5 2-i Botkinskii pr-d, Moscow, Russian Federation, 125284

4 Dmitry Rogachev National Research Center of Pediatric Hematology, Oncology and Immunology, 1 Samory Mashela str., Moscow, Russian Federation, 117997

5 NI Pirogov Russian National Research Medical University, 1 Ostrovityanova str., Moscow, Russian Federation, 117997

6 Russian Research Institute of Hematology and Transfusiology, 16 2-ya Sovetskaya str., Saint Petersburg, Russian Federation, 191024

7 Saint Petersburg State University, 7-9 Universitetskaya nab., Saint Petersburg, Russian Federation, 199034

ABSTRACT

Aim. To develop a Russian version of MPN10 form for patients with myeloproliferative neoplasms (MPN) compliant with international recommendations. Materials & Methods. The study included 57 patients treated in 2019 at the Hematology Center of Botkin Hospital (n = 30) and the Russian Research Institute of Hematology and Transfusiology (n = 27). Among them there were 36 myelofibrosis, 9 polycythemia vera, and 12 essential thrombo-cythemia patients. Mean age of the patients was 54.6 years (standard deviation 15.9 years; age range 20-79 years). The male/female ratio was 23/34 (40.4 %/59.6 %). Underlying disease duration was from 1 month to 33 years (mean duration 7 years; standard deviation 8.6 years). Results. A stable structure and a high internal consistency of the form as well as its reproducibility as a tool were demonstrated. The study also confirmed its convergent and discriminant validity and satisfactory sensitivity to changes in a patient's status.

176

© 2020 практическая медицина

конвергентная и дискриминантная валидность, а также удовлетворительная чувствительность к изменениям в состоянии больного.

Заключение. Русская версия опросника MPN10 может использоваться для оценки симптомов у больных с МПН в клинической практике и научных исследованиях.

Conclusion. The Russian MPN10 version can be used for symptom assessment in MPN patients in clinical practice and scientific research.

Ключевые слова: опросник оценки симптомов, миелопролиферативные новообразования, психометрические свойства опросника, валидация.

Keywords: symptom assessment form, myeloprolif-erative neoplasms, psychometric properties of the form, validation.

Получено: 1S января 2020 г. Принято в печать: 29 марта 2020 г.

Received: January 15, 2020 Accepted: March 29, 2020

Для переписки: Татьяна Павловна Никитина, канд. мед. наук, ул. Артиллерийская, д. 1, Санкт-Петербург, Российская Федерация, 191014; тел.: +7(962)710-17-12; e-mail: qolife@mail.ru Для цитирования: Ионова Т.И., Виноградова О.Ю., Ефремова Е.В. и др. Разработка и результаты апробации русской версии опросника MPN10 для оценки симптомов у пациентов с миелопролиферативными новообразованиями с учетом международных рекомендаций. Клиническая онкогематология. 2020;13(2):176-84.

DOI: 10.21320/2500-2139-2020-13-2-176-184

For correspondence: Tatiana Pavlovna Nikitina, MD, PhD, 1 Artilleriiskaya str., Saint Petersburg, Russian Federation, 191014; Tel.: +7(962)710-17-12; e-mail: qolife@mail.ru For citation: lonova TI, Vinogradova OYu, Efremova EV, et al. Development and Validation Results of the Russian MPN10 Form for Symptom Assessment in Patients with Myeloproliferative Neoplasms in Compliance with International Recommendations. Clinical oncohematology. 2020;13(2):176-84 (In Russ).

DOI: 10.21320/2500-2139-2020-13-2-176-184

ВВЕДЕНИЕ

Первичный миелофиброз (МФ), истинная полици-темия (ИП), эссенциальная тромбоцитемия (ЭТ) объединены в группу Р^негативных хронических миелопролиферативных новообразований (МПН) в последних редакциях классификации Всемирной организации здравоохранения 2008 и 2016 гг. [1-3]. В основе патогенеза этих заболеваний лежит клональная эволюция гемопоэтической стволовой клетки, приводящая к бесконтрольной пролиферации одного или более ростков кроветворения без нарушения клеточной дифференцировки [4]. Хронические МПН представляют собой гетерогенную группу, нозологические формы которой имеют различный прогноз. Каждая нозологическая форма в структуре МПН имеет свои особенности, однако им присущи и общие черты, например схожесть клинических проявлений на разных стадиях, выражающихся такими симптомами, как слабость, утомляемость, боль в костях, одышка, кровоточивость, боль в животе, ночная потливость. Тяжесть симптомов у больных МПН в большом числе случаев приводит к ухудшению общего качества жизни, в т. ч. нарушению физического и социального функционирования, а также к ограничениям в повседневной жизни. Терапия при МПН направлена на сдерживание прогрессиро-вания заболевания и купирование его симптомов с целью поддержать и улучшить качество жизни пациентов [1, 5]. При анализе результатов лечения МПН одним из важных критериев эффективности наряду с клиническими показателями, количеством госпитализаций, частотой и тяжестью осложнений является оценка симптомов и качества жизни больного [6] . Использование информации, полученной

напрямую от пациента, при анализе симптомов заболевания и оценке их динамики в процессе лечения способствует реализации пациент-ориентированного подхода при ведении больных МПН. В этой связи представляется актуальным мониторинг симптомов у больных МПН в реальной клинической практике с использованием стандартизованных опросников.

Одним из перспективных инструментов для оценки симптомов и проблем, влияющих на качество жизни у больных МПН, является опросник MPN10, разработанный R.A. Mesa (клиника Мейо, США). Данный опросник является одним из наиболее простых и удобных в клинической практике инструментов для оценки специфических симптомов у больных МПН и мониторинга течения заболевания [7, 8]. Опросник MPN10 позволяет оценить степень тяжести 10 симптомов, чаще всего встречающихся у больных МПН: слабости, быстрого наполнения желудка во время еды, неприятных ощущений (дискомфорта) в животе, вялости (снижения активности), проблем с концентрацией внимания, ночной потливости, кожного зуда, боли в костях, повышения температуры тела и непреднамеренного снижения массы тела. Симптомы оцениваются пациентом по 10-балльной шкале: 0 — нет симптома, 10 — максимальная степень тяжести симптома, которую можно себе представить. Максимальный уровень слабости оценивается за прошедшие 24 ч; максимальный уровень быстрого наполнения желудка во время еды, неприятных ощущений (дискомфорта) в животе, вялости (снижения активности), проблем с концентрацией внимания, ночной потливости, кожного зуда, боли в костях, повышения температуры тела — за прошедшую неделю; максимальный уровень непреднамеренного снижения массы тела — за последние 6 мес.

Обработка данных по опроснику MPN10 предполагает вместе с анализом информации о степени тяжести

каждого из 10 симптомов по 10-балльной шкале расчет общего результата оценки симптомов в виде среднего балла выраженности всех симптомов, умноженного на 10 (при условии, что пациент ответил как минимум на 6 вопросов из 10). Диапазон значений общего результата оценки симптомов — от 0 до 100 (чем выше балл, тем больше общая степень тяжести всех симптомов).

На основе опросника МРЫ10 его авторами был создан инструмент для контроля симптомов у пациентов с МПН в виде еженедельно заполняемой пациентом брошюры. Данный инструмент включает бланки с опросником МРЫ10 для многократного заполнения пациентом. Кроме того, пациенту предоставляется возможность самостоятельно рассчитывать общий результат оценки симптомов и оценивать динамику показателей с помощью специальной сводной таблицы для еженедельного общего балла симптомов, размещенной в конце брошюры. Применение опросника МРЫ10 в составе брошюры имеет большое практическое значение. Такой подход позволяет в условиях реальной клинической практики осуществлять мониторинг актуальных проблем больного МПН на основании информации, полученной напрямую от него. Использование данных опросника МРЫ10 для оценки клинического ответа на терапию включено в международные клинические рекомендации по лечению больных МПН [9-10]. Таким образом, представляется чрезвычайно актуальной разработка и апробация русской версии опросника МРЫ10 для дальнейшего его использования в отечественной клинической практике с целью улучшить качество медицинской помощи больным МПН.

Цель исследования — разработать русскую версию опросника МРЫ10 для пациентов с МПН в соответствии с международными рекомендациями применения инструментов в другой этнолингвистической среде.

Разработка опросника на другом языке включает два этапа: I этап — языковая и культурная адаптация; II этап — оценка психометрических свойств (валидация) созданного опросника [11-15]. Перевод, языковая и культурная адаптация, а также пилотное тестирование русской версии опросника МРЫ10 были выполнены на I этапе нашего исследования [16]. В данной статье представлены результаты валидации русской версии опросника МРЫ10, включающие оценку его валидности, надежности и чувствительности.

МАТЕРИАЛЫ И МЕТОДЫ

Участники исследования

Исследование проводили на базе Московского городского гематологического центра городской клинической больницы им. С.П. Боткина и ФГБУ «Российский НИИ гематологии и трансфузиологии ФМБА России». В исследование включены пациенты с МФ (п = 36), ИП (п = 9), ЭТ (п = 12). Средний возраст больных составил 54,6 ± 15,9 года (диапазон 20-79 лет). Перед проведением исследования было получено письменное информированное согласие каждого пациента. В исследование не включали пациентов с выраженной сопутствующей соматической патологией, а также

с когнитивными и психическими нарушениями, препятствующими получению адекватной информации.

Методы оценки психометрических свойств

опросника

В процессе валидации русской версии опросника MPN10 оценивали его психометрические свойства: валидность, надежность и чувствительность. Анализ валидности опросника MPN10 включал оценку конструктной, дискриминантной и конвергентной валидности. Конструктную валидность определяли факторным анализом структуры опросника, дискриминантную — методом известных групп, конвергентную — с помощью корреляционного анализа с внешним критерием, в качестве которого рассматривали шкалы опросника RAND SF-36. Анализ надежности опросника MPN10 проводили с помощью оценки внутреннего постоянства для всех симптомов путем вычисления коэффициента а Кронбаха, а также воспроизводимости инструмента с помощью метода «тест-ретест». Для оценки чувствительности MPN10 анализировали изменения симптомов в процессе лечения в группе больных МФ, заполнивших опросник до начала терапии и через 1 мес. после ее начала.

Статистический анализ

Данные представлены в виде количества наблюдений, среднего арифметического значения, стандартного отклонения и процентной доли. При выборе критерия проверки статистической значимости различий между анализируемыми показателями основывались на характере распределения данных. При сравнении двух групп пользовались критерием сравнения для двух выборок — t-критерием Стью-дента или его непараметрическим аналогом — ранговым критерием Манна—Уитни. В случае более двух несвязанных групп применяли однофакторный дисперсионный анализ (ANOVA) или его непараметрический аналог — тест Фридмана. При сравнении двух связанных групп в динамике использовали парный t-критерий или его непараметрический аналог — критерий Уилкоксона. Для анализа структуры русской версии опросника MPN10 был проведен разведочный факторный анализ с использованием метода главных компонент и способа вращения варимакс при условии минимального собственного значения фактора > 1. При этом применяли все опросники MPN10, заполненные пациентами в разных точках исследования. Для оценки связи между показателями использовали ранговую корреляцию Спирмена. Корреляционную связь рассматривали как слабую при 0,2 < r < 0,5, умеренную — при 0,5 < r < 0,75, сильную — при r > 0,75.

Все тесты были двусторонними, различия между сравниваемыми группами признавали статистически значимыми при p < 0,05. Статистический анализ проведен с использованием программного обеспечения SPSS 17.0 и Statistica 10.0.

РЕЗУЛЬТАТЫ

В исследование включено 57 пациентов, проходивших лечение в 2019 г. в Московском городском гематоло-

гическом центре ГКБ им. С.П. Боткина (п = 30) и в ФГБУ «Российский НИИ гематологии итрансфузиологии ФМБА России» (п = 27). Согласно диагнозу больные распределялись следующим образом: МФ — 36, ИП — 9, ЭТ — 12. Средний возраст больных составил 54,6 года (стандартное отклонение 15,9 года); диапазон возраста — 20-79 лет. Соотношение мужчин/ женщин — 23/34 (40,4/59,6 %). Длительность основного заболевания — от 1 мес. до 33 лет (в среднем 7 лет; стандартное отклонение 8,6 года).

В табл. 1 представлена общая характеристика больных.

Циторедуктивную терапию на момент исследования получало 48 больных.

Для оценки качества данных при заполнении МРЫ10 подсчитывали количество пропущенных ответов на вопросы из всех опросников, заполненных

Таблица 1. Общая характеристика больных

Показатель МФ ИП ЭТ

Средний (± БЭ) возраст, лет 58,7 ± 13,9 59,6 ± 11,1 38,5 ± 13,1

Соотношение мужчин/женщин, п (%) 13/23 (36,1/63,9) 6/3 (66,7/33,3) 4/8 (33,3/66,7)

Статус по шкале ЕСОв, п (%)

0-1 балл 2-3 балла 22 (61,1) 14 (38,9) 9 (100) 12 (100)

Наличие симптомов опухолевой интоксикации, п (%) 24 (66,7) 2 (22,2) —

Среднее (± БЭ) увеличение размеров селезенки (выступает из-под края реберной дуги), см 13,0 ± 9,2* 6,5 ± 2,1*

Тромбозы, п (%) 5 (13,9) 3 (33,3) 2 (16,7)

Эпизоды кровотечений,п (%) 1 (2,8) — 2 (16,7)

Зависимость от гемотранс-фузий, п (%) 13 (36,1) — —

ECOG — Eastern Cooperative Oncology Group; SD — стандартное отклонение; ИП — истинная полицитемия; МФ — миелофиброз; ЭТ — эссенциальная тромбоцитемия.

* Спленомегалия была у 28 пациентов с МФ и 2 пациентов с ИП.

больными в разных точках исследования. Опросники были заполнены полностью в подавляющем большинстве случаев: пропущенных данных было всего 0,5 %. Все пациенты заполнили более 5 пунктов опросника МРЫ10. Это позволило рассчитать общий результат МРЫ10 у всех пациентов. Полученные данные свидетельствуют о хорошей заполняемости опросника МРЫ10.

В табл. 2 представлены характеристики выраженности и частоты симптомов, а также общий результат оценки симптомов по опроснику МРЫ10 в общей выборке и у больных с разными нозологическими формами.

Наиболее частыми симптомами (> 50 % пациентов) во всей выборке были слабость (94,7 %), вялость/ снижение активности (89,5 %), проблемы с концентрацией внимания (73,7 %), ночная потливость (66,7 %), ощущение быстрого наполнения желудка во время еды (59,6 %) и неприятные ощущения (дискомфорт) в животе (56,1 %). Пациенты с МФ испытывали чаще, чем пациенты с ИП и ЭТ, такие симптомы, как неприятные ощущения (дискомфорт) в животе, проблемы с концентрацией внимания, ночная потливость, кожный зуд, повышение температуры тела более 37,8 °С, непреднамеренное снижение массы тела. Наиболее выраженными симптомами во всей выборке больных были слабость (4,6 ± 2,8 балла) и вялость/снижение активности (4,5 ± 3,0 балла). Общий результат оценки симптомов по МРЫ10 был существенно выше у пациентов с МФ по сравнению с ИП и ЭТ (35,77 У5 14,78 У5 13,75 соответственно).

Конструктная валидность опросника MPN10

Анализ структуры МРЫ10 был проведен с использованием всех пунктов опросника. В ходе факторного анализа извлечены два фактора и два отдельных пункта: повышение температуры тела более 37,8 °С и непреднамеренное снижение массы тела. Два извлеченных фактора описывают 68 % дисперсии. Фактор I объединил такие симптомы, как слабость, ощущение

Таблица 2. Средняя выраженность, частота и общии результат оценки симптомов по опроснику МРЫ10 у больных с миелопролифе-

ративными новообразованиями

МФ ИП ЭТ Общая выборка _Симптом_Среднее ± SD п (%) Среднее ± SD п (%) Среднее ± SD п (%) Среднее ± SD п (%)

Слабость 5,28 ± 2,79 35 (97,2) 2,56 ± 1,94 7 (77,8) 3,92 ± 2,47 12 (100) 4,56 ± 2,77 54 (94,7)

Ощущение быстрого наполнения 3,19 ± 3,09 24 (66,7) 2,00 ± 1,87 6 (66,7) 0,67 ± 1,15 4 (33,3) 2,47 ± 2,79 34 (59,6) желудка во время еды

Неприятные ощущения (диском- 3,28 ± 3,03 25 (69,4) 1,33 ± 1,94 4 (44,4) 0,42 ± 0,90 3 (25,0) 2,37 ± 2,82 32 (56,1) форт) в животе

Вялость, снижение активности 5,36 ± 3,07 33 (91,7) 2,33 ± 2,12 7 (77,8) 3,50 ± 2,54 11 (91,7) 4,49 ± 3,04 51 (89,5)

Проблемы с концентрацией 4,03 ± 2,94 29 (80,6) 2,00 ± 2,50 5 (55,6) 2,25 ± 2,22 8 (66,7) 3,33 ± 2,85 42 (73,7) внимания

Ночная потливость 4,61 ± 3,56 29 (80,6) 1,44 ± 1,42 6 (66,7) 0,58 ± 1,16 3 (25,0) 3,26 ± 3,42 38 (66,7)

Кожный зуд 3,22 ± 3,70 20 (55,6) 1,33 ± 1,94 4 (44,4) 1,00 ± 2,34 3 (25,0) 2,46 ± 3,34 27 (47,4)

Боль в костях 2,47 ± 3,53 17 (47,2) 1,56 ± 2,19 4 (44,4) 0,92 ± 1,78 3 (25,0) 2,00 ± 3,08 24 (42,1)

Повышение температуры 1,23 ± 2,51 11 (31,4) 0,11 ± 0,33 1 (11,1) 0 0 0,79 ± 2,06 12 (21,4) тела > 37,8 °С

Непреднамеренное снижение массы 3,03 ± 3,72 17 (47,2) 0,11 ± 0,33 1 (11,1) 0,50 ± 1,45 2 (16,7) 2,04 ± 3,29 20 (35,1) тела

Общий результат по MPN10_35,77 ± 21,49 - 14,78 ± 10,76 - 13,75 ± 10,41 - 27,82 ± 20,90 -

БЭ — стандартное отклонение; ИП — истинная полицитемия; МФ — миелофиброз; ЭТ — эссенциальная тромбоцитемия.

Таблица 3. Факторные нагрузки для пунктов опросника MPNЮ (варимакс нормализованный)

Симптом* Фактор I Фактор II

Слабость 0,81 0,25

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Ощущение быстрого наполнения желудка во время еды 0,85 0,11

Неприятные ощущения (дискомфорт) в животе 0,79 0,25

Вялость, снижение активности 0,68 0,58

Проблемы с концентрацией внимания 0,74 0,25

Ночная потливость 0,41 0,60

Кожный зуд 0,12 0,85

Боль в костях 0,20 0,78

Полужирным шрифтом выделены пункты, объединенные каждым фактором.

* Отдельные пункты — «повышение температуры тела > 37,8 °С» и «непреднамеренное снижение массы тела».

Таблица 4. Корреляция между показателями симптомов по MPN10 при заполнении опросника с интервалом в 1 нед.

Симптом г Пирсона*

Слабость 0,82

Ощущение быстрого наполнения желудка во время еды 0,96

Неприятные ощущения (дискомфорт) в животе 0,59

Вялость, снижение активности 0,87

Проблемы с концентрацией внимания 0,83

Ночная потливость 0,70

Кожный зуд 0,70

Боль в костях 0,66

Повышение температуры тела > 37,8 °С 1,00

Непреднамеренное снижение массы тела 1,00

Общий результат по MPN10 0,83

* Все коэффициенты корреляции статистически значимы при p < 0,05.

быстрого наполнения желудка во время еды, неприятные ощущения (дискомфорт) в животе, вялость/ снижение активности, проблемы с концентрацией внимания; фактор II — ночная потливость, кожный зуд и боль в костях. В табл. 3 представлены значения факторных нагрузок для пунктов опросника,

сгруппированных факторами I и II. По всем пунктам опросника были выявлены достаточно большие факторные нагрузки (от 0,6 до 0,85).

Для проверки устойчивости структуры рассчитывали коэффициент а Кронбаха с поочередным удалением пунктов, объединенных одним фактором. При поочередном удалении 1 из 5 пунктов, сгруппированных фактором I, и 1 из 3 пунктов, сгруппированных фактором II, отмечено уменьшение величины стандартизованного коэффициента а Кронбаха для соответствующего фактора, что свидетельствует об устойчивой структуре инструмента.

Надежность опросника MPN10

При анализе надежности методом оценки внутреннего постоянства получено значение коэффициента а Кронбаха, равное 0,89.

При определении воспроизводимости инструмента с помощью метода «тест-ретест» проверяли процент соответствий между показателями симптомов поМРЫ10, а также оценивали корреляции и различия между показателями симптомов по МРЫ10 при заполнении опросника с интервалом в 1 нед. При заполнении опросника пациентами в стабильном состоянии с интервалом 1 нед. получено достаточное число (> 70 %) соответствий между значениями МРЫ10 для следующих симптомов: ощущение быстрого наполнения желудка во время еды (72,2 %), ночная потливость (83,3 %), кожный зуд (78 %), боль в костях (78 %), повышение температуры тела более 37,8 °С (100 %), непреднамеренное снижение массы тела (100 %). Для остальных симптомов доля соответствий была ниже: слабость — 44,4 %, неприятные ощущения (дискомфорт) в животе — 44,4 %, вялость/ снижение активности — 50 %, проблемы с концентрацией внимания — 61 %.

В табл. 4 представлены коэффициенты корреляции Пирсона для симптомов по МРЫ10 при заполнении опросника с интервалом в 1 нед.

Продемонстрирована статистически значимая положительная корреляция (р < 0,05) умеренной и сильной степени (г = 0,59-1,00) для всех симптомов, а также общего результата по МРЫ10 в двух точках исследования.

Таблица 5. Средние значения выраженности симптомов и общего результата по MPNЮ при заполнении опросника с интервалом

в 1 нед.

Симптом Скрининг Стандартное Среднее отклонение Через 1 нед. Стандартное Среднее отклонение Р

Слабость 3,50 2,36 2,78 2,10 0,067

Ощущение быстрого наполнения желудка во время еды 1,22 1,66 0,89 1,23 0,043

Неприятные ощущения (дискомфорт) в животе 0,83 1,54 1,28 1,23 0,185

Вялость, снижение активности 3,00 2,50 2,67 2,09 0,214

Проблемы с концентрацией внимания 2,11 2,32 1,94 2,10 0,554

Ночная потливость 0,94 1,39 1,17 2,07 1,000

Кожный зуд 1,06 2,07 1,33 2,03 0,584

Боль в костях 0,94 1,80 0,61 1,38 0,361

Повышение температуры тела > 37,8 °С 0,61 2,35 0,06 0,24 0,317

Непреднамеренное снижение массы тела 0,39 1,20 0,39 1,20 1,000

Общий результат по MPN10 14,61 11,95 13,11 9,04 0,091

Таблица 6. Корреляция между показателями симптомов по опроснику МРЫ10 и шкал опросника БР-Эв

Симптом по MPN10 Шкала SF-36 г Пирсона*

Слабость ФФ -0,608

РФФ -0,636

Б -0,466

ОЗ -0,620

Ж -0,719

СФ -0,609

РЭФ -0,535

ПЗ -0,630

Ощущение быстрого напол- ФФ -0,495

нения желудка во время еды РФФ -0,539

Б -0,556

ОЗ -0,418

Ж -0,440

СФ -0,409

РЭФ -0,356

ПЗ -0,339

Неприятные ощущения ФФ -0,510

(дискомфорт) в животе РФФ -0,518

Б -0,463

ОЗ -0,455

Ж -0,415

СФ -0,386

РЭФ -0,393

ПЗ -0,327

Вялость, снижение активности ФФ -0,616

РФФ -0,701

Б -0,477

ОЗ -0,618

Ж -0,689

СФ -0,587

РЭФ -0,574

ПЗ -0,664

Проблемы с концентрацией ФФ -0,439

внимания РФФ -0,548

Б -0,470

ОЗ -0,625

Ж -0,544

СФ -0,591

РЭФ -0,664

ПЗ -0,556

Ночная потливость ФФ -0,495

РФФ -0,438

Б -0,290

ОЗ -0,325

Ж -0,277

РЭФ -0,345

Кожный зуд РФФ -0,315

ОЗ -0,370

Ж -0,322

СФ -0,333

ПЗ -0,335

Боль в костях ФФ -0,435

РФФ -0,384

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Б -0,469

ОЗ -0,380

Ж -0,371

СФ -0,324

РЭФ -0,342

Повышение температуры ФФ -0,481

тела > 37,8 °С РФФ -0,377

Б -0,483

ОЗ -0,373

Ж -0,349

СФ -0,344

РЭФ -0,406

Симптом по MPN10 Шкала SF-36 г Пирсона*

Непреднамеренное снижение ФФ -0,529

массы тела РФФ -0,467

Б -0,295

ОЗ -0,356

Ж -0,410

СФ -0,302

РЭФ -0,399

ПЗ -0,286

Общий результат по MPN10 ФФ -0,658

РФФ -0,677

Б -0,564

ОЗ -0,622

Ж -0,622

СФ -0,568

РЭФ -0,576

ПЗ -0,532

Б — боль; Ж — жизнеспособность; ОЗ — общее здоровье; ПЗ — психическое здоровье; РФФ — ролевое физическое функционирование; РЭФ — ролевое эмоциональное функционирование; СФ — социальное функционирование; ФФ — физическое функционирование. * Все коэффициенты корреляции статистически значимы при р < 0,05.

В табл. 5 представлены средние значения выраженности симптомов поМРЫ10 при заполнении опросника пациентами с интервалом в 1 нед.

Через 1 нед. после первого заполнения МРЫ10 для всех симптомов не выявлены статистически значимые различия их выраженности, за исключением ощущения быстрого наполнения желудка во время еды. Различия для общего результата по МРЫ10 также незначимы (р > 0,05).

Дискриминантная валидность опросника MPN10

Анализ дискриминантной валидности был выполнен методом известных групп с помощью сравнения общего результата оценки симптомов по МРЫ10 в следующих группах: а) пациенты, имеющие и не имеющие симптомы опухолевой интоксикации; б) пациенты, имеющие и не имеющие трансфузи-онную зависимость; в) пациенты без спленомегалии и с массивной (> 10 см) спленомегалией; г) пациенты с разными нозологическими формами МПН.

Выявлены статистически значимые различия в общем результате оценки симптомов по МРЫ10 в группах. У пациентов с опухолевой интоксикацией общий результат по МРЫ10 выше, чем у пациентов без таковой (41,2 У5 16,6; У-критерий Манна—Уитни, р < 0,001). То же можно сказать о пациентах с транс-фузионной зависимостью (40,62 У5 24,04; У-критерий Манна—Уитни, р = 0,016) и массивной спленомегалией (46,24 У5 17,04; У-критерий Манна—Уитни, р < 0,001) в сравнении с группами без них. При МФ общий результат оценки симптомов по МРЫ10 статистически значимо выше, чем в группах ИП и ЭТ (35,77 У5 13,75 У5 14,78 соответственно; ANOVA, р < 0,001).

Конвергентная валидность опросника MPN10

Коэффициенты статистически значимых корреляций Пирсона между показателями симптомов по МРМ0 и показателями шкал SF-36 представлены в табл. 6.

Наблюдается статистически значимая обратная корреляция между показателями всех симптомов

по МРЫ10, а также общим результатом оценки симптомов по МРЫ10 и показателями по большинству шкал SF-36: чем выше выраженность симптома по МРЫ10 (а также общего результата оценки симптомов по МРЫ10), тем ниже показатель по шкале опросника SF-36. Наиболее сильная корреляция со всеми шкалами SF-36 показана для слабости (г = -0,46 ... -0,72), вялости/снижения активности (г = -0,48 ... -0,70), проблем с концентрацией внимания (г = -0,44 ... -0,66), а также для общего результата оценки симптомов по МРЫ10 (г = -0,53 ... -0,68).

Чувствительность опросника МРЫ10

Анализ чувствительности русской версии опросника МРЫ10 проводили на основании оценки изменений показателей симптомов в группе пациентов с МФ, которым проводили терапию руксолитинибом (л = 20). Сравнивали показатели до и через 2 нед. после начала терапии руксолитинибом (рис. 1).

Через 2 нед. после начала терапии руксолити-нибом имело место уменьшение выраженности симптомов. Выявлены статистически значимые различия для всех симптомов (р < 0,05), кроме ощущения быстрого наполнения желудка во время еды. Общий результат оценки симптомов также статистически значимо уменьшился через 2 нед. лечения (41,3 У5 26,6; р = 0,002).

ОБСУЖДЕНИЕ

В результате проведенного исследования разработана и апробирована русская версия опросника МРЫ10 для оценки симптомов у пациентов с МПН. На I этапе, результаты которого опубликованы ранее [16], проведены перевод, языковая и культурная адаптации

русской версии МРЫ10, а также пилотное тестирование инструмента. В процессе данного этапа была сформирована тест-версия МРЫ10 на русском языке, эквивалентная оригиналу и соответствующая этнолингвистическим особенностям популяции. По оценке специалистов-гематологов, продемонстрированы высокие показатели содержательной валидности МРЫ10: понятность, релевантность, удобство оценки и полнота оценки, а по оценкам пациентов, показана высокая внешняя валидность инструмента [16].

Для того чтобы русская версия МРЫ10 могла быть использована в дальнейшем для контроля симптомов у больных МПН в клинической практике и научных исследованиях, необходима валидация с целью оценить психометрические свойства инструмента.

Методы, выбранные для валидации русской версии МРЫ10, основаны на подходах, использованных при проверке психометрических свойств оригинальной версии опросника МРЫ10 [8] и применяемых при проверке психометрических свойств языковых версий опросников [6, 17]. Выборка пациентов в валидационном исследовании была гетерогенной и включала больных с МФ, ИП и ЭТ.

С помощью факторного анализа на основании аналогичного подхода, использованного при валидации оригинальной версии опросника (методом главных компонент, способом вращения варимакс при условии минимального собственного значения фактора > 1), продемонстрирована устойчивая структура русской версии опросника МРЫ10, что свидетельствует об удовлетворительной конструктной валидности инструмента.

Результаты оценки внутреннего постоянства и воспроизводимости инструмента указывают на надежность русской версии опросника МРЫ10. Полученная величина коэффициента Кронбаха (а = 0,89), которая несколько выше значения в оригинальной

10 9 8 7 6

3

а ср

m

Слабость

Ощущение быстрого наполнения желудка во время еды Неприятные ощущения (дискомфорт) в животе Вялость, снижение активности Проблемы с концентрацией внимания

Ночная потливость Кожный зуд Боль в костях

Повышение температуры тела > 37,8 °С Непреднамеренное снижение массы тела

| до начала терапии 1 через 2 нед.терапии

UU UU !_□ U^ U

8

Рис. 1. Средние значения выраженности симптомов до и через 2 нед. после начала терапии руксолитинибом по опроснику MPN10. * р < 0,05.

Fig. 1. Mean symptom severity prior to and 2 weeks after the start of ruxolitinib therapy according to the MPN10 form. * p < 0.05.

5

4

3

2

1

0

версии опросника (а = 0,83) [8], характеризует высокое внутреннее постоянство русской версии МРМ0. Кроме того, показана высокая воспроизводимость русской версии МРМ0 при повторном заполнении опросника пациентами в стабильном состоянии. Важно отметить, что поскольку воспроизводимость не оценивалась в оригинальном валидационном исследовании опросника МРМ0, полученные нами данные служат ценным дополнением к характеристике психометрических свойств инструмента.

В результате исследования также продемонстрированы удовлетворительные характеристики дис-криминантной и конвергентной валидности русской версии опросника МРМ0. Возможность определять различия общей выраженности симптомов между пациентами в зависимости от клинических признаков, таких как наличие симптомов опухолевой интоксикации, спленомегалии, трансфузионной зависимости, показанная нами при анализе дискриминантной валидности, является очень важным свойством опросника и свидетельствует о достоверности и информативности данных, которые можно получить при его использовании у пациентов с разным клиническим течением заболевания. Интересными и актуальными в контексте анализа конвергентной валидности являются результаты нашего корреляционного анализа между показателями симптомов по МРМ0 и шкал опросника SF-36. Аналогично данным, полученным для оригинальной версии МРМ0 при использовании в качестве внешнего критерия опросника ЕОЯТС QLQ-C30, мы обнаружили связь выраженности симптомов МПН с показателями шкал качества жизни опросника SF-36. При этом выявлены корреляции для всех симптомов с большинством шкал SF-36: чем выше выраженность симптома по МРМ0 (а также общего результата оценки симптомов по МРМ0), тем ниже показатель по шкале опросника SF-36. В целом отрицательная связь между выраженностью симптомов МПН и показателями качества жизни является обоснованной и объяснимой, что позволяет считать полученные нами результаты корректными.

Важным результатом валидации русской версии опросника МРМ0 стала оценка его чувствительности. Продемонстрирована его способность определять изменения выраженности симптомов в процессе специфического лечения. Практически все симптомы у больных МФ, которые были включены в анализ чувствительности, значимо уменьшились в процессе терапии в сроки ожидаемого клинического эффекта лечения. Отметим, что авторами оригинальной версии опросника анализ чувствительности МРМ0 не проводился. Таким образом, полученные нами данные служат важным дополнением к характеристике психометрических свойств инструмента МРМ0. Они также свидетельствуют о чувствительности инструмента для мониторинга симптомов и его пригодности для использования при оценке эффекта терапии в совокупности с клиническим данными. Результаты нашего исследования открывают возможности для применения русской версии МРМ0 в отечественной онкогематологии в качестве одного из критериев оценки эффективности специфического лечения у больных МПН.

Следует отметить, что качество проведения языковой и культурной адаптации определяет психометрические свойства инструмента. На основании результатов, представленных в данной публикации, можно заключить, что психометрические свойства русской версии МРМ0 вполне удовлетворительные. Это свидетельствуют о том, что языковая и культурная адаптация инструмента проведена корректно, а разработанная русская версия опросника отвечает всем необходимым требованиям, предъявляемым к созданию новой языковой версии инструмента.

Таким образом, все результаты, полученные в ходе валидационного исследования, позволяют утверждать, что разработанная в соответствии с международными стандартами и апробированная в российской популяции больных МПН русская версия опросника МРМ0 является надежным, валидным и чувствительным инструментом для оценки симптомов у пациентов с этими заболеваниями и может использоваться в клинической практике и научных исследованиях в отечественной онкогематологии.

ЗАКЛЮЧЕНИЕ

Результаты исследования продемонстрировали, что разработанная на I этапе русская версия опросника МРМ0 имеет хорошие психометрические свойства. В процессе валидации показано, что русская версия опросника является надежным, валидным и чувствительным инструментом для оценки симптомов у пациентов с МПН.

Валидация и апробация опросника МРМ0 проведены в гетерогенной выборке пациентов, включающей больных с МФ, ИП и ЭТ, что подтверждает возможность его применения для разных нозологических форм МПН. Представленная в данной статье валидация опросника МРМ0 — завершающий этап языковой и культурной адаптации инструмента в России, после которого опросник может применяться у российской популяции больных.

Разработанная и апробированная русская версия опросника МРМ0 пригодна для использования в клинической практике и научных исследованиях с целью мониторинга симптомов у больных МПН, в т. ч. при оценке эффективности специфического лечения.

Использование русской версии МРМ0 может способствовать реализации пациент-ориентированного подхода к лечению МПН и совершенствованию отечественной системы медицинской помощи этой сложной категории пациентов.

КОНФЛИКТЫ ИНТЕРЕСОВ

Авторы заявляют об отсутствии конфликтов интересов.

ИСТОЧНИКИ ФИНАНСИРОВАНИЯ

Исследование выполнено при финансовой поддержке компании «Новартис», однако это не оказало влияния

на результаты проведенного анализа и их представление в рамках данной статьи.

ВКЛАД АВТОРОВ

Концепция и дизайн: Т.И. Ионова, О.Ю. Виноградова, Т.П. Никитина, М.С. Фоминых, В.А. Шуваев. Сбор и обработка данных: Т.И. Ионова, Т.П. Никитина, Н.М. Порфирьева.

Предоставление материалов исследования:

Е.В. Ефремова, А.Е. Керсилова, М.М. Панкрашкина,

A.-П.А. Пошивай, М.С. Фоминых, Д.И. Шихбабаева. Анализ и интерпретация данных: Т.И. Ионова, О.Ю. Виноградова, Т.П. Никитина, М.С. Фоминых,

B.А. Шуваев.

Подготовка рукописи: Т.И. Ионова, Т.П. Никитина. Окончательное одобрение рукописи: все авторы.

ЛИТЕРАТУРА/REFERENCES

1. Меликян А.Л., Ковригина А.М., Суборцева И.Н. и др. Национальные клинические рекомендации по диагностике и терапии Ph-негативных мие-лопролиферативных заболеваний (истинная полицитемия, эссенциальная тромбоцитемия, первичный миелофиброз) (редакция 2018 г.). Гематология и трансфузиология. 2018;63(3):275-315. doi: 10.25837/HAT.2019.51.88.001.

[Melikyan AL, Kovrigina AM, Subortseva IN, et al. National dinical recommendations for diagnosis and therapy of Ph-negative myeloproliferative neoplasms (polycythemia vera, essential thrombocythemia, primary myelofibrosis) (edition 2018). Russian Journal of Hematology and Transfusiology. 2018;63(3):275-315. doi: 10.25837/HAT.2019.51.88.001. (In Russ)]

2. Arber DA, Orazi А, Hasserjian R., et al. The 2016 revision to the World Health Organization classification of myeloid neoplasms and acute leukemia. Blood. 2016;127(20):2391-405. doi: 10.1182/blood-2016-03-643544.

3. Меликян А.Л., Суборцева И.Н. Материалы 57-го конгресса Американского гематологического общества (декабрь 2015 г., Орландо). Клиническая онкогематология. 2016;9(2):218-28.

[Melikyan AL, Subortseva IN. Materials of the 57th Annual Meeting of the American Society of Hematology (December, 2015; Orlando). Clinical oncohematology. 2016;9(2):218-28. (In Russ)]

4. Passamonti F, Merli M, Caramazza D, et al. Clinical Predictors of Outcome in MPN. Hematol Oncol Clin N Am. 2012;26(5):1101-16. doi: 10.1016/j.hoc.2012.07.009.

5. Reilly JT, McMullin MF, Beer PA, et al. Guideline for the diagnosis and management of myelofibrosis. Br J Haematol. 2012;158(4):453-71. doi: 10.1111/j.1365-2141.2012.09179.x.

6. Guidelines. Patient-reported outcomes in hematology. EHA SWG "Quality of life and Symptoms". Forum Service Editore. Genoa; 2012. 206 p.

7. Scherber R, Dueck AC, Johansson P, et al. The Myeloproliferative Neoplasm Symptom Assessment Form (MPN-SAF): international prospective validation and reliability trial in 402 patients. Blood. 2011;118(2):401-8. doi: 10.1182/blood-2011-01-328955.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

8. Emanuel RM, Dueck AC, Geyer HL, et al. Myeloproliferative Neoplasm (MPN) Symptom Assessment Form Total Symptom Score: Prospective International Assessment of an Abbreviated Symptom Burden Scoring System Among Patients With MPNs. J Clin Oncol. 2012;30(33):4098-103. doi: 10.1200/jco.2012.42.3863.

9. NCCN Clinical Practice Guidelines in Oncology. Myeloproliferative Neoplasms. Version 2.2019 — October 29, 2018. Available from: http://www.gaca.org. cn/uploadfolder/files/201903/ny27_930697.pdf (accessed 28.03.2020).

10. Barosi G, Mesa R, Finazzi G, et al. Revised response criteria for polycy-themia vera and essential thrombocythemia: an ELN and IWG-MRT consensus project. Blood. 2013;121(23):4778-81. doi: 10.1182/blood-2013-01-478891.

11. Bullinger M, Power MJ, Aaronson NK, et al. Creating and evaluating cross-cultural instruments. In: Spilker B, ed. Quality of Life and Pharmacoeco-nomics in Clinical Trials. Philadelphia: Lippincott-Raven; 1996. pp. 659-68.

12. Aaronson N, Alonso J, Burnam A, et al. Assessing health status and quality of life instruments: attributes and review. Qual Life Res. 2002;11(3):193-205.

13. Beaton DE, Bombardier C, Guillemin F, et al. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91. doi: 10.1097/00007632-200012150-00014.

14. Cull A, Sprangers M, Bjordal K, et al. Translation Procedure. EORTC Monograph. Brussels; 1998. 26 p.

15. Ионова Т.И. Принципы языковой и культурной адаптации опросников оценки качества жизни. Вестник Межнационального центра исследования качества жизни. 2018;31-32:12-7.

[lonova TI. Principles of linguistic and cultural adaptation of life quality assessment forms. Vestnik Mezhnatsional'nogo tsentra issledovaniya kachestva zhizni. 2018;31-32:12-7. (In Russ)]

16. Ионова Т.И., Виноградова О.Ю., Ефремова Е.В. и др. Языковая и культурная адаптация русской версии инструмента для оценки симптомов у пациентов с миелопролиферативными новообразованиями — МПН10. Вестник Межнационального центра исследования качества жизни. 2019;33-34:19-30.

[lonova TI, Vinogradova OYu, Efremova EV, et al. Linguistic and cultural adaptation of the Russian version of the instrument for symptom assessment in patients with myeloproliferative neoplasms — MPN10. Vestnik Mezhnatsional'nogo tsentra issledovaniya kachestva zhizni. 2019;33-34:19-30. (In Russ)]

17. Guidelines for Best Practice in Cross-Cultural Surveys. Available from: https://ccsg.isr.umich.edu/images/PDFs/CCSG_Full_Guidelines_2016_Version. pdf (accessed 28.03.2020).

i Надоели баннеры? Вы всегда можете отключить рекламу.