CC BY
42
Сравнение методов оценки важности критериев при проведении многокритериального анализа принятия решений по финансированию редких заболеваний
В. К. Федяева1, 3, О. Ю. Реброва1, 2, 4, В. В. Омельяновский3
1 Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва, Россия
2 Научно-исследовательский финансовый институт Министерства финансов РФ, Москва, Россия
3 Федеральное государственное бюджетное учреждение Центр экспертизы и контроля качества медицинской помощи Министерства здравоохранения РФ, Москва, Россия
4 Российский национальный исследовательский медицинский университет им. Н. И. Пирогова, Москва, Россия
Многокритериальный анализ (МКА) - математический подход, позволяющий формализовать учет нескольких факторов при принятии сложных решений. В статье представлены результаты пилотного проведения МКА применительно к редким заболеваниям и предназначенным для их лечения лекарственным препаратам. Выполнено сравнение двух методов оценки важности критериев - прямого и относительного взвешивания. Показано преимущество второго подхода.
КЛЮЧЕВЫЕ СЛОВА: многокритериальный анализ решений, процесс принятия решений, редкие заболевания, весовые коэффициенты, прямое взвешивание, относительное взвешивание.
8 Comparison of Methods for Assessing
the Importance of the Criteria in Multi-Criteria Decision Analysis in Financing the Treatment of Rare Diseases
o -
V. K. Fedyaeva1, 3, O. Yu. Rebrova1, 2, 4, V. V. Omelyanovskiy3
co
z 1 Russian Presidential Academy of National Economy and Public Administration (RANEPA), Moscow, Russia
CL
o 2 Financial Scientific Research Institute of the Ministry of Finance of the Russian Federation, Moscow, Russia
LD
¡S 3
Center of Expertise and Quality Control of Medical Care Ministry of Health of the Russian Federation,
^ Moscow, Russia
i 4 N. I. Pirogov Russian National Research Medical University, Moscow, Russia
o -
^ Multicriteria decision analysis (MCDA) is the mathematical approach that allows to take into account several factors when making difficult decisions.
S The article presents the results of a pilot application of MCDA for rare diseases and orphan drugs. Comparison of two methods (direct weighting and
O swing weighting) for assessing the importance of the criteria was conducted. The advantage of the second approach was shown.
§ KEYWORDS: multi-criteria decision analysis, MCDA, decision-making, rare diseases, weighting coefficients, direct weighting, swing weighting X
LLI _
О X
m ш
ВВЕДЕНИЕ (ОТЗ), который все чаще используется в разных стра-
Многокритериальный анализ (МКА) - один из нах, поскольку позволяет формализованно (с помощью инструментов оценки технологий в здравоохранении весовых коэффициентов) учитывать различные факто-
Таблица 1. Критерии для оценки редких заболеваний и предназначенных для их лечения лекарственных препаратов
№ Критерий
Характеристики редкого заболевания, для лечения которого предназначен лекарственный препарат
1.1 Существование эффективных вариантов лечения при данном заболевании (возможные значения: да, нет)
1.2 Прогноз выживаемости при данном заболевании без лечения (возможные значения: от 0 до 40 лет)
1.3 Возраст начала заболевания (возможные значения: от 0 до 40 лет)
1.4 Влияние заболевания на качество жизни пациента, включая степень инвалидности, возможность быть членом общества и т.п. (возможные значения: от крайне существенного влияния до отсутствия влияния)
1.5 Дополнительное бремя на повседневную жизнь лиц, осуществляющих уход (возможные значения: от постоянной необходимости осуществлять уход за пациентом до полного отсутствия такой необходимости)
Характеристики лекарственных препаратов
2.1 Влияние лечения на продолжительность жизни по сравнению с отсутствием лечения (годы сохраненной жизни) (возможные значения: от 40 до 0 лет)
2.2 Влияние лечения на качество жизни по сравнению с отсутствием лечения (возможные значения: от полного выздоровления до ухудшения качества жизни)
2.3 Безопасность лечения - частота нежелательных явлений (возможные значения: от 10% и более до 0,01% и менее)
2.4 Безопасность лечения - тяжесть нежелательных явлений (возможные значения: от приводящих к смерти до легких, не нарушающих повседневную жизнь пациента)
2.5 Влияние лечения на социальную жизнь пациента по сравнению с отсутствием лечения (возможные значения: от отсутствия влияния до улучшения всех аспектов социальной жизни пациента)
ры при принятии решения. Применение МКА весьма актуально при принятии решений в такой области здравоохранения, как лекарственное обеспечение больных редкими заболеваниями (РЗ), где фармакоэкономичес-кий подход является неприемлемым [1].
В настоящее время опубликованы результаты нескольких пилотных проектов, посвященных разработке метода МКА для оценки РЗ и предназначенных для их лечения лекарственных препаратов (ЛП) [2-5]. Одно из таких пилотных исследований было проведено нами [5].
Ранее для вычисления весовых коэффициентов критериев нами был использован метод прямого взвешивания, однако, согласно международным рекомендациям, метод относительного взвешивания является более надежным [6]. Суть данных методов мы также излагали ранее [7]. Оба метода имеют как преимущества, так и недостатки. В связи с этим целью настоящей работы стало сравнение результатов, полученных двумя методами оценки важности критериев, применяемых при разработке правил МКА: метода прямого взвешивания (direct weighting) и метода относительного взвешивания (swing weighting).
МАТЕРИАЛЫ И МЕТОДЫ
Для опроса экспертов нами были разработаны 2 анкеты, реализующие методы прямого и относительного взвешивания, и проведены соответственно 2 опроса 25 экспертов; опросы были выполнены с некоторой разницей во времени (от двух дней до 2 недель) с целью повышения независимости оценок. Экспертами были специалисты в области ОТЗ с медицинским или фармакологическим образованием.
В обеих анкетах экспертам предлагался список критериев оценки редких заболеваний (РЗ), приведенный
в таблице 1. Критерии разделены на две группы - характеристики заболевания и характеристики предназначенного для его лечения лекарственного препарата (ЛП). Для каждого критерия приведены его возможные значения с целью облегчить понимание сущности критерия.
В анкете, относящейся к методу прямого взвешивания, эксперты оценивали каждый критерий с точки зрения его значимости при принятии решения независимо от других критериев, выбирая оценки (весовые коэффициенты) от 1 до 10 баллов. Допускалось, что одна и та же оценка может быть присвоена более чем 1 критерию.
В анкете, относящейся к методу относительного взвешивания, эксперты сначала ранжировали все 10 критериев (от 1 до 10, повторение рангов не допускалось). Критерию с рангом 1 автоматически присваивается вес 100. Далее эксперты присваивали убывающие веса всем остальным критериям последовательно по убыванию ранга. Минимальный возможный вес - 0. Различие (ширина шага) весов между последовательными критериями не регламентировалось, однако повторение оценок не допускалось.
Статистический анализ данных выполнялся с использованием пакета прикладных программ Statistica 9.1 (StatSoft, Inc., США). Вычислялись описательные статистики (средние, медианы, среднеквадратические отклонения (СКО), квартили, минимумы и максимумы). Для вычисления весовых коэффициентов в методе относительного взвешивания сначала рассчитывался процент веса каждого критерия от суммы весов всех критериев по каждому респонденту, затем для каждого критерия вычислялись средние значения, которые умножались на 100, и СКО. Для анализа связи признаков выполнялся корреляционный анализ по Спирмену. Нулевые гипо-
9
о ^
о ч о н ш
2
тезы отклонялись при вычисленном уровне значимости Р < 0,05. Поправки для преодоления проблемы множественных сравнений не применялись.
РЕЗУЛЬТАТЫ
Описательная статистика для весовых коэффициентов, полученных методом прямого взвешивания, приведена в таблице 2. Как видно из таблицы 2, наименьшие среднее значение весового коэффициента составило 5,88 (критерий «Дополнительное бремя на повседневную жизнь лиц, осуществляющих уход»), наибольшее - 8,04, т. е. диапазон средних значений весовых коэффициентов равнялся 2,16, в то время как диапазон шкалы - от 1 до 10 баллов, длина шкалы - 9 баллов. Из этого следует, что диапазон средних значений составил 2,16 / 9 = 24% длины шкалы. Такие
результаты свидетельствуют о том, что респонденты склонны ставить оценки в верхней половине диапазона шкалы. Строго говоря, использованная нами шкала в методе прямого взвешивания является порядковой и должна описываться медианами и квартилями, однако вычисление средних позволяет выявить более тонкие различия, а количество значений признака, равное 10, делает допустимым применение описательных статистик распределений количественных признаков.
Описательная статистика рангов критериев, полученных методом относительного взвешивания, приведена в таблице 3. Большинство (6 из 10) критериев было поставлено хотя бы одним из респондентов на первое место по уровню влияния на принятие решения (ранг 1), а также на последнее (ранг 10); при этом медиана только одного критерия («Влияние лечения
Таблица 2. Весовые коэффициенты критериев, полученные методом прямого взвешивания, по результатам опроса 25 экспертов
№ Критерий Среднее СКО
1.1 Существование эффективных вариантов лечения при данном заболевании 8,04 2,26
1.2 Прогноз выживаемости при данном заболевании без лечения 7,56 2,14
1.3 Возраст начала заболевания 6,2 2,93
1.4 Влияние заболевания на качества жизни пациента, включая степень инвалидности, возможность быть членом общества и т. п. 7,6 1,83
1.5 Дополнительное бремя на повседневную жизнь лиц, осуществляющих уход 5,88 2,40
2.1 Влияние лечения на продолжительность жизни по сравнению с отсутствием лечения (годы сохраненной жизни) 7,92 2,71
2.2 Влияние лечения на качество жизни по сравнению с отсутствием лечения 7,84 2,81
2.3 Безопасность лечения - частота нежелательных явлений 6,72 2,69
2.4 Безопасность лечения - тяжесть нежелательных явлений 7,52 2,22
2.5 Влияние лечения на социальную жизнь пациента по сравнению с отсутствием лечения 7 2,47
10
Таблица 3. Ранги критериев, полученные методом относительного взвешивания, по результатам 25 экспертов
опроса
№ Критерий Медиана Минимум Максимум Нижний квартиль Верхний квартиль
1.1 Существование эффективных вариантов лечения при данном заболевании 4 1 10 1 7
1.2 Прогноз выживаемости при данном заболевании без лечения 4 1 9 2 5
1.3 Возраст начала заболевания 7 1 10 4 8
1.4 Влияние заболевания на качества жизни пациента, включая степень инвалидности, возможность быть членом общества и т. п. 4 1 8 3 5
1.5 Дополнительное бремя на повседневную жизнь лиц, осуществляющих уход 8 2 10 6 9
2.1 Влияние лечения на продолжительность жизни по сравнению с отсутствием лечения (годы сохраненной жизни) 2 1 9 2 4
2.2 Влияние лечения на качество жизни по сравнению с отсутствием лечения 4 1 9 2 7
2.3 Безопасность лечения - частота нежелательных явлений 8 3 10 6 9
2.4 Безопасность лечения - тяжесть нежелательных явлений 6 3 10 5 8
2.5 Влияние лечения на социальную жизнь пациента по сравнению с отсутствием лечения 7 3 10 6 9
о. О ш _0 т
х
ш
О ^
О X
X
ш
о
X
ш
Таблица 4. Веса критериев, полученные методом относительного взвешивания, по результатам опроса 25 экспертов
№ Критерий Среднее СКО
1.1 Существование эффективных вариантов лечения при данном заболевании 77,52 21,92
1.2 Прогноз выживаемости при данном заболевании без лечения 78,08 23,96
1.3 Возраст начала заболевания 60,29 28,07
1.4 Влияние заболевания на качества жизни пациента, включая степень инвалидности, возможность быть членом общества и т. п. 81,80 17,02
1.5 Дополнительное бремя на повседневную жизнь лиц, осуществляющих уход 56,68 25,00
2.1 Влияние лечения на продолжительность жизни по сравнению с отсутствием лечения (годы сохраненной жизни) 83,84 23,92
2.2 Влияние лечения на качество жизни по сравнению с отсутствием лечения 76,28 23,31
2.3 Безопасность лечения - частота нежелательных явлений 51,84 26,52
2.4 Безопасность лечения - тяжесть нежелательных явлений 59,24 25,20
2.5 Влияние лечения на социальную жизнь пациента по сравнению с отсутствием лечения 55,04 22,24
Рис. 1. Весовые коэффициенты, полученные с помощью методов прямого и относительного взвешивания.
на продолжительность жизни по сравнению с отсутствием лечения») составила 2 балла, четыре критерия имели медиану 4 балла, остальные 5 критериев имели медиану 6 и выше. Таким образом, оценки респондентов следует признать вариабельными.
В таблице 4 приведена описательная статистика весов, полученных методом относительного взвешивания. Средние оценки для всех критериев оказались больше
50, что снова свидетельствует о склонности экспертов использовать верхнюю половину диапазона шкалы. Диапазон средних значений составил 83,84 - 51,84 = 32, т. е. 32/100 = 32% от длины шкалы, что несколько больше, чем при прямом взвешивании (24%).
На рисунке 1 приведены результаты расчетов весовых коэффициентов, полученные с помощью двух методов - прямого и относительного взвеши-
о ^
о ч о н ш
2
Таблица 5. Корреляции между весовыми коэффициентами, полученными методами прямого и относительного взвешивания (п = 25)
Критерии Коэффициент корреляции Спирмена Уровень значимости
1.1. Существование эффективных вариантов лечения при данном заболевании 0,579 0,002*
1.2. Прогноз выживаемости при данном заболевании без лечения 0,522 0,007
1.3. Возраст начала заболевания 0,575 0,003
1.4. Влияние заболевания на качества жизни пациента, включая степень инвалидности, возможность быть членом общества и т. п. 0,587 0,002
1.5. Дополнительное бремя на повседневную жизнь лиц, осуществляющих уход 0,318 0,121
2.1. Влияние лечения на продолжительность жизни по сравнению с отсутствием лечения (годы сохраненной жизни) 0,688 <0,001
2.2. Влияние лечения на качество жизни по сравнению с отсутствием лечения 0,089 0,672
2.3. Безопасность лечения - частота нежелательных явлений 0,364 0,074
2.4. Безопасность лечения - тяжесть нежелательных явлений 0,398 0,049
2.5. Влияние лечения на социальную жизнь пациента по сравнению с отсутствием лечения 0,058 0,785
* Жирным шрифтом выделены Р < 0,05
12
о. О ш _0 ш
X
ш
о ^
О X
X
ш
о
X
ш
вания. Согласно этим результатам, максимальные веса, полученные разными методами, относятся к разным критериям: критерий «Влияние лечения на продолжительность жизни по сравнению с отсутствием лечения» оказался самым важным при анализе методом относительного взвешивания (вес = 12,56), в то время как по результатам прямого взвешивания самым важным оказался критерий «Существование эффективных вариантов лечения при данном заболевании» (вес = 8,04).
Для оценки согласованности весовых коэффициентов, полученных методами прямого и относительного взвешивания, мы выполнили корреляционный анализ; его результаты приведены в таблице 5. Среди критериев, относящихся к характеристикам заболевания, получены статистически значимые корреляции для 4 из 5 критериев (кроме «Возраст начала заболевания»), при этом коэффициент корреляции не превышал 0,6, что говорит о корреляции средней силы. Для критериев, характеризующих ЛП, выявлены корреляции весовых коэффициентов средней силы только в 2 случаях.
ОБСУЖДЕНИЕ
Анализ ответов группы экспертов на две анкеты, составленные с использованием методов относительного и прямого взвешивания, выявил низкую корреляцию экспертных оценок важности критериев при применении двух анкет, составленных с использованием методов относительного и прямого взвешивания, в одной группе респондентов. Причинами плохой согласованности может быть следующее:
• недостаточная валидность одной из анкет;
• низкая осведомленность группы респондентов о
проблеме РЗ.
Основными достоинствами метода прямого взвешивания являются простота его реализации и математической обработки результатов, а также простота восприятия дизайна опроса самими респондентами. Как следствие, данный метод позволяет в довольно сжатые сроки охватить широкий круг респондентов. Однако, несмотря на возможность учета мнения большого числа опрашиваемых, метод прямого взвешивания представляется недостаточно надежным в связи с выявленной нами тенденцией к использованию респондентами лишь небольшой части (24%) диапазона шкалы.
Метод относительного взвешивания является более сложным в исполнении, требует персональных интервью с респондентами для разъяснения им дизайна опроса, что, в свою очередь, заставляет ограничивать численность респондентов. Однако в этих условиях выбор экспертов будет проводиться более тщательно, что позволит исключить респондентов, формально подходящих к опросу и имеющих поверхностные знания о проблеме. Кроме того, за счет использования ранжирования данный метод позволяет четко выявлять предпочтения респондентов и исключает возможность одинаковых оценок критериев.
Представляется, что выбор метода относительного взвешивания является более рациональным, т. к. данный метод, несмотря на его относительную сложность для восприятия респондентами, позволяет избежать ситуации, когда все критерии оказываются одинаково важными, т. е. обеспечивает ранжирование критериев по уровню влияния на принятие решения [1, 6].
Таким образом, мы имеем основания заключить, что по сравнению с методом относительного взвеши-
вания метод прямого взвешивания менее надежен, а потому в дальнейшем нами использоваться не будет.
ЛИТЕРАТУРА
1. Омельяновский В. В., Федяева В. К., Реброва О. Ю. Методические рекомендации по применению многокритериального анализа в здравоохранении. Экспертный совет по здравоохранению Комитета Совета Федерации по социальной политике. 2014.
2. Sussex J., Rollet P., Garau M., et al. Multi-criteria decision analysis to value orphan medicines. Office of Health Economics. London. 2013; 24 p.
3. Hughes-Wilson W., Palma A., Schuurman A., Simoens S. Paying for the оrphan drug system: break or bend? Is it time for a new evaluation system for payers in Europe to take account of new rare disease treatments? Orphanet J Rare Dis. 2012; 7(1): 74.
4. Clinical Priorities Advisory Group (CPAG) Decision-Making Framework. URL: https://www.england.nhs.uk/commissioning/wp-content/ uploads/sites/12/2013/07/cpag-dec-mak-fram.pdf (дата обращения: 20.02.2016).
5. Омельяновский В. В., Федяева В. К., Реброва О. Ю. Возможности применения многокритериального анализа для оптимизации финансирования редких заболеваний. Фармакоэкономика. 2014; 7(4): 29-35.
6. Diaby V., Goeree R. How to use multi-criteria decision analysis methods for reimbursement decision-making in healthcare: a step-bystep guide. Expert review of pharmacoeconomics & outcomes research. 2014; 14(1): 81-99.
7. Федяева В. К., Омельяновский В. В., Реборова О. Ю. Многокритериальный анализ как инструмент поддержки принятия решений: обзор методов и возможностей их применения в оценке технологий здравоохранения. Медицинские технологии. Оценка и выбор. 2014; 2: 30-35.
REFERENCES
1. Omelyanovsky V. V., Fedyaeva V. K., Rebrova O. Yu. Methodological Guidance on Application of Multi-Criteria Decision Making Analysis in Russian Healthcare. The expert Council on healthcare of the Federation Council Committee on social policy. 2014.
2. Sussex J., Rollet P., Garau M., et al. Multi-criteria decision analysis to value orphan medicines. Office of Health Economics. London. 2013; 24 p.
3. Hughes-Wilson W., Palma A., Schuurman A., Simoens S. Paying for the оrphan drug system: break or bend? Is it time for a new evaluation system for payers in Europe to take account of new rare disease treatments? Orphanet J Rare Dis. 2012; 7(1): 74.
4. Clinical Priorities Advisory Group (CPAG) Decision-Making Framework. URL: https://www.england.nhs.uk/commissioning/wp-content/ uploads/sites/12/2013/07/cpag-dec-mak-fram.pdf (date of access: 20.02.2016).
5. Omelyanovskiy V. V., Fedyaeva V. K., Rebrova O. Y. Application of Multiple-Criteria Analysis for Optimization of Financing of Rare Diseases. Pharmacoeconomics. Modern pharmacoeconomics and phar-macoepidemiology. 2014; 7(4): 29-35.
6. Diaby V., Goeree R. How to use multi-criteria decision analysis methods for reimbursement decision-making in healthcare: a step-bystep guide. Expert review of pharmacoeconomics & outcomes research. 2014; 14(1): 81-99.
7. Fedyaeva V. K., Omelyanovsky V. V., Rebrova O. Yu. Multi-Criteria Decision Analysis as a Tool to Support Decision Making: a Review of its Methods and Their Applicability to Health Technology Assessment. Medical Technologies. Assessment and Choice. 2014; 16(2): 30-35.
Сведения об авторах
Федяева Влада Константиновна
главный специалист ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Минздрава России, научный сотрудник
лаборатории оценки технологий в здравоохранении института прикладных экономических исследований Российской академии народного хозяйства и государственной службы при Президенте РФ
Адрес для переписки:
109028, г. Москва, Хохловский переулок, вл. 10, стр. 5. Телефон: +7 (495) 783-1905 E-mail: vlada.fedyaeva@gmail.com
Реброва Ольга Юрьевна
ведущий научный сотрудник лаборатории оценки технологий в здравоохранении института прикладных экономических исследований Российской академии народного хозяйства и государственной службы при Президенте РФ, ведущий научный сотрудник центра финансов здравоохранения Научно-исследовательского финансового института Минфина РФ, профессор кафедры медицинской кибернетики и информатики Российского национального исследовательского медицинского университета им. Н. И. Пирогова, д-р мед. наук
Адрес для переписки:
117997, Москва, ул. Островитянова, д. 1 Телефон: +7 (495) 434-5478 E-mail: o.yu.rebrova@gmail.com
Омельяновский Виталий Владимирович
генеральный директор ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Минздрава России, д-р мед. наук, профессор
Адрес для переписки:
109028, Москва, Хохловский пер., 10 стр.5 Телефон: +7 (926) 958-4070 E-mail: vitvladom@gmail.com
Authors & Affiliations:
Fedyaeva Vlada Konstantinovna
Chief Specialist Department of the Methodological Support for a Comprehensive Assessment in Health Care Technology of the Center of Expertise and Quality Control of Medical Care, Ministry of Health of the Russian Federation; Researcher at the Laboratory of Health Technology Assessment in the Institute for Applied Economic Research of the Russian Presidential Academy of National Economy and Public Administration.
Address for correspondence:
Khokhlovsky per., 10, bldg 5, Moscow, 109028, Russia
Tel: +7 (495) 783-1905
E-mail: vlada.fedyaeva@gmail.com
Rebrova Olga Yuryevna
Professor at the Department of Medical Cybernetics and Informatics of the N. I. Pirogov Russian National Research Medical University; Leading Researcher at the Laboratory of Health Technology Assessment in the Institute for Applied Economic Research of the Russian Presidential Academy of National Economy and Public Administration; Leading Researcher at the Health Care Finance Center of the Research Financial Institute of the Ministry of Finance of the Russian Federation, PhD, DHab
Address for correspondence:
1 Ostrovityanova St., Moscow, 117997, Russia
Tel.: +7 (495) 434-5478
E-mail: o.yu.rebrova@gmail.com
Omelyanovskiy Vitaly Vladimirovich
General Director of the Center of Expertise and Quality Control of Medical Care, Ministry of Health of the Russian Federation, PhD, DSc
Address for correspondence:
Khokhlovsky per., 10, bldg 5, Moscow, 109028, Russia Tel: +7 (926) 958-4070 E-mail: vitvladom@gmail.com
