Обзор методик оценки достоверности научных доказательств и убедительности рекомендаций, применяемых при разработке клинических рекомендаций в Российской Федерации Текст научной статьи по специальности «Науки о здоровье»

^ ISSN 2070-4909 (print)

DOI: 10.17749/2070-4909.2019.12.1.34-41 ISSN 2070-4933 (online)

Обзор методик оценки достоверности научных доказательств и убедительности рекомендаций, применяемых при разработке клинических рекомендаций в Российской Федерации

Журавлева Н.И.1, Шубина Л.СЛ2, Сухоруких О.А.13

1 Федеральное государственное бюджетное учреждение «Центр экспертизы и контроля качества медицинской помощи» Министерства здравоохранения Российской Федерации (Хохловский пер., вл. 10, стр. 5, Москва 109028, Россия)

2 Детская клиника МЕДСИ в Благовещенском переулке (Благовещенский переулок, д. 2/16, стр. 1, Москва 123001, Россия)

3 Федеральное государственное бюджетное учреждение «Научно-исследовательский финансовый институт Министерства финансов Российской Федерации»

(Настасьинский пер., д. 3 стр. 2, Москва 127006, Россия)

Для контактов: Журавлева Наталья Ивановна, e-mail: juravleva@rosmedex.ru.

х

к ц

CD ^

О CD

т

CL

CD

CQ

К S X

со со о

со -О

о

к ц

ч о

X

CD

т

СО ' X

со ■

со ■

X ■

ч I

CD О. .

CD . .

Е

сл о

т

° ю о <?

£ й

О I

О СП

СО -"t

ЕЕ ® со

s= о

О. -¡Г

Ü?

CD

Резюме

Цель - анализ существующих в РФ систем оценки уровней достоверности доказательств (УДД) и уровней убедительности результатов (УУР) при разработке клинических рекомендаций (КР).

Материалы и методы. Проведен анализ шкал УДД и УУР, примененных при разработке КР, размещенных в Федеральной электронной медицинской библиотеке на 01.09.2017 г. Исследование включало следующие этапы: анализ КР на предмет наличия шкал(ы) оценки УДД и/или УУР и определения их типа; сопоставительный анализ шкал оценки УДД и/или УУР, представленных в КР, со шкалами оценки УДД и УУР, наиболее часто применяющимися при разработке зарубежных КР; определение частоты использования зарубежных шкал оценки УДД и/или УУР или их комбинаций при разработке КР в РФ.

Результаты. Выявлено более 150 вариантов различных шкал УДД и УУР в КР, большая часть из них является модификациями зарубежным систем оценки. Наиболее часто используемой методикой стала оригинальная методика SIGN.

Заключение. По результатам анализа сделан вывод, что в настоящее время отсутствует единый подход к оценке достоверности научных доказательств и убедительности рекомендаций при разработке КР профессиональными некоммерческими медицинскими организациями.

Ключевые слова

Доказательная медицина, уровень убедительности результатов, уровень достоверности доказательств, клинические рекомендации. Статья поступила: 29.01.2019 г.; в доработанном виде: 25.02.2019 г.; принята к печати: 27.03.2019 г. Конфликт интересов

Авторы заявляют об отсутствии необходимости раскрытия финансовой поддержки или конфликта интересов в отношении данной публикации. Все авторы сделали эквивалентный вклад в подготовку публикации. Для цитирования

Журавлева Н.И., Шубина Л.С., Сухоруких О.А. Обзор методик оценки достоверности научных доказательств и убедительности рекомендаций, применяемых при разработке клинических рекомендаций в Российской Федерации. ФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология. 2019; 12 (1): 34-41. DOI: 10.17749/2070-4909.2019.12.1.34-41.

The use of the level of evidence and grade of recommendations scales in developing clinical guidelines in the Russian Federation

Zhuravleva N.I.1, Shubina L.C.12, Sukhorukikh O.A.13

1 Center for Healthcare Quality Assessment and Control of the Ministry of Health of the Russian Federation (10-5 Khokhlovskii pereulok, Moscow 109028, Russia)

CO

О CD CO ~ X CO T CO

CQ

О CO

-Ü

Ю

T

о

о x

ГС § Ü &t I- a. £ °

S £

I О i -& CO x CIS

2 Children's Clinic Medsi (Blagoveshchensky Pereulok, 2/16, bld. 1, Moscow 123001, Russia)

3 Research Financial Institution of the Ministry of Finance of the Russian Federation, Federal State Budget Institution (3-2 Nastasyinsky pereulok, Moscow 127006, Russia)

Corresponding author: Natalya I. Zhuravleva, e-mail: juravleva@rosmedex.ru.

Summary

Aim - analyze the existing systems for assessing the levels of evidence (LE-scales) and grades of recommendation (GR-scales) in the development of clinical guidelines in the Russian Federation.

Materials and Methods. We analyzed the LE- and GR-scales that had been used in developing clinical guidelines up to 01.09.2017; the materials were stored in the Federal Electronic Medical Library. The study included several stages: analysis of the clinical guidelines for the presence and type of LE- and GR-scales; comparison of the LE- and GR-scales between various clinical guidelines including the internationally accepted ones; assessment of using the international scales or their combinations in the development of clinical guidelines in Russia. Results. More than 150 various LE- and GR-scales used for clinical recommendations were identified; most of them represented modifications of the international assessment systems. The original SIGN technique was found to be most commonly used.

Conclusion. Based on the results of the study, we concluded that at present, there is no unified approach to the assessment of the levels of evidence and grades of recommendation in clinical guidelines developed by professional medical associations in the Russian Federation.

Key words

Evidence-based medicine, level of evidence, grade of recommendation, clinical guidelines. Received: 29.01.2019; in the revised form: 25.02.2019; accepted: 27.03.2019. Conflict of interests

The authors declare they have nothing to disclosure regarding the funding or conflict of interests with respect to this manuscript. All authors contributed equally to this article.

For citation

Zhuravleva N.I., Shubina L.C., Sukhorukikh O.A. The use of the level of evidence and grade of recommendations scales in developing clinical guidelines in the Russian Federation. Modern Pharmacoeconomics and Pharmacoepidemiology [FARMAKOEKONOMIKA. Sovremennaya farmakoekonomika i farmakoepidemiologiya]. 2019; 12 (1): 34-41 (in Russian). DOI: 10.17749/2070-4909.2019.12.1.34-41.

Доказательная медицина (англ.— evidence-based medicine — медицина, основанная на доказательствах) — подход к медицинской практике, при котором решения о применении профилактических, диагностических и лечебных мероприятий принимаются исходя из имеющихся доказательств их эффективности и безопасности, а такие доказательства подвергаются поиску, сравнению, обобщению и широкому распространению для использования в интересах пациентов (определение дано сообществом Evidence Based Medicine Working Group, 1993). Согласно Декларации о последовательном продвижении принципов доказательной медицины (далее — ДМ): «... компетентность врача определяется не только знанием механизмов заболеваний и клиническим опытом, но также умением оценивать и использовать в практике научную информацию, публикуемую в рецензируемых медицинских изданиях» [1].

Сегодня ученые во всем мире сталкиваются не столько с проблемой поиска необходимой информации, сколько с вопросом качества научных исследований и достоверности их результатов. Так, в своем обзоре Moseley E. T. и соавт. указывают на то, что оценка достоверности результатов и соответствия методологического качества исследований заявленному дизайну не во всех случаях в полной мере может быть проведена только по текстам опубликованных статей исследований [2]. Уже более 5 лет в мировой практике применяются электронные ресурсы, предоставляющие открытый доступ к полным данным исследований, например, ClinicalStudyDataRequest.com. Подобная практика обеспечения доступа к открытым научным данным, возможность широкого общественного обсуждения результатов научных исследований, системы для воспроизведения результатов и перекрестной проверки экспериментов и анализов, а также активное сотрудничество между исследователями в целом, по мнению авторов исследования, положительно влияют на выявление ненадежных исследований.

Глобальное внедрение принципов ДМ продиктовано возрастающей потребностью населения в оказании медицинской помощи с применением наиболее эффективных и безопасных медицинских вмешательств в условиях ограниченного государственного финансирования отрасли здравоохранения во всем мире. При этом, несмотря на возросшее количество научных исследований медицинских вмешательств, при использовании их результатов сохраняется необходимость сочетания критической оценки доказательств с ценностями и предпочтениями пациента посредством совместного принятия решений [3]. Одновременно, по мнению ряда ученых, существуют серьезные ограничения в возможности применения принципов ДМ для оказания помощи пациентам с со-четанными заболеваниями и у лиц пожилого возраста [4].

Начиная с 1980-х гг. разработка клинических рекомендаций (далее — КР) позволила концентрировать результаты научных исследований в виде комплекса четко сформулированных в соответствии с принципами ДМ тезисов по диагностике и лечению определенных нозологий с указанием уровней достоверности доказательств (УДД) и уровнем убедительности рекомендаций (УУР) [5].

В Российской Федерации в настоящее время действует множество профессиональных медицинских сообществ, применяющих различные системы оценки УДД и УУР по аналогии с зарубежной практикой для подтверждения научной обоснованности медицинских вмешательств при разработке КР [5,6]. Кроме того, Министерством здравоохранения Российской Федерации (далее — Минздрав России) сегодня определены требования к оформлению КР для размещения на официальном сайте ведомства, которые стимулируют разработчиков оценивать УДД и УУР каждого тезиса-рекомендации, относящегося к выполнению тех или иных медицинских вмешательств. Подобный подход позволяет выделить медицинские вмешательства, эффективность и безопасность которых подтверждены научными исследованиями высокого методологического качества и высокой степенью надежности получен-

х

к ц

CD ^

О CD

т

CL

CD

CQ

К S X

го со о

со -О

о

к ц

ч о

X

CD

т

ГО ' X

со ■

го ■

X ■

ч I

CD О. .

CD . .

Е

<л о

05

° ю о <?

£ ¿О О I О СП

го

Е ®

го ю s= о

О. -<t

I?

CD

ГО

О CD ГО ~ X

го т го

CQ

О ГО

-й

ю

т ^

о

О х

ГС

§ I

? £ I- О.

£ о

I О i -& ГО х CIS

ФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология. 2019; Том 12, №1

www.pharmacoeconomics.ru

Original articles

Farmaknfiknnnmika

ных результатов, применение которых, в свою очередь, принесет больше пользы, чем вреда пациенту [7,8].

В то же время с учетом того, что в настоящее время отсутствует единая методология оценки УДД и УУР, существуют риски неоднозначных оценок при сравнении клинической эффективности и безопасности нескольких медицинских вмешательств, оцененных с использованием различных методик. Так, например, возникают сложности при оценке двух медицинских вмешательств, рекомендуемых для одной и той же цели разными профессиональными ассоциациями, если для первого определены УДД и УУР, а для второго — только УДД. В наибольшей степени усложняет задачу оценки и сравнения доказательности применение разными профессиональными медицинскими сообществами разных шкал для оценки одних и тех же медицинских вмешательств. Такой подход при оценке методологического качества исследований одинакового дизайна по разным шкалам может приводить к разным результатам определения доказательности тезисов-рекомендаций. Например, одно и то же рандомизированное клиническое исследование (далее — РКИ) при одновременной оценке УДД по шкалам SIGN и GRADE, имеющим разную иерархию дизайнов исследований, будет отнесено к разным уровням доказательности данных [9,10].

Цель — анализ шкал оценки уровней доказательности данных и уровней убедительности результатов (УДД и УУР соответственно), используемых при разработке КР в РФ на 01.09.2017 г.

Материалы и методы / Materials and Methods

Исследование включало следующие этапы:

1. Анализ КР на предмет наличия шкал (ы) оценки УДД и/или УУР и определения их типа.

2. Сопоставительный анализ шкал оценки УДД и/или УУР, представленных в отечественных КР, со шкалами оценки УДД и УУР, наиболее часто применяющимися при разработке зарубежных КР.

3. Определение частоты использования зарубежных шкал или их комбинаций при разработке КР в РФ. В связи с отсутствием строго определенного понятия клинических рекомендаций для анализа были использованы все документы, размещенные на 01.09.2017 г. в разделе «Клинические рекомендации (протоколы лечения) », в котором до 2017 г. размещались клинические рекомендации, представляемые в Минздрав России в инициативном порядке, Федеральной электронной медицинской библиотеки (далее — ФЭМБ), в т.ч. по вопросам оказания медицинской помощи на отдельном этапе или по технике выполнения медицинского вмешательства.

При определении типа используемой шкалы к шкалам оценки УДД были отнесены все шкалы или перечни, дифференцирующие научные исследования в соответствии с заявленным дизайном (мета-анализы, рандомизированные контролируемые испытания, когортные исследования и т.д.).

К шкалам оценки УУР были отнесены все шкалы или перечни, включающие как в сочетаниях, так и по отдельности следующие критерии оценки рекомендаций:

- строгость (обязательность) выполнения рекомендации;

- степень доверия (доказанности) положениям рекомендации;

- соотношение польза/вред от выполнения рекомендуемого вмешательства.

Важно отметить, что в КР для обозначения шкал и методов оценки УДД и УУР разработчики используют различную терминологию, например, для указания УДД используются такие формулировки, как «уровень оценки достоверности доказательств», «уровень доказательности», «класс доказательств», «категория доказатель-ности», а для УУР применялись такие формулировки, как «сила рекомендаций», «степени силы рекомендаций», «класс рекомендаций», «степень рекомендаций», «категория рекомендаций». Подобные различия в описании методики оценки, не влияющие на результат оценки

(например, контекстный перевод слов без искажения смысла термина), считались незначительными и не учитывались при анализе.

Для исследования были отобраны следующие зарубежные шкалы оценки УДД и УУР, наиболее часто применяющиеся при разработке КР:

1. SIGN (англ.— Scottish Intercollegiate Guidelines Network Levels of Evidence and Grades of Recommendations) [11]. Данная шкала предусматривает оценку УДД от 1 до 4 на основании иерархии дизайнов исследований. УУР имеет градации A, B, C, D, отражающие степень достижения клинического эффекта.

2. OCEBM (англ.— Oxford Centre for Evidence-Based Medicine Levels of Evidence) [12]. Данная шкала предусматривает оценку только УДД от 1 до 5 на основании иерархии дизайнов исследований и не предусматривает отдельную оценку УУР.

3. GRADE (англ.— Grading of Recommendations Assessment, Development and Evaluation) [13]. Шкала предусматривает оценку УДД для каждого исхода по четырем категориям от высокого до очень низкого. В данной шкале наивысшую категорию имеют РКИ и не оцениваются систематические обзоры и мета-анализы. УУР присваивается экспертной группой по двум градациям (сильная или слабая рекомендация) в зависимости от соотношения преимуществ и недостатков медицинского вмешательства.

4. AHCPR (англ.—Agency for Health Care Policy and Research) /AHRQ (англ.— Agency for Health Care Research and Quality) [14]. Данная шкала предусматривает оценку УДД от 1 до 5 на основании иерархии дизайнов исследований. УУР имеет градации А-Е в зависимости от силы рекомендаций.

5. NHMRC (англ.— National Health and Medical Research Council levels of evidence and grades for recommendations for developers of guidelines) [15]. УДД как такового не существует, оцениваются отдельные параметры каждого исследования. УУР имеет градации A, B, C, D, которые определяются суммированием результатов отдельных параметров оценки.

6. NCCN (англ.— National Comprehensive Cancer Network Categories of Evidence and Consensus and Categories of Preference) [16]. По шкале оценивается только итоговый УУР, при определении которого учитываются качество исследований в соответствии с иерархией дизайнов, их количественные показатели и согласованность результатов. В соответствии с полученными данными присваивается категория от 1 до 3.

Результаты / Results

Анализ КР на предмет наличия шкал (ы) оценки УДД и/или УУР и определения их типа

По состоянию на 01.09.2017 г. в ФЭМБ было размещено 1202 КР. Полнотекстовые варианты двух КР не были доступны, в связи с чем данные КР были исключены из исследования.

По результатам оценки 1200 КР выявлено, что в 305 КР (25,4% от общего количества КР) шкалы оценки УДД и УУР не представлены, в связи с чем было сделано предположение, что при разработке таких КР оценка результатов научных исследований не проводилась, и их разработка не осуществлялась в соответствии с принципами доказательной медицины. Сводные результаты оценки наличия шкал представлены на рисунке 1.

Сопоставительный анализ представленных шкал оценки УДД и/или УУР

В процессе систематизации данных определено 156 различных вариантов шкал оценки УУД и УУР.

В рамках сопоставительного анализа большая часть шкал была идентифицирована, выявлено, что более чем в 270 КР шкалы оценки УДД и УУР модифицированы — отдельные критерии или уровни оценки исключены, изменены или расширены:

• AHCPR:

X

к ц

CD

S ^

О CD

т

Œ

CD

ей

CK s X

со

CQ О СО -О

О

к ц

Ч

CD

X

CD

Т

СО '

X

со ■

со ■

X ■

ч I

CD О. .

CD . .

Е

<л о

05

° ю о <?

£ Й

О I

О СП

СО -"fr

Е ®

со ю s= о

О. -t

I?

CD

СО

8 S

О CD СО ~ X

со т со

CQ

О СО

g

-Û

ю

т ^

о

О X ГС

§ É ? s

I- О.

Ï °

s ^ ? o

i -&

СО X

CIS

Тип шкалы

УДД+УУР

УДД

УУР

Нет

Всего

762 63,50%

57 4,75%

305 25,42%

1200 100%

0 100 200 300 400 500 600 700 800 900 1000 1100 1200 1300

Количество КР

Рисунок 1. Виды клинических рекомендаций (КР) по представленным в них шкалам уровней достоверности доказательств (УДД) и уровней убедительности результатов (УУР).

Figure 1. Representativeness of ЬБ-(УДД) and GR-(yyP) scales in clinical recommendations.

Шкала УДД AHCPR

AHCPR+NHMRC

AHCPR+SIGN

GRADE

NHMRC

OCEBM

SIGN

Не идентиф.

Нет

Всего

182 20,34%

3

0,34% 6

0,67% 7

0,78%

125 2,79%

5

0,56%

469 52,40%

141

15,75%

57 6,37%

895 100%

0 50 100 150 200 250 300 350 400 450 500 550 600 650 700 750 800 850 900 950 1000

Количество КР

Рисунок 2. Результаты соотнесения шкал уровней достоверности доказательств (УДД) в клинических рекомендациях (КР). Figure 2. Representativeness of various ЬБ-(УДД) scales in clinical recommendations.

X К

CD

S ^

О CD T Œ CD

CQ

CK S X

го

CQ О CO -О

О

к ц

ч

CD

X

CD

T

ГО '

X

со ■

го ■

X ■

ч I

CD О. .

CD . .

Е

<л о

05

° ю о <?

£ й

О I

О СП

ГО -"t

Е ®

го ю s= о

О. -¡t

I?

CD

ГО

8 §

О CD

ГО ~ X

го т го

CQ

О ГО

-Û

ю

т ^

о

О X ГС

§ и

? S

I- О.

Ï о

S s.

I °

i е

ГО х CIS

FARMAKOEKONOMIKA. Modern Pharmacoeconomics and Pharmacoepidemiology. 2019; Vol. 12 (1)

www.pharmacoeconomics.ru

Шкала УУР AHCPR

GRADE

NCCN

OCEBM

52 5,81%

55 6,15%

11

1,23%

7

0,78%

SIGN

Не идентиф.

Нет

513

57,32%

181

20,22%

76

¡,49%

Всего

895 100%

0 50 100 150 200 250 300 350 400 450 500 550 600 650 700 750 800 850 900 950

Количество КР

Рисунок 3. Результаты соотнесения шкал уровней убедительности результатов (УУР) в клинических рекомендациях (КР). Figure 3. Representativeness of various GR-СУУР) scales in clinical recommendations.

- шкала оценки УДД модифицирована в 94,5% случаев,

- шкала оценки УУР — в 100% случаев;

• GRADE:

- шкала оценки УДД модифицирована в 71,4% случаев,

- шкала оценки УУР — в 96,4% случаев;

• NCCN:

- для оценки УДД не применялась,

- шкала оценки УУР — в 9,1% случаев;

• NHMRC:

- шкала оценки УДД модифицирована в 100% случаев,

- для оценки УУР не применялась;

• OCEBM:

- шкала оценки УДД модифицирована в 60,0% случаев,

- шкала оценки УУР — в 100% случаев;

• SIGN:

- шкала оценки УДД модифицирована в 4,3% случаев,

- шкала оценки УУР — в 13,8% случаев.

Нами было сделано допущение, что такие модификации, в том числе некорректность перевода, не влияют на соблюдение исходной методологии оценки УДД и УУР по шкалам, такие шкалы в рамках данного исследования были отнесены к оригинальным.

Анализ групп КР в зависимости от использованных шкал и их комбинаций

По результатам сопоставительного анализа выявлено, что наиболее часто разработчики КР для оценки достоверности доказательств используют шкалу SIGN — в 499 КР (52,4% от числа КР со шкалой оценки УДД), при этом необходимо отметить, что в 141 КР шкалы не соотносились с включенными в анализ зарубежными шкалами (рис. 2).

Важно отметить, что для оценки УДД разработчиками в т.ч. применялась шкала NHMRC (ее модификации), хотя методология оценки по ней не включает оценку достоверности доказательств,

а в отдельных случаях использовали комбинацию из разных шкал — AHCPR+ NHMRC, AHCPR+ SIGN.

По результатам сопоставительного анализа представленных шкал УУР выявлено, что, как и для оценки УДД, разработчики КР наиболее часто используют шкалу SIGN — в 513 КР (57,3% от числа КР со шкалой оценки УУР), при этом необходимо отметить, что в 181 КР шкалы не соотносились с включенными в анализ зарубежными шкалами (рис. 3).

Для оценки УУР разработчики также используют в отдельных случаях шкалу OCEBM (ее модификации), хотя исходная методология оценки по ней не включает оценку убедительности рекомендаций.

По результатам проведенного сопоставительного анализа шкал УДД и УРР выявлено, что в 38,2% случаев разработчиками при разработке КР были введены комбинации различных шкал УДД и УУР, что девальвирует применение шкал оценки УДД и УУР (рис. 4).

Таким образом, наиболее часто используемой шкалой при разработке КР в РФ является шкала SIGN. Необходимо отметить, что также SIGN значительно чаще других шкал была представлена в КР без модификаций. Стоит отметить, что в качестве инструмента оценки как УДД, так и УУР оригинальная методика SIGN широко применялась в КР по целому ряду направлений медицинской помощи (табл. 1).

Обсуждение/Discussion

При разработке большинства КР разработчики используют шкалы оценки УДД и/или УУР, что соответствует международным подходам к разработке КР в соответствии с принципами ДМ. При этом большое число различных методик оценки достоверности научных доказательств и убедительности рекомендаций позволяет сделать однозначный вывод об отсутствии единого подхода к их оценке при разработке КР профессиональными некоммерческими медицинскими организациями в РФ.

х

к ц

CD

S ^

О CD

т

Œ

CD

ей

CK s X

го са о со .о

о

CK

ц ч

CD X

CD

т

ГО ' X

со ■

го ■

X ■

ч I

CD О. .

CD . .

Е

<л о

05

° ю о <?

£ Й

О I

О СП

ГО -"t

Е ®

го ю s= ел

О. -¡t

I*

CD

ГО

8 g CD CD ГО ~ X ГО

т го

CQ

О ГО

-Û

ю

т ^

о

CD X ГС

§ Ü

? s

I- О.

ï CD

s ^

I О i -& ГО x CIS

Шкала УДД

Шкала УУР

AHCPR AHCPR 52

GRADE ■ 11

OCEBM

SIGN ш 40

Не идентиф. Н52

Нет ■ 23

AHCPR+NHMRC Нет

AHCPR+SIGN SIGN

Нет 15

GRADE GRADE 17

NHMRC GRADE

SIGN ■ 24

OCEBM OCEBM

Нет 2

SIGN SIGN ■ 446

Не идентиф. 16

Нет ■ 17

Не идентиф. GRADE

Не идентиф. 114

Нет ■ 26

Нет GRADE ■ 35

NCCN 111

SIGN 2

Не идентиф. 1

Всего 37 516 342

Данных недостаточно

100 200 300

| Методология соблюдена

400 500 600 Количество КР

700 800 900 Методология не соблюдена

Рисунок 4. Комбинации шкал уровней достоверности доказательств (УДД) и уровней убедительности результатов (УУР) в клинических рекомендациях (КР), соблюдение методологий оценки УДД и УУР по шкалам КР.

Figure 4. Combinations of LE-(УДД) and GR-СУУР) scales in clinical recommendations (КР), adherence to the methodology for LE and GR assessment in КР scales.

Также считаем необходимым отметить высокую частоту нарушения исходной методологии оценки УДД и УУР, в т.ч. через модификации исходных шкал, комбинирования различных методик. Несмотря на то, что в рамках данной работы ошибки пе-

ревода и неточности не были расценены как нарушение методологии, такие искажения не могут не влиять на принятие решений разработчиками и формирование итогового документа. Оценка валидизации в РФ модифицированных или допол-

Таблица 1. Топ-10 медицинских направлений по частоте указания в клинических рекомендациях (КР) оригинальной SIGN для оценки уровней достоверности доказательств и уровней убедительности результатов.

Table 1. Top 10 medical fields recommending the use of the original SIGN method for assessing the LE and GR parameters in clinical recommendations (КР).

№ Направление медицинской помощи / Field of medical care Количество КР с применением «SIGN» / Number of КР using the SIGN Доля от общего числа КР по направлению / Percent of the total number of КР per field, % Иные применяемые шкалы в КР по направлению / Other scales used in КР

1 Скорая помощь / Emergency medicine 99 95,2 AHCPR, нераспознанные / not identified

2 Травматология и ортопедия / Trauma and Orthopedics 65 58,0 AHCPR, нераспознанные / not identified

3 Дерматовенерология / Dermatology and STD 59 100,0 -

4 Инфекционные болезни у детей / Children infections 44 100,0 -

5 Педиатрия / Pediatrics 27 24,1 AHCPR, GRADE , NHMRC, OCEBM нераспознанные / not identified

6 Анестезиология-реаниматология / Anesthesiology, Reanimatology 24 77,4 AHCPR, нераспознанные / not identified

7 Инфекционные болезни / Infectious diseases 22 95,7 GRADE

8 Челюстно-лицевая хирургия / Maxial facial surgery 17 100,0 -

9 Эпидемиология / Epidemiology 16 94,1 -

10 Фтизиатрия / Phthisiology 10 100,0 -

X К

CD

S ^

О CD T CL CD

CQ

к s

X

CO CQ О CO -O

О

к ц

ч

CD X

CD

т

CO ' X

со ■

со ■

X ■

ч I

CD О. .

CD . .

Е

<л о

05

° ю о <?

£ ¿О

О I

О СП

СО -"fr

Е ®

со ю s= ел

О. -¡Г

i?

CD

со

I -

CD CD

СО ^

X CQ

? -

® £

т ^

о

CD

СО Ц

_й

ю s

-О I-

со

CD X ГС

1 |

? £

I- О.

£ о

I °

i е

со х CIS

ФАРМАКОЭКОНОМИКА. Современная фармакоэкономика и фармакоэпидемиология. 2019; Том 12, №1

www.pharmacoeconomics.ru

0

Original articles

Farmaknfiknnnmika

ненных методик в данной работе не проводилась, тем не менее, практическая целесообразность применения столь широкого спектра разновидностей и модификаций шкал оценки УДД и УУР — 156 вариантов — вызывает сомнения.

Большое число применяемых методик делает процесс оценки медицинских технологий непрозрачным и даже ошибочным как на этапе формирования КР, так и при последующем принятии решений медицинскими работниками и организаторами здравоохранения.

Для решения данной проблемы целесообразным является переход к единой системе оценки доказательств в КР c целью унификации требований к их разработке и единообразной трактовке рекомендаций практикующими врачами [7]. Это позволит оптимизировать процесс выбора практикующими врачами оптимального клинического решения, а также систематизировать обобщенные результаты научных исследований, рекомендуемых научным сообществом для применения в повседневной клинической практике.

Наиболее часто применяемыми являются шкалы оценки SIGN c сохранением исходной методологии. Высокая частота использования оригинальной методики SIGN, вероятно, связана с тем, что она оказалась для разработчиков оптимальной с точки зрения удобства практического применения и формулировки критериев оценки УДД и УУР. По этой причине продвижение данной методики среди всех заинтересованных в разработке КР лиц в РФ выглядит обоснованным, однако необходимо обратить внимание на то, что в 2009 г. ассоциация SIGN решение об использовании основных принципов методологии GRADE для определения УДД и УУР [18]. В соответствии с данными принципами сила рекомендаций и качество научных доказательств устанавливается на основании критериев рабочей группы GRADE.

Литература:

1. Бащинский С.Е., Власов В. В., Воробьев К. П., Зильбер А. П., Зорин Н. А., Ван Зуурен Э., Климова Т. М. Ереванская декларация о последовательном продвижении принципов доказательной медицины. Пластическая хирургия и косметология. М. 2013; 1: 4951.

2. Moseley E.T., Hsu D. J., Stone D. J., Celi L. A. Beyond Open Big Data: Addressing Unreliable Research. Eysenbach G., ed. Journal of Medical Internet Research. 2014; 16 (11): e259.

3. Djulbegovic B., Guyatt G. H. Progress in evidence-based medicine: a quarter century on. Lancet. 2017; 390: 415-423.

4. Marjolein A. van der Marck, René J. F. Melis, Marcel G. M. Olde Rikkert. On evidence-based medicine The Lancet Journal. 2017; 390 (18, ISSUE 10109): 2244-2245.

5. Андреева Н. С. и др. Системы оценки достоверности научных доказательств и убедительности рекомендаций: сравнительная характеристика и перспективы унификации. Медицинские технологии. Оценка и выбор. 2012; 4 (10): 10-24.

6. OCEBM Levels of Evidence. [Электронный ресурс]. URL: http:// www.cebm.net/ocebm-levels-of-evidence. Дата обращения: 26.01.2019.

7. Проект Методических рекомендаций по разработке и актуализации клинических рекомендаций (версия 1.1). [Электронный ресурс]. URL: https://rosmedex.ru/wp-content/uploads/2017/09/ Trebovaniya-k-KR.pdf. Дата обращения: 26.01.2019.

8. Омельяновский В.В., Авксентьева М. В., Железнякова И. А., Сухоруких О. А., Хачатрян Г. Р., Галеева Ж. А., Власов В. В., Лукьян-цева Д. В., Федяева В. К., Рыков М. Ю. Клинические рекомендации как инструмент повышения качества медицинской помощи. Онко-педиатрия. 2017; 4 (4): 246-259.

9. Juni P., et al. The hazards of scoring the quality of clinical trials for meta-analysis. AMA. 1999 Sep 15; 282 (11): 1054-1060.

В то же время некоторые исследователи отмечают сложность практического использования шкалы GRADE по сравнению со шкалой SIGN [5,19]. В систематическом обзоре систем оценки качества медицинских вмешательств (2013) отмечается незначительное преимущество шкалы Grade по сравнению со шкалой SIGN при оценке методологических характеристик различных шкал. В то же время при оценке процессных характеристик различных шкал SIGN имеет значительные преимущества по сравнению со шкалой Grade [19].

Ограничения исследования

Необходимо отметить, что сопоставительный анализ шкал был проведен только с зарубежными шкалами оценки УДД и УУР, так как на момент сбора и обработки данных сведений о разработке таких шкал в РФ найдено не было. Также в рамках данной работы не проводилась оценка соблюдения методологии при разработке КР указанными разработчиками шкал и определенных разработчиками уровней.

Заключение / Conclusion

Впервые был проведен анализ использования шкал оценки УУР и УДД в РФ, который выявил отсутствие единого подхода для определения доказательности КР. Это приводит к противоречивым оценкам безопасности и эффективности медицинских вмешательств. Данные противоречия и количество применяемых в РФ методик оценки УДД и УУР позволяют сделать вывод об отсутствии «идеальной» системы оценки, переход на которую для всех разработчиков был бы быстрым и безболезненным, однако, на наш взгляд, именно принципы комфортного и относительно простого перехода должны быть взяты за основу при внедрении единой системы оценки научных доказательств.

10. Scheunemann H., Brozek J., Guyatt G., Oxman A. Grade handbook for grading quality of evidence and strength of recommendation, 2010.

11. SIGN 50: A guideline developer's handbook Quick reference guide November 2015. [Электронный ресурс]. URL: https://www. sign.ac.uk/assets/sign_grading_system_1999_2012.pdf. Дата обращения: 26.01.2019.

12. OCEBM Levels of Evidence Working Group «The Oxford 2011 Levels of Evidence» Oxford Centre for Evidence-Based Medicine. [Электронный ресурс]. URL: http://www.cebm.net/index. aspx?o=5653. Дата обращения: 26.01.2019.

13. Guyatt G. H., Oxman A. D., Kunz R., Falck-Ytter Y., Vist G. E, Liberati A., et al. Going from evidence to recommendations. BMJ. 2008; 336: 1049.

14. The NCBI Handbook, 2nd Edition. [Электронный ресурс]. URL: https://www.ncbi.nlm.nih.gov/books/NBK20542/table/ A5857/?report=objectonly. Дата обращения: 26.01.2019.

15. NHMRC levels of evidence and grade of recommendations. 2009. [Электронный ресурс]. URL: https://www.mja.com.au/sites/ default/files/NHMRC.levels.of.evidence.2008-09.pdf. Дата обращения: 26.01.2019.

16. NCCN Categories of Evidence and Consensus. [Электронный ресурс]. URL: https://www.nccn.org/professionals/physician_gls/ categories_of_consensus.aspx. Дата обращения: 26.01.2019.

17. Проект методических рекомендаций по оценке достоверности доказательств и убедительности рекомендаций (версия 1.1). [Электронный ресурс]. URL: https://rosmedex.ru/wp-content/uploads/2018/05/ MR-po-shkalam_v1.pdf. Дата обращения: 26.01.2019.

18. Applying the GRADE methodology to SIGN guidelines: core principles. [Электронный ресурс]. URL: http://www.sign.ac.uk/pdf/ gradeprinciples.pdf. Дата обращения: 26.01.2019.

x

к ц

CD

S ^

О CD

т

Œ

CD

CQ

ГС S X СО CQ О СО _Q

О

ГС

ц

ч о

X

CD

т

СО ' X

со ■

со ■

X ■

ч I

CD О. .

CD . .

Е

<л о

05

° ю о <?

£ й

О I

О СП

СО -"fr

Е ®

со ю s= en

О. -t

I?

CD

СО

8 S

О CD СО ~ X

со т со

CQ

О СО

g

-Û

ю

т ^

о

О х

ГС § É

? s

I- О.

Ï °

s ^ ? о

i -& со x CIS

19. Guidelines for guideline developers: a systematic review of grading systems for medical tests Gopalakrishna et al. Implementation Science 2013, 8: 78. [Электронный ресурс^Яи http://www.

References:

1. Bashchinskii S. E., Vlasov V. V., Vorob'ev K. P., Zil'ber A. P., Zorin N. A., Van Zuuren Ester, Klimova T. M. Yerevan Declaration on the consistent promotion of the principles of evidence-based medicine. Plasticheskaya khirurgiya i kosmetologiya. Moscow. 2013; 1: 49-51. (in Russ.).

2. Moseley E.T., Hsu D. J., Stone D. J., Celi L. A. Beyond Open Big Data: Addressing Unreliable Research. Eysenbach G., ed. Journal of Medical Internet Research. 2014; 16 (11): e259.

3. Djulbegovic B., Guyatt G. H. Progress in evidence-based medicine: a quarter century on. Lancet. 2017; 390: 415-423.

4. Marjolein A. van der Marck, René J. F. Melis, Marcel G. M. Olde Rikkert. On evidence-based medicine. The Lancet Journal. 2017; 390 (18, ISSUE 10109): 2244-2245.

5. Andreeva N. S. et. al. Systems for assessing the reliability of scientific evidence and the soundness of guidelines: comparison and prospects for unificatio. Meditsinskie tekhnologii. Otsenka i vybor. 2012; 4 (10): 10-24. (in Russ.).

6. Draft Guidelines for the development and updating of clinical guidelines (version 1.1). (in Russ.). [Electronic resource]. URL: https:// rosmedex.ru/wp-content/uploads/2017/09/Trebovaniya-k-KR.pdf. Accessed: 26.01.2019.

7. Omeljanovskij V.V., Avksent'eva M.V., Zhelezniakova I. A., Sukhorukih O. A., Hachatrian G. R., Galeeva Z. A., Vlasov V. V., Lukjanceva D. V., Fediaeva V. K., Rykov M. Y. Clinical Guidelines as a Tool for Improving the Quality of Medical Care Delivery. Oncopediatrics. 2017; 4 (4): 246-259. (In Russ.). https://doi.org/10.15690/onco. v4i4.1811.

8. OCEBM Levels of Evidence. [Electronic resource]. URL: http:// www.cebm.net/ocebm-levels-of-evidence. Accessed: 26.01.2019.

9. Juni P., et al. The hazards of scoring the quality of clinical trials for meta-analysis. AMA. 1999 Sep 15; 282 (11): 1054-1060.

10. Scheunemann H., Brozek J., Guyatt G., Oxman A. Grade handbook for grading quality of evidence and strength of recommendation, 2010.

implementationscience.com/content/8/1/78. 26.01.2019.

Дата обращения:

11. SIGN 50: A guideline developer's handbook Quick reference guide November 2015. [Electronic resource]. URL: https://www.sign. ac.uk/assets/sign_grading_system_1999_2012.pdf. Accessed: 26.01.2019.

12. OCEBM Levels of Evidence Working Group «The Oxford 2011 Levels of Evidence» Oxford Centre for Evidence-Based Medicine. [Electronic resource]. URL: http://www.cebm.net/index.aspx?o=5653. Accessed: 26.01.2019.

13. Guyatt G. H., Oxman A. D., Kunz R., Falck-Ytter Y., Vist G. E., Liberati A., et al. Going from evidence to recommendations. BMJ. 2008; 336: 1049.

14. The NCBI Handbook, 2nd Edition. [Electronic resource]. URL: https:// www.ncbi.nlm.nih.gov/books/NBK20542/table/A5857/?report=objectonly. Accessed: 26.01.2019.

15. NHMRC levels of evidence and grade of recommendations. 2009. [Electronic resource]. URL: https://www.mja.com.au/sites/ default/files/NHMRC.levels.of.evidence.2008-09.pdf. Accessed: 26.01.2019.

16. NCCN Categories of Evidence and Consensus. [Electronic resource]. URL: https://www.nccn.org/professionals/physician_gls/ categories_of_consensus.aspx. Accessed: 26.01.2019.

17. Draft guidelines for assessing the reliability of evidence and credibility of recommendations (version 1.1). (In Russ.). [Electronic resource]. URL: https://rosmedex.ru/wp-content/uploads/2018/05/ MR-po-shkalam_v1.pdf. Accessed: 26.01.2019.

18. Applying the GRADE methodology to SIGN guidelines: core principles. [Electronic resource]. URL: http://www.sign.ac.uk/pdf/ gradeprinciples.pdf. Accessed: 26.01.2019.

19. Guidelines for guideline developers: a systematic review of grading systems for medical tests Gopalakrishna et al. Implementation Science 2013, 8: 78. [Electronic resource]. URL: http://www. implementationscience.com/content/8/1/78. Accessed: 26.01.2019.

Сведения об авторах:

Журавлева Наталья Ивановна - главный специалист отдела медицинского обеспечения стандартизации, ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Минздрава России. ORCID ID: 0000-0002-4684-3092. E-mail: juravleva@rosmedex.ru.

Шубина Любовь Сергеевна - ведущий специалист отдела медицинского обеспечения стандартизации ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Минздрава России; физиотерапевт, Детская клиника МЕДСИ в Благовещенском переулке. SCOPUS Author ID: 57201487715.

Сухоруких Ольга Александровна - начальник отдела медицинского обеспечения стандартизации ФГБУ «Центр экспертизы и контроля качества медицинской помощи» Минздрава России, лаборант-исследователь Центра финансов здравоохранения НИФИ Минздрава России. ORCID ID: 0000-00016681-5200; SCOPUS Author ID: 57201486113.

About the authors:

Natalya I. Zhuravleva - Chief Specialist, Department of Medical Support of Standardization, Center for Healthcare Quality Assessment and Control, Ministry of Health of the Russian Federation. ORCID ID: 0000-0002-4684-3092. E-mail: juravleva@rosmedex.ru.

LyubovS. Shubina - Leading Specialist, Department of Medical Support ofr Standardization, Center for Healthcare Quality Assessment and Control, Ministry of Health of the Russian Federation; Physiotherapist, MEDSI Children's Clinic in Blagoveshchensky Lane. SCOPUS Author ID: 57201487715.

Olga A. Sukhorukikh - Head, Department of Medical Support of Standardization, Center for Healthcare Quality Assessment and Control, Ministry of Health of the Russian Federation; Researcher with the Healthcare Finance Center at the Research Financial Institute, Ministry of Finance of the Russian Federation. ORCID ID: 0000-0001-6681-5200; SCOPUS Author ID: 57201486113.

X

rc ц

CD

S ^

О CD T Œ CD

CQ

CK S X CO CQ О CO .0

О

CK

ц ч

CD

X

CD

T

CO '

X

со ■

со ■

X ■

ч I

CD О. .

CD . .

E

<л о

05

° ю о <?

£ й

О I

О СП

СО -"fr

E ®

со ю s= сп

О. -t

I?

CD

СО

8 S

CD CD СО ~ X

со

T

со

CQ

О СО

g

-Q

ю

T

о

CD X ГС

§ Ü

&t

? s

I- О.

ï CD

s ^

i -& со x CIS

FARMAKOEKONOMIKA. Modern Pharmacoeconomics and Pharmacoepidemiology. 2019; Vol. 12 (1)

www.pharmacoeconomics.ru