CC BY
33ЭКСПЕРТИЗА РЕКОМЕНДАЦИЙ В АНЕСТЕЗИОЛОГИИ И ИНТЕНСИВНОЙ ТЕРАПИИ
EXPERTISE OF GUIDELINES IN ANESTHESIOLOGY AND INTENSIVE CARE
Технологии консенсуса при анализе рекомендаций: международный опыт применения метода Дельфи в анестезиологии и интенсивной терапии. Систематический обзор
Consensus technologies in the analysis of guidelines: international experience of application of Delphi method in anesthesiology and intensive care. Systematic review
И.Б. Заболотских1, С.В. Григорьев1, А.А. Белкин2, Р.Е. Лахин3
I.B. Zabolotskikh1, S.V. Grigoryev1, A.A. Belkin2, R.E. Lakhin3
о
л
<
I—
<
и
<
s л
IZ
<
О л
m S U Л
ш I—
л
s
S Л I—
и
1 ФГБОУВО КубГМУ Минздрава России, Краснодар, Россия
2 ФГБОУ ВО Уральский государственный медицинский университет Минздрава России, Екатеринбург, Россия
3 ФГБВОУ ВО Военно-медицинская академия имени
С.М. Кирова Министерства обороны Российской Федерации, Санкт-Петербург, Россия
1 Kuban State Medical University, Krasnodar, Russia
2 Ural State Medical University, Yekaterinburg, Russia
3 S.M. Kirov Military Medical Academy, St. Petersburg, Russia
Abstract
Introduction. To perform research aimed at solving problems, checking existing and formulating new hypotheses, making decisions or judging on any problem, the Delphi method and its modifications are often used. In recent years, the use of this method in research in various fields of medicine is gaining popularity; nevertheless, the technique is rarely used in domestic practice.
Objectives. To describe the features of the application of the Delphi method in the expert assessment of recommendations and to evaluate its application in anesthesia and intensive care.
Materials and methods. The publications were searched in the electronic databases PubMed and RSCI. Date of last search query is January 15, 2021. The search was carried out using the keywords "clinical practice", "anesthesia intensive care guidelines", "clinical practice guidelines", "anesthesia intensive care guidelines", "Delphi method".
Results. This review describes the principles of the Delphi method, its advantages and limitations, provides examples of its use in clinical trials and in the analysis and development of recommendations in relation to anesthesiology and intensive care. The example of the analysis of recommendations shows the implementation of the quality assessment of the provisions being developed.
Данная статья распространяется на условиях «открытого доступа», в соответствии с лицензией CC BY-NC-SA 4.0 («Attribution-NonCommercial-ShareAlike» / «Атрибуция-Некоммерчески-СохранениеУсловий» 4.0), которая разрешает неограниченное некоммерческое использование, распространение и воспроизведение на любом носителе при условии указания автора и источника. Чтобы ознакомиться с полными условиями данной лицензии на русском языке, посетите сайт: https://creativecommons.org/licenses/by-nc-sa/4.0/deed.ru
Реферат
Актуальность. Для выполнения исследований, направленных на решение проблем, проверку имеющихся и формулирование новых гипотез, принятие решения или суждения по какой-либо проблеме, часто применяют метод Дельфи и его модификации. В последние годы применение этого метода в исследованиях в разных областях медицины набирает популярность, тем не менее при анализе российских рекомендательных медицинских документов методика практически не применяется.
Цель систематического обзора. Описать особенности применения метода Дельфи в экспертной оценке рекомендаций и оценить его применение в анестезиологии и интенсивной терапии.
Материалы и методы. Поиск публикаций производился в электронных базах данных PubMed и Российского индекса научного цитирования. Дата последнего поискового запроса 15 января 2021 г. Поиск проводили по ключевым словам «clinical practice», «anesthesia intensive care guidelines», «clinical practice guidelines», «anesthesia intensive care guidelines», «Delphi method», «метод Дель-фи».
Результаты. В данном обзоре описаны принципы применения метода Дельфи, его достоинства и ограничения, приведены примеры его применения в клинических исследованиях и при анализе и разработке рекомендаций применительно к анестезиологии-реаниматологии и интенсивной терапии. На примере анализа рекомендаций показана реализация оценки качества разрабатываемых положений.
Заключение. Дельфийский анализ может быть применен для оценки адекватности и эффективности предлагаемых в рамках рекомендаций методов диагностики и лечения.
Ключевые слова: метод Дельфи, метод принятия решений, медицина, анестезиология, интенсивная терапия, реаниматология, технологии консенсуса
u Для корреспонденции: Заболотских Игорь Борисович — д-р мед. наук, профессор, заведующий кафедрой анестезиологии, реаниматологии и трансфузиологии ФПК и ППС ФГБОУ ВО КубГМУ МЗ РФ, Краснодар, Россия; e-mail: pobeda_zib@mail.ru
В' Для цитирования: И.Б. Заболотских, С.В. Григорьев, А.А. Белкин, Р.Е. Лахин. Технологии консенсуса при анализе рекомендаций: международный опыт применения метода Дельфи в анестезиологии и интенсивной терапии. Систематический обзор. Вестник интенсивной терапии им. А.И. Салтанова. 2021;1:90-106. DOI: 10.21320/1818-474X-2021-1-90-106
О Поступила: 12.10.2020 В Принята к печати: 05.03.2021
Введение
Многообразие расстройств здоровья, различных заболеваний и патологических состояний побуждает исследователей разрабатывать новые, более точные, безопасные, быстрые, надежные и эффективные подходы к диагностике и лечению этих заболеваний. Широко применяются как традиционные, так и новые, современные подходы. Сложным вопросом является выбор наилучших стратегий и тактик и их утверждение на законодательном и распорядительных уровнях. В идеале такой выбор должен быть основан на широкомасштабных доказательных исследованиях, но такой подход на практике возможен в очень ограниченных областях медицины. Не всегда «надежные» методы являются эффективными, так же как некоторые эффективные методы диагностики и терапии не получают достаточного уровня доказательности. Бывает трудно разработать стратегию диагностики и терапии, которая бы устраивала всех участников процесса лечения.
Conclusions. The Delphi method can be used to assess the adequacy and effectiveness of the diagnostic and treatment methods proposed in the framework of the recommendations.
Keywords: Delphi Studies, Delphi method, Medical
Decision-Making, medicine, anesthesiology, intensive care, resuscitation, Consensus development methods
u For correspondence: Igor B. Zabolotskikh — Dr. Med. Sci., professor, head of Department of Anesthesiology, Intensive Care and Transfusiology, Kuban State Medical University; Krasnodar; Russia; e-mail: pobeda_zib@mail.ru
B For citation: I.B. Zabolotskikh, S.V. Grigoryev, A.A. Belkin, R.E. Lakh in. Consensus technologies in the analysis of guidelines: international experience of application of Delphi method in anesthesiology and intensive care. Systematic review. Annals of Critical Care. 2021;1:90-106. DOI: 10.21320/1818-474X-2021-1-90-106
O Received: 12.10.2020 B Accepted: 05.03.2021
При анализе базы данных PubMed запрос «clinical practice guidelines» обнаружил 155 927 ссылок на публикации, посвященные руководствам (англ. guidelines), при этом области анестезиологии и интенсивной терапии (запрос «anesthesia intensive care guidelines») посвящено 2805 публикаций.
В такой ситуации появляется необходимость в достижении единого мнения о важности применения определенных диагностических и лечебных схем. В последнее десятилетие остро встает вопрос об экспертизе качества таких руководств. Разработанные ранее и начавшие широко внедряться в последнее время методы экспертизы позволяют оценивать как руководство в целом, так и экспертизу конкретных отдельных положений (тезис-рекомендаций) такого руководства. Экспертиза основывается на достижении консенсусно-го мнения экспертов по применимости и адекватности конкретного положения. Так как индивидуальные мнения экспертов могут сильно разниться, важным является применение формальных методов принятия обобщенной оценки.
DOI: 10.21320/1818-474X-2021-1-90-106
Аргументы в пользу использования формальных методов выработки консенсусного мнения основаны на ряде преимуществ:
■ безопасность в количестве: несколько человек с меньшей вероятностью придут к неправильному решению, чем один человек;
■ авторитет: избранная группа экспертов с большей вероятностью наделит определенным авторитетом принятое решение;
■ рациональность: решения улучшаются с помощью аргументированных предложений, которые оспариваются, и члены вынуждены обосновывать свои взгляды;
■ контролируемый процесс: обеспечивая структурированный процесс, формальные методы могут устранить негативные аспекты принятия групповых решений;
■ научная достоверность: формальные консен-сусные методы отвечают требованиям научных методов.
Есть несколько формальных методик достижения консенсуса во мнениях, из которых наибольшую популярность в последние десятилетия получил метод Дельфи, применяемый в исследованиях, в т. ч. медицинских.
Материалы и методы
Поиск публикаций производился в электронных базах данных PubMed и Российского индекса научного цитирования. Дата последнего поискового запроса — 15 января 2021 г. Для поиска использовались ключевые слова: «clinical practice», «anesthesia intensive care guidelines», «clinical practice guidelines», «anesthesia intensive care guidelines», «Delphi method», «метод Дельфи». На первом этапе были отобраны публикации, описывающие применение экспертной оценки, в частности технологию применения метода Дельфи как в общей практике, так и в приложении к медицине. В обнаруженных работах была также изучена библиография для уточнения важных особенностей применения метода Дельфи. На втором этапе были отобраны публикации, описывающие применение метода Дельфи для экспертной оценки рекомендаций и руководств как в общемедицинской практике, так и в области анестезии и интенсивной терапии.
Основные методы принятия формальных консенсусных решений, их анализ
В области медицины наибольшую популярность для определения формального консенсусного мнения получили четыре методики. В 1950-х гг. в медицине начали применять метод Дельфи [1]. Метод номинальных
групп (NGT — nominal group technique) при принятии решений в медицине ввели в практику в 1960-х гг. [2], а в 1970-х гг. Национальный институт здоровья США ввел использование конференций по выработке консенсуса [3]. Каждый из методов имеет свои особенности. Метод Дельфи предполагает сбор анонимных мнений экспертов путем рассылки формализированных анкет с возможностью внесения комментариев, знакомство экспертов с суммарными выводами. Техника номинальных групп предполагает очное общение групп экспертов при личном общении с выработкой мнения без использования формализованных анкет, эксперты также должны ознакомиться с суммарными выводами. Конференция по выработке консенсуса предполагает разработку согласованного решения при личном общении, без формального информирования экспертов, при этом может не быть структурированной схемы взаимодействия экспертов.
Существует «смешанный» метод соответствия RAND (RAND/UCLA Appropriateness Method; RAM), который включает в себя элементы метода Дельфи и техники номинальных групп. При этом участники исследования должны ознакомиться с детальным литературным обзором по проблеме, с последующим заполнением стандартного опросника Дельфи. Затем участники обсуждают результаты 1-го раунда на очном («лицом к лицу») собрании, после чего проводится 2-й раунд, с переоценкой ранее рассмотренных положений [4].
Некоторую информацию о частоте применения этих методик дает поиск в базе данных PubMed — о клинических рекомендациях как в целом в медицине, так и прицельно в области анестезиологии и интенсивной терапии (табл. 1). Видно, что немало рекомендаций в области анестезиологии и интенсивной терапии оценивались с применением методов экспертной оценки. По сути (по ранее проанализированным данным), экспертиза коснулась лишь малого числа описанных руководств как в общемедицинской практике, так и в области анестезиологии и интенсивной терапии: из 2792 рекомендаций экспертизе подверглись около 88, т. е. 3,15 % руководств [5]. При этом часто применяемым методом оказался метод Дельфи, как наиболее адекватный в плане подведения итогов и принятия консенсус-ного мнения о пригодности того или иного положения рекомендаций.
По данным портала eLibrary.ru, упоминание метода Дельфи обнаружено в 6849 публикациях; к сожалению, в отечественной литературе применение данной технологии ограничивается областями статистики, экономики, образования, стратегического планирования (в т. ч. работы системы здравоохранения и медицинских организаций). Из них около 752 публикаций описывают применение или предложения по применению метода Дельфи в медицине, но опять-таки в разрезе ранее указанных областей (статистика, планирование, экономика). Публикаций в отечественной литературе по применению
С л
Таблица 1. Опубликованные рекомендации в базе данных PubMed с учетом примененных методов экспертной оценки рекомендаций
Table 1. The number of publications in the PubMed database related to recommendations, taking into account the applied methods of expert assessment of recommendations
Метод экспертной оценки
Delphi NGT RAND/RAM NIH CC AGREE II
Рекомендации
«clinical practice guidelines» 1159 228 547 486 7053
«anesthesia intensive care guidelines» 47 4 16 9 12
Все документы
«clinical practice» 3144 666 1046 504 953
«anesthesia intensive care» 157 17 31 18 24
AGREE II — опросник по экспертизе и аттестации руководств (Appraisal of Guidelines for REsearch & Evaluation); Delphi — метод Дельфи; NGT — метод номинальных групп; NIH CC — конференция по выработке консенсуса Национального института здоровья США; RAND/RAM — «смешанный» метод соответствия RAND.
метода Дельфи для экспертной оценки рекомендаций обнаружено не было.
Для адекватного применения метода Дельфи необходимо четко определить исследуемую проблему. Рассмотрение четко обозначенной проблемы группой экспертов может позволить собрать воедино и добиться консенсуса мнений по проблеме, решение которой обычными методами сложно или даже невозможно. Обычно исследования призваны решить вопрос «что есть?/что имеется?», в то время как метод Дельфи позволяет ответить на вопрос «как могло бы быть?» [6].
Хотя основной целью применения метода Дельфи обычно является получение консенсусного решения в рамках какой-либо задачи, этот метод может использоваться как «диссенсус», или так называемый «метод политик Дельфи» (Policy Deplhi method); целью таких исследований является поиск широкого круга мнений без принятия согласованного решения [7]. Он используется там, где нужно получить или уточнить систематизированное информированное мнение по тем или иным вопросам политики взаимодействия или управления, определиться с политическими решениями и соглашениями по управлению процессами или мнениями, а также найти возможные альтернативы [8]. В последние годы широко применяют разнообразные «модификации» метода Дельфи, которые характеризуются наличием разнообразных отклонений от «стандартного». Модифицированный метод Дельфи представляет собой группу методик, базирующихся на принципах организации исследования и обработки результатов, но приспособленных для решения конкретной задачи.
Все вышеуказанные методы принятия консенсус-ных решений различаются по используемым условиям (табл. 2) [9]:
■ используется ли отправленная по почте анкета;
■ принимают ли отдельные лица решения независимо и если да, то какова степень анонимности;
■ будет ли информация об обсуждениях в группе в целом или промежуточных решениях возвращена респондентам для повторного рассмотрения в процессе выработки консенсуса;
■ существует ли личный контакт между членами группы и если да, то структурирован он или нет;
■ метод, используемый для обобщения мнений участников.
Исходя из целей и задач планируемого исследования, основными областями применения метода Дельфи являются следующие [10, 11]:
1. Определение или разработка области возможных
альтернативных предположений или суждений.
2. Изучение или раскрытие лежащих в основе гипо-
тезы предположений или информации, приводящих к различным суждениям.
3. Поиск информации, которая может привести к
консенсусу со стороны группы респондентов.
4. Соотнесение обоснованных суждений по теме,
охватывающей широкий круг дисциплин.
5. Обучение группы респондентов разделению и
взаимосвязи аспектов рассматриваемой темы.
Определение, что же есть «консенсус» в рамках метода Дельфи, — не совсем четкое. Исследователи используют разные подходы к определению общего согласованного решения, разные критерии для определения консенсуса — от формальных признаков согласия, степени неопределенности определенной точки, снижения вариативности отклика групп до доли участников, согласных с определенной точкой зрения [7].
г л
Таблица 2. Характеристики неформальных и формальных методов определения консенсуса Table 2. Characteristics of informal and formal methods of determining consensus
Метод
Опции Delphi NGT RAND/RAM RAND/RAM Policy Deplhi
n = 110 n = 15 n = 29 n = 18 n = 7
Анкета Да Нет Да Нет Да
Выясняется личное мнение Да Да Да Нет Да
Обратная связь по итогам работы группы Да Да Да Нет Да
Личный контакт участников Нет Да Да Да Нет
Структурированное взаимодействие Да Да Да Нет Да
Способ объединения мнений Определенный Определенный Определенный Неопределенный Определенный
Организация исследования, координаторы
Экспертная оценка методом Дельфи требует тщательно составленного плана действий и схемы взаимодействия большого числа вовлеченных исследователей и вспомогательного персонала. Координаторы — это исследователи, организующие процесс и обрабатывающие полученные материалы и результаты. Также они суммируют и обобщают результаты по наличию консенсусного мнения по рассматриваемым положениям рекомендаций.
Требования к координаторам [12-14]:
■ обладают достаточным управленческим навыком;
■ способны тщательно разработать систему кодировки для взаимодействия с экспертами от первого до последнего раунда, вести учет рассылки напоминаний и анализ изменений в мнениях экспертов.
Одной из задач координаторов является разработка схемы проведения исследования (рис. 1). Координатором (координаторами) определяется проблема, которая будет подвергнута экспертизе, готовится краткая вводная информация (анонс) для экспертов, формулируются либо отбираются положения, которые будут включены в анкету и подвергнуты экспертизе. Затем выбирается оценочный инструмент (чаще всего шкала Лайкерта) и заранее, до начала обработки данных, детерминируется порог принятия консенсусного мнения. Анонс рассылается потенциальным экспертам для ознакомления с исследованием и получения согласия на участие.
Ресурсы координаторов
Успех применения метода Дельфи во многом зависит от административного навыка координаторов. Нельзя
недооценивать необходимость тщательной разработки системы кодировки для отслеживания респондентов от первого до последнего раунда, рассылки напоминаний и анализ изменений в мнениях экспертов. Также следует предусмотреть достаточное количество необходимых расходных материалов (конвертов, марок, бумаги, наклеек), наличие физического пространства и ресур-
-О-
Рис. 1. Схема проведения исследования Дельфи Fig. 1. Flowchart of the Delphi survey
сов для обработки, достаточность вычислительных ресурсов и систем хранения данных, надежность систем рассылки и сбора анкет и других неочевидных деталей. Необходимо запланировать достаточное время исследователей для сбора и обработки результатов. Эти моменты редко освещаются в литературе, но являются базой для успешного проведения анализа [15].
Состав экспертов и размер выборки
Роль состава экспертов
Специалисты в той области знаний и умений, вопросы которой исследуется методом Дельфи, должны будут высказать свое мнение по предложенным вопросам. Группа экспертов, осуществляющая выражение своих мнений, учитываемых в процессе анализа, в зарубежной литературе часто называется панелью экспертов, или экспертной группой. Также в разных публикациях экспертов называют членами панели экспертов, участниками или респондентами.
Состав экспертов
С одной стороны, желательно чтобы эксперты являлись специалистами в интересуемой области знаний, с другой стороны — при принятии решений в одной группе экспертов возможно склонение общего мнения в сторону мнения «ведущих» ученых или специалистов в данной области, что может влиять на итоговое решение [16]. Это влияние «авторитета» или «статуса» участников на итоговое мнение хорошо известно (как показали исследования с ограниченной доказательностью), поэтому следует избегать разглашения информации об участниках, например, усилением конфиденциальности участников и обезличиванием результатов опросов [9]. В более гомогенных группах групповое решение имеет тенденцию отражать мнение большинства. В то же время исходные мнения участников также влияют на групповой процесс [9].
Эксперты в своей области способны лучше начинающих специалистов определить, какая информация релевантна, но только в той области, в которой они эксперты [12].
Привлекаемые к анализу эксперты должны быть достаточно осведомлены в рассматриваемых вопросах и иметь соответствующую квалификацию. Так, Бе1Ьеед et а1. [17] рекомендуют в качестве экспертов назначать:
■ специалистов из числа управляющего или ответственного персонала, принимающих глобальные решения; эти специалисты должны быть способны применить результаты, полученные методом Дельфи;
■ членов профессиональных групп вместе с их коллективами и группами поддержки;
■ тех респондентов опросников Дельфи, к чьим мнениям как специалистов будут прислушиваться и другие специалисты в рассматриваемой области.
Для наилучшего и показательного результата в получении мнений и суждений экспертов последние должны соответствовать четырем требованиям [13]:
■ обладать знаниями и опытом работы в исследуемой области;
■ быть способным и готовым к участию в исследовании;
■ иметь достаточное количество времени для участия в методе Дельфи;
■ владеть эффективными навыками коммуникации.
В рамках «классического» метода Дельфи эксперты никогда не встречаются и не взаимодействуют напрямую. Вместо этого они получают анкеты, в которых необходимо отметить свои оценки и точки зрения, обычно при этом кроме формализованной оценки предлагается высказать свои суждения по рассматриваемому вопросу [9].
Количество членов экспертной группы
Влияет ли количество экспертов в группе на результат? Вероятно, да. Хотя, теоретически, чем больше размер группы — тем больше вероятность получить наиболее точное обобщенное мнение. В действительности же чрезмерно большой размер группы «утончает» решение и делает более сложным получение итогового ответа [18].
К сожалению, нет стандартного способа, чтобы определить количество экспертов для метода Дельфи (табл. 3), все зависит от цели исследования, круга лиц, способных быть привлеченными в качестве экспертов, и имеющихся ресурсов [19]. Обычно предлагается участие от 15 экспертов [14] и более. Привлечение большего количества участников увеличивает вариабельность мнений экспертизы, но в итоге часто приводит к уменьшению возврата ответов от участников [20]. Участие менее 6 экспертов приводит к быстрому снижению достоверности, при этом участие более 12 экспертов вместе с ростом достоверности ведет к задержке и снижению возврата ответов экспертами (ограниченно подтверждено исследованиями) [9]. В то же время необходимо учитывать возможности предполагаемых к привлечению специалистов стать экспертами, не у всех может быть такая возможность или желание; так, в одном из исследований из 481 приглашенного специалиста в состав экспертов вошли только 120 [21], в другом исследовании из 49 приглашенных участвовали лишь 37 [22].
/• \
Таблица 3. Варианты количества привлекаемых экспертов
Table 3. Options for the number of experts involved
Количество экспертов Комментарий Источник
5-7 Минимальный порог [23]
10-15 Достаточно при условии гомогенности группы [17]
10-15 Можно получить хорошие результаты [24-26]
15 Можно получить хорошие результаты [14]
15-20 В большинстве исследований Дельфи привлечено 15-20 респондентов [27]
До 50 Может быть и больше [28]
30 ... 100 и более 100 Некоторые задействуют большое количество экспертов: 30-50 участников в 5 исследованиях; 50-100 участников в 4 исследованиях; > 100 участников в 5 исследованиях [29]
Варианты техники выполнения метода
Метод Дельфи — это технология обобщения группового мнения, которая пытается достичь консенсуса положений через анализ мнений отдельных экспертов с применением серии (обычно называется «раунды») структурированных анкет (опросников). Анкеты за-
полняются экспертами анонимно, что исключает перекрестное влияния специалистов на составленное мнение по предложенному вопросу [15]. Анкеты рассылаются бумажной, электронной почтой, используются варианты онлайн-анкетирования, а также применяют специализированные программы и базы данных для сбора и учета мнений экспертов.
/ Л
Таблица 4. Этапы выполнения анализа Дельфи Table 4. Delphi Analysis Steps
№ Название этапа Описание этапа
1 Исследуемая проблема Четко определена
2 Обоснование исследования Обоснование темы и методов
3 Обзор литературы Должен отражать все темы
4 Методология Сбор данных: четкое определение применяемой методики Дельфи (стандартная или модифицированная)
Раунды: общее количество, схема каждого раунда
Выборка: процесс отбора и его характеристики должны быть детально описаны
Необходимо определить требуемую достоверность и валидность исследования
Статистическая интерпретация: руководство для экспертов
Этические аспекты: «экспертная выборка» и сообщество исследователей
5 Анализ данных Частота ответов в каждом раунде
Раунд 1: предоставление экспертам общего числа сгенерированных вопросов
Раунд 2: предоставление экспертам результатов, указывающих на силу доказательств
Дальнейшие раунды (при необходимости): ознакомление экспертов с результатами
6 Обсуждение и выводы Вопрос консенсуса
Интерпретация достижения или недостижения консенсуса
Направление дальнейших исследований
Генерация вопросов 4
Генерация вопросов «по кругу»
4
Очистка вопросов
Голосование (ранжирование)
I ~
Обсуждение результатов голосования
Рис. 2. Вариант графической схемы проведения опроса [4] Fig. 2. Sample of the flowchart of the survey [4]
Во времена отсутствия быстрых удобных незатратных электронных коммуникаций (1970-90-е гг.) для проведения одного раунда рекомендовалось выделять минимум 45 дней [17, 30], которые включали рассылку анкет, их заполнение, обратную отсылку и обработку. В то же время Delbecq et al. рекомендовали предоставить экспертам только на заполнение ответов в каждом раунде не менее 2 недель, даже с учетом стремления к минимизации времени между повторением опросов экспертов [17].
Таким образом, схема этапов выполнения анализа Дельфи должна быть структурирована координаторами еще на этапе планирования исследования. Один из возможных вариантов плана представлен в табл. 4.
После разработки плана обычно формируется графическая схема взаимодействия координаторов исследования и экспертов (возможный пример — на рис. 2).
Разработка анкет (опросников)
Вопросы для экспертов могут формироваться одним из двух путей (или смешанно): вопросы или положения для оценки разрабатываются координаторами исследования или предлагаются самими экспертами на основании очерченной задачи и известного направления исследования.
Предлагаемые экспертам анкеты для заполнения могут базироваться на положениях, предложенных самими экспертами на начальной стадии, либо положениях, предложенных координаторами исследования. Технически выбор остается за координаторами, т. к. они составляют анкеты. На следующей стадии экспертам предлагается выразить свое индивидуальное мнение по положениям, предложенным ранее (обычно вариан-
ты ответов предлагаются в виде шкал Лайкерта) самим экспертом и другими экспертами [9].
Ответы, собранные координаторами, суммируются и обобщаются, а затем после обработки и суммации высылаются экспертам обратно для ознакомления, обычно в виде групповых мнений по ранее определенным вопросам и в виде вновь возникших индивидуальных суждений (новых положений). Эксперты имеют возможность на этой стадии пересмотреть свое предыдущее мнение либо оставить его без изменений, в свете общего группового мнения. И так процесс повторяется необходимое количество раз (раундов).
Хорошей практикой является пилотное тестирование опросников на небольшой группе экспертов перед полномасштабным использованием [15].
Некоторые исследователи [23] считают, что оптимальным по соотношению затраты/качество является включение в опросник 8-12 утверждений.
Первичный опросник помимо оценочных суждений (положений) может содержать квалификационные комментарии, которые в следующем раунде могут быть использованы во втором опроснике как положения. Это расширяет охват мнений по рассматриваемой проблеме. После статистического анализа коллективного группового мнения результаты второго опросника могут быть использованы для формулирования третьего количественного опросника [15].
Применение шкал Лайкерта. Преимущества и ограничения
Шкала Лайкерта была предложена К. Ыкеп в 1932 г. [31]. Обычно это порядковая или интервальная шкала с частотой дискретизации (дискретизация — это преобразование непрерывного сигнала в последовательность чисел [отсчетов], то есть представление этого сигнала по какому-либо конечномерному базису) не менее пяти. При оценке предложенного положения эксперт оценивает степень своего согласия или несогласия с каждым положением, от «полностью согласен» до «полностью не согласен». Сумма оценок каждого отдельного положения позволяет выявить мнение эксперта по предложенной информации. Предполагается, что сформулированные координаторами для анкеты суждения должны быть непротиворечивы и могут быть оценены «на протяжении» виртуального оценочного отрезка от начальной до противоположной конечных точек предлагаемой для оценки шкалы.
Достаточно часто каждый пункт анкеты сопровождает визуальный аналог шкалы, на который нанесены варианты ответа, и именно его по ошибке называют шкалой Лайкерта. В действительности же, шкала Лайкерта — это итоговая совокупность ответов на все пункты опросника. Особенности интерпретации шкал Лай-керта рассматриваются в специальной литературе [32].
Генерация идей (по итогам анализа литературы и обзоров)
I
Пункты анкеты представляют собой простые утверждения, которые эксперту нужно оценить, исходя из своего личного представления. Часто используется 5 градаций согласия эксперта с предложенным утверждением (иногда 5-9), например:
1. Полностью не согласен.
2. Не согласен.
3. Где-то посередине.
4. Согласен.
5. Полностью согласен.
Обычно шкала Лайкерта — это 5-, 7- или 9-балльная порядковая шкала, в которой респондент выбирает степень согласия или не согласия с утверждением [33]. Каждое утверждение должно иметь минимум 5, а лучше 7 оценочных категорий [33), возможно и больше. Очевидно, что шкала Лайкерта является порядковой, однако ее часто анализируют как интервальную, предполагая, что различиями между соседними баллами можно пренебречь, хотя это не совсем верно [32].
Формулировки утверждений подбираются в зависимости от задач исследователя, формулировки ответа тоже могут варьироваться, например, от «часто назначаю» до «никогда не назначаю» или от «всегда исследую» до «никогда не исследую». Число их градаций тоже может быть разным (от 3до 9).
Суммативная шкала Лайкерта (обобщенная по анкете) объединяет оценку отдельных шкал Лайкерта (по каждому суждению) и поэтому является более правильным результатом.
Обоснование количества раундов
Есть данные, что 2-3 раундов достаточно для того, чтобы индивидуальные суждения экспертов начали сближаться (имеются четкие доказательства исследований) [9, 23]. Дальнейшее увеличение числа раундов, вероятно, имеет небольшое влияние на увеличение степени согласия и на ухудшение качества откликов (доказательность — здравый смысл, подкрепленный опытом) [9]. С другой стороны, количество числа раундов в методе Дельфи зависит от количества привлеченных экспертов — чем их меньше, тем больше вероятность, что достаточно будет одного раунда.
Альтернативной точкой зрения является планирование выполнения 3-4 раундов. Но в любом случае по завершении каждого раунда результаты опроса должны быть собраны, обработаны и затем сообщены группе экспертов [3].
Раунд 1
Первый раунд может содержать элементы «мозгового штурма» и являться этапом подготовки положений для основной анкеты. Но возможен и вариант, когда коорди-
наторы сразу предлагают экспертам уже готовую структурированную анкету в 1-м раунде.
Эксперты должны ознакомиться с кратким описанием вопроса, имеющихся проблем или тематикой исследования. Члены группы экспертов генерируют идеи и комментарии по предложенной проблеме путем индивидуального мозгового штурма [34]. После этого координаторы суммируют и очищают предложения и комментарии, направляя их затем экспертам в виде переработанного структурированного опросника во 2-м раунде.
Структурированный опросник представляет собой серию положений, в которых экспертам предлагается ранжировать каждое положение по шкале Лайкерта. Кроме самих положений экспертам может быть предложено написание (формулирование) по каждому или некоторым положениям комментариев в свободной форме, которые бы объясняли их согласие или несогласие с положением [4].
Первый раунд обычно длится 2 недели.
Раунд 2
После получения ответов экспертов координаторы преобразуют полученный массив данных в хорошо структурированные анкеты. Экспертам предлагается снова ранжировать (оценить) утверждения по шкале Лайкерта.
В анкетах второго раунда обычно остаются положения, по которым был достигнут порог принятия консенсуса, вновь сформулированные экспертами положения, а также переработанные формулировки положений, предложенные по итогам первого раунда. Положения, не преодолевшие порог достижения консенсуса, в анкеты следующего раунда не включаются.
По сути, консенсус по теме может быть достигнут, если определенный процент голосов попадает в установленный координаторами диапазон [6]. Основными статистическими данными, используемыми в исследованиях Дельфи, являются показатели центральной тенденции (среднее значение, медиана и мода) и уровня дисперсии (стандартное отклонение и межквартильный интервал) для представления информации о коллективных суждениях экспертов [15]. Как правило, использование медианы предпочтительнее.
Раунд 3 и последующие
В третьем раунде эксперты получают опросники, включающие утверждения и рейтинги, суммированные координаторами. Перед экспертом ставится задача пересмотреть свои оценочные суждения по оставшимся вопросам либо объяснить, почему он не присоединяется к консенсусу. Данный раунд дает возможность экспертам еще точнее определить степень своего отношения к представленным положениям.
Как показывает практика, данный раунд, а также последующие дают лишь небольшой прирост согласованности положений по сравнению с предыдущими раундами [13, 35].
Сбор и анализ данных
На этой стадии рассматриваются три вопроса:
■ обнаружение новых положений (мнений экспертов);
■ процесс определения наиболее важного положения (если применимо);
■ сортировка и оценка положений согласно их оценке экспертами — то есть собственно анализ данных.
Процесс принятия решений
Анализ Дельфи считается завершенным, если достигнуты единообразие мнений или точка убывающего результата (point of diminishing returns).
В зависимости от дизайна и предполагаемых результатов порог принятия решений в методе Дельфи может быть различным. Например:
■ исследование Дельфи может иметь достижение консенсуса в качестве основной цели;
■ в некоторых случаях консенсус может быть не достигнут в ходе исследования;
■ причина (основание) для завершения исследования Дельфи организаторами может быть различной.
В работе Diamond et al. авторы проанализировали 100 исследований Дельфи и зафиксировали описание консенсуса из каждой рукописи, при этом последующая классификация отдельных определений консенсуса была произведена в ряд взаимоисключающих категорий. Достижение консенсуса в разных исследованиях определялось разными критериями, при этом не всегда исследование прекращалось в связи с достижением консенсуса. Так, целью анализа Дельфи было достижение консенсуса в 98 % работ, при этом консенсус был определен только в 72 % работ, а достижение консенсуса было отмечено в 86 % работ. Интересно, что причиной завершения анализа Дельфи стало достижение запланированного числа раундов в 71,4 % случаев, а достижение консенсуса — в 23,5 % случаев. Для исследований, в которых достижение консенсуса было определено основной целью, только в 1 из 64 исследований консенсус не был достигнут. Это может свидетельствовать о возможности достижения консенсуса на основании общих мнений в тех исследованиях, в которых критерии достиже-
ния консенсуса не уточнены и исследование проводится до завершения запланированного числа раундов [7].
Порог принятия консенсуса
Широко и неоднозначно трактуемым вопросом является порог отсечения для принятия консенсуса. Если говорить о доле согласия во мнении по суждению среди экспертов, то McKenna со ссылкой на Loughlin и Moore (1979) считает, что достаточно 51 % согласия мнений, Sumsion (1998) рекомендует 70 %, а Green et al. (1999) выбрали порог в 80 % [36-39]. По некоторым данным, отражение порога принятия консенсуса между мнениями в процентном выражении неадекватно [40].
Кроме этого, важно, какая балльная шкала (сколько ступеней, или баллов) оценки согласия с мнением используется. Например, консенсус достигнут, если 80 % голосов отдано двум категориям на 7-балльной шкале [30]. В другом исследовании консенсус был достигнут, если минимум 70 % экспертов оценили утверждение на 3 и более балла по 4-балльной шкале [41]. Также указывают уровень достижения консенсуса как средний рейтинг 7-9 баллов по 9-балльной шкале [42].
Чаще для оценки рейтинга применяют 9-балльную шкалу Лайкерта, хотя можно применять и 3-, 5- и 7-балльные шкалы. Важно, что решение о пороге принятия консенсуса должно быть принято в начале исследования [4].
Результаты оценки рекомендаций и исследований методом Дельфи
Исследования, применяющие метод Дельфи для решения поставленных задач, приведены в табл. 5.
Один из анализов применения метода Дельфи был проведен в 2014 г. [7]. Авторами было рассмотрено 3056 рукописей, из них 247 — отобраны для дальнейшего анализа, в котором приняло участие 100 исследований, описывающих работу методом Дельфи.
Для клинических руководств не существует абсолютного критерия для оценки того, является ли решение обоснованным и, следовательно, является ли один конкретный метод достижения консенсуса лучше других. Таким образом, методы выработки консенсуса при анализе клинических руководств могут оцениваться только в очень ограниченном смысле [9].
С точки зрения клинической целесообразности медицинская специализация эксперта является наиболее весомой характеристикой. В то же время специалист склонен отдавать предпочтение той методике или подходу, с которыми он наиболее знаком. Поэтому клинические рекомендации, основанные на консенсусе специа-
С \
Таблица 5. Применение метода Дельфи в разных областях медицины
Table 5. Application of the Delphi method in various fields of medicine
Источник Тематика Количество экспертов Количество раундов Количество положений Принципы принятия консенсуса
[43] Контроль температуры у пациентов с ише-мическо-геморрагическими повреждениями головного мозга 9 3 25 Порог принятия консенсуса — 70 % соответствий мнений
[44] Разработка стандартизированных целей лечения инфекций и сепсиса 60 3 13 Средний балл > 7
[45] Поиск ключевых неопределенностей в пе-риоперационной интенсивной терапии Нет данных 3 11 Суммаризация мнений
[46] Снижение послеоперационых легочных осложнений 35 3 21 Строгое соответствие (согласие) > 90 %
[47] Периоперационные реакции гиперчувствительности 25 2 60 Индекс несогласия < 0,5
[48] Положения качества лечения при травматических повреждениях головного мозга 50 3-4 66 Плохой консенсус — медиана < 4 (критерий исключения положения)
[49] Применение антибиотиков в отделениях интенсивной терапии 15 4 24 Медиана > 7
[50] Прогнозирование массивной гемотранс-фузии при травме 35 3 195 Порог принятия консенсуса — 80 % соответствий мнений
[51] Систематический обзор по стандартизированным целям интенсивной терапии 89 3 47 Порог принятия консенсуса — 70 % соответствий мнений
[52] Комфорт пациента после операции До 89 3 24 Медиана > 7 баллов, порог 70 %
[53] Анализ рекомендаций по хронической раневой инфекции 11 2 37 Медиана > 8
[21] Выбор инструментов оценки исходов лечения 120 4 12 Порог принятия консенсуса — 70 % соответствий мнений, не более 15 % несогласных с положением
[54] Исследование по снижению полипрогма-зии у пожилых 160 3 29 Порог принятия консенсуса — 70 % соответствий мнений
[55] Положения качества при заместительной почечной терапии 41 3 13 Порог принятия консенсуса — 70 % соответствий мнений
[56] Планирование паллиативного лечения 109 5 66 Сильное согласие или согласие /медиана > 50 %
[22] Исходы оказанной акушерской помощи 37 3 13 Порог принятия консенсуса — 75-66 % соответствий мнений
[57] Искусственная вентиляция легких при внебольничной пневмонии 29 3 35 Порог принятия консенсуса — 70 % соответствий мнений
[58] Профилактика делирия в отделениях интенсивной терапии 38 2 61 Индекс несогласия (disagreement index, DI)
[59] Протективная искусственная вентиляция легких — анализ международных рекомендаций 7 - 24 -
листов, должны принимать во внимание специализацию участников группы экспертов (доказательность — имеются четкие доказательства исследований) [9].
Если исследователи предполагают разработать клинические рекомендации, то в состав группы экспертов следует привлекать тех специалистов, которые будут использовать рекомендации в своей работе. Разработка рекомендаций требует более строгого и контролируемого процесса, с привлечением консенсусного мнения большого количества экспертов. В данной ситуации большая группа экспертов будет более представительна и точна при принятии окончательного решения [20].
Например, при разработке положений, оценивающих качество лечения в ОРИТ (отделении реанимации и интенсивной терапии) пациентов с травматическим повреждением головного мозга [48], в состав экспертов были включены интенсивисты, нейрохирурги и анестезиологи. При разработке шкалы оценки периопераци-онных реакций гиперчувствительности немедленного типа [47] привлекали аллергологов, анестезиологов и иммунологов. К разработке шкалы индикаторов качества проведения заместительной почечной терапии при критических состояниях [21] привлекали нефрологов, интенсивистов, представителей медицинской промышленности и фармакологов. Оценку осуществимости мультитикомпонентной программы профилактики
делирия в ОРИТ [22] проводили медицинские сестры ОРИТ, врачи-интенсивисты и специалисты по лечению делирия.
Для оценки предложенных положений в клинических руководствах нередко применяется метод Дель-фи. При поиске в базе данных Pubmed по ключевым словам «anesthesia intensive care guidelines» было найдено 2539 источников, в 36 из них был применен метод Дельфи. Этим методом выполняется формализованная оценка положений (в Российской Федерации в клинических и методических рекомендациях применяется термин «Рекомендация»), сформулированных в руководствах. Исходя из количества исходных и финальных положений рекомендаций, а также доли положений, модифицированных или исключенных в процессе анализа Дельфи, руководства были условно распределены в три группы: «идеальные», «с замечаниями», «с серьезными замечаниями» (табл. 6-8).
Из табл. 6 видно, что в перечисленных руководствах сформулированные авторами положения при проведении их экспертизы по методике Дельфи в малой доле подверглись переработкам, количество отклоненных экспертами положений также было мало и общее исходное и финальное количество положений значительно не изменялось. Это может свидетельствовать как о хорошей проработке исходной
Г
Таблица 6. Руководства, в положения которых при анализе Дельфи вносилось минимальное количество правок («идеальные»)
Table 6. Guidelines in which the minimum number of edits ("ideal") were made to the statements during the Delphi analysis
Источник Название рекомендаций
Количество экспертов
Количество положений: Количество исходно / добавили или пе- Порог принятия раундов реформулировали / исклю- консенсуса чили / финальный вариант
[47] Шкала для клинической оценки 25
предполагаемых периопераци- (аллергологи, анестези-
онных реакций гиперчувстви- ологи, иммунологи) тельности
2
60/17/0/60
[60] Ведение тяжелого травматиче- 32 ского повреждения головного мозга (2018)
32/0/0/32
[59] Протективная ИВЛ — анализ 7
международных рекомендаций (24 вопроса)
26/0/2/24
Согласованность > 70 %
[61] Ведение реанимационных паци- 31 ентов с инвазивным кандидозом (2017)
20/0/2/18
Согласованность > 70 %
[62] Требования к анестезиологиче- 21 ской группе при трансплантации печени (2020)
17/0/2/15
[63] Ведение пациентов с мониторингом внутричерепного давления (2019)
42
16/2/0/18
Согласованность > 80 %
2
2
2
2
3
г \
Таблица 7. Руководства, в положения которых при анализе Дельфи вносилось умеренное количество правок («с замечаниями»)
Table 7. Guidelines in which a moderate number of edits were made to the Statements ("with comments") during the Delphi analysis
Источник Название рекомендаций Количество экспертов Количество раундов Количество положений: исходно / добавили или переформулировали / исключили / финальный вариант Порог принятия консенсуса
[64] Ведение пациентов с муковис-цидозом 219 2 93/34/0/94 Согласованность > 5,3 из 7 баллов
[65] Ведение пациентов с муковис-цидозом 212 2 87/54/0/87 Согласованность > 5,3 из 7 баллов
[66] Клиническое питание в критической медицине (2019) 36 2 56/13/0/69 Согласованность > 75 %
[67] Консенсус по оценке микроциркуляции (2018) Нет данных 2 38/3/13/25 Согласованность > 80 %
[58] Профилактика делирия в ОРИТ 38 (медицинские сестры ОРИТ, терапевт, ин-тенсивист, исследователь делирия) 2 46/15/2/59 Индекс несогласия (disagreement index, DI), среднее значение положения в группе экспертов
[57] ИВЛ при внебольничной пневмонии 29 3 35/8/2/28 Согласованность > 70 %
[68] Инфузионная терапия при повреждениях нервной системы (2018) 22 2 39/0/7/32 Доказательность по системе GRADE (от высокой до низкой), согласованность > 80 %
[69] Раннее энтеральное питание у пациентов в критических состояниях (2017) Большая группа 2 17/6/0/23 Доказательность по системе GRADE (от высокой до низкой)
[43] Целевое управление температурой при кровоизлияниях или ишемическом инсульте 9 3 25/14/0/11 Согласованность > 70 %
[44] Стандартизированные цели периоперационной терапии 60 3 18/18/2/35 Средний балл > 7 (шкала от 1 до 9 баллов), и > 70-го центиля
[45] Поиск ключевых неопределенностей в периоперационной интенсивной терапии 3 17/-/-/10 Суммаризация мнений
[70] Рекомендации по применению антибиотиков в ОРИТ (2017) 11 2 10/0/4/6 Согласованность > 50 %
[46] Послеоперационные легочные осложнения 35 3 7/13/0/6 Строгое соответствие (согласие) > 90 %
информации при формулировке положений, так и о достаточно высокой согласованности суждений экспертов о правильности сформулированных положений.
В табл. 7 собраны руководства, в которых уже несколько большая часть рекомендаций подвергалась переработке формулировок, были включены дополнительные положения; также чаще положения отбраковывались в связи с непреодолением заранее определенно-
С \
Таблица 8. Руководства, в положения которых при анализе Дельфи вносилось максимальное количество правок («с серьезными замечаниями»)
Table 8. Guidelines in which the maximum number of edits ("with serious remarks") were made to the Statements during the Delphi analysis
Источник Название рекомендаций Количество экспертов Количество раундов Количество положений: исходно / добавили или переформулировали / исключили / финальный вариант Порог принятия консенсуса
[50] Прогнозирование массивной гемо-трансфузии при травме 35 3 195/0/98/97 Согласованность > 80 %
[71] Приоритеты в обучении анестезиологии в медицинских школах 15 3 179/0/122/57 Согласованность > 77 %
[72] Нелегочное лечение острого респираторного синдрома детей 27 3 151/0/121/30 Согласованность > 7 из 9 баллов
[73] УЗИ сердца 50 4 108/2/12/96 Согласованность > 70 %
[48] Положения качества лечения черепно-мозговой травмы 50 3-4 66/50/24/42 Плохой консенсус — медиана < 4 (критерий исключения положения)
[74] Подходы и вмешательства при профилактике вентилятор-ассоци-ированной пневмонии 15 2 65/25/46/19 Согласованность > 70 %
[75] Периоперационное ведение пациентов с обструктивным сонным апноэ (2019) 12 2 47/5/15/32 Согласованность > 70 %
[49] Антибиотики в ОРИТ 15 4 24/11/19/17 Медиана > 7
[76] Применение ультразвука для оценки реанимационных пациентов (2015) Нет данных 3 24/0/12/12 Согласованность > 80 %
го порога принятия консенсуса. Так, в рекомендациях «Fluid therapy in neurointensive care patients: ESICM consensus and clinical practice recommendations» эксперты исключили 7 положений из 39 исходных. В рекомендациях «Early enteral nutrition in critically ill patients: ESICM clinical practice guidelines» все исходно сформулированные положения преодолели порог принятия консенсуса, но эксперты во время анализа сформулировали дополнительные 6 положений, также преодолевших порог принятия консенсуса.
Около половины из проанализированных руководств в процессе дельфийского анализа подвергалось значительным переработкам (табл. 8) — большое количество положений было пересмотрено, дополнено, а также исключено из руководства. Так, в работе «Nonpulmonary treatments for pediatric acute respiratory distress syndrome: proceedings from the Pediatric Acute Lung Injury Consensus Conference» 121 из 151 исходного положения было отвергнуто как не преодолевшее порог принятия консенсуса. При анализе двух рекомендаций по ведению пациентов с муковисцидозом видно, что все положения
преодолели порог принятия консенсуса, но почти половина из них в процессе экспертизы подверглась переработкам. В рекомендациях по профилактике вентилятор-ассоциированной пневмонии из исходных 65 положений осталось всего около трети, причем 25 положений были переработаны или вновь сформулированы, а 46 исходно предложенных положений были исключены. При анализе руководства по обучению анестезиологов Австралии и Новой Зеландии были отвергнуты 122 положения, т. е. две трети. При анализе рекомендаций по применению ультразвука также часть положений была забракована. При рассмотрении подходов к ведению вентилятор-ас-социированной пневмонии почти треть положений была переформулирована или создана вновь.
Конкретная реализация метода Дельфи зависит от целей, определяемых исследователями. Определение важности какого-либо положения и особенностей диагностики/лечения конкретной нозологии чаще предполагает применение разработанного исследователями опросника. Метод Дельфи для экспертной оценки положений рекомендаций применяется в последнее время
все шире, но в области анестезиологии и интенсивной терапии подобных работ все еще немного.
Заключение
Метод Дельфи при правильно структурированном дизайне и проработке рассматриваемых к обсуждению проблем и положений позволяет определить подходы, отражающие наиболее общее мнение экспертов по рассматриваемому вопросу. С учетом анонимности метода и ознакомления привлекаемых экспертов с промежуточными результатами итоговое мнение отражает наиболее аргументированное решение проблемы специалистами в изучаемой области медицинских знаний. Поэтому метод Дельфи с успехом может быть применен для оценки адекватности и эффективности предлагаемых методов диагностики и лечения.
Проводимая экспертиза руководств заметно повышает качество, дополняет их. В последние годы ин-
тенсивность экспертизы руководств повысилась, но остается еще не очень широко распространенной. На сегодняшний день для оценки положений руководств удобным и информативным методом является метод Дельфи.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Вклад авторов. Заболотских И.Б., Григорьев С.В., Белкин А.А., Лахин Р.Е. — разработка концепции статьи, получение и анализ фактических данных, написание и редактирование текста статьи, проверка и утверждение текста статьи.
ОКСЮ авторов
Заболотских И.Б. — 0000-0002-3623-2546 Григорьев С.В. — 0000-0002-9753-7351 Белкин А.А. — 0000-0002-0544-1492 Лахин Р.Е. — 0000-0001-6819-9691
Литература/References
[1] Dalkey N.C., Helmer O. An experimental application of the Delphi method to the use of experts. Management Science 1963; 9: 458-467.
[2] Delbecq A., Van de Ven A. A group process model for problem identification and program planning. Journal of Applied Behavioral Science 1971; 7: 467-492.
[3] Fink A., Kosecoff J., Chassin M., Brook R.H. Consensus methods: characteristics and guidelines for use. Am J Public Health. 1984; 7 4(9): 979-983. DOI: 10.2105/ajph.74.9.979
[4] McMillan S.S., King M., Tully M.P. How to use the nominal group and Delphi techniques. Int J Clin Pharm. 2016; 38(3): 655-662. DOI: 10.1007/s11096-016-0257-x
[5] Заболотских И.Б., Григорьев С.В., Белкин А.А., Лахин Р.Е. Технологии консенсуса при экспертизе рекомендаций. Вестник интенсивной терапии им. А.И. Салтанова. 2020; 4: 8-11. [Zabolotskikh I.B., Grigoryev S.V., Belkin A.A., Lakhin R.E. Consensus technologies in the analysis of guidelines. Annals of Critical Care. 2020; 4: 8-11. (In Russ)] DOI: 10.21320/1818-474X-2020-4-8-11
[6] Miller L.E. Determining what could/should be: The Delphi technique and its application. Paper presented at the meeting of the 2006 annual meeting of the Mid-Western Educational Research Association, Columbus, Ohio.
[7] Diamond I.R. et al. Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology 2014; 67: 401-409.
[8] Rayens M.K., Hahn E.J. Building Consensus Using the Policy Delphi Method. Policy, Politics, & Nursing Practice. 2000: 308-315.
[9] Black, N., Murphy, M., Lamping, D., et al. Consensus Development Methods: A Review of Best Practice in Creating Clinical Guidelines.
Journal of Health Services Research & Policy. 1999; 4(4): 236-248. DOI: 10.1177/135581969900400410
[10] Hsu C.C., Sandford B.A. The Delphi Technique: Making Sense Of Consensus. Practical Assessment, Research & Evaluation. 2007; 12(10): 1-8.
[11] Turoff M. The design of a policy Delphi. Technological Forecasting and Social Change. 1970; 2: 149-171.
[12] Shanteau J. How much information does an expert use? Is it relevant? Acta Psychologica. 1992; 81: 75-86.
[13] Ab Latif R., Dahlan A., Ab Mulud Z., Mat Nor M.Z. The Delphi technique as a method to obtain consensus in health care education research. Education in Medicine Journal. 2017; 9(3): 89-102. DOI: 10.21315/eimj2017.9.3.10
[14] Linstone H.A., Turoff M. The Delphi survey: method techniques and applications. Reading: Addison-Wesley; 1975.
[15] HassonF., KeeneyS., McKennaH. Research guidelines for the Delphi survey technique. J Adv Nurs. 2000; 32(4): 1008-1015.
[16] Vinokur A., Burnstein E., Sechrest L., Wortman P.M. Group decision making by experts: field study of panels evaluating medical technologies. Journal of Personality and Social Psychology. 1985; 49: 70-84.
[17] Delbecq A.L., Van de Ven A. H., Gustafson D.H. (1975). Group techniques for program planning. Glenview, IL: Scott, Foresman, and Co.
[18] DavisJ.H. Some compelling intuitions a bout group consensus decisions, theoretical and empirical research, and interpersonal aggregation phenomena: selected examples, 1950-1990. Organizational Behavior and Human Decision Processes. 1992; 52: 3-38.
[19] Campbell S.M., Cantrill J.A. Consensus methods in prescribing research. J Clin Pharm Ther. 2001; 26(1): 5-14.
[20] Black N., Murphy M., Lamping D., et al. Consensus development methods: a review of best practice in creating clinical guidelines. J Health Serv Res Policy. 1999; 4(4): 236-248.
[21] Prinsen C.A., Vohra S., Rose M.R., et al. How to select outcome measurement instruments for outcomes included in a "Core Outcome Set" — a practical guideline. Trials. 2016; 17(1): 449. DOI: 10.1186/s13063-016-1555-2
[22] Sauvegrain P., Chantry A.A., Chiesa-Dubruille C., et al. Monitoring quality of obstetric care from hospital discharge databases: A Delphi survey to propose a new set of indicators based on maternal health outcomes. PLoS One. 2019; 14(2): e0211955. DOI: 10.1371/journal.pone.0211955
[23] Bonnemaizon A., Cova B., Louyot M.-C. Relationship Marketing in 2015: A Delphi Approach European Management Journal. 2007; 25(1): 50-59. DOI: 10.1016/j.emj.2006.12.002
[24] Ziglio E. The Delphi method and its contributions to decision making. In: Adler M., Ziglio E., editors. Gazing into the Oracle: the Delphi method and its application to social policy and public health. London: Jessica Kingley Publishers, 1996.
[25] Adams M.K. Defining creative scholarship and identifying criteria for evaluating creative scholarship using a modified Delphi technique [dissertation]. Graduate school, University of Wyoming, Wyoming, 2004.
[26] Choong Y.C. A mapping approach to investigating information and communication technology (ICT) implementation during the building design process [dissertation]. School of Property, Construction and project management, RMIT University, 2006.
[27] Ludwig B. Predicting the future: Have you considered using the Delphi methodology? Journal of Extension, 1997: 35(5): 1-4. Retrieved November 2005 from http://www.joe.org/ joe/1997october/tt2.html
[28] Witkin B.R., Altschuld J.W. Planning and conducting needs assessment: A practical guide. Thousand Oaks, CA: Sage Publications, Inc. 1995.
[29] Giannarou L., Zervas E. Using Delphi technique to build consensus in practice International Journal of Business Science and Applied Management. 2014; 9(2): 65-82.
[30] UlschakF.L. Human resource development: The theory and practice of need assessment. Reston, VA: Reston Publishing Company, Inc, 1983.
[31] Likert R. A technique for the measurement of attitudes. Arch Psychology. 1932; 22(140): 55.
[32] BrownJ.D. Likert items and scales of measurement? SHIKEN: JALT Testing & Evaluation SIG Newsletter. 2011; 15(1): 10-14.
[33] Sullivan G.M., Artino A.R. Jr. Analyzing and interpreting data from likert-type scales. J Grad Med Educ. 2013; 5(4): 541-542. DOI: 10.4300/JGME-5-4-18
[34] Geist M.R. Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning. 2010; 33: 147-154.
[35] Dalkey N.C. The Delphi method: an experimental study of group opinion. In: Dalkey N.C., Rourke D.L., Lewis R., Snyder D., editors. Studies in the quality of life: Delphi and decision-making. Lexington, MA: Lexington Books, 1972: 13-54.
[36] McKenna H.P. The Delphi technique: a worthwhile approach for nursing? Journal of Advanced Nursing. 1994; 19: 1221-1225.
[37] LoughlinK., Moore L. Using Delphi to achieve congruent objectives and activities in a pediatrics department. Journal of Medical Education. 1979; 54: 101-106.
[38] Sumsion T. The Delphi technique: an adaptive research tool. British Journal of Occupational Therapy. 1998; 61(4): 153-156.
[39] Green B., Jones M., Hughes D., Willimas A. Applying the Delphi technique in a study of GP's information requirements. Health and Social Care in the Community. 1999; 7(3): 198-205.
[40] Scheibe M., Skutsch M., Schofer J. Experiments in Delphi methodology. In H.A. Linstone, & M. Turoff (Eds.). The Delphi method: Techniques and applications. Reading, MA: Addison-Wesley Publishing Company, 1975: 262-287.
[41] Green P.J. The content of a college-level outdoor leadership course. Paper presented at the Conference of the Northwest District Association for the American Alliance for Health, Physical Education, Recreation, and Dance, Spokane, WA, 1982.
[42] Prescribing indicators for UK general practice: Delphi consultation study Stephen M. Campbell, Judy A. Cantrill, Dave Roberts. BMJ. 2000; 321: 1-5.
[43] Andrews P.J.D., Verma V., Healy M., et al. Targeted temperature management in patients with intracerebral haemorrhage, subarachnoid haemorrhage, or acute ischaemic stroke: consensus recommendations. Br J Anaesth. 2018; 121(4): 768-775. DOI: 10.1016/j.bja.2018.06.018
[44] Barnes J., HunterJ., Harris S., et al. Systematic review and consensus definitions for the Standardised Endpoints in Perioperative Medicine (StEP) initiative: infection and sepsis. Br J Anaesth. 2019; 122(4): 500-508. DOI: 10.1016/j.bja.2019.01.009
[45] Gillies M.A., Sander M., Shaw A., et al. Current research priorities in perioperative intensive care medicine. Intensive Care Med. 2017; 43(9): 1173-1186. DOI: 10.1007/s00134-017-4848-3
[46] Griffiths S.V., Conway D.H., POPC-CB Investigators, et al. C. What are the optimum components in a care bundle aimed at reducing post-operative pulmonary complications in high-risk patients? Perioper Med (Lond). 2018; 7: 7. DOI: 10.1186/s13741-018-0084-9
[47] Hopkins P.M., Cooke P.J., Clarke R.C., et al. Consensus clinical scoring for suspected perioperative immediate hypersensitivity reactions. Br J Anaesth. 2019; 123(1): e29-e37. DOI: 10.1016/j.bja.2019.02.029
[48] Huijben J.A., Wiegers E.J.A., de Keizer N.F., et al. Development of a quality indicator set to measure and improve quality of ICU care for patients with traumatic brain injury. Crit Care. 2019; 23(1): 95. DOI: 10.1186/s13054-019-2377-x
[49] Kallen M.C., Roos-Blom M.J., Dongelmans D.A., et al. Development of actionable quality indicators and an action implementation toolbox for appropriate antibiotic use at intensive care units: A modified-RAND Delphi study. PLoS One. 2018; 13(11): e0207991. DOI: 10.1371/journal.pone.0207991
[50] Mclennan J.V., Mackway-Jones K.C., Horne S.T., Body R. Predictors of massive blood transfusion: a Delphi Study to examine the views of experts. J R Army Med Corps. 2017; 163(4): 259-265. DOI: 10.1136/jramc-2016-000702
[51] Moonesinghe S.R., Jackson A.I.R., Boney O., et al. Systematic review and consensus definitions for the Standardised Endpoints in Perioperative Medicine initiative: patient-centred outcomes. Br J Anaesth. 2019; 123(5): 664-670. DOI: 10.1016/j.bja.2019.07.020
[52] Myles P.S., Boney O., Botti M., et al. Systematic review and consensus definitions for the Standardised Endpoints in Perioperative Medicine (StEP) initiative: patient comfort. Br J Anaesth. 2018; 120(4): 705-711. DOI: 10.1016/j.bja.2017.12.037
[53] Pomponio G., Tedesco S., Peghetti A., et al. Improving the quality of clinical research on chronic wound infection treatment: expert-based recommendations. J Wound Care. 2019; 28(Supl.): S26-S31. DOI: 10.12968/jowc.2019.28.Sup1.S26
[54] Rankin A., Cadogan C.A., In Ryan C., et al. Core Outcome Set for Trials Aimed at Improving the Appropriateness of Polypharmacy in Older People in Primary Care. J Am Geriatr Soc. 2018; 66(6): 1206-1212. DOI: 10.1111/jgs.15245
[55] Rewa O.G., Eurich D.T., Noel Gibney R.T., Bagshaw S.M. A modified Delphi process to identify, rank and prioritize quality indicators for continuous renal replacement therapy (CRRT) care in critically ill patients. J Crit Care. 2018; 47: 145-152. DOI: 10.1016/j.jcrc.2018.06.023
[56] Rietjens J.A.C., Sudore R.L., Connolly M., et al. Definition and recommendations for advance care planning: an international consensus supported by the European Association for Palliative Care. Lancet Oncol. 2017; 18(9): e543-e551. DOI: 10.1016/S1470-2045(17)30582-X
[57] van der Lee L., Hill A.M., Patman S. Expert consensus for respiratory physiotherapy management of mechanically ventilated adults with community-acquired pneumonia: A Delphi study. J Eval Clin Pract. 2019; 25(2): 230-243. DOI: 10.1111/jep.13077
[58] Wassenaar A., van den Boogaard M., Underpin-Icu Study Group, Schoonhoven L., Pickkers P. Determination of the feasibility of a multicomponent intervention program to prevent delirium in the Intensive Care Unit: A modified RAND Delphi study. Aust Crit Care. 2017; 30(6): 321-327. DOI: 10.1016/j.aucc.2016.12.004
[59] Young C.C., Harris E.M., Vacchiano C., et al. Lung-protective ventilation for the surgical patient: international expert panel-based consensus recommendations. Br J Anaesth. 2019; 123(6): 898-913. DOI: 10.1016/j.bja.2019.08.017
[60] Geeraerts T., Velly L., Abdennour L., et al. Management of severe traumatic brain injury (first 24 hours). Anaesth Crit Care Pain Med. 2018; 37(2): 171-186. DOI: 10.1016/j.accpm.2017.12.001
[61] Zaragoza R., Ferrer R., Llinares P., et al. 'Total quality' in the management of invasive candidiasis in critically ill patients by analysing the integrated process. Rev Iberoam Micol. 2017; 34(3): 143-157. DOI: 10.1016/j.riam.2017.03.008
[62] Hendrickse A., Crouch C., Sakai T., et al. Service Requirements of Liver Transplant Anesthesia Teams: Society for the Advancement of Transplant Anesthesia Recommendations. Liver Transpl. 2020; 26(4): 582-590. DOI: 10.1002/lt.25711
[63] Hawryluk G. W.J., Aguilera S., Buki A., et al. A management algorithm for patients with intracranial pressure monitoring: the Seattle International Severe Traumatic Brain Injury Consensus Conference (SIBICC). Intensive Care Med. 2019; 45(12): 1783-1794. DOI: 10.1007/s00134-019-05805-9
[64] Akyol M.U., Alden T.D., Amartino H., et al. Recommendations for the management of MPS VI: systematic evidence- and consensus-based guidance. Orphanet J Rare Dis. 2019; 14(1): 118. DOI: 10.1186/s13023-019-1080-y
[65] Akyol M.U., Alden T.D., Amartino H. Recommendations for the management of MPS IVA: systematic evidence- and
consensus-based guidance. Orphanet J Rare Dis. 2019; 14(1): 137. DOI: 10.1186/s13023-019-1074-9
[66] Elke G., Hartl W.H., Kreymann K.G., et al. Clinical Nutrition in Critical Care Medicine — Guideline of the German Society for Nutritional Medicine (DGEM). Clin Nutr ESPEN. 2019; 33: 220275. DOI: 10.1016/j.clnesp.2019.05.002
[67] Ince C., Boerma E.C., Cecconi M., et al. Second consensus on the assessment of sublingual microcirculation in critically ill patients: results from a task force of the European Society of Intensive Care Medicine. Intensive Care Med. 2018; 44(3): 281-299. DOI: 10.1007/s00134-018-5070-7
[68] Oddo M., Poole D., Helbok R., et al. Fluid therapy in neurointensive care patients: ESICM consensus and clinical practice recommendations. Intensive Care Med. 2018; 44(4): 449-463. DOI: 10.1007/s00134-018-5086-z
[69] Reintam Blaser A., Starkopf J., Alhazzani W., et al. Early enteral nutrition in critically ill patients: ESICM clinical practice guidelines. Intensive Care Med. 2017; 43(3): 380-398. DOI: 10.1007/s00134-016-4665-0
[70] Mutters N.T., De Angelis G., Restuccia G., et al. Use of evidence-based recommendations in an antibiotic care bundle for the intensive care unit. Int J Antimicrob Agents. 2018; 51(1): 65-70. DOI: 10.1016/j.ijantimicag.2017.06.020
[71] Overton M.J., Smith N.A. Anaesthesia priorities for Australian and New Zealand medical school curricula: a Delphi consensus of academic anaesthetists. Anaesth Intensive Care. 2015; 43(1): 5158. DOI: 10.1177/0310057X1504300108
[72] Valentine S.L., Nadkarni V.M., Curley M.A., Pediatric Acute Lung Injury Consensus Conference Group. Nonpulmonary treatments for pediatric acute respiratory distress syndrome: proceedings from the Pediatric Acute Lung Injury Consensus Conference. Pediatr Crit Care Med. 2015; 16(5 Suppl 1): S73-85. DOI: 10.1097/PCC.0000000000000435
[73] Via G., Hussain A., Wells M., Reardon R., et al. International evidence-based recommendations for focused cardiac ultrasound. J Am Soc Echocardiogr. 2014; 27(7): 683.e1-683.e33. DOI: 10.1016/j.echo.2014.05.001
[74] Speck K., Rawat N., Weiner N.C., et al. A systematic approach for developing a ventilator-associated pneumonia prevention bundle. Am J Infect Control. 2016; 44(6): 652-656. DOI: 10.1016/j. ajic.2015.12.020
[75] Ravesloot M.J.L., de Raaff C.A.L., van de Beek M.J., et al. Perioperative care of patients with obstructive sleep apnea undergoing upper airway surgery: a review and consensus recommendations. JAMA Otolaryngol Head Neck Surg. 2019. DOI: 10.1001/jamaoto.2019.1448
[76] Frankel H.L., Kirkpatrick A.W., Elbarbary M., et al. Guidelines for the Appropriate Use of Bedside General and Cardiac Ultrasonography in the Evaluation of Critically Ill Patients. Part I: General Ultrasonography. Crit Care Med. 2015; 43(11): 2479-2502. DOI: 10.1097/CCM.0000000000001216
