CC BY
7
Обзоры и аналитика
DOI: 10.18027/2224-5057-2022-12-3-29-34
Цитирование: Андреев Д. А., Завьялов А. А. Практический анализ эффективности критериев оценки качества хирургического лечения рака прямой кишки. Злокачественные опухоли. 2022 ; 12 ( 3 ) : 29-34.
ПРАКТИЧЕСКИМ АНАЛИЗ ЭФФЕКТИВНОСТИ КРИТЕРИЕВ ОЦЕНКИ КАЧЕСТВА ХИРУРГИЧЕСКОГО ЛЕЧЕНИЯ РАКА ПРЯМОЙ КИШКИ
Д.А. Андреев1, А. А. Завьялов1'2
1 Государственное бюджетное учреждение города Москвы «Научно-исследовательский институт организации здравоохранения и медицинского менеджмента Департамента здравоохранения города Москвы», Москва, Россия
2 ФГБУ «Государственный научный Центр Российской Федерации — Федеральный медицинский биофизический центр имени А.И. Бурназяна», Москва, Россия
Для радикального лечения рака прямой кишки (РПК) активно применяются хирургические подходы, являющиеся вмешательствами высокого риска. Последовательное накопление разносторонних цифровых параметров медицинской деятельности является критически важным для обеспечения лучшего качества оказания онкологической помощи в каждом случае лечения пациента. В статье изучены примеры составных обобщающих критериев оценки качества (КОК) хирургического лечения РПК; отмечены направления разработок частных индикаторов качества и системы оценок исходов лечения РПК. В целом интегративные мультипараметрические подходы к анализу качества обладают потенциалом в процессах совершенствования онкохирургической помощи. Они могут внедряться наряду с другими подходами после одобрения к применению в реальной клинической практике.
Ключевые слова: композитные параметры, критерии оценки качества, Дельфийский метод, контроль качества, хирургия, рак прямой кишки
ВВЕДЕНИЕ
Рак прямой кишки (РПК) ректосигмоидного соединения, ануса — составляет около 5 % (или 22 на 100 тыс. населения, «грубый» показатель, 2019 год) в структуре заболеваемости злокачественными новообразованиями в Российской Федерации [1].
Для радикального лечения РПК на ранних стадиях рекомендованы и активно применяются хирургические подходы [2,3], являющиеся вмешательствами высокого риска. Совершенствование оценок качества хирургической практики отвечает целям и задачам Федерального проекта «Борьба с онкологическими заболеваниями», предусматривающего снижение смертности от новообразований к 2024 году до 185 на 100 тыс. населения [4].
Последовательное накопление разносторонних количественных параметров медицинской деятельности является безусловно важным для обеспечения лучшего качества оказания онкологической помощи в каждом случае лечения пациента [5,6]. Для измерения качества широко применяется модель А. Донабедяна, включающая три класса критериев оценки качества: структура; процессы; исходы [7-9]. Эта модель опирается на подробные критерии оценки качества, внедренные в системы внутреннего и внешнего контроля в медицинских организациях (МО). Однако
на практике с точки зрения пациентов предпочтительнее получение интегративных, наглядных оценок качества медицинской помощи в МО [10], которые, в частности, могут быть определены путем разработки и внедрения составных оценочных критериев — «textbook outcome». Интегративные оценки качества также играют существенную роль при принятии решений специалистами системы здравоохранения, позволяя получить предварительные характеристики качества до полной детализации измерений. Результаты разработки «textbook outcome» для определения качества онкохирургического лечения РПК проходят анализ надежности в онкологической практике за рубежом [11-13].
Для определения круга задач по дальнейшему совершенствованию качества большое значение также приобретают инновационные оценки результатов противоопухолевого лечения, сообщаемые пациентами.Восприятие качества жизни пациентами после онкохирургического лечения РПК является одним из ключевых компонентов системных оценок онкологической практики. Хирургическое лечение РПК может включать различные объемы оперативного пособия, что естественно отражается на функциональном статусе и качестве жизни больных.
Таким образом, реализация мультипараметрического подхода к анализу хирургического лечения в онкологической практике приведет к формированию максимально
ЗЛОКАЧЕСТВЕННЫЕ ОПУХОЛИ , . , , ,„„ MALIGNANT TUMOURS
том /vol. 12 № 3 • 2022 n . „ . „ . .
Российское общество клиническом онкологии Russian Society of Clinical Oncology
полного представления о качестве медицинском помощи, оказанной больным РПК.
Целью данного научного исследования стала идентификация современных методик анализа качества хирургического лечения РПК, основанных на включении в систему внутреннего контроля многомерных оценочных индикаторов.
МАТЕРИАЛЫ И МЕТОДЫ.
Поиск научных источников осуществлялся в PubMed/Medline по следующим ключевым словам: «textbook», «outcome», «rectal cancer surgery». При выполнении поискового запроса фильтры, включая временные, не применялись. Были отобраны наиболее актуальные и инновационные исследовательские работы, посвящённые вопросам разработки КОК хирургического лечения РПК. При необходимости в целях обоснования и аргументации разделов статьи в список использованных источников также включались другие дополнительные публикации.
РЕЗУЛЬТАТЫ.
В результате проведения тщательного поиска и анализа литературы было отобрано и изучено 5 публикаций (рис. 1, табл. 1).
В исследовании Aquina et al. [13] были изучены критерии хирургического лечения РПК. По мнению авторов это было первое исследование с оценкой роли композитного индикатора в анализе качества медицинской деятельности больниц. В научной работе изучалась ассоциация между
Рисунок 1. Потоковая диаграмма дизайна исследования и процедур экстракции наиболее актуальных источников.
скорректированными показателями достижения условия композитного индикатора и общей выживаемостью. Частота достижения всех критериев композитного индикатора для РПК составила 33,6 %. Была показана прямая связь между скорректированными больничными композитными показателями и выживаемостью после хирургических вмешательств высокого риска. Авторы заключают, что композитный индикатор может применяться при оценке общего качества онкологической помощи и сравнительного анализа результативности медицинской деятельности
между МО [13].
Russolillo et al. [12] реализовали оригинальную концепцию при разработке оценок лечения пациентов с РПК, в которой составные индикаторы применялись к определенной подгруппе пациентов с РПК IV стадии с метастазами в печени. Исследователи успешно провели системную интегративную оценку результатов операций на прямой кишке и печени. Оказалось, что среди 256 пациентов после хирургического лечения (на прямой кишке и печени вместе) частота 90 дневной летальности и осложнений составила 2,3 % и 15,5% соответственно. В целом условия композитного критерия выполнялись у 59% пациентов, что ассоциировалось со статистически значимым улучшением общей выживаемости и выживаемости без признаков заболевания (медиана 70,6 месяцев по сравнению с 24,9 месяцев). Разработанный подход продемонстрировал клиническую значимость составных оценок.
В популяционном исследовании Warps et al. [11] изучали практику применения составных критериев (textbook outcome) для анализа качества оперативного лечения РПК. В период с 1 января 2012 г. по 31 декабря 2019 г. в общей сложности в наблюдательное исследование было включено 20521 пациентов после плановой операции по поводу первичного рака прямой кишки.
Повторные вмешательства включали эндоскопические и другие хирургические манипуляции под контролем визуализации. В качестве послеоперационных осложнений учитывали кардиоваскулярные, легочные, инфекционные, неврологические, тромбоэмболические осложнения, а также несостоятельность анастомоза, абсцесс, кишечную непроходимость, эвентрацию, раневую инфекцию, кровотечения, перфорацию кишечника или повреждение мочевого пузыря/мочеточника [11].
Составной критерий (textbook outcome) в работе Warps et al. [11] был достигнут у 56,3 % включенных в исследование пациентов. Чаще всего причиной недостижения являлось развитие послеоперационных осложнений (у 39,2 % пациентов). Сравнительный анализ выполнения условий составного критерия среди нидерландских клиник (76 больниц за изучаемый период, 2012-2019 гг.) выявил диапазон значений средних скорректированных показателей от 8,9% до 73,9 %.
В ряде опубликованных работ, посвященных разработке систем аудита и оценок качества хирургического лечения РПК, выделяются два исследования, расширяющие
Таблица 1. Наиболее актуальные из опубликованных в доступных источниках данные об эффективности использования критериев оценки качества онкохирургического лечения больных раком прямой кишки.
Параметры, включенные в состав композитного критерия Данные об эффективности использования КОК:
1. Адекватный забор ЛУ: > 12 ЛУ удалены и исследованы 2. К0-резекция: все края макро- и микроскопически негативны 3. Пребывание в стационаре после операции < 14 дней 4. Без повторной госпитализации в ту же клинику в период до 30 дней после выписки 5. Применение адекватных алгоритмов лучевой и химиолуче- вой терапии1, 2 Условия композитного критерия выполнялись в 33,6% анализируемых наблюдений. Более высокие скорректированные госпитальные показатели композитного критерия были прочно связаны с общей 5-летней выживаемости у пациентов после выполнения операций высокого риска. Aquina et al., 2021 [13]
Для пациентов с РПК IV стадии после хирургического вмешательства на прямой кишке и печени (оба вида вмешательства): 1. Отсутствие осложнений 2. Без длительного пребывания в стационаре 3. Без повторной госпитализации 4. Смерть (без 90-дневной летальности) Условия композитного критерия достигались у приблизительно 60% пациентов. Достижение композитного критерия статистически значимо ассоциировалось с лучшими показателями выживаемости пациентов (медиана: 86,3 месяца по сравнению с 24,9 месяцев при достижении и не достижении критериев композитного индикатора соответственно) Russoli llo et al., 2021 [12]
30-дневная выживаемость и выживаемость при первичной госпитализации Без повторного вмешательства Негативные края резекции Без послеоперационных осложнений Пребывание в стационаре менее 14 дней Без повторной госпитализации Условия композитного индикатора полностью выполнялись у 56,3% пациентов после операции по поводу РПК, что было преимущественно обусловлено невыполнением условия — отсутствие послеоперационных осложнений. Композитный индикатор имел ограниченную дискриминационную ценность для разделения МО по качеству и минимальные статистические преимущества для оценки хирургического лечения РПК. МО с недостаточным качеством медицинской деятельности не могли бы использовать этот композитный индикатор в цикле «планируй-делай-проверяй-воздействуй». Warps et al., 2021 [11]
Отдельные критерии оценок
• Доля больных РПК, которым была выполнена резекция первичной опухоли в медицинском центре • Категории объемов выполнения резекций включали до 20, от 21 до 40, от 41 до 60 или более 60 резекций прямой кишки в год на одну МО • МО были разделены на квартили, ранжированные по доле резекции от низкого до высокого Частота резекций при РПК в больницах может существенно различаться, влияя на общую выживаемость. Частота резекций при неметастатическом РПК варьировала от 68% до 89% между медицинскими организациями. Медиана наблюдения за выжившими пациентами составила 48 месяцев. Распределение МО по квартилям частоты резекции коррелировало с общей выживаемостью (Р < 0,001). МО, попавшие в квартили с более высокой частотой резекций, демонстрировали лучшую общую выживаемость. Трех- и пятилетняя выживаемость колебалась от 78% до 69% в самом низком квартиле и до 84% и 72% — в самом высоком квартиле соответственно. Кроме того, низкий социально-экономический статус ассоциировался с более низкими показателями частоты резекции. Таким образом, изучение вопроса вариации частоты резекций и влияние этого показателя на общую выживаемость может стать актуальным аспектом при разработке эффективного анализа общего качества лечения РПК. Giesen et al., 2021 [14]
Показатели исходов: 1. Поражение циркулярного края резекции: опухолевые клетки обнаруживаются на расстоянии < 1 мм от края резекции в соответствии с определением Королевского колледжа патоморфологов 2. Послеоперационное осложнение: любое нежелательное явление в течение 30 дней после операции (включая все, от инфекции мочевыводящих путей до несостоятельности анастомоза или смерти). 3. Серьезное осложнение: пациенты с послеоперационным осложнением после операции, приведшей к госпитализации более 14 дней, повторному хирургическому, эндоскопическому или радиологическому вмешательству или к смерти. 4. Смертность: пациенты, умершие в течение 30 дней после операции или при первой госпитализации. 5. Неспособность спасти (РТК): пациенты, которые умерли в течение 30 дней после операции или во время первой госпитализации после серьезного осложнения (например, знаменатель — все пациенты с серьезным осложнением). Надежность дифференцировки лучшей практики на основе анализа отдельных исходов оказалась низкой. Исходы из категории «послеоперационные осложнения» имели наибольшее значение для оценок, в то время как вариация между МО по показателям летальности и критерию «невозможность спасти пациента» носила случайный характер. Возможность ранжирования МО возрастала при применении данных за более длительный период времени. Разница в ожидаемых рейтингах МО по различным критериям исходов показывает, что ни одна больница не выделяется как лучшая по всем критериальным исходам. Критерии с широким разбросом между МО, характеризующие большее число событий являлись наиболее надежными показателями исходов при ранжировании МО. Ранжирование МО на основе критериев, характеризующих небольшое число событий оказалось ненадежным. Полученные результаты свидетельствуют о необходимости четкого разграничения между ценной информацией для достижения транспарентности и информацией, ценной для поставщиков медицинских услуг. van Groningen et al., 2020 [15]
1 Факт выполнения неоадъювантной химиотерапии и лучевой терапии по поводу клинически местно-распространенного опухолевого процесса (cT3-T4b и/или cN1-N2b) или факт выполнения адъювантной химиотерапии и лучевой терапии в течение 180 дней после постановки диагноза не-кли-нически местнораспространенного рака (cT1-T2 и cN0) с патоморфологическими признаками местнораспространенного рака (pT3-T4b и/или pN1-N2b) у пациентов старше 80 лет
2 Факт выполнения неоадъювантной полихимиотерапии (общая неоадъювантная терапия) или как неоадъювантной, так и адъювантной химиотерапии для клинически местнораспространенного рака (cT3-T4b и/или cN1-N2b)
представления и дополняющие принципиальные подходы к комплексным оценкам онкохирургической практики. Giesen et al. [14] и van Groningen et al. [15] опубликовали результаты исследований применимости и информативности отдельных критериев оценки для маркировки/ранжирования МО по характеристикам качества оказываемой медицинской помощи.
Авторский коллектив Giesen et al. [14] своей научной публикацией обратил внимание исследователей на актуальность проведения оценок частоты резекций при РПК в МО для воплощения системного подхода в разработке дизайна информативного анализа общего качества лечения РПК в онкологической сети (табл. 1).
Изучая регистрационные данные по Dutch ColoRectal Audit за период 2013-2015 гг. Van Groningen et al. [15] предприняли попытку сравнения раздельных (частных) исходов хирургического лечения РПК между МО с целью поиска возможностей выявления МО с наилучшими характеристиками клинической практики. Дискриминационная ценность (rankability) для ранжирования МО рассчитывалась по каждому из изучаемых критериев исходов, как величина «надежности ранжирования». Кроме того, определялась корреляция между ожидаемыми расчетными ранками для разных исходов (КР). Корреляцию считали слабой при значении<0,40, умеренной в диапазоне величин 0,400,59 и сильной при показателях > 0,60.
В исследование Van Groningen et al. 2020 было включено 32143 пациента: 11373 пациентов прошли лечение в 84 больницах в 2015 году, из них 8181имели рак толстой кишки и 3192 — РПК. В течение 2015 г. собирательный критерий — «послеоперационные осложнения» имел самый высокий потенциал для разделительного ранжирования: а) для онокохирургического лечения опухолей толстой кишки 57% и б) для РПК — 41%. Возможности для ранжирования МО возрастали при распространении наблюдений на период до 2015 года. Ни одна (группа) МО не могла быть определена как лучшая по всем критериям исходов. Реальные характеристики медицинской деятельности клиник не соответствовали зарегистрированным значениям критериев, относящихся к категории «исходы». Изученные критерии исходов в исследовании Van Groningen et al. [15] обладали несущественным потенциалом, необходимым для дифференциации МО. Авторы пришли к заключению, что применение композитных критериев или более длительного периода наблюдения могло бы повысить разделительный потенциал метода анализа качества, хотя это может отразиться на информативности оценок.
ОБСУЖДЕНИЕ И ВЫВОДЫ.
Актуальными направлениями разработок КОК хирургического лечения РПК в последние годы становятся определение составных индикаторов («textbook outcome»), поиск и обоснование роли разделительных показателей в реальной практике.
В ряде исследований [16-18] по качеству онкологической помощи композитные индикаторы (textbook outcome) рассматриваются и изучаются в свете выработки инструментов сравнительных оценок деятельности МО в контексте функционирования всей онкологической сети. При этом в исследованиях по РПК показана ненадежность ранжирования МО на основе исходов, включающих небольшое число событий. Композитные индикаторы могут считаться средством преодоления недостатков одномерных измерений качества. Исследователи разработали textbook outcomes, отражающие общее качество оказания медицинской помощи в больницах. Составные индикаторы могут обладать более высоким потенциалом при ранжировании МО, хотя их применимость также лимитирована [15].
Прежде всего, применение textbook outcomes приводит к потере специфичности информации, которую они генерируют. Кроме того, отдельные исследования показали, что корреляция между композитными индикаторами и смертностью низка, а это означает, что больница может хорошо работать по данным основанным на оценке композитных критериев, имея при этом высокий уровень смертности. Чтобы преодолеть это, можно рассмотреть возможность добавления весовых коэффициентов к композитным критериям [11].
Опубликованные в литературе суммирующие индикаторы «textbook outcome» вероятно обладают минимальными статистическими преимуществами при оценке хирургического лечения РПК. Для надежного функционирования цикла мероприятий по улучшению качества Деминга — Шухарта («планируй-делай-проверяй-воз-действуй») необходимо выполнение анализа по индивидуальным КОК [11].
Применение композитных показателей качества все же может обеспечить проведение разделительных оценок деятельности МО, когда результативность их работы оценивается по системе «все или ничего» [16]. Следует, однако, обратить внимание, что итоги баллы по обобщающим параметрам, применяемым с целью выявления МО — «нарушителей» следует интерпретировать с очень большой осторожностью [11,15].
Для дальнейшего совершенствования внутреннего контроля качества медицинской деятельности по профилю «онкология», целесообразно продолжить разработку критериев оценки качества, относящихся к различным категориям: частные системы оценок и композитные индикаторы.
В целях разработки разнообразных оценочных индикаторов хирургической помощи, оказанной пациентам с РПК, требуется интеграция различных трендов, включающих: 1) более широкое применение Дельфийской методики (подробнее см. публикации: [19,20-22]) и ее модификаций для разработки КОК в области онкохирургического лечения РПК; 2) возможное внедрение показателей структуры по А. Донабедяну (ресурсы здравоохранения) в систему формирования обобщающего анализа и т. д.
Мультимодальные подходы к оценке качества в он- только после успешной валидации в реальной клиниче-кологии обладают потенциалом, но могут внедряться ской практике.
ИНФОРМАЦИЯ ОБ АВТОРАХ
Дмитрий А. Андреев, ученая степень «doctor», присужденная в Erasmus University Medical Center, врач-дерматовенеролог, ведущий научный сотрудник, научно-клинический отдел, ГБУ г. Москвы «Научно-исследовательский институт организации здравоохранения и медицинского менеджмента Департамента здравоохранения города Москвы», Москва, Россия, e-mail: AndreevDA@zdrav.mos.ru
Александр А. Завьялов, д. м. н., профессор, врач-онколог, заведующий научно-клиническим отделом ГБУ г. Москвы «Научно-исследовательский институт организации здравоохранения и медицинского менеджмента Департамента здравоохранения города Москвы», Москва, Россия; руководитель онкологического центра ФГБУ «Государственный научный Центр Российской Федерации — Федеральный медицинский биофизический центр имени А.И. Бурназяна», Москва, Россия, e-mail: ZavyalovAA3@zdrav.mos.ru
DOI: 10.18027/2224-5057-2022-12-3-29-34
For citation: Andreev D.A., Zavyalov A.A. Performance analysis of the quality criteria for colorectal cancer surgery. Malignant Tumors. 2022 ; 12 ( 3 ) : 29-34 ( In Russ. ).
PERFORMANCE ANALYSIS OF THE QUALITY CRITERIA FOR COLORECTAL CANCER SURGERY
D.A. Andreev1, A.A. Zavyalov1, 2
1 Research Institute for Healthcare Organization and Medical Management of Moscow Healthcare Department, Moscow, Russia
2 The A. I. Burnazyan Federal Medical Biophysical Center, Moscow, Russia
Abstract: Common surgical treatment options for colorectal cancer (CRC) are high-risk interventions. The accumulation of various digital health data is critical to improving the quality of cancer care. The article analyzes cases of using the composite unified quality criteria (QC) in CRC surgery and highlights the directions of further development of specific quality indicators and an evaluation system for CRC treatment outcomes. Integrative multiparametric approaches to quality analysis have the potential to improve the quality of surgical oncology. They can be implemented along with other approaches after approval for use in real-world clinical practice.
Keywords: composite parameters, quality criteria, Delphi method, quality control, surgery, colorectal cancer
INFORMATION ABOUT AUTHORS:
Dmitry A. Andreev, MD, PhD, Leading Research Fellow, Scientific-Clinical Department, Research Institute for Healthcare Organization and Medical Management of Moscow Healthcare Department, e-mail: AndreevDA@zdrav.mos.ru
Aleksander A. Zavyalov, MD., PhD., DSc, Professor, Head of the Scientific-Clinical Department of the Research Institute for Healthcare Organization and Medical Management of Moscow Healthcare Department, Head of the Cancer Center of the Russian State Research Center — Burnasyan Federal Medical Biophysical Center of Federal Medical Biological Agency, Moscow, Russia, e-mail: ZavyalovAA3@zdrav.mos.ru
ЛИТЕРАТУРА / REFERENCES
1. Злокачественные новообразования в России в 2019 году (заболеваемость и смертность). / А. Д. Каприн, В. В. Старинский, А. О. Шахзадова eds. .- Москва : МНИОИ им. П. А. Герцена - филиал ФГБУ «НМИЦ радиологии» Минздрава России, 2020 .- 252 p.
ЗЛОКАЧЕСТВЕННЫЕ ОПУХОЛИ , . , , ,„„ MALIGNANT TUMOURS
том /vol. 12 № 3 • 2022 n . „ . „ . .
Российское общество клиническом онкологии Russian Society of Clinical Oncology
2. Сравнительная оценка лапароскопической, открытой и трансанальной мезоректумэктомии в хирургии рака прямой кишки. / Ю. С. Хильков, С. В. Чернышов, О. А. Майновская [et al.] // Колопроктология .- 2020 .- Vol. 19 .- № 1 .- P. 21-36.
3. Потемин С. Н. Интраоперационная радиотерапия фотонной радиохирургической системой в лечении местнораспространенного рака прямой кишки. / С. Н. Потемин, И. Б. Уваров, Д. С. Потемин // Сибирский онкологический журнал .- 2022 .- Vol. 21 .- № 1 .- P. 20-28.
4. Стилиди И. С. Совершенствование показателей федерального проекта «Борьба с онкологическими заболеван иями». / И. С. Стилиди, Т. Г. Геворкян, А. Г. Шпак // Вестник Росздравнадзора .- 2021 .- Vol. 1 .- P. 46-53.
5. Singh A. A. Evaluating quality in clinical care / A. A. Singh, J. R. Boyle // Surgery ( Oxford ) .- 2020 .- Vol. 38 .- № 10 .- P. 632-636.
6. Андреев Д. А. Медицинская информатика в обеспечении контроля качества онкологической помощи : перспективные направления развития. / Д. А. Андреев, А. А. Завьялов // Вестник Российской академии медицинских наук .- 2021 .- Vol. 76 .- № 5S .- P. 554-559.
7. Donabedian A. The quality of medical care: a concept in search of a definition. / A. Donabedian // The Journal of family practice .- 1979 .- Vol. 9 .- №2 .- P. 277-284.
8. Андреев Д. А. Особенности проведения контроля качества и безопасности медицинской деятельности в онкологии ( обзор литературы ). / Д. А. Андреев, А. А. Завьялов // Здравоохранение Российской Федерации .- 2021 .- Vol. 65 .- № 5 .- P. 492-497.
9. Андреев Д. А. НКО ГБУ «НИИОЗММ ДЗМ». Запись онлайн-семинара «Совершенствование внутреннего контроля качества и безопасности онкологической помощи» 17 декабря .- URL : https://niioz.ru/news/on-layn-seminar-sovershenstvovanie-vnutrennego-kontrolya-kachestva-i-bezopasnosti-onkologicheskoy-pom/ (date accessed : 17.02.2021) .- Text : electronic.
10. Choosing a Hospital for Surgery: The Importance of Information on Quality of Care / J. Dijs-Elsinga, W. Otten, M. M. Versluijs [et al.] // Medical Decision Making .- 2010 .- Vol. 30 .- № 5 .- P. 544-555.
11. Textbook outcome after rectal cancer surgery as a composite measure for quality of care: A population-based study / A. K. Warps, R. Detering, R.A. E. M. Tollenaar [ et al. ] // European Journal of Surgical Oncology .- 2021 .- Vol.
47 .- № 11 .- P. 2821-2829.
12. Incidence and predictors of textbook outcome after simultaneous liver and rectal surgeries for Stage IV rectal cancer. / N. Russolillo, V. Gentile, F. Ratti [ et al. ] / / Colorectal Disease .- 2021 .- Vol. 24 .- № 1 .- P. 50-58.
13. Is Textbook Oncologic Outcome a Valid Hospital-Quality Metric after High-Risk Surgical Oncology Procedures? / C.T. Aqui-na, A. Hamad, A. Z. Becerra [ et al. ] // Annals of surgical oncology .- 2021 .- Vol. 28 .- № 13 .- P. 8028-8045.
14. Surgery for rectal cancer : Differences in resection rates among hospitals in the Netherlands. / L. J. X. Giesen, P. B. Olthof, M. A. G. Elferink [ et al. ] // European journal of surgical oncology : the journal of the European Society of Surgical Oncology and the British Association of Surgical Oncology .- 2021 .- Vol. 47 .- № 9 .- P. 2384-2389.
15. Identifying best performing hospitals in colorectal cancer care: is it possible? / J. T. van Groningen, I. E. Ceyisakar, L. Gietelink [ et al. ] // European journal of surgical oncology: the journal of the European Society of Surgical Oncology and the British Association of Surgical Oncology .- 2020 .- Vol. 46 .- № 6 .- P. 1144-1150.
16. From Multiple Quality Indicators of Breast Cancer Care Toward Hospital Variation of a Summary Measure. / E. L. Vos, L. B. Koppert, A. Jager [ et al. ] // Value in health: the journal of the International Society for Pharmacoeconomics and Outcomes Research .- 2020 .- Vol. 23 .- № 9 .- P. 1200-1209.
17. Textbook outcome as a composite measure in oesophagogastric cancer surgery. / L. A. D. Busweiler, M. G. Schouwen-burg, M. I. van Berge Henegouwen [ et al. ] // The British journal of surgery .- 2017 .- Vol. 104 .- № 6 .- P. 742-750.
18. A National Cohort Study Evaluating the Association Between Short-term Outcomes and Long-term Survival After Esophageal and Gastric Cancer Surgery. / L. R. van der Werf, B. P. L. Wijnhoven, L. F. C. Fransen [ et al. ] // Annals of surgery .- 2019 .- Vol. 270 .- № 5 .- P. 868-876.
19. Kieft M. De Delphi-Methode nader bekeken. / M. Kieft .- Nijmegen, 2011.
20. Development of quality indicators for colorectal cancer surgery, using a 3-step modified Delphi approach. / A. R. Gagliar-di, M. Simunovic, B. Langer [ et al. ] // Canadian journal of surgery. Journal canadien de chirurgie .- 2005 .- Vol.
48 .- № 6 .- P. 441-452.
21. Niederberger M. Delphi Technique in Health Sciences : A Map. / M. Niederberger, J. Spranger // Frontiers in public health .- 2020 .- Vol. 8 .- P. 457.
22. A modified Delphi study to develop a practical guide for selecting patients with prostate cancer for active surveillance. / S. W. D. Merriel, D. Moon, P. Dundee [ et al. ] // BMC urology .- 2021 .- Vol. 21 .- № 1 .- P. 18.
