CC BY
85УДК 519.23:303.714:004.43: 616.21-07.616-07 https://doi.org/10.18692/1810-4800-2020-1-46-55
Меры информативности диагностических медицинских технологий в оториноларингологии: вычисление и интерпретация
А. А. Корнеенков1, С. В. Рязанцев1, Е. Э. Вяземская1, М. А. Будковая1
1 Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи, Санкт-Петербург, 190013, Россия
The measures of iiiformativeness of diagnostic medical technologies in otorhinolaryngology: calculation and interpretation
A. A. Korneenkov1, S. V. Ryazantsev1, E. E. Vyazemskaya1, M. A. Budkovaya1
1 Saint Petersburg Research Institute of Ear, Throat, Nose and Speech, Saint Petersburg, 190013, Russia
В статье рассмотрены типичные задачи количественного сравнения и анализа эффективности диагностических медицинских технологий. Обсуждаются показатели клинической информативности диагностических методов в оториноларингологии, количественных методов их вычисления и интерпретации, их важность для принятия диагностических решений. На примере одного из диагностических методов описаны алгоритмы сравнения исследуемого диагностического теста с тестом золотого стандарта по показателям клинической информативности: чувствительности, специфичности, прогностичности положительного и отрицательного результатов теста, точности, отношения правдоподобия положительного и отрицательного результатов теста. Рассмотрены вопросы построения ROC-кривых на примере диагностических показателей носовой обструкции: воздушного потока и давления, а также расчета и представления AUC (на одном рисунке), нахождения диагностических пороговых точек для двух тестов (изменения потока и сопротивления) и проверки статистической гипотезы о равенстве показателя AUC двух указанных тестов, создания номограммы для вычисления послетестовой вероятности болезни. Показано, как с помощью представленной методики можно эффективно вычислять все стандартные операционные характеристики диагностических медицинских технологий и дополнительные полезные показатели. Все расчеты производились в статистической программе R. В тексте статьи представлены программные коды языка R с пояснениями.
Ключевые слова: операционные характеристики диагностических медицинских технологий, чувствительность, специфичность, прогностичность положительного результата теста, прогностичность отрицательного результата теста, точность, отношение правдоподобия положительного и отрицательного результатов теста, программа R, R-язык.
Для цитирования: Корнеенков А. А., Рязанцев С. В., Вяземская Е. Э., Будковая М. А. Меры информативности диагностических медицинских технологий в оториноларингологии: вычисление и интерпретация. Российская оториноларингология. 2020;19(1):46-55. https://doi.org/10.18692/1810-4800-2020-1-46-55
The article discusses typical tasks of quantitative comparison and analysis of efficacy of diagnostic medical technologies. The authors discuss the indicators of clinical informativeness of diagnostic methods in otorhinolaryngology, the quantitative methods for their calculation and interpretation, their importance for making diagnostic decisions. Using one of the diagnostic methods as an example, they describe the algorithms for comparison of the studied diagnostic test with the "gold standard" test according to clinical information indicators: sensitivity, specificity, positive and negative predictive value, accuracy, the ratio of positive and ^ negative test result likelihood. The authors consider the problems of constructing ROC (receiver operating
characteristic) curves using the example of diagnostic indicators of nasal obstruction: airflow and pressure, as "3 well as the calculation and presentation of AUC (area under curve, in one figure), finding diagnostic threshold
s^ points for two tests (the changes in flow and resistance), and testing the statistical hypothesis about the equality
^ of AUC of these two tests, building of nomogram for calculation the post-test disease probability of disease. It
"o is shown how all the standard operational characteristics of diagnostic medical technologies and additional
useful indicators can be efficiently calculated using the presented method. All calculations were performed in ■S the statistical program R. The text of the article contains program codes of the R language with explanations.
a Keywords: operational characteristics of diagnostic medical technologies, sensitivity, specificity, predictive
value of positive test results, predictive value of negative test results, accuracy, the ratio of positive and negative .¡3 test result likelihood, R program, R-language.
© Коллектив авторов, 2020 2020:19:1(104)
For citation: Komeenkov A. A., Ryazantsev S. V., Vyazemskaya E. E., Budkovaya M. A. The measures of informativeness of diagnostic medical technologies in otorhinolaryngology: calculation and interpretation. Rossiiskaya otorinolaringologiya. 2020;19(l):46-55. https://doi.org/10.18692/1810-4800-2020-l-46-55
Введение
Несмотря на то что количество полезных диагностических медицинских технологий (ДМТ), используемых в клинической практике, постоянно растет, повышение эффективности медицинской помощи требует уменьшения числа необоснованных или неправильных диагностических назначений, результат которых никак не изменяет ни диагноз, ни лечебно-диагностическую тактику. В этих условиях вычисление и использование мер количественного описания диагностических методов делает прозрачными и воспроизводимыми процесс выбора ДМТ и прогнозирование результата диагностики.
Хотя понятие клинической информативности диагностических тестов, показатели и критерии оценки известны, стандартизованы [1] и даже являются обязательными при описании медицинских технологий диагностики и скрининга [2], их редко используют в отечественных публикациях по оториноларингологии. Анализ статей одного из ведущих отечественных журналов по оториноларингологии за последние 4 года показал, что из 13 статей, посвященных новым диагностическим методам, только в одной приведены характеристики информативности диагностической медицинской технологии. Причины подобной ситуации, как нам кажется, связаны с трудностями восприятия математических терминов, некорректным переводом оригинальных методик на русский язык, терминологической путаницей, а иногда просто с досадными опечатками в учебниках.
Цель исследования
Обсуждение показателей клинической информативности ДМТ в оториноларингологии, методов вычисления послетестовой вероятности диагностируемой болезни на примере одного из широко используемых диагностических методов оториноларингологии с помощью программной среды R.
Материалы и методы исследования
Определение клинической информативности диагностической медицинской технологии сводится к сравнению ее с тестом золотого стандарта диагностики, который однозначно определяет наличие болезни или ее отсутствие. В тех случаях, когда результаты диагностического теста являются дихотомическими («положительный» и «отрицательный» результат), возможные результаты представляются в виде таблицы 2*2 (табл. 1) и на их основе вычисляются основные операционные (или рабочие) характеристики теста (ОХТ).
Несмотря на то что исходной матрицей для расчетов клинический информативности являются всего четыре значения четырехпольной таблицы, в настоящее время не прекращается поиск рассчитанных на их основе новых показателей, дающих количественную, интуитивно понятную оценку эффективности теста (табл. 2).
Ниже приводятся описание указанных в таблице мер информативности МДТ и методика их вычисления.
Чувствительность (Sensitivity, Se, иногда Sn) -вероятность того, что результат теста будет положительным при наличии заболевания (англ. True positive rate, TPR): TPR =TP/(TP + FN).
Специфичность (Specificity, Sp) - вероятность того, что результат теста будет отрицательным при отсутствии заболевания (англ. True negative rate, TNR): TNR = TN / (TN + FP).
Предсказательная ценность положительного результата (Positive predictive value, PPV) - вероятность того, что заболевание присутствует, когда тест положительный: PPV =TP / (TP + FP).
Предсказательная ценность отрицательного результата (Negative predictive value, NPV) - вероятность того, что заболевание отсутствует, когда тест отрицательный: NPV = TN / (TN + FN).
Отношение правдоподобия положительного результата теста (Positive likelihood ratio, LR+ или LR+, plr) - отношение между вероятностью положительного результата теста при наличии забо-
Т а б л и ц а 1
Результаты диагностического теста (диагностической медицинской технологии)
Diagnostic test results (diagnostic medical technology)
Болезнь (Disease) по золотому стандарту
диагностики Есть (D+) Нет (D-)
T a b l e 1
Результат теста (Test) Положительный (T+) TP FP
Клинический тест Отрицательный (T-) FN TN
n p h m e h a h h e: True positive - TP; True negative - TN; False positive - FP; False negative - FN.
Л
о
s
1
0
S т
S' f
1
т f
I
Показатели диагностического теста Diagnostic Test Indicators
Т а б л и ц а 2 T a b l e 2
Основные
- чувствительность ^е);
- специфичность ^р);
- предсказательная ценность положительного результата (PPV);
- предсказательная ценность отрицательного результата (NPV);
- отношение правдоподобия положительного результата теста (PLR);
- отношение правдоподобия отрицательного результата теста (NLR);
- диагностическая эффективность теста (точность) (Асс)
Дополнительные
- диагностическое отношение шансов (DOR);
- индекс Юдена J;
- число пациентов, необходимое для диагностики (NND);
- сводный прогнозный индекс (PSI)
левания и вероятностью положительного результата теста при отсутствии заболевания, т. е. TPR/ FPR, или LR+ = Se / (1 - Sp).
Отношение правдоподобия отрицательного результата теста (Negative likelihood ratio, LR-, LR-, nlr) - отношение вероятности отрицательного результата теста при наличии заболевания и вероятности отрицательного результата теста при отсутствии заболевания, т. е. FNR/TNR = (1 -Se)/Sp.
Диагностическая эффективность теста или точность (Accuracy, Acc) - общая вероятность того, что пациент будет правильно классифицирован, определяется как доля всех тестов, которые дают правильный результат: Acc = (TP + TN) / (TP + TN + FP + FN).
Кажущаяся распространенность болезни среди пациентов, участвующих в исследовании (Apparent prevalence, aprev) - общая вероятность того, что результат теста на наличие заболевания будет положительным относительно всех проведенных тестов: aprev = (TP + FP)/(TP + TN + FP + FN).
Истинная распространенность болезни среди пациентов, участвующих в исследовании (англ. True prevalence, tprev): общая вероятность наличия заболевания относительно всех проведенных тестов: Tprev = (TP + FN)/(TP + TN + FP + FN).
Диагностическое отношение шансов (Diagnostic odds ratio, DOR) - отношение шансов теста быть положительным, если у субъекта за-„о болевание, к шансам теста быть положительным, если у субъекта нет заболевания: DOR = (TP/ FP) / (FN/TN). "о Индекс Юдена J (Youden's index) - это разница £ между TRP и FPR [долей истинно положительных ■2 результатов (чувствительностью теста) и долей ^ ложноположительных результатов]. Чем больше J^ это различие, тем лучше работает диагностическая технология. Так как FPR - это 1 - TNR, TRP -S3 это Se, TNR - это Sp, то соответственно:
J = TRP - FPR = TRP - (1 - TNR) = = TRP - 1 + TNR = Se + Sp - 1.
Число, необходимое для диагностики (The number needed to diagnose, сокр. NND), вычисляется путем инверсии индекса Юдена (1/J) и определяется как число пациентов, которые должны быть протестированы, чтобы получить один правильный, т. е. истинно положительный, тест (результат теста). Для диагностических тестов будут желательны малые значения NND [3].
Сводный прогнозный индекс (predictive summary index, PSI) отражает общий выигрыш в уверенности в болезни от выполнения диагностического теста: PSI = PPV + NPV - 1. Обратная величина PSI предлагается как число пациентов, которые должны быть обследованы, чтобы правильно предсказать диагноз заболевания.
Результаты многих типичных диагностических тестов представлены в количественных шкалах (например, скорость воздушного потока в верхних дыхательных путях, мл/с), и для удобства интерпретации их результатов часто выбирается одна точка - диагностический порог, выше или ниже которого считается, что у пациента присутствует или отсутствует интересующее заболевание. Для нахождения этого порога (cut-off point) используется ROC-анализ (от англ. receiver operating characteristic, рабочая характеристика приемника). Кривая ROC представляет собой график, показывающий эффективность диагностики при всех возможных диагностических порогах. Для оценки общей производительности теста используется AUC (от англ. Area Under Curve, площадь под ROC-кривой), который измеряет всю двумерную область под всей кривой ROC от (0, 0) до (1, 1) и обеспечивает совокупный показатель производительности по всем возможным диагностическим порогам. При сравнении производительности двух тестов используется тест сравнения AUC двух ДМТ [4] с расчетом уровня значимости p - вероятности того, что при усло-
вии верности нулевой гипотезы (т. е. равнозначности двух ДМТ или равенства AUC двух ДМТ) наблюдалось различие между этими AUC [5].
Оценка клинической информативности ДМТ подразумевает не только расчет ОХТ, но и оценку вероятности болезни после получения результата теста. При этом вероятность болезни до теста и после теста выражается в интуитивно более понятной форме шансов. Шансы события (например, болезни) - это отношение вероятности того, что событие произойдет, к вероятности того, что событие не произойдет. Например, шансы того, что случайно выбранный из популяции в 100 человек, в которой 20 человек заражены болезнью, субъект будет больным, составляет двадцать к восьмидесяти (20 : 80) или через нахождение наименьшего общего кратного - один к четырем, поскольку выборочное пространство состоит из 100, а событие происходит для двадцати, а не для остальных восьмидесяти субъектов. Шансы могут быть выражены в тексте через предлоги «к» и «на» и относятся к коэффициентам соотношения. Основа расчета шансов (Odds) на основе вероятности (Probability, P) выглядит следующим образом: O = P / (1 - P).
Отношение правдоподобия положительного или отрицательного результата ДМТ (LR) является коэффициентом, который трансформирует предтестовую (pretest odds) в послетестовую (posttest odds) вероятность болезни, выраженную через шансы по известному правилу Байеса (Bayes' rule): posttest odds = LR ■ pretest odds.
Для визуализации перехода от предтестовой вероятности болезни к ее послетестовой вероятности при положительном или отрицательном результате диагностического теста используются номограмма Фагана (Fagan) и ее различные усовершенствованные варианты. Номограмма Фагана - это графический инструмент для оценки того, насколько результат диагностического теста влияет на вероятность заболевания пациента [6].
В этом исследовании в качестве исходных данных для анализа был использован набор синтетических данных, состоящий из измерений показателей передней активной риноманометрии (ПАРМ), оценки наличия интересующего состояния функциональных изменений слизистой оболочки полости носа на основе клинических данных, и по диагностическому тесту золотого стандарта. Эти данные были сгенерированны в среде R, прекрасно зарекомендовавшей себя для решения статистических задач [7-10].
Как известно, сущность метода передней активной риноманометрии заключается в количественном измерении градиента давления и скорости воздушного потока, которые создаются в условиях физиологического носового дыхания. Результаты ПАРМ выдаются прибором в виде
графиков, построенных в системе координат. Полученные риноманометрические кривые позволяют измерить основные аэродинамические показатели носового дыхания, сравнить их с физиологическими значениями для исключения или подтверждения наличия назальной обструкции с определением степени выраженности последней. Проведение риноманометрического исследования до и после пробы с деконгестантом снимает проявление «носового цикла» и позволяет дифференцировать причины назальной обструкции на структурные, обусловленные аномалиями развития наружного носа и внутриносовых структур, и функциональные, развивающиеся вследствие развития отека слизистой оболочки полости носа различной этиологии [11-13]. Результаты ПАРМ представлены в статье в международной системе СИ: носовое сопротивление - в сПа/мл, скорость носового потока - в мл/с.
Программный код языка R приведен в файле dtevaluation.R на сайте ФГБУ «СПб НИИ ЛОР» в разделе https://lornii.ru/press-centr/publikatsii/ и может быть использован для генерации идентичных данных. Набор данных содержал пять переменных, включая идентификатор субъекта (пациента) (id), две дихотомичные переменные наличия (1) или отсутствия (0) болезни (функциональных изменений слизистой оболочки полости носа) по тесту золотого стандарта (OUT) и исследуемого теста на основе клинических данных (VR) и числовые переменные воздушного потока (TFLW) и давления (TRES). Часть набора данных представлена на рис. 1.
В исследовании были продемонстрированы методы решения следующих задач:
1) сравнение исследуемого диагностического теста на основе клинических данных с тестом золотого стандарта по показателям клинической информативности с помощью рассчитанных Se, Sp, NPV, PPV, Acc, LR+ и LR-;
2) построение ROC-кривых по показателям скорости воздушного потока и носового сопротивления, расчет и представление AUC, нахождение диагностических пороговых точек для TFLW и TRES;
head(df)
id OUT VR TFLW TRES
1 1 1 1 144 0.38
2 2 1 1 87 0.53
3 3 1 1 138 -0.11
4 4 0 0 68 0.03
5 Б 1 1 137 -0.84
6 6 1 1 142 -0.44
Рис. 1. Часть набора исходных данных для расчетов. 3
Fig. 1. Part of the source data set for calculations. ¿^
3) проверка статистической гипотезы о равенстве АиС двух указанных тестов;
4) создание номограммы для вычисления по-слетестовой вероятности болезни.
Результаты и обсуждение
R-код для расчетов в приведенных ниже задачах содержится в файле dtevaluation.R на сайте ФГБУ «СПб НИИ ЛОР» в разделе https://lornii.ru/ press-centr/puЫikatsii/
Задача 1. Сравнение исследуемого диагностического теста с тестом золотого стандарта по показателям клинической информативности Se, Sp, ОТУ, РРУ, Асс, LR+ и LR-.
Так как в исходном наборе записей каждая строка (запись) соответствует одному пациенту, у которого переменные «ОиТ» и «УЯ» могут принимать значение 0 или 1, требуется подсчет количества записей по четырем шаблонам: если «11», то это - ТР, «00» - "Ш, «10» - FP, и «01» - FN. Например, если у одного пациента исследуемый тест дал положительный результат (1), а тест «золотого стандарта» отрицательный (0), то эта запись соответствует шаблону «10» и относится к варианту результата - ложноположительному результату FP. Подсчет частот каждого из вариантов (с помощью функции табуляции «^аЫеО») позволяет получить матрицу результатов (или решений) теста, транспонировать ее в привычный вид, когда значения ТР находятся в верхней левой ячейке с помощью функции «Rev0» из пакета «DescTools», дать названия строкам и столбцам матрицы с помощью функций «colnames0» и «rownames0», применить функцию «epi.tests0» из пакета «epiR» для расчета показателей клинической информативности ДМТ (их точечных оценок и 95% доверительных интервалов) и вывести результат с помощью «^итта^О»^ виде машинограммы.
Я-код приведен в табл. 3, получившаяся матрица решений - в табл. 4.
Чувствительность ^е): - 0.92 (0.89, 0.94), специфичность ^р): - 0.89 (0.86, 0.92).
Отношение правдоподобия положительного результата теста - 8.40 (6.48, 10.90), LR- -
0.09 (0.07, 0.12), прогностичность положитель-
ного результата (PPV) - 0.91 (0.88, 0.93), отрицательного результата (NPV) - 0.91 (0.88, 0.93), диагностическая эффективность (Acc): 0.91 (0.89, 0.92).
Кажущаяся распространенность болезни среди пациентов, участвующих в исследовании (Apparent prevalence как aprev = (TP + FP)/ (TP + TN + FP + FN) - 0.54 (0.51, 0.57). Истинная распространенность болезни среди пациентов, участвующих в исследовании (True prevalence, tprev = (TP + FN)/(TP+TN+FP+FN)) - 0.53 (0.50, 0.57). Диагностическое отношение шансов (Diagnostic odds ratio) diag.or 92.9(60.7, 142.3). Индекс J Юдена (Youden) 0.81(0.75; 0.8б). Число, необходимое для диагностики (NND) 1.2 (1.2, 1.3).
Интерпретация результатов оценки клинической информативности теста по выбранным показателям достаточно проста. Этот тест имеет достаточно высокую дискриминационную способность, из ста больных у 92 положительный результат теста на болезнь, а из ста не больных у 89 он показывает отсутствие болезни. Прогностичность положительного и отрицательного значений теста можно использовать напрямую для оценки вероятности болезни при определенном результате теста, только если соотношение больных и не больных данной болезнью в исследовании соответствует ее популяционной распространенности.
Задача 2. Построение ROC-кривых для двух диагностических медицинских технологий - использование показателей скорости носового потока TFLW и показателей носового сопротивления TRES; расчет и представление AUC (на одном рисунке), нахождение диагностических пороговых точек для TFLW и TRES (на каждом свою).
Для построения ROC-диаграммы была использована функция «plot.roc()» из пакета pROC. На квадратной диаграмме отображена пороговая точка со значениями специфичности и чувствительности теста при ее использовании. Вертикальные планки погрешности отображают 95% доверительный интервал для чувствительности теста в этой точке, горизонтальные - 95% доверительный интервал для специфичности теста в этой точке. R-код построения диаграммы ROC
f
1 S-
"о
•5 'С о
0
1
-у
о
R-код для вычисления показателей клинической информативности R-code for calculating clinical information indicators
Т а б л и ц а 3 T a b l e 3
Т а б л и ц а 4
Матрица решений
T a b l e 4
Decision matrix
Disease
+ -
Test + 491 I 51 542 - 43 I 415 458
534 466 1000
для показателя скорости носового потока TFLW представлен в табл. 5.
R-код для показателя носового сопротивления в TRES аналогичен, за исключением того, что вторую строку нужно заменить на «rocTRES<-plot. roc(df$OUT, as.numeric(df$TRES),».
На рис. 2 представлены диаграммы ROC для двух диагностических медицинских технологий со значением пороговой точки (cut-off point), 95% ДИ специфичности и чувствительности в этой точке. Значение рядом с пороговой точкой представлено в формате: порог (Sp; Se).
Задача 3. Проверка статистической гипотезы о равенстве AUC двух указанных тестов.
Процедура проверки статистических гипотез имеет стандартную последовательность этапов, включающих формулировку гипотез (основной H0 и альтернативной Hj) и определение критической области (значение ошибки первого рода а). В нашем случае H0: AUCtflw = AUCtres, а Нг: AUCtflw * AUCtres, а = 0,05.
Для построения кривых ROC на одной диаграмме была также использована функция «plot. roc()» с дополнительными аргументами, отвечающими за цвет линии, цвет надписи со значением AUC, и координатами этой надписи для каждой из кривой. Для проверки статистической гипотезы о равенстве AUC двух указанных тестов использовалась функция «roc.test()» из того же пакета pROC с выводимым в виде текстовой надписи значением уровня значимости p - «p-value». R-код построения диаграммы ROC для двух показателей TFLW и TRES представлен в табл. 6.
На рис. 3 представлены диаграммы ROC и области AUC для двух диагностических медицинских технологий. Уровень значимости p-value указывает на вероятность того, что, при условии
Т а б л и ц а 5
R-код
T a b l e 5
R-code
1. par(pty = "s")
2. rocTFLW<-plot.roc(df$OUT, df$TFLW,
3. percent=TRUE, ci=TRUE, of="thresholds", thresholds="best",
4. print.thres="best",
5. auc.polygon=TRUE, grid=TRUE, auc.polygon.col=rgb(.3,0,.8,0.2))
Рис. 2. Диаграммы ROC для двух диагностических медицинских технологий со значением пороговой точки (cut-off point), 95% ДИ чувствительности и специфичности в этой точке. Значение рядом с пороговой точкой представлено в формате: порог (Sp; Se).
Fig. 2. ROC diagrams for two diagnostic medical technologies with a cut-off point value, 95% CI sensitivity and specificity at this point. The value next to the threshold point is presented in the format: threshold (Sp; Se).
3 f
1 If
Т а б л и ц а б
R-код
T a b l e б
R-code
"blue"), lwd=2)
p-value = < 2 22е-16 f
УдиС: 0 761
Г / AUC 0 525
- Total Flow
- Total Resist
10 0 8 0 6 0 4 0 2 0 0
Specificity
Рис. 3. Диаграммы ROC и области AUC для двух диагностических медицинских технологий. Fig. 3. ROC and AUC areas for two diagnostic medical technologies.
верности нулевой гипотезы (HO), AUC одного теста будет не равен AUC другого теста. В нашем случае вероятность p-value = 2, 22e-16 меньше установленного значения а = O,O5, поэтому можно отклонить нулевую гипотезу о равенстве AUC двух тестов и принять альтернативную (Нц).
Задача 4. Создание номограммы для вычисления послетестовой вероятности болезни.
Хотя существуют пакеты R для создания более -S сложных номограмм (например, пакет «rms» [9]), ¡^ в R нет простой функции построения графиков 'С номограмм.
"о В табл. 7 представлен R код для построения "С диаграммы Фагана и линий, соответствующих о переходу предтестовой вероятности болезни при ^ положительном (красная линия) результате те-J¿ ста и отрицательном (зеленая линия) результате теста. Функция «nomogrammer()» - это простая .S функция визуализации для построения номо-
грамм Фагана [6] в виде объекта ggplot2. Они используются, чтобы проиллюстрировать переход от предтестовой вероятности болезни к ее послетестовой вероятности при положительном или отрицательном результате диагностического теста.
В качестве аргумента для построения линий (рис. 4) указаны значения чувствительности (0.92) и специфичности (0.89) теста, полученные при решении задачи № 1.
На графике представлены линии, соответствующие положительному (зеленая линия) и отрицательному (красная линия) результатам теста при конкретных заданных значениях чувствительности (0.92) и специфичности (0.89) теста. Серой линией обозначена линия без эффекта, соответствующая отношению правдоподобия LR = 1.
Использовать подобную номограмму достаточно просто. Предположим, в среднем по популяции заболевание обнаруживается в 5%. Если не проводить тест, то знания о вероятности наличия или отсутствия заболевания у пациента никак не изменятся (серая линия через LR = 1 соединяет одинаковые значения предтестовой и послетесто-вой вероятности в 5%).
Отношение правдоподобия положительного результата теста по заданным значениям чувствительности ДМТ Se = Sens = 0.92 и специфичности Sp = Spec = 0.89 вычисляется программой R по формуле LR+ = PLR = Se/(1 - Sp) = 0.92/ (1 - 0.89) = 8.4. На номограмме положительный результат теста отображен зеленой линией, которая пересекает шкалу предтестовой вероятности в значении 5%, шкалу LR в значении 8.4 и шкалу послетестовой вероятности примерно в значении 30%. Можно вычислить это значение более точно по приведенной выше формуле: posttest_odds = LR * pretest_odds=30,7%. Таким образом, вероятность обнаружения заболевания в результате использования теста увеличилась с 5 до 30,7%.
Аналогичный расчет R-код делает для отрицательного результата теста: LR- = NLR = (1 - Se)/
Т а б л и ц а 7
R-код
T a b l e 7
R-code
1. source("https://raw.githubusercontent.com/achekroud/nomogrammer/master/
nomogrammer.r")
2. library(ggplot2)
3. library(scales)
4. nomogrammer(Prevalence = .05, Detail = TRUE, NullLine=TRUE, LabelSize=4,
5. Sens = 0.91947566,
6. Spec = 0.89055794)
Probability^)
Pre-Test Prob = 5.00%
PIR = 8 4 . NLR = 0 0904
post pos = 30.7% . neg = 0 474%
1000
500
200
100
50
20
._____10
2
0.6
02
Nue
0ЮК
001 \
0005
0002
0.001 N^
95
90
30 70 60 50 40 30 20
10 5
2 1
0-5 Posl-Test Probability!*.)
Без влияния LR=1 LR+
Рис.4. Номограмма Фагана с линиями, соответствующими переходу предтестовой вероятности болезни при положительном (красная линия) результате теста и отрицательном (зеленая линия) результате теста. Fig. 4. Fagan nomogram with lines corresponding to the transition of the pre-test probability of illness with a positive (red line) test result and a negative (green line) test result.
Sp = (1 - 0.92)/0.89 = 0.09, posttest_odds = LR * pretest_odds = 0,474%. На номограмме результат теста отображен красной линией, которая пересекает шкалу предтестовой вероятности в значении 5%, шкалу отношения правдоподобия в значении 0.09 и шкалу послетесовой вероятности в значении 0,474%. Таким образом, вероятность обнару-
жения заболевания при отрицательном результате ДМТ уменьшилась с 5 до 0,474%.
Выводы
Использование показателей клинической информативности позволяет решить несколько важных задач доказательной медицины, к которым относится выбор наиболее эффективной диагностической медицинской технологии, нахождение оптимального диагностического порога в случае, когда результат теста представлен количественно, и вычисление вероятности диагностируемой болезни после получения определенного теста.
Использование количественных показателей позволяет проводить сравнение, оценку и обоснованный выбор технологии (теста). Результат диагностического теста не дает точного диагноза, а только оценивает вероятность наличия заболевания после проведения теста. Она зависит от вероятности болезни до теста, а также от чувствительности и специфичности теста (и, следовательно, его LR). Для оценки вероятности болезни до проведения диагностического теста могут использоваться различные клинические оценочные системы, например, система скоринговой оценки вероятности осложнения операции при болезни Меньера [14].
Представленный алгоритм решения этих задач с помощью программной среды R позволяет понять и воспроизвести все необходимые процедуры и получить результат.
Авторы заявляют об отсутствии конфликта интересов.
Л
о
ЛИТЕРАТУРА
1. ГОСТ Р 53022.3-2008. Технологии лабораторные клинические. Требования к качеству клинических лабораторных исследований. Часть 3. Правила оценки клинической информативности лабораторных тестов. http:// docs.cntd.ru/document/1200072565 (дата обращения: 31.10.2019)
2. ГОСТ Р 52600.0-2006. Протоколы ведения больных. Общие положения (с Поправкой). Приложение А (обязательное). Критерии оценки диагностических, лечебных, профилактических, реабилитационных медицинских технологий. http://docs.cntd.ru/document/1200047915 (дата обращения: 31.10.2019)
3. Linn S., Grunau P. D. New patient-oriented summary measure of net total gain in certainty for dichotomous diagnostic tests. Epidemiol. Perspect. Innov. 2006 Oct;3(1):11. https://doi.org/10.1186/1742-5573-3-11
s
1
0
S S'
1 I
T
If
4. DeLong E. R., DeLong D. M., Clarke-Pearson D. L. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988;44(3):837-845. https://doi. org/10.2307/2531595
5. Wasserstein Ronald L., Lazar Nicole A. The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016;70(2):129-133. https://doi.org/10.1080/00031305.2016.1154108.
6. Fagan T. J. Letter: nomogram for Bayes theorem. The New England journal of medicine. 1975;293(5):257. https://doi. org/10.1056/NEJM197507312930513
7. Корнеенков А. А., Фанта И. В., Вяземская Е. Э. Оценка динамики симптомов болезни методами анализа выживаемости. Российская оториноларингология. 2019; 4:8-14. https://doi.org/10.18692/1810-4800-2019-4-8-14
8. Корнеенков А. А., Лиленко С. В., Лиленко А. С., Вяземская Е. Э., Бахилин В. М. Использование модифицированной процедуры последовательного распознавания Вальда для определения исхода оперативного лечения у пациентов с болезнью Меньера. Российская оториноларингология. 2019;18(3):54-59. https://doi. org/10.18692/1810-4800-2018-3-54-59
9. Корнеенков А. А. Визуализация результатов метаанализа клинических исследований. Российская оториноларингология. 2019;18(1):8-15. https://doi.org/10.18692/1810-4800-2019-1-8-15
10. Корнеенков А. А. Разработка скоринговой карты для прогнозирования клинического исхода в оториноларингологии. Российская оториноларингология. 2019;18(2):25-35. https://doi.org/10.18692/1810-4800-2019-2-25-35
11. Будковая М. А., Артемьева Е. С. Особенности нарушений носового дыхания у пациентов с назальной обструкцией. Российская оториноларингология. 2019;18(1):16-23. https://doi.org/10.18692/1810-4800-2019-1-16-23
12. Рязанцев С. В., Будковая М. А., Артемьева Е. С. Дыхательная функция носа: современные подходы к диагностике и лечению патологических состояний. РМЖ. Медицинское обозрение. 2019 № 9(II): 73-76. https:// www.rmj.ru/articles/otorinolaringologiya/Dyhatelynaya_funkciya_nosa_sovremennye_podhody_k_diagnostike_i_ lecheniyu_patologicheskih_sostoyaniy/?print_page=Y
13. Будковая М. А., Артемьева Е. С. Объективная оценка функции носового дыхания у пациентов после ринохирур-гических вмешательств. Российская оториноларингология. 2018;1(92):25-33. https://doi.org/10.18692/1810-4800-2018-1-25-33.
14. Корнеенков А. А., Лиленко С. В., Лиленко А. С., Вяземская Е. Э., Бахилин В. М. Возможности ROC-анализа для категоризации переменных в модели прогноза исхода оперативного лечения у пациентов с болезнью Меньера. Российская оториноларингология. 2018;4(98):62-68. https://doi.org/10.18692/1810-4800-2018-4-62-68
■ü & 11.
S-
"о
•S
'С о ■kj о
! -у
REFERENCES
1. GOST R 53022.3-2008 Clinical laboratory technologies. Quality requirements for clinical laboratory tests. Part 3. Rules for evaluating the clinical informativeness of laboratory tests. http://docs.cntd.ru/document/1200072565 (date of access: 10.31.2019) (in Russ.)
2. GOST R 52600.0-2006 Patient management protocols. General Provisions (as amended)). Appendix A (mandatory). Evaluation criteria for diagnostic, therapeutic, preventive, and rehabilitative medical technologies. http://docs.cntd.ru/document/1200047915 (date of access: 10.31.2019) (in Russ.)
3. Linn S., Grunau P. D. New patient-oriented summary measure of net total gain in certainty for dichotomous diagnostic tests. EpidemiolPerspectInnov. 2006 Oct;3(1):11. https://doi.org/10.1186/1742-5573-3-11
4. DeLong E. R., DeLong D. M., Clarke-Pearson D. L. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988;44(3):837-845. https://doi.org/10.2307/2531595
5. Wasserstein Ronald L., Lazar Nicole A. The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016; 70 (2): 129-133. https://doi.org/10.1080/00031305.2016.1154108.
6. Fagan T. J. Letter: nomogram for Bayes theorem. The New England journal of medicine. 1975;293(5):257. https://doi.org/10.1056/ NEJM197507312930513
7. Korneenkov A. A. Fanta I. V. Vyazemskaya E. E. The Assessment of disease symptom dynamics by using survival analysis methods. Rossiiskaya otorinolaringologiya. 2019;4:8-14. https://doi.org/10.18692/1810-4800-2019-4-8-14 (in Russ.)
8. Korneenkov A. A., Lilenko S. V., Lilenko A. S., Vyazemskaya E. E., Bakhilin V. M. Use of the modified procedure of Wald's sequential probability ratio test for determining the outcome of a surgical treatment in patients with Meniere's disease. Rossiiskaya otorinolaringologiya. 2019;18(3):54-59. https://doi.org/10.18692/1810-4800-2018-3-54-59 (in Russ.)
9. Korneenkov A. A. Visualization of the results of a meta-analysis of clinical studies. Rossiiskaya otorinolaringologiya. 2019;18(1): 8-15. https://doi.org/10.18692/1810-4800-2019-1-8-15 (in Russ.)
10. Korneenkov A.A. Development of a scorecard for predicting clinical outcome in otorhinolaryngology. Rossiiskaya otorinolaringologiya. 2019;18(2):25-35. https://doi.org/10.18692/1810-4800-2019-2-25-35 (in Russ.)
Budkovaya M. A., Artemyeva E. S. The specific features of nasal breathing disorders in patients with nasal obstruction. Rossiiskaya otorinolaringologiya. 2019;18(1):16-23. https://doi.org/10.18692/1810-4800-2019-1-16-23 (in Russ.)
12. Ryazantsev S. V., Budkovaya M. A., Artemieva E. S. Nasal breathing: current diagnostic and treatment approaches. RMJ. Medical Review. 2019;9(II):73-76. (in Russ.) https://www.rmj.ru/articles/otorinolaringologiya/Dyhatelynaya_funkciya_nosa_ sovremennye_podhody_k_diagnostike_i_lecheniyu_patologicheskih_sostoyaniy/?print_page=Y
13. Budkovaya M. A., Artemyeva E. S. Objective assessment of the function of nasal breathing in patients after rhinosurgical interventions. Rossiiskaya otorinolaringologiya. 2018;1(92):25-34 (in Russ.). https://doi.org/10.18692/1810-4800-2018-1-25-33.
14. Korneenkov A. A., Lilenko S. V., Lilenko A. S., Vyazemskaya E. E., Bakhilin V. M. The opportunities of roc-analysis for categorization of variables in the model for forecasting the outcome of surgical treatment in the patients with Meniere's disease. Rossiiskaya otorinolaringologiya. 2018;4(98):62-68. https://doi.org/10.18692/1810-4800-2018-4-62-68 (In Russ.)
о
Сведения об авторах
H Корнеенков Алексей Александрович - доктор медицинских наук, профессор, заведующий лабораторией информатики и статистики, Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи (190013, Россия, Санкт-Петербург, Бронницкая ул., д. 9); тел.: +7 (904) 554-07-40, e-mail: korneyenkov@gmail.com ORCID: http://orcid.org/0000-0001-5870-8042
Рязанцев Сергей Валентинович - доктор медицинских наук, профессор, заместитель директора по научно-координационной работе, Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи (190013, Россия, Санкт-Петербург, Бронницкая ул., д. 9); тел.: +7 (812)316-28-52, e-mail: 3162852@mail.ru https://orcid.org/0000-0003-1710-3092
Вяземская Елена Эмильевна - инженер лаборатории информатики и статистики, Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи (190013, Россия, Санкт-Петербург, Бронницкая ул., д. 9); тел.: +7 (911) 996-08-89, e-mail: vyazemskaya.elena@gmail.com
https://orcid.org/0000-0002-4141-2226
Будковая Марина Александровна - кандидат медицинских наук, научный сотрудник отдела разработки и внедрения высокотехнологичных методов лечения, Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи (190013, Россия, Санкт-Петербург, Бронницкая ул., д. 9); тел.: +7-921-863-81-25; e-mail: marina-laptijova@yandex.ru https://orcid.org/ 0000-0003-0219-1413
Information about the authors
H Alexei A. Korneenkov - MD, Professor, Head of the Laboratory of Informatics and Statistics, Saint Petersburg Research Institute of Ear, Throat, Nose and Speech (9, Bronnitskaya str, Saint Petersburg, 190013, Russia); tel.: +7 (904) 554-07-40, e-mail: korneyenkov@ gmail.com
ORCID: http://orcid.org/0000-0001-5870-8042
Sergei V. Ryazantsev - MD, Professor, Deputy Director for Science, Saint Petersburg Research Institute of Ear, Throat, Nose and Speech (9, Bronnitskaya str, Saint Petersburg, 190013, Russia); tel.: +7 (812) 316-28-52, e-mail: 3162852@mail.ru ORCID: http://orcid.org/0000-0003-1710-3092
Elena E. Vyazemskaya - engineer of the Laboratory of Informatics and Statistics, Saint Petersburg Research Institute of Ear, Throat, Nose and Speech (9, Bronnitskaya str, Saint Petersburg, 190013, Russia); tel.: +7 (911) 996-08-89, e-mail: vyazemskaya.elena@gmail. com
ORCID: http://orcid.org/0000-0002-4141-2226
Marina A. Budkovaya - MD Candidate, researcher of the Department of Development and Implementation of High Technology Treatment Methods, Saint Petersburg Research Institute of Ear, Throat, Nose and Speech (9, Bronnitskaya str, Saint Petersburg, 190013, Russia); tel.: +7-921-863-81-25; e-mail: marina-laptijova@yandex.ru ORCID: http://orcid.org/0000-0003-0219-1413
о
s
IyI1
о
0
T S
f I
T f
