CC BY
328
(сс)
doi: 10.21518/2079-701X-2019-20-45-51
Краткое сообщение / Brief report
Вычисление и интерпретация показателей информативности диагностических медицинских технологий
А.А. Корнеенковн, ORCID: 0000-0001-5870-8042, e-mail: korneyenkov@gmaiL.com С.В. Рязанцев, ORCID: 0000-0003-1710-3092, e-mail: 3162852@maiL.ru Е.Э. Вяземская, ORCID: 0000-0002-4141-2226, e-mail: vyazemskaya.elena@gmail.com Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи; 190013, Россия, Санкт-Петербург, ул. Бронницкая, д. 9
Резюме
В статье рассмотрены типичные задачи количественного сравнения и анализа эффективности диагностических медицинских технологий. Обсуждаются показатели клинической информативности диагностических методов, количественных методов их вычисления и интерпретации, их важность для принятия диагностических решений. На примере одного из диагностических методов описаны алгоритмы сравнения исследуемого диагностического теста с тестом «золотого стандарта» по показателям клинической информативности: чувствительности, специфичности, прогностичности положительного и отрицательного результатов теста, точности, отношения правдоподобия положительного и отрицательного результатов теста. Рассмотрены вопросы построения ROC-кривых на примере диагностических показателей носовой обструкции: воздушного потока и давления, а также расчета и представления AUC, нахождения диагностических пороговых точек для двух тестов (изменения потока и сопротивления) и проверка статистической гипотезы о равенстве показателя AUC двух указанных тестов, создания номограммы для вычисления после-тестовой вероятности болезни. Показано, как с помощью представленной методики можно эффективно вычислять все стандартные операционные характеристики диагностических медицинских технологий и дополнительные полезные показатели. Все расчеты производились в статистической программе R. В тексте статьи представлены программные коды языка R с пояснениями.
Ключевые слова: операционные характеристики диагностических медицинских технологий, чувствительность, специфичность, прогностичность результатов теста, точность, отношение правдоподобия положительного и отрицательного результатов теста, программа R, R-язык
Для цитирования: Корнеенков А.А., Рязанцев С.В., Вяземская Е.Э. Вычисление и интерпретация показателей информативности диагностических медицинских технологий. Медицинский совет. 2019;(20):45-51. doi: 10.21518/2079-701X-2019-20-45-51.
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Calculation and interpretation of indicators of informativeness of diagnostic medical technologies
Aleksey A. Korneenkov, ORCID: 0000-0001-5870-8042, e-mail: korneyenkov@gmail.com Sergey V. Ryazantsev, ORCID: 0000-0003-1710-3092, e-mail: 3162852@mail.ru Elena E. Vyazemskaya, ORCID: 0000-0002-4141-2226, e-mail: vyazemskaya.elena@gmail.com Saint Petersburg Research Institute of Ear, Throat, Nose and Speech, 9, Bronnitskaya St., St. Petersburg, 190013, Russia
Abstract
The article discusses typical tasks of quantitative comparison and analysis of the effectiveness of diagnostic medical technologies. Indicators of clinical informativeness of diagnostic methods, quantitative methods for their calculation and interpretation, their importance for making diagnostic decisions are discussed. Using one of the diagnostic methods as an example, algorithms for comparing the test diagnostic test with the gold standard test according to clinical information indicators are described: sensitivity, specificity, positive and negative predictive value of test results, accuracy, likelihood ratio of positive and negative test results. The problems of constructing ROC curves by the example of diagnostic indicators of nasal obstruction: airflow and pressure, as well as the calculation and presentation of AUC (in one figure), finding diagnostic threshold points for two tests (changes in flow and resistance), and testing the statistical hypothesis about the equality of AUC of these two tests, creating a nomogram for calculating the post-test probability of illness. It is shown how, using the presented technique, it is possible to efficiently calculate all the standard operational characteristics of diagnostic medical technologies and additional useful indicators. All calculations were performed in the statistical program R. The text of the article presents program codes of the R language with explanations.
Keywords: operational characteristics of diagnostic medical technologies, sensitivity, specificity, predictive value of test results, accuracy, likelihood ratio of positive and negative test results, R program, R-language
For citation: Korneenkov A.A., Ryazantsev S.V., Vyazemskaya E.E. Calculation and interpretation of indicators of informativeness of diagnostic medical technologies. Meditsinskiy sovet = Medical Council. 2019;(20):45-51. (In Russ.) doi: 10.21518/2079-701X-2019-20-45-51.
Conflict of interest: The authors declare no conflict of interest.
ВВЕДЕНИЕ
Несмотря на то что количество полезных диагностических медицинских технологий (ДМТ), используемых в клинической практике, постоянно растет, повышение эффективности медицинской помощи требует уменьшения числа необоснованных или неправильных диагностических назначений, результат которых никак не изменяет ни диагноз, ни лечебно-диагностическую тактику. В этих условиях вычисление и использование мер количественного описания диагностических методов делает прозрачным и воспроизводимым процесс выбора ДМТ и прогнозирование результата диагностики. Хотя понятие клинической информативности диагностических тестов, показатели и критерии оценки известны, стандартизованы и даже являются обязательными при описании медицинских технологий диагностики и скрининга, их редко используют в отечественных публикациях по оториноларингологии. Анализ статей одного из ведущих отечественных журналов по оториноларингологии за последние 4 года лет показал, что из 13 статей, посвященных новым диагностическим методам, только в одной приведены характеристики информативности диагностической медицинской технологии.
Целью статьи является обсуждение показателей клинической информативности ДМТ в оториноларингологии, методов вычисления послетестовой вероятности диагностируемой болезни на примере одного из широко используемых диагностических методов оториноларингологии с помощью программной среды R.
МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ
Определение клинической информативности диагностической медицинской технологии (теста) сводится к сравнению ее с тестом «золотого стандарта» диагностики, который однозначно определяет наличие болезни или ее отсутствие. В тех случаях, когда результаты диагностического теста являются дихотомическими («положительный» и «отрицательный» результат), возможные результаты представляются в виде таблицы 2*2 (табл. 1) и на их основе вычисляются основные операционные (или рабочие) характеристики теста (ОХТ).
i Таблица 1. Результаты диагностического теста (диагностической медицинской технологии) i Table 1. Diagnostic test (diagnostic medical technology) results
Болезнь (Disease) по «золотому стандарту» диагностики
Есть (D+) Нет (D-)
Результат теста (Test) Клинический тест Положительный (T+) TP FP
Отрицательный (T-) FN TN
Примечание. True positive - TP; True negative - TN; False positive - FP; False negative - FN.
Несмотря на то что исходной матрицей для вычисления клинический информативности являются всего четыре значения четырехпольной таблицы, в настоящее время не прекращается поиск рассчитанных на их основе новых показателей, дающих количественную, интуитивно понятную оценку эффективности теста (табл. 2).
• Таблица 2. Показатели диагностического теста
• Table 2. Diagnostic test figures
Основные Дополнительные
• чувствительность (Se);
• специфичность (Sp);
• предсказательная ценность положительного результата (PPV);
• предсказательная ценность отрицательного результата (NPV);
• отношение правдоподобия положительного результата теста (PLR);
• отношение правдоподобия отрицательного результата теста (NLR);
• диагностическая эффективность теста (точность) (Acc)
Ниже приводится описание указанных в таблице мер информативности МДТ и методики их вычисления.
Чувствительность (Sensitivity, сокр. Se, иногда Sn): вероятность того, что результат теста будет положительным при наличии заболевания (англ. True positive rate, TPR). TPR = TP / (TP + FN).
Специфичность (Specificity, сокр. Sp): вероятность того, что результат теста будет отрицательным при отсутствии заболевания (англ. True negative rate, TNR). TNR = TN / (TN + FP).
Предсказательная ценность положительного результата (Positive predictive value, сокр. PPV): вероятность того, что заболевание присутствует, когда тест положительный. PPV = TP / (TP + FP).
Предсказательная ценность отрицательного результата (Negative predictive value, сокр. NPV): вероятность того, что заболевание отсутствует, когда тест отрицательный. NPV = TN / (TN + FN).
Отношение правдоподобия положительного результата теста (Positive likelihood ratio, сокр. LR+ или LR+, pLr): отношение между вероятностью положительного результата теста при наличии заболевания (TPR) и вероятностью положительного результата теста при отсутствии заболевания (False positive rate - FPR), т. е. TPR/FPR или Se / (1-Sp).
Отношение правдоподобия отрицательного результата теста (Negative likelihood ratio, сокр. LR-, LR-, nLr): отношение вероятности отрицательного результата теста при наличии заболевания (False negative rate - FNR) и вероятности отрицательного результата теста при отсутствии заболевания (TNR), т. е. FNR/TNR = (1-Se) / Sp.
• диагностическое отношение шансов (DOR);
• индекс Юдена J;
• число пациентов, необходимое для диагностики (NND);
• сводный прогнозный индекс (PSI)
Диагностическая эффективность теста или точность (англ. Accuracy, сокр. Acc): общая вероятность того, что пациент будет правильно классифицирован, определяется как доля всех тестов, которые дают правильный результат. (TP + TN) / (TP + TN + FP +FN).
Диагностическое отношение шансов (Diagnostic odds ratio - DOR) - отношение шансов теста быть положительным, если у субъекта заболевание, к шансам теста быть положительным, если у субъекта нет заболевания. DOR = (TP/FP) / (FN/TN).
Индекс Юдена J (Youden's index) - это разница между TRP и FPR (долей истинно положительных результатов (чувствительностью теста) и долей ложноположительных результатов). Чем больше это различие, тем лучше работает диагностическая технология. Так как FPR - это 1-TNR, TRP - это Se, TNR - это Sp, то, соответственно,
J = TRP - FPR = TRP - (1-TNR) = TRP - 1 + TNR = Se + Sp-1.
Число, необходимое для диагностики (The number needed to diagnose, сокр. NND), вычисляется путем инверсии индекса Юдена (1/J) и определяется как число пациентов, которые должны быть протестированы, чтобы получить один правильный, т. е. истинно положительный, тест (результат теста). Для диагностических тестов будут желательны малые значения NND [1].
Сводный прогнозный индекс (англ. predictive summary index, PSI) отражает общий выигрыш в уверенности в болезни от выполнения диагностического теста: PSI = PPV + NPV-1. Обратная величина PSI предлагается как число пациентов, которые должны быть обследованы, чтобы правильно предсказать диагноз заболевания.
Кажущаяся распространенность болезни среди пациентов, участвующих в исследовании (англ. Apparent prevalence, сокр. aprev): общая вероятность того, что результат теста на наличие заболевания будет положительным относительно всех проведенных тестов. Aprev = (TP + FP) / (TP + TN + FP + FN).
Истинная распространенность болезни среди пациентов, участвующих в исследовании (англ. True prevalence, сокр. tprev): общая вероятность наличия заболевания относительно всех проведенных тестов. Tprev = (TP + FN) / (TP + TN + FP + FN).
Хотя результаты многих типичных ДМТ представлены в непрерывной шкале (например, скорость воздушного потока в верхних дыхательных путях), для удобства интерпретации их результатов часто выбирается одна точка -диагностический порог, выше или ниже которого считается, что у пациента присутствует или отсутствует интересующее заболевание. Для нахождения этого порога (cut-off point) используется кривая ROC (от англ. receiver operating characteristic, рабочая характеристика приемника) - график, показывающий эффективность диагностики при всех возможных диагностических порогах. Для общей оценки теста используется AUC (англ. Area Under Curve, площадь под ROC-кривой) - совокупный показатель производительности теста по всем возможным диагностическим порогам. При сравнении производительности двух ДМТ используется тест сравнения их AUC [2] с расчетом уровня значимости p - вероятности того, что при условии верности нулевой
гипотезы (т. е. равнозначности двух ДМТ или равенства AUC двух ДМТ) наблюдалось различие между этими AUC [3].
Чтобы оценить, насколько изменится наша уверенность в болезни после получения результата теста, удобно использовать отношение правдоподобия (LR), особенно если вероятность болезни до теста выражается в форме шансов - отношении вероятности того, что событие произойдет, к вероятности того, что событие не произойдет. Например, шансы того, что случайно выбранный из популяции в 100 человек, в которой 20 человек больны, субъект будет больным, составляют двадцать к восьмидесяти (20:80) или один к четырем (1:4). Отношение правдоподобия результата теста является коэффициентом, который трансформирует предтестовую (pretest odds) в послете-стовую (posttest odds) вероятность болезни, выраженную через шансы, по известному правилу Байеса (Bayes' rule): posttest odds = LR * pretest odds. Для визуализации перехода от предтестовой вероятности болезни к ее после-тестовой вероятности при положительном или отрицательном результате диагностического теста используется номограмма Фагана (Fagan) и ее различные усовершенствованные варианты [4].
В качестве исходных данных для анализа нами был использован набор синтетических данных о результатах передней активной риноманометрии (ПАРМ) при гипертрофии костной ткани и при гипертрофии слизистой оболочки, сгенерированных в среде R, прекрасно зарекомендовавший себя для решения статистических задач [5-8]. Сущность метода ПАРМ заключается в количественном измерении градиента давления и воздушного потока, которые создаются в условиях физиологического носового дыхания. Вазоконстриктор снимает проявление «носового цикла» и позволяет дифференцировать гипертрофию костной ткани от гипертрофии слизистой оболочки [9]. Результаты представлены в международной системе СИ: давление в Паскалях - Па, поток - в см3/с.
Весь программный код языка R для этой статьи приведен в файле dtevaluation.R на сайте lornii.ru/resources/lib/R/ dtevaluation.R и может быть использован для генерации идентичных данных. Набор данных содержал 5 переменных, включая идентификатор субъекта (id), две дихотомич-ные переменные наличия (1) или отсутствия (0) болезни (гипертрофии слизистой) по тесту «золотого стандарта» (OUT) и исследуемого теста (оценка на основе клинических данных) (VR) и числовые переменные изменения воздушного потока (TFLW) и давления (TRES) после применения вазоконстрик-тора. Часть набора данных представлена на рисунке 1.
Ш Рисунок 1. Часть набора исходных данных для расчетов Ш Figure 1. Part of baseline data set for calculations
head(df) 3 3 1 1 138 - 0,11
id OUT VR TFLW TRES 4 4 0 0 68 0,03
1 1 1 1 144 0,38 5 5 1 1 137 - 0,84
2 2 1 1 87 0,53 6 6 1 1 142 - 0,44
В исследовании были продемонстрированы методы решения следующих задач:
1. Вычисление операционных характеристик диагностической медицинской технологии (оценки на основе клинических данных): Se, Sp, NPV, PPV, Acc, LR+ и LR-.
2. Построение ROC-кривых по показателям воздушного потока и давления, расчет и представление AUC, нахождение диагностических пороговых точек для TFLW и TRES.
3. Проверка статистической гипотезы о равенстве AUC двух указанных тестов (TFLW и TRES).
4. Создание номограммы для вычисления послетесто-вой вероятности болезни (гипертрофии слизистой).
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
R-код для расчетов в приведенных ниже задачах содержится в файле dtevaLuation.R на сайте ФГБУ «СПб НИИ ЛОР» по адресу: Lornii.ru/resources/Lib/R/dtevaLuation.R.
Задача 1. Вычисление операционных характеристик диагностической медицинской технологии (оценки на основе клинических данных): Se, Sp, NPV, PPV, Acc, LR+ и LR-.
Так как исходные данные представляют собой набор записей под названием «df», в которой каждая строка (запись) соответствует одному пациенту, у которого по одной переменной принимает значение 0 или 1, требуется подсчет количества строк в наборе данных «df» по четырем шаблонам: если «11», то это TP, «00» - TN, «10» - FP и «01» - FN. Например, если у одного пациента исследуемый тест дал положительный результат (1), а тест «золотого стандарта» отрицательный (0), то эта запись соответствует шаблону «10» и относится к варианту результата - ложноположительному результату FP. Получившаяся матрица решений представлена в таблице 3.
Чувствительность ДМТ (Se) составила 0,92 (0,89; 0,94), специфичность (Sp) - 0,89 (0,86; 0,92). Отношение правдоподобия положительного результата теста (LR+) - 8,40 (6,48; 10,90), LR- - 0,09 (0,07; 0,12), прогностичность положительного результата (PPV) - 0,91 (0,88; 0,93), отрицательного результата (NPV) - 0,91 (0,88; 0,93), диагностическая эффективность (Acc) - 0,91 (0,89; 0,92). Кажущаяся распространенность болезни среди пациентов, участвующих в исследовании, - 0,54 (0,51; 0,57). Истинная распространенность болезни среди пациентов, участвующих в исследовании, - 0,53 (0,50; 0,57). Диагностическое отношение шансов (DOR) diag.or - 92,9 (60,7; 142,3). Индекс J Юдена (Youden) - 0,81 (0,75; 0,86). Число, необходимое для диагностики (NND), - 1,2 (1,2; 1,3).
Интерпретация результатов оценки клинической информативности теста по выбранным показателям достаточно проста. Этот тест имеет достаточно высокую дискриминационную способность: из ста больных у 92 определяется положительный результат теста на болезнь, а из ста небольных у 89 он показывает отсутствие болезни. Прогностичность положительного и отрицательного значения теста можно использовать напрямую, без коррекции на распространенность болезни, только если
Ш Таблица 3. Матрица решений Ш Table 3. Decision support tool
Disease
+ -
Test + 491 51 542
43 415 458
534 466 1000
• Рисунок 2. Диаграммы ROC для двух ДМТ со значением пороговой точки (cut-off point), 95%-ный ДИ чувствительности и специфичности в этой точке
• Figure 2. ROC diagrams for two DMTs with a cut-off point value, 95% sensitivity DI and specificity at this point
соотношение больных и не больных данной болезнью в исследовании соответствует популяционной распространенности болезни.
Задача 2. Построение ROC-кривых для двух диагностических медицинских технологий - использование показателей воздушного потока TFLW и показателей давления TRES; расчет и представление AUC (на одном рисунке), нахождение диагностических пороговых точек для TFLW и TRES (на каждом свою).
Для построения ROC-диаграммы была использована функция plot.roc() из пакета pROC. На квадратной диаграмме отображена пороговая точка со значениями специфичности и чувствительности теста при ее использовании. Вертикальные планки погрешности отображают 95%-ный доверительный интервал для чувствительности теста в этой точке, горизонтальные - 95%-ный доверительный интервал для специфичности теста в этой точке. На рисунке 2 представлены диаграммы ROC для двух диагностических медицинских технологий со значением пороговой точки (cut-off point), 95%-ный ДИ специфичности и чувствительности в этой точке. Значение рядом с пороговой точкой представлено в формате: порог (Sp; Se).
Значение рядом с пороговой точкой представлено в формате: порог (Sp; Se)
Задача 3. Проверка статистической гипотезы о равенстве AUC двух указанных тестов.
Процедура проверки статистических гипотез имеет стандартную последовательность этапов, включающих формулировку гипотез (основной H0 и альтернативной HJ и определение критической области (значения ошибки первого рода а). В нашем случае H0: AUCTFLW = AUCTRES, а Hx: AUCtflw * AUCTRES. а = 0,05.
Для построения кривых ROC на одной диаграмме была также использована функция plot.roc() с дополнительными аргументами, отвечающими за цвет линии, цвет надписи со значением AUC и координатами этой надписи для каждой из кривой. Для проверки статистической гипотезы о равенстве AUC двух указанных тестов использовалась функция roc.test() из того же пакета pROC с выводимым в виде текстовой надписи значением уровня значимости p - «p-value».
На рисунке 3 представлены диаграммы ROC и области AUC для двух диагностических медицинских технологий. Уровень значимости p-value указывает на вероятность того, что при условии верности нулевой гипотезы (H0) AUC одного теста будет не равен AUC другого теста. В нашем случае вероятность p-value = 2,22e-16 меньше установленного значения 0,05, поэтому можно отклонить нулевую гипотезу о равенстве AUC двух тестов и принять альтернативную (HJ.
Задача 4. Создание номограммы для вычисления послетестовой вероятности болезни.
Хотя в R существуют пакеты для создания более сложных номограмм (например, реализованная номограмма в пакете rms [7]) и веб-реализации для создания простых номограмм Фагана, в R нет простой функции построения графиков номограмм. Функция nomogrammer - это простая
i Рисунок 3. Диаграммы ROC и области AUC для двух диагностических медицинских технологий i Figure 3. ROC and AUC area graphs for two diagnostic medical technologies
Specifity (%)
функция визуализации для построения номограмм Фагана [4] в виде объекта ggpLot2. Они используются, чтобы проиллюстрировать переход от предтестовой вероятности болезни к ее послетестовой вероятности при положительном или отрицательном результате диагностического теста.
В указанном в начале статьи файле представлен R-код для построения диаграммы Фагана и линий, соответствующих переходу предтестовой вероятности болезни при положительном (красная линия) и отрицательном (зеленая линия) результате теста.
В качестве аргумента для построения линий (рис. 4) указаны значения чувствительности (0,92) и специфичности (0,89) теста, полученные при решении задачи №1.
На графике представлены расчетные значения линий, иллюстрирующие результат применения нашего теста на вероятность обнаружения болезни.
Серой линией обозначена линия без эффекта, соответствующая отношению правдоподобия LR = 1. Послете-стовая вероятность болезни при таком отношении правдоподобия теста будет равна предтестовой вероятности болезни. Положительный результат теста должен увеличить вероятность наличия обструкции с предтестовой вероятности 5%. По заранее рассчитанным значениям чувствительности теста Se = Sens = 0,92 и специфичности Sp = Spec = 0,89 R-код вычисляет коэффициент вероятности положительного результата по формуле LR+ = PLR = Se/(1-Sp) = 0,92/(1-0,89) = 8,4 и по формуле отношения правдоподобия определяет вероятность заболевания posttest_odds = LR * pretest_odds = 30,7%. На номограмме положительный результат теста отображен зеленой линией, которая пересекает шкалу предтестовой вероятности в значении 5%, шкалу LR в значении 8,4 и шкалу после-тестовой вероятности в значении 30,7%. Таким образом, вероятность обнаружения заболевания в результате использования теста увеличилась с 5 до 30,7%.
Аналогичный расчет R-код делает для отрицательного результата теста: LR- = NLR = (1-Se)/Sp = (1-0,92) /
0.6
0.4
0.0
1 Рисунок4. Номограмма Фагана с линиями, соответствующими переходу предтестовой вероятности болезни при положительном (красная линия) результате теста и отрицательном (зеленая линия) результате теста
1 Figure 4. Fagan's nomogram with lines corresponding to the transition of the pre-test probability of illness with a positive (red line) test result and a negative (green line) test result
P re-Test 0-1 Drobability(%)
0.2
0.5 1 2
5 10
20 30 40 50 60 70
80 90 95
Обозначения:
---Без влияния LR = 1
- LR+
99
Pre-Test Prob = 5.00%
PLR = 8.4 , NLR = 0.0904
post, pos = 30.7% , neg = 0.474%
1000
500
200
100
50
20
10
2
1
0.5
0.2
0.1
QJD5
o.oK
o.oi X.
0.005
0.002
0.001 \
г 99
95 90
80 70 60 50 40 30 20
10 5
2 1
0.5 Post-Test Probability(%)
0,89 = 0,09, роБйеБ^оССБ = И * р^еБ^оССБ = 0,47%. На номограмме результат теста отображен красной линией, которая пересекает шкалу предтестовой вероятности в значении 5%, шкалу отношения правдоподобия в значении 0,09 и шкалу послетестовой вероятности в значении 0,47%. Таким образом, вероятность обнаружения заболевания при отрицательном результате теста уменьшилась с 5 до 0,47%.
ВЫВОДЫ
Использование показателей клинической информативности позволяет решить несколько важных задач доказательной медицины, к которым относится выбор наиболее эффективной диагностической медицинской технологии, нахождение оптимального диагностического порога в случае, когда результат теста представлен в непрерывной шкале, и вычисление вероятности диа-
гностируемой болезни после получения определенного теста.
Использование количественных показателей позволяет проводить сравнение, оценку и обоснованный выбор технологии (теста). Результат диагностического теста не дает точного диагноза, а только оценивает вероятность наличия или отсутствия заболевания, и эта вероятность после теста (вероятность заболевания при конкретном результате теста) сильно варьируется в зависимости от вероятности болезни до теста, а также чувствительности и специфичности теста (и, следовательно, его И). Вероятность до теста не является точным измерением; оно основано на клиническом суждении о том, насколько сильно симптомы и признаки указывают на наличие заболевания, какие факторы в анамнезе пациента подтверждают диагноз, и насколько распространено заболевание в репрезентативной популяции. Многие клинические оценочные системы предназначены для
оценки вероятности до тестирования. В качестве примера такой оценочной системы можно привести разработку скоринговой оценки вероятности осложнения операции при болезни Меньера [10]. Представленный алгоритм решения этих задач с помощью программной
среды R позволяет понять и воспроизвести все необходимые процедуры и получить нужный результат.
Поступила / Received 10.09.2019 Отрецензирована / Review 27.09.2019 Принята в печать / Accepted 03.10.2019
Список литературы
Linn S., Grunau P.D. New patient-oriented summary measure of net total gain in certainty for dichotomous diagnostic tests. Epidemiol Perspect Innov. 2006;3(1):11. doi: 10.1186/17425573-3-11.
DeLong E.R., DeLong D.M., Clarke-Pearson D.L. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988;44(3):837-845. doi: 10.2307/2531595. Wasserstein R.L., Lazar NA. The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016;70(2):129-133. doi: 10.1080/00031305.2016.1154108. Fagan TJ. Letter: nomogram for Bayes theorem. The New England journal of medicine. 1975;293(5):257. doi: 10.1056/ NEJM197507312930513.
Корнеенков А.А., Фанта И.В., Вяземская Е.Э. Оценка динамики симптомов болезни методами анализа выживаемости. Российская оториноларингология. 2019;18(4):8-14. doi: 10.18692/1810-4800-2019-4-8-14. Корнеенков А.А., Лиленко С.В., Лиленко А.С., Вяземская Е.Э., Бахилин В.М. Использование модифицированной процедуры последовательного распознавания Вальда для определения исхода оперативного лечения у пациентов с болезнью Меньера. Российская оториноларингология. 2019;18(3):54-59. doi: 10.18692/1810-4800-2018-3-54-59. Корнеенков А.А. Визуализация результатов метаанализа клинических исследований. Российская оториноларингология. 2019;18(1):8-15. doi: 10.18692/1810-48002019-1-8-15.
8. Корнеенков А.А. Разработка скоринговой карты для прогнозирования клинического исхода в оториноларингологии. Российская оториноларингология. 2019;18(2):25-35. doi: 10.18692/1810-4800-2019-2-25-35.
9. Будковая М.А., Артемьева Е.С. Особенности нарушений носового дыхания у пациентов с назальной обструкцией. Российская оториноларингология. 2019;18(1):16-23. doi: 10.18692/1810-4800-2019-1-16-23.
10. Корнеенков А.А., Лиленко С.В., Лиленко А.С., Вяземская Е.Э., Бахилин В.М. Возможности ROC-анализа для категоризации переменных в модели прогноза исхода оперативного лечения у пациентов с болезнью Меньера. Российская оториноларингология. 2018;(4):62-68. doi: 10.18692/1810-48002018-4-62-68.
References
1.
5
2
6
3
4
1. Linn S., Grunau P.D. New patient-oriented summary measure of net total gain in certainty for dichotomous diagnostic tests. Epidemiol Perspect Innov. 2006;3(1):11. doi: 10.1186/1742-5573-3-11.
2. DeLong E.R., DeLong D.M., Clarke-Pearson D.L. Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics. 1988;44(3):837-845. doi: 10.2307/2531595.
3. Wasserstein R.L., Lazar N.A. The ASA's Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016;70(2):129-133. doi: 10.1080/00031305.2016.1154108.
4. Fagan TJ. Letter: nomogram for Bayes theorem. The New England journal of medicine. 1975;293(5):257. doi: 10.1056/ NEJM197507312930513.
5. Korneenkov A.A., Fantal.V., Vyazemska-
ya E.E. The assessment of disease symptom
dynamics using survival analysis methods. Rossiyskaya otorinolaringologiya = Russian Otorhinolaryngology. 2019;18(4):8-14. (In Russ.) doi: 10.18692/1810-4800-2019-4-8-14.
6. Korneenkov A.A., Lilenko S.V., Lilenko A.S., Vyazemskaya E.E., Bakhilin V.M. The opportunities of ROC-analysis for categorization of variables in the model for forecasting the outcome of surgical treatment in the patients with Meniere's disease. Rossiyskaya otorinolaringologiya = Russian Otorhinolaryngology. 2019;18(3):54-59. (In Russ.) doi: 10.18692/1810-4800-2018-3-54-59.
7. Korneenkov A.A. Visualization of the results of a meta-analysis of clinical studies. Rossiyskaya otorinolaringologiya = Russian Otorhinolaryngology. 2019;18(1):8-15. (In Russ.) doi: 10.18692/1810-4800-2019-1-8-15.
8. Korneenkov A.A. Development of a scorecard for predicting clinical outcome in otorinolaryngology.
Rossiyskaya otorinolaringologiya = Russian Otorhinolaryngology. 2019;18(2):25-35. (In Russ.) doi: 10.18692/1810-4800-2019-2-25-35.
9. Budkovaya M.A., Artemyeva E.S. The specific features of nasal breathing disorders
in patients with nasal obstruction. Rossiyskaya otorinolaringologiya = Russian Otorhinolaryngology. 2019;18(1):16-23. (In Russ.) doi: 10.18692/1810-4800-2019-1-16-23.
10. Korneenkov A.A., Lilenko S.V., Lilenko A.S., Vyazemskaya E.E., Bakhilin V.M. The opportunities of ROC-analysis for categorization of variables in the model for forecasting the outcome of surgical treatment in the patients with Meniere's disease. Rossiyskaya otorinolaringologiya = Russian Otorhinolaryngology. 2018;(4):62-68. (In Russ.) doi: 10.18692/1810-4800-2018-4-62-68.
Информация об авторах:
Корнеенков Алексей Александрович, д.м.н., профессор, заведующий лабораторией информатики и статистики, Федеральное государственное бюджетное учреждение «Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи» Министерства здравоохранения Российской Федерации; 190013, Россия, Санкт-Петербург, ул. Бронницкая, д. 9; e-mail: korneyenkov@gmail.com Рязанцев Сергей Валентинович, д.м.н., профессор, заместитель директора по научно-координационной работе, Федеральное государственное бюджетное учреждение «Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи» Министерства здравоохранения Российской Федерации; 190013, Россия, Санкт-Петербург, ул. Бронницкая, д. 9; e-mail: 3162852@mail.ru Вяземская Елена Эмильевна, инженер лаборатории информатики и статистики, Федеральное государственное бюджетное учреждение «Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи» Министерства здравоохранения Российской Федерации; 190013, Россия, Санкт-Петербург, ул. Бронницкая, д. 9; e-mail: vyazemskaya.elena@gmail.com
Information about the authors:
Aleksey A. Korneenkov, Dr. of Sci. (Med.), Professor, Head of Laboratory of Informatics and Statistics, Federal State Budgetary Institution «St. Petersburg Research Institute of Ear, Throat, Nose and Speech» of the Ministry of Health of the Russian Federation; 9, Bronnitskaya St., St. Petersburg, 190013, Russia; e-mail: korneyenkov@gmail.com
Sergey V. Ryazantsev, Dr. of Sci. (Med.), Professor, Deputy Director for Scientific Coordination, Federal State Budgetary Institution «St. Petersburg Research Institute of Ear, Throat, Nose and Speech» of the Ministry of Health of the Russian Federation; 9, Bronnitskaya St., St. Petersburg, 190013, Russia; e-mail: 3162852@mail.ru
Elena E. Vyazemskaya, Engineer of Laboratory of Informatics and Statistics, Federal State Budgetary Institution «St. Petersburg Research Institute of Ear, Throat, Nose and Speech» of the Ministry of Health of the Russian Federation; 9, Bronnitskaya St., St. Petersburg, 190013, Russia; e-mail: vyazemskaya.elena@gmail.com
