ВОЗМОЖНОСТИ ROC-АНАЛИЗА ДЛЯ КАТЕГОРИЗАЦИИ ПЕРЕМЕННЫХ В МОДЕЛИ ПРОГНОЗА ИСХОДА ОПЕРАТИВНОГО ЛЕЧЕНИЯ У ПАЦИЕНТОВ С БОЛЕЗНЬЮ МЕНЬЕРА Текст научной статьи по специальности «Клиническая медицина»

УДК 519.23/.25:616.281-008.55-07-089

DOI: 10.18692/1810-4800-2018-4-62-68

ВОЗМОЖНОСТИ ROC-АНАЛИЗА ДЛЯ КАТЕГОРИЗАЦИИ ПЕРЕМЕННЫХ В МОДЕЛИ ПРОГНОЗА ИСХОДА ОПЕРАТИВНОГО ЛЕЧЕНИЯ У ПАЦИЕНТОВ С БОЛЕЗНЬЮ МЕНЬЕРА

Корнеенков А. А., Лиленко С. В., Лиленко А. С., Вяземская Е. Э., Бахилин В. М.

ФГБУ «Санкт-Петербургский НИИ уха, горла, носа и речи» Минздрава России,

190013, Санкт-Петербург, Россия

(Директор - засл. врач РФ, акад. РАН, проф. Ю. К. Янов)

THE OPPORTUNITIES OF ROC-ANALYSIS FOR CATEGORIZATION OF VARIABLES IN THE MODEL FOR FORECASTING THE OUTCOME OF SURGICAL TREATMENT IN THE PATIENTS WITH MENIERE'S DISEASE

Korneenkov A. A., Lilenko S. V., Lilenko A. S., Vyazemskaya E. E., Bakhilin V. M.

Federal State Budget Institution "Saint Petersburg Research Institute of Ear, Throat, Nose and Speech" Ministry of health of the Russian Federation, Saint Petersburg, Russia

Цель исследования состояла в категоризации с помощью ROC-анализа переменных длительности заболевания и возраста пациента в модели прогноза исхода оперативного вмешательства при болезни Меньера. Таким образом, для использования в модели прогноза исхода оперативного вмешательства при болезни Меньера показатели возраста и длительности заболевания могут быть статистически обоснованно упрощены в вид дискретных предикторов. Вместо количественного показателя «возраст пациента» в модели может быть использован предиктор «возраст менее или равен 45 годам», а вместо показателя «длительность заболевания» может быть использован предиктор «длительность заболевания менее или равна 10 годам».

Ключевые слова: ROC-анализ, метод А. Вальда, болезнь Меньера, дренирование эндолимфатиче-ского мешка.

Библиография: 8 источников.

The objective of the study was to categorize, using ROC-analysis, the variables of the disease duration and the patient's age in the model of forecast of the outcome of surgical intervention in Meniere's disease. Therefore, to be used in the model of prognosis of the outcome of surgical intervention in Meniere's disease, the parameters of age and duration of the disease can be statistically reasonably simplified in the form of discrete predictors. Instead of the quantitative indicator "patient's age", the predictor "age less than or equal to 45" can be used in the model, and instead of the indicator "duration of disease" a predictor "duration of disease less than or equal to 10 years" can be used.

Key words: ROC-analysis, A. Wald's method, Meniere's disease, endolymphatic sac drainage.

Bibliography: 8 sources.

Одним из примеров использования модифицированного метода последовательного анализа А. Вальда для разработки прогностических моделей в оториноларингологии является модель прогноза исхода оперативного лечения у пациентов с болезнью Меньера, описанная в статье Корнеенкова А., Лиленко С., Лиленко А., Вяземской Е. (2018) [1]. Эта модель имеет достаточно хорошую диагностическую способность дифференциации исхода операции при болезни Меньера (диагностическая точность - 84,6%) и удобна для использования в практической деятельности врача-специалиста. В качестве предикторов для модели применяются диагностические признаки, которые могут быть

зафиксированы у пациента до начала операции: длительность заболевания более 10 лет; наличие двусторонней формы болезни Меньера; возраст более 45 лет; предлежание сигмовидного синуса; наличие рвоты до операции; наличие спонтанного нистагма до операции.

Как правило, для таких моделей предикторы представляют собой категориальные переменные или признаки, имеющие конечное, счетное число возможных значений. Многие разработчики всегда используют метод категоризации количественных переменных, который позволяет облегчить обработку выбросов и экстремальных значений количественных переменных; упро-

стить интерпретацию данных; отразить сложные нелинейные связи. Кроме того, использование категориальных переменных в прогностических моделях дает важные преимущества - наглядность и простота модели, отсутствие необходимости использования вычислительных средств при ее высокой диагностической точности [2-4].

Категоризация количественных переменных чаще всего происходит путем разделения возможных значений переменной с помощью определенного критерия на несколько диапазонов, каждому из которых присваивается код, категория. Поиск такого критерия или разделяющего значения представляет собой достаточно сложную задачу.

В данной статье обсуждается способ нахождения разделяющего значения на основе ROC-анализа (англ. receiver operating characteristic), который позволил определить, почему для предиктора прогностической модели, отражающего длительность заболевания, именно 10 лет является критерием, разделяющим диапазоны значений переменной с разным риском неблагоприятного исхода. Этот же способ использовался и для категоризации переменной возраста больного с помощью разделяющего значения в 45 лет.

Цель исследования. Категоризация предикторов длительности заболевания и возраста пациента в модели прогноза исхода оперативного вмешательства при болезни Меньера с помощью ROC-анализа.

Пациенты и методы исследования. В исследовании были использованы данные о наблюдаемых симптомах и клинических исходах оперативного вмешательства у 39 пациентов с болезнью Меньера, проходивших лечение в Федеральном государственном бюджетном учреждении «Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи» Министерства здравоохранения Российской Федерации (ФГБУ «СПб НИИ ЛОР» Минздрава России) [5, 6]. По оценке состояния пациента в послеоперационном периоде было принято решение о результате оперативного вмешательства: если симптомы болезни практически или вовсе пропадали, то результат оценивался как благоприятный. В противном случае - результат оперативного вмешательства оценивался как неблагоприятный.

В модели оценки прогноза результатов оперативного вмешательства, описанной в статье Корнеенкова А. А. с соавт. [1], обосновано использование шести симптомов, предикторов: длительность заболевания более 10 лет; наличие двусторонней формы болезни Меньера; возраст более 45 лет; предлежание сигмовидного синуса; наличие рвоты до операции; наличие спонтанного нистагма до операции.

Как минимум два из этих предикторов в исходном виде не были дискретными случайными

величинами с двумя возможными значениями: длительность заболевания и возраст больного. Процедура нахождения разделяющего значения для этих переменных включала три этапа.

1 этап. Оценивалась неслучайность ассоциации определенного результата оперативного вмешательства и значений выбранных переменных. Проверялись статистические гипотезы о различиях средних возраста и длительности заболевания при разных результатах операции (с помощью параметрических или непараметрических тестовых статистик).

2 этап. Находился разделяющий порог (или оптимальная пороговая точка, точка отсечки (англ. cut-off)).

3 этап. Оценивались рабочие характеристики (меры валидности) диагностического теста.

1 и 3 этапы выполняются стандартными, хорошо описанными в современных руководствах по биомедицинской статистике статистическими методами [7].

Для того чтобы найти разделяющий порог для выбранных переменных, был использован ROC-анализ [8]. ROC-кривая (англ. receiver operating characteristic, рабочая характеристика приемника) - график, позволяющий оценить качество диагностического теста. Он отражает соотношение между долей истинно-положительных результатов теста [также называемой чувствительностью теста (Sensitivity, сокращенно Se)] и долей ложно-положительных результатов теста [эта доля равна 1 - специфичность теста (Specificity, сокращенно Sp)] при варьировании разделяющего порога.

Количественную интерпретацию ROC-кривой дает показатель AUC (англ. area under curve, площадь под ROC-кривой) - площадь, ограниченная ROC-кривой и осью доли ложных положительных результатов теста. Чем выше показатель AUC, тем качественнее классификатор, при этом значение 0,5 демонстрирует непригодность выбранного метода классификации (соответствует случайному гаданию). Значение менее 0,5 говорит, что классификатор действует с точностью до наоборот: если положительные назвать отрицательными и наоборот, тест будет работать лучше.

Для определения оптимальной пороговой точки из кривой ROC используются различные методы. В качестве оптимальной пороговой точки рассчитываются, например:

- точка на ROC-кривой, ближайшей к координатам (0, 1);

- индекс Юдена J (Youden);

- критерий минимальной стоимости.

Первые два метода расчета дают равный вес

чувствительности и специфичности и не налагают никаких стоимостных или этических ограничений, также не учитывают распространенность болезни. Третий критерий учитывает затраты, ко-

торые в основном включают финансовые затраты на правильный и ложный диагноз, стоимость дискомфорта для человека, вызванного лечением, и стоимость дальнейшего обследования, когда это необходимо. Этот метод редко используется в медицинской литературе, поскольку трудно оценить соответствующие затраты.

Индекс Юдена J является наиболее часто используемым критерием, потому что этот показатель отражает качество теста и легко вычисляется. Индекс Юдена J является точкой на кривой ROC, которая наиболее далека от линии бесполезного теста (диагональная линия, на любой точке которой положительный результат теста с одинаковой вероятностью может быть истинным или ложным). Основная цель индекса Youden - максимизировать разницу между долей истинно-положительных результатов теста (чувствительностью) и долей ложно положительных результатов теста (1 - специфичность). В виде математического выражения индекс Юдена представляется как J = max [Se + Sp].

В данном исследовании индекс Юдена J использовался в качестве критерия нахождения оптимальной пороговой точки или разделяющего значения.

Результаты исследования. Категоризация переменных применялась для двух количественных переменных: возраст и длительность заболевания.

Возраст. Оценка ассоциации возраста и эффекта от проведенной операции проводилась по результатам проверки соответствующей статистической гипотезы с помощью непараметрического и-критерия Манна-Уитни, позволяющей выявлять различия в значении параметра между двумя независимыми выборками по уровню какого-либо признака, измеренного количественно.

Как показал статистический анализ, выявлены статистически значимые различия (р < 0,05) между возрастом пациентов в группе с положительным исходом операции (18 чел.) и таковым в группе с отрицательным исходом (21 чел.) операции (и = 78,0, р-^е1 = 0,001766).

На рис. 1 представлены медиана (Мп), ин-терквартильный размах (25-75%), минимальное и максимальное значение (Мт-Мах) возраста пациентов в группах с разным эффектом от операции при болезни Меньера. Видно, что у 75% пациентов в группе с положительным эффектом от операции возраст не превысит 45 лет, а у 75% пациентов с отсутствием эффекта возраст не будет меньше 46 лет.

Для того чтобы найти значение пороговой точки, критерия, которое разделяло возраст на два диапазона: в одном диапазоне с высокой вероятностью будет положительный эффект; в другом - с высокой вероятностью будет отрицательный эффект, был использован ROC-анализ.

70

65

60

55

Рис. 1. Медиана, интерквартильный размах, минимальное и максимальное значения возраста пациентов в группах с разным эффектом от операции при болезни Меньера.

50

45

40

35

30

25

Есть Нет

Эффект от операции

j Median □ 25-75% I Min-Max

Значения критерия и координаты ROC-кривой

Т а б л и ц а 1

Критерий Чувствительность (Se) Специфичность (Sp) Отношение правдоподобия положительного результата теста (+LR) Отношение правдоподобия отрицательного результата теста (-LR) Индекс Youden (J)

<23 0 100 - 1 0

<28 16,67 100 - 0,83 16,67

<32 22,22 95,24 4,67 0,82 17,46

<34 27,78 95,24 5,83 0,76 23,02

<36 27,78 90,48 2,92 0,8 18,26

<40 50 90,48 5,25 0,55 40,48

<41 50 85,71 3,5 0,58 35,71

<42 61,11 80,95 3,21 0,48 42,06

<45 77,78 80,95 4,08 0,27 58,73

<47 77,78 61,9 2,04 0,36 39,68

<48 83,33 61,9 2,19 0,27 45,23

<50 88,89 57,14 2,07 0,19 46,03

<54 88,89 42,86 1,56 0,26 31,75

<55 94,44 42,86 1,65 0,13 37,3

<62 94,44 0 0,94 - -5,56

<65 100 0 1 - 0

В табл. 1 приведены значения пороговой точки (критерия), координаты ROC-кривой, а также операционные характеристики диагностического теста при использовании соответствующего критерия. Как показывают представленные результаты вычислений, наибольшее значение индекса Юдена J = 58,73 соответствуют критерию возраста 45 лет.

100^ресШску

Рис. 2. ROC-кривая диагностического теста, в котором в качестве диагностического признака исхода операции используется возраст пациента.

На рис. 2 представлена ROC-кривая диагностического теста, в котором в качестве диагностического признака исхода операции используется возраст пациента.

При использовании этого значения (45 лет) в качестве разделяющего положительный и отрицательный исход, чувствительность (Se) составляет 77,8%, а специфичность (Sp) - 80,9%. Показатель AUC составил 79,4%, что соответствует хорошей диагностической точности теста.

Длительность заболевания. Как показал статистический анализ с помощью непараметрического U-критерия Манна-Уитни, выявлены статистически значимые различия (p < 0,05) между длительностью заболевания в группе с положительным исходом операции и таковым в группе с отрицательным исходом операции (U = 3,5, p-level = 0,000135).

На рис. 3 представлены медиана (Mn), ин-терквартильный размах (25-75%), минимальное и максимальное значения (Min-Max) длительности заболевания в группах с разным эффектом от операции при болезни Меньера. На диаграмме видно, что у 75% пациентов в группе с положительным эффектом от операции длительность заболевания не превысит 9 лет, а у 75% пациентов с отсутствием эффекта длительность заболевания не будет меньше 12 лет.

В табл. 2 приведены значения критерия и координаты ROC-кривой. Как показывают пред-

Рис. 3. Медиана, интерквартиль-ный размах, минимальное и максимальное значения длительности заболевания пациентов в группах с разным эффектом от операции при болезни Меньера.

Т а б л и ц а 2

Значения критерия и координаты ROC-кривой

Критерий Чувствительность (Эе) Специфичность СЭр) Отношение правдоподобия положительного результата теста (+LR) Отношение правдоподобия отрицательного результата теста (- LR) Индекс Youden У)

<2 0 100 - 1 0

<2 16,67 95,24 3,5 0,88 11,91

<3 22,22 95,24 4,67 0,82 17,46

<5 33,33 85,71 2,33 0,78 19,04

<6 44,44 80,95 2,33 0,69 25,39

<10 100 80,95 5,25 0 80,95

<20 100 0 1 - 0

ставленные результаты вычислений, наибольшее значение индекса Юдена J = 80,95 соответствует критерию длительности заболевания 10 лет.

На рис. 4 представлена ROC-кривая диагностического теста, в котором в качестве диагностического признака исхода операции используется длительность заболевания пациента.

При использовании этого значения в качестве разделяющего положительный и отрицательный исход чувствительность (Эе) составляет 100%, а специфичность (Эр) - 80,9%. Показатель АиС составил 85,8%, что соответствует хорошей диагностической точности теста.

ол

б а

22

20

18

16

14

12

10

Нет Есть

Положительный эффект

~ Median □ 25-75% Мт-Мах

8

6

4

100

80

60

>

40

20

0

0

20

80

100

40 60

100-8реайа1у

Рис. 4. ROC-кривая диагностического теста, в котором в качестве диагностического признака исхода операции используется длительность заболевания пациента.

Выводы

Для использования в модели прогноза исхода оперативного вмешательства при болезни Меньера показатели возраста и длительности заболевания могут быть статистически обоснованно упрощены и категорированы в вид дискретных предикторов. Для предиктора «возраст пациента» в исходных значениях лет может быть использован предиктор «возраст менее или равен 45 годам», а вместо показателя «длительность заболевания» может быть использован предиктор «длительность заболевания менее или равна 10 годам».

ЛИТЕРАТУРА

1. Корнеенков А. А., Лиленко С. В., Лиленко А. С., Вяземская Е. Э., Бахилин В. М. Использование модифицированной процедуры последовательного распознавания Вальда для определения исхода оперативного лечения у пациентов с болезнью Меньера // Рос. оториноларингология. 2018. № 3 (94). C. 54-59. DOI: 10.18692/18104800-2018-3-54-59.

2. Вальд А. Последовательный анализ. М.: Физматлит, 1960. 328 с.

3. Янов Ю. К., Корнеенков А. А., Левина Е. А., Серова Е. Э., Левин С. В., Кузовков В. Е., Астащенко С. В. Клинические особенности шума в ушах у пациентов с кохлеарным имплантом // Consilium medicum. 2017. Т. 19, № 11. С. 10-15. DOI: 10.26442/2075-1753_19.11.10-15.

4. Янов Ю. К., Корнеенков А. А., Левина Е. А., Серова Е. Э., Левин С. В., Кузовков В. Е., Астащенко С. В. Влияние кохлеарной имплантации на выраженность ушного шума у пациентов с глубоким снижением слуха и глухотой // Мед. акад. журн. 2017. Т. 17, № 2. С. 48-53.

5. Лиленко А. С., Диаб Х. М. Хирургическое лечение пациентов с болезнью Меньера // Рос. оториноларингология. 2012. № 2 (57). C. 93-99.

6. Лиленко С. В. Слуховые и вестибулярные расстройства на ранней стадии болезни Меньера: диагностика и лечение // Лечение заболеваний нервной системы. 2009. № 2 (2). С. 17-21.

7. Altman D. G., Machin D., Bryant T. N., Gardner M. J. Statistics with confidence. 2 ed. London: BMJ Books, 2000. 254 p.

8. Rosner B. Fundamentals of biostatistics. 7 ed. Boston, Mass.: Cengage Learning. 2010. 888 p.

REFERENCES

1. Korneenkov A. A., Lilenko S. V., Lilenko A. S., Vyazemskaya E. E., Bakhilin V. M. Ispol'zovanie modifitsirovannoi protsedury posledovatel'nogo raspoznavaniya Val'da dlya opredeleniya iskhoda operativnogo lecheniya u patsientov s bolezn'yu Men'era [Use of the modified procedure of Wald's sequential probability ratio test for determining the outcome of a surgical treatment in patients with Meniere's disease]. Rossiyskaya otorinolaringologiya. 2018;3:54-59 (in Russian) DOI: 10.18692/1810-4800-2018-3-54-59.

2. Wald A. Posledovatel'nyi analiz [Sequential analysis]. Moscow: Fizmatlit, 1960: 328 (in Russian).

3. Yanov Y. K., Korneenkov A. A., Levina E. A., Serova E. E., Levin S. V., Kuzovkov V. E., Astaschenko S. V. Klinicheskie osobennosti shuma v ushakh u patsientov s kokhlearnym implantom [Clinical features of tinnitus in patients with cochlear implant]. Consilium medicum. 2017;19;11:10-15. DOI: 10.26442/2075-1753_19.11.10-15 (in Russian).

4. Yanov Y. K., Korneenkov A. A., Levina E. A., Serova E. E., Levin S. V., Kuzovkov V. E., Astaschenko S. V. Vliyanie kokhlearnoi implantatsii na vyrazhennost' ushnogo shuma u patsientov s glubokim snizheniem slukha i glukhotoi [Influence of cochlear implantation on the degree of tinnitus in patients with profound hearing loss and deafness]. Meditsinskii akademicheskii zhurnal. 2017;17;2:48-53 (in Russian).

5. Lilenko A. S., Diab H. M. Hirurgicheskoe lechenie patsientov s boleznyu Menera [Surgical treatment of patients with Meniere's disease]. Rossiyskaya otorinolaringologiya. 2012;2:93-99 (in Russian).

6. Lilenko S. V. Slukhovye i vestibulyarnye rasstroistva na rannei stadii bolezni Men'era: diagnostika i lechenie [Auditory and vestibular disorders in the early stages of Meniere's disease: diagnosis and treatment]. Lechenie zabolevanii nervnoi sistemy [Treatment of diseases of the nervous system]. 2009;2(2):17-21 (in Russian).

7. Altman D. G., Machin D., Bryant T. N., Gardner M. J. Statistics with confidence, 2 ed. London, BMJ Books, 2000:254.

8. Rosner B. Fundamentals of biostatistics, 7 ed. Cengage Learning. 2010:888.

Корнеенков Алексей Александрович - доктор медицинских наук, профессор, заведующий лабораторией информатики и статистики ФГБУ «Санкт-Петербургский НИИ уха, горла, носа и речи» Минздрава России. Россия, 190013, Санкт-Петербург, Бронницкая ул., д. 9; тел. +7 (812) 595-74-48, e-mail: korneyenkov@gmail.com ORCID 0000-0001-5870-8042

Лиленко Сергей Васильевич - доктор медицинских наук, профессор, ведущий научный сотрудник отдела разработки и внедрения высокотехнологичных методов лечения, руководитель вестибулярной лаборатории ФГБУ «Санкт-Петербургский НИИ уха, горла, носа и речи» Минздрава России. Россия, 190013, Санкт-Петербург, Бронницкая ул., д. 9; тел. +7 (812) 400-15-34; e-mail: lilenko@mail.ru

ORCID 0000-0001-9858-5219

Лиленко Андрей Сергеевич - младший научный сотрудник отдела диагностики и реабилитации нарушений слуха ФГБУ «Санкт-Петербургский НИИ уха, горла, носа и речи» Минздрава России. Россия, 190013, Санкт-Петербург, Бронницкая ул., д. 9; тел. +7 (812) 316-25-01; e-mail: aslilenko@gmail.com ORCID 0000-0003-1641-506X

Вяземская Елена Эмильевна - инженер лаборатории информатики и статистики ФГБУ «Санкт-Петербургский НИИ уха, горла, носа и речи» Минздрава России. Россия, 190013, Санкт-Петербург, Бронницкая ул., д. 9; тел. +7 (911) 996-08-89, e-mail: vyazemskaya.elena@gmail.com ORCID 0000-0002-4141-2226

Российская оториноларингология № 4 (95) 2018

Бахилин Виктор Михайлович - научный сотрудник лаборатории информатики и статистики ФГБУ «Санкт-Петербургский НИИ уха, горла, носа и речи» Минздрава России. Россия, 190013, Санкт-Петербург, Бронницкая ул., д. 9; тел. +7 (921) 973-05-62, e-mail: sc.victor.6219@gmail.com ORCID 0000-0002-0116-9890

Aleksei Aleksandrovich Korneenkov - MD, Professor, Head of the Laboratory of Informatics and Statistics of Federal State Budgetary Institution Saint Petersburg Research Institute of Ear, Throat, Nose and Speech of the Ministry of Healthcare of Russia. Russia, 190013, Saint Petersburg, 9, Bronnitskaia str., tel.: +7 (812) 595-74-48, e-mail: korneyenkov@gmail.com ORCID 0000-0001-5870-8042

Sergei Vasil'evich Lilenko - MD, Professor, leading research associate of the Department of Development and Implementation of High-Technology Treatment Methods, Head of Vestibular Laboratory of Federal State Budgetary Institution Saint Petersburg Research Institute of Ear, Throat, Nose and Speech of the Ministry of Healthcare of Russia. Russia, 190013, Saint Petersburg, 9, Bronnitskaia str., tel.: +7 (812) 400 1534, e-mail: lilenko@mail.ru ORCID 0000-0001-9858-5219

Andrei Sergeevich Lilenko - junior research associate of the Department of Diagnostics and Rehabilitation of Hearing Impairments of Federal State Budgetary Institution Saint Petersburg Research Institute of Ear, Throat, Nose and Speech of the Ministry of Healthcare of Russia. Russia, 190013, Saint Petersburg, 9, Bronnitskaia str., tel.: (812) 316-25-01, e-mail: aslilenko@gmail.com ORCID 0000-0003-1641-506X

Elena Emil'evna Vyazemskaya - engineer of the Laboratory of Informatics and Statistics of Saint Petersburg Research Institute of Federal State Budgetary Institution Ear, Throat, Nose and Speech of the Ministry of Healthcare of Russia. Russia, 190013, Saint Petersburg, 9, Bronnitskaia str., tel.: +7 (911) 996-08-89, e-mail: vyazemskaya.elena@gmail.com ORCID 0000-0002-4141-2226

Viktor Mikhailovich Bakhilin - research associate of the Laboratory of Informatics and Statistics of Federal State Budgetary Institution Saint Petersburg Research Institute of Ear, Throat, Nose and Speech of the Ministry of Healthcare of Russia. Russia, 190013, Saint Petersburg, 9, Bronnitskaia str., tel.: +7 (921) 973-05-62, e-mail: sc.victor.6219@gmail.com ORCID 0000-0002-0116-9890