ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

Дубров В.И.; Сизонов В.В.; Каганцов И.М.; Негматова К.Н.; Бондаренко С.Г.

ОРИГИНАЛЬНЫЕ СТАТЬИ В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

Прогнозирование результатов однократной эндоскопической коррекции пузырно-мочеточникового рефлюкса с использованием декстраномера гиалуроновой кислоты. Выбор оптимальной прогностической модели

Виталий И. Дубров Владимир В. Сизонов 2, Илья М. Каганцов 3'4, Кармина Н. Негматова 5,

Сергей Г. Бондаренко 6

1 УЗ «2-я городская детская клиническая больница» 220020, Республика Беларусь, г. Минск, ул. Нарочанская, д. 17

2 ГБУ РО «Областная детская клиническая больница» 344015, Россия, г. Ростов-на-Дону, ул. 339-й Стрелковой дивизии, д. 14

3 ФГБУ «Национальный медицинский исследовательский центр им. В.А. Алмазова» Минздрава России

197341, Россия, г. Санкт-Петербург, ул. Аккуратова, д. 2

4 ФГБОУ ВО «Сыктывкарский государственный университет имени Питирима Сорокина» 167004, Россия, Республика Коми, г. Сыктывкар, ул. Пушкина, д. 116/6

5 ФГАОУ ВО «Первый Московский государственный медицинский университет имени И.М. Сеченова»

Минздрава России 119435, Россия, г. Москва, ул. Большая Пироговская, д. 2/4

6 ГУЗ «Клиническая больница скорой медицинской помощи №7» 400002, Россия, г. Волгоград, ул. Казахская, д. 1

Введение. Эндоскопическая коррекция - часто применяемый метод лечения пузырно-мочеточникового рефлюкса у детей.

Цель исследования. Изучить точность многомерных математических моделей для прогнозирования исхода однократной эндоскопической коррекции пузырно-мочеточникового рефлюкса декстраномером гиалуроновой кислоты у детей.

Материалы и методы. Исследование базировалось на результатах эндоскопической коррекции методом STING у 582 пациентов (192 мальчика, 390 девочки) в возрасте от 2 месяцев до 16 лет. Двухсторонний рефлюкс имелся у 201 (34,5%). Общее количество оперированных мочеточников составило 783 из них рефлюкс I степени имелся в 20 случаях, II - в 133, III - в 443 и IV - в 187. Полное удвоение мочеточников обнаружено в 53 наблюдениях. Общая эффективность однократной эндоскопической коррекции составила 53,2%, при ПМР I степени - 90%, II - 82,7%, III - 70% и IV - 37,4%. Для прогнозирования результатов лечения применялась бинарная логистическая регрессия (ЛР) и многослойная искусственная нейронная сеть (ИНС). В качестве предикторов были выбраны возраст, пол, степень рефлюкса, удвоение мочеточников и степень дилатации мочеточника.

Результаты. Логистическая регрессия и нейронная сеть показали хорошую точность предикции (площадь под ROC-кривой составила 0,7 и 0,77 соответственно) с чувствительностью и специфичностью моделей 70,7% и 66,3% для ЛР, 85,5% и 65,3% для ИНС. Сохранённые оценки параметров прогнозных моделей использованы для прогноза результатов эндоскопической коррекции декстраномером гиалуроновой кислоты методом STING в двух независимых клиниках. Анализ результатов использования прогностических моделей в независимых клиниках показал хорошее качество предикции как с использованием ЛР (75% и 90% правильного прогноза), так и с применением ИНС (89,7% и 77% правильного прогноза).

Выводы. Логистическая регрессия и искусственная нейронная сеть являются эффективными методами, адекватно прогнозирующими результаты эндоскопической коррекции. Они могут использоваться в практике при выборе метода лечения пузырно-мочеточникового рефлюкса у детей.

Ключевые слова: пузырно-мочеточниковый рефлюкс; эндоскопическая коррекция; искусственная

нейронная сеть

В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко ОРИГИНАЛЬНЫЕ СТАТЬИ

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

Финансирование. Исследование не имело спонсорской поддержки. Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов: В.И. Дубров, В.В. Сизонов, И.М. Каганцов, С.Г. Бондаренко - сбор и статистический анализ клинического материала, написание статьи; К.Н. Негматова - анализ клинического материала, написание статьи. Поступила в редакцию: 28.12.2020. Принята к публикации: 13.04.2021. Опубликована: 26.06.2021. Автор для связи: Владимир Валентинович Сизонов; тел.: +7 (863) 300-80-34; e-mail: vsizonov@mail.ru

Для цитирования: Дубров В.И., Сизонов В.В., Каганцов И.М., Негматова К.Н., Бондаренко С.Г. Прогнозирование результатов однократной эндоскопической коррекции пузырно-мочеточникового рефлюкса с использованием декстраномера гиалуро-новой кислоты. Выбор оптимальной прогностической модели. Вестник урологии. 2021;9(2):45-55. DOI: 10.21886/2308-64242021-9-2-45-55

Predicting the outcomes of a single endoscopic correction of vesicoureteral reflux using a dextranomer/hyaluronic acid copolymer: selection of the optimal predictive model

Vitaly I. Dubrov1, Vladimir V. Sizonov2, Ilya M. Kagantsov3, Karmina N. Negmatova4,

Sergey G. Bondarenko5

1 Minsk 2nd City Children's Clinical Hospital 220020, Republic of Belarus, Minsk, 17 Narochanskaya st.

2 Rostov-on-Don Regional Children's Clinical Hospital» 344015, Russian Federation, Rostov-on-Don, 14 339th Strelkovoi Divisii st.

3 V.A. Almazov National Medical Research Center 197341, Russian Federation, St. Petersburg, 2 Akkuratova, st.

4 Pitirim Sorokin Syktyvkar State University 167004, Russian Federation, Komi Republic, Syktyvkar, 116/6 Pushkin st.

5 I.M. Sechenov First Moscow State Medical University (Sechenov University) 119435, Russian Federation, Moscow, 2/4 Bolshaya Pirogovskaya st.

6 Volgograd Emergency Clinical Hospital No. 7» 400002, Russian Federation, Volgograd, 1 Kazakhskaya st.

Introduction. Endoscopic dextranomer/hyaluronic acid copolymer (DxHA) injection is the most commonly used minimally invasive method of surgical treatment of vesicoureteral reflux (VUR) in children.

Purpose of the study. To estimate the accuracy of logistic prognostic models and artificial neural network for prediction a single endoscopic injection DxHA in VUR.

Materials and methods. We used endoscopic DxHA in 582 patients (783 ureteric units) of all grades reflux (I - 20, II - 133, III - 443, IV - 187), 53 ureters had complete duplication. A total effectiveness of surgery was 53.2%. A binary logistic regression model and an artificial neural network (multilayer perceptron) were created, taking the following as independent variables: grade of reflux, the patient's age and sex, the ureteral duplication and ureteral dilatation index.

Results. The univariate logistic regression showed that the selected predictors were strongly related to the outcome of the treatment. Binary logistic regression and neural network developed high accuracy of the predictions, area under ROC-curve was 0,7 for logistic regression model (a sensitivity of 70.7%, and a specificity of 66.3%) and 0.74 for artificial neural network (a sensitivity of 85.5%, a specificity of 65.3%). Synaptic neural network weights and logistic regression parameters were used in a scoring model to predict the outcome of a single endoscopic injection of DxHA in 2 independent hospitals. An outcomes analysis using predictive models in independent clinics showed a good quality of prediction both with the use of logistic regression (75% and 90% of the correct prognosis) and using a neural network (89.7% and 77% of the correct prediction).

Conclusion. An artificial neural network and a binary logistic regression model are an effective tool to assist urologists in identifying and applying endoscopic treatments for VUR in children.

Keywords: vesicoureteral reflux; endoscopic correction; neural network

ОРИГИНАЛЬНЫЕ СТАТЬИ В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

Financing. The study was not sponsored. Conflict of interest. The authors declare no conflicts of interest.

Authors' contribution: Vitaly I. Dubrov, Vladimir V. Sizonov, Ilya M. Kagantsov, Sergey G. Bondarenko - collection and statistical analysis of clinical material, writing an article; Karmina N. Negmatova - analysis of clinical material, writing an article. Received: 28.12.2021. Accepted: 13.04.2021. Published: 26.06.2021.

Corresponding author: Vladimir Valentinovich Sizonov; tel.: +7 (863) 300-80-34; e-mail: vsizonov@mail.ru

For citation: Dubrov V.I., Sizonov V.V., Kagantsov I.M., Negmatova K.N., Bondarenko S.G. Predic ting the outcomes of a single endoscopic correction of vesicoureteral reflux using a dextranomer/hyaluronic acid copolymer: selection of the optimal predictive model. Vestn. Urol. (In Russ.). 2021;9(2):45-55. (In Russ.). DOI: 10.21886/2308-6424-2021-9-2-45-55

Ведение

Пузырно-мочеточниковый рефлюкс (ПМР) является распространённой патологией мочевых путей у детей с оценкой частоты встречаемости заболевания около 1%. Открытая реимплантация мочеточника обладает высокой эффективностью, однако сопровождается высокой травматичностью и длительным пребыванием в стационаре. Несмотря на более низкую эффективность, по сравнению с реимплантаци-ей эндоскопическая коррекция (ЭК) ПМР с использованием различных объёмообразующих субстанций получила широкое распространение в связи с минимальной инвазивностью [1, 2]. В настоящее время в литературе имеются работы, посвящённые прогнозу исхода ЭК, основанные на статистическом многомерном анализе влияния различных факторов на результаты ЭК [3]. Вместе с тем одним из факторов, который влияет на качество статистического многомерного анализа, является возможность нарушения биологическими системами гипотез, основанных на математических моделях, когда есть сложные взаимодействия между переменными. К другим факторам можно отнести случаи, когда непрерывные переменные не подчиняются нормальному закону распределения или когда переменные бинарные или интервальные по своей природе. Это ограничивает использование линейного регрессионного анализа для построения прогностических моделей. В таких случаях прогностические модели, использующие логистическую регрессию или искусственную нейронную сеть (ИНС), являются более адекватными [4]. Так А. Serrano-Durba et а1. [5] и позже I. Seckiner et а1. [6] использовали логистическую регрессию и ИНС для прогнозирования результатов ЭК с хорошим качеством предсказательности на исторических данных. Вместе с тем в работе I. Seckiner et а1. [6] отсутствует проспективный анализ качества прогностической модели по результатам, полученным в других клиниках.

Безусловно, использование в клинической практике качественной прогнозной модели поможет ответить на вопрос о том, с какой вероятностью будет получен положительный результат при использовании ЭК, что в конечном счёте будет способствовать выбору наиболее эффективного

метода лечения для пациента с ПМР.

Целью исследования являлось изучение возможности прогнозирования результатов однократной ЭК с декстраномером гиалуроновй кислоты (ДГК) и выбор оптимальной прогностической модели, базирующейся на непараметрической логистической регрессии и искусственной нейронной сети.

Материалы и методы

Для оценки возможности прогноза результата однократной эндокоррекции ПМР у пациентов детского возраста и выявления клинико-рентгенологических предикторов, влияющих на результат ЭК, выполненной методом STING, проведено ретроспективное клиническое исследование. Критерии включения: дети с первичным ПМР I - IV степени в соответствии с классификацией Международного комитета по изучению рефлюкса. Критерии исключения: первичный ПМР V степени (рефлюксирующий мегауретер); уретероцеле; вторичный ПМР на фоне нейрогенного мочевого пузыря, уретральных клапанов, экстрофии мочевого пузыря; ранее перенесённые открытые, лапароскопические или эндоскопические операции на мочевом пузыре и дистальном отделе мочеточника.

В исследование включены 582 пациента с ПМР в возрасте от 2 месяцев до 16 лет (медиана - 44 [19,8; 85,3]), которым выполнена ЭК с использованием в качестве объёмообразующего препарата ДГК, который имплантировали методом STING. Мальчиков было 192 (33%), девочек - 390 (67%). Односторонний рефлюкс наблюдали у 381 пациента (65,5%), двусторонний - у 201 (34,5%). Всего были прооперированы 783 мочеточника. В 62 (7,9%) случаях наблюдали полное удвоение мочеточников.

Протокол обследования пациентов с ПМР включал лабораторные тесты, ультразвуковое исследование органов мочевой системы, микционную цистоуретрографию с расчётом индекса дилатации мочеточника (ИДМ), который рассчитывали, как отношение дистального диаметра мочеточника к высоте третьего поясничного позвонка (рис. 1) и статическую не-фросцинтиграфию. У детей, приученных к туалету, изучали дневник мочеиспусканий и выполняли

В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко ОРИГИНАЛЬНЫЕ СТАТЬИ

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

Рисунок 1. Измерение индекса дилатации мочеточника по микционной цистоуретрограмме (А - диаметр мочеточника, В - высота III позвонка) Figure 1. Measurements used to calculate ureter dilatation index on voiding cystourethrogram (A - diameter of the ureter, B - height of the III vertebra)

урофлоуметрию с контролем остаточной мочи, при наличии признаков дисфункции проводили комплексное уродинамическое обследование. При наличии дисфункции мочевого пузыря применяли консервативную терапию, ЭК выполняли только после нормализации функции нижних мочевых путей.

Показанием к хирургическому лечению слу-

жило рецидивирующее течение пиелонефрита на фоне антибактериальной профилактики, появление новых почечных рубцов, по данным нефрос-цинтиграфии, а также предпочтение родителей.

Всем пациентам, перенёсшим ЭК, были выполнены контрольные ультразвуковые исследования и микционная цистоуретрография через 6 месяцев после вмешательства. Успешным результатом считали полное разрешение ПМР. Общая эффективность однократной ЭК составила 64,9%. Результаты однократной ЭК у включённых в исследование пациентов представлены в таблице 1.

Методы статистического анализа. Для сравнения качественных переменных использовали критерий х2, а для непрерывных переменных, имеющих распределение отличное от нормального, - непараметрические методы статистики. Для измерения согласованности оценки степени ПМР между клиниками использовали коэффициент Каппа-Коэна.

Для прогнозирования результатов ЭК применяли регрессионную модель (логистическая бинарная регрессия) и многослойную искусственную нейронную сеть (многослойный перцеп-трон) с двумя скрытыми слоями и сигмоидной функцией активации нейронов. Обучающая выборка ИНС включала 70% активных данных,

Таблица. 1. Результаты однократной эндоскопической коррекции Table 1. Single endoscopic correction outcomes

Результат

Количество мочеточников Outcomes

Переменные ,, . . -;-3-

Variables Ureters, qty. хороший плохой p

(n = 783) success failure

_(n = 508)_(n = 275)_

Возраст, месяцы Age, months 54 [23; 89] 29 [14; 73] 0,001

Пол:

Gender:

мальчики 253 137 116 < 0,001

male

девочки 530 371 159

female

Степень ПМР:

VUR grade:

I II 20 133 18 (90%) 110 (82,7%) 2 (10%) 23(17,3%) < 0,001

III 443 310 (70%) 133(30%)

IV 187 70 (37,4%) 117(62,60%)

Полное удвоение Complete duplication 53 31 (58,5%) 22(41,5%) 0,001

ИДМ UDI 0,4 ± 0,02 0,6 ± 0,03 < 0,001

Примечания: ПМР — пузырно-мочеточниковый рефлюкс; ИДМ - индекс дилатации мочеточника. Notes: VUR - vesicoureteral reflux; UDI - ureteral dilatation index.

ОРИГИНАЛЬНЫЕ СТАТЬИ В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

отобранных случайным методом. Использовали интерактивный метод обучения, который наиболее подходит для наборов данных со связанными предикторами. Искусственную нейронную сеть строили многократно до появления стабильных результатов значимости каждого предиктора и после этого оценки синаптических весов нейронов НИС сохраняли в XML файле для использования с целью скоринга. В качестве предикторов выбраны возраст и пол пациентов, степень ПМР и наличие удвоения мочеточников. Переменные пол и удвоение мочеточника были кодированы: мальчик - 1, девочка - 0, удвоение есть - 1, удвоения нет - 0. Выходную переменную «результат» кодировали как 0 - результата нет и 1 - результат есть. Выбор этих предикторов обосновывался наиболее частым их использованием при прогнозировании результатов лечения ПМР, по данным литературы и обнаруженным их влиянием на результат однократной ЭК (табл. 1) Построение моделей было выполнено на данных всех трёх клиник с акцентом проверки основных моделей ИНС и ЛР, по данным референтной клиники на дополнительных двух учреждениях.

Предикторную модель применяли для прогнозирования результатов ЭК в двух клинических учреждениях Российской Федерации, в которых использовали аналогичную технику ЭК ДГК. Точность прогноза определяли методом вычисления площади под ROC-кривой. Для расчётов применяли пакет программ IBM SPSS Statistics 22 (модули SPSS Regression Models и SPSS Neural Networks).

Результаты

При одновариантном регрессионном анализе установлена статистически значимое влияние вы-

бранных предикторов на результат однократной ЭК (табл. 2).

При включении в модель множественной логистической регрессии всех объясняющих переменных обнаружено, что переменные пол, возраст и удвоение были статистически незначимы (табл. 3). При построении окончательной модели множественной ЛР использовали отбор переменных методом Вальда, при этом на каждом шаге отбора определяли процент корректного прогноза, чувствительность и специфичность модели. Оказалось, что наилучшее качество модели было при использовании ИДМ как единственного предиктора (табл. 3). Модель имела 71,3% верного прогноза с чувствительностью 70,7% и специфичностью 66,3%, площадь под ROC-кривой составила 0,7 (ДИ 0,63 - 0,78, p < 0,001).

При использовании ИНС сеть расценила индекс дилатации мочеточника, степень ПМР и удвоение как наиболее важные предикторы (нормализованная важность 100%, 92,3% и 49,4% соответственно). Результат прогноза с использованием ИНС показал 74,5% верных отнесений, с площадью под ROC кривой 0,77 (ДИ 0,67 - 0,65, p < 0,001), чувствительностью и специфичностью равной 85,5% и 65,3%.

При сравнении выборок из двух независимых клиник с выборкой из референтной клиники, по данным которой были построены прогностические модели, отмечены статистически значимые различия некоторых переменных (табл. 4). В референтной клинике, где ЭК выполняли у детей более старшего возраста, имелись статистически значимые различия в распределении частот по степени ПМР и общей эффективности ЭК

Таблица 2. Одновариантный логистический регрессионный анализ факторов, влияющих на результат эндоскопической коррекции

Table 2. Univariate logistic regression of factors affecting the outcomes of endoscopic treatment

Переменные

_Variables_

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Возраст

Пол Gender Степень ПМР VUR grade

Удвоение мочеточника Ureteral duplication ИДМ UDI

B / b S ОШ OR 95% ДИ 95% CI P

0,96 / -0,7 0,2 0,5 0,37 - 0,67 < 0,001

0,9 / -0,7 0,2 0,5 0,37 - 0,73 < 0,001

3,95 / -1 0,1 0,4 0,27 - 0,44 < 0,001

0,7 / -0,9 0,3 0,4 0,23 - 0,76 < 0,005

1,3 / -2,9 0,6 0,2 0,04 - 0,6 < 0,001

Примечания: 1) B - константа; b - коэффициенты регрессии; S - среднеквадратичная ошибка; ОШ - отношение шансов; ДИ -доверительный интервал. 2) ПМР — пузырно-мочеточниковый рефлюкс; ИДМ - индекс дилатации мочеточника. Notes: 1) B - constant; b - regression coefficient; S - root-mean-square error; OR -odds ratio; CI - confidence interval. 2) VUR -vesicoureteral reflux; UDI - ureteral dilatation index.

В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко ОРИГИНАЛЬНЫЕ СТАТЬИ

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

Таблица. 3. Анализ факторов, влияющих на результат эндоскопической коррекции с использованием множественной логистической регрессии

Table 3. Multivariate logistic regression of factors affecting the outcomes of endoscopic treatment

95% ДИ

Переменные b S P ОШ 95% CI

Variables OR нижняя граница верхняя граница lower limit upper limit

Пол Gender -0,46 0,34 0,17 0,62 0,32 1,2

Возраст Age -0,003 0,004 0,42 1,0 0,99 1,01

ИДМ UDI -2,16 0,7 0,002 0,16 0,03 0,45

Степень ПМР VUR grade -0,62 0,29 0,032 0,54 0,31 0,95

Удвоение Duplication -0,57 0,57 0,33 0,57 0,19 1,75

Константа Constant 3,3 0,97 0,001 27,3

ИДМ UDI -3,1 0,62 < 0,001 0,05 0,01 0,16

Константа Constant 1,47 0,33 < 0,001 4,3

Примечания: b - коэффициент регрессии; S - средне-квадратичная ошибка; p - статистическая значимость; ОШ - отношение шансов; ДИ - доверительный интервал. 2) ПМР — пузырно-мочеточниковый рефлюкс; ИДМ - индекс дилатации мочеточника. Notes: 1) b - regression coefficient; S - root-mean-square error; p - statistical significance; OR - odds ratio; CI - confidence interval. 2) VUR - vesicoureteral reflux; UDI - ureteral dilatation index.

Таблица 4. Клиническая характеристика пациентов и результаты однократной инъекции декстрано-мером гиалуроновй кислоты в двух независимых клинических учреждениях

Table 4. Overview of the patient demographics and outcomes of a single DxHA injection in 2 independent hospitals

Клиника Hospital Возраст, мес. Age, mo. Пол, м/д Gender, male/ female Степень ПМР (количество мочеточников) VUR grade (Ureters, qty.) Эффективность ЭК, % Efficiency EC, % p

1 Медиана 109 / 147 I (4) 100 0,5

Me

36 [18; 65] II (27) 74,1 0,3

III (297) 62,3 0,03

IV (48) 47,9 0,2

Удвоение (34) 32,4 0,09

Duplication (34)

Общая эффективность 61,7 0,72

A total efficiency

2 Медиана Me 32,5 [12; 72] 46 / 70 II (22) III (47) IV (47) Удвоение (27) Duplication (27) Общая эффективность A total efficiency 77.3 42,6 23.4 44,4 41,3 0,5 < 0,001 0,07 0,9 < 0,001

Примечания: 1) p - значимость различий частот переменных с данными референтной клиники (p - критерий х2). 2) ПМР — пузырно-мочеточниковый рефлюкс; ЭК - эндоскопическая коррекция.

Notes: 1) p - significance of differences in relation to reference hospital's data (х2 test); 2) VUR - vesicoureteral reflux; UDI - ureteral dilatation index.

ОРИГИНАЛЬНЫЕ СТАТЬИ В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

в сравнении с клиникой 2, а также и в результатах операции при ПМР III степени как с клиникой 1, так и с клиникой 2.

Учитывая, что в клиниках использовали одинаковую технику ЭК, различная интерпретация степени тяжести ПМР могла лежать в основе обнаруженных различий в эффективности операций.

Для того, чтобы выяснить имелась ли несогласованность оценки степени ПМР, оперирующими хирургами была изучена интерпретация 80 микционных цистоуретрограмм. Оказалось, что в 42,9% имелась несогласованность оценки степени ПМР. Обнаружена слабая согласованность между референтной клиникой и клиникой

1 (коэффициент Каппа-Коэна 0,26), а согласованность оценки степени ПМР между референтной клиникой и клиникой 2 можно было оценить как умеренную (коэффициент Каппа-Коэна 0,61).

При использовании метода множественной регрессии для клиник 1 и 2 с использованием метода Вальда для отбора переменных в окончательную модель было установлено, что для клиники 1 в модель включены такие переменные, как ИДМ, возраст и удвоение. Модель показала 69% правильного прогноза с площадью под ROC-кривой 0,7 (p < 0,001, ДИ 0,6 - 0,8). Для клиники

2 в модель были отобраны переменные ИДМ и степень ПМР. Регрессионная модель показала 72% правильного прогноза с площадью под ROC-кривой 0,8 (ДИ 0,7 - 0,9, p < 0,001).

Использование ИНС для клиники 1 показало, что так же, как и в референтной клинике, нейронная сеть отнесла к наиболее значимым предикторам ИДМ (100%) и степень ПМР (78,5%). По данным ROC-анализа, модель показала хорошее качество (AUC = 0,72, ДИ 0,7 - 0,8, p < 0,001) с правильным прогнозом в 69%, с чувствительностью и специфичностью 91% и 30,2%. Для клиники 2 ИНС правильно спрогнозировала результат ЭК в 78% оперированных мочеточниках, при этом к наиболее важным предикторам были отнесены ИДМ и степень ПМР (100% и 94%, соответственно). Модель имела чувствительность 70% и специфичность 82%, с площадью под ROC-кривой 0,8 (ДИ 0,7 - 0,9; p < 0,001). Интересно, что использование сохранённых синаптических весов нейронов, по данным референтной клиники, для прогнозирования результатов ЭК в других клиниках правильно предсказывало результаты как для клиники 1 (70% правильного прогноза, p < 0,001, чувствительность 90,5% и специфичность 40,5%, AUC = 0,7; p < 0,001, ДИ 0,6 - 0,7), так и для клиники 2 (72% правильного прогноза, p < 0,001, чувствительность 77% и специфичность

68%, AUC = 0,73; p < 0,001, ДИ 0,6 - 0,8). Таким же образом сохранённые коэффициенты логистической регрессии, полученные по данным референтной клиники, правильно прогнозировали результаты ЭК как для клиники 1 (70% правильного прогноза, p < 0,001, чувствительность 90,1% и специфичность 33,3%, AUC = 0,64; p < 0,001, ДИ 0,6 - 0,7), так и для клиники 2 (71,6% правильного прогноза, p < 0,001, чувствительность 75% и специфичность 69,1%, AUC = 0,7; p < 0,001, ДИ 0,63 - 0,82).

Обсуждение

В настоящее время ЭК у детей с использованием различных объёмобразующих субстанций рассматривается многими хирургами как метод выбора начального лечения детей с ПМР [7, 8]. Основываясь на мета-анализе J. Elder et al. [9], можно констатировать довольно широкий диапазон (от 50% до 85%) суммарной эффективности однократной ЭК, публикуемый авторами, работы которых были включены в исследование. Позже, J. Routh et al. [10] опубликовали системный обзор результатов лечения ПМР с использованием ДГК. Из 47 исследований 3 являлись рандомизированными, проспективными были 7, а остальные носили характер ретроспективного обзора. Авторами также отмечена значительная гетерогенность в публикуемых результатах, общая эффективность ЭК варьировалась от 42% до 92%. Вероятными источниками гетерогенности в публикациях, посвящённых результатам ЭК, могут быть различные критерии оценки эффективности, размер выборки и её репрезентативность, а также варианты анатомии уретеровезикального сегмента и хирургический опыт авторов публикаций. Тем не менее, в представленных мета-анализах авторы отмечают, что, несмотря на значительную вариабельность в результатах ЭК, имелась общая тенденция негативного влияния степени ПМР на полученные результаты вмешательства. Вместе с тем отмечалась гетерогенность не только в общих результатах по выборкам, но и в подгруппах, сформированных в зависимости от степени ПМР в соответствии с международной классификацией. Таким образом можно предположить другой источник гетерогенности, который может быть обусловлен различной интерпретацией степени тяжести ПМР.

Так, исследование, проведённое А. Shaeffer et al. [11] показало, что среди опрошенных специалистов, имеющих опыт в диагностике ПМР у детей, имелась только 59%-ная согласованность в оценке степени рефлюкса. Интересно, что, по данным B.B. O'Neil et al. [12], при опросе детских

В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко ОРИГИНАЛЬНЫЕ СТАТЬИ

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

урологов в 29 - 35% степень ПМР утяжелялась, что могло приводить к чрезмерно активному лечению пациентов. Таким образом, можно предположить, что прогнозирование результатов лечения, базирующееся на качественной оценке тяжести ПМР, имеет субъективный характер и может значительно влиять на надежность статистики. Это было подтверждено и нашим исследованием.

В последние годы в литературе появилось понятие «дилатирующий» ПМР. Дилатация мочеточника рассматривается как фактор возможного прогнозирования результатов консервативного или эндоскопического лечения рефлюкса. В 2008 году I. Argibay et al. [13] разделили степень дилатации мочеточника качественно (нормальный диаметр, дилатация средняя и тяжёлая) и показали, что результат ЭК при III - IV степени рефлюкса зависел от степени дилатации сильнее, чем от степени ПМР. Однако такая стратификация не может быть достаточно объективной, так как основана на субъективной оценке степени расширения мочеточника. В дальнейшем с целью объективизации степени дилатации мочеточника был предложен индекс, который рассчитывался как отношение диаметра мочеточника в тазовом отделе к высоте поясничного позвонка [14]. Это позволило избежать субъективных свойств качественной оценки степени уретерэктазии. Интересно, что в исследовании T. Helmy et al. [15] дилатация мочеточника была единственным статистически значимым фактором риска исхода ЭК. Вполне вероятно, что степень дилатации мочеточника может отражать тяжесть декомпенсации уретеровезикального сегмента и, возможно, влиять на результат ЭК.

В работах U. Altug et al. [16] и F. Alizadech et al. [17] показано, что конфигурация устья в виде ямки для гольфа или подковы отрицательно влияла на результаты ЭК. Необходимо отметить, что приведённые выше предикторы не теряли своей значимости в зависимости от метода инъекции (HIT или STING) или вида объёмообразующего материала [18, 19].

Большинство исследований, посвящённых прогнозированию результатов ЭК, основаны на традиционной статистике и обычно используют линейную или непараметрическую (логистическую) регрессию [3, 20]. Оценки максимальной вероятности для моделей логистической регрессии часто испытывают серьезное смещение из-за проблем разделения и мультиколлинеарности, возникающих из-за большого количества высоко коррелированных элементов, особенно когда есть сложные взаимодействия между перемен-

ными. К основной проблеме мультиколлинеарности можно отнести сложность в интерпретации влияния предикторов на объясняемую переменную. Наличие корреляции между предикторами может привести к тому, что результаты модели могут значительно различаться при её использовании на других выборках. Вместе с тем необходимо учитывать, что в медицинских исследованиях мультиколлинеарность может отражать механизм формирования выборки и определённую физиологическую содержательность. В нашем исследовании выборка была сформирована на исторических данных пациентов, у которых были показания к ЭК. Статистический анализ показал смещение частоты тяжелого ПМР в сторону младшей возрастной группы. Это, очевидно, связано с тем, что большинство детей младшей возрастной группы с низким ПМР подлежит консервативному лечению, а ЭК при низких степенях рефлюкса выполнялась как сопутствующая процедура при двухстороннем процессе. Такая же связь имелась между тяжестью ПМР и половой принадлежностью, тяжелые степени рефлюкса превалировали у мальчиков. Это может объясняться более расширенными показаниями к ЭК у девочек, в связи с более частым развитием инфекции [21] даже при низких степенях ПМР. Таким образом, анализируемая выборка, строго говоря, не являлась выборкой из генеральной совокупности детей с ПМРЮ, и имелась коллинеарность предикторов. В связи с наличием коллинеарности при использовании одновариантной регрессии можно получить ошибочное заключение о влиянии пола и возраста на результат ЭК. Наличие интегрального воздействия факторов друг на друга может также приводить к ограничению использования множественной регрессии как метода изучения комплексного влияния предикторов на объясняющую переменную, а также невозможности корректной интерпретации прогнозной модели. В данном исследовании для уменьшения коллинеарности был использован метод исключения предикторов, основанный на вероятности статистики Вальда. Таким образом, уменьшение признакового пространства позволило получить прогнозную модель хорошего качества с использованием ЛР.

В настоящее время ИНС стали всё более широко использоваться в медицине [4, 22, 23]. Для прогнозирования появления фебрильной инфекции у детей с ПМР A. Arlen et al. [24] использовали ИНС, которая показала высокую точность правильного прогноза (площадь под ROC кривой 0,76). M. Knudson et al. [25] показали высокую точ-

ОРИГИНАЛЬНЫЕ СТАТЬИ В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

ность ИНС (0,86) при предсказании раннего разрешения при консервативном лечении ПМР. Что касается использования ИНС как метода прогноза эффективности ЭК, то в доступной литературе было обнаружено только одно исследование А. Serrano-Durba et al. [5], в котором была констатирована высокая предсказательная значимость ИНС с точностью прогноза, равной 0,77.

К преимуществу ИНС можно отнести возможность обучения с выполнением нескольких циклов случайной сортировки при создании выборки наблюдений. Использование метода интерактивного обучения позволяет произвести обучение сети, когда входные данные (предикторы) не независимы друг от друга. Также имеется возможность оценить важность предикторов на основе комбинации обучающих и проверочных

ЛИТЕРАТУРА

1. Яцык С.П., Буркин А. Г., Шарков С. М., Абрамов К. С., Русаков А. А., Тин И. Ф. Сравнительная оценка методов хирургической коррекции пузырно-мочеточникового рефлюкса у детей. Вопросы современной педиатрии. 2014;13(2):129-31. eLIBRARY ID: 21467366

2. Барсегян Е.Р, Зоркин С. Н. Сравнительная оценка результативности применения различных полимеров при эндоскопической коррекции пузырно-мочеточникового рефлюкса у детей. Детская хирургия. 2014;18(5):4-8. eLIBRARY ID: 22015453

3. Méndez R, Somoza I, Tellado MG, Liras J, Sánchez A, Pais E, Vela D. Predictive value of clinical factors for successful endoscopic correction of primary vesicoureteral reflux grades III-IV. J Pediatr Urol. 2006;2(6):545-50. DOI: 10.1016/j.jpurol.2005.11.012

4. Базылев В.В., Карнахин В.А. Сравнение возможностей логистической регрессии и искусственных нейронных сетей в прогнозировании результатов исследования на малой выборке. Health, Food & Biotechnology. 2019;1(3):11-20. DOI: 10.36107/hfb.2019.i3.s238

5. Serrano-Durbá A, Serrano AJ, Magdalena JR, Martín JD, Soria E, Domínguez C, Estornell F, García-Ibarra F. The use of neural networks for predicting the result of endoscopic treatment for vesico-ureteric reflux. BJU Int. 2004;94(1):120-2. DOI: 10.1111/j.1464-410X.2004.04912.x

6. Seckiner I, Seckiner SU, Erturhan S, Erbagci A, Solakhan M, Yagci F. The use of artificial neural networks in decision support in vesicoureteral reflux treatment. Urol Int. 2008;80(3):283-6. DOI: 10.1159/000127342

7. Friedmacher F, Colhoun E, Puri P. Endoscopic Injection of Dextranomer/Hyaluronic Acid as First Line Treatment in 851 Consecutive Children with High Grade Vesicoureteral Reflux: Efficacy and Long-Term Results. J Urol. 2018;200(3):650-655. DOI: 10.1016/j.juro.2018.03.074

8. Puri P, Kutasy B, Colhoun E, Hunziker M. Single center experience with endoscopic subureteral dextranomer/ hyaluronic acid injection as first line treatment in 1,551 children with intermediate and high grade vesicoureteral reflux. J Urol. 2012;188(4 Suppl):1485-9. DOI: 10.1016/j. juro.2012.02.023

выборок. Этот анализ позволяет уменьшить чувствительность к сложным взаимодействиям между предикторами и сократить признаковое пространство.

Заключение

В нашем исследовании ЛР и ИНС показали довольно высокое качество предикции в разных клиниках, в которых использовали единый метод операции с ДГК. Степень уретерэктазии оказалась наиболее важным предиктором для прогноза результатов однократной ЭК. Таким образом, прогностические модели, базирующиеся на бинарной логистической регрессии и искусственной нейронной сети, могут использоваться проспективно у пациентов с ПМР для определения вероятности исхода ЭК.

REFERENCES

1. Yatsyk S.P., Burkin A.G., Sharkov S.M., Abramov K.S., Rusakov A.A., Tin I.F. Comparative Evaluation of Surgical Correction Methods of Vesico-Ureteric Reflux in Children. Current Pediatrics. 2014;13(2):129-31. (In Russ.). eLIBRARY ID: 21467366

2. Barsegyan E.R., Zorkin S.N. Comparative assessment of the results of application of various polymers for endoscopic correction of vesicoureteral reflux in children. Pediatric surgery. 2014;18(5):4-8. (In Russ.). eLIBRARY ID: 22015453

3. Méndez R, Somoza I, Tellado MG, Liras J, Sánchez A, Pais E, Vela D. Predictive value of clinical factors for successful endoscopic correction of primary vesicoureteral reflux grades III-IV. J Pediatr Urol. 2006;2(6):545-50. DOI: 10.1016/j.jpurol.2005.11.012

4. Bazylev V.V., Karnakhin V.A. Comparison of the Possibilities of Logistic Regression and Artificial Neural Networks in Predicting the Results of Research on f Small Sample. Health, Food & Biotechnology. 2019;1(3):11-20. (In Russ.). DOI: 10.36107/hfb.2019.i3.s238

5. Serrano-Durbá A, Serrano AJ, Magdalena JR, Martín JD, Soria E, Domínguez C, Estornell F, García-Ibarra F. The use of neural networks for predicting the result of endoscopic treatment for vesico-ureteric reflux. BJU Int. 2004;94(1):120-2. DOI: 10.1111/j.1464-410X.2004.04912.x

6. Seckiner I, Seckiner SU, Erturhan S, Erbagci A, Solakhan M, Yagci F. The use of artificial neural networks in decision support in vesicoureteral reflux treatment. Urol Int. 2008;80(3):283-6. DOI: 10.1159/000127342

7. Friedmacher F, Colhoun E, Puri P. Endoscopic Injection of Dextranomer/Hyaluronic Acid as First Line Treatment in 851 Consecutive Children with High Grade Vesicoureteral Reflux: Efficacy and Long-Term Results. J Urol. 2018;200(3):650-655. DOI: 10.1016/j.juro.2018.03.074

8. Puri P, Kutasy B, Colhoun E, Hunziker M. Single center experience with endoscopic subureteral dextranomer/ hyaluronic acid injection as first line treatment in 1,551 children with intermediate and high grade vesicoureteral reflux. J Urol. 2012;188(4 Suppl):1485-9. DOI: 10.1016/j. juro.2012.02.023

В.И. Дубров, В.В. Сизонов, И.М. Каганцов, К.Н. Негматова, С.Г. Бондаренко ОРИГИНАЛЬНЫЕ СТАТЬИ

ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОДНОКРАТНОЙ ЭНДОСКОПИЧЕСКОЙ КОРРЕКЦИИ ПУЗЫРНО-МОЧЕТОЧНИКОВОГО РЕФЛЮКСА С ИСПОЛЬЗОВАНИЕМ ДЕКСТРАНОМЕРА ГИАЛУРОНОВОЙ КИСЛОТЫ. ВЫБОР ОПТИМАЛЬНОЙ ПРОГНОСТИЧЕСКОЙ МОДЕЛИ

9. Elder JS, Diaz M, Caldamone AA, Cendron M, Greenfield S, Hurwitz R, Kirsch A, Koyle MA, Pope J, Shapiro E. Endoscopic therapy for vesicoureteral reflux: a metaanalysis. I. Reflux resolution and urinary tract infection. J Urol. 2006;175(2):716-22. DOI: 10.1016/S0022-5347(05)00210-7

10. Routh JC, Inman BA, Reinberg Y. Dextranomer/hyaluronic acid for pediatric vesicoureteral reflux: systematic review. Pediatrics. 2010;125(5):1010-9. DOI: 10.1542/peds.2009-2225

11. Schaeffer AJ, Greenfield SP, Ivanova A, Cui G, Zerin JM, Chow JS, Hoberman A, Mathews RI, Mattoo TK, Carpenter MA, Moxey-Mims M, Chesney RW, Nelson CP. Reliability of grading of vesicoureteral reflux and other findings on voiding cystourethrography. J Pediatr Urol. 2017;13(2):192-98. DOI: 10.1016/j.jpurol.2016.06.020

12. O'Neil BB, Cartwright PC, Maves C, Hoeg K, Presson AP, Wallis MC. Reliability of voiding cystourethrogram for the grading of vesicoureteral reflux. J Pediatr Urol. 2014;10(1):107-11. DOI: 10.1016/j.jpurol.2013.06.014

13. Argibay IS, Molina Vázquez E, Vela Nieto D. Valor predictivo del grado de dilatación ureteral en el exito de la corrección endoscópica del reflujo vésicoureteral en pacientes pediátricos [Predictive value of ureteral dilation rate in the success of endoscopic correction of vesicoureteral reflux in pediatric patients]. Arch Esp Urol. 2008;61(2):185-90. (In Spanish). PMID: 18491734

14. Cooper CS, Alexander SE, Kieran K, Storm DW. Utility of the distal ureteral diameter on VCUG for grading VUR. J Pediatr Urol. 2015;11(4):183.e1-6. DOI: 10.1016/j. jpurol.2015.04.009

15. Helmy T, Sharaf D, AbdelHalim A, Hafez A, Dawaba M. Can distal ureteral diameter predict reflux resolution after endoscopic injection? Urology. 2015;85(4):896-9. DOI: 10.1016/j.urology.2014.12.021

16. Altug U, Cakan M, Yilmaz S, Yal?inkaya F. Are there predictive factors for the outcome of endoscopic treatment of grade III-V vesicoureteral reflux with dextranomer/hyaluronic acid in children? Pediatr Surg Int. 2007;23(6):585-9. DOI: 10.1007/s00383-007-1881-2

17. Alizadeh F, Shahdoost AA, Zargham M, Tadayon F, Joozdani RH, Arezegar H. The influence of ureteral orifice configuration on the success rate of endoscopic treatment of vesicoureteral reflux. Adv Biomed Res. 2013;2:1. DOI: 10.4103/2277-9175.107959

18. Yap TL, Chen Y, Nah SA, Ong CC, Jacobsen A, Low Y. STING versus HIT technique of endoscopic treatment for vesicoureteral reflux: A systematic review and meta-analysis. J Pediatr Surg. 2016;51(12):2015-2020. DOI: 10.1016/j.jpedsurg.2016.09.028

19. Williams G, Hodson EM, Craig JC. Interventions for primary vesicoureteric reflux. Cochrane Database Syst Rev. 2019;2(2):CD001532. DOI: 10.1002/14651858.CD001532. pub5

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

20. Yucel S, Gupta A, Snodgrass W. Multivariate analysis of factors predicting success with dextranomer/ hyaluronic acid injection for vesicoureteral reflux. J Urol. 2007;177(4):1505-9. DOI: 10.1016/j.juro.2006.11.077

21. Shaikh N, Morone NE, Bost JE, Farrell MH. Prevalence of urinary tract infection in childhood: a meta-analysis. Pediatr Infect Dis J. 2008;27(4):302-8. DOI: 10.1097/ INF.0b013e31815e4122

9. Elder JS, Diaz M, Caldamone AA, Cendron M, Greenfield S, Hurwitz R, Kirsch A, Koyle MA, Pope J, Shapiro E. Endoscopic therapy for vesicoureteral reflux: a meta-analysis. I. Reflux resolution and urinary tract infection. J Urol. 2006;175(2):716-22. DOI: 10.1016/S0022-5347(05)00210-7