CC BY
33Оригинальная статья / Original article
УДК 616.61-006.6-089.163:616-073.756.8 https://doi.org/10.47093/2218-7332.2023.14.1.39-49
Ц) Check for updates
BY 4.0
Сегментация почечных структур по изображениям контрастной компьютерной томографии с помощью сверточной нейронной сети
И.М. Черненький^, М.М. Черненький, Д.Н. Фиев, Е.С. Сирота
ФГАОУ ВО «Первый Московский государственный медицинский университет им. И.М. Сеченова» Минздрава России (Сеченовский Университет) ул. Трубецкая, д. 8, стр. 2, г. Москва, 119991, Россия
Аннотация
Цель. Разработать нейронную сеть для построения 3D-моделей образований почек и прилежащих структур. Материалы и методы. Использованы DICOM данные 41 пациента с образованием почек. Данные включали все фазы мультиспиральной компьютерной томографии с контрастированием. Для обучения отобрано 32 наблюдения, для валидации - 9 наблюдений. На этапе разметки брались артериальная, венозная и экскреторная фазы, проводилась аффинная регистрация для совместного совпадения расположения почек и удаление шумов с помощью медианного фильтра и фильтра нелокальных средних. Затем были размечены маски артерий, вен, мочеточников, паренхимы почки и образований паренхимы. Моделью являлась архитектура SegResNet. Для оценки качества сегментации сравнивалась метрика Дайса с моделями AHNet, DynUNet и с тремя вариантами модели nnU-Net (lowres, fullres, cascade).
Результаты. На валидационной выборке значение метрики Дайса архитектуры SegResNet составило: для нормальной паренхимы почки - 0,89, образований почки - 0,58, артерий - 0,86, вен - 0,80, мочеточников - 0,80. Получены средние значения метрики Дайса для SegResNet, AHNet и DynUNet - 0,79; 0,67 и 0,75 соответственно. При сравнении с моделью nnU-Net метрика Дайса была больше для паренхимы почки у SegResNet - 0,89 по сравнению с тремя вариантами модели: lowres - 0,69, fullres - 0,70, cascade - 0,69. При этом для образований паренхимы почки метрика Дайса была сопоставимой: для SegResNet - 0,58, для nnU-Net fullres - 0,59; lowres и cascade имели меньшие значения метрики Дайса - 0,37 и 0,45 соответственно.
Заключение. Полученная нейронная сеть SegResNet хорошо находит сосуды и паренхиму. Образования почек определяются труднее, возможно, из-за малых размеров и наличия ложных срабатываний сети. Планируется увеличение размера выборки до 300 наблюдений и использование операций постобработки для улучшения модели.
Ключевые слова: нейронная сеть; опухоль почек; компьютерная томография; 3D-моделирование; искусственный
интеллект
Рубрики MeSH:
ПОЧЕК НОВООБРАЗОВАНИЯ - ДИАГНОСТИЧЕСКОЕ ИЗОБРАЖЕНИЕ
ПОЧЕК НОВООБРАЗОВАНИЯ - ХИРУРГИЯ
ПОЧКИ - ДИАГНОСТИЧЕСКОЕ ИЗОБРАЖЕНИЕ
ПОЧКИ - ПАТОЛОГИЯ
ПОЧКИ - ХИРУРГИЯ
ТОМОГРАФИЯ КОМПЬЮТЕРНАЯ МУЛЬТИДЕТЕКТОРНАЯ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ ПОСТРОЕНИЕ ОПЕРАЦИИ ПЛАНИРОВАНИЕ
Для цитирования: Черненький И.М., Черненький М.М., Фиев Д.Н., Сирота Е.С. Сегментация почечных структур по изображениям контрастной компьютерной томографии с помощью сверточной нейронной сети. Сеченовский вестник. 2023; 14(1): 39-49. https://doi.Org/10.47093/2218-7332.2023.14.1.39-49
КОНТАКТНАЯ ИНФОРМАЦИЯ:
Черненький Иван Михайлович, инженер-программист центра нейросетевых технологий Института урологии и репродуктивных систем человека ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский Университет)
Адрес: ул. Трубецкая, д. 8, стр. 2, г Москва, 119991, Россия
Тел.: +7 (926) 897-53-41
E-mail: [email protected]
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов. Финансирование. Исследование не имело спонсорской поддержки (собственные ресурсы).
Благодарности. Авторы выражают благодарность институту компьютерных наук и математического моделирования Сеченовского Университета за доступ к вычислительному кластеру.
Поступила: 16.12.2022 Принята: 23.01.2023 Дата печати: 30.03.2023
Segmentation of renal structures based on contrast computed tomography scans using a convolutional
neural network
Ivan М. Chernenkiy^, Michail M. Chernenkiy, Dmitry N. Fiev, Evgeny S. Sirota
Sechenov First Moscow State Medical University (Sechenov University) 8/2, Trubetskaya str., Moscow, 119991, Russia
Abstract
Aim. Develop a neural network to build 3D models of kidney neoplasms and adjacent structures. Materials and methods. DICOM data (Digital Imaging and Communications in Medicine standard) from 41 patients with kidney neoplasms were used. Data included all phases of contrast-enhanced multispiral computed tomography. We split the data: 32 observations for the training set and 9 - for the validation set. At the labeling stage, the arterial, venous, and excretory phases were taken, affine registration was performed to jointly match the location of the kidneys, and noise was removed using a median filter and a non-local means filter. Then the masks of arteries, veins, ureters, kidney parenchyma and kidney neoplasms were marked. The model was the SegResNet architecture. To assess the quality of segmentation, the Dice score was compared with the AHNet, DynUNet models and with three variants of the nnU-Net (lowres, fullres, cascade) model. Results. On the validation subset, the values of the Dice score of the SegResNet architecture were: 0.89 for the normal parenchyma of the kidney, 0.58 for the kidney neoplasms, 0.86 for arteries, 0.80 for veins, 0.80 for ureters. The mean values of the Dice score for SegResNet, AHNet and DynUNet were 0.79; 0.67; and 0.75, respectively. When compared with the nnU-Net model, the Dice score was greater for the kidney parenchyma in SegResNet - 0.89 compared to three model variants: lowres - 0.69, fullres - 0.70, cascade - 0.69. At the same time, for the neoplasms of the parenchyma of the kidney, the Dice score was comparable: for SegResNet - 0.58, for nnU-Net fullres - 0.59; lowres and cascade had lower Dice score of 0.37 and 0.45, respectively.
Conclusion. The resulting SegResNet neural network finds vessels and parenchyma well. Kidney neoplasms are more difficult to determine, possibly due to their small size and the presence of false alarms in the network. It is planned to increase the sample size to 300 observations and use post-processing operations to improve the model.
Keywords: neural network; kidney neoplasms; CT scan; 3D modeling; artificial intelligence MeSH terms:
KIDNEY NEOPLASMS - DIAGNOSTIC IMAGING KIDNEY NEOPLASMS - SURGERY KIDNEY - DIAGNOSTIC IMAGING KIDNEY - PATHOLOGY KIDNEY - SURGERY
MULTIDETECTOR COMPUTED TOMOGRAPHY IMAGING, THREE-DIMENSIONAL OPERATIONS SCHEDULING
For citation: Chernenkiy I.M., Chernenkiy M.M., Fiev D.N., Sirota E.S. Segmentation of renal structures based on contrast computed tomography scans using a convolutional neural network. Sechenov Medical Journal. 2023; 14(1): 39-49. https://doi.org/10.47093/2218-7332.2023.14.139-49
CONTACT INFORMATION:
Ivan M. Chernenkiy, software engineer, Center for Neural Network Technologies, Institute of Urology and Human Reproductive
Systems, Sechenov First Moscow State Medical University (Sechenov University)
Address: 8/2, Trubetskaya str., Moscow, 119991, Russia
Tel.: + 7 (926) 897-53-41
E-mail: [email protected]
Conflict of interests. The authors declare that there is no conflict of interests. Financial support. The study was not sponsored (own resources).
Acknowledgments. Authors express their gratitude to the Institute of Computer Science and Mathematical Modeling of Sechenov University for access to the computing cluster.
Received: 16.12.2022 Accepted: 23.01.2023 Date of publication: 30.03.2023
Список сокращений:
DICOM - Digital Imaging and Communications in Medicine, медицинский отраслевой стандарт создания, хранения, передачи и визуализации цифровых медицинских
изображений и документов обследованных пациентов МСКТ - мультиспиральная компьютерная томография ИИ - искусственный интеллект
По данным статистики Всемирной организации здравоохранения рак почки по количеству заболевших в 2020 г. (431 288 случаев) занимает 14-е место среди всех злокачественных новообразований1. В России за период с 2012 по 2017 г. стандартизованные показатели заболеваемости увеличились на 13,8% у мужчин (с 12,3 до 14 на 100 тыс. населения, мировой стандарт) и на 16,4% у женщин (6,7 и 7,8 на 100 тыс. населения). В 2017 г. в России было зарегистрировано 24,8 тыс. новых случаев рака почки (3% среди всех злокачественных новообразований, 7-е ранговое место) [1].
Для обнаружения хирургических заболеваний почек предложено множество различных алгоритмов глубокого машинного обучения. Так, в работе J. Verma и соавт. с целью верификации конкрементов почки на основании ультразвуковой визуализации были применены алгоритмы ближайших соседей и машины опорных векторов [2]. В другом исследовании S. Sudharson и соавт. [3] применили предобу-ченные модели архитектур ResNet-101, ShuffleNet и MobileNetv2 для извлечения первичных признаков и в качестве классификатора использовали машину опорных векторов для обнаружения кист, опухоли и конкрементов на основе анализа ультразвуковой картины, при этом точность в работе составила 96,54%. Большую популярность для оценки качества работы алгоритмов в определении опухоли по данным DICOM изображений (Digital Imaging and Communications in Medicine, медицинский отраслевой стандарт создания, хранения, передачи и визуализации цифровых медицинских изображений и документов обследованных пациентов)
мультиспиральной компьютерной томографии (МСКТ) приобрело соревнование KÍTS21, основанное на наборе из 300 нативных снимков МСКТ с разным шагом срезов2.
Для автоматической сегментации лучевых методов визуализации в мире наибольшее число исследований выполняется посредством архитектуры UNet [4]. Так, в работе A. Golts и соавт. [5] использован каскад 3D UNet архитектуры для уточнения маски. В исследовании Z. Zhao и соавт. [6] применялся двухэтапный протокол 3D UNet для верификации почек. Первично на изображении МСКТ выделялись почки, а вторым этапом выполнялась сегментация зоны интереса -опухоли почки. С целью уменьшения требований к вычислительным мощностям некоторые исследователи используют только двумерные срезы. Например, L. Batista da Cruz и соавт. [7] для обучения использовали один срез с двумя соседними (предыдущий, центральный и следующий срез) для расширения контекста изображения. На выходе получали маску для центрального среза. Также используют гибридные архитектуры, совмещая классические сверточные сети с рекуррентными сетями. Рекуррентные сети могут хранить признаки с предыдущего шага и таким образом запоминать контекст. Например, M.Z. Alom и соавт. [8] разработали гибридную архитектуру, состоящую из UNet и RNN сетей, которая аккумулировала признаки от среза к срезу и создавала маску для трехмерного изображения. A.A. Novikov и соавт. [9] модернизировали UNet с помощью двухсторонних сверточных LSTM слоев внутри UNet архитектуры.
Для ускорения обучения в несколько раз используют подход обучения с переносом (transfer learning).
1 GLOBOSCAN 2020. URL: https://gco.iarc.fr/today/data/factsheets/cancers/29-Kidney-fact-sheet.pdf (дата обращения: 02.10.2022).
2 The 2021 Kidney and Kidney Tumor Segmentation Challenge. URL: https://kits21.kits-challenge.org/ (дата обращения: 05.09.2022).
Данный подход при обучении берет за основу заранее предобученную архитектуру на похожей задаче. Например, могут взять предобученную архитектуру на сегментацию на обычных фотографиях или на сегментации для выделения другого органа [6].
С развитием искусственного интеллекта (ИИ) исследователи стали больше заботиться о защите данных с юридической точки зрения. Опубликованные наборы данных в интернете защищены от коммерческого применения и используются исключительно в исследовательских целях для сравнения алгоритмов. Сегментация изображений является отдельной рыночной нишей и оказываемой услугой. В медицине это накладывает дополнительные ограничения на экспертов для разметки данных. Специалист должен обладать знаниями в лучевой диагностике, медицинской квалификацией для аннотирования анатомических структур на изображениях МСКТ. Поэтому некоторые доступные датасеты могут носить исключительно исследовательский характер для сравнения качества работы алгоритмов. Так, BRaTS 21 датасет [10, препринт] имеет 2000 аннотированных наблюдений с опухолью мозга. В последнее время наблюдается тенденция к публикации данных с открытой лицензией, что позволяет использовать в клиниках вспомогательный инструмент в виде ИИ [11]. Однако доступные наборы данных могут быть недостаточны для удовлетворения запросов хирургов из-за отсутствия размеченных сосудов, лимфоузлов, что требует для каждой нозологии собирать и аннотировать данные.
В Институте урологии и репродуктивного здоровья человека Сеченовского Университета с 2010 г. на всех этапах планирования оперативного лечения пациентов с образованиями паренхимы почки, а также для интраоперационной навигации используется SD-моделирование патологического процесса, основанного на постпроцессинговой обработке данных МСКТ почек с контрастированием. Знание персонифицированной анатомии помогает не только предвидеть технические сложности, которые могут возникнуть при выполнении операции, но и многократно и многовариантно выполнить ее виртуально, тем самым определяя наиболее оптимальный доступ к интересуемой области, оптимальный вид, а также перечень и последовательность хирургических манипуляций.
В создании SD-модели патологического процесса задействована команда из трех основных специалистов: врача-уролога, врача лучевой диагностики и специалиста по программному обеспечению. Работа IT (information technology) - специалиста (специалист в области информационных систем и технологий) в SD-построении основных элементов анатомии почки на сегодня выполняется в «ручном режиме» и требует временных затрат продолжительностью до 2 часов. В настоящее время в лучевой диагностике использование автоматического режима
SD-построений широко представлено в программном обеспечении рабочих станций современных аппаратов МСКТ. Однако базовые станции компьютерных томографов не позволяют совместить более двух фаз исследования почек, что не отвечает требованиям виртуального планирования предстоящего оперативного лечения на почке. Построение SD-моделей почек для планирования оперативного лечения выполняется IT-специалистом вручную, является трудоемким и финансово затратным.
Цель исследования: разработка автоматической системы построения SD-моделей образований почек и прилежащих структур посредством использования ИИ.
МАТЕРИАЛЫ И МЕТОДЫ
Исследование одобрено Локальным комитетом по этике Сеченовского Университета. В исследовании использованы данные SD-моделирований образований паренхимы почки 41 пациента при планировании хирургического лечения. DICOM данные в каждом наблюдении включали в себя все 4 фазы МСКТ с контрастированием. На этапе разметки мы брали три фазы: артериальную, венозную и экскреторную, проводили аффинную регистрацию для совместного совпадения расположения почек и удаление шумов с помощью медианного фильтра (median) и фильтра нелокальных средних (non-local means). Затем были размечены маски артерий, вен, мочеточников, паренхимы почки и образований паренхимы. На этапе обучения мы использовали 32 наблюдения и для ва-лидации модели - 9 наблюдений.
Для обучения модели использовался фреймворк PyTorch 1.10 и библиотека MONAI 0.8.1. Моделью являлась архитектура SegResNet [12]. На рисунке 1 схематически показан порядок предобработки снимков и архитектура сети SegResNet. Эксперименты проводились на машине с двумя графическими картами RTX2080Ti 12Гб (разработчик NVIDIA, США, производитель MSI, Китай).
Архитектуру можно разделить на две части: кодировщик и декодировщик. В кодировщике используется 4 блока со сверточными слоями и слоями групповой нормализации (GroupNorm). В конце каждого блока происходит увеличение числа каналов и сокращение пространственного размера изображения. Таким образом, на последнем блоке мы получаем маленькое изображение, но с большим количеством каналов. Последний блок называют бутылочным горлышком (bottleneck). Идея заключается в том, чтобы на этапе обучения в изображении после бутылочного горлышка оставалась максимально полезная информация для решения задачи, в нашей работе - получение масок анатомических структур. Далее в декоди-ровщике происходит обратный процесс. После каждого блока количество каналов сокращается вдвое, но увеличиваются пространственные размеры. Так
как SegResNet относится к классу UNet архитектур, то перед каждым блоком после увеличения размеров добавляется соответствующее изображение из блока кодировщика. На рисунке этот процесс отражен стрелками. После декодировщика самый последний блок создает 5+1 маску для необходимых нам структур: артерия, вена, паренхима, образование почки, мочеточник и фон.
Предобработка данных перед подачей в нейронную сеть заключается в трех шагах: каждая фаза переводится в разрешение (0,8; 0,8; 0,8), затем интервал значений Хаунсфилда масштабируется из интервала [-1000, 1000] в интервал значений [0, 1] и три фазы объединяются в один трехфазный тензор. На этапе обучения для улучшения генерализации модели также используются следующие методы аугментации.
1. Приближение (Zoom): с вероятностью 0,3 изображение масштабируется на случайное число, полученное из равномерного распределения (0,9; 1,1) с использованием кубической интерполяции. Для обучающих масок используется интерполяция ближайших соседей.
2. Поворот на 90 градусов (Rotate 90): с вероятностью 0,3 изображения поворачиваются на 90 градусов.
3. Зеркалирование (Flip): с вероятностью 0,3 для каждой оси независимо зеркально отражает изображение.
4. Изменение контраста (Adjust Contrast): с вероятностью 0,3 масштабирует интенсивность на случайное значение из равномерного интервала (0,5; 4,5).
5. Изменение гистограммы интенсивности (Histogram Shift): с вероятностью 0,3 применяет нелинейное изменение гистограммы интенсивности изображения по 10 контрольным точкам.
В качестве функции потерь мы использовали коэффициент Соренсена - Дайса, который показывает, насколько хорошо наша сеть сегментирует необходимые объекты. Эта функция применяется для сравнения сходства двух образцов. В нашем случае мы использовали ее для сравнения двух областей интереса:
площади контура, отмеченного экспертом, и площади нашего прогнозируемого контура. Формула для вычисления метрики:
2А.
^dice А +А '
п ;
где An - область, предсказанная нейронной сетью; A. - область, выделенная экспертом, и Anl - пересечение этих двух областей. Значение данной метрики, равное единице, является наилучшим результатом.
Для оптимизации модели был использован алгоритм Novograd [13, препринт], который сочетает в себе три идеи: (1) использование послойно вторых моментов градиентов; (2) вычисление первого момента градиента с учетом нормализованных слоев по второму моменту; (3) раздельное использование сокращения весов (weight decay). При обучении формировался размер батча, равный 4, с вырезанной областью размером [96, 96, 96] вокселей из случайного выбранного расположения на снимке.
Для оценки качества сегментации мы сравнивали метрики Дайса между нашей моделью и моделями DynUNet, nnU-Net [14] и AHNet [15]. В модели nnU-Net автоматически настраиваются методы предобработки, архитектуры, постобработки для задачи сегментации. Ключевые настройки задаются в виде диапазона параметров, взаимозависимых правил. На конец 2022 г. nnU-Net превзошла результаты в 33 из 53 задач по сегментации целевых анатомических структур, а в остальных 20 показывала результаты, сравнимые с наилучшими методами. Модель nnU-Net публично доступна, и авторы позиционируют ее как метод для проведения сравнительных тестов.
Для наглядности эффективности предлагаемого метода приведены метрики для нескольких наблюдений. В качестве метрик мы включили широко известные, такие как точность, специфичность и чувствительность, а также метрики для сравнения 3D-областей: коэффициент Дайса, расстояние Хаусдорфа (измеряет
РИС. 1. Архитектура нейронной сети FIG. 1. Neural network architecture
наибольшее расстояние между границами истинной и предсказанной масок) и среднее расстояние поверхности (измеряет среднее расстояние между границами истинной и предсказанной масок).
РЕЗУЛЬТАТЫ
Оценка качества полученной модели
SegResNet с AHNet и DynUNet
на собственной выборке
В таблице 1 показаны результаты по каждому классу (нормальная паренхима, артерии, вены, образование почки, мочеточник) на валидационной выборке. По ним можно сделать вывод, что сосуды и паренхима отличным образом находятся с помощью нейронной сети. Образования почек определяются труднее, возможно, из-за малых размеров и наличия ложных срабатываний сети.
Наилучшее достигнутое среднее значение метрики Дайса составило 0,79 (для 5 аугментаций). Нами предпринята попытка замены GroupNorm на BatchNorm и увеличения размера батча, но это не привело к улучшению результатов. С технической точки зрения мы были ограничены объемом видеопамяти карты RTX2080Ti и не имели возможности использования Vision Transformer (ViT). Была предпринята попытка использования архитектуры DynUNet и AHNet, но полученные результаты были хуже,
что продемонстрировано в таблице 2. Код для воспроизведения результатов доступен в открытом доступе3.
На рисунке 2 показан пример разметки эксперта и нейросети на одном срезе и SD-построения.
Сравнение полученной модели SegResNet
и nnU-Net, обученной на датасете KiTS 21
Одной из задач исследования была сегментация почки и образований почки. Модель nnU-Net была обучена на датасете KiTS21, и в публичном доступе существуют три варианта модели: с низким разрешением (lowres), с исходным разрешением (fullres) и каскадная (cascade). Lowres обрабатывает снимки на пониженном разрешении, fullres работает на том же разрешении, что и исходные данные, а cascade использует оба предыдущих варианта последовательно для уточнения результатов. Мы сравнили результаты нашей модели SegResNet и nnU-Net (табл. 3). По причине отсутствия в датасете KiTS21 артериальной, венозной и выделительной фаз сравнение проводилось для модели nnU-Net только на артериальной фазе собственного датасета. В нашу модель SegResNet подавались на вход три фазы одновременно. Как видно по результатам таблицы, определение образований работает сравнимо с существующим методом. Для улучшения результатов необходимо увеличить размер обучаемой выборки.
Таблица 1. Результаты метрики Дайса по каждому классу модели SegResNet Table 1. Dice score for each segmentation class of SegResNet model
Артерии / Вены / Паренхима почки / Образования почки / Мочеточники /
Arteries Veins Kidney parenchyma Kidney neoplasms Ureters
Значение метрики Дайса / 0 86 0 80 Q8g 0 58 0 80 Dice score value
Таблица 2. Сравнение полученной модели SegResNet с AHNet и DynUnet на собственной выборке Table 2. Comparison of the resulting SegResNet model with AHNet and DynUnet on our own sample
Архитектура нейросети / The architecture of neural network Среднее значение метрики Дайса по всем классам / mean Dice score for all classes Размер пикселей / Pixel size Размер входного окна / Input data size Количество аугментаций/ Augmentation transform quantity
AHNet 0,67 2,0; 7,0; 0,7 32;128 128 4
DynUNet 0,75 0,8; 0,8; 0,8 96; 96 96 4
SegResNet 0,75 0,8; 0,8; 0,8 96; 96 96 3
SegResNet 0,73 0,8; 0,8; 0,8 96; 96 96 4
SegResNet 0,79 0,8; 0,8; 0,8 96; 96 96 5
Таблица 3. Сравнение моделей SegResNet и nnU-Net Table 3. Comparison of SegResNet and nnU-Net models
Архитектура нейросети / The architecture of neural network Значение метрики Дайса / Dice score
Паренхима почки / Kidney parenchyma Образования почки / Kidney neoplasms
SegResNet 0,89 0,58
nnU-Net
lowres 0,69 0,37
fullres 0,70 0,59
cascade 0,68 0,45
Репозиторий Github - https://github.com/blacky-i/nephro-segmentation
Исходное изображение / Base image
A
Эксперт / Expert
SegResNet / SegResNet
B
D
C
H/S
E
РИС. 2. Разметки и 3D-построения эксперта и нейросети SegResNet:
А - исходное изображение;
В - разметка, сделанная экспертом;
С - разметка, сделанная нейронной сетью;
D - 3D-модель, сделанная по разметке эксперта;
Е - 3D-модель, сделанная по разметке нейронной сети
FIG. 2. Masks and 3D reconstructions by expert and neural network:
А - base image;
В - expert mask;
С - neural network mask;
D - 3D reconstruction made from expert mask;
Е - 3D reconstruction made from neural network mask
Примечание: красный цвет - аорта и почечные артерии; темно-голубой коричневый - паренхима почки; желтый - образования почки.
Note: red color - aorta and renal arteries; dark blue - inferior vena cava and renal veins; light blue - ureters; brown neoplasms.
нижняя полая вена и почечные вены; светло-голубой - мочеточники,
kidney parenchyma; yellow - kidney
Наблюдение 1
На рисунке 3 представлен пациент с хромофоб-ным почечноклеточным раком левой почки, кистами правой и левой почек. Слева представлена 3D-модель, сделанная по разметке эксперта, справа - результат работы нашей модели, которая хорошо обнаружила рак
левой почки и кисту правой почки. Получены следующие значения усредненных метрик качества по всем классам (паренхима, сосуды, киста, образования почки, мочеточник): точность - 90,28%, специфичность -99,88%, чувствительность - 88,01%, метрика Дайса -0,91, расстояние Хаусдорфа 25,85 мм и среднее
Эксперт / Expert
SegResNet / SegResNet
A
B
Метрики для образований почек / Metrics for kidney neoplasm:
• точность / accuracy 87,67%
• специфичность / specificity 99,92%
• чувствительность / sensitivity 88,51%
• метрика Дайса / Dice score 0,94
• расстояние Хаусдорфа / Hausdorff distance 40,69 мм
• среднее расстояние поверхности 1,96 мм / mean surface distance 1.96 mm
РИС. 3. Рак левой почки, кисты правой и левой почек:
A - 3D-модель, сделанная по разметке эксперта;
B - 3D-модель, сделанная по разметке нейронной сети
FIG. 3. Cancer of the left kidney, cysts of the right and left kidneys:
A - 3D reconstruction made from expert mask;
B - 3D reconstruction made from neural network mask
Примечание: красный цвет - аорта и почечные артерии; темно-голубой - нижняя полая вена и почечные вены; светло-голубой - мочеточники; коричневый - паренхима почки; желтый - образование почки.
1 - рак левой почки; 2 - киста левой почки; 3 - киста правой почки; 4 - ложная паренхима почки.
Note: red color - aorta and renal arteries; dark blue - inferior vena cava and renal veins; light blue - ureters; brown - kidney parenchyma; yellow - kidney neoplasms.
1 - cancer of the left kidney; 2 - cyst of the left kidney; 3 - cyst of the right kidney; 4 - false parenchyma of the kidney.
расстояние поверхности 1,12 мм. Значения для образований отображены на рисунке 3. Полученные метрики качества по всем классам (паренхима, сосуды, образование почки, мочеточник) являются высокими, что свидетельствует о хорошем распознавании образований в данном наблюдении. Модель не обнаружила мелкую кисту левой почки и добавила лишнюю разметку паренхимы почки на аорту.
Наблюдение 2
На рисунке 4 представлен пациент с ангиомио-липомой правой почки и кистой левой почки. Киста находится внутри левой почки, и для удобства визуализации была вырезана часть паренхимы. Усредненные метрики качества по всем классам получились следующими: точность - 49,05%, специфичность - 99,32%, чувствительность -82,57%, коэффициент Соренсена - Дайса - 0,5439, расстояние Хаусдорфа - 117,48 мм, среднее расстояние поверхности - 31,63 мм. Для образований
почки значения метрик отображены на рисунке 4. В данном наблюдении видно, что нейросеть не смогла определить большое образование правой почки и определила кисту, расположенную внутри левой почки, вне ее.
ОБСУЖДЕНИЕ
Используемые для компьютерного зрения в медицине данные имеют общие особенности:
• редкость больших наборов данных - в свободном доступе сложно найти размеченные наборы данных МСКТ, подходящие для обучения нейронных сетей для интересующей нозологии. Это связано с тем, что разметка требует квалификации специалиста в соответствующей области и много времени для ее выполнения;
• низкое качество данных - доступные в интернете наборы данных могут страдать из-за наличия шума на снимках и разного шага между срезами;
Эксперт / Expert
SegResNet / SegResNet
A
B
Метрики для образований почек / Metrics for kidney neoplasm:
• точность / accuracy 87,67%
• специфичность / specificity 99,92%
• чувствительность / sensitivity 88,51%
• метрика Дайса / Dice score 0,94
• расстояние Хаусдорфа / Hausdorff distance 40,69 мм
• среднее расстояние поверхности 1,96 мм / mean surface distance 1.96 mm
РИС. 4. Ангиомиолипома правой почки и киста левой почки:
А - 3Б-модель, сделанная по разметке эксперта;
В - 3Б-модель, сделанная по разметке нейронной сети
FIG. 4. Angiomyolipoma of the right kidney and cyst of the left kidney:
А - 3D reconstruction made from expert mask;
В - 3D reconstruction made from neural network mask
Примечание: красный цвет - аорта и почечные артерии; темно-голубой - нижняя полая вена и почечные вены; светло-голубой - мочеточники; коричневый - паренхима почки; желтый - образование почки. 1 - ангиомиолипома правой почки; 2 - киста левой почки; 3 - ложная киста почки.
Note: red color - aorta and renal arteries; dark blue - inferior vena cava and renal veins; light blue - ureters; brown - kidney parenchyma; yellow - kidney neoplasms.
1 - angiomyolipoma of the right kidney; 2 - cyst of the left kidney; 3 - false cyst of the kidney.
• дисбаланс классов - при обработке медицинских изображений размеры органов, опухолей, их положение могут сильно различаться от пациента к пациенту. Данная проблема становится наиболее значимой при верификации редких и/или небольших по размеру структур;
• сложности при обучении моделей - данные МСКТ являются трехмерными, что влечет за собой необходимость использования большого объема видеопамяти и времени на проведение обучения, а также значительных вычислительных мощностей. Обычно такие мощности доступны в облачных сервисах или университетах. Отличительной чертой нашего датасета являются
DICOM-изображения МСКТ с контрастированием. Нам не удалось найти аналогичных наборов данных в открытом доступе, и представленные результаты публикуются впервые. Учет всех фаз МСКТ
позволяет значительно облегчить определение венозных и артериальных сосудов, и мы наблюдаем такое же высокое значение метрики, как и в других моделях, выполненных для нативной фазы [16].
При сравнении нашей модели с nnU-Net определение образований было лучше в нашем методе. Отсюда можно сделать вывод, что публично доступные обученные модели необходимо проверять на клинических данных центра, в котором будет оказываться медицинская помощь, и обучение модели должно проводиться постоянно.
Поиск оптимальной стратегии постобработки является дальнейшей целью нашего исследования. Одна из проблем, с которой мы столкнулись, заключается в том, что модель может определять образования, расположенные вне органа. Одним из способов фильтрации ложных предсказаний является постобработка для улучшения результатов.
Например, Z. Zhao и соавт. [6] в качестве постобработки удаляли изолированные области размером меньше 20 000 вокселей для почки, 200 вокселей для опухоли почки и 50 вокселей для кист. В работе использована малая часть доступных данных, всего 41 наблюдение. В дальнейшем мы планируем увеличить размер выборки до 300 наблюдений, что достаточно для тестирования автоматизированных систем диагностики на основе ИИ [17], и это позволит упростить технологию получения трехмерного продукта, сделать его финансово
ВКЛАД АВТОРОВ
И.М. Черненький внес основной вклад в разработку концепции и дизайна исследования, руководил процессом написания, редактирования и статистической обработки статьи. М.М. Черненький проводил ручную разметку данных для подготовки набора данных. Д.Н. Фиев и Е.С. Сирота внесли равнозначный вклад в поиск литературных источников, написание и редактирование текста. Все авторы одобрили окончательный вариант статьи и готовы взять на себя ответственность за все аспекты представленной публикации.
ЛИТЕРАТУРА / REFERENCES
1 Аксель Е.М., Матвеев В.Б. Статистика злокачественных новообразований мочевых и мужских половых органов в России и странах бывшего СССР. Онкоурология. 2019; 15(2): 15-24. https://doi.org/10.17650/1726-9776-2019-15-2-15-24
2 Verma J., NathM., TripathiP., et al. Analysis and identification of kidney stone using Kth nearest neighbour (KNN) and support vector machine (SVM) classification techniques. Pattern Recognit. Image Anal. 2017; 27, 574-580. https://doi.org/10.1134/ S1054661817030294
3 Sudharson S., Kokil P. An ensemble of deep neural networks for kidney ultrasound image classification. Comput Methods Programs Biomed. 2020 Dec; 197: 105709. https://doi. org/10.1016/j.cmpb.2020.105709. Epub 2020 Aug 23. PMID: 32889406
4 Ronneberger O., Fischer P., Brox T. U-Net: convolutional networks for biomedical image segmentation. In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science. Vol 9351. Springer, Cham. https://doi.org/10.1007/978-3-319-24574-4_28
5 Golts A., Khapun D., Shats D., et al. An ensemble of 3D U-Net based models for segmentation of kidney and masses in CT scans. In: Heller N., Isensee F., Trofimova D., Tejpaul R., Papanikolopoulos N., Weight C. (eds) Kidney and Kidney Tumor Segmentation. KiTS 2021. Lecture Notes in Computer Science. Vol 13168. Springer, Cham. https://doi.org/10.1007/978-3-030-98385-7_14
6 Zhao Z., Chen H., Wang L. A Coarse-to-Fine framework for the 2021 kidney and kidney tumor segmentation challenge. In: Heller N., Isensee F., Trofimova D., Tejpaul R., Papanikolopoulos N., Weight C. (eds) Kidney and Kidney Tumor Segmentation. KiTS 2021. Lecture Notes in Computer Science, vol 13168. Springer, Cham. https://doi.org/10.1007/978-3-030-98385-7_8
7 da Cruz L.B., Araujo J.D.L., Ferreira J.L., et al. Kidney segmentation from computed tomography images using deep neural network. Comput Biol Med. 2020 Aug; 123: 103906. https:// doi.org/10.1016/j.compbiomed.2020.103906. Epub 2020 Jul 11. PMID: 32768047
8 Alom M.Z., Yakopcic C., Hasan M., et al. Recurrent residual U-Net for medical image segmentation. J Med Imaging (Bellingham). 2019 Jan; 6(1): 014006. https://doi.org/10.1117/1.JMI.6.1.014006. Epub 2019 Mar 27. PMID: 30944843; PMCID: PMC6435980
более доступным и, таким образом, приступить к масштабированию проекта.
ВЫВОДЫ
Собрана первая версия набора данных для определения образований паренхимы почки, на которой удалось провести обучение глубокой модели нейронной сети. В результате удалось достичь значения 0,79 метрики Дайса. В последующем планируется проводить дальнейший подбор архитектуры модели и операций постобработки для улучшения качества работы.
AUTHOR CONTRIBUTIONS
Ivan M. Chernenkiy made the main contribution to the development of the concept and design of the study, led the process of writing, editing and statistical processing of the article. Michail M. Chernenkiy performed manual data markup to prepare the dataset. Dmitry N. Fiev and Evgeny S. Sirota made an equal contribution to the search for literary sources, writing and editing the text. All authors approved the final version of the article and are ready to take responsibility for all aspects of the submitted publication.
1 Axel E.M., Matveev KB. Statistics of malignant tumors of urinary and male urogenital organs in Russia and the countries of the former USSR. Cancer Urology. 2019; 15(2): 15-24 (In Russian). https://doi.org/10.17650/1726-9776-2019-15-2-15-24
2 Verma J., Nath M., Tripathi P., et al. Analysis and identification of kidney stone using Kth nearest neighbour (KNN) and support vector machine (SVM) classification techniques. Pattern Recognit. Image Anal. 2017; 27, 574-580. https://doi.org/10.1134/ S1054661817030294
3 Sudharson S., Kokil P. An ensemble of deep neural networks for kidney ultrasound image classification. Comput Methods Programs Biomed. 2020 Dec; 197: 105709. https://doi. org/10.1016/j.cmpb.2020.105709. Epub 2020 Aug 23. PMID: 32889406
4 Ronneberger O., Fischer P., Brox T. U-Net: convolutional networks for biomedical image segmentation. In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science. Vol 9351. Springer, Cham. https://doi.org/10.1007/978-3-319-24574-4_28
5 GoltsA., Khapun D., ShatsD., et al. An ensemble of3D U-Net based models for segmentation of kidney and masses in CT scans. In: Heller N., Isensee F., Trofimova D., Tejpaul R., Papanikolopoulos N., Weight C. (eds) Kidney and Kidney Tumor Segmentation. KiTS 2021. Lecture Notes in Computer Science, vol 13168. Springer, Cham. https://doi.org/10.1007/978-3-030-98385-7_14
6 Zhao Z., Chen H., Wang L. A Coarse-to-Fine framework for the 2021 kidney and kidney tumor segmentation challenge. In: Heller N., Isensee F., Trofimova D., Tejpaul R., Papanikolopoulos N., Weight C. (eds) Kidney and Kidney Tumor Segmentation. KiTS 2021. Lecture Notes in Computer Science, vol 13168. Springer, Cham. https://doi.org/10.1007/978-3-030-98385-7_8
7 da Cruz L.B., Araujo J.D.L., Ferreira J.L., et al. Kidney segmentation from computed tomography images using deep neural network. Comput Biol Med. 2020 Aug; 123: 103906. https:// doi.org/10.1016/j.compbiomed.2020.103906. Epub 2020 Jul 11. PMID: 32768047
8 Alom M.Z., Yakopcic C., Hasan M., et al. Recurrent residual U-Net for medical image segmentation. J Med Imaging (Bellingham). 2019 Jan; 6(1): 014006. https://doi.org/10.1117/1.JMI.6.1.014006. Epub 2019 Mar 27. PMID: 30944843; PMCID: PMC6435980
9 Novikov A.A., Major D., Wimmer M., et al. Deep sequential segmentation of organs in volumetric medical scans. IEEE Trans Med Imaging. 2019 May; 38(5): 1207-1215. https://doi.org/10.1109/ TMI.2018.2881678. Epub 2018 Nov 16. PMID: 30452352
10 Baid U., Ghodasara S., Mohan S., et al. The RSNA-ASNR-MICCAI BRATS 2021 benchmark on brain tumor segmentation and radiogenomic classification // arXiv preprint arX-iv:2107.02314. 2021. https://doi.org/10.48550/arXiv.2107.02314
11 AntonelliM., Reinke A., Bakas S., et al. The medical segmentation decathlon. Nat Commun. 2022 Jul 15; 13(1): 4128. https://doi. org/10.1038/s41467-022-30695-9. PMID: 35840566
12 Myronenko A. 3D MRI brain tumor segmentation using autoencoder regularization. In: Crimi A., Bakas S., Kuijf H., Keyvan F., Reyes M., van Walsum T. (eds) Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. BrainLes 2018. Lecture Notes in Computer Science. Vol 11384. Springer, Cham. https://doi.org/10.1007/978-3-030-11726-9_28
13 Hatamizadeh A., Tang Yu., Nathet V., et al. UNETR: Transformers for 3D medical image segmentation. Proceedings of the IEEE/ CVF Winter Conference on Applications of Computer Vision. 2022. P. 574-584.
14 Isensee F., Jaeger P.F., Kohl S.A.A., et al. nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation. Nat Methods. 2021 Feb; 18(2): 203-211. https://doi.org/10.1038/ s41592-020-01008-z. Epub 2020 Dec 7. PMID: 33288961
15 Liu S., Xu D., Zhou K., et al. 3D anisotropic hybrid network: transferring convolutional features from 2D images to 3D anisotropic volumes. In: Frangi A., Schnabel J., Davatzikos C., Alberola-Löpez C., Fichtinger G. (eds) Medical Image Computing and Computer Assisted Intervention - MICCAI 2018. MICCAI 2018. Lecture Notes in Computer Science. Vol 11071. Springer, Cham. https://doi.org/10.1007/978-3-030-00934-2_94
16 Cao H., Wang Yu., Chen J., et al. Swin-Unet: Unet-like pure transformer for medical image segmentation. In: Karlinsky L., Michaeli T., Nishino K. (eds) Computer Vision - ECCV 2022 Workshops. ECCV 2022. Lecture Notes in Computer Science. Vol 13803. Springer, Cham. https://doi.org/10.1007/978-3-031-25066-8_9
17 Павлов Н.А., Андрейченко А.Е., Владзимирский А.В. и др. Эталонные медицинские датасеты (MosMedData) для независимой внешней оценки алгоритмов на основе искусственного интеллекта в диагностике. Digital Diagnostics. 2021; 2(1): 49-66. https://doi.org/10.17816/DD60635
9 Novikov A.A., Major D., Wimmer M., et al. Deep sequential segmentation of organs in volumetric medical scans. IEEE Trans Med Imaging. 2019 May; 38(5): 1207-1215. https://doi.org/10.1109/ TMI.2018.2881678. Epub 2018 Nov 16. PMID: 30452352
10 Baid U., Ghodasara S., Mohan S., et al. The RSNA-ASNR-MICCAI BRATS 2021 benchmark on brain tumor segmentation and radiogenomic classification // arXiv preprint arX-iv:2107.02314. 2021. https://doi.org/10.48550/arXiv.2107.02314
11 Antonelli M., Reinke A., Bakas S., et al. The medical segmentation decathlon. Nat Commun. 2022 Jul 15; 13(1): 4128. https://doi. org/10.1038/s41467-022-30695-9. PMID: 35840566
12 Myronenko A. 3D MRI brain tumor segmentation using autoencoder regularization. In: Crimi A., Bakas S., Kuijf H., Keyvan F., Reyes M., van Walsum T. (eds) Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. BrainLes 2018. Lecture Notes in Computer Science. Vol 11384. Springer, Cham. https://doi.org/10.1007/978-3-030-11726-9_28
13 Hatamizadeh A., Tang Yu., Nathet V., et al. UNETR: Transformers for 3D medical image segmentation. Proceedings of the IEEE/ CVF Winter Conference on Applications of Computer Vision. 2022. P. 574-584.
14 Isensee F., Jaeger P.F., Kohl S.A.A., et al. nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation. Nat Methods. 2021 Feb; 18(2): 203-211. https://doi.org/10.1038/ s41592-020-01008-z. Epub 2020 Dec 7. PMID: 33288961
15 Liu S., Xu D., Zhou K., et al. 3D anisotropic hybrid network: transferring convolutional features from 2D images to 3D anisotropic volumes. In: Frangi A., Schnabel J., Davatzikos C., Alberola-Löpez C., Fichtinger G. (eds) Medical Image Computing and Computer Assisted Intervention - MICCAI 2018. MICCAI 2018. Lecture Notes in Computer Science. Vol 11071. Springer, Cham. https://doi.org/10.1007/978-3-030-00934-2_94
16 Cao H., Wang Yu., Chen J., et al. Swin-Unet: Unet-like pure transformer for medical image segmentation. In: Karlinsky L., Michaeli T., Nishino K. (eds) Computer Vision - ECCV 2022 Workshops. ECCV 2022. Lecture Notes in Computer Science. Vol 13803. Springer, Cham. https://doi.org/10.1007/978-3-031-25066-8_9
17 Pavlov N.A., Andreychenko A.E., Vladzymyrskyy A.V., et al. Reference medical datasets (MosMedData) for independent external evaluation of algorithms based on artificial intelligence in diagnostics. Digital Diagnostics. 2021; 2(1): 49-66. https://doi. org/10.17816/DD60635
ИНФОРМАЦИЯ ОБ АВТОРАХ / INFORMAT
Черненький Иван Михайлович^ инженер-программист центра нейросетевых технологий Института урологии и репродуктивного здоровья человека ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский Университет).
ORCID: https://orcid.org/0000-0001-5968-9883 Черненький Михаил Михайлович, инженер-физик центра нейросетевых технологий Института урологии и репродуктивного здоровья человека ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский Университет). ORCID: https://orcid.org/0000-0002-4001-5317 Фиев Дмитрий Николаевич, д-р мед. наук, врач-уролог Института урологии и репродуктивного здоровья человека ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский Университет). ORCID: https://orcid.org/0000-0002-0401-8780 Сирота Евгений Сергеевич, д-р мед. наук, старший научный сотрудник Института урологии и репродуктивного здоровья человека ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский Университет). ORCID: https://orcid.org/0000-0001-6419-0155
M ABOUT THE AUTHORS
Ivan M. ChernenkiyH, IT engineer, Center for Neural Network Technologies, Institute of Urology and Reproductive Health, Sechenov First Moscow State Medical University (Sechenov University).
ORCID: https://orcid.org/0000-0001-5968-9883
Michail M Chernenkiy, physical engineer, Center for Neural Network Technologies, Institute of Urology and Reproductive Health, Sechenov First Moscow State Medical University (Sechenov University).
ORCID: https://orcid.org/0000-0002-4001-5317 Dmitriy N. Fiev, Dr. of Sci. (Medicine), urologist, Institute of Urology and Human Reproductive Health, Sechenov First Moscow State Medical University (Sechenov University). ORCID: https://orcid.org/0000-0002-0401-8780
Evgeniy S. Sirota, Dr. of Sci. (Medicine), Senior Researcher, Institute of Urology and Reproductive Health, Sechenov First Moscow State Medical University (Sechenov University). ORCID: https://orcid.org/0000-0001-6419-0155
н Автор, ответственный за переписку / Corresponding author
