CC BY
14
DOI: 10.17650/1726-9776-2023-19-2-101-110
c«di
Анализ подходов к глубокому обучению
для автоматизированного выделения и сегментации
предстательной железы: обзор литературы
А.Э. Талышинский1, Б.Г. Гулиев2, 3, И.Г. Камышанская1, 3 4, А.И. Новиков2, 5, У. Жанбырбекулы6, А.Э. Мамедов7, И.А. Поваго2, А.А. Андриянов2
'ООО «Мед-Рей»; Россия, 129343 Москва, пр-д Серебрякова, 11, корп. 1;
2ФГБОУ ВО «Северо-Западный государственный медицинский университет им. И.И. Мечникова» Минздрава России; Россия, 191015 Санкт-Петербург, ул. Кирочная, 41;
3СПбГБУЗ «Городская Мариинская больница»; Россия, 191014 Санкт-Петербург, Литейный пр-кт, 56;
4ФГБОУВО «Санкт-Петербургский государственный университет»; Россия, 199034 Санкт-Петербург, Университетская
набережная, 7—9;
5ГБУЗ «Санкт-Петербургский клинический научно-практический центр специализированных видов медицинской помощи (онкологический) им. Н.П. Напалкова»; Россия, 197758 Санкт-Петербург, пос. Песочный, Ленинградская ул., 68А, лит. А; 6кафедра урологии и андрологии НАО «Медицинский университет Астана»; Республика Казахстан, 010000Астана, ул. Бейбитшилик, 49A;
7ФГАОУ ВО «Самарский национальный исследовательский университет им. акад. С.П. Королева»; Россия, 443086 Самара, Московское шоссе, 34
Контакты: Али Эльманович Талышинский [email protected]
Введение. Определение границ предстательной железы является начальным шагом в понимании состояния органа и в основном выполняется вручную, что занимает длительное время и напрямую зависит от опыта рентгенолога. Автоматизация в выделении предстательной железы может быть осуществлена различными подходами, в том числе с помощью искусственного интеллекта и его субдисциплин - машинного и глубокого обучения. Цель работы - детальный анализ литературы для определения наиболее эффективных способов автоматизированной сегментации предстательной железы по снимкам мультипараметрической магнитно-резонансной томографии посредством глубокого обучения. Материалы и методы. Поиск публикаций проводился в июле 2022 г. в поисковой системе PubMed с помощью g клинического запроса (((AI) OR (machine learning)) OR (deep learning)) AND (prostate) AND (MRI). Критериями «v включения были доступность полного текста статьи, дата публикации не более 5 лет на момент поиска, наличие количественной оценки точности реконструкции предстательной железы с помощью коэффициента Серенсена-Дайса (Dice similarity coefficient, DSC). Результаты. В результате поиска найдена 521 статья, из которой в анализ были включены только 24 работы, содержав- о шие описание 33 различных способов глубокого обучения для сегментации предстательной железы. Медиана количе- з ства исследований, включенных для обучения искусственного интеллекта, составила 100 с диапазоном от 25 до 365. ос Оптимальным значением DSC, при котором автоматизированная сегментация лишь незначительно уступает ручному са послойному выделению предстательной железы, составляет 0,9. Так, DSC выше порогового достигнут в описании 21 алгоритма.
Заключение. Несмотря на значимые достижения в автоматизированной сегментации предстательной железы с помощью алгоритмов глубокого обучения, до сих пор существует ряд проблем и ограничений, требующих решения для внедрения искусственного интеллекта в клиническую практику.
Ключевые слова: рак предстательной железы, мультипараметрическая магнитно-резонансная томография, искусственный интеллект, сегментация предстательной железы
Для цитирования: Талышинский А.Э., Гулиев Б.Г., Камышанская И.Г. и др. Анализ подходов к глубокому обучению для автоматизированного выделения и сегментации предстательной железы: обзор литературы. Онкоурология 2023;19(2):101-10. Э01: 10.17650/1726-9776-2023-19-2-101-110
со cv а
JN
CV CS
U
СО CV
Analysis of deep learning approaches for automated prostate segmentation: literature review
CO
cv
JN
cv
A.E. Talyshinskii1, B.G. Guliev2,3, I.G. Kamyshanskaya1,34, A.I. Novikov2,5, U. Zhanbyrbekuly6, A.E. Mamedov7, I.A. Povago2, A.A. Andriyanov2
Med-Ray; Build. 1, 11 Serebryakova Proezd, Moscow 129343, Russia;
2I.I. Mechnikov North-West State Medical University, Ministry of Health of Russia; 41 Kirochnaya St., Saint Petersburg 191015, Russia; 3Mariinsky Hospital; 56 Liteynyy Prospekt, Saint Petersburg 191014, Russia;
4Saint Petersburg State University; 7—9 Universitetskaya Naberezhnaya, Saint Petersburg 199034, Russia;
5N.P. Napalkov Saint Petersburg Clinical Scientific and Practical Center for Specialized Types of Medical Care (Oncological); lit. A, 68A Leningradskaya St., Pesochnyy, Saint Petersburg 197758, Russia;
6Department of Urology and Andrology, Astana Medical University; 49A Beybitshilik St., Astana 010000, Republic of Kazakhstan; 7Samara University; 34 Moskovskoye Shosse, Samara 443086, Russia
Contacts: Ali El'manovich Talyshinskii [email protected]
Background. Delineation of the prostate boundaries represents the initial step in understanding the state of the whole organ and is mainly manually performed, which takes a long time and directly depends on the experience of the radiologists. Automated prostate selection can be carried out by various approaches, including using artificial intelligence and its subdisciplines - machine and deep learning.
Aim. To reveal the most accurate deep learning-based methods for prostate segmentation on multiparametric magnetic resonance images.
Materials and methods. The search was conducted in July 2022 in the PubMed database with a special clinical query (((AI) OR (machine learning)) OR (deep learning)) AND (prostate) AND (MRI). The inclusion criteria were availability of the full article, publication date no more than five years prior to the time of the search, availability of a quantitative assessment of the reconstruction accuracy by the Dice similarity coefficient (DSC) calculation. Results. The search returned 521 articles, but only 24 papers including descriptions of 33 different deep learning networks for prostate segmentation were selected for the final review. The median number of cases included for artificial intelligence training was 100 with a range from 25 to 365. The optimal DSC value threshold (0.9), in which automated segmentation is only slightly inferior to manual delineation, was achieved in 21 studies.
Conclusion. Despite significant achievements in the development of deep learning-based prostate segmentation algorithms, there are still problems and limitations that should be resolved before artificial intelligence can be implemented in clinical practice.
Keywords: prostate cancer, multiparametric magnetic resonance imaging, artificial intelligence, prostate segmentation
For citation: Talyshinskii A.E., Guliev B.G., Kamyshanskaya I.G. et al. Analysis of deep learning approaches for automated prostate segmentation: literature review. Onkourologiya = Cancer Urology 2023;19(2):101-10. (In Russ.). DOI: 10.17650/1726-9776-2023-19-2-101-110
CS
u <
u
со cv
Введение
Мультипараметрическая магнитно-резонансная томография (мпМРТ) является наиболее информативным методом неинвазивной визуализации, который сочетает соответствующие последовательности для ана-томо-функциональной оценки предстательной железы (ПЖ). Помимо определения характера ее заболевания мпМРТ позволяет создавать трехмерную (3D) реконструкцию всей ПЖ и ее зон [1], проводить стадирование и динамическое наблюдение за раком ПЖ (РПЖ), а также определять степень его злокачественности.
Различия в протоколах исследования в разных учреждениях приводят к неоднородности качества изображений и затрудняют их сравнение и группирование. Кроме этого, несмотря на унификацию описания ПЖ посредством классификации PI-RADS v2 и v2.1, кривая обучения чтению снимков мпМРТ является достаточно длительной, что опосредует различия в заключениях у разных спе-
циалистов [2]. Помимо этого, ручная послойная сегментация занимает длительное время и напрямую зависит от опыта рентгенолога. Автоматизация в выделении ПЖ может быть осуществлена различными подходами, в том числе с помощью искусственного интеллекта (ИИ) и его субдисциплин — машинного и глубокого обучения. Именно ИИ в последнее время уделяется пристальное внимание по всему миру, однако работы по описанию основных достижений применения глубокого обучения в отечественной литературе либо ограничены обзором средств автоматического анализа и распознавания гистологических изображений [3], либо носят сугубо повествовательный характер с акцентом на основные принципы реализации ИИ в онкоурологии в целом [4].
Цель работы — детальный анализ имеющейся литературы для определения наиболее эффективных способов автоматизации сегментации ПЖ посредством глубокого обучения.
Материалы и методы
Поиск публикаций для включения в данный обзор проводили в июле 2022 г. в поисковой системе PubMed с помощью клинического запроса (((AI) OR (machine learning)) OR (deep learning)) AND (prostate) AND (MRI). Критериями включения были доступность полного текста статьи, дата публикации не более 5 лет на момент поиска, наличие количественной оценки точности реконструкции ПЖ с помощью коэффициента Серенсена—Дайса (Dice similarity coefficient, DSC), а также значение последнего >0,85. Дополнительно анализировали список литературы в отобранных для ознакомления статьях. При использовании в нескольких работах одинакового алгоритма с обучением по снимкам одного и того же режима мпМРТ в итоговый обзор включали более современную по дате публикацию. В работах, посвященных сопоставлению различных сетей, в таблицу вносили характеристику наиболее точной с описанием сравнения в текст обзора.
Описательную статистику реализовывали с помощью программного обеспечения SPSS Statistics 26.0. Определение распределения непрерывных данных осуществляли с использованием теста Колмогорова— Смирнова, после чего рассчитывали среднее значение со стандартным отклонением или медиану с минимальным и максимальным значениями в зависимости от нормализованности.
Результаты
В результате поиска найдена 521 статья, из которых были включены только 24 работы, содержавшие описание 33 различных способов глубокого обучения для сегментации ПЖ. Алгоритмы глубокого обучения для автономной сегментации ПЖ, соответствующие критериям включения, перечислены в таблице. Видно, что оптимальным режимом для реализации такого рода задачи является Т2, наиболее достоверно отображающий зональную анатомию ПЖ. Медиана количества исследований, включенных для обучения ИИ, составила 100 с диапазоном от 25 до 365. Оптимальным значением DSC, при котором автоматизированная сегментация лишь незначительно уступает ручному послойному выделению ПЖ, составляет 0,9. Так, DSC выше порогового достигнуто в 21 работе.
G.L. da Silva и соавт. описали комбинацию из глубокой сверточной нейронной сети, технологии генерирования суперпикселей с помощью простой линейной итеративной кластеризации, вероятностного атласа, моделирования активного контура и алгоритма оптимизации. Несмотря на сочетание глубокой свер-точной нейронной сети на основе суперпикселей с вероятностным атласом, результирующее изображение может иметь неправильную границу. В связи с этим для точной сегментации поверхности ПЖ авторы предлагают использование активного контура в сочетании
с кубическим сплайном Безье. Такой подход обеспечивает значение DSC 0,85 [5].
B. Wang и соавт. описали применение 3D-полной сверточной сети с групповой расширенной сверткой и сравнили ее точность с таковым показателем U-Net и VNet. Представленная сеть состоит из 3 основных частей: этапов сжатия, соединения и расширения. На этапе сжатия (кодирующей части для анализа всего объема) представление 3D-анатомических объектов извлекается с помощью последовательных 3D-сверток, за которыми следует параметрический выпрямленный линейный блок (PReLU). Вместо операции максимального объединения для понижающей дискретизации используется ступенчатая свертка для получения входных объемов для следующего уровня свертки, где объем объектов уменьшается, а их количество увеличивается. Алгоритм соединения имеет структуру, аналогичную описанным выше модулям кодера, но без пошаговой свертки. На этапе расширения используются операции деконволюции (повышающей дискретизации) для получения входных объемов для следующего уровня. Согласно результатам DCS для данного подхода составил 0,86 и значимо превосходил в точности реконструкции U-Net (0,836; p = 0,023) и VNet (0,838; p = 0,018) [6].
Q. Liu и соавт. описали применение сверточной сети с плотным пространственным объединением (DDSP ConNet) в структуре кодер-декодер, при этом достигалось значение DSC 0,8578 [7].
Y.H. Nai и соавт. оценили эффективность мульти-модальных сетей в сегментации ПЖ, а также сравнили их точности путем апробации мономодальной DenseVNet, мультимодальной ScaleNet и моно- и муль-тимодальной HighRes3DNet. DSC в реконструкции всей ПЖ для упомянутых сетей составил 0,875; 0,848; 0,858 и 0,890 соответственно. Мультимодальные HighRes3DNet и ScaleNet обладали более высоким DSC со статистически достоверным различием только при зональной реконструкции периферической зоны и центральной части ПЖ по сравнению с мономодальной DenseVNet, что указывает на увеличение точности регионарной сегментации при использовании муль-тимодальных сетей, однако в аспекте выделения всей ПЖ разница была статистически незначима [8].
L. Yu и соавт. описали применение объемной свер-точной нейронной сети (ConvNet или MRC-net) с включением как длинных, так и коротких остаточных связей для нивелирования негативного эффекта вариабельности строения ПЖ на точность автоматизированной ее сегментации. Согласно результатам такой подход обеспечивает DSC 0,8693 [9].
A. Comelli и соавт. сравнили точность реконструкции ПЖ при использовании таких сетей, как U-Net, ENet и ERFNet. Согласно полученным данным, именно первые две сети обеспечивают DSC более 0,9, при
со cv
JN CV
CS
U
et u
со cv
Алгоритмы глубокого обучения для трехмерной реконструкции и сегментации предстательной железы Deep learning algorithms for the three-dimensional prostate reconstruction and segmentation
CO
cv
<N
cv
GS
U
ex и
со cv
Авторы, год, источник Название сети Режимы маг-нитно-резонанс-ной томографии Magnetic resonance imaging mode Количество исследований of studies Использование открытых DSC ■
Authors, year, source Network name ^иадасетов^
G.L. da Silva и соавт., 2020 [5] G.L. da Silva et al., 2020 [5] Глубокая сверточная нейронная сеть Deep convolutional neural network Т2 80 + 0,85
B. Wang и соавт., 2019 [6] B. Wang et al., 2019 [6] ЗБ-сверточная нейронная сеть с групповой расширенной сверткой 3D-convolutional neural network with grouped dilated convolution T2/T2 90 + 0,855
Q. Liu и соавт., 2018 [7] Q. Liu et al., 2018 [7] ConNet Т2 80 + 0,8578
Y.H. Nai и соавт., 2020 [8] Y.H. Nai et al., 2020 [8] ScaleNet Т2, ДВИ, ИКД T2, DWI, ADC 160 + 0,850
Y.H. Nai и соавт., 2020 [8] Y.H. Nai et al., 2020 [8] HighRes3DNet Т2, ДВИ, ИКД T2, DWI, ADC 160 + 0,858
Y.H. Nai и соавт., 2020 [8] Y.H. Nai et al., 2020 [8] DenseVNet Т2, ДВИ, ИКД T2, DWI, ADC 160 + 0,875
Y.H. Nai и соавт., 2020 [8] Y.H. Nai et al., 2020 [8] HighRes3DNet Т2, ДВИ, ИКД T2, DWI, ADC 160 + 0,890
L. Yu и соавт., 2017 [9] L. Yu et al., 2017 [9] ConvNet Т2 80 + 0,8693
A. Comelli и соавт., 2021 [10] A. Comelli et al., 2021 [10] ERFNet Т2 85 + 0,8718
D. Karimi и соавт., 2018 [11] D. Karimi et al., 2018 [11] Сверточная нейронная сеть со статистическим анализом форм Convolutional neural network with statistical shape analysis Т2 75 + 0,88
A. Ushinsky и соавт., 2021 [12] A. Ushinsky et al., 2021 [12] Гибридная U-Net Hybrid U-Net T2 299 - 0,898
K. Yan и соавт., 2019 [13] K. Yan et al., 2019 [13] Глубокая нейронная сеть с алгоритмом обратного распространения ошибки Deep neural network with backward propagation of errors algorithm T2 80 + 0,899
H. Jia и соавт., 2020 [14] H. Jia et al., 2020 [14] 3D APA-Net T2 140 + 0,901
A. Comelli и соавт., 2021 [10] A. Comelli et al., 2021 [10] ENet Т2 85 + 0,9089
M. Bardis и соавт., 2021 [15] M. Bardis et al., 2021 [15] Гибридная 3D/2D U-Net Hybrid 3D/2D U-Net Т2 242 + 0,940
Y Liu и соавт., 2021 [16] Y. Liu et al., 2021 [16] 2D DS-Net Т2 100 + 0,91
Y Liu и соавт., 2021 [16] Y. Liu et al., 2021 [16] DeepLab v3 Т2 100 + 0,92
Окончание таблицы End of table
Авторы, год, источник
Authors, year, source
Y Liu и соавт., 2021 [16] Y. Liu et al., 2021 [16]
D. Nie и соавт., 2019 [17] D. Nie et al., 2019 [17]
Название сети
Network name
Глубокая нейронная сеть с механизмом внимания Deep neural network with attention mechanism
STRAINet
Режимы маг-нитно-резонанс-ной томографии
Magnetic resonance imaging mode
Количество исследо-
ваний
Использование открытых етов
2D-3D-гибридная сверточная
TH. Sanford и соавт., 2020 [18] нейронная сеть с трансферным
T.H. Sanford et al., 2020 [18] обУчением
Il 2D-3D-hydrid convolutional neural
network with transfer learning
Т2
Т2
Т2
100
50
648
DSC
0,93
0,914
0,915
Примечание. DSC — коэффициент Серенсена—Дайса; ДВИ — диффузионно-взвешенные изображения; ИКД — измеряемый коэффициент диффузии.
Note. DSC — Dice similarity coefficient; DWI — diffusion-weighted imaging; ADC — apparent diffusion coefficient.
Q. Liu и соавт., 2020 [19] Q. Liu et al., 2020 [19] MS-Net Т2 79 + 0,9166
W Wang и соавт., 2021 [20] W. Wang et al., 2021 [20] SegDGAN T2 335 + 0,9166
N. Aldoj и соавт., 2020 [21] N. Aldoj et al., 2020 [21] Dense U-net Т2 188 + 0,921
M.N. Nhat To и соавт., 2018 [22] M.N. Nhat To et al., 2018 [22] 3D MRC-net T2, ДВИ T2, DWI 280 + 0,9237
M.N. Nhat To и соавт., 2018 [22] M.N. Nhat To et al., 2018 [22] 2D DS-Net T2, ДВИ T2, DWI 280 + 0,9247
M.N. Nhat To и соавт., 2018 [22] M.N. Nhat To et al., 2018 [22] 3D U-Net T2, ДВИ T2, DWI 280 + 0,9380
M.N. Nhat To и соавт., 2018 [22] M.N. Nhat To et al., 2018 [22] 3D DM-net-8feat T2, ДВИ T2, DWI 280 + 0,9511
Q. Zhu и соавт., 2020 [23] Q. Zhu et al., 2020 [23] BOWDA-Net Т2 80 + 0,9254
Y Zhu и соавт., 2019 [24] Y. Zhu et al., 2019 [24] Двойная 2D U-Net Double 2D U-Net T2 163 + 0,927
A. Meyer и соавт., 2021 [25] A. Meyer et al., 2021 [25] Анизотропная 3D мультика-нальная сверточная нейронная сеть Anisotropic multichannel convolutional neural network T2 156 + 0,933
L. Geng и соавт., 2019 [26] L. Geng et al., 2019 [26] Глубокая нейронная сеть с DDSPP Deep neural network with DDSPP T2 130 + 0,954
J. Chen и соавт., 2021 [27] J. Chen et al., 2021 [27] AlexNet Т2 25 + 0,9768
L. Yan и соавт., 2021 [28] L. Yan et al., 2021 [28] PSPNet Т2 270 + 0,9865
CO
cv
JN
cv
CS
u <
u
CO
cv
+
+
+
со cv
JN
îv
CS
u «
u
со cv
этом наилучшим показатель достигается при использовании ENet (0,9089) [10].
D. Karimi и соавт. описали архитектуру сверточной нейронной сети и стратегию обучения, которая направлена на использование ограниченной изменчивости формы ПЖ и одновременно на решение проблемы нехватки данных для обучения. Ключом к достижению обеих этих целей является статистическая модель формы. Вывод нейронной сети ограничен теми параметрами, которые допускает модель формы. Поэтому задача заключается в оценке значений параметров модели формы, которые наилучшим образом описывают сегментацию ПЖ. Кроме этого, использовался метод дополнения данных, который также основан на модели формы. В этом методе обучающие изображения и их сегментация деформируются с помощью смещений, вычисленных на основе модели формы [11].
A Ushinsky и соавт. описали использование 3D/2D-гибридной нейронной сети U-Net, достигающей значения DSC 0,898. Гибридная 3D/2D U-сеть была создана путем модификации части U-сети с понижающей дискретизацией для выполнения операций обработки изображений свертки, активации ReLU и нормализации в 3D. Затем эти 3D-изображения были отображены с помощью операции проецирования для соответствия 2D-изображени-ям на этапе апсемплинга U-Net [12].
K. Yan и соавт. описали применение нейронной сети с алгоритмом обратного распространения ошибки, состоящего из 3 компонентов: слоев свертки и объединения (CP-слои), слоя распространения (P-слой) и слоя потерь F-меры (L-слой), и сравнили данный подход с FCN-16s и FCN-32s, DS-Net и VolConv. Значение DSC для описанного и сравниваемых сетей составило 0,9055; 0,8658; 0,6983; 0,6693 и 0,904 соответственно [13].
H. Jia и соавт. для сегментации ПЖ применили состязательную пирамидальную анизотропную свер-точную сеть (3D APA-Net). Эта модель состоит из генератора (3D PA-Net), который выполняет сегментацию изображения, и дискриминатора (шестислойной сверточной нейронной сети), который различает результат сегментации и соответствующую ему базовую истинность. 3D PA-Net имеет архитектуру encoderdecoder, которая состоит из 3D-кодера ResNet, анизотропного сверточного декодера и многоуровневых пирамидальных сверточных соединений. Результирующее значение DSC для выделения всей ПЖ сравнивалось с VNet, 3D GCN и 3D U-Net и составило 0,901 против 0,796; 0,817 и 0,818 соответственно [14].
M. Bardis и соавт. описали последовательное использование 3 сверточных нейронных сетей, каждая из которых была реализована с использованием индивидуальной гибридной 3D/2D-архитектуры U-Net. Сети были названы U-NetA, U-NetB и U-NetC. U-NetA отвечала за локализацию ПЖ, создавая вокруг
нее ограничивающую рамку. U-NetB — за конечную локализацию и цельную сегментацию ПЖ, в то время как зональная сегментация реализовывалась с помощью U-NetC. DSC для всей ПЖ, переходной и периферической зон составил 0,940; 0,910 и 0,774 соответственно [15].
Y Liu и соавт. описали применение глубокой нейронной сети с механизмом внимания (DANN) и сравнили с DeepLab v3+ и U-Net. DSC составил 0,93; 0,92 и 0,91 соответственно, при этом разница между разработанным алгоритмом и аналогами была значимой (p <0,05) [16].
D. Nie и соавт. описали апробацию полной свер-точной сети, дополненной использованием стохастической остаточной единицы в сверточных слоях, расширенной сверткой на картах объектов с наименьшим разрешением, пространственно изменяющегося свер-точного слоя для адаптации сверточных фильтров к различным областям интереса, а также состязательной сети для дальнейшей коррекции сегментированной структуры органов. Данный подход носит название Spatially varying sTochastic Residual AdversarIal Network (STRAINet). Сравнение точности сегментации ПЖ проводилось с такими методами, как MALF, SSAE, U-Net, DeepLab v2, RefineNet и PSPNet, использование которых обеспечивало значение DSC 0,793; 0,S71; 0^22; 0^05; 0^21 и 0^3 соответственно [17].
T.H. Sanford и соавт. акцентировали внимание на проблему неоднородности магнитно-резонансных (MP) изображений, взятых из разных источников, и описали применение 2D-3D-анизотропной гибридной сети и глубокой многоуровневой трансформации в качестве способа аугментации данных. Этот подход обеспечивает точность сегментации всей ПЖ и переходной зоны со значениями DSC 0,915 и 0^97 соответственно [Щ
Q. Liu и соавт. описали использование нейронной сети с применением пакетной нормализации и функции потери для нивелирования разницы между МР-изобра-жениями ПЖ, полученными при применении разных МР-томографов, и определения оптимального значения градиента для обучения нейронной сети соответственно. Таким образом, авторам удалось достичь значения DSC 0,9169 в определении границ ПЖ при использовании снимков из 3 различных источников [19].
W. Wang и соавт. описали автоматизированную сегментацию всей ПЖ путем использования условных порождающих состязательных сетей (SegDGAN). Генератор G представляет собой сеть сегментации, в которой выполняется сквозное обучение. G использует структуру кодер-декодер U-сети. Дискриминатор D представляет собой многомерную сеть выделения признаков с б слоями. Каждый слой содержит слой свертки, слой BN и слой с функцией активации ReLU. Наибольшее значение DSC составило 0,91бб, что было значимо выше при сравнении точности сегментации при использовании U-Net, FCN и SegAN [20].
10б
N. Aldoj и соавт. разработали алгоритм Dense U-net, за основу которого были взяты ранее апробированные сети DenseNet и U-net. По сравнению с U-net нейронная сеть Dense U-net достигла среднего балла DSC в выделении всей ПЖ 0,921 против 0,907, для центральной части (цетральная и переходная зоны) — 0,895 против 0,891 и для периферической зоны — 0,781 против 0,75 [21].
M.N. Nhat To и соавт. описали применение 3D-глубокой плотной сверточной нейронной сети и сравнили ее точность в сегментации ПЖ с 3D U-Net, 2D DS-Net и 3D MRC-net. Значение DSC составило 0,9511; 0,9380; 0,9247 и 0,9237 соответственно [22].
Q. Zhu и соавт. описали адаптивную нейронную сеть с взвешенной по границам областью (BOWDA-Net) со значением DSC в автоматизированной сегментации ПЖ 0,9254 [23].
Y. Zhu и соавт. описали каскадную работу двух U-Net: первая определяла контур всей ПЖ, вторая отвечала за сегментацию периферической зоны. Значение DSC составило 0,927 и 0,793 соответственно, что было статистически значимо выше показателей при применении одной сети U-Net [24].
A. Meyer и соавт. использовали для сегментации всей ПЖ анизотропную 3D-многопоточную сверточ-ную нейронную сеть, представляющую собой архитектуру, подобную 3D U-Net, в соответствии с дизайном кодера-декодера с 4 уровнями разрешения. Примечательно то, что построение осуществлялось посредством использования Т2-снимков во всех плоскостях, в отличие от ранее перечисленных способов построения ПЖ по аксиальным срезам. Статистически значимое увеличение DSC в сравнении с одноплоскостной реконструкцией наблюдалось на всех уровнях ПЖ, особенно у основания (0,906 против 0,898) и на уровне верхушки железы (0,901 против 0,888). При этом суммарный уровень DSC для всей ПЖ достигал 0,933 [25].
L. Geng и соавт. описали сеть, состоящую из структуры кодер-декодер с плотным пространственным пирамидальным объединением (DDSPP) для сегментации ПЖ на основе глубокого обучения со значением DSC 0,954 [26].
J. Chen и соавт. описали сеть AlexNet, использующую алгоритмы пакетной нормализации и глобального максимального объединения, достигая значения DSC 0,921 [27].
L. Yan и соавт. описали использование сети синтаксического анализа пирамидальной сцены (PSPNet) и сравнили ее точность с FCN и U-Net. Согласно результатам DSC для PSPNet, FCN и U-Net составил 0,985; 0,8924 и 0,9107 соответственно [28].
Обсуждение
Лучевая диагностика РПЖ нередко носит субъективный характер и не соответствует истинной картине заболевания, что может отрицательно отразиться
на выборе метода лечения и исходе опухолевого процесса [29]. Несмотря на несомненные достижения в диагностике, остается нерешенной задача разработки полностью автоматизированной системы поддержки и второго мнения для верификации точного диагноза без применения инвазивных процедур. Неоднозначность МР-картины, смежные признаки между доброкачественными и злокачественными процессами в ПЖ опосредуют тенденцию к гипердиагностике, вторично приводя к гиперлечению и снижению качества жизни пациентов этой когорты, для которых протокол активного наблюдения мог быть более чем безопасным. Текущая полезность мпМРТ в скрининге обусловлена высокой отрицательной прогностической ценностью РПЖ. Однако в текущий момент реализован не весь ее потенциал.
Конкретизируя проблему интерпретации МР-сним-ков ПЖ, следует отметить, что определение ее границ является начальным шагом в понимании состояния органа. Например, размер ПЖ сам по себе является ценным маркером для прогноза РПЖ (рак легче определяется при объеме органа менее 50 см3). Объем ПЖ также применяется для расчета плотности простатического специфического антигена — показателя, который помогает дифференцировать доброкачественную гиперплазию предстательной железы и РПЖ, а также может быть использован для прогнозирования исходов радикальной простатэктомии.
В современной практике сегментация ПЖ на МР-снимках выполняется вручную путем послойной разметки ее края, что требует наличия соответствующего опыта и концентрации специалиста. ПЖ не имеет четко очерченных границ в связи с низким градиентом МР-сигнала относительно смежных структур малого таза, и ее детализация напрямую зависит от разрешения изображения.
Для автоматизированной сегментации ПЖ было предложено множество методов и алгоритмов, включая сегментацию на основе деформируемых моделей [30], модели максимального пространственного потока [31] и алгоритмов машинного обучения, таких как «случайный лес» [32], нечеткая кластеризация с-средних [33], распознавание образов [34] и байесовская классификация [35].
Искусственный интеллект — это способность любого инструмента принимать входные данные из предварительных знаний, опыта, целей и наблюдений, а затем создавать выходные данные. Это определение охватывает широкий спектр, начиная от простого термостата и заканчивая самоуправляемым автомобилем. В то время как ИИ обычно предполагает фиксированный, основанный на правилах вычислительный метод, машинное обучение динамически совершенствует вычислительные методы по мере ввода и обучения. В традиционном программировании компьютер получает данные и программу в качестве входных данных,
СО
cv
JN CV
CS
U
et u
со cv
а затем выдает выходные данные взаимно однозначным образом. Эффективность сильно зависит от качества и размера данных, которые алгоритм получает в качестве материала для обучения.
Принципы глубокого обучения, которое является субдисциплиной машинного обучения и ИИ в целом, являются доминирующими и наиболее перспективными для автоматической сегментации отдельных анатомических структур, в том числе цельной ПЖ и ее зон. В отличие от традиционных методов машинного обучения при глубоком обучении происходит автоматический отбор своих собственных карт объектов во время обучения. Популяризация данного направления связана в том числе с наличием доступных датасетов с МР-изображениями ПЖ. Из включенных в настоящий обзор работ в 23 для обучения частично или полностью используются данные из открытых баз, что устраняет необходимость в кропотливом сборе МР-данных непосредственно в госпиталях.
Несмотря на очевидные преимущества глубокого обучения и высокие показатели DSC, следует акценти-
ровать внимание и на ассоциированных ограничениях. Во-первых, во многих работах используются МР-дан-ные, полученные при применении различных томографов, что обусловливает явную гетерогенность между снимками и препятствует их использованию для обучения системы сегментировать орган без реализации мер унификации [36, 37]. Во-вторых, в большинстве работ главной целью является выделение всей ПЖ без дальнейшей сегментации ее отдельных зон, что необходимо для аргументированного клинического применения нейронных сетей. В-третьих, существуют пациент-специфичные факторы, дополнительно искажающие МР-картину ПЖ, такие как наличие вмешательств на ПЖ и ее возрастные изменения [38].
Заключение
Несмотря на значимые достижения в автоматизации сегментации ПЖ с помощью алгоритмов глубокого обучения, до сих пор существует ряд проблем и ограничений, требующих дальнейшего развития и внедрения ИИ в клиническую практику.
ЛИТЕРАТУРА / REFERENCES
со cv
JN CV
CS
U
et
U
со CV
1. Коссов Ф.А., Черняев В.А., Ахвердиева Г.И. и др. Роль
и значение мультипараметрической магнитно-резонансной томографии в диагностике рака предстательной железы. Онкоурология 2017;13(1):122-33. DOI: 10.17650/1726-9776-2017-13-1-122-133 Kossov P.A., Chernyaev V.A., Akhverdieva G.I. et al. Role and significance of multiparametric magnetic resonance imaging in prostate cancer diagnostics. Onkourologiya = Cancer Urology 2017;13(1):122-33. (In Russ.). DOI: 10.17650/1726-9776-2017-13-1-122-133
2. Beetz N.L., Haas M., Baur A. et al. Inter-reader variability using PI-RADS v2 versus PI-RADS v2.1: most new disagreement stems from scores 1 and 2. Rofo 2022;194(8):852-61.
DOI: 10.1055/a-1752-1038
3. Ковалев В.А., Войнов Д.М., Малышев В.Д. и др. Компьютеризированная диагностика рака простаты на основе полнослайдовых гистологических изображений и методов глубокого обучения. Информатика 2020;17(4):48-60.
DOI: 10.37661/1816-0301-2020-17-4-48-60 Kovalev V.A., Voynov D.M., Malyshau V.D. et al. Computerized diagnosis of prostate cancer based on whole slide histology images and deep learning methods. Informatika = Informatics 2020;17(4): 48-60. (In Russ.). DOI: 10.37661/1816-0301-2020-17-4-48-60
4. Рева С.А., Шадеркин И.А., Зятчин И.В. и др. Искусственный интеллект в онкоурологии. Экспериментальная и клиническая урология 2021;14(2):46-51.
DOI: 10.29188/2222-8543-2021-14-2-46-51 Reva S.A., Shaderkin I.A., Zyatchin I.V. et al. Artificial intelligence in cancer urology. Eksperimental'naya i klinihceskaya urologiya = Experimental and Clinical Urology 2021;14(2):46-51. (In Russ.). DOI: 10.29188/2222-8543-2021-14-2-46-51
5. Da Silva G.L.F., Diniz P.S., Ferreira J.L. et al. Superpixel-based deep convolutional neural networks and active contour model for automatic prostate segmentation on 3D MRI scans. Med Biol Eng Comput 2020;58(9):1947-64. DOI: 10.1007/s11517-020-02199-5
6. Wang B., Lei Y., Tian S. et al. Deeply supervised 3D fully convolutional networks with group dilated convolution for automatic MRI prostate segmentation. Med Phys 2019;46(4):1707-18. DOI: 10.1002/mp.13416
7. Liu Q., Fu M., Gong X. et al. Densely dilated spatial pooling convolutional network using benign loss functions for imbalanced volumetric prostate segmentation. Curr Bioinform 2018;15(7):788—99. DOI: 10.48550/arXiv.1801.10517
8. Nai Y.H., Teo B.W., Tan N.L. et al. Evaluation of multimodal algorithms for the segmentation of multiparametric MRI prostate images. Comput Math Methods Med 2020;20;2020:8861035. DOI: 10.1155/2020/8861035
9. Yu L., Yang X., Chen H. et al. Volumetric ConvNets with mixed residual connections for automated prostate segmentation from 3D MR images. Proc AAAI Conf Artif Intell 2017;31(1):66-72.
DOI: 10.1609/aaai.v31i1.10510
10. Comelli A., Dahiya N., Stefano A. et al. Deep learning-based methods for prostate segmentation in magnetic resonance imaging. Appl Sci 2021;11(2):1-13. DOI: 10.3390/app11020782
11. Karimi D., Samei G., Kesch C. et al. Prostate segmentation in MRI using a convolutional neural network architecture and training strategy based on statistical shape models. Int J Comput Assist Radiol Surg 2018;13(8):1211-9. DOI: 10.1007/s11548-018-1785-8
12. Ushinsky A., Bardis M., Glavis-Bloom J. et al. A 3D-2D Hybrid U-Net convolutional neural network approach to prostate organ segmentation of multiparametric MRI. AJR Am J Roentgenol 2021;216(1):111—6. DOI: 10.2214/AJR.19.22168
13. Yan K., Wang X., Kim J. et al. A propagation-DNN: deep combination learning of multi-level features for MR prostate segmentation. Comput Methods Programs Biomed 2019;170:11-21.
DOI: 10.1016/j.cmpb.2018.12.031
14. Jia H., Xia Y., Song Y. et al. 3D APA-Net: 3D adversarial pyramid anisotropic convolutional network for prostate segmentation
in MR images. IEEE Trans Med Imaging 2020;39(2):447-57. DOI: 10.1109/TMI.2019.2928056
15. Bardis M., Houshyar R., Chantaduly C. et al. Segmentation
of the prostate transition zone and peripheral zone on MR images with deep learning. Radiol Imaging Cancer 2021;3(3):e200024. DOI: 10.1148/rycan.2021200024
16. Liu Y., Miao Q., Surawech C. et al. Deep learning enables prostate MRI segmentation: a large cohort evaluation with inter-rater variability analysis. Front Oncol 2021;11:801876.
DOI: 10.3389/fonc.2021.801876
17. Nie D., Wang L., Gao Y. et al. STRAINet: Spatially-varying sTochastic Residual AdversarIal Networks for MRI pelvic organ segmentation. IEEE Trans Neural Networks Learn Syst 2019;30(5):1552-64. DOI: 10.1109/TNNLS.2018.2870182
18. Sanford T.H., Zhang L., Harmon S.A. et al. Data augmentation and transfer learning to improve generalizability of an automated prostate segmentation model. AJR Am J Roentgenol 2020;215(6):1403-10. DOI: 10.2214/AJR.19.22347
19. Liu Q., Dou Q., Yu L. et al. MS-Net: Multi-Site Network for improving prostate segmentation with heterogeneous MRI data. IEEE Trans Med Imaging 2020;39(9):2713-24. DOI: 10.1109/TMI.2020.2974574
20. Wang W., Wang G., Wu X. et al. Automatic segmentation of prostate magnetic resonance imaging using generative adversarial networks. Clin Imaging 2021;70:1-9. DOI: 10.1016/j.clinimag.2020.10.014
21. Aldoj N., Biavati F., Michallek F. et al. Automatic prostate and prostate zones segmentation of magnetic resonance images using DenseNet-like U-net. Sci Reports 2020;10(1):14315.
DOI: 10.1038/s41598-020-71080-0
22. Nhat To M.N.N., Vu D.Q., Turkbey B. et al. Deep dense multi-path neural network for prostate segmentation in magnetic resonance imaging. Int J Comput Assist Radiol Surg 2018;13(11):1687-96. DOI: 10.1007/s11548-018-1841-4
23. Zhu Q., Du B., Yan P. Boundary-weighted domain adaptive neural network for prostate MR image segmentation HHS public access. IEEE Trans Med Imaging 2020;39(3):753-63. DOI: 10.1109/ TMI.2019.2935018
24. Zhu Y., Wei R., Gao G. et al. Fully automatic segmentation on prostate MR images based on cascaded fully convolution network. J Magn Reson Imaging 2019;49(4):1149-56. DOI: 10.1002/jmri.26337
25. Meyer A., Chlebus G., Rak M. et al. Anisotropic 3D multi-stream CNN for accurate prostate segmentation from multi-planar MRI. Comput Methods Programs Biomed 2021;200:105821.
DOI: 10.1016/j.cmpb.2020.105821
26. Geng L., Wang J., Xiao Z. et al. Encoder-decoder with dense dilated spatial pyramid pooling for prostate MR images segmentation.
Comput Assist Surg 2019;24(sup2):13-9. DOI: 10.1080/24699322.2019.1649069
27. Chen J., Wan Z., Zhang J. et al. Medical image segmentation and reconstruction of prostate tumor based on 3D AlexNet. Comput Methods Programs Biomed 2021;200:105878. DOI: 10.1016/j.cmpb.2020.105878
28. Yan L., Liu D., Xiang Q. et al. PSP net-based automatic segmentation network model for prostate magnetic resonance imaging. Comput Methods Programs Biomed 2021;207:106211. DOI: 10.1016/j.cmpb.2021.106211
29. Khan S., Vohra S., Farnan L. et al. Using health insurance claims data to assess long-term disease progression in a prostate cancer cohort. Prostate 2022;82(15):1447-55. DOI: 10.1002/pros.24418
30. Toth R., Madabhushi A. Multifeature landmark-free active appearance models: Application to prostate MRI segmentation. IEEE Trans Med Imaging 2012;31(8):1638-50.
DOI: 10.1109/TMI.2012.2201498
31. Qiu W., Yuan J., Ukwatta E. et al. Dual optimization based prostate zonal segmentation in 3D MR images. Med Image Anal 2014;18(4):660-73. DOI: 10.1016/j.media.2014.02.009
32. Ghose S., Mitra J., Oliver A. et al. A random forest based classification approach to prostate segmentation in MRI. In: MICCAI Gd. Chall. Prostate MR Image Segmentation, 2012. Pp. 125-128.
33. Rundo L., Militello C., Russo G. et al. Automated prostate gland segmentation based on an unsupervised fuzzy C-means clustering technique using multispectral T1w and T2w MR imaging.
Inf 2017;8(2):49. DOI: 10.3390/info8020049
34. Litjens G., Debats O., van de Ven W. et al. A pattern recognition approach to zonal segmentation of the prostate on MRI. Med Image Comput Comput Assist Interv 2012;15(Pt 2):413-20. DOI: 10.1007/978-3-642-33418-4_51
35. Jin J., Zhang L., Leng E. et al. Bayesian spatial models for voxel-wise prostate cancer classification using multi-parametric magnetic resonance imaging data. Stat Med 2022;41(3):483-99.
DOI: 10.1002/sim.9245
36. Sharma N., Ray A.K., Shukla K.K. et al. Automated medical image segmentation techniques. J Med Phys 2010;35(1):3-14.
DOI: 10.4103/0971-6203.58777
37. Chen D., Liu S., Kingsbury P. et al. Deep learning and alternative learning strategies for retrospective real-world clinical data. NPJ Digit Med 2019;2:43. DOI: 10.1038/s41746-019-0122-0
38. Bura V., Caglic I., Snoj Z. et al. MRI features of the normal prostatic peripheral zone: the relationship between age and signal heterogeneity on T2WI, DWI, and DCE sequences. Eur Radiol 2021;31(7):4908-17. DOI: 10.1007/s00330-020-07545-7
со cv
JN
cv
CS
Вклад авторов
А.Э. Талышинский: автор идеи, сбор данных литературы, написание текста статьи;
Б.Г. Гулиев, И.Г. Камышанская: автор идеи, сбор данных литературы, редактирование текста статьи;
А.И. Новиков: автор идеи, редактирование текста статьи;
У. Жанбырбекулы: сбор данных литературы, редактирование текста статьи;
А.Э. Мамедов, И.А. Поваго, А.А. Андриянов: сбор данных литературы, написание текста статьи. Authors' contributions
A.E. Talyshinskii: study idea, literature data accumulation, article writing;
B.G. Guliev, I.G. Kamyshanskaya: study idea, literature data accumulation, article editing; A.I. Novikiv: study idea, article editing;
U. Zhanbyrbekyly: literature data accumulation, article editing;
A.E. Mamedov, I.A. Povago, A.A. Andriyanov: literature data accumulation, article writing.
U
u
со cv
ORCID авторов / ORCID of authors
А.Э. Талышинский / A.E. Talyshinskii: https://orcid.org/0000-0002-3521-8937 Б.Г. Гулиев / B.G. Guliev: https://orcid.org/0000-0002-2359-6973 У. Жанбырбекулы / U. Zhanbyrbekuly: https://orcid.org/0000-0003-1849-6924 А.Э. Мамедов / A.E. Mamedov: https://orcid.org/0000-0002-6800-4505 И.А. Поваго / I.A. Povago: https://orcid.org/0000-0002-3145-0245 А.А. Андриянов / A.A. Andriyanov: https://orcid.org/0000-0001-6905-0581
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов. Conflict of interest. The authors declare no conflict of interest.
Финансирование. Работа выполнена без спонсорской поддержки. Funding. The work was performed without external funding.
CO
cv
JN
cv
CS
u <
u
CO
cv
Статья поступила: 03.12.2022. Принята к публикации: 14.04.2023. Article submitted: 03.12.2022. Accepted for publication: 14.04.2023.
