CC BY
82УДК 618.19-006.6-073.75:004.89 Check for updates
https://doi.org/10.47093/2218-7332.2020.11.3.4-14
(cc)
BY 4.0
Сегментационная модель скрининга рака молочной железы на основе нейросетевого анализа рентгеновских изображений
Н.И. Рожкова1, П.Г. Ройтберг2, А.А. Варфоломеева2, М.Л. Мазо1, А.Н. Добренький2, Д.С. Блинов2,н, Е.В. Сушков3, О.Н. Дерябина4, А.И. Соколов5
1 Национальный центр онкологии репродуктивных органов Московского научного исследовательского онкологического института им. П.А. Герцена — филиала ФГБУ «Национальный медицинский исследовательский центр радиологии» Минздрава России
ул. Погодинская, д. 6, г. Москва, 119121, Россия 2 ООО «КэреМенторЭйАй», отдел научных исследований и разработок 2-й Тверской-Ямской пер., д. 10, г. Москва, 125047, Россия 3ГБУЗ города Москвы «Городская клиническая больница № 40 Департамента здравоохранения города Москвы», Центр амбулаторной онкологии ул. Касаткина, д. 7, г. Москва, 129301, Россия 4 ФГБОУ ВО «Национальный исследовательский Мордовский государственный университет им. Н.П. Огарева»
ул. Большевистская, д. 68, г. Саранск, 430005, Россия 5 ФГБОУ ВО «Пензенский государственный университет» ул. Красная, д. 40, г. Пенза, 440026, Россия
Аннотация
Повышение диагностической эффективности скрининга рака молочной железы (РМЖ) остается одной из наиболее актуальных проблем в онкологии и лучевой диагностике. Технологии искусственного интеллекта широко используются в клинической медицине для эффективного решения ряда технологических и диагностических задач. Цель. Разработать и изучить диагностическую эффективность сегментационной нейросетевой модели детекции патологических изменений молочных желез на цифровых рентгеновских снимках.
Материалы и методы. Интеллектуальная система была разработана для описания маммографических исследований и включала в себя сегментационную нейронную сеть с архитектурой U-Net, классификационную нейронную архитектуру ResNet50 с выводом результата при помощи градиентного бустинга. Для обучения, определения диагностической точности и валидации разрабатываемой сегментационной диагностической модели использовали 15 486 рентгеновских исследований, размеченных в специально разработанной программной среде LabelCMAITech. Точность сегментации определяли по коэффициенту сходства, вероятность злокачественности находок вычисляли с помощью метрик бинарной классификации.
Результаты. Разработана система, представленная сегментационной моделью на основе нейросетевой архитектуры. Модель позволяет с высокой точностью 0,8176 и выше при пороговых значениях на выходных нейронах сети 0,1 и 0,15 локализовать рентгенологические находки, имеющие диагностическое значение для определения вероятности наличия признаков РМЖ в рентгеновском маммографическом исследовании: образования, локальную перестройку структуры, локальную асимметрию, кальцинаты. При сравнении результатов машинной сегментации и разметки изображений рентгенологом установлено, что модель не уступает врачу в точности определения образований, внеочаговых кальцинатов и внутрижелезистых лимфатических узлов.
Заключение. Результаты изучения эффективности работы системы позволяют рассматривать ее в качестве интеллектуального диагностического ассистента врача-рентгенолога при анализе скрининговых маммографических исследований.
Ключевые слова: рак молочной железы, скрининг, искусственные нейронные сети, диагностические находки,
сегментация
Рубрики MeSH:
ЧЕЛОВЕК
ЖЕНСКИЙ
МОЛОЧНОЙ ЖЕЛЕЗЫ НОВООБРАЗОВАНИЯ - ДИАГНОСТИЧЕСКОЕ ИЗОБРАЖЕНИЕ МАММОГРАФИЯ - МЕТОДЫ
РЕНТГЕНОВСКОГО ИЗОБРАЖЕНИЯ ИНТЕРПРЕТАЦИЯ КОМПЬЮТЕРНАЯ НЕЙРОННЫЕ СЕТИ (КОМПЬЮТЕР)
Для цитирования: Рожкова Н.И., Ройтберг П.Г., Варфоломеева А.А., Мазо М.Л., Добренький А.Н., Блинов Д.С., Суш-ков Е.В., Дерябина О.Н., Соколов А.И. Сегментационная модель скрининга рака молочной железы на основе ней-росетевого анализа рентгеновских изображений. Сеченовский вестник. 2020; 11(3): 4-14. https://doi.org/10.47093/2218-7332.2020.11.3.4-14
КОНТАКТНАЯ ИНФОРМАЦИЯ:
Блинов Дмитрий Сергеевич, д-р мед. наук, ООО «КэреМенторЭйАй», руководитель отдела научных исследований и разработок Адрес: 2-й Тверской-Ямской пер., д. 10, г Москва, 125047, Россия Тел.: +7 (927) 197-14-22 E-mail: [email protected]
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов. Финансирование. Исследование не имело спонсорской поддержки (собственные ресурсы).
Статья поступила в редакцию: 02.09.2020 Статья принята к печати: 27.10.2020 Дата публикации: 25.11.2020
Neural network-based segmentation model for breast cancer X-ray screening
Nadezhda I. Rozhkova1, Pavel G. Roitberg2, Anna A. Varfolomeeva2, Mikhail M. Mazo1, Anton N. Dobrenkii2, Dmitry S. Blinov2,H, Evgenii V. Sushkov3, Olga N. Deryabina4, Aleksei I. Sokolov5
1 National Medical Research Radiological Center of the Ministry of Health of the Russian Federation
6, Pogodinskaya str., Moscow, 119121, Russia 2 Care Mentor AI, Research and Development Department 10, 2nd Tverskoy-Yamskoy Lane, Moscow, 125047, Russia 3 Moscow State Clinical Hospital No. 40, Department of Oncology 7, Kasatkina str., Moscow, 129301, Russia 4 Ogarev Mordovia State University 68, Bolshevistskaya str., Saransk, 430005, Russia 5Penza State University 40, Krasnaya str., Penza, 440026, Russia
Abstract
Diagnostic efficiency of breast cancer screening remains one of the most important issues in oncology and radiology. Artificial intelligence technologies are widely used in clinical medicine to effectively solve a number of technological and diagnostic problems.
The aim. To develop segmentation neural network model for breast plain radiographs analysis with subsequent study of its clinical effectiveness.
Materials and methods. The artificial intelligence-based system was developed to analyze X-ray mammography, аnd included a segmentation neural network with the U-Net architecture, a classification neural architecture ResNet50 with out-putting the result using gradient boosting. 15486 X-ray cases were used for training, estimation of diagnostic accuracy and validation of the developed segmental model. All cases were labeled in specially developed software environment Label-CMAITech. The segmentation accuracy was determined by Intersection over Union (loU) similarity coefficient, the probability of malignancy was calculated using the binary classification metrics.
Results. The developed system is represented by a segmentation model based on neural network architecture. The model allows, with high accuracy of 0.8176 and higher, at threshold values on the output neurons of the network of 0.1 and 0.15, to localize X-ray findings that have diagnostic value for determining the likelihood of the presence of breast cancer signs in an X-ray mammographic study — focus, architecture distortion, local asymmetry, calcifications. When comparing the results of
machine segmentation and marking of images by a radiologist, it was found that the model is not inferior to the doctor in the accuracy of determining the formations, extra-focal calcifications and intraglandular lymph nodes. Conclusion. The results of this study allow considering the model as an intelligent assistant to a radiologist in the analysis of screening mammographic cases.
Keywords: breast cancer, screening, artificial neural networks, diagnostic findings, segmentation
MeSH terms:
HUMAN
FEMALE
BREAST NEOPLASMS - DIAGNOSTIC IMAGING MAMMOGRAPHY - METHODS
RADIOGRAPHIC IMAGE INTERPRETATION, COMPUTER-ASSISTED NEURAL NETWORKS (COMPUTER)
For citation: Rozhkova N.I., Roitberg P.G., Varfolomeeva A.A. Mazo M.M., Dobrenkii A.N., Blinov D.S., Sushkov E.V., Deryabina O.N., Sokolov A.I. Neural network-based segmentation model for breast cancer X-ray screening.
Sechenov Medical Journal. 2020; 11(3): 4-14. https://doi.org/10.47093/2218-7332.2020.113.4-14
CONTACT INFORMATION:
Dmitry S. Blinov, Dr. of Sci. (Medicine), Head of Research and Development Department, Care Mentor AI Address: 10, 2nd Tverskoy-Yamskoy Lane, Moscow, 125047, Russia Tel.: +7 (927) 197-14-22 E-mail: [email protected]
Conflict of interests. The authors declare that there is no conflict of interests. Financial support. The study was not sponsored (own resources).
IoU — intersection over union, индекс сходства Rol — region of interest, регион интереса РМЖ — рак молочной железы
The article received: 02.09.2020
The article approved for publication: 27.10.2020
Date of publication: 25.11.2020
Список сокращений:
AUC ROC — area under receiver operating characteristic (ROC) curve, площадь под ROC-кривой
На протяжении последних десятилетий рак молочной железы (РМЖ) сохраняет лидирующие позиции в структуре онкологической заболеваемости и смертности женского населения развитых стран мира, в том числе и России [1]. По данным Всемирной организации здравоохранения (ВОЗ), ежегодно на планете диагностируется более 2,3 млн новых случаев заболевания [2]. Несмотря на значительные успехи современной фундаментальной онкологии и клинической медицины, революционные достижения в области иммунотерапии злокачественных новообразований, в 2018 году было зарегистрировано около 612 тыс. смертей от РМЖ во всем мире [3, 4].
Классическая рентгенография молочных желез в прямой и косой проекциях представляет собой один из наиболее информативных и экономически эффективных методов ранней диагностики заболевания, позволяющий выявлять подозрительные изменения
структуры органа на ранних — бессимптомных этапах развития и течения болезни [5]. При этом современные скрининговые стратегии РМЖ подразумевают применение данного метода лучевой диагностики на этапе оказания первичной медико-санитарной помощи женщинам, в том числе в рамках общенациональных профилактических программ [2]. В то же время подробный и точный анализ рентгенограмм, их корректная интерпретация требуют от врача-рентгенолога высокой профессиональной квалификации, широты общемедицинской и теоретической подготовки, плотного взаимодействия с клиницистами [6].
Прорывные достижения высоких технологий в медицине и лучевой диагностике сделали возможным применение методов машинного обучения для анализа и интерпретации диагностических изображений [5, 7]. На основе использования методов искусственного интеллекта, в частности глубоких сверточных нейронных сетей, наиболее оптимальных
для идентификации образов, уже был разработан ряд диагностических ассистентов, эффективность которых была подтверждена клинически [8-10]. В то же время разработка любых ассистирующих технологий требует участия высококвалифицированных специалистов на этапе как создания моделей, так и обучения. Например, создание эффективного и точного диагностического ассистента для интерпретации результатов рентгеновской маммографии сопряжено с необходимостью корректной, подробной и чрезвычайно точной сегментационной разметки диагностических изображений, нанесенной специалистом по лучевой диагностике.
Цель исследования: разработать и изучить диагностическую эффективность сегментационной ней-росетевой модели детекции патологических изменений молочных желез на цифровых рентгеновских снимках.
МАТЕРИАЛЫ И МЕТОДЫ
Настоящее исследование проведено в соответствии с протоколом, прошедшим этическую экспертизу и утвержденным на заседании Ученого совета МНИОИ им. П.А. Герцена от 27.01.2020 (протокол № 2).
Для обучения, определения диагностической точности и валидации разрабатываемой сегмента-ционной диагностической модели использовали 15 486 рентгеновских исследований, состоящих из изображений обеих молочных желез в двух проекциях (прямой и косой) с обезличенными персональными данными. Из архивов Национального центра онкологии репродуктивных органов МНИОИ им. П.А. Герцена получено 1786 исследований, из Центра амбулаторной онкологической помощи ГБУЗ г. Москвы ГКБ № 40 ДЗМ — 13 700.
Распределение исследований по группам в соответствии со шкалой Ы-КЛОБ [11] представлено на рисунке 1. Отнесение всего исследования к тому или иному классу осуществлялось по максимально установленному классу для одной или обеих (при совпадении классов) молочных желез.
Для целей обучения, валидации и тестирования весь массив исследований при помощи генератора случайных чисел был случайным образом разделен в соотношении 0,6:0,15:0,25 соответственно. Обучающая часть использовалась для обучения методу, валидационная — для проверки его качества во время обучения, а тестовая — для проверки качества обученной искусственной нейронной сети, при этом из 6194 тестовых и валидационных исследований 456 (7,4%) кейсов были с гистологически подтвержденной нормой или образованием доброкачественной или злокачественной природы. На валидационных и тестовых исследованиях модель обучение не проходила.
Средний возраст пациенток, чьи рентгенограммы составили обучающую совокупность
изображений, равнялся 54,7 ± 3,4 года; лиц без признаков опухолевого процесса — 47,6 ± 2,7 года. Возраст пациенток с рентгенологическими признаками новообразования составил 68,2 ± 4,8 года, что соответствует среднему возрасту диагностики РМЖ в России и мире [1-4].
Все маммографические исследования были размечены опытными рентгенологами, соответствующими следующим требованиям: общий стаж работы в лучевой диагностике не менее 10 лет с опытом анализа рентгеновских маммограмм не менее 5 лет.
Разметка изображений осуществлялась в специально разработанной программной среде ЬаЬе1-СМЛ1ТесЬ (ООО «КэреМенторЭйАй», Россия), позволяющей создавать личные кабинеты специалистов и передавать размеченные данные для обучения или валидации нейросетевой модели.
Каждое диагностическое исследование размечалось независимо двумя специалистами; в случае расхождения в заключении кейс автоматически передавался для анализа эксперту, научному сотруднику МНИОИ им. П.А. Герцена, для чего в разметчике была реализована функция экспертного кабинета. Мнение эксперта принималось за итоговое.
Сегментационная нейросетевая система была разработана для описания маммографических исследований и включала в себя:
1) определение плотности железы;
2) определение наличия асимметрии (тотальной и локальной);
3) сегментацию (локализацию) очаговой перестройки структуры органа;
4) сегментацию (локализацию) интрамаммарных лимфатических узлов;
5) определение образований и/или кальцинатов;
BI-RADS 0 BI-RADS 1 BI-RADS 2 BI-RADS 3 BI-RADS 4-5
РИС. 1. Распределение результатов 15 486 маммографических исследований по классам в соответствии со шкалой BI-RADS.
FIG. 1. Distribution of the results of mammography studies (n = 15,486) by categories in accordance with the BI-RADS score.
6) сегментацию (локализацию) образований и внео-
чаговых кальцинатов.
Сегментация очаговых образований молочной железы также включала определение вида образования по следующим признакам:
а) форма — правильная/неправильная;
б) контуры — четкие/нечеткие;
в) структура — однородная/неоднородная.
На основании аналитической оценки весов всех предыдущих пунктов происходило определение класса по BI-RADS.
Предложенный метод состоял из трех основных этапов, первые два изображены на рисунке 2. На первом этапе определялась плотность железы и оценивалась асимметрия; на втором — проводилась сегментация образований, кальцинатов и локальных изменений структуры железы с помощью полностью сверточной нейронной сети (convolutional neural network, CNN). На третьем этапе использовались результаты работы первых двух, и на их основании определялся класс по BI-RADS для данного исследования.
На первом этапе разработанного алгоритма происходило определение глобальных характеристик исследования: плотности железы и наличия ее асим-
метрии. Для этого с помощью сегментационной нейронной сети с архитектурой U-Net [12] определялись те части изображений, которые содержали ткани железы — регион интереса (region of interest, RoI). Для обучения сети использовалась бинарная функция кросс-энтропии, попиксельно вычисляемая с различными весами для каждого класса, как в уравнении (1):
£ = -5>y(y*log(p) + (i-y)*log(i-p)),(i)
ij
где p — прогнозируемая вероятность класса, y — истинный класс (0 или 1) и w — матрица весов.
Далее, используя полученные RoI исходных изображений, с помощью классификационной нейронной сети с архитектурой ResNet50 [13] определялась плотность железы на каждой проекции. Также, подавая на вход пары изображений (косые и прямые проекции попарно), определялось наличие асимметрии.
Второй этап метода отвечал за локализацию (сегментацию) и определение характеристик локальных изменений (пункты 3-6 из списка выше). В первую очередь для решения данной задачи потребовалось предварительно обработать сегментацию очагов, используемую как истинную для нашего обучающего
* Варианты улучшения
РИС. 2. Схема построения сегментационной модели с использованием архитектуры U-Net [12] (пояснение в тексте). ПМЖ — правая молочная железа, ЛМЖ — левая молочная железа.
FIG. 2. U-Net-based segmentation model workflow [12] (explanation in the text). ПМЖ — right breast, ЛМЖ — left breast.
набора данных. Часть разметок была выполнена таким образом, что один сегмент содержал несколько близко расположенных образований/кальцинатов (сегмент первого типа), а другая часть — когда каждый сегмент содержал ровно одно образование/каль-цинат и его границы совпадали с границами образования (сегмент второго типа).
Предобработка выполнялась над сегментами первого типа, которые с помощью метода бинарной классификации были разделены на сегменты, содержащие и очерчивающие ровно одно образование.
Для определения вида образований каждому виду был присвоен свой класс для сегментации. Таким образом, каждый класс отвечал за локализацию определенных образований, например с нечеткими контурами, а при сложении всех классов вместе получалась маска расположения всех образований, при их наличии.
Полученная таким образом разметка использовалась для обучения нейронной сети с архитектурой U-Net, сегментирующей образования, обучение которой проводилось аналогично тому, как описано выше.
Получив все результаты предыдущих двух этапов для исследования, определяли класс исследования по BI-RADS. Для этого использовался алгоритм градиентного бустинга [14], на вход которого подавались результаты первого этапа и максимальные значения каждой полученной маски со второго этапа. Во время обучения алгоритма на его выход подавались истинные значения класса BI-RADS для каждого исследования, полученные от рентгенологов и подтвержденные морфологически.
Статистический анализ
Диагностическая точность модели определялась на основании вычислений следующих показателей: точность, специфичность, чувствительность и площадь под ROC-кривой (area under receiver operating characteristic curve, AUC ROC) при применении бинарной классификации к ответу нейронной сети в виде вероятности наличия/отсутствия признаков
злокачественного новообразования в анализируемом исследовании. Точность сегментации определялась по индексу сходства (Intersection over Union, IoU) между локализацией изменений моделью и истинной разметкой. Различия между полученными и истинными значениями определяли с использованием одномерного дисперсионного анализа и последующего применения ¿-критерия для независимых выборок. При проверке нулевых гипотез критическое значение уровня статистической значимости принималось равным 0,05 [15].
РЕЗУЛЬТАТЫ
При проведении оценки точности сегментации разработанной модели рассчитали коэффициенты соответствия локализации патологической находки на паре диагностических изображений (рентгенограмма правой или левой молочной железы в прямой и косой проекциях) (табл., рис. 3). Анализировались значения индекса IoU независимо для отсегментированных нейросетевой моделью образований (от 0,5 см в диаметре и выше), внеочаговых кальцинатов, внутрижелезистых лимфатических узлов и локальной перестройки структуры (табл.). Сравнивали значения, полученные для нейронной сети, с показателями точности врача-рентгенолога, не принимавшего участия в разметке изображения. За истинное значение (1,0) принимали заключение эксперта по каждому исследованию.
Как хорошо видно, для всех типов диагностических находок коэффициент сходства ней-росетевой модели принимал значения выше 0,8, что отвечает общим требованиям к точности сегментации [16]. При этом необходимо обратить внимание на то, что точность нахождения локальной перестройки структуры железы, определенная для ней-росетевого алгоритма, уступала точности практикующего рентгенолога.
Важным вопросом, связанным с оценкой аналитической точности систем компьютерного зрения в лучевой диагностике, является нейросетевая
Таблица. Сравнительная точность локализации патологических находок, отсегментированных нейросетевой моделью и врачом-рентгенологом Table. Comparative localizing of pathological findings segmented by the AI-based model and the radiologist
Патологическая находка Число исследований Коэффициент сходства (IoU) модель врач
Образование 257 0,86 ± 0,03 0,92 ± 0,04
Внеочаговые кальцинаты 317 0,89 ± 0,04 0,96 ± 0,03
Локальная перестройка структуры 234 0,83 ± 0,03 0,94 ± 0,02*
Внутрижелезистый лимфатический узел 115 0,91 ± 0,02 0,90 ± 0,05
Примечание. * — различия при межгрупповом сравнении статистически значимы при р < 0,05 (одномерный дисперсионный анализ, ¿-критерий для независимых выборок).
Note. * — p < 0.05 for intergroup comparison (one-way dispersion analysis, independent i-test).
ПРАВАЯ МОЛОЧНАЯ ЖЕЛЕЗА
[Rm-ofl
a
б
РИС. 3. Пример сегментации патологических находок в правой и левой молочных железах пациентки 43 лет. Интеллектуальная система определяет находку, наносит маску (а) и выдает описание находки (б).
FIG. 3. An example of Al-assisted segmentation of pathological findings in the right and left breast of a 43-year-old female patient. The system detects a finding, draws a mask (а) and issues a report with the finding description (б).
Примечание. Желтым и синим нейронной сетью нанесены маски, соответствующие образованию злокачественной природы и локальной перестройке структуры соответственно. Приоритетная маска (желтая) соответствует злокачественному новообразованию.
Note. Al-based system marks malignant neoplasm and architecture distortion with yellow and light blue respectively. Yellow priority mask covers the malignancy.
оценка вероятности признаков злокачественного новообразования в исследовании. Для решения этой задачи на тестовом наборе рентгеновских маммограмм с гистологически подтвержденной природой патологического образования провели расчет метрик точности разработанного алгоритма Следует отметить, что ответы модели с заключением по BI-RADS в диапазоне 1-2 принимались
за отсутствие признаков злокачественности, тогда как для заключений BI-RADS 3-5 вычислялись вероятности наличия признаков неоплазии на рентгенограммах. В ходе исследования устанавливали различные значения порога на выходных нейронах модели. Оптимальные показатели точности удалось получить при пороговых значениях 0,10 и 0,15 (рис. 4).
В рамках настоящего исследования было также разработано и реализовано функциональное интеграционное решение, позволяющее проводить изучение клинической эффективности нейросетевой модели в рамках научно-практической коллаборации нескольких исследовательских и производственных центров. Схема решения представлена на рисунке 5. При реализации представленной интеграционной схемы исследователь (пользователь) оперирует с диагностическими изображениями, содержащимися в PACS (Picture Archiving and Communication System, система архивации и передачи изображений), при этом в нейронную сеть посредством облачного решения CMAI Cloud (ООО «КэреМенторЭйАй», Россия) отправляются для анализа изображения с обезличенными персональными данными. Как хорошо видно на схеме, на этапе сопоставления диагностической точности врача-рентгенолога и ней-росетевой модели реализована экспертная функция исследовательской организации.
ОБСУЖДЕНИЕ
Стремительное развитие цифровых технологий в лучевой диагностике охватывает самые разные процессы: получение лучевых изображений, их пре- и постпроцессинг. Вместе с тем наиболее сложной областью для цифровизации представляется анализ медицинских изображений и их интерпретация. Большое теоретическое и практическое значение имеет разработка систем для анализа результатов лучевого скрининга РМЖ. Оно определяется как распространенностью заболевания в популяции, так и невысокой эффективностью существующих программ раннего выявления заболевания.
Оставляя за скобками этические и правовые вопросы принятия диагностического решения без участия человека, следует сказать, что на сегодня достигнут большой прогресс в идентификации патологических находок на лучевых изображениях молочных желез и их последующей диагностической интерпретации с использованием технологий искусственного интеллекта. Так, в недавнем исследовании T. Schaffter и соавт. [17] было показано, что использование алгоритмов искусственного интеллекта для оценки скрининговых рентгеновских маммограмм уступает по точности опытным рентгенологам, но при этом применение нейросе-тевого ассистента в чтении снимков врачом-специалистом повышает общую точность интерпретации. Опубликованные в текущем году в Nature результаты международного исследования [18], проведенного научным коллективом под руководством S.M. McKinney в США и Великобритании,
ROC AUC
0,0 0,2 0,4 0,6 0,8 1,0
Ложноположительные значения
Пороговое значение 0,10 Пороговое значение 0,15
Точность 0,8316 (0,7997-0,8639) 0,8176 (0,8022-0,8330)
Специфичность 0,8483 (0,8242-0,8725) 0,8534 (0,8329-0,8739)
Чувствительность 0,8651 (0,8430-0,8882) 0,8997 (0,8786-0,9208)
AUC ROC 0,9127 (0,8913-0,9341)
РИС. 4. Эффективность нейросетевой модели по определению вероятности признаков злокачественности находок в исследовании.
FIG. 4. The effectiveness of Al-based model in determining the likelihood of signs of malignancy in findings in the study.
Примечание. Объем тестового набора — 456 исследований, из них 286 — без патологических изменений, 77 — с морфологически подтвержденным РМЖ, 93 — с изменениями доброкачественной природы, подтвержденными морфологически.
Note. Test set includes 456 cases, of which 286 — without pathological changes, 77 — with morphologically confirmed breast cancer, 93 — with changes of a benign nature, confirmed morphologically.
продемонстрировали преимущества модели, созданной при помощи искусственного интеллекта, над врачом-рентгенологом как в производительности, так и в общей точности анализа скрининговых маммографических кейсов.
Разработанная нами система представляет собой отечественную сегментационную модель на основе нейросетевой архитектуры. Она позволяет с высокой точностью локализовать рентгенологические находки, имеющие диагностическое значение для определения вероятности наличия признаков РМЖ в рентгеновском маммографическом исследовании. Результаты изучения эффективности работы системы позволяют рассматривать ее в качестве интеллектуального диагностического ассистента врача-рентгенолога при анализе скрининговых маммографических исследований.
О
А
Врач
о
А
Аналитик / эксперт
РИС. 5. Схема интеграции сегментационной модели в рамках реализации исследовательской коллаборации (пояснение в тексте).
FIG. 5. Scheme of segmentation model integration within the framework of the research collaboration (explanation in the text).
Примечание. МИС — медицинская информационная система, PACS — Picture Archiving and Communication System, CMAI — производитель нейронной сети.
Note. MИС — Medical Information System; PACS — Picture Archiving and Communication System; CMAI — Care Mentor AI, the system manufacturer.
ЗАКЛЮЧЕНИЕ
Изученная нейросетевая модель производит сегментацию патологических находок на рентгенограммах молочных желез, имеющих диагностическое значение, и по своей точности не уступает врачу-рентгенологу.
ВКЛАД АВТОРОВ
Н.И. Рожкова руководила исследованием, анализировала результаты, участвовала в написании рукописи. П.Г. Ройтберг разрабатывал нейросетевую модель, анализировал результаты исследования, участвовал в написании рукописи. А.А. Варфоломеева и А.Н. Добренький разрабатывали нейросетевую модель, участвовали в получении первичных результатов и подготовке рукописи. М.Л. Мазо и Е.В. Сушков осуществляли подготовку диагностических исследований, разметку изображений, анализ результатов. Д.С. Блинов руководил исследованием, анализировал результаты, участвовал в подготовке графических материалов и написании рукописи. О.Н. Дерябина и А.И. Соколов осуществляли разметку изображений, статистический анализ результатов и подготовку рукописи. Все авторы утвердили окончательную версию публикации.
Разработанный метод по характеристикам точности, функциональности и эффективности может быть использован в виде диагностического ассистента врача-рентгенолога на этапе осуществления лучевого скрининга РМЖ.
AUTHOR CONTRIBUTIONS
Nadezhda I. Rozhkova led the study, analyzed the study results, and wrote the manuscript. Pavel G. Roitberg developed artificial neural network-based model, analyzed the study results, and wrote the manuscript. Anna A. Varfolomeeva and Anton N. Dobrenkii developed artificial neural network-based model, managed the primary data, and wrote the manuscript. Mikhail L. Mazo and Evgenii V. Sushkov prepared datasets, labeled medical images, and analyzed the results. Dmitry S. Blinov led the study, analyzed the study results, prepared figures, and wrote the manuscript. Olga N. Deryabina and Alexey I. Sokolov labeled medical images, did statistical processing of primary data, and wrote the manuscript. All authors approved the final version of the publication.
ЛИТЕРАТУРА / REFERENCES
1 Siegel R.L., Miller K.D., Jemal A. Cancer statistics, 2019. CA A Cancer J Clin. 2019; 69 (1): 7-34. https://doi.org/10.3322/ caac.21551 PMID: 30620402
2 Breast cancer. URL https://www.who.int/cancer/detection/breast-cancer/en (accessed 16.08.2020)
3 DeSantis C.E., Ma J., Gaudet M.M., et al. Breast cancer statistics, 2019. CA A Cancer J Clin. 2019; 69: 438-51. https://doi. org/10.3322/caac.21583 PMID: 31577379
4 Кушунина Д.В., Калинина А.М., Дроздова Л.Ю. Выявление рака молочной железы в рамках диспансеризации. Профилактическая медицина. 2019. 22(4): 37-42. http://dx.doi. org/10.17116/profmed20192204137
5 Li Y., Chen H., Cao L., Ma J. A survey of computer-aided detection of breast cancer with mammography. J Health Med Inf. 2016; 7: 238. https://doi.org/10.4172/2157-7420.1000238
6 Welch H.G., Passow H.J. Quantifying the benefits and harms of screening mammography. JAMA Intern Med. 2014; 174 (3): 44854. https://doi.org/10.1001/jamainternmed.2013.13635 PMID: 24380095
7 Curtis C., Frayne R., Fear E. Using X-Ray Mammograms to Assist in Microwave Breast Image Interpretation. Int. J. Biomed. Imag. 2012; 2012: 235380. https://doi.org/10.1155/2012/235380 PMID: 22536208
8 Abdelhafiz D., Yang C., Ammar R., et al. Deep convolutional neural networks for mammography: advances, challenges and applications. BMC Bioinformatics. 2019; 20 (11): 281. https://doi. org/10.1186/s12859-019-2823-4 PMID: 31167642
9 Смирнов А.А., Овсепьян А.Л., Бойко А.А. и др. Диагностика злокачественных опухолей области нижней челюсти с применением программного комплекса анализа и сегментации КТ-изображений с помощью сверточной нейронной сети. Оперативная хирургия и клиническая анатомия. Пироговский научный журнал. 2020; 4 (1): 32-40. https://doi.org/10.17116/ operhirurg2020401132
10 Nitris L., Zhukov E., Blinov D., et al. Advanced neural network solution for detection of lung pathology and foreign body on chest plain radiographs. Imaging in Medicine. 2019; 11: 57-66.
11 American College of Radiology. The ACR breast imaging reporting and data system (BI-RADS) [Electronic resource]. November 11, 2003. URL: https://www.acr.org/Clinical-Resources/ Reporting-and-Data-Systems/Bi-Rads (accessed 27.02.2020).
12 Ronneberger O., Fischer P., Brox T. U-Net: Convolutional networks for biomedical image segmentation. In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical image computing and computer-assisted intervention — MICCAI 2015. MICCAI 2015. Lecture notes in computer science, Springer, vol 9351: 23441. https://doi.org/10.1007/978-3-319-24574-4_28
13 He K., Zhang X., Ren S. Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016; 770-8. https://doi. org/10.1109/cvpr.2016.90
14 Natekin A., Knoll A. Gradient Boosting Machines, A Tutorial. Frontiers in Neurorobotics. 2013; 7: 21. https://doi.org/10.3389/ fnbot.2013.00021 PMID: 24409142
15 Wu J., Mahfouz M. R. Robust X-ray image segmentation by spectral clustering and active shape model. J Med. Imag. 2016; 3 (3): 034005. https://doi.org/10.1117/1.jmi.3.3.034005 PMID: 27660806
1 Siegel R.L., Miller K.D., Jemal A. Cancer statistics, 2019. CA A Cancer J Clin. 2019; 69 (1): 7-34. https://doi.org/10.3322/ caac.21551 PMID: 30620402
2 Breast cancer. URL https://www.who.int/cancer/detection/breast-cancer/en (accessed 16.08.2020)
3 DeSantis C.E., Ma J., Gaudet M.M., et al. Breast cancer statistics, 2019. CA A Cancer J Clin. 2019; 69: 438-51. https://doi. org/10.3322/caac.21583 PMID: 31577379
4 KushuninaD.V., KalininaA.M., DrozdovaL.Yu. Vyyavlenie raka molochnoi zhelezy v ramkakh dispanserizatsii [Breast cancer screening: regional practices]. The Russian Journal of Preventive Medicine. 2019. 22(4): 37-42 (In Russian). http://dx.doi. org/10.17116/profmed20192204137
5 Li Y., Chen H., Cao L., Ma J. A survey of computer-aided detection of breast cancer with mammography. J Health Med Inf. 2016; 7: 238. https://doi.org/10.4172/2157-7420.1000238
6 Welch H.G., Passow H.J. Quantifying the benefits and harms of screening mammography. JAMA Intern Med. 2014; 174 (3): 44854. https://doi.org/10.1001/jamainternmed.2013.13635 PMID: 24380095
7 Curtis C., Frayne R., Fear E. Using X-Ray Mammograms to Assist in Microwave Breast Image Interpretation. Int. J. Biomed. Imag. 2012; 2012: 235380. https://doi.org/10.1155/2012/235380 PMID: 22536208
8 Abdelhafiz D., Yang C., Ammar R., et al. Deep convolutional neural networks for mammography: advances, challenges and applications. BMC Bioinformatics. 2019; 20 (11): 281. https://doi. org/10.1186/s12859-019-2823-4 PMID: 31167642
9 Smirnov A.A., Ovsepyan A.L., Boyko A.A., et al. Diagnostika zlokachestvennykh opukholei oblasti nizhnei chelyusti s prime-neniem programmnogo kompleksa analiza i segmentatsii KT-izobrazhenil s pomoshch'yu svertochnoi neironnoi seti. [Diagnosis of malignant tumors of lower jaw using software package for analysis and segmentation of CT images with help of convolutional neural network]. Operativnaya khirurgiya i kliniches-kaya anatomiya. Pirogovskii nauchnyi zhurnal = Russian Journal of Operative Surgery and Clinical Anatomy. 2020; 4 (1): 32-40 (In Russian). https://doi.org/10.17116/operhirurg2020401132
10 Nitris L., Zhukov E., Blinov D., et al. Advanced neural network solution for detection of lung pathology and foreign body on chest plain radiographs. Imaging in Medicine. 2019; 11: 57-66.
11 American College of Radiology. The ACR breast imaging reporting and data system (BI-RADS) [Electronic resource]. November 11, 2003. URL: https://www.acr.org/Clinical-Resources/ Reporting-and-Data-Systems/Bi-Rads (accessed 27.02.2020).
12 Ronneberger O., Fischer P., Brox T. U-Net: Convolutional networks for biomedical image segmentation. In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical image computing and computer-assisted intervention — MICCAI 2015. MICCAI 2015. Lecture notes in computer science, Springer, vol 9351: 23441. https://doi.org/10.1007/978-3-319-24574-4_28
13 He K., Zhang X., Ren S. Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016; 770-8. https://doi. org/10.1109/cvpr.2016.90
14 Natekin A., Knoll A. Gradient Boosting Machines, A Tutorial. Frontiers in Neurorobotics. 2013; 7: 21. https://doi.org/10.3389/ fnbot.2013.00021 PMID: 24409142
15 Wu J., Mahfouz M. R. Robust X-ray image segmentation by spectral clustering and active shape model. J Med. Imag. 2016; 3 (3): 034005. https://doi.org/10.1117/1.jmi.3.3.034005 PMID: 27660806
16 LevandowskyM., WinterD. Distance between sets. Nature. 1971; 234: 34-35. https://doi.org/10.1038/234034a0
17 Schaffter T., BuistD.S.M., Lee C.I., et al. Evaluation of Combined Artificial Intelligence and Radiologist Assessment to Interpret Screening Mammograms. JAMA Netw Open. 2020; 3(3): e200265. https://doi.org/10.1001/jamanetworkopen.2020.0265
18 McKinney S.M., SieniekM., Godbole V, et al. International evaluation of an AI system for breast cancer screening. Nature. 2020; 577(7788): 89-94. https://doi.org/10.1038/s41586-019-1799-6
16 LevandowskyM., WinterD. Distance between sets. Nature. 1971; 234: 34-35. https://doi.org/10.1038/234034a0
17 Schaffter T., Buist D.S.M., Lee C.I., et al. Evaluation of Combined Artificial Intelligence and Radiologist Assessment to Interpret Screening Mammograms. JAMA Netw Open. 2020; 3(3): e200265. https://doi.org/10.1001/jamanetworkopen.2020.0265
18 McKinney S.M., SieniekM., Godbole V., et al. International evaluation of an AI system for breast cancer screening. Nature. 2020; 577(7788): 89-94. https://doi.org/10.1038/s41586-019-1799-6
ИНФОРМАЦИЯ ОБ АВТОРАХ / INFORMATION ABOUT THE AUTHORS
Рожкова Надежда Ивановна, д-р мед. наук, профессор, руководитель Национального центра онкологии репродуктивных органов МНИОИ им. П.А. Герцена — филиал ФГБУ НМИЦ радиологии Минздрава России. ORCID: https://orcid.org/0000-0003-0920-1549
Ройтберг Павел Григорьевич, канд. экон. наук, учредитель ООО «КэреМенторЭйАй». ORCID: https://orcid.org/0000-0002-9813-0385
Варфоломеева Анна Андреевна, специалист по машинному обучению ООО «КэреМенторЭйАй». ORCID: https://orcid.org/0000-0002-2038-2769
Мазо Михаил Львович, канд. мед. наук, старший научный сотрудник Национального центра онкологии репродуктивных органов МНИОИ им. П.А. Герцена — филиал ФГБУ НМИЦ радиологии Минздрава России. ORCID: https://orcid.org/0000-0002-1313-6420
Добренький Антон Николаевич, специалист по машинному обучению ООО «КэреМенторЭйАй». ORCID: https://orcid.org/0000-0002-2452-914X
Блинов Дмитрий Сергеевич^ д-р мед. наук, руководитель отдела научных исследований и разработок ООО «КэреМенторЭйАй». ORCID: https://orcid.org/0000-0002-8385-4356
Сушков Евгений Владимирович, заведующий отделением рентгенологии Центра амбулаторной онкологии ГБУЗ города Москвы «Городская клиническая больница № 40 Департамента здравоохранения города Москвы».
ORCID: https://orcid.org/0000-0003-3508-7284
Дерябина Ольга Николаевна, канд. мед. наук, доцент кафедры онкологии Медицинского института ФГБОУ ВО «Национальный исследовательский Мордовский государственный университет им. Н.П. Огарева».
ORCID: https://orcid.org/0000-0002-8814-3369
Соколов Алексей Ильясович, ассистент кафедры хирургии Медицинского института ФГБОУ ВО «Пензенский государственный университет». ORCID: https://orcid.org/0000-0001-7515-2314
Nadezhda I. Rozhkova, Dr. of Sci. (Medicine), Professor, Head of National Medical Research Radiological Center of the Ministry of Health of the Russian Federation.
ORCID: https://orcid.org/0000-0003-0920-1549
Pavel G. Roitberg, Cand. of Sci. (Economy), founder, Care Mentor AI.
ORCID: https://orcid.org/0000-0002-9813-0385
Anna A. Varfolomeeva, Data Scientist, Care Mentor AI.
ORCID: https://orcid.org/0000-0002-2038-2769
Mikhail L. Mazo, Cand. of Sci. (Medicine), Senior Researcher, National Medical Research Radiological Center of the Ministry of Health of the Russian Federation.
ORCID: https://orcid.org/0000-0002-1313-6420
Anton N. Dobrenkii, Data Scientist, Care Mentor AI.
ORCID: https://orcid.org/0000-0002-2452-914X
Dmitry S. BlinovH, Dr. of Sci. (Medicine), Head of Research and Development Department, Care Mentor AI.
ORCID: https://orcid.org/0000-0002-8385-4356
Evgenii V. Sushkov, Head of Radiology Unit, Oncology Department, Moscow State Clinical Hospital No. 40.
ORCID: https://orcid.org/0000-0003-3508-7284
Olga N. Deryabina, Cand. of Sci. (Medicine), Associate Professor, Oncology Department, Medical Institute, Ogarev Mordovia State University.
ORCID: https://orcid.org/0000-0002-8814-3369
Aleksei I. Sokolov, Assistant Professor, Surgery Department, Medical Institute, Penza State University.
ORCID: https://orcid.org/0000-0001-7515-2314
Автор, ответственный за переписку / Corresponding author
