CC BY
7
Метод сегментации солидного очагового образования молочной железы и его периферического компонента на ультразвуковых изображениях
Д.В. Пасынков ',2,3, А.А. Колчев 2, И.А. Егошин ',2, И.В. Клюшкин 4, О.О. Пасынкова1 1 Марийский государственный университет, 424000, Россия, г. Йошкар-Ола, пл. Ленина, д. 1; 2 Казанский (Приволжский) федеральный университет, 420008, Россия, г. Казань, ул. Кремлевская, д. 18;
3 Казанская государственная медицинская академия -
филиал федерального государственного бюджетного образовательного учреждения
дополнительного профессионального образования «Российская медицинская академия непрерывного профессионального образования» Министерства здравоохранения Российской Федерации, 420012, Россия, г. Казань, ул. Бутлерова, д. 36; 4 Казанский государственный медицинский университет, 420012, Россия, г. Казань, ул. Бутлерова, д. 49
Аннотация
В работе предлагается способ сегментации новообразований молочной железы и их периферического компонента на ультразвуковых изображениях. Отмечается, что определение пограничных структур поражения молочной железы служит важным шагом для дальнейшей классификации образования и напрямую влияет на окончательное определение характера образования. Основным отличием предлагаемого подхода является то, что при его реализации учитывались особенности перепада яркости пикселей исходного изображения, без использования фильтров спекл-шума. Работа методики протестирована на наборе ультразвуковых изображений морфологически верифицированных 42 доброкачественных и 49 злокачественных образований молочной железы, размеченных врачом-специалистом. Полученные результаты сегментации сравнивались с результатами ручной разметки врачом-специалистом в области ультразвуковой диагностики. Средние погрешности в выделении доброкачественного и злокачественного образования составили 5 пикселей для области самого образования и 7 пикселей для периферической области, что с учетом погрешности ручного выделения врачом-специалистом (3,95 и 4,7 пикселей соответственно) незначительно. А средние метрики «Пересечение над объединением» (IoU) составили 0,82 и 0,80 соответственно. Приведенные результаты эксперимента свидетельствуют о возможности использования разработанной технологии в комплексе с системой дифференцирования образования.
Ключевые слова: сегментация, контурирование опухоли, ультразвуковое изображение, обработка изображений.
Цитирование: Пасынков, Д.В. Метод сегментации солидного очагового образования молочной железы и его периферического компонента на ультразвуковых изображениях / Д.В. Пасынков, А.А. Колчев, И.А. Егошин, И.В. Клюшкин, О.О. Пасынкова // Компьютерная оптика. - 2023. - Т. 47, № 3. - С. 407-414. - DOI: 10.18287/2412-6179-CO-1234.
Citation: Pasynkov DV, Kolchev AA, Egoshin IA, Klioushkin IV, Pasynkova OO. An approach to segmentation of a solid focal lesion in breast and its peripheral areas in ultrasound images. Computer Optics 2023; 47(3): 407-414. DOI: 10.18287/2412-6179-CO-1234.
Введение
Рак молочной железы (РМЖ) является значительной общемировой проблемой, занимая, по данным 2020 года, первое место в структуре онкологической заболеваемости для представителей обоего пола (11,7 % среди всех злокачественных опухолей) и будучи причиной 6,9 % всех летальных исходов, обусловленных злокачественными опухолями [1]. В Российской Федерации распространенность РМЖ выросла с 366,8 на 100 000 населения в 2011 году до 509,2 на 100 000 населения в 2021 году [2].
Основным методом массового выявления РМЖ является маммография, однако, несмотря на высокую чувствительность, данный метод характеризуется
сравнительно невысокой специфичностью, в результате дифференциальная диагностика выявленных изменений обычно ложится на другие методы исследования, основным из которых является ультразвуковое (УЗ) исследование [3].
УЗ-изображение опухоли молочной железы (МЖ) составное и может быть разделено на гипоэхогенный центральный и изо- или гиперэхогенный периферический компоненты. Первый соответствует опухолевой ткани, которая, в свою очередь, обычно содержит большое количество фиброзной ткани. Эта твердая ткань значительно увеличивает жесткость центрального компонента опухоли и во многих случаях вызывает акустическую тень из-за значительного затухания ультразвука. В результате в большинстве случаев
невозможно получить достоверную информацию о центральном компоненте, необходимую для количественного анализа [4].
С другой стороны, периферическая часть опухоли содержит, помимо опухолевых клеток, компоненты как десмопластической реакции, так и воспалительной инфильтрации, формирующие перифокальный ободок различной эхогенности и ширины. Эта область существенно не ослабляет ультразвук и поэтому может использоваться для количественного анализа. Напротив, доброкачественные опухоли молочной железы обычно не имеют такого периферического компонента, или он имеет меньшую ширину и более высокую гомогенность [5]. Поэтому при решении задачи классификации представляется обязательным определение периферического компонента образования МЖ. Некоторые авторы уже оценивали область, расположенную снаружи видимой гипоэхогенной части образования, и показали, что оценка этой области может повысить надежность классификации. Однако в качестве внешней зоны использовали определенное фиксированное расстояние от видимой границы (5 мм [6], 40 % размера гипоэхогенного очага [7] или 20 пикселей [8]). В то же время область фиксированной ширины может неправильно отображать ткани вокруг очага и включать некоторые области, не относящиеся к образованию.
Следовательно, правильная сегментация служит важным шагом для дальнейшей классификации образования и напрямую влияет на окончательное определение характера поражения. Существующие методы сегментации можно разделить на классические и методы на основе машинного обучения. Три наиболее популярных классических подхода: определение порога [9 - 10], алгоритм роста области (region growing) [11] и алгоритм водораздела (watershed) [12 - 14].
Основным недостатком таких подходов является использование процедуры предварительной обработки для изображений с большим количеством локальных минимумов (со сложной текстурой).
Популярными методами на основе машинного обучения являются: алгоритмы кластеризации [15], метод опорных векторов (SVM) [16], глубокое обучение [17 - 18]. Алгоритмы кластеризации чувствительны к их инициализации, что подразумевает наличие априорных знаний об изображении. Также они могут потребовать фиксированного порога для определения областей опухоли, что может дать грубые результаты контурирования.
SVM для сегментации опухоли МЖ зависит от заданных текстурных или геометрических характеристик объектов, обучающей выборки и может потребовать подходов предварительной обработки для разделения изображений и подходов постобработки для уточнения результатов.
Модели глубокого обучения на сегодняшний день оказались лучшим способом сегментации изображе-
ний. Однако они сталкиваются с некоторыми серьезными проблемами, которые тормозят их дальнейшее развитие. Например, результат прогнозирования может быть недостаточно устойчив из-за уровня обобщения модели. Устойчивость - это основная метрика производительности, определяющая, можно ли широко использовать обученную модель. Кроме того, сама модель необъяснима, а обучающих данных недостаточно.
Авторами статьи ранее была предпринята попытка сегментации образования на основе автоматизированного расчета параметров сигмоидного фильтра в зависимости от характеристик функции распределения отсчетов яркости исследуемого изображения [19], но данный подход показывал неудовлетворительные результаты при изоэхогенных образованиях и не был рассчитан на сегментацию внешней периферической области.
Поэтому решаемой задачей является разработка алгоритма сегментирования как самого образования МЖ, так и его периферического компонента на УЗ-изображениях без предварительной обработки данных изображений.
1. Материалы и методы
1.1. Материалы
Для тестирования предложенной методики использовались данные, полученные с помощью следующих УЗ-систем: Medison SA8000SE, Siemens X150, Esaote MyLab C. Эти системы позволяют получить оцифрованные 8-битные УЗ-изображения МЖ с выявленными новообразованиями на них (см. рис. 1а).
Рис. 1. Оцифрованное 8-битное УЗ-изображение образования молочной железы (а), лучи, проведенные из центра образования (б)
Учитывая значимость периферического компонента образования МЖ, рассматривается методика сегментации не только самого образования, но также части изображения, прилегающей к нему, то есть внешней окрестности образования, имеющей, как правило, отличительные текстурные признаки.
1.2. Локализация
Чаще всего на первом этапе сегментирования контура образования необходимо предварительно локализовать само образование относительно всего УЗ-изображения, т.е. выделить область интереса. На данный момент существует множество методов и подходов для решения данной задачи.
Drukker и др. [20] использовали методику на основе индекса радиального градиента, Ikedo и др. [21] предложили функцию, основанную на направлениях краев в каждом срезе, и метод вычитания между срезами, где для поиска края применялся детектор Канни.
Yap и др. [9] использовали метод, основанный на мультифрактальной обработке и пороговой сегментации с предварительным гистограммным выравниванием.
Pons и др. [22] представили компьютеризированную систему обнаружения для УЗ-изображений МЖ с использованием моделей деформируемых частей (DPM).
Также в последнее время в биомедицинском анализе изображений приобрело популярность глубокое обучение [23 - 24]. В работе [25] был рассмотрен одноступенчатый детектор Faster-RCNN и Inception-ResNet-v2 для локализации образования на УЗ-изображениях.
Учитывая большое разнообразие существующих методик локализации с достаточной точностью, в данной работе рассматривается только подход к сегментированию контура образования и его внешней части, т.е. подразумевается, что предварительная локализация будет осуществляться вручную.
1.3. Сегментация
Основным отличием предлагаемого подхода является то, что при его реализации учитывались особенности перепада яркости пикселей исходного изображения, без использования фильтров спекл-шума на УЗ-изображениях [26], которые могут искажать контур самого образования.
На первом шаге оператором определялся центр образования на УЗ-изображении (точка A на рис. 16). Далее автоматически от точки A по всей окружности образования проводились лучи в 360° с шагом в 0,5°. Таким образом, всего было проведено T = 720 лучей.
По пикселям, находящимся на лучах (см. рис. 2а), рассчитывался перепад их яркости одномерным скользящим окном заданного размера (рис. 26):
АР'=£ p+у -£ Р-
j=i J=I
i = S,.., N - S,
(1)
где N - количество пикселей на луче, = Р (х,, у) -яркость пикселя, соответствующая координатам х, и у г изображения на луче, - размер скользящего окна.
Р
100
80 60 40 20
а) ,' | д 1\шЩ № If'tyrffi
\ Д/1 1 А- V ЫйД/ W А - г \А ШЩ
Рис. 2. Значения яркости пикселей Р, лежащих на лучах (а), графики перепада яркости пикселей АР, лежащих на лучах (б) (разные типы линии графиков соответствуют разным лучам)
Вследствие того, что разрешение УЗ-изображений невелико и зачастую не изменяется после установки и отладки ультразвукового сканера, размер скользящего окна 5 был взят за константу и подобран вручную (5 = 15 пикселей) таким образом, чтобы достигался наиболее оптимальный перепад яркости на лучах.
Наименьший ш/п(ДР,) и наибольший шах(АР,) перепады яркости (экстремумы) соответствовали примерным границам необходимой области для сегментирования.
Перенеся координаты экстремумов перепада яркости на исходное изображение, получаем примерные границы (см. рис. 3).
Далее полученные границы области подвергалась последующей коррекции путем фильтрации их точки: если эвклидово расстояние между точками границы области и точками их линии регрессии, лежащими на одном луче, больше порога, то такая точка заменялась интерполированной, где порог рассчитывался по методу Ниблэка [27].
Для реализации данного подхода весь массив из Т = 720 точек (х,-, у) границы образования разбивался на и подмассивов размером М = 180 точек с помощью метода скользящего окна размером Ж = 10 точек. А для обеспечения замкнутости контура в конец массива из Т точек перед его разбиением дописывались его первые Мо = 180 точек: Т* = Т+Мо. Далее к каждому подмассиву иеТ 'применяется следующая методика.
Пусть X = XI,х2, .., хш - подмассив х координат точек контура образования, а У=у1,у2, ..,уш - подмассив у координат точек контура образования, где шеМ, тогда Я=т\, г2, .., гш и Ф=ф1, ф2, .., фш - их представление в полярной системе координат, где Г) = , ф=агс^ (у /хД ) =1, .., М, а ха, ул - координаты центра образования (точка А), выделенного оператором на начальном этапе обработки.
Рис. 3. Точки, соответствующие точкам экстремума
перепада яркости на лучах: максимум - для контура образования (а), минимум - для внешней области образования (б)
Уравнение кубической регрессии для полярной системы координат примет вид:
¥] = а3ф3 + а2ф2 + ахф] + а0, (2)
где ао, а1, а2, аз - коэффициенты кубической регрессии.
Так как данный подход применяется со скользящим окном Ж по всему дополненному массиву Т *, это уменьшает отклонения (ошибки) значений функции кубической регрессии г, соответствующие началу и концу подмассива и, за счет усреднения полученных значений - ¥]сат.. На рис. 4 сплошной белой линией отображена усредненная кубическая регрессия для точек экстремума перепада яркости.
Таким образом, для каждой точки примерной границы получаем пару величин Г] и У]ауг, для которых рассчитываем Аг] = |г]ауг - г] |. А для коррекции точек находим порог по методу Ниблека:
В = т + к * ^ (3)
где т и s - среднее и стандартное отклонение Ari соответственно, коэффициент к = о,2.
Если Аг] превышает рассчитанный порог В, то соответствующие координаты точки (х/, у]) заменялись интерполированными.
Описанная процедура применялась также и для коррекции точек внешней границы.
Такой подход позволил избавиться от резких изменений границ объекта, дающих ложный результат при выделении области.
На рис. 5 представлен результат работы методики выделения контура внутренней (рис. 5б - цифра 1) области образования Я1 и его внешней (рис. 5б -цифра 2) области ^ а) - исходная область, б) - область с выделенными контурами).
Рис. 4. Точки, соответствующие точкам экстремума перепада яркости на лучах, и построенная усредненная кубическая регрессия для них (сплошная белая линия): для контура образования (а), для внешней области образования (б)
Рис. 5. Оцифрованное 8-битное УЗ-изображение образования МЖ (а), выделенные границы образования и его внешней области (б)
2. Результаты
Для оценки качества сегментирования образования и его внешней области использовались данные УЗ-изображений морфологически верифицированных образований (42 доброкачественных и 49 злокачественных), размеченных врачом-специалистом. В качестве эталона использовались обведенные контуры как самого образования, так и его внешней области (см. рис. 6 - сплошные белые линии).
Рис. 6. УЗ-изображение верифицированного доброкачественного образования, размеченное врачом-специалистом (сплошные белые линии) и с помощью предложенного алгоритма (пунктирные серые линии)
Чтобы оценить точность предложенной методики, использовались метрики, наиболее часто применяемые в подобных задачах [28]:
1. Среднее значение d~ и среднее квадратическое отклонение (СКО) ст эвклидова расстояния между ближайшими точками выделенного контура и эталона:
_ X d.
d =-*—.
N '
X (di - d )2
N
где й - эвклидово расстояние между ближайшими точками контуров, N - количество точек контура. 2. Отношение площадей пересечения к объединению областей выделенного контура и эталона:
IoU =
A о B A u B'
где A - площадь образования, выделенного предложенной методикой, B - площадь эталона. Площадь равна количеству пикселей внутри контура. Данная метрика используется для количественной оценки степени перекрытия площадей между контуром эталона и найденным контуром, полученным с помощью алгоритма сегментации. 3. Precision, Recall, F1-score:
Precision =-
TP
Recall = -
TP
F1 - Score =
TP + FP TP + FN
2 • Precision • Recall
Precision + Recall
где
TP =
A о B B ,
FP =
A u B - B B ,
FN = 1 - TP.
True positive (TP) - это количество положительных пикселей, которые были предсказаны как положительные, а false positive (FP) - это количество отрицательных пикселей, которые были предсказаны как положительные. False negative (FN) - это количество положительных пикселей, сегментированых как отрицательные.
Так как точность сегментирования более значима для дальнейшей корректной классификации образований небольших размеров по текстурным признакам, то также рассчитывались среднее d и СКО ст относительно площади эталона B.
Также отдельно оценивалась точность выделения верхней части образования (раскрытие 120°, см. рис. 7), это обусловлено особенностями УЗ-изображения, как правило, имеющего различные артефакты, после отражения ультразвука от образования. Для верхней части рассчитывалось только 2 метрики: d± ст и dB ± ст/B из-за сложности расчета остальных.
Рис. 7. Раскрытие 120° верхней части образования
В табл. 1 представлены усредненные по всей выборке результаты оценки качества сегментирования доброкачественных и злокачественных образований МЖ.
Чтобы устранить неточность ручного выделения контура, который будет браться за эталон, врач-специалист выделял один и тот же контур на одном и том же УЗ-изображении (как доброкачественных, так и злокачественных образований) 10 раз. В оценке участвовали только по 4 изображения каждого из случаев. По данным выборкам повторных выделений рассчитывалась их вариабельность, среднее значение й и среднее квадратическое отклонение (СКО) ст эвклидова расстояние между ближайшими точками выделенных контуров.
В табл. 2 представлены усредненные по всей выборке результаты оценки вариабельности выделения эталонных контуров.
Из табл. 1 и 2 видно, что усредненные погрешности в выделении доброкачественного и злокачественного образования составляет 5 пикселей - для внутренней области и 7 пикселей - для внешней области,
что с учетом погрешности ручного выделения врачом-специалистом незначительно (усредненные объединенные значения для доброкачественных и злокачественных образований составляли 3,95 и 4,7 пикселей для внутренней и внешней области), а средние метрики 1ои составили 0,82 и 0,80 соответственно.
Табл. 1. Результаты оценки качества сегментирования
Метрика Внутренняя область Внешняя область Внут. 120° Внеш. 120°
Доброкачественные: 42 шт.
d ± ст 4,50 ± 4,56 7,18 ± 5,79 3,45 ± 2,75 5,90 ± 4,21
d /B ± ст/B 0,35 ± 0,33 0,72 ± 0,52 0,31 ± 0,24 0,57 ± 0,39
loU 0,82 0,79 - -
TP 0,88 0,97 - -
FP 0,07 0,23 - -
FN 0,12 0,03 - -
Precision 0,92 0,80 - -
Recall 0,88 0,97 - -
F1-score 0,90 0,88 - -
Злокачественные: 49 шт.
d ± ст 5,89 ± 5,48 6,99 ± 5,87 4,19 ± 3,12 5,71 ± 4,12
d /B ± ст/B 0,48 ± 0,43 0,67 ± 0,52 0,38 ± 0,28 0,53 ± 0,36
loU 0,82 0,80 - -
TP 0,86 0,92 - -
FP 0,14 0,14 - -
FN 0,14 0,08 - -
Precision 0,86 0,86 - -
Recall 0,86 0,92 - -
F1-score 0,86 0,89 - -
Табл. 2. Вариабельность ручного выделения
Заключение
Предлагаемая методика обеспечивает достаточную точность сегментации солидных образований МЖ на УЗ-изображениях, включая их перифокаль-ную зону, что необходимо для последующей классификации данных объектов.
Благодарности
Основные результаты параграфов «Материалы и методы» и «Результаты» получены Д.В. Пасынковым и И.А. Егошиным при поддержке гранта Российского научного фонда № 22-71-10070,
https://rscf.ru/project/22-71-10070/. Также авторы выражают благодарность Программе стратегического академического лидерства Казанского федерального университета (ПРИОРИТЕТ-2030) за техническую возможность использования аппаратного и программного обеспечения.
References
[1] Sung H, Ferlay J, Siegel RL, Laversanne M, Soerjomata-ram I, Jemal A, Bray F. Global cancer statistics 2020: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries. CA Cancer J Clin 2021; 71(3): 209-249. DOI: 10.3322/caac.21660.
[2] Kaprina AD, Starinskogo VV, Shahzadovoj AO. The state of oncological care for the population of Russia in 2021 [In Russian]. Moscow: Publisher of MNIOI imeni P.A. Gerce-na, filial FGBU «NMIC radiologii» Minzdrava Rossii; 2022. DOI: 10.37469/0507-3758-2022-68-1-38-47.
[3] Rozhkova NI, Burdina II, Zapirova SB, Labazanova PG, Mazo ML, Mikushin SY, Prokopenko SP, Jacobs OE. Diversity of non-palpable breast cancer. Timely diagnosis, adequate treatment and prevention [In Russian]. Medical Alphabet 2020; (38): 34-40. DOI: 10.33667/2078-56312020-38-34-40.
[4] Guo R, Lu G, Qin B, Fei B. Ultrasound imaging technologies for breast cancer detec-tion and management: A review. Ultrasound Med Biol 2018; 44(1): 37-70. DOI: 10.1016/j.ultrasmedbio.2017.09.012.
[5] Krizmanich-Conniff KM, Paramagul C, Patterson SK, Helvie MA, Roubidoux MA, Myles JD, Jiang K, Sabel M. Triple receptor-negative breast cancer: Imaging and clinical characteristics. AJR Am J Roentgenol 2012; 199(2): 458-464. DOI: 10.2214/AJR.10.6096.
[6] Klimonda Z, Karwat P, Dobruch-Sobczak K, Piotrzkow-ska-Wroblewska H, Litniewski J. Breast-lesions characterization using Quantitative Ultrasound features of peritu-moral tissue. Sci Rep 2019; 9(1): 7963. DOI: 10.1038/s41598-019-44376-z.
[7] Bahareh B, Hamze R, Tehrani Ali KZ, Hassan R. Deep classification of breast cancer in ultrasound images: more classes, better results with multi-task learning. Proc SPIE 2021; 11602: 116020S. DOI: 10.1117/12.2581930.
[8] Nemat H, Fehri H, Ahmadinejad N, Frangi AF, Gooya A. Classification of breast le-sions in ultrasonography using sparse logistic regression and morphology-based texture features. Med Phys 2018; 45(9): 4112-4124. DOI: 10.1002/mp.13082.
[9] Yap MH, Edirisinghe EA, Bez HE. A novel algorithm for initial lesion detection in ultrasound breast images. J Appl Clin Med Phys 2008; 9(4): 181-199. DOI: 10.1120/jacmp.v9i4.2741.
[10] Shan J, Cheng HD, Wang YX. Completely automated segmentation approach for breast ultrasound images using multiple-domain features. Ultrasound Med Biol 2012; 38(2): 262-275. DOI: 10.1016/j.ultrasmedbio.2011.10.022.
[11] Kwak JI, Kim SH, Kim NC. RD-based seeded region growing for extraction of breast tumor in an ultrasound volume. In Book: Hao Y, Liu J, Wang Y, Cheung Y-m, Yin H, Jiao L, Ma J, Jiao Y-C, eds. International conference on computational and information science. Berlin, Germany: Springer; 2005: 799-808. DOI: 10.1007/11596448_118.
[12] Huang YL, Chen DR. Watershed segmentation for breast tumor in 2-D sonography. Ultrasound Med Biol 2004; 30(5): 625-632. DOI: 10.1016/j.ultrasmedbio.2003.12.001.
[13] Zhang M, Zhang L, Cheng HD. Segmentation of ultrasound breast images based on a neutrosophic method. Opt Eng 2010; 49(11): 117001-117012. DOI: 10.1117/1.3505854.
[14] Shen X, Ma H, Liu R, Hong L, Jiachuan H, Xinran W. Lesion segmentation in breast ultrasound images using the
Область d ± ст
Доброкачественные Злокачественные Усредненное значение
Внутренняя 3,06 ± 2,72 4,84 ± 4,5 3,95 ± 3,61
Внешняя 3,1 ± 2,4 6,3 ± 4,82 4,7 ± 3,61
optimized marked watershed method. BioMed Eng OnLine 2021; 20(1): 57. DOI: 10.1186/s12938-021-00891-7.
[15] Xu Y. A modified spatial fuzzy clustering method based on texture analysis for ultrasound image segmentation. IEEE Int Symposium on Industrial Electronics 2009: 746751. DOI: 10.1109/ISIE.2009.5213933.
[16] Liu B, Cheng H, Huang J, Tian J, Tang X, Liu J. Fully automatic and segmentation-robust classification of breast tumors based on local texture analysis of ultrasound images. Pattern Recognit 2010; 43(1): 280-298. DOI: 10.1016/j.patcog.2009.06.002.
[17] Huang K, Cheng H, Zhang Y, Zhang B, Xing P, Ning C. Medical knowledge constrained semantic breast ultrasound image segmentation. Proc 2018 24th Int Conf on Pattern Recognition (ICPR) 2018: 1193-1198. DOI: 10.1109/ICPR.2018.8545272.
[18] Shareef B, Xian M, Vakanski A. STAN: Small tumor-aware network for breast ultrasound image segmentation. Proc IEEE Int Symposium on Biomedical Imaging 2020: 1469-1473. DOI: 10.1109/isbi45749.2020.9098691.
[19] Egoshin IA, Pasynkov DV, Pasynkova OO, Kolchev AA, Kliouchkin IV. Segmentation of breast focal lesions on the ultrasound image. Biomed Eng 2020; 54(2): 99-103. DOI: 10.1007/s10527-020-09982-6.
[20] Drukker K, Giger ML, Horsch K, Kupinski MA, Vyborny CJ, Mendelson EB. Computerized lesion detection on breast ultrasound. Med Phys 2002; 29(7): 1438-1446. DOI: 10.1118/1.1485995.
[21] Ikedo Y, Fukuoka D, Hara T, Fujita H, Takada E, Endo T, Morita T. Development of a fully automatic scheme for detection of masses in whole breast ultrasound images. Med Phys 2007; 34(11): 4378-4388. DOI: 10.1118/1.2795825.
[22] Pons G, Marti R, Ganau S, Sentis M, Marti J. Feasibility study of lesion detection using deformable part models in breast ultrasound images. In Book: Sanches JM, Mico L, Cardoso JS, eds. Pattern recognition and image analysis. Berlin, Heidelberg: Springer-Verlag; 2013: 269-276. DOI: 10.1007/978-3-642-38628-2_32.
[23] Agafonova YuD, Gaidel AV, Zelter PM, Kapishnikov AV. Efficiency of machine learning algorithms and convolu-tional neural network for detection of pathological changes in MR images of the brain. Computer Optics 2020; 44(2): 266-273. DOI: 10.18287/2412-6179-CO-671.
[24] Vinokurov VO, Matveeva IA, Khristoforova YA, Mya-kinin OO, Bratchenko IA, Bratchenko LA, Moryatov AA, Kozlov SG, Machikhin AS, Abdulhalim I, Zakharov VP. Neural network classifier of hyperspectral images of skin pathologies. Computer Optics 2021; 45(6): 879-886. DOI: 10.18287/2412-6179-CO-832.
[25] Yap MH, Goyal MO, Fatima M, Marti R, Denton E, Juette A, Zwiggelaar R. Breast ultrasound region of interest detection and lesion localisation. Artif Intell Med 2020; 107: 101880. DOI: 101880. 10.1016/j.artmed.2020.101880.
[26] Kapoor A, Singh T. A brief review: Speckle reducing filtering for ultrasound images. International Conference on I-SMAC (IoT in Social, Mobile, Analytics and Cloud) (I-SMAC) 2017: 242-246. DOI: 10.1109/I-SMAC.2017.8058347.
[27] Niblack W. An introduction to digital image processing. Englewood Cliffs, NJ: Prentice-Hall; 1986. ISBN: 978-013-480674-7.
[28] Kriti, Virmani J, Agarwal R. A review of segmentation algorithms applied to B-mode breast ultrasound images: A characterization approach. Arch Computat Methods Eng 2021; 28: 2567-2606. DOI: 10.1007/s11831-020-09469-3.
Сведения об авторах
Пасынков Дмитрий Валерьевич, 1975 года рождения, кандидат медицинских наук, доцент, заведующий кафедрой лучевой диагностики и онкологии Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Марийский государственный университет» (ФГБОУ ВПО МарГУ), старший научный сотрудник Федерального государственного автономного образовательного учреждения высшего образования «Казанский (Приволжский) федеральный университет» (ФГАОУ ВО КФУ), ассистент кафедры ультразвуковой диагностики Казанской государственной медицинской академии — филиала ФГБОУ ДПО «Российская медицинская академия непрерывного профессионального образования» Минздрава России. Область научных интересов: лучевая диагностика в онкологии, анализ лучевых изображений. E-mail: passynkov@mail.ru . ORCID: 0000-0003-1888-2307.
Колчев Алексей Анатольевич, 1965 года рождения, кандидат физико-математических наук, доцент федерального государственного автономного образовательного учреждения высшего образования «Казанский (Приволжский) федеральный университет» (ФГАОУ ВО КФУ). Область научных интересов: математическое моделирование, цифровая обработка сигналов и изображений, глубокое обучение, машинное обучение. E-mail: kolchevaa@mail.ru . ORCID: 0000-0002-1692-2558.
Егошин Иван Александрович, 1991 года рождения, младший научный сотрудник в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Марийский государственный университет» (ФГБОУ ВПО МарГУ), также младший научный сотрудник федерального государственного автономного образовательного учреждения высшего образования «Казанский (Приволжский) федеральный университет» (ФГАОУ ВО КФУ). Область научных интересов: цифровая обработка сигналов и изображений, радиомика, искусственный интеллект, машинное обучение, программирование. E-mail: iungl91@mail.ru . ORCID: 0000-0003-0717-0734.
Клюшкин Иван Владимирович, 1948 года рождения, доктор медицинских наук, профессор кафедры общей хирургии Федерального государственного бюджетного образовательного учреждения высшего образования «Казанский государственный медицинский университет» Министерства здравоохранения Российской Фе-
дерации (ФГБОУ ВО Казанский ГМУ Минздрава России). Область научных интересов: лучевая диагностика, анализ медицинских изображений. E-mail: hirursivan@rambler.ru . ORCID: 0000-0001-5052-2921.
Пасынкова Ольга Олеговна, 1977 года рождения, кандидат медицинских наук, доцент кафедры фундаментальной медицины Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Марийский государственный университет» (ФГБОУ ВПО МарГУ). Область научных интересов: фундаментальная и клиническая медицина, ультразвуковая диагностика, математическое моделирование. E-mail: olsaved@inbox.ru . ORCID: 0000-0001-9117-8151.
ГРНТИ: 28.23.15
Поступила в редакцию 3 октября 2022 г. Окончательный вариант - 30 ноября 2022 г.
An approach to segmentation of a solid focal lesion in breast and its peripheral areas in ultrasound images
D.V. Pasynkov 12,3, A.A. Kolchev 2,I.A. Egoshin12,1.V. Klioushkin 4, O.O. Pasynkova1 1 Mari State University, Ministry of Education and Science of Russian Federation, 424000, Yoshkar-Ola, Russia, Lenin square 1;
2 Kazan (Volga region) Federal University, Ministry of Education and Science of Russian Federation,
420008, Kazan, Russia, Kremlevskaya St. 18; 3 Kazan State Medical Academy - Branch Campus of the Federal State Budgetary Educational Institution of Further Professional Education «Russian Medical Academy of Continuous Pro-fessional Education», Ministry of Healthcare of the Russian Federation, 420012, Kazan, Russia, Butlerova St. 36;
4 Kazan Medical University, Ministry of Health of Russian Federation, 420012, Kazan, Russia, Butlerova St. 49
Abstract
The paper proposes an approach to the segmentation of solid breast lesions and their peripheral areas in ultrasound images. It is noted that identifying the outermost breast lesion structures is an important step for the further lesion classification, directly affecting the final classification of its type. The main feature of the proposed approach is that its implementation takes into account peculiarities of pixel brightness variations in the original image, without using speckle noise filters. The method was tested on a set of ultrasound images of morphologically verified 42 benign and 49 malignant breast lesions marked by a radiologist. The segmentation results were compared with the results of manual marking performed by the radiologist. The average errors in the segmentation of benign and malignant lesion were 5 pixels - for the lesion area and 7 pixels - for the peripheral area, which is insignificant, taking into account the error of manual marking performed by radiologist (3.9 and 4.7 pixels, respectively). The average intersection-over-union (IoU) metrics were 0.82 and 0.80, respectively. The presented results indicate the possibility of using the developed technology in a combination with the system of lesion differentiation.
Keywords: segmentation, lesion contouring, ultrasound image, image processing.
Citation: Pasynkov DV, Kolchev AA, Egoshin IA, Klioushkin IV, Pasynkova OO. An approach to segmentation of a solid focal lesion in breast and its peripheral areas in ultrasound images. Computer Optics 2023; 47(3): 407-414. DOI: 10.18287/2412-6179-CO-1234.
Acknowledgements: The main results of sections "Materials and methods" and "Results" were obtained by D.V. Pasynkov and I.A. Egoshin with funding from a grant of the Russian Science Foundation (Project 22-71-10070, https://rscf.ru/en/project/22-71-10070/). The authors are grateful to the Kazan Federal University Strategic Academic Leadership Program (PRIORITY-2030) for granting the technical feasibility of using the hardware and software.
Authors' information
Dmitry Valerievich Pasynkov (b. 1975) MD, PhD, associate professor, head of Radiology and Oncology department in Mari State University, Ministry of Education and Science of Russian Federation, senior researcher in Kazan (Volga region) Federal University, Ministry of Education and Science of Russian Federation, assistant professor of Ultrasound Diagnostics department in Kazan State Medical Academy - Branch Campus of the Federal State Budgetary Educational Institution of Further Professional Education «Russian Medical Academy of Continuous Professional Education», Ministry of Healthcare of the Russian Federation. Research interests: radiology in oncology, radiological image analysis. E-mail: passynkov@mail.ru . ORCID: 0000-0003-1888-2307.
Alexey Anatolevich Kolchev (b. 1965) Dr, PhD, associate professor in Kazan (Volga region) Federal University, Ministry of Education and Science of Russian Federation. Research interests: mathematical modeling, digital signal and image processing, deep learning, machine learning. E-mail: kolchevaa@mail.ru . ORCID: 0000-0002-1692-2558.
Ivan Aleksandrovich Egoshin (b. 1991) junior researcher at Mari State University, Ministry of Education and Science of Russian Federation. Also he is a junior researcher at Kazan (Volga region) Federal University, Ministry of Education and Science of Russian Federation. Research interests: digital signal and image processing, radiomics, artificial intelligence, machine learning, programming. E-mail:_jungl91 @mail.ru . ORCID: 0000-0003-0717-0734.
Ivan Vladimirovich Klioushkin (b. 1948) MD, DSc, Professor of General Surgery department in Kazan Medical University, Ministry of Health of Russian Federation. Research interests: radiology, medical image analysis. E-mail: hirurgivan@rambler.ru . ORCID: 0000-0001-5052-2921.
Olga Olegovna Pasynkova (b. 1977) MD, PhD, associate professor of Fundamental Medicine department in Mari State University, Ministry of Education and Science of Russian Federation. Research interests: fundamental and clinical medicine, ultrasound diagnostics, mathematical modeling. E-mail: olgaved@inbox.ru . ORCID: 0000-0001-9117-8151.
Received October 3, 2022. The final version - November 30, 2022.
