CC BY
12
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ январь-февраль 2024 Том 24 № 1 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS
l/ITMO
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
Fh ,„,4 V1MN1 htt;;,f ;; ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ
January-February 2024 vol. 24 No 1 http://ntv.ifmo.ru/en/ n
doi: 10.17586/2226-1494-2024-24-1-124-132 УДК 004.891
Сегментация мышечной ткани на снимках компьютерной томографии
на уровне позвонка L3
Анастасия Романовна Теплякова1 Роман Владимирович Шершнев2, Сергей Олегович Старков3, Татев Артаковна Агабабян4, Валерия Андреевна Кукарекая5
!,2,3 Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ» (ИАТЭ НИЯУ МИФИ), Обнинск, 249039, Российская Федерация
4,5 Медицинский радиологический научный центр им. А.Ф. Цыба — филиал ФГБУ «Национальный медицинский исследовательский центр радиологии» Минздрава России, Обнинск, 249036, Российская Федерация
1 [email protected], https://orcid.org/0000-0001-8612-3850
2 [email protected], https://orcid.org/0009-0000-2324-5893
3 [email protected], https://orcid.org/0000-0002-0420-7856
4 [email protected], https://orcid.org/0000-0002-9971-3451
5 [email protected], https://orcid.org/0009-0001-4872-3182
Аннотация
Введение. С возрастающей рутинной нагрузкой на врачей-рентгенологов, связанной с необходимостью анализировать большое количество снимков, возникает потребность в автоматизации части процесса анализа. Саркопения представляет собой состояние, при котором происходит потеря мышечной массы. Для диагностики саркопении наиболее часто применяется компьютерная томография, по снимкам которой может быть оценен объем мышечной ткани. Первым этапом анализа является ее оконтуривание, которое выполняется вручную, занимает продолжительное время и не всегда производится достаточно качественно, что оказывает влияние на точность оценок и, как следствие, на план лечения пациента. Предметом исследования является применение подходов компьютерного зрения для точной сегментации мышечной ткани по снимкам компьютерной томографии с целью саркометрии. Цель исследования — разработка подхода к решению задачи сегментации собранных и размеченных снимков. Метод. Представленный подход включает в себя этапы предварительной обработки снимков, сегментации при помощи нейронных сетей семейства U-Net и постобработки. Всего рассмотрено 63 различных конфигурации подхода, которые отличаются с точки зрения данных, подаваемых на вход моделей, и архитектур моделей. Оценено влияние предложенного способа постобработки получаемых бинарных масок на точность сегментации. Основные результаты. Для конфигурации подхода, включающей предварительную обработку с маскированием стола томографа и применением анизотропной диффузионной фильтрации, сегментацию моделью, имеющей архитектуру Inception U-Net и постобработку на базе анализа контуров, получен коэффициент схожести Дайса (Dice similarity coefficient, DSC) 0,9379 и пересечение над объединением (Intersection over Union, IoU) — 0,8824. Девять из исследованных в работе конфигураций также продемонстрировали высокие значения метрик DSC (в диапазоне 0,9356-0,9374) и IoU (0,8794-0,8822). Предлагаемый подход на базе предобработанных трехканальных изображений позволяет достигать значений 0,9364 для DSC и 0,8802 для IoU с применением легковесной модели сегментации U-Net. В соответствии с описанным подходом реализован программный модуль на языке Python. Обсуждение. Результаты исследования подтверждают целесообразность применения компьютерного зрения для оценки показателей мышечной ткани. Разработанный модуль может применяться для снижения рутинной нагрузки на рентгенологов. Ключевые слова
компьютерное зрение, сегментация, компьютерная томография, мышечная ткань, индекс скелетной мускулатуры, саркопения, диагностика
Ссылка для цитирования: Теплякова А.Р., Шершнев Р.В., Старков С.О., Агабабян Т.А., Кукарская В.А. Сегментация мышечной ткани на снимках компьютерной томографии на уровне позвонка L3 // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 1. С. 124-132. doi: 10.17586/2226-1494-2024-24-1-124-132
© Теплякова А.Р., Шершнев Р.В., Старков С.О., Агабабян Т.А., Кукарская В.А., 2024
Segmentation of muscle tissue in computed tomography images at the level
of the L3 vertebra
Anastasia R. Teplyakova1«, Roman V. Shershnev2, Sergey O. Starkov3, Tatev A. Agababian4,
Valeria A. Kukarskaya5
!,2,3 Obninsk Institute for Nuclear Power Engineering, Obninsk, 249039, Russian Federation
4,5 A. Tsyb Medical Radiological Research Centre - branch of the National Medical Research Radiological Center of the Ministry of Health of the Russia, Obninsk, 249036, Russian Federation
1 [email protected]«, https://orcid.org/0000-0001-8612-3850
2 [email protected], https://orcid.org/0009-0000-2324-5893
3 [email protected], https://orcid.org/0000-0002-0420-7856
4 [email protected], https://orcid.org/0000-0002-9971-3451
5 [email protected], https://orcid.org/0009-0001-4872-3182
Abstract
With the increasing routine workload on radiologists associated with the need to analyze large numbers of images, there is a need to automate part of the analysis process. Sarcopenia is a condition in which there is a loss of muscle mass. To diagnose sarcopenia, computed tomography is most often used, from the images of which the volume of muscle tissue can be assessed. The first stage of the analysis is its contouring, which is performed manually, takes a long time and is not always performed with sufficient quality affecting the accuracy of estimates and, as a result, the patient's treatment plan. The subject of the study is the use of computer vision approaches for accurate segmentation of muscle tissue from computed tomography images for the purpose of sarcometry. The purpose of the study is to develop an approach to solving the problem of segmentation of collected and annotated images. An approach is presented that includes the stages of image pre-processing, segmentation using neural networks of the U-Net family, and post-processing. In total, 63 different configurations of the approach are considered, which differ in terms of data supplied to the input models and model architectures. The influence of the proposed method of post-processing the resulting binary masks on the segmentation accuracy is also evaluated. The approach, which includes pre-processing with table masking and anisotropic diffusion filtering, segmentation with an Inception U-Net architecture model, and post-processing based on contour analysis, achieves a Dice similarity coefficient of 0.9379 and Intersection over Union of 0.8824. Nine other configurations, the experimental results for which are reflected in the article, also demonstrated high values of these metrics (in the ranges of 0.9356-0.9374 and 0.8794-0.8822, respectively). The approach proposed in the article based on preprocessed three-channel images allows us to achieve metrics of 0.9364 and 0.8802, respectively, using the lightweight U-Net segmentation model. In accordance with the described approach, a software module was implemented in Python. The results of the study confirm the feasibility of using computer vision to assess muscle tissue parameters. The developed module can be used to reduce the routine workload on radiologists. Keywords
computer vision, segmentation, computed tomography, muscle tissue, skeletal muscle index, sarcopenia, diagnostics For citation: Teplyakova A.R., Shershnev R.V., Starkov S.O., Agababian T.A., Kukarskaya V.A. Segmentation of muscle tissue in computed tomography images at the level of the L3 vertebra. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2024, vol. 24, no. 1, pp. 124-132 (in Russian). doi: 10.17586/2226-1494-2024-24-1-124-132
Введение
Саркопения имеет большую значимость в прогнозировании онкологических заболеваний [1]. В последние годы растет количество источников, подтверждающих тот факт, что оценка мышечной массы и определение вероятности развития саркопении у пациента при помощи рентгенологических методов позволяют получить эффективные биомаркеры. На сегодняшний день компьютерная томография (КТ) — не только точный и удобный с практической точки зрения метод оценки структуры тела, но и обязательная составная часть плановых исследований для диагностики, стадирования, наблюдения и оценки ответа на терапию у больных с опухолями [2, 3]. Однако в силу своего главного недостатка, заключающегося в дозовой нагрузке на пациента, КТ не может служить инструментом для оценки мышечной массы по результатам сканирования тела полностью. В связи с этим возникает необходимость применения подходов, позволяющих оценивать ске-летно-мышечный индекс по аксиальному срезу КТ на определенном уровне. В [4-6] показано, что измеренная
при КТ площадь мышечной и жировой ткани на уровне третьего поясничного позвонка (L3) надежно коррелирует с объемом скелетной мускулатуры и жировой клетчатки всего тела у здоровых людей.
Обзор существующих подходов
В рамках исследования выполнен анализ ряда научных работ, посвященных подходам к диагностике саркопении по снимкам КТ. В работе [7], опубликованной Научно-практическим клиническим центром диагностики и телемедицинских технологий Департамента здравоохранения города Москвы, представлен обзор современных подходов к диагностике саркопении. Авторы подчеркивают перспективность исследований, направленных на создание программного обеспечения для оценки мышечной ткани. Рассмотрены две группы существующих методов сегментации (на базе поиска мышечной ткани по плотности в диапазонах, задаваемых в единицах Хаунсфилда (Hounsfield units, HU), и на базе применения машинного обучения). Предложен метод решения задачи через применение сети U-Net++
на обучающей выборке 15 пациентов. В результате получено значение коэффициента схожести Дайса (Dice similarity coefficient, DSC) — 0,9312. Применение сети с более сложной архитектурой помогло решить проблему, связанную с малым объемом выборки, однако привело к значительному увеличению вычислительных затрат на этапах обучения сети и предсказания в рамках клинического использования.
В работе [8] предложено применение архитектуры U-Net. Для обучения использован набор данных, включающий размеченные вручную снимки 102 уникальных пациентов. Усредненное значение DSC для всех сегментируемых в исследовании групп мышц составило 0,930 ± 0,049. На предлагаемых в работе [9] (в ней применен описанный в [8] алгоритм) снимках с демонстрацией работы алгоритма заметны артефакты сегментации, лежащие вне зоны интереса, что обусловлено отсутствием постобработки получаемых масок. В [10] реализована сегментация мышечной ткани при помощи ансамбля из 15 моделей глубокого обучения с архитектурой U-Net с 4-уровневой глубиной и 18 начальными фильтрами. Использовано 1025 отдельных срезов КТ на уровне позвонка L3 (для обучения и ва-лидации) и 500 дополнительных срезов — для тестирования. Полученное среднее значение DSC равно 0,97. В работе [11] предложен подход к сегментации мышц и жировой ткани по снимкам КТ на уровне позвонка L3 у пациентов с политравмой, в качестве архитектуры выбрана U-Net, модель обучена на снимках 3413 пациентов. Получено среднее значение DSC для мышечной ткани — 0,926. Недостаток данного подхода — отсутствие предварительной обработки, из-за которого в масках сегментации присутствуют руки пациентов (авторы исследования выделили это для будущей работы). В [12] при помощи U-Net сегментированы отдельные группы мышц. Для обучения использованы снимки 130 пациентов, удаление артефактов реализовано за счет исключения пикселей со значениями, выходящими за рамки интервала от -20 до 200 HU. Для отдельных групп мышц получены значения DSC в диапазоне 0,860,95, для общей мышечной массы — 0,95. В работе [13] акцент сделан на сегментации отдельных групп мышц в случаях с цирротической саркопенией. Для решения задачи применена архитектура 2,5D U-Net в сочетании с ветвью 3D-кодирования. Набор данных содержит снимки 317 пациентов (из них 216 с циррозом печени). Достигнуто среднее значение DSC равное 0,937. Метод, описанный в работе [14], основан на сегментации при помощи полностью сверточной нейронной сети (Fully Convolutional Network, FCN). Для обучения использовано три набора данных, включающих в себя 6651 снимок КТ на уровне позвонка L3, достигнуто значение DSC — 0,9811. В [15] описано создание системы, состоящей из модулей сегментации мышечной и жировой тканей, их количественной оценки и анализа саркопении. В рамках обучения и тестирования моделей сегментации собраны и размечены снимки КТ 67 пациентов, проведены эксперименты с архитектурами Attention U-Net, U-Net и SegNet. Attention U-Net продемонстрировала самое высокое значение DSC для мышечной ткани равное 0,96. Преимуществом работы
является нацеленность на применение системы в клинической практике, учет времени обработки модулями исследования отдельного пациента (на сегментацию снимка затрачивается порядка 6 с). В [16] предложен полностью автоматизированный подход, который не только реализует сегментацию снимка КТ на уровне позвонка L3, но и обнаруживает его в массиве снимков исследования КТ пациента. Сегментация реализована обученной на 1070 снимках КТ FCN, основанной на U-Net-подобной архитектуре. DSC для отдельных групп мышц достигают значений в диапазоне 0,94-0,97, для объединенной мышечной массы — 0,96, заявленное время обработки одного исследования — 1 с.
Главные достоинства рассмотренных работ заключаются в том, что данные для исследований собраны в медицинских центрах и размечены квалифицированными рентгенологами, а также в том, что результаты востребованы и протестированы в условиях клинической практики. Однако в большинстве исследований мало внимания уделено технической реализации решений: предварительной обработке снимков, сравнению различных архитектур, методам постобработки масок сегментации. Программные части и наборы данных, полученные в рассмотренных зарубежных исследованиях, являются закрытыми, что влечет за собой невозможность применения результатов в клинической практике и доработки функционала под запросы специалистов-рентгенологов. Стоит также отметить отсутствие готового программного обеспечения для точной сегментации мышечной ткани по снимкам КТ на уровне позвонка L3 на российском рынке. В связи с этим возникла потребность в реализации собственного программного обеспечения, один из модулей которого может решать описанную задачу.
Преимущество предлагаемого в настоящей работе подхода заключается в реализации большого количества способов решения задачи: представлены результаты 63 различных модификаций подхода, для каждого из которых обучена своя модель. Варьируются 9 типов входных данных модели (в зависимости от применяемого алгоритма предварительной обработки снимков) и 7 архитектур сегментации (U-Net, Attention U-Net, U-Net++, ResU-Net, Inception U-Net, Dense U-Net, U2-Net). Для каждой из конфигураций выполнено сравнение метрик до и после применения алгоритма постобработки масок сегментации. Отметим, что предложен новый подход к обработке входных снимков, позволяющий повысить производительность самой легковесной из перечисленных архитектур (U-Net) до уровня производительности более сложных из них.
Постановка задачи
При проведении анализа состава тела пациента врач-рентгенолог выполняет количественную оценку мышц по снимкам КТ брюшной полости. Для этого он вручную осуществляет разметку мышечной ткани на снимке, соответствующем уровню позвонка L3. Разметка снимка КТ представляет собой формирование маски сегментации, основанной на точках контуров (каждая наносится нажатием кнопки компьютерной
мыши) мышечной ткани, и занимает порядка 5,5 мин без использования предварительной разметки, выдаваемой полуавтоматическими программными средствами (с нуля), и порядка 2,8 мин — с ее использованием [17]. Задача заключается в разработке программного модуля, получающего на вход DICOM файл со снимком КТ на уровне позвонка L3 и возвращающего его в обработанном виде (с оверлеем, содержащим контуры мышечной ткани). Задача включает в себя подзадачи:
— создание набора данных (сбор снимков КТ брюшной полости на уровне позвонка L3, разметка мышечной ткани);
— разработка алгоритмов предварительной обработки снимков КТ;
— построение, обучение и тестирование моделей сегментации;
— разработка алгоритмов постобработки масок сегментации;
— разработка алгоритмов, отвечающих за работу с файлами (загрузка данных из входных файлов, передача их алгоритмам обработки и сегментации, запись результатов в выходные файлы).
Описание набора данных
Набор данных, примененный для обучения нейронных сетей и тестирования подходов к обработке снимков, основанных на классическом компьютерном зрении, собран из данных КТ онкологических больных. Пациенты получили комбинированное лечение в Медицинском радиологическом научном центре им. А.Ф. Цыба и для них были доступны изображения КТ, полученные до операции. Для формирования набора рентгенологами были отобраны снимки КТ, соответствующие уровню позвонка L3.
Исследования выполнялись на мультиспираль-ном компьютерном томографе Optima CT660 (GE). Параметры КТ-исследования: напряжение 120 кВ; сила тока в среднем 95 мАс (в зависимости от конституции пациента); матрица изображения 512 х 512 пикселей; толщина томографического среза — 5 мм, коллимация — 6 х2 мм. Полученные КТ-данные реконструированы с толщиной среза 2,5 мм и инкрементом 1-1,5 мм.
КТ-исследования проведены в положении больного лежа на спине с вытянутыми над головой руками, при необходимости применялось полипозиционное исследование с целью улучшения визуализации. Топограмма
fu 20-29
4
я" 30-39
1 40-49
§■ 50-59
CG S 60-69
Я о 70-79
а
§ 80-89
IS
60
выполнена при задержке дыхания в фазу вдоха в крани-окаудальном направлении. По топограмме произведено планирование области исследования. Сделано нативное (бесконтрастное) исследование, затем сканирование с контрастным усилением по стандартной методике.
Разметка мышечной ткани, заключающаяся в формировании бинарных масок для всех снимков набора, произведена опытным рентгенологом, имеющим более 10 лет медицинского стажа. Набор данных содержит 207 снимков КТ на уровне позвонка L3 119 уникальных пациентов (67 мужчин, 52 женщины). Медианные возраста — 63 и 59,5 лет для снимков пациентов мужского и женского полов. Самому молодому пациенту 28 лет, самому возрастному — 81. Половозрастное распределение снимков показано на рис. 1. Набор разделен на обучающую, валидационную и тестовую выборки, содержащие 161, 23 и 23 снимков.
Описание разработанного модуля сегментации снимков
В основе логики функционирования разработанного модуля лежат три этапа.
Этап 1. Получение из файлов DICOM входных данных для нейронных сетей. Вне зависимости от того, какой метод обработки применялся к снимкам КТ, для всех DICOM-файлов выполнялись следующие шаги.
Шаг 1. Чтение массивов пикселей (ширина и высота каждого составляют 512 пикселей);
Шаг 2. Переход от значений пикселей к HU.
Для дальнейшей обработки снимков реализованы три подхода, с использованием которых осуществлено формирование различных вариантов входных данных для моделей сегментации. Первый подход основан на анализе изображения в HU (уровень и ширина окна принимаются равными рекомендованным, считываемым из DICOM, для большинства исследований 40 HU и 400 HU соответственно) при помощи применения порога и выделения контура тела (через анализ размеров и положений). Данный подход необходим для маскирования всего, что лежит за пределами тела пациента: пиксели, относящиеся к областям стола томографа и рук пациента, преобразуются в черные.
Второй подход базируется на одном из методов классической обработки снимков — адаптивном выравнивании гистограмм с ограниченным усилением контраста (Contrast Limited Adaptive Histogram Equalization,
Мужчины Женщины
20 0 Доля снимков, %
Рис. 1. Половозрастное распределение снимков Fig. 1. Age and gender distribution of images
CLAHE). Цель применения подхода заключается в повышении контрастности изображения, в рамках исследования применяются пределы отсечения (Clip Limit, CL), равные 1, 2 и 3.
Для снимков КТ характерно нежелательное изменение значений пикселей — шум. Он приводит к снижению качества изображения и ухудшает контрастное разрешение. Увеличение отношения сигнал/шум (Signal/ Noise Rate, SNR) представляет собой важную задачу. При уменьшении уровня шума должны сохраняться детали исходного изображения, чтобы оно не теряло клинически значимого содержания. Метод шумоподавления на базе применения анизотропного диффузионного фильтра (Anisotropic Diffusion Filter, ADF) лишен недостатков, связанных с размытием краев (для пространственных фильтров), сложностью правильного выбора частотных характеристик (для временных фильтров), порогов и масштабов (для вейвлетов), возникновением артефактов, отбрасыванием деталей мелких структур [18]. Исходя из этого, третий подход служит для предварительной обработки, отвечает за уменьшение уровня шума и основан на ADF.
Для обучения моделей сегментации применены 9 вариантов формирования входных данных:
— одноканальные базовые снимки с переходом к HU (base);
— одноканальные снимки base, на которых замаскировано все, кроме тела пациента (masked);
— одноканальные снимки masked с применением CLAHE с CL, равными 1, 2 и 3 (CLAHE1, CLAHE 2 и CLAHE 3);
— одноканальные снимки masked с примененным ADF
(ADF);
— одноканальные снимки masked с последовательно примененными CLAHE c CL, равным 2, и ADF (CLAHE ADF);
— трехканальные снимки, у которых первый канал представляет masked, второй — CLAHE 2, третий — ADF (3 channels);
— двухканальные снимки, у которых первый канал представляет masked, второй — CLAHE 2 (2 channels).
На рис. 2 показаны разные варианты одного снимка КТ. Этап 2. Сегментация снимков и формирование для них бинарных масок, в которых белые пиксели соответствуют мышечной ткани, а черные — областям, ле-
жащим за ее пределами. Для этого построены, обучены и протестированы 63 нейросетевых модели, имеющие 7 различных архитектур (для каждого из 9 вариантов входных данных — отдельная сеть). Все реализованные архитектуры объединяет то, что в основе лежат две подсети (кодер и декодер), однако каждая из них имеет свои особенности:
— U-Net представляет собой базовую архитектуру, самую легковесную из рассмотренных;
— Attention U-Net имеет ворота внимания, которые позволяют сети подавлять ненужные области и сосредотачивать внимание на существенных деталях различных форм и размеров;
— U-Net++ основана на вложенных плотных пропускных соединениях, введение которых призвано устранить семантический разрыв между картами признаков кодера и декодера;
— ResU-Net основана на использовании остаточных соединений, изучающих остаточные признаки со ссылкой на входные данные;
— Inception U-Net имеет блоки, которые позволяют использовать несколько типов размера фильтра вместо того, чтобы ограничиваться одним размером;
— Dense U-Net основана на замене базовых блоков U-Net на плотные блоки, позволяющей создавать более глубокие модели для более точной сегментации;
— U2-Net представляет собой двухуровневую вложенную архитектуру, способную захватывать больше контекстной информации из разных масштабов и увеличивающую глубину анализа.
Этап 3. Постобработка бинарных масок сегментации, предсказываемых моделями, для устранения «артефактов» сегментации — белых пикселей, лежащих вне области интереса. Этот этап важен, так как позволяет предотвратить не только некорректную оценку площади мышечной ткани, но и ошибки в определении ее показателей в HU (минимум, максимум, среднее, стандартное отклонение). Предложенный алгоритм постобработки базируется на анализе контуров:
— белые пиксели, лежащие внутри эллипса, вписанного в область интереса (ограничена внутренней стороной мышечной ткани), преобразуются в черные;
— белые пиксели, лежащие за пределами эллипса, описанного вокруг области интереса (ограничивает внешнюю стороной мышечной ткани), преобразуются в черные.
abed
Рис. 2. Варианты входных снимков: base (a); CLAHE 2 (b); ADF (c); CHALE ADF (d) Fig. 2. Variations of input images: base (a); CLAHE 2 (b); ADF (c); CHALE ADF (d)
всем описанным типам входных данных. Ко всем маскам, предсказанным моделями, применен алгоритм постобработки, что позволило повысить значения DSC и IoU в среднем на 0,18 % и 0,32 %. Для 5 архитектур из 7 рассмотренных входных данных с применением методов обработки дают лучшие DSC, чем базовые снимки с переходом к HU. В 6 случаях из 7 обработанных данных получены наилучшие значения IoU. Самая легкая из рассмотренных архитектур, U-Net, имеющая 1 940 817 обучаемых параметров с применением данных 3 channel, достигла значения DSC, которое всего на 0,0015 меньше, чем максимальное из достигнутых (для Inception U-Net, имеющей 18 082 757 обучаемых параметров). При этом U-Net требует значительно меньше вычислительных и временных ресурсов для обучения, а также обеспечивает возможность использования модуля на менее мощных вычислительных устройствах. Это говорит о преимуществах применения предложенного подхода к формированию входных данных для моделей сегментации.
Время обработки модулем одного снимка в зависимости от выбранной модели сегментации (табл. 2) измерено для двух конфигураций вычислительного устройства: с графическим процессором NVIDIA GeForce RTX 3080 и без него, т. е. только с центральным процессором. Среднее время обработки снимка для конфигурации с центрального процессора не превышает 2 с, что значительно меньше времени, затрачиваемого рентгенологом при ручной разметке.
Таблица 1. Значения DSC и IoU Table 1. DSC and IoU values
"Гиды входных данных Aрхитектуры моделей сегментации
U-Net Attention U-Net U-Net++ ResU-Net Inception U-Net Dense U-Net U2-Net
Значения DSC
base 0,9320 0,9235 0,9333 0,9366 0,9346 0,9374 0,9358
masked 0,9302 0,9288 0,9321 0,9290 0,9353 0,9341 0,9350
CLAHE 1 0,9322 0,9062 0,9317 0,9322 0,9355 0,9325 0,9370
CLAHE 2 0,9304 0,9296 0,9287 0,9303 0,9329 0,9349 0,9343
CLAHE S 0,9315 0,9202 0,9287 0,9296 0,9339 0,9333 0,9351
ADF 0,9328 0,9277 0,9338 0,9341 0,9379 0,9360 0,9347
CLAHE ADF 0,9295 0,9297 0,9290 0,9241 0,9323 0,9357 0,9353
S channels 0,9364 0,9180 0,9330 0,9363 0,9333 0,9370 0,9350
2 channels 0,9310 0,9285 0,9356 0,9342 0,9351 0,9349 0,9366
Значения IoU
base 0,8735 0,8583 0,8765 0,8811 0,8770 0,8821 0,8796
masked 0,8700 0,8679 0,8737 0,8679 0,8783 0,8771 0,8781
CLAHE 1 0,8722 0,8330 0,8728 0,8742 0,8789 0,8727 0,8810
CLAHE 2 0,8691 0,8688 0,8688 0,8701 0,8745 0,8772 0,8755
CLAHE S 0,8713 0,8525 0,8682 0,8679 0,8760 0,8749 0,8772
ADF 0,8736 0,8669 0,8771 0,8771 0,8824 0,8796 0,8767
CLAHE ADF 0,8673 0,8691 0,8678 0,8602 0,8748 0,8789 0,8787
S channels 0,8802 0,8506 0,8760 0,8804 0,8759 0,8822 0,8779
2 channels 0,8706 0,8675 0,8794 0,8778 0,8779 0,8770 0,8802
Полученные результаты
Программный код разработанного модуля реализован на языке Python. Для создания, обучения и тестирования моделей сегментации использован фреймворк Keras, созданный на базе платформы TensorFlow.
Модуль получает на вход файл DICOM, формирует входные данные для модели, преобразуя содержащийся в нем снимок к необходимому виду, сегментирует снимок, обрабатывает полученную маску сегментации. На рис. 3 показан пример предварительно обработанного снимка и соответствующих ему масок сегментации мышечной ткани: истинной (сформирована рентгенологом) и предсказанной (результат работы модуля).
Для оценки моделей сегментации применены две метрики: DSC и пересечение над объединением (Intersection over Union, IoU). Для их расчета использованы следующие формулы:
\pred П ground truthl
DSC = 2- -5-=-L,
\pred\ + \ground_truth\
\pred П ground_truth\
IoU =-.
|pred U ground Jruth
где pred — маска, предсказанная моделью; groundtruth — маска, полученная при разметке снимка рентгенологом. Значения DSC и IoU (табл. 1) рассчитаны для масок тестовых выборок, соответствующих
abc
Рис. 3. Пример снимка и соответствующих ему масок сегментации: снимок модификации masked (a); истинная (b);
предсказанная (c)
Fig. 3. Example of an image and corresponding segmentation masks: masked image (a); true mask (b); predicted mask (c)
Таблица 2. Среднее время обработки одного снимка, мс Table 2. Average processing time per image, ms
Архитектуры моделей сегментации Конфигурация вычислительного устройства
c графическим и центральным процессорами c центральным процессором
U-Net 42,0 133
Attention U-Net 54,0 389
U-Net++ 60,0 510
ResU-Net 52,2 358
Inception U-Net 90,8 1650
Dense U-Net 72,5 685
U2-Net 102,0 925
Контуры, формируемые модулем сегментации, позволяют получать оценку площади мышц. Далее эта площадь должна быть нормализована к квадрату роста, чтобы быть репрезентативной для оценки мышечной массы человека в целом. Исходя из этого, следующим шагом при КТ-саркометрии является вычисление ске-летно-мышечного индекса, равного отношению полученного показателя площади скелетной мускулатуры на уровне тела L3 позвонка к квадрату показателя роста пациента. Расчет скелетно-мышечного индекса (SMI) выполняется по формуле:
S
SMI = — h2
где S — площадь всех групп мышц, попавших в срез, см2; h — рост человека, м.
Далее полученные значения скелетно-мышечного индекса сравниваются с референсными. Большинство авторов считают пороговым значением SMI, ниже которого состояние мышечной ткани расценивается как саркопения: 52,4 см2/м2 для мужчин и 38,5 см2/м2 для женщин [19, 20].
Заключение
Разработан программный модуль, позволяющий в автоматическом режиме сегментировать мышечную
ткань по снимкам компьютерной томографии на уровне позвонка L3, тем самым упрощая процесс оценки мышечной массы при диагностике саркопении. Для обучения нейросетевых моделей собран и размечен набор данных, содержащий 207 снимков компьютерной томографии брюшной полости. Несмотря на небольшой объем обучающей выборки, достигнуты значения: коэффициента схожести Дайса равное 0,9374 и пересечение над объединением — 0,8822. Реализован ряд подходов к формированию входных данных моделей, позволяющих повысить точность сегментации. Один из подходов приближает точность легковесной U-Net к точностям более сложных архитектур, что является важным для применения в условиях ограниченных вычислительных ресурсов при применении в клинической практике. Результаты исследования подтверждают целесообразность применения компьютерного зрения для оценки показателей мышечной ткани, поэтому в рамках его развития планируется собрать и разметить больше обучающих данных, а также разработать модуль автоматического поиска снимка на уровне позвонка L3 по полной компьютерной томограмме пациента, модуль анализа гистограмм в единицах Хаунсфилда, программу для отображения медицинских данных с возможностью интеграции вышеупомянутых модулей.
Литература
1. Шеберова Е.В., Силантьева Н.К., Агабабян Т.А., Потапов А.Л., Невольских А.А., Иванов С.А., Каприн А.Д. Роль компьютерной томографии в диагностике саркопении // Сибирский онкологический журнал. 2023. Т. 22. № 3. С. 125-133. https://doi. org/10.21294/1814-4861-2023-22-3-125-133
2. Агабабян Т.А., Кукарская В.А., Силантьева Н.К., Потапов А.Л., Скоропад В.Ю., Шеберова Е.В., Дорожкин А.Д., Иванов С.А., Каприн А.Д. Роль КТ-саркометрии в прогнозировании послеоперационных осложнений у больных раком желудка // Современная онкология. 2023. Т. 25. № 3. С. 284-288. https://doi.org/10.26442/ 18151434.2023.3.202260
3. Tagliafico A.S., Bignotti B., Torri L., Rossi F. Sarcopenia: how to measure, when and why // La radiologia medica. 2022. V. 127. N 3. P. 228-237. https://doi.org/10.1007/s11547-022-01450-3
4. Shen W., Punyanitya M., Wang Z., Gallagher D., St-Onge M.P., Albu J., Heymsfield S.B., Heshka S. Total body skeletal muscle and adipose tissue volumes: estimation from a single abdominal cross-sectional image // Journal of Applied Physiology. 2004. V. 97. N 6. P. 2333-2338. https://doi.org/10.1152/japplphysiol.00744.2004
5. Van den Broeck J., Sealy M.J., Brussaard C., Kooijman J., Jager-Wittenaar H., Scafoglieri A. The correlation of muscle quantity and quality between all vertebra levels and level L3, measured with CT: An exploratory study // Frontiers in Nutrition. 2023. V. 10. P. 1148809. https://doi.org/10.3389/fnut.2023.1148809
6. Vedire Y., Nitsche L., Tiadjeri M., McCutcheon V., Hall J., Barbi J., Yendamuri S., Ray A.D. Skeletal muscle index is associated with long term outcomes after lobectomy for non-small cell lung cancer // BMC Cancer. 2023. V. 23. N 1. P. 778. https://doi.org/10.1186/s12885-023-11210-9
7. Сморчкова А.К., Петряйкин А.В., Семёнов Д.С., Шарова Д.Е. Саркопения: современные подходы к решению диагностических задач // Digital Diagnostics. 2022. Т. 3. № 3. C. 196-211. https://doi. org/10.17816/DD110721
8. Burns J.E., Yao J., Chalhoub D., Chen J.J., Summers R.M. A machine learning algorithm to estimate sarcopenia on abdominal CT // Academic Radiology. 2020. V. 27. N 3. P. 311-320. https://doi. org/10.1016/j.acra.2019.03.011
9. Graffy P.M., Liu J., Pickhardt P. J., Burns J.E., Yao J., Summers R.M. Deep learning-based muscle segmentation and quantification at abdominal CT: application to a longitudinal adult screening cohort for sarcopenia assessment // British Journal of Radiology. 2019. V. 92. N 1100. P. 20190327. https://doi.org/10.1259/bjr.20190327
10. Blanc-Durand P., Schiratti J.B., Schutte K., Jehanno P., Herent P., Pigneur F., Lucidarme O., Benaceur Y., Sadate A., Luciani A., Ernst O., Rouchaud A., Creze M., Dallongeville A., Banaste N., Cadi M., Bousaid I., Lassau N., Jegou S. Abdominal musculature segmentation and surface prediction from CT using deep learning for sarcopenia assessment // Diagnostic and Interventional Imaging. 2020. V. 101. N 12. P. 789-794. https://doi.org/10.1016/j.diii.2020.04.011
11. Ackermans L.L.G.C., Volmer L., Wee L., Brecheisen R., Sánchez-González P., Seiffert A.P., Gómez E.J., Dekker A., Ten Bosch J.A., Olde Damink S.M.W., Blokhuis T.J. Deep learning automated segmentation for muscle and adipose tissue from abdominal computed tomography in polytrauma patients // Sensors. 2021. V. 21. N 6. P. 2083. https://doi.org/10.3390/s21062083
12. Kreher R., Hinnerichs M., Preim B., Saalfeld S., Surov A. Deep-learning-based Segmentation of Skeletal Muscle Mass in Routine Abdominal CT Scans // In Vivo. 2022. V. 36. N 4. P. 1807-1811. https://doi.org/10.21873/invivo.12896
13. Song G., Zhou J., Wang K., Yao D., Chen S., Shi Y. Segmentation of multi-regional skeletal muscle in abdominal CT image for cirrhotic sarcopenia diagnosis // Frontiers in Neuroscience. 2023. V. 17. P. 1203823. https://doi.org/10.3389/fnins.2023.1203823
14. Dabiri S., Popuri K., Cespedes Feliciano E.M., Caan B.J., Baracos V.E., Beg M.F. Muscle segmentation in axial computed tomography (CT) images at the lumbar (L3) and thoracic (T4) levels for body composition analysis // Computerized Medical Imaging and Graphics. 2019. V. 75. P. 47-55. https://doi.org/10.1016/j. compmedimag.2019.04.007
15. Gu S., Wang L., Han R., Liu X., Wang Y., Chen T., Zheng Z. Detection of sarcopenia using deep learning-based artificial intelligence body part measure system (AIBMS) // Frontiers in Physiology. 2023. V. 14. P. 1092352. https://doi.org/10.3389/ fphys.2023.1092352
References
1. Sheberova E.V., Silanteva N.K., Agababian T.A., Potapov A.L., Nevolskikh A.A., Ivanov S.A., Kaprin A.D. Role of computed tomography in sarcopenia detection. Siberian Journal of Oncology, 2023, vol. 22, no. 3, pp. 125-133. (in Russian). https://doi. org/10.21294/1814-4861-2023-22-3-125-133
2. Agababyan T.A., Kukarskaya V.A., Silanteva N.K., Potapov A.L., Skoropad V.YU., Sheberova E.V., Dorozhkin A.D., Ivanov S.A., Kaprin A.D. CT sarcometry in the prediction of postoperative complications in patients with gastric cancer: retrospective cohort study. Journal ofModern Oncology, 2023, vol. 25, no. 3, pp. 284-288. (in Russian). https://doi.org/10.26442/18151434.20233.202260
3. Tagliafico A.S., Bignotti B., Torri L., Rossi F. Sarcopenia: how to measure, when and why. La radiologia medica, 2022, vol. 127, no. 3, pp. 228-237. https://doi.org/10.1007/s11547-022-01450-3
4. Shen W., Punyanitya M., Wang Z., Gallagher D., St-Onge M.P., Albu J., Heymsfield S.B., Heshka S. Total body skeletal muscle and adipose tissue volumes: estimation from a single abdominal cross-sectional image. Journal of Applied Physiology, 2004, vol. 97, no. 6, pp. 2333-2338. https://doi.org/10.1152/japplphysiol.00744.2004
5. Van den Broeck J., Sealy M.J., Brussaard C., Kooijman J., Jager-Wittenaar H., Scafoglieri A. The correlation of muscle quantity and quality between all vertebra levels and level L3, measured with CT: An exploratory study. Frontiers in Nutrition, 2023, vol. 10, pp. 1148809. https://doi.org/10.3389/fnut.2023.1148809
6. Vedire Y., Nitsche L., Tiadjeri M., McCutcheon V., Hall J., Barbi J., Yendamuri S., Ray A.D. Skeletal muscle index is associated with long term outcomes after lobectomy for non-small cell lung cancer. BMC Cancer, 2023, vol. 23, no. 1, pp. 778. https://doi.org/10.1186/s12885-023-11210-9
7. Smorchkova A.K., Petraikin A.V., Semenov D.S., Sharova D.E. Sarcopenia: Modern approaches to solving diagnosis problems. Digital Diagnostics, 2022, vol. 3, no. 3, pp. 196-211. https://doi. org/10.17816/DD110721
8. Burns J.E., Yao J., Chalhoub D., Chen J.J., Summers R.M. A machine learning algorithm to estimate sarcopenia on abdominal CT. Academic Radiology, 2020, vol. 27, no. 3, pp. 311-320. https://doi.org/10.1016/j. acra.2019.03.011
9. Graffy P.M., Liu J., Pickhardt P. J., Burns J.E., Yao J., Summers R.M. Deep learning-based muscle segmentation and quantification at abdominal CT: application to a longitudinal adult screening cohort for sarcopenia assessment. British Journal of Radiology, 2019, vol. 92, no. 1100, pp. 20190327. https://doi.org/10.1259/bjr.20190327
10. Blanc-Durand P., Schiratti J.B., Schutte K., Jehanno P., Herent P., Pigneur F., Lucidarme O., Benaceur Y., Sadate A., Luciani A., Ernst O., Rouchaud A., Creze M., Dallongeville A., Banaste N., Cadi M., Bousaid I., Lassau N., Jegou S. Abdominal musculature segmentation and surface prediction from CT using deep learning for sarcopenia assessment. Diagnostic and Interventional Imaging, 2020, vol. 101, no. 12, pp. 789-794. https://doi.org/10.1016/j.diii.2020.04.011
11. Ackermans L.L.G.C., Volmer L., Wee L., Brecheisen R., Sánchez-González P., Seiffert A.P., Gómez E.J., Dekker A., Ten Bosch J.A., Olde Damink S.M.W., Blokhuis T.J. Deep learning automated segmentation for muscle and adipose tissue from abdominal computed tomography in polytrauma patients. Sensors, 2021, vol. 21, no. 6, pp. 2083. https://doi.org/10.3390/s21062083
12. Kreher R., Hinnerichs M., Preim B., Saalfeld S., Surov A. Deep-learning-based Segmentation of Skeletal Muscle Mass in Routine Abdominal CT Scans. In Vivo, 2022, vol. 36, no. 4, pp. 1807-1811. https://doi.org/10.21873/invivo.12896
13. Song G., Zhou J., Wang K., Yao D., Chen S., Shi Y. Segmentation of multi-regional skeletal muscle in abdominal CT image for cirrhotic sarcopenia diagnosis. Frontiers in Neuroscience, 2023, vol. 17, pp. 1203823. https://doi.org/10.3389/fnins.2023.1203823
14. Dabiri S., Popuri K., Cespedes Feliciano E.M., Caan B.J., Baracos V.E., Beg M.F. Muscle segmentation in axial computed tomography (CT) images at the lumbar (L3) and thoracic (T4) levels for body composition analysis. Computerized Medical Imaging and Graphics, 2019, vol. 75, pp. 47-55. https://doi.org/10.1016/j. compmedimag.2019.04.007
15. Gu S., Wang L., Han R., Liu X., Wang Y., Chen T., Zheng Z. Detection of sarcopenia using deep learning-based artificial intelligence body part measure system (AIBMS). Frontiers in Physiology, 2023, vol. 14, pp. 1092352. https://doi.org/10.3389/ fphys.2023.1092352
16. Islam S., Kanavati F., Arain Z., Da Costa O.F., Crum W., Aboagye E.O., Rockall A.G. Fully automated deep-learning section-based muscle segmentation from CT images for sarcopenia assessment // Clinical Radiology. 2022. V. 77. N 5. P. e363-e371. https://doi.org/10.1016/j.crad.2022.01.036
17. Takahashi N., Sugimoto M., Psutka S.P., Chen B., Moynagh M.R., Carter R.E. Validation study of a new semi-automated software program for CT body composition analysis // Abdominal Radiology. 2017. V. 42. N 9. P. 2369-2375. https://doi.org/10.1007/s00261-017-1123-6
18. Kaur R., Juneja M., Mandal A.K. A comprehensive review of denoising techniques for abdominal CT images // Multimedia Tools and Applications. 2018. V. 77. N 17. P. 22735-22770. https://doi. org/10.1007/s11042-017-5500-5
19. Масенко В.Л., Коков А.Н., Григорьева И.И., Кривошапова К.Е. Лучевые методы диагностики саркопении // Исследования и практика в медицине. 2019. Т. 6. № 4. С. 127-137. https://doi. org/10.17709/2409-2231-2019-6-4-13
20. Lee J.S., Kim Y.S., Kim E.Y., Jin W. Prognostic significance of CT-determined sarcopenia in patients with advanced gastric cancer // PLoS ONE. 2018. V. 13. N 8. P. e0202700. https://doi.org/10.1371/ journal.pone.0202700
Авторы
Теплякова Анастасия Романовна — преподаватель, аспирант, Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ» (ИАТЭ НИЯУ МИФИ), Обнинск, 249039, Российская Федерация, sc 57220985322, https://orcid.org/0000-0001-8612-3850, [email protected]
Шершнев Роман Владимирович — старший преподаватель, Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ» (ИАТЭ НИЯУ МИФИ), Обнинск, 249039, Российская Федерация, https://orcid.org/0009-0000-2324-5893, rvshershnev@ yandex.ru
Старков Сергей Олегович — доктор физико-математических наук, профессор, старший научный сотрудник, Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ» (ИАТЭ НИЯУ МИФИ), Обнинск, 249039, Российская Федерация, sc 6701907645, https://orcid.org/0000-0002-0420-7856, [email protected]
Агабабян Татев Артаковна — кандидат медицинских наук, заведующая отделением, Медицинский радиологический научный центр им. А.Ф. Цыба — филиал ФГБУ «Национальный медицинский исследовательский центр радиологии» Минздрава России, Обнинск, 249036, Российская Федерация, sc 57202285176, https://orcid.org/0000-0002-9971-3451, [email protected]
Кукарская Валерия Андреевна — клинический ординатор, Медицинский радиологический научный центр им. А.Ф. Цыба — филиал ФГБУ «Национальный медицинский исследовательский центр радиологии» Минздрава России, Обнинск, 249036, Российская Федерация, https://orcid.org/0009-0001-4872-3182, [email protected]
Статья поступила в редакцию 21.11.2023 Одобрена после рецензирования 25.12.2023 Принята к печати 24.01.2024
16. Islam S., Kanavati F., Arain Z., Da Costa O.F., Crum W., Aboagye E.O., Rockall A.G. Fully automated deep-learning section-based muscle segmentation from CT images for sarcopenia assessment. Clinical Radiology, 2022, vol. 77, no. 5, pp. e363-e371. https://doi.org/10.1016/j.crad.2022.01.036
17. Takahashi N., Sugimoto M., Psutka S.P., Chen B., Moynagh M.R., Carter R.E. Validation study of a new semi-automated software program for CT body composition analysis. Abdominal Radiology, 2017, vol. 42, no. 9, pp. 2369-2375. https://doi.org/10.1007/s00261-017-1123-6
18. Kaur R., Juneja M., Mandal A.K. A comprehensive review of denoising techniques for abdominal CT images. Multimedia Tools and Applications, 2018, vol. 77, no. 17, pp. 22735-22770. https://doi. org/10.1007/s11042-017-5500-5
19. Masenko V.L., Kokov A.N., Grigoreva I.I., Krivoshapova K.E. Radiology methods of the sarcopenia diagnosis. Research and Practical Medicine Journal, 2019, vol. 6, no. 4, pp. 127-137. (in Russian). https://doi.org/10.17709/2409-2231-2019-6-4-13
20. Lee J.S., Kim Y.S., Kim E.Y., Jin W. Prognostic significance of CT-determined sarcopenia in patients with advanced gastric cancer. PLoS ONE, 2018, vol. 13, no. 8, pp. e0202700. https://doi.org/10.1371/ journal.pone.0202700
Authors
Anastasia R. Teplyakova — PhD Student, Lecturer, Obninsk Institute for Nuclear Power Engineering, Obninsk, 249039, Russian Federation, sc 57220985322, https://orcid.org/0000-0001-8612-3850, anastasija-t23@ mail.ru
Roman V. Shershnev — Senior Lecturer, Obninsk Institute for Nuclear Power Engineering, Obninsk, 249039, Russian Federation, https://orcid. org/0009-0000-2324-5893, [email protected]
Sergey O. Starkov — D.Sc. (Physics & Mathematics), Professor, Senior Researcher, Obninsk Institute for Nuclear Power Engineering, Obninsk, 249039, Russian Federation, sc 6701907645, https://orcid.org/0000-0002-0420-7856, [email protected]
Tatev A. Agababian — PhD (Medicine), Head of Department, A. Tsyb Medical Radiological Research Centre — branch of the National Medical Research Radiological Center of the Ministry of Health of the Russia, Obninsk, 249036, Russian Federation, sc 57202285176, https://orcid. org/0000-0002-9971-3451, [email protected]
Valeria A. Kukarskaya — Clinical Resident, A. Tsyb Medical Radiological Research Centre — branch of the National Medical Research Radiological Center of the Ministry of Health of the Russia, Obninsk, 249036, Russian Federation, https://orcid.org/0009-0001-4872-3182, [email protected]
Received 21.11.2023
Approved after reviewing 25.12.2023
Accepted 24.01.2024
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
