CC BY
3
НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ июль-август 2024 Том 24 № 4 http://ntv.ifmo.ru/
I/ITMO SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
July-August 2024 Vol. 24 No 4 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
КРАТКИЕ СООБЩЕНИЯ BRIEF PAPERS
doi: 10.17586/2226-1494-2024-24-4-661-664 УДК 004.891
Метод сегментации мышечной ткани на снимках компьютерной томографии на базе предобработанных трехканальных изображений
Анастасия Романовна Теплякова1®, Роман Владимирович Шершнев2, Сергей Олегович Старков3
2'2'3 Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ» (ИАТЭ НИЯУ МИФИ), Обнинск, 249039, Российская Федерация
1 anastasija-t23@maiLrus, https://orcid.org/0000-0001-8612-3850
2 [email protected], https://orcid.org/0009-0000-2324-5893
3 [email protected], https://orcid.org/0000-0002-0420-7856
Аннотация
Представлены результаты исследования влияния метода предобработки, основанного на формировании трехканальных изображений, на точность моделей сегментации мышечной ткани на срезах компьютерной томографии, соответствующих уровням позвонков грудного и поясничного отделов позвоночника. На данных масштабного набора Sparsely Annotated Region and Organ Segmentation обучено и протестировано 10 моделей. Получены значения коэффициента схожести Дайса и пересечения над объединением в диапазонах 0,9339-0,9421 и 0,8737-0,8885. Применение трехканального подхода к формированию входных данных повысило точность моделей четырех архитектур из пяти рассмотренных. Обученные модели могут применяться для быстрой и точной разметки мышечной ткани в процессе диагностики. Ключевые слова
компьютерное зрение, сегментация, компьютерная томография, мышечная ткань, диагностика, U-Net Ссылка для цитирования: Теплякова А.Р., Шершнев Р.В., Старков С.О. Метод сегментации мышечной ткани на снимках компьютерной томографии на базе предобработанных трехканальных изображений // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 4. С. 661-664. doi: 10.17586/2226-1494-2024-24-4-661-664
Method of muscle tissue segmentation in computed tomography images based on preprocessed three-channel images
Anastasia R. Teplyakova1«, Roman V. Shershnev2, Sergey O. Starkov3
i'2'3 Obninsk Institute for Nuclear Power Engineering, Obninsk, 249039, Russian Federation
1 [email protected]«, https://orcid.org/0000-0001-8612-3850
2 [email protected], https://orcid.org/0009-0000-2324-5893
3 [email protected], https://orcid.org/0000-0002-0420-7856
Abstract
The results of a study of a preprocessing influence method based on the formation of three-channel images on the accuracy of muscle tissue segmentation models on the computed tomography scans corresponding to the levels of the vertebrae of the thoracic and lumbar spine are presented. Ten models have been trained and tested on the Sparsely Annotated Region and Organ Segmentation dataset. The values of the Dice similarity coefficient and the Intersection over Union in the ranges of 0.9353-0.9421 and 0.8737-0.8885 were obtained. The use of a three-channel approach to the formation of input data increased the accuracy of models of four of the five architectures considered. Trained models can be used to quickly and accurately annotate muscle tissue during the diagnostic process.
© Теплякова А.Р., Шершнев Р.В., Старков С.О., 2024
Keywords
computer vision, segmentation, computed tomography, muscle tissue, diagnostics, U-Net
For citation: Teplyakova A.R., Shershnev R.V, Starkov S.O. Method of muscle tissue segmentation in computed tomography images based on preprocessed three-channel images. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2024, vol. 24, no. 4, pp. 661-664 (in Russian). doi: 10.17586/2226-1494-2024-24-4-661-664
Результаты исследования, описанного в работе [1], подтвердили целесообразность применения методов компьютерного зрения для решения задачи сегментации мышечной ткани на снимках компьютерной томографии (КТ) на уровне позвонка L3: даже при использовании в процессе обучения выборки малого объема модели продемонстрировали высокие значения коэффициента схожести Дайса (Dice similarity coefficient, DSC) и пересечения над объединением (Intersection over Union, IoU). В настоящей работе модели обучались уже на масштабном наборе данных, который включает в себя срезы КТ на уровнях всех позвонков грудного (Th1-Th12) и поясничного (L1-L5) отделов. Срезы на этих уровнях могут быть использованы для оценки количественных и качественных показателей мышечной ткани при отсутствии срезов на уровне позвонка L3 [2-5], что делает модели более универсальными. Предложенный подход к предобработке основан на формировании трехканальных снимков, каналы которых представляют вариации исходного снимка: с маскированием всего, что выходит за пределы тела пациента; с применением адаптивного выравнивания гистограмм с ограниченным усилением контраста; с применением анизотропного диффузного фильтра. Этот подход позволил повысить точность сегментации легковесной модели U-Net на малой обучающей выборке, в настоящей работе осуществляется оценка его влияния на точность моделей, обученных на масштабном наборе данных.
За основу взят набор данных Sparsely Annotated Region and Organ Segmentation (SAROS), опубликованный в 2023 году1. Он создан с использованием данных из The Cancer Imaging Archive (TCIA) [6] и включает 13 семантических меток областей тела, в число которых входит мышечная ткань. Разметка сначала выполнялась автоматически, затем вручную корректировалась ординаторами; в отобранных 900 сериях DICOM ей подвергался каждый пятый аксиальный срез [7]. Несмотря на недавнее появление набора SAROS, данные из него уже используются исследователями [8]. В настоящей работе из набора SAROS было отобрано 597 серий КТ, исходные снимки которых взяты из коллекций с открытым доступом. В выборку вошли 273 исследования пациентов мужского и 324 — женского пола. Далее из каждой серии выбраны аксиальные срезы, ограниченные уровнями позвонков Th1-Th12, L1-L5 и имеющие соответствующие маски сегментации. В результате сформирован набор, содержащий 5851 пару срезов и
1 Koitka S., Baldini G., Kroll L., van Landeghem N., Haubold J., Sung Kim M., Kleesiek J., Nensa F., Hosch R. SAROS A large, heterogeneous, and sparsely annotated segmentation dataset on CT imaging data (SAROS) (Version 2) [Data set]. The Cancer Imaging Archive. 2023. https://doi.org/10.25737/ SZ96-ZG60
соответствующих масок бинарной сегментации мышечной ткани в обучающей выборке (488 исследований), 651 пару — в валидационной (49 исследований) и 716 пар — в тестовой (60 исследований).
Для экспериментов в рамках исследования выбраны архитектуры U-Net, ResU-Net, Attention U-Net, U-Net++, Dense U-Net. В программе для обучения моделей сегментации мышечной ткани по снимкам КТ [9] произведена предварительная обработка снимков обучающей, валидационной и тестовой выборок. Для каждой из пяти выбранных архитектур обучено по две модели на входных данных в исходном и трехканаль-ном видах. Все 10 моделей протестированы на данных тестовой выборки. На рисунке показаны примеры троек, состоящих из исходных снимков КТ тестовой выборки, соответствующих им истинных бинарных масок мышечной ткани из набора данных SAROS и бинарных масок, предсказанных моделью.
Для оценки точности обученных моделей использованы две метрики: DSC и IoU. При расчете их значений (таблица) сопоставлялись истинные маски сегментации и маски, предсказанные обученными моделями. Произведено сравнение значений метрик для моделей одних и тех же архитектур, обученных на исходных (одноканальных) и предобработанных (трехканальных) снимках. Для архитектур ResU-Net, Attention U-Net и U-Net++ применение трехканальных входных данных повысило значения DSC и IoU, для Dense U-Net — только IoU. Увеличения значений метрик DSC и IoU для моделей с архитектурами U-Net, ResU-Net, Attention U-Net для всей тестовой выборки лежат в диапазонах 0,0011-0,0015 и 0,0012-0,0014. Отметим, что при визуальной оценке результатов сегментации отдельных срезов моделями, работающими с одно- и трехканальными снимками, выявлено уменьшение количества артефактов и повышение точности для трехканальных модификаций. Замечено, что эти срезы соответствуют преимущественно уровням позвонков Th1-Th2, L5. Количество срезов, для которых наблюдается увеличение DSC и IoU более 0,01, составляет 11-14 % от всей тестовой выборки для моделей с архитектурами ResU-Net, Attention U-Net и U-Net++. Для остальных срезов точность сегментации с предобработкой остается близкой к точности сегментации без предобработки. Это говорит о целесообразности применения предлагаемого метода предобработки при работе с моделями этих архитектур преимущественно для срезов на уровнях Th1-Th2, L5. Подчеркнем, что для модели с архитектурой U-Net применение трехка-нальных входных данных при обучении не на малом, а на масштабном наборе данных не дало увеличения значений DSC и IoU по всей тестовой выборке, при этом для отдельных подвыборок тестовых срезов (для уровней Th1-Th2, L5) точность сегментации повысилась, для других — понизилась. Максимальные значе-
А.Р. Теплякова, Р.В. Шершнев, С.О. Старков
L4
Th8
Th2
О Ф Ö
О 0£> Г)
Рисунок. Примеры снимков компьютерной томографии на уровнях разных позвонков и соответствующие маски сегментации: исходные снимки (а); истинные (b) и предсказанные (с) маски Figure. Examples of computed tomography scans at different vertebral levels and corresponding segmentation masks: scans (a); true
masks (b); predicted masks (с)
ния метрик DSC и IoU продемонстрировала модель с архитектурой Dense U-Net, имеющая значительно больше обучаемых параметров по сравнению с остальными рассмотренными и требующая больше вычислительных ресурсов. В ходе визуальной оценки результатов сегментации отдельных срезов установлено, что за счет большого количества обучаемых параметров модель Dense U-Net, работающая с одноканальными снимками, так же четко сегментирует мышечную ткань, как и работающая с трехканальными. Можно сделать вывод о равнозначности двух рассмотренных модификаций Dense U-Net (DSC различаются незначительно, IoU выше у трехканальной).
Полученные результаты позволяют применять предлагаемый метод для анализа снимков КТ всего диапазона уровней, соответствующих грудному и поясничному отделам позвоночника. В дальнейшем планируется разработать модуль автоматического нахождения снимков на уровнях, соответствующих позвонкам, которые могут быть сегментированы новыми моделями, а также модуль анализа получаемых результатов сегментации. Также предполагается выполнение оценки влияния предложенного метода формирования трехканальных входных данных, повысившего точность бинарной сегментации мышечной ткани для нескольких архитектур, на точность бинарной и мультиклассовой сегментации других тканей или органов.
Таблица. Значения метрик DSC и IoU Table. DSC and IoU values
Тип входных снимков Архитектуры моделей сегментации
U-Net ResU-Net Attention U-Net U-Net++ Dense U-Net
DSC
одноканальные 0,9386 0,9380 0,9378 0,9339 0,9421
трехканальные 0,9386 0,9395 0,9389 0,9353 0,9419
IoU
одноканальные 0,8822 0,8802 0,8815 0,8737 0,8874
трехканальные 0,8819 0,8816 0,8828 0,8749 0,8885
Литература
1. Теплякова А.Р., Шершнев Р.В., Старков С.О., Агабабян Т.А., Кукарекая В.А. Сегментация мышечной ткани на снимках компьютерной томографии на уровне позвонка L3 // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24. № 1. С. 124-132. https://doi.org/10.17586/2226-1494-2024-24-1-124-132
2. Van den Broeck J., Sealy M.J., Brussaard C., Kooijman J., Jager-Wittenaar H., Scafoglieri A. The correlation of muscle quantity and quality between all vertebra levels and level L3, measured with CT: An exploratory study // Frontiers in Nutrition. 2023. V. 10. P. 1148809. https://doi.org/10.3389/fnut.2023.1148809
3. Arayne A.A., Gartrell R., Qiao J., Baird P.N., Yeung J.M. Comparison of CT derived body composition at the thoracic T4 and T12 with lumbar L3 vertebral levels and their utility in patients with rectal cancer // BMC Cancer. 2023. V. 23. N 1. P. 56. https://doi.org/10.1186/ s12885-023-10522-0
4. Molwitz I., Ozga A.K., Gerdes L., Ungerer A., Köhler D., Ristow I., Leiderer M., Adam G., Yamamura J. Prediction of abdominal CT body composition parameters by thoracic measurements as a new approach to detect sarcopenia in a COVID-19 cohort // Scientific Reports. 2022. V. 12. N 1. P. 6443. https://doi.org/10.1038/s41598-022-10266-0
5. Vangelov B., Bauer J., Kotevski D., Smee R.I. The use of alternate vertebral levels to L3 in computed tomography scans for skeletal muscle mass evaluation and sarcopenia assessment in patients with cancer: a systematic review // British Journal of Nutrition. 2022. V. 127. N 5. P. 722-735. https://doi.org/10.1017/S0007114521001446
6. Clark K., Vendt B., Smith K., Freymann J., Kirby J., Koppel P., Moore S., Phillips S., Maffitt D., Pringle M., Tarbox L., Prior F. The Cancer Imaging Archive (TCIA): maintaining and operating a public information repository // Journal of Digital Imaging. 2013. V. 26. N 6. P. 1045-1057. https://doi.org/10.1007/s10278-013-9622-7
7. Koitka S., Baldini G., Kroll L., van Landeghem N., Pollok O.B., Haubold J., Pelka O., Kim M., Kleesiek J., Nensa F., Hosch R. SAROS: A dataset for whole-body region and organ segmentation in CT imaging // Scientific Data. 2024. V. 11. N 1. P. 483. https://doi. org/10.1038/s41597-024-03337-6
8. Hou B., Mathai T.S., Liu J., Parnell C., Summers R.M. Enhanced muscle and fat segmentation for CT-based body composition analysis: a comparative study // International Journal of Computer Assisted Radiology and Surgery. 2024. in press. https://doi.org/10.1007/ s11548-024-03167-2
9. Теплякова А.Р., Шершнев Р.В. Программа для обучения моделей сегментации мышечной ткани по снимкам компьютерной томографии: Свидетельство о государственной регистрации программы для ЭВМ RU2024612322. 31.01.2024. Бюл. № 2.
References
1. Teplyakova A.R., Shershnev R.V., Starkov S.O., Agababian T. A., Kukarskaya V.A. Segmentation of muscle tissue in computed tomography images at the level of the L3 vertebra. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2024, vol. 24, no. 1, pp. 124-132. (in Russian). https://doi. org/10.17586/2226-1494-2024-24-1-124-132
2. Van den Broeck J., Sealy M.J., Brussaard C., Kooijman J., Jager-Wittenaar H., Scafoglieri A. The correlation of muscle quantity and quality between all vertebra levels and level L3, measured with CT: An exploratory study. Frontiers in Nutrition, 2023, vol. 10, pp. 1148809. https://doi.org/10.3389/fnut.2023.1148809
3. Arayne A.A., Gartrell R., Qiao J., Baird P.N., Yeung J.M. Comparison of CT derived body composition at the thoracic T4 and T12 with lumbar L3 vertebral levels and their utility in patients with rectal cancer. BMC Cancer, 2023, vol. 23, no. 1, pp. 56. https://doi. org/10.1186/s12885-023-10522-0
4. Molwitz I., Ozga A.K., Gerdes L., Ungerer A., Köhler D., Ristow I., Leiderer M., Adam G., Yamamura J. Prediction of abdominal CT body composition parameters by thoracic measurements as a new approach to detect sarcopenia in a COVID-19 cohort. Scientific Reports, 2022, vol. 12, no. 1, pp. 6443. https://doi.org/10.1038/ s41598-022-10266-0
5. Vangelov B., Bauer J., Kotevski D., Smee R.I. The use of alternate vertebral levels to L3 in computed tomography scans for skeletal muscle mass evaluation and sarcopenia assessment in patients with cancer: a systematic review. British Journal of Nutrition, 2022, vol. 127, no. 5, pp. 722-735. https://doi.org/10.1017/ S0007114521001446
6. Clark K., Vendt B., Smith K., Freymann J., Kirby J., Koppel P., Moore S., Phillips S., Maffitt D., Pringle M., Tarbox L., Prior F. The Cancer Imaging Archive (TCIA): maintaining and operating a public information repository. Journal of Digital Imaging, 2013, vol. 26, no. 6, pp. 1045-1057. https://doi.org/10.1007/s10278-013-9622-7
7. Koitka S., Baldini G., Kroll L., van Landeghem N., Pollok O.B., Haubold J., Pelka O., Kim M., Kleesiek J., Nensa F., Hosch R. SAROS: A dataset for whole-body region and organ segmentation in CT imaging. Scientific Data, 2024, vol. 11, no. 1, pp. 483. https:// doi.org/10.1038/s41597-024-03337-6
8. Hou B., Mathai T.S., Liu J., Parnell C., Summers R.M. Enhanced muscle and fat segmentation for CT-based body composition analysis: a comparative study. International Journal of Computer Assisted Radiology and Surgery, 2024, in press. https://doi.org/10.1007/ s11548-024-03167-2
9. Teplyakova A.R., Shershnev R.V. Program for training muscle tissue segmentation models from computed tomography images. Certificate of state registration of a computer program RU2024612322, 31.01.2024. (in Russian)
Авторы
Теплякова Анастасия Романовна — преподаватель, аспирант, Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ» (ИАТЭ НИЯУ МИФИ), Обнинск, 249039, Российская Федерация, sc 57220985322, https://orcid.org/0000-0001-8612-3850, [email protected]
Шершнев Роман Владимирович — старший преподаватель, Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ» (ИАТЭ НИЯУ МИФИ), Обнинск, 249039, Российская Федерация, sc 58703693700, https://orcid.org/0009-0000-2324-5893, [email protected]
Старков Сергей Олегович — доктор физико-математических наук, старший научный сотрудник, профессор, Обнинский институт атомной энергетики — филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский ядерный университет «МИФИ» (ИАТЭ НИЯУ МИФИ), Обнинск, 249039, Российская Федерация, sc 6701907645, https://orcid.org/0000-0002-0420-7856, [email protected]
Authors
Anastasia R. Teplyakova — PhD Student, Lecturer, Obninsk Institute for Nuclear Power Engineering, Obninsk, 249039, Russian Federation, sc 57220985322, https://orcid.org/0000-0001-8612-3850, anastasija-t23@ mail.ru
Roman V. Shershnev — Senior Lecturer, Obninsk Institute for Nuclear Power Engineering, Obninsk, 249039, Russian Federation, sc 58703693700, https://orcid.org/0009-0000-2324-5893, rvshershnev@ yandex.ru
Sergey O. Starkov — D.Sc. (Physics & Mathematics), Senior Researcher, Professor, Obninsk Institute for Nuclear Power Engineering, Obninsk, 249039, Russian Federation, sc 6701907645, https://orcid.org/0000-0002-0420-7856, [email protected]
Статья поступила в редакцию 20.05.2024 Одобрена после рецензирования 17.06.2024 Принята к печати 18.07.2024
Received 20.05.2024
Approved after reviewing 17.06.2024
Accepted 18.07.2024
