Определение границы раздела сред по трёхмерным данным матричного ультразвукового датчика с использованием свёрточных нейронных сетей

Васюков Алексей Викторович

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ INFORMATION TECHNOLOGY

U) Check for updates

Оригинальное теоретическое исследование

https://doi.org/10.23947/2587-8999-2024-8-2-6Q-67 Определение границы раздела сред

по трёхмерным данным матричного ультразвукового датчика с использованием свёрточных нейронных сетей А.В. Васюков

Московский физико-технический институт (национальный исследовательский университет), г. Долгопрудный, Российская Федерация

H vasyukov.av@mipt.ru Аннотация

Введение. Работа посвящена моделированию процесса ультразвукового медицинского исследования в гетерогенной среде, в которой присутствуют области с существенно разной скоростью звука. Такие постановки задач возникают, например, при визуализации структур мозга через череп. Целью данной работы является сравнение возможных подходов к определению границы раздела акустически контрастных сред с использованием свёрточных нейронных сетей.

Материалы и методы. В работе выполняется численное моделирование прямой задачи — получение синтетических расчётных ультразвуковых изображений по известной геометрии и реологии области, а также параметрам датчика. На расчётных изображениях воспроизводятся искажения и артефакты, типичные для постановок со стенкой черепа. Для решения обратной задачи определения границы раздела сред по сигналу с датчика используются свёрточные нейронные сети 2D и 3D структуры, следующие общей архитектуре UNet. Сети обучаются на наборах расчётных данных, после чего тестируются на отдельных примерах, не использованных при обучении.

Результаты исследования. Получены расчётные В-сканы для характерных постановок. Показана возможность локализации границы аберратора с хорошим качеством как для 2D, так и для 3D свёрточных сетей. Показано более высокое качество результата для 3D сетей в случае наличия значительного шума и артефактов во входных данных. Установлено, что сеть 3D архитектуры может обеспечить получение формы границы раздела сред за 0,1 секунды.

Обсуждение и заключения. Результаты работы могут быть использованы для развития технологий транскраниального ультразвукового исследования. Быстрая локализация границы стенки черепа может быть включена в алгоритмы построения изображения для компенсации искажений, вызванных различием скоростей звука в костных и в мягких тканях.

Ключевые слова: транскраниальное УЗИ, матричный датчик, аберрации, математическое моделирование, сеточно-характеристический метод, сверточные сети

Финансирование. Работа выполнена при финансовой поддержке Российского научного фонда (код проекта 22-11-00142).

Для цитирования. Васюков А.В. Определение границы раздела сред по данным матричного ультразвукового датчика с использованием свёрточных нейронных сетей. Computational Mathematics and Information Technologies. 2024;8(2):60-67. https://doi.org/10.23947/2587-8999-2024-8-2-6Q-67

Original Theoretical Research

Locating the Interface between Different Media Based

on Matrix Ultrasonic Sensor Data Using Convolutional Neural Networks

Alexey V. Vasyukov

Moscow Institute ofPhysics and Technology (National Research University), Dolgoprudny, Russian Federation Bvasyukov.av@mipt.ru

Abstract

Introduction. The study focuses on modelling the process of ultrasound medical examination in a heterogeneous environment with regions of significantly different sound speeds. Such scenarios typically arise when visualizing brain structures through the skull. The aim of this work is to compare possible approaches to determining the interface between acoustically contrasting media using convolutional neural networks.

Materials and Methods. Numerical modelling of the direct problem is performed, obtaining synthetic calculated ultrasonic images based on known geometry and rheology of the area as well as sensor parameters. The calculated images reproduce distortions and artifacts typical for setups involving the skull wall. Convolutional neural networks of 2D and 3D structures following the UNet architecture are used to solve the inverse problem of determining the interface between media based on a sensor signal. The networks are trained on computational datasets and then tested on individual samples not used in training.

Results. Numerical B-scans for characteristic setups were obtained. The possibility of localizing the aberrator boundary with good quality for both 2D and 3D convolutional networks was demonstrated. A higher quality result was obtained for the 3D network in the presence of significant noise and artifacts in the input data. It was established that the 3D architecture network can provide the shape of the interface between media in 0.1 seconds.

Discussion and Conclusions. The results can be used for the development of transcranial ultrasound technologies. Rapid localization of the skull boundary can be incorporated into imaging algorithms to compensate for distortions caused by differences in sound velocities in bone and soft tissues.

Keywords: transcranial ultrasound, matrix probe, aberrations, mathematical modelling, grid-characteristic method, convolutional networks

Funding information. The work was carried out with financial support from the Russian Science Foundation (project 22-11-00142).

For citation. Vasyukov A.V. Locating the interface between different media based on matrix ultrasonic sensor data using convolutional neural networks. Computational Mathematics and Information Technologies. 2024;8(2):60-67. https://doi.org/10.23947/2587-8999-2024-8-2-60-67

Введение. Данная работа рассматривает задачу формирования ультразвукового изображения в гетерогенной среде, в которой присутствуют области с существенно разной скоростью звука. Такая постановка ориентирована на дальнейшее приложение к задачам визуализации структур мозга через кости черепа. Несмотря на многолетнее развитие медицинской техники, конкретно эта задача на данный момент всё ещё является крайне сложной — существующие методики имеют множество ограничений и требуют крайне высокой квалификации специалиста, проводящего исследование.

Проблема следует из того факта, что типовые алгоритмы, на которые опирается работа распространённого коммерчески доступного оборудования, основаны на том, что скорость звука в исследуемой области изменяется слабо. Это предположение уместно, когда речь идёт о мягких тканях. Однако, при исследовании мозга через череп данное базовое предположение не выполняются, из-за чего традиционные подходы к формированию ультразвуковых изображений дают сильно искажённую картину [1].

В рамках данной работы рассматривается задача определения положения границы раздела двух сред — жёсткой (модельной стенки черепа) и мягкой (модельной ткани мозга). Требуется, чтобы предложенный метод решения задачи мог работать в режиме, близком к реальному времени, что обеспечит возможность его прикладного использования. В будущем быстрое решение задачи локализации границы стенки черепа может быть включено в алгоритмы построения изображения для компенсации искажений, вызванных различием скоростей звука в костных и в мягких тканях.

Для решения данной задачи рассматриваются свёрточные нейронные сети. Выбор обусловлен богатым опытом их использования для родственных биомедицинских задач, а также возможностью обеспечить высокую скорость их работы. В работе [2] свёрточные сети были применены для задач УЗИ, работа [3] показала возможность их использования в задачах эластографии, в публикациях [4-6] изложен опыт использования свёрточных сетей для трёхмерных ультразвуковых данных. При этом использование данного общего подхода требует аккуратности и калибровки для каждой конкретной задачи [7].

Материалы и методы. При решении прямой задачи в работе выполняется численное моделирование процесса распространения ультразвукового импульса в образце для получения синтетических расчётных ультразвуковых изображений по известной геометрии и реологии области, а также параметрам датчика.

Для описания среды используется приближение акустики [8]. Эта модель является значительным упрощением по сравнению с полной системой уравнений упругости, в ней присутствуют только продольные волны, сдвиговых волн в акустическом приближении нет. Тем не менее, этот подход широко используется для описания ультразвуковых импульсов в биологических тканях, так как в них для ультразвука коэффициент затухания сдвиговых волн на четыре порядка больше, чем продольных [9].

Для численного решения прямой задачи используется метод трассировки лучей с реконструкцией волнового фронта [1], который позволяет получить расчётные ультразвуковые изображения, качественно и количественно соответствующие экспериментальным данным. Метод позволяет описывать отражение от протяжённых границ и от точечных отражателей. В рамках данной работы граница между слоями и границы крупных пор описываются как протяжённые границы, а малые отражатели в среде считаются точечными. После регистрации отражённого сигнала выполняется его обработка и построение В-скана по алгоритмам из [10].

Обратная задача в рамках данной работы — определение формы границы раздела акустически контрастных слоев. Входными данными для решения обратной задачи является отклик от среды, зарегистрированный матричным ультразвуковым датчиком. Выходными данными обратной задачи является положение границы раздела двух сред.

Для решения обратной задачи определения границы раздела сред по сигналу с датчика используются свёр-точные нейронные сети.

Для обучения нейронных сетей формировался набор синтетических данных из результатов 1024 расчётов прямой задачи. Для тестирования сетей использовались отдельно подготовленные примеры, которые не входили в обучающую выборку.

В данной работе исследуются 2D и 3D сети с целью сравнения результатов. Все свёрточные сети следуют общей архитектуре UNet [11]. Глубина как 2D, так и 3D сети составляла 4 блока.

В случае 2D сети объём трёхмерных данных представляется как набор двумерных срезов. При обработке каждого среза на вход сети подаются три канала — целевой срез и два соседних, что до некоторой степени позволяет сети получить информацию о трёхмерном окружении объектов на срезе [12, 13].

В случае 3D сети на вход подаются трёхмерные данные, при этом используется подход на основе патчей [14, 15], так как он позволяет гибко управлять требованиями к оперативной памяти на GPU при обработке входных данных большого размера.

Результаты исследования. Постановка прямой задачи предполагает расчёт распространения ультразвукового сигнала в области, содержащей границу между акустически контрастными слоями. Расчетная область представляет собой параллелепипед. Верхняя грань параллелепипеда соответствует внешней границе области, в центре которой расположен матричный ультразвуковой датчик. Вне зоны контакта с датчиком верхняя грань моделируется как свободная поверхность. В области расположения датчика задаётся профиль внешнего давления. Для трёх остальных границ расчётной области ставится неотражающее граничное условие.

В рассмотренной постановке предполагается, что граница между двумя акустически контрастными слоями гладкая, может иметь произвольную форму. Кроме того, верхний слой содержит множество мелких отражателей, которые создают фоновый шум на итоговом ультразвуковом изображении, а также некоторое количество крупных пор, отклик от которых по интенсивности сравним с отражением от границы между слоями.

Скорость звука в обоих слоях постоянная. Верхний слой более жесткий, скорость звука в нём принимается 3,0 км/с. Нижний слой более мягкий, скорость звука в нём 1,5 км/с. Число мелких отражателей в расчётах варьировалось от 100 до 2500. Число крупных пор — от5до 50.

Матричный датчик имеет квадратную форму 24*24 элемента. Датчик излучает сигнал с частотой 3 МГц. Частота дискретизации при приёме сигнала составляет 45 МГц. Итоговая размерность полученных данных 24*24x1024. Здесь 24x24 — физические размеры датчика, а 1024 — количество отсчётов по времени, записанных в ходе эксперимента каждым элементом датчика.

На рис. 1 представлен профиль границы раздела сред в одном из расчётов. Показаны четыре среза полных трёхмерных данных — положение границы под рядами элементов датчика с 5-го по 8-ой. По вертикальной оси — 24 элемента матричного датчика в данном срезе. По горизонтальной оси — отсчёты по времени. На рисунке изображение обрезано до первых 400 отсчётов из полного набора в 1024 отсчёта.

На рис. 2 продемонстрировано необработанное ультразвуковое изображение для данного расчёта. Общий «шум», который визуально виден как флуктуации интенсивности серого фона, связан с большим количеством малых отражателей в среде. Граница раздела сред видна как область интенсивного отклика переменной амплитуды. Видны отдельные яркие отклики от крупных пор на глубинах 50, 70, 90, 110, 130 и особенно 230 (последние два среза на рисунке). Данные яркие отклики особенно сильно мешают автоматической обработке изображения, так как даже превышают по интенсивности отклик от искомой границы.

На рис. 3 и 4 показаны результаты работы свёрточной сети 2Б структуры. На рис. 5 и 6 — результаты для ЗБ сети.

0 20

20

0 20

Срез 5

0 50

100

150 200 250

Срез 7

150 200 250

Срез 8

300 350

100 150 200 250 300

Рис. 1. Расположение границыразделасред

Срез 5

0 50

100

150 200 250

Срез 6

150 200 250

Срез 7

300 350

150 200 250

Срез 8

0 50

100 150 200 250 300 350

Рис. 2. Ультразвуковое изображение (В-скан)

Срез 5

150 200 250 _Срез 7_

150 200 250

Срез 8

50

100 150 200 250 300 350

Рис. 3. Предсказания 2D сети в исходном виде

0

20 -(I 0

0 20

0

0 20

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

0 20

50

100

150

200

Срез 6

250

300

350

Рис. 4. Предсказания 2Б сети после бинаризации Срез 5

шя

0 50 100 150 200 Срез 6 250 300 350

0 50 100 150 200 Срез 7 250 300 350

щ

0 50 100 150 200 Срез 8 250 300 350

0 50 100 150 200 250 300 350

Рис. 5. Предсказания ЗБ сети в исходном виде

Срез 5

0 50 100 150 200 Срез 6 250 300 350

0 50 100 150 200 Срез 7 250 300 350

0 50 100 150 200 Срез 8 250 300 350

100

150

200

250

300

350

Рис. 6. Предсказания ЗБ сети после бинаризации

Обсуждение и заключения. Результаты работы показывают, что свёрточная сеть ЗБ структуры демонстрирует заметно лучшие результаты по определению формы и положения границы по сравнению с подходом обработки трёхмерного массива данных в виде срезов с использованием 2Б сетей.

0

На качественном уровне видно, что граница в целом определяется корректно в обоих сценариях, однако для 3D сети существенно меньше её размытие. Отдельно стоит отметить, что 3D сеть практически не подвержена во входном сигнале влиянию шума и помех, как случайных, так и вызванных наличием крупных ярких отражателей. Результаты 2D сети (рис. 3 и 4) показывают значительное количество срабатываний в области перед искомой границей — там, где в объекте находились крупные поры. Это не является какой-либо случайной ошибкой — сеть решает задачу сегментации с целью обнаружить акустически контрастные границы и границы пор также попадают в эту категорию. Однако этот эффект является нежелательным. При использовании 3D сети (рис. 5 и 6) проблемы этого рода практически исключены. Это связано с тем, что трёхмерная структура входных данных позволяет свёрточной сети в полной мере использовать пространственную информацию об отражателях и обучиться игнорировать геометрически малые объекты.

Полное время выполнения всех операций над одним трёхмерным изображением с использованием 3D сети составляло около 0,1 секунды на коммерчески доступных видеокартах. Таким образом, показана возможность локализации границы аберратора в реальном времени с хорошим качеством. Этот факт может быть использован в дальнейшем для создания новых алгоритмов построения ультразвуковых изображений с применением методов компенсации искажений, вызванных различием скоростей звука в тканях.

Список литературы

1. Beklemysheva К.А., Grigoriev G.K., Kulberg N.S., Petrov I.B., Vasyukov A.V., Vassilevski Y.V Numerical simulation of aberrated medical ultrasound signals. Russian Journal of Numerical Analysis and Mathematical Modelling. 2018;33(5):277-288. https://doi.org/10.1515/rnam-2018-0023

2. Perdios D., Vonlanthen M., Martinez F., Arditi M., Thiran J.P. Single-shot CNN-based ultrasound imaging with sparse linear arrays. In: 2020 IEEE International Ultrasonics Symposium (IUS). Las Vegas, NV, USA; 2020. P. 1-4. https://doi.org/10.1109/IUS46767.2020.9251442

3. Patel D., Tibrewala R., Vega A., Dong L., Hugenberg N., Oberai A. Circumventing the solution of inverse problems in mechanics through deep learning: Application to elasticity imaging. Computer Methods in Applied Mechanics and Engineering. 2019;353:448-466. https://doi.Org/10.1016/j.cma.2019.04.045

4. Hongya Lu, Haifeng Wang, Qianqian Zhang, Sang Won Yoon, Daehan Won. A 3D Convolutional Neural Network for Volumetric Image Semantic Segmentation. Procedia Manufacturing. 2019;39:422-428. https://doi.Org/10.1016/j.promfg.2020.01.386

5. Potocnik В., Save M. Deeply-Supervised 3D Convolutional Neural Networks for Automated Ovary and Follicle Detection from Ultrasound Volumes. Applied Sciences. 2022;12(3):1246. https://doi.org/10.3390/appl2031246

6. Brown K., Dormer J., Fei В., Hoyt K. Deep 3D convolutional neural networks for fast super-resolution ultrasound imaging. Proceedings SPIE 10955, Medical Imaging 2019: Ultrasonic Imaging and Tomography. 2019;10955:1095502. https://d0i.0rg/lQ.l 117/12.2511897

7. MastT.D., HinkelmanL.M., Metlay L.A., OrrM.J., WaagR.C. Simulation of ultrasonic pulse propagation, distortion, and attenuation in the human chest wall. J.Acoust. Soc.Amer. 1999;6:3665-3677. https://doi.Org/10.1121/l.428209

8. Madsen E.L., Sathoff H.J., Zagzebski J.A. Ultrasonic shear wave properties of soft tissues and tissuelike materials. J.Acoust. Soc.Am. 1983;74(5):1346-1355. https://doi.Org/10.1121/l.390158

9. Vassilevski Y.V, Beklemysheva K.A., Grigoriev G.K., Kulberg N.S., Petrov I.B., Vasyukov A.V Numerical modelling of medical ultrasound: phantom-based verification. Russian Journal of Numerical Analysis and Mathematical Modelling. 2017;32(5):339-346. https://doi.org/10.1515/rnam-2017-0032

10. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Lecture Notes in Computer Science. 2015;9351:234-241. https://doi.org/10.1007/978-3-319-24574-4_28

11. Paserin O., Mulpuri K., Cooper A., Abugharbieh R., Hodgson A. Improving 3D Ultrasound Scan Adequacy Classification Using a Three-Slice Convolutional Neural Network Architecture. In: CAOS 2018 (EPiC Series in Health Sciences Vol 2). Beijing, China; 2018. P. 152-156. https://doi.org/10.29007/2tct

12. Jiang M., Spence J.D., Chiu B. Segmentation of 3D ultrasound carotid vessel wall using U-Net and segmentation average network. In: 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). Montreal, QC, Canada; 2020. P. 2043-2046. https://doi.org/10.1109/EMBC44109.2020.9175975

13. Zheng Y., Liu D., Georgescu В., Nguyen H., Comaniciu D. 3D deep learning for efficient and robust landmark detection in volumetric data. Lecture Notes in Computer Science. 2015;9349:565-572. https://doi.org/10.1007/978-3-319-24553-9_69

14. Ghimire K., Chen Q., Feng X. Patch-Based 3D UNet for Head and Neck Tumor Segmentation with an Ensemble of Conventional and Dilated Convolutions. Lecture Notes in Computer Science. 2021;12603:78-84. https://doi.org/10.1007/978-3-03Q-67194-5_9

15. Coupeau P., Fasquel J.B., Mazerand E., Menei P., Montero-Menei C.N., Dinomais M. Patch-based 3D U-Net and transfer learning for longitudinal piglet brain segmentation on MRI. Computer Methods and Programs in Biomedicine. 2022;214:106563. https://doi.Org/10.1016/j.cmpb.2021.106563

References

1. Beklemysheva K.A., Grigoriev G.K., Kulberg N.S., Petrov I.B., Vasyukov A.V., Vassilevski Y.V Numerical simulation of aberrated medical ultrasound signals. Russian Journal of Numerical Analysis and Mathematical Modelling. 2018;33(5):277-288. https://doi.org/10.1515/rnam-2018-0023