CC BY
27
ИНФОРМАТИКА
УДК 501.1
Использование сверточной нейронной сети для автоматизации
построения двумерных твердотельных моделей позвонков
А. С. Бескровный, Л. В. Бессонов, Д. В. Иванов И. В. Кириллова, Л. Ю. Коссович
Бескровный Александр Сергеевич, аспирант, научный сотрудник лаборатории систем поддержки принятия врачебных решений, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, Россия, 410012, г. Саратов, ул. Астраханская, д. 83, beskrovnyas@gmail.com
Бессонов Леонид Валентинович, кандидат физико-математических наук, ведущий научный сотрудник лаборатории систем поддержки принятия врачебных решений, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 410012, г. Саратов, ул. Астраханская, д. 83, bessonov@sgu.ru
Иванов Дмитрий Валерьевич, кандидат физико-математических наук, ведущий научный сотрудник лаборатории систем поддержки принятия врачебных решений, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 410012, г. Саратов, ул. Астраханская, д. 83, ivanovdv@gmail.com
Кириллова Ирина Васильевна, кандидат физико-математических наук, заведующий лабораторией систем поддержки принятия врачебных решений, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 410012, г. Саратов, ул. Астраханская, д. 83, nano-bio@sgu.ru
Коссович Леонид Юрьевич, доктор физико-математических наук, научный руководитель лаборатории систем поддержки принятия врачебных решений, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 410012, г. Саратов, ул. Астраханская, д. 83, president@sgu.ru
Для биомеханического моделирования требуется построение твердотельной модели исследуемого биологического объекта. При моделировании элементов позвоночно-тазового комплекса наиболее точно требуемую твердотельную модель
© Бескровный Л. С., Бессонов Л. В., Иванов Д. В., Кириллова П. В., Коссович Л. Ю., 2020
можно построить на основе данных компьютерной томографии конкретного пациента. Задача построения модели по данным компьютерной томографии может быть решена в ручном режиме с применением программных пакетов обработки медицинских данных или с помощью систем автоматизированного проектирования. Такой подход применяется многими исследователями и позволяет создавать точные твердотельные модели, но является трудоемким и длительным. В связи с этим автоматизация построения твердотельных моделей, пригодных для выполнения биомеханических расчетов, является актуальной задачей. В статье предложен подход автоматизации построения твердотельной модели по данным компьютерной томографии. Представлена реализация предложенного подхода для создания двумерных твердотельных моделей тел позвонков в сагиттальной проекции. Для автоматического распознавания позвонков использована искусственная нейронная сеть Mask-RCNN. Оценка качества выполненного нейронной сетью распознавания выполнена на основе сравнения по мере Серенсена с ручной сегментацией, выполненной практикующими врачами. Применение метода дает возможность существенно ускорить процесс моделирования костных структур позвоночника в двумерном случае. Результаты реализации применены при разработке модуля твердотельных моделей, который включен в состав системы поддержки принятия врачебных решений SmartPlan Ortho 2D, разработанной в СГУ имени Н. Г. Чернышевского в рамках проекта Фонда перспективных исследований.
Ключевые слова: SmartPlan Ortho 2D, твердотельная модель, биомеханическое моделирование, позвоночно-тазовый комплекс, компьютерная томография, DICOM, сверточная нейронная сеть, Mask-RCNN, 2D-сегментирование, мера Серенсена.
Поступила в редакцию: 19.05.2019 / Принята: 30.06.2019 / Опубликована: 30.11.2020 Статья опубликована на условиях лицензии Creative Commons Attribution License (CC-BY4.0) DOI: https://doi.org/10.18500/1816-9791-2020-20-4-502-516
ВВЕДЕНИЕ
Хирургическое лечение заболеваний и повреждений позвоночно-тазового комплекса требует индивидуального предоперационного планирования. Современный уровень развития науки позволяет на этапе планирования оценить стабильность систем фиксации, срок службы имплантатов, подобрать и позиционировать им-плантаты для каждого конкретного пациента с учетом данных медицинского диагностического оборудования [1,2]. Другими словами, врач может пользоваться инструментами биомеханической (количественной) оценки того или иного варианта хирургического лечения заболеваний и повреждений позвоночно-тазового комплекса до проведения операции, не выполняя никаких инвазивных процедур. По сути, биомеханическое моделирование предоставляет возможность проведения «виртуальных» операций с количественным анализом результата лечения.
Биомеханическое моделирование невозможно без построения высокоточных персонифицированных твердотельных моделей биологических объектов по данным компьютерной томографии [3]. Процедура твердотельного моделирования в ручном режиме весьма трудоемка. В этой связи автоматизация процесса построения твердотельных моделей для решения задач биомеханики является очень актуальной задачей.
Таким образом, важной задачей является разработка программной системы, способной в автоматическом режиме распознать (сегментировать) медицинское
изображение, полученное от компьютерного томографа. Под распознаванием (сегментацией) медицинского изображения будем понимать процесс разбиения изображения на множество покрывающих его областей, соответствующих изображенным объектам.
Задача распознавания объектов на медицинских изображениях для создания твердотельных геометрических моделей биологических объектов может быть сведена к выделению контура области интереса на изображении и группировке набора точек, соответствующих отдельным пикселям из области интереса. В настоящее время существуют различные алгоритмы [4, 5] полуавтоматического распознавания медицинских изображений. Разработаны и программные комплексы, такие как Mimics, AMIDE, DICOM Viewer [6]. Однако их применение в предоперационном планировании затруднено в связи с их высокой стоимостью, сложностью освоения и трудоемкостью самого процесса обработки медицинских изображений в ручном режиме.
Многие авторы работают над проблемой автоматизации обработки медицинских данных. В частности, одним из перспективных и современных методов выделения контура объекта на изображении является метод активных контуров [7,8]. В основе алгоритма лежит идея деформации исходного внешнего или внутреннего контура, имеющего форму очень грубого приближения к форме выделяемого объекта сдавливающими и распирающими силами. Задача оконтуривания значительно усложняется, если контур объекта размыт или недостаточно гладкий. Это приводит к усилению влияния шумов, плохой сходимости итерационного процесса, неточному воспроизведению контуров.
С помощью метода активных контуров можно найти границу объекта на изображении в том случае, если начальная граница изображения и весовые коэффициенты задаются пользователем, что не подходит для автоматизации задачи сегментирования [9].
На сегодняшний день использование искусственных нейронных сетей сформировало новый подход к автоматическому распознаванию изображений [10]. Свойства сетей, такие как устойчивость к шуму и возможность реализации приложений быстрой обработки больших объемов данных, а также простота реализации привели к росту их использования в задачах сегментации медицинских изображений. Алгоритмы сегментации на основе искусственных нейронных сетей отличаются друг от друга по типу нейронной сети, алгоритму обучения и формированию тренировочного набора. Наиболее используемыми являются сверточные нейронные сети и их разновидности [11].
В данной работе представлены результаты адаптации нейронной сети к автоматическому распознаванию тел позвонков на основе сагиттальных срезов данных компьютерной томографии конкретного пациента. Реализовано программное обеспечение модуля твердотельных моделей, входящего в состав системы поддержки принятия врачебных решений в хирургии позвоночно-тазового комплекса SmartPlan Ortho 2D. Показана высокая точность построения твердотельных геометрических моделей тел позвонков, созданных посредством автоматической сегментации сагиттального среза компьютерной томограммы пациента нейронной сетью.
1. МАТЕРИАЛЫ И МЕТОДЫ
Для решения задачи автоматического 2D-сегментирования позвонков была применена искусственная нейронная сеть. Эффективные для этих целей архитек-
туры нейронных сетей подразумевают, что сеть состоит из двух принципиальных подсетей. Первая - подсеть-энкодер, отвечающая за преобразование (свертку) входных данных в набор признаков, размерность которого существенно меньше, чем размерность входного вектора. Вторая - подсеть-декодер, принимающая на вход набор признаков и отвечающая за процесс распознавания объекта. При выборе архитектуры нейронной сети были рассмотрены архитектуры FCN-16s, FNC-32s [12], SegNet [13], DeepMedic [14], DeconvNet [15], LinkNet [16], Mask-RCNN [17].
По результатам сравнения результатов на тестовых выборках была выбрана нейронная сеть Mask-RCNN [17]. Эта нейросеть предназначена для выделения контуров объектов на изображении. Глубокое обучение позволяет обучать модель сети предсказывать результат по набору входных данных. Нейронная сеть позволяет решить следующие задачи:
• классификация изображения по типу объекта;
• определение всех пикселей объектов определенного класса на изображении, обнаружение всех объектов указанного класса;
• определение пикселей, принадлежащих каждому объекту каждого класса по отдельности.
Алгоритмы нейронной сети были модифицированы за счет использования увеличенного набора данных и тонкой настройки для решения поставленной задачи. В качестве магистральной сети используется сверточная нейронная сеть ResNet-101 [18], дающая прирост как в точности классификации изображений, так и в производительности. Проходя через нейронную сеть, изображение преобразуется из матрицы (RGB) 512 х 512 х 3 пикселей в карту объектов формы 32 х 32 х 2048. Эта карта — вход для следующих уровней сети. На следующем уровне изображение сканируется в режиме скользящего окна и находятся области, содержащие объекты. Классификатор и ограничивающее окно-регрессор генерируют два выхода для каждого объекта — класс объекта и ограничительную рамку. В конечном итоге генерируются маски выделенных классификатором объектов. Архитектура нейронной сети представлена на рис. 1.
Рис. 1. Архитектура нейронной сети Mask-RCNN (цвет online) Fig. 1. Architecture of the Mask-RCNN neural network (color online)
Для обучения нейронной сети был построен набор данных, состоящий из 5352 медицинских изображений (формат ЫСОМ) позвонков в сагиттальной проекции без патологий и металлических конструкций. Проверочный набор включал в себя 741 изображение. Тестовый набор — 925 изображений. Каждое изображение содержало от 3 до 9 объектов-позвонков. Разметка медицинских изображений выполнена практикующими врачами. Пример разметки представлен на рис. 2.
а / a б / b
Рис. 2. Разметка медицинского изображения: а — медицинское
изображение; б — размеченные позвонки Fig. 2. Manual marking of the medical image: a — medical image;
b — marked vertebrae
Обучение нейронной сети проводилось на персональном компьютере с процессором Intel (R) Core (TM) i7-8700K частотой 3.70 ГГц и оперативной памятью 32 ГБ. Время обучения сети на 100 эпох (эпоха — одна итерация в процессе обучения, включающая предъявление всех примеров из обучающего множества и проверку качества обучения на контрольном множестве) составило 25 часов.
Пример автоматического 2D-сегментирования позвонков с применением сплайн-интерполяции представлен на рис. 3. Из-за особенности пиксельного сегментирования контур позвонка представлен в виде отрезков. Гладкость контура достигнута
за счет применения интерполяции сплайном [19]. Время построения модели, состоящей из 7 позвонков, на ПК с процессором Intel (R) Core (TM) 13-8100 частотой 3.6 ГГц и оперативной памятью 16 ГБ составило 3 секунды, в то время как ручное создание модели занимает чуть больше 11 минут.
Качество автоматического распознавания тел позвонков по сравнению с ручной разметкой оценивалось на основании коэффициента Серенсена [20], который вычисляется по формуле
K(A, B) = 2
|A n B|
ЩГЩ '
(1)
Рис. 3. Результат 20-сегментирования позвонков нейронной сетью (цвет online) Fig. 3. The result of 2D-segmentation of the vertebrae by the neural network (color online)
где A — множество пикселей, ограниченное обводкой, выполненной практикующим врачом; B — множество пикселей, ограниченное обводкой, выполненной системой распознавания; A П B — множество пикселей, общих для A и B.
Обученная нейронная сеть была встроена в модуль твердотельных моделей системы SmartPlan Ortho 2D. Назначение системы в целом — проведение предоперационного планирования с биомеханической поддержкой хирургического лечения заболеваний и повреждений позвоночно-тазового комплекса. Задачей модуля твердотельных моделей является построение точной индивидуальной модели фрагмента
позвоночно-тазового комплекса пациента по данным компьютерной томографии. На входе модуль получает данные компьютерной томоргафии пациента, а на выходе выдает двумерные твердотельные модели каждого из элементов зоны интереса для их дальнейшей обработки и биомеханического анализа.
Модуль твердотельных моделей реализован согласно сервис-ориентированному архитектурному подходу. В качестве базовых технологий реализации использованы язык программирования Python, библиотеки Pydicom, Scikit-image, TensorFlow, Keras, NumPy, VTK, PyQT.
Библиотека Pydicom применена для интерпретации формата DICOM. Она позволяет читать, изменять и записывать DICOM-данные. Для элементарной обработки изображений (фильтрация, пороговое отсечение, коррекция яркости и контрастности) применена библиотека Scikit-image.
Для решения задач машинного обучения и математических обработок примены следующие библиотеки:
• TensorFlow — открытая программная библиотека для машинного обучения, разработанная для решения задач построения и тренировки нейронной сети, в проекте применена ее Python-адаптация;
• Keras — открытая нейросетевая Python-библиотека для эффективной разработки нейронных сетей глубого обучения;
• NumPy (Numeric Python) — open-source-библиотека, содержащая общие математические и числовые операции в виде пре-скомпилированных, быстрых функций;
Для визуализации применены следующие библиотеки:
• VTK (Visualization Toolkit) — открытая кроссплатформенная библиотека для трехмерного моделирования, обработки изображений и прикладной визуализации, исходным языком библиотеки является C++, поэтому для применения ее в проекте на языке Python была применена Python-адаптация;
• PyQT — Python-адаптация GUI-библиотеки Qt с открытым исходным кодом, которая также функционирует как кросс-платформенная среда разработки приложений.
2. ПРОГРАМНАЯ РЕАЛИЗАЦИЯ
Для реализации системы SmartPlan Ortho 2D (и модуля твердотельных моделей, в частности) была выбрана сервис-ориентированная архитектура. Принципиально важной особенностью такого архитектурного подхода является «слабая связанность» компонентов между собой. Иными словами, отдельные компоненты системы взаимосвязаны лишь сетевым образом, посредством REST API. Это позволяет сделать систему распределенной, при этом разместить отдельные компоненты на различных программно-аппаратных платформах: на отдельных компьютерах под управлением различных операционных систем.
В случае модуля твердотельных моделей компонентное распределение выглядит следующим образом (рис. 4):
• управляющие компоненты модуля твердотельных моделей, включающие:
- графический интерфейс пользователя модуля;
- компоненты доработки и подготовки твердотельных моделей;
- компонент анализа медицинского изображения;
• cервис сегментации, обработки и хранения медицинских изображений.
SmartPlan Ortho 2D
Рис. 4. Компонентное распределение модуля твердотельных моделей Fig. 4. Component distribution of the module of solid models
Посредством REST API компоненты модуля твердотельных моделей связаны с другими модулями системы SmartPlan Ortho 2D.
В выполненной программной реализации управляющие компоненты модуля твердотельных моделей представляют собой единый комплекс, размещаемый на рабочем месте пользователя системы. Этот комплекс позволяет осуществить выбор и загрузку медицинского изображения, запустить задачу автоматической сегментации, доработать выполненную сегментацию, провести дополнительный анализ медицинского изображения для целей дальнейшего биомеханического моделирования и анализа.
Сегментирование медицинских изображений производится автоматизированно сервисом, развернутым на высокопроизводительной программно-аппаратной платформе, посредством обученной нейронной сети. Задачу сегментирования формирует пользователь системы на своем рабочем месте. После того как пользователь выбрал конкретное медицинское изображение, происходит удаленный запуск сегментации посредством REST API. В случае 2D-сегментирования входными данными становится срез компьютерной томограммы в формате DICOM. Результатом сегментирования является набор твердотельных моделей, которые могут быть сохранены в форматах PolyData и STEP.
Качество сегментирования сильно зависит от качества снимка КТ и состояния костной ткани пациента. В некоторых случаях в результаты распознавания могут быть добавлены «мусорные» артефакты. Помимо этого, из-за зашумленности томограммы и/или особенностей костной ткани пациента, распознанные модели могут иметь неровные края. Например, при остеопорозе костная ткань становится
более хрупкой и менее упругой, а на медицинском изображении пораженный остео-порозом позвонок имеет нечеткие границы. Такое отклонение дает погрешности в автоматическом сегментировании. Чтобы в таких случаях можно было исправить и доработать модель, в модуле твердотельных моделей реализован графический редак-
Редактирование полученных моделей осуществляется путем перемещения точек границы модели. Редактор позволяет удалять артефакты сегментирования, а также перемещать, вращать, масштабировать, сглаживать, создавать и копировать модели.
Для биомеханического моделирования и анализа требуется построить модель, включающую позвонки, межпозвоночные диски, а также систему фиксации. С этой целью в редакторе модуля твердотельных моделей реализован функционал создания тел, а именно: инструменты построения тела по замкнутому контуру, загрузки и добавления моделей из базы данных, булевы операции с телами (сложение, вычитание и пересечение). Пример создания межпозвоночного диска с использованием булевой операции «вычитание» представлен на рис. 5.
Построенная твердотельная модель учитывает индивидуальные особенности геометрии элементов позвоночно-тазового комплекса пациента. Для дальнейшего биомеханического анализа необходимо также учитывать механические свойства этих элементов. Модуль твердотельных моделей авто-матизированно определяет границы тел позвонков. Реализован компонент, позволяющий определить механические свойства костной ткани на основании анализа областей компьютерной томограммы, соответствующих распознанным позвонкам. Для определения механических свойств используются значения чисел Хаунсфилда, соответствующих распознанным телам позвонков, тип томографа и использованное при томографии конволюционное ядро [21]. Данные о индивидуальных механических свойствах каждого из позвонков передаются модулем твердотельных моделей другим модулям системы БшайПап О^Ио 2Э для проведения биомеханического моделирования и анализа.
3. РЕЗУЛЬТАТЫ
Решена задача автоматизированного построения индивидуализированных твердотельных моделей элементов позвоночно-тазового комплекса.
Обучена нейронная сеть, распознающая тела позвонков в сагиттальной плоскости по данным компьютерной томографии. Результат распознавания апробирован практикующими врачами с опытом работы более 20 лет на компьтерных томограммах 5 пациентов в рамках реализации проекта Фонда перспективных исследований. В таблице представлена общая оценка качества автоматического распознавания тел позвонков на основе сравнения по мере Серенсена с ручной разметкой, выполненной медицинскими специалистами.
Рис. 5. Создание межпозвоночного диска с использованием булевой операции «вычитание» (цвет online)
Fig. 5. Creation of an intervertebral disc using a boolean operation "subtraction" (color online)
Таблица / Table Общая оценка качества распознавания нейронной сети General assessment of neural network recognition quality
Пациент Номер Обводка в пикселях Мера Коэффициент
позвонка Нейронная Врач пересечения Серенсена
сеть в пикселях
Patient Vertebra Pixel stroke Intersection Sorensen coefficient
number Neural Doctor measure
network in pixels
1 1036 104Б 1006 0.97
2 10БЗ 1062 925 0.S7
K.P.N 3 102Б 1032 921 0.90
4 1169 11S0 1028 0.SS
5 1БЗ2 1БЗ0 1371 0.90
1 З6Б9 362S 3207 0.SS
2 3492 3493 3103 0.S9
K.N.N. 3 3S34 3859 3734 0.97
4 ЗБ4Б ЗБ41 3198 0.90
5 4326 4З0Б 3754 0.S7
6 406S 4109 3499 0.S6
1 3709 3414 3305 0,93
2 4144 4142 3726 0,90
Z.V.I. 3 4406 44ЗБ 4143 0,94
4 Б297 Б2ЗБ 4879 0,93
5 49S7 5048 4660 0,93
1 12ББ 12SS 1132 0.S9
2 20S1 20Б6 1916 0.93
3 2173 2219 1921 0.S7
U.M.K. 4 2603 2622 2336 0.S9
5 29Б2 2S46 2547 0.SS
6 З07Б 3093 2689 0.S7
7 З42Б 3267 2861 0,S6
8 З47Б 3471 3397 0.9S
1 Б94 619 528 0.S7
2 S00 734 704 0.92
3 7Б4 763 708 0.93
4 1019 970 923 0.93
5 930 941 896 0.96
G.I.V. 6 1213 1202 1113 0.92
7 1171 1166 1004 0.S6
8 97S 9S3 866 0.SS
9 1409 140Б 1372 0.9S
10 174S 1776 1707 0.97
11 1S40 ^4Б 1615 0.SS
Max 0.9S
Min 0.S6
Среднее / Average 0.91
На рис. 6 показана разница между ручным и автоматическим 20-сегментирова-нием одного медицинского изображения.
а / a
б / b
в / c
Рис. 6. Разница в результатах: а — ручная обводка врачом; б — автоматическое распознавание; в — разница между автоматическим и ручным распознаванием (цвет online) Fig 6. Difference in results between manual and automatic segmentation: a — manual outline by a doctor, b — automatic recognition, c — difference between automatic and manual recognition (color online)
Для построения полноценной твердотельной модели, позволяющей провести индивидуальное для пациента биомеханическое моделирование, помимо распознавания тел позвонков потребовалась также реализация редактора твердотельных моделей, позволяющего доработать и дополнить резальтаты распознавания, а также компонента, определяющего индивидуальные механические свойства распознанных тел позвонков.
ЗАКЛЮЧЕНИЕ (ВЫВОДЫ)
Предложенный метод автоматизации построения индивидуальных твердотельных моделей элементов позвоночно-тазового комплекса основан на применении нейронной сети глубокого обучения для автоматической сегментации тел позвонков на сагиттальном срезе компьютерной томографии пациента. Такой подход дает возможность существенно ускорить процесс моделирования костных структур позвоночника для решения задач биомеханики.
Результат автоматического 2Э-сегментирования апробирован практикующими врачами. Точность автоматического распознавания тел позвонков составляет 91%, что является хорошим результатом по сравнению с другими исследованиями, описанными в работе [22].
В качестве ограничений предложенного метода отметим работу при распознавании тел позвонков на зашумленных исходных данных и при анализе томограмм пациентов, страдающих остеопорозом. В этих случаях возможно возникновение на результатах распознавания сорных артефактов и ошибочное определение границ тел позвонков. Такое отклонение дает погрешности в автоматическом сегментировании. Для решения данной проблемы предложен и реализован алгоритм ручного редактирования автоматически распознанных моделей.
Реализованная по предложенному методу система использует результаты распознавания для определения индивидуальных механических свойств распознанных элементов позвоночно-тазового комплекса пациента.
Таким образом, удалось существенно ускорить процесс биомеханического моделирования. Входными данными для моделирования является компьютерная томограмма пациента, а результатом становится твердотельная модель элементов позвоночно-тазового комплекса и системы фиксации (имплантатов), при этом модели тел позвонков наделены механическими свойствами, соответствующими индивидуальным механическим свойствам костной ткани пациента.
Благодарности. Работа выполнена при финансовой поддержке Фонда перспективных исследований (договор № 6/130/2018-2021 от 01.08.2018 г.).
Библиографический список
1. Кожанов И. В., Микитюк С. И., Доль А. В., Иванов Д. В., Харламов А. В., Петров А. В., Коссович Л. Ю, Мануковский В. А. Биомеханическое моделирование вариантов внутренней фиксации односторонних переломов крестца // Травматология и ортопедия России. 2020. Т. 26, № 2. С. 79-90. DOI: https://doi.org/10.21823/2311-2905-2020-26-2-79-90
2. Кудяшев А. Л., Хоминец В. В., Теремшонок А. В., Коростелев К. Е., Нагорный Е. Б., Доль А. В., Иванов Д. В., Кириллова И. В., Коссович Л. Ю. Биомеханические предпосылки формирования проксимального переходного кифоза после транспедикулярной фиксации поясничного отдела позвоночника // Российский журнал биомеханики. 2017. Т. 21, № 3. С. 313-323. DOI: https://doi.org/10.15593/RZhBiomeh/2017.3.07
3. Донник А. М., Иванов Д. В., Коссович Л. Ю., Левченко К. К., Киреев С. И., Морозов К. М., Островский Н. В., Зарецков В. В., Лихачев С. В. Создание трехмерных твердотельных моделей позвоночника с транспедикулярной фиксацией c использованием специализированного программного обеспечения // Изв. Сарат. ун-та. Нов. сер. Сер. Математика. Механика. Информатика. 2019. Т. 19, № 4. С. 424-438. DOI: https://doi.org/10.18500/1816-9791-2019-19-4-424-438
4. Stewart R. D., Fermin I., Opper M. Region growing with pulse-coupled neural networks: An alternative to seeded region growing // IEEE Trans. on Neural Networks. 2002. Vol. 13, iss. 6. P. 1557-1562. DOI: https://doi.org/10.1109/TNN.2002.804229
5. Chandhok C. A Novel Approach to Image Segmentation using Artificial Neural Networks and K-Means Clustering // International Journal of Engineering Research and Applications. 2012. Vol. 2, iss. 3. P. 274-279. DOI: https://doi.org/10.LL416.9795
6. Белим С. В., Ларионов С. Б. Алгоритм сегментации изображения с помощью искусственной нейронной сети без использования других изображений // Радиостроение. 2017. № 3. С. 43-53. DOI: https://doi.org/10.24108/rdopt.0317.0000108
7. Dol D., Dol A., Bessonov L., Ivanov. D., Beskrovny A., Falkovich A., Ostrovsky N. Methods of constructing an outline simple closed contour for modeling functional spine unit on CT slice // Progress in Biomedical Optics and Imaging — Proceedings of SPIE. 2020. Vol. 11229. 112291Q. DOI: https://doi.org/10.1117/12.2545013
8. Медведев Д. Г. Алгоритм выделения контура объекта с нечеткими краями // Актуальные проблемы гуманитарных и естественных наук. 2014. Т. 2, № 1. С. 56-61.
9. Withey D. J., Koles Z. J. Medical Image Segmentation: Methods and Software // Joint Meeting of the 6th International Symposium on Noninvasive Functional Source Imaging of the Brain and Heart and the International Conference on Functional Biomedical Imaging. Hangzhou, 2007. P. 140-143. DOI: https://doi.org/10.1109/NFSI-ICFBI.2007.4387709
10. Beskrovny A. S., Makhankov A. V., Bessonov L. V.., Lemeshkin M. O. Application of artificial neural network technologies to vertebral segmentation according on CT data // Progress in Biomedical Optics and Imaging — Proceedings of SPIE. 2020. Vol. 11229. 112291Y. DOI: https://doi.org/10.1117/12.2545001
11. Колесникова А. С., Бессонов Л. В., Лунева А Д., Дмитриев П. О., Матершев И. В., Курчаткин А. А., Золотов В. С., Сидоренко Д. А., Чувашкин В. К., Варюхин А. А., Гущина С. Г. Разработка подхода для усовершенствования метода активных контуров // Врач и информационные технологии. 2018. Т. 3. С. 61-72.
12. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, Massachusetts, 2015. P. 3431-3440. DOI: https://doi.org/10.1109/CVPR.2015.7298965
13. Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation // IEEE Trans. Pattern Anal. Mach. Intell. 2017. Vol. 39, № 12. P. 2481-2495. DOI: https://doi.org/10.1109/TPAMI.2016.2644615
14. Kamnitsas K, Ferrante E., Parisot S., Ledig C., Nori A. V., Criminisi A., Rueckert D., Glocker B. DeepMedic for Brain Tumor Segmentation // BrainLes, 2016: Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries / Eds. A. Crimi, B. Men-ze, O. Maier, M. Reyes, S. Winzeck, H. Handels. Lecture Notes in Computer Science. Vol. 10154. Springer, Cham. P. 138-149. DOI: https://doi.org/10.1007/978-3-319-55524-9_14
15. Noh H., Hong S., Han B. Learning deconvolution network for semantic segmentation // 2015 Proc. IEEE Int. Conf. Comput. Vis. (ICCV). Santiago, 2015. P. 1520-1528. DOI: https://doi.org/10.1109/ICCV.2015.178
16. Chaurasia A., Culurciello E. LinkNet: Exploiting encoder representations for efficient semantic segmentation // 2017 IEEE Visual Communications and Image Processing (VCIP). St. Petersburg, FL, 2017. P. 1-4. DOI: https://doi.org/10.1109/vcip.2017.8305148
17. He K, Gkioxari G., Dollar P., Girshick R. Mask R-CNN // 2017 IEEE International Conference on Computer Vision (ICCV). Venice, 2017. P. 2980-2988. DOI: https://doi.org/10.1109/ICCV.2017.322
18. He K, Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, 2016. P. 770-778. DOI: https://doi.org/10.1109/CVPR.2016.90
19. Самарский А. А., Гулин А. В. Численные методы. М. : Наука, 1989. 432 с.
20. Yao A. D, Cheng D. L., Pan I., Kitamura F. Deep Learning in Neuroradiology: A Systematic Review of Current Algorithms and Approaches for the New Wave of Imaging Technology // Radiology: Artificial Intelligence. 2020. Vol. 2, № 2. P. 6. DOI: https://doi.org/10.1148/ryai.2020190026
21. Ivanov D. V., Kirillova I. V., Kossovich L. Yu., Bessonov L. V., Petraikin A. V., Dol A. V., Ahmad E. S., Morozov S. P., Vladzymyrskyy A. V., Sergunova K. A., Kharlamov A. V. Influence of Convolution Kernel and Beam-Hardening Effect on the Assessment of Trabecular Bone Mineral Density Using Quantitative Computed Tomography [Иванов Д. В., Кириллова И. В., Коссович Л. Ю., Бессонов Л. В., Петряйкин А. В., Доль А. В., Ахмад Е. С., Морозов С. П., Владзимирский А. В., Сергунова К. А., Харламов А. В. Влияние конволюционных ядер и эффекта «упрочнения луча) на оценку минеральной плотности губчатой костной ткани с использованием количественной компьютерной томографии] // Изв. Сарат. ун-та. Нов. сер. Сер. Математика. Механика. Информатика. 2020. Т. 20, вып. 2. С. 205-219. DOI: https://doi.org/10.18500/1816-9791-2020-20-2-205-219
22. Sekuboyina A., Bayat A., Husseini M. E, Loffler M., Rempfler M., Kukacka J., Tet-teh G., Valentinitsch A., Payer C., Urschler M, Chen M., Cheng D., Lessmann N., Hu Y.,
Wang T, Yang D., Xu D., Ambellan F., Zachow S., Jiang T, Ma X., Angerman Ch., Wang X., Wei Q. Brown K, Wolf M., Kirszenberg A, Puybareauq E., Menze B. H., Kirschke J. VerSe: A Vertebrae Labelling and Segmentation Benchmark // Computer Science, Engineering, ArXiv. arXiv:2001.09193[cs.CV]. 2020. 30 p.
Образец для цитирования:
Бескровный А. С., Бессонов Л. В., Иванов Д. В., Кириллова И. В., Коссович Л. Ю. Использование сверточной нейронной сети для автоматизации построения двумерных твердотельных моделей позвонков // Изв. Сарат. ун-та. Нов. сер. Сер. Математика. Механика. Информатика. 2020. Т. 20, вып. 4. С. 502-516. 001: https://doi.org/10.18500/1816-9791-2020-20-4-502-516
Using the Mask-RCNN Convolutional Neural Network to Automate the Construction of Two-Dimensional Solid Vertebral Models
A. S. Beskrovny, L. V. Bessonov, D. V. Ivanov, I. V. Kirillova, L. Yu. Kossovich
Alexander S. Beskrovny, https://orcid.org/0000-0002-1724-4058, Saratov State University, 83 As-trakhanskaya St., Saratov 410012, Russia, beskrovnyas@gmail.com
Leonid V. Bessonov, https://orcid.org/0000-0002-5636-1644, Saratov State University, 83 As-trakhanskaya St., Saratov 410012, Russia, bessonov@sgu.ru
Dmitriy V. Ivanov, https://orcid.org/0000-0003-1640-6091, Saratov State University, 83 Astrakhan-skaya St., Saratov 410012, Russia, ivanovdv@gmail.com
Irina V. Kirillova, https://orcid.org/0000-0001-8053-3680, Saratov State University, 83 Astrakhan-skaya St., Saratov 410012, Russia, nano-bio@sgu.ru
Leonid Yu. Kossovich, https://orcid.org/0000-0002-4775-7348, Saratov State University, 83 As-trakhanskaya St., Saratov 410012, Russia, president@sgu.ru
Biomechanical modeling requires the construction of an accurate solid model of the object under study based on the data of a particular patient. This problem can be solved manually using modern software packages for medical data processing or using computer-aided design systems. This approach is used by many researchers and allows you to create accurate solid models, but is time consuming. In this regard, the automation of the construction of solid models suitable for performing biomechanical calculations is an urgent task and can be carried out using neural network technologies. This study presents the implementation of one of the methods for processing computed tomography data in order to create two-dimensional accurate solid models of vertebral bodies in a sagittal projection. An artificial neural network Mask-RCNN was used for automatic recognition of vertebrae. The assessment of the quality of the automatic recognition performed by the neural network was carried out on the basis of comparison with the Sorensen measure with manual segmentation performed by practitioners. Application of the method makes it possible to significantly speed up the process of modeling bone structures of the spine in 2D mode. The implemented technique was used in the development of a solid-state model module, which is included in the SmartPlan Ortho 2D medical decision support system developed at Saratov State University within the framework of the Advanced Research Foundation project.
Keywords: SmartPlan Ortho 2D, solid model, biomechanical modeling, DICOM, convolutional neural network, 2D segmentation, Sorensen measure.
Received: 19.05.2019 / Accepted: 30.06.2019 / Published: 30.11.2020
This is an open access article distributed under the terms of Creative Commons Attribution License (CC-BY 4.0)
Acknowledgements: This work was supported by the Advanced Research Foundation (contract No. 6/130/2018-2021 dated 01.08.2018).
References
1. Kazhanov I. V., Mikityuk S. I., Dol' A.V., Ivanov D. V., Kharlamov A. V., Petrov A. V., Kossovich L. Yu., Manukovskiy V. A. Biomechanical Modeling of Options for Internal Fixation of Unilateral Fractures of the Sacrum. Traumatology and Orthopedics of Russia, 2020, vol. 26, no. 2, pp. 79-90 (in Russian). DOI: https://doi.org/10.21823/2311-2905-2020-26-2-79-90
2. Kudjashev A. L., Hominec V. V., Teremshonok A. V., Korostelev K. E., Nagornyj E. B., Dol A. V., Ivanov D. V., Kirillova I. V., Kossovich L. Yu. Biomechanical background for the formation of proximal junctional kyphosis after the transpedicular fixation of the lumbarian spine. Russian Journal of Biomechanics, 2017, vol. 21, no. 3, pp. 270-278.
3. Donnik A. M., Ivanov D. V., Kossovich L. Ju., Levchenko K. K., Kireev S. I., Moro-zov K. M., Ostrovskij N. V., Zareckov V. V., Lihachev S. V. Creation of 3D Solid Models of the Spine with Transpedicular Fixation Using Specialized Software. Izv. Saratov Univ. (N.S.), Ser. Math. Mech. Inform., 2019, vol. 19, iss. 4, pp. 424-438 (in Russian). DOI: https://doi.org10.18500/1816-9791-2019-19-4-424-438
4. Stewart R. D., Fermin I., Opper M.Region growing with pulse-coupled neural networks: An alternative to seeded region growing. IEEE Trans. on Neural Networks, 2002, vol. 13, iss. 6, pp. 1557-1562. DOI: https://doi.org10.1109/TNN.2002.804229
5. Chandhok C. A Novel Approach to Image Segmentation using Artificial Neural Networks and K-Means Clustering. International Journal of Engineering Research and Applications, 2012, vol. 2, iss. 3, pp. 274-279. DOI: https://doi.org10.1.1.416.9795
6. Belim S. V., Larionov S. B. Image segmentation algorithm using an artificial neural network without using other images. Radio Engineering, 2017, no. 3, pp. 43-53 (in Russian). DOI: https://doi.org10.24108/rdopt.0317.0000108
7. Dol D., Dol A., Bessonov L., Ivanov. D., Beskrovny A., Falkovich A., Ostrovsky N. Methods of constructing an outline simple closed contour for modeling functional spine unit on CT slice. Progress in Biomedical Optics and Imaging — Proceedings of SPIE, 2020, vol. 11229, 112291Q. DOI: https://doi.org/10.1117/12.2545013
8. Medvedev D. G. Algorithm for highlighting the outline of an object with fuzzy edges. Aktual'nye problemy gumanitarnykh i estestvennykh nauk [Actual problems of the humanities and natural sciences], 2014, vol. 2, no. 1, pp. 56-61 (in Russian).
9. Withey D. J., Koles Z. J. Medical Image Segmentation: Methods and Software. Joint Meeting of the 6th International Symposium on Noninvasive Functional Source Imaging of the Brain and Heart and the International Conference on Functional Biomedical Imaging. Hangzhou, 2007, pp. 140-143. DOI: https://doi.org/10.1109/NFSI-ICFBI.2007.4387709
10. Beskrovny A. S., Makhankov A. V., Bessonov L. V., Lemeshkin M. O. Application of artificial neural network technologies to vertebral segmentation according on CT data. Progress in Biomedical Optics and Imaging — Proceedings of SPIE, 2020, vol. 11229, 112291Y. DOI: https://doi.org/10.1117/12.2545001
11. Kolesnikova A. S., Bessonov L. V., Luneva A D., Dmitriev P. O., Matershev I. V., Kurchatkin A. A., Zolotov V. S., Sidorenko D. A., Chuvashkin V. K., Varjuhin A. A., Gushhina S. G. Development of the approach for improvements method of active circles. Information Technologies for the Physician, 2018, vol. 3, pp. 61-72 (in Russian).
12. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, Massachusetts, 2015, pp. 3431-3440. DOI: https://doi.org/10.1109/CVPR.2015.7298965
13. Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Trans. Pattern Anal. Mach. Intell., 2017,
vol. 39, no. 12, pp. 2481-2495. DOI: https://doi.org/10.1109/TPAMI.2016.2644615
14. Kamnitsas K., Ferrante E., Parisot S., Ledig C., Nori A. V., Criminisi A., Rueckert D., Glocker B. DeepMedic for Brain Tumor Segmentation. In: Crimi A., Menze B., Maier O., Reyes M., Winzeck S., Handels H. (eds.). Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. BrainLes, 2016. Lecture Notes in Computer Science, vol. 10154. Springer, Cham, pp. 138-149. DOI: https://doi.org/10.1007/978-3-319-55524-9_14
15. Noh H., Hong S., Han B. Learning deconvolution network for semantic segmentation. 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, 2015, pp. 15201528. DOI: https://doi.org/10.1109/ICCV.2015.178
16. Chaurasia A., Culurciello E. LinkNet: Exploiting encoder representations for efficient semantic segmentation. 2017 IEEE Visual Communications and Image Processing (VCIP). St. Petersburg, FL, 2017, pp. 1-4. DOI: https://doi.org/10.1109/vcip.2017.8305148
17. He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN. 2017 IEEE International Conference on Computer Vision (ICCV). Venice, 2017, pp. 2980-2988. DOI: https://doi.org10.1109/ICCV.2017.322
18. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, 2016, pp. 770-778. DOI: https://doi.org10.1109/CVPR.2016.90
19. Samarskij A. A., Gulin A. V. Chislennye metody [Numerical methods]. Moscow, Nauka, 1989. 432 p. (in Russian).
20. Yao A. D., Cheng D. L., Pan I., Kitamura F. Deep Learning in Neuroradiology: A Systematic Review of Current Algorithms and Approaches for the New Wave of Imaging Technology. Radiology: Artificial Intelligence, 2020, vol. 2, no. 2, pp. 6. DOI: https://doi.org10.1148/ryai.2020190026
21. Ivanov D. V., Kirillova I. V., Kossovich L. Yu., Bessonov L. V., Petraikin A. V., Dol A. V., Ahmad E. S., Morozov S. P., Vladzymyrskyy A. V., Sergunova K. A., Kharlamov A. V. Influence of Convolution Kernel and Beam-Hardening Effect on the Assessment of Trabecular Bone Mineral Density Using Quantitative Computed Tomography. Izv. Saratov Univ. (N.S.), Ser. Math. Mech. Inform., 2020. vol. 20, iss. 2, pp. 205-219. DOI: https://doi.org10.18500/1816-9791-2020-20-2-205-219
22. Sekuboyina A., Bayat A., Husseini M. E., Loffler M., Rempfler M., Kukacka J., Tetteh G., Valentinitsch A., Payer C., Urschler M., Chen M., Cheng D., Lessmann N., Hu Y., Wang T., Yang D., Xu D., Ambellan F., Zachow S., Jiang T., Ma X., Angerman Ch., Wang X., Wei Q. Brown K., Wolf M., Kirszenberg A., Puybareauq E., Menze B. H., Kirschke J. VerSe: A Vertebrae Labelling and Segmentation Benchmark. Computer Science, Engineering, ArXiv, arXiv:2001.09193[cs.CV], 2020, 30 p.
Cite this article as:
Beskrovny A. S., Bessonov L. V., Ivanov D. V., Kirillova I. V., Kossovich L. Yu. Using the Mask-RCNN Convolutional Neural Network to Automate the Construction of Two-Dimensional Solid Vertebral Models. Izv. Saratov Univ. (N.S.), Ser. Math. Mech. Inform., 2020, vol. 20, iss. 4, pp. 502-516 (in Russian). DOI: https://doi.org/10.18500/1816-9791-2020-20-4-502-516
