Научная статья на тему 'АВТОМАТИЗАЦИЯ АНАЛИЗА РЕНТГЕНОГРАММ ПОЗВОНОЧНИКА ДЛЯ ОБЪЕКТИВИЗАЦИИ ОЦЕНКИ СТЕПЕНИ ТЯЖЕСТИ СКОЛИОТИЧЕСКОЙ ДЕФОРМАЦИИ ПРИ ИДИОПАТИЧЕСКОМ СКОЛИОЗЕ (ПРЕДВАРИТЕЛЬНОЕ СООБЩЕНИЕ)'

АВТОМАТИЗАЦИЯ АНАЛИЗА РЕНТГЕНОГРАММ ПОЗВОНОЧНИКА ДЛЯ ОБЪЕКТИВИЗАЦИИ ОЦЕНКИ СТЕПЕНИ ТЯЖЕСТИ СКОЛИОТИЧЕСКОЙ ДЕФОРМАЦИИ ПРИ ИДИОПАТИЧЕСКОМ СКОЛИОЗЕ (ПРЕДВАРИТЕЛЬНОЕ СООБЩЕНИЕ) Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
265
55
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ПОЗВОНОЧНИК / СКОЛИОЗ / РЕНТГЕНОГРАММА / АВТОМАТИЗАЦИЯ АНАЛИЗА / SPINE / SCOLIOSIS / X-RAY / AUTOMATION ANALYSIS

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Леин Григорий Аркадьевич, Нечаева Наталья Сергеевна, Мамедова Гульнар Магеррам Кызы, Смирнов Андрей Александрович, Стаценко Максим Михайлович

Обоснование. Несмотря на широкий спектр зарубежных исследований по созданию автоматизированного метода измерения угла Кобба на рентгенограмме позвоночника, отечественного вспомогательного инструмента, позволяющего оптимизировать процесс определения степени тяжести сколиотической деформации и выбора эффективного метода лечения, до сих пор не существует. Цель - исследовать алгоритмы выделения на рентгеновском снимке позвоночного столба, позвонков и построения касательных к межпозвонковым дискам для последующего автоматизированного анализа рентгенограмм позвоночника пациентов, страдающих идиопатическим сколиозом, с целью оценки степени тяжести. Материалы и методы. Расчерчены ручным методом сертифицированным врачом-рентгенологом и включены в датасет для обучения нейросети 300 цифровых рентгенограмм позвоночника детей и подростков с идиопатическим сколиозом для определения степени сколиоза на основании величины угла Кобба. Использовали два методологических подхода - детерминированный метод скользящих окон и алгоритм на базе нейронной сети, апробация которых показала значительное преимущество последнего. Результаты. Созданы основы компьютерной системы автоматизации анализа медицинских рентгенологических изображений позвоночного столба. Особый подход к обучению и аугментации данных, а также разметка одним квалифицированным специалистом позволили обучить нейронную сеть и добиться правильного распознавания угла Кобба более чем на 85 % рентгенограмм. Заключение. Сделан первый шаг к созданию современного отечественного инновационного продукта, основанного на технологии глубоких нейронных сетей - распознавания и 2D-изображений позвоночника и автоматического расчерчивания углов Кобба.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Леин Григорий Аркадьевич, Нечаева Наталья Сергеевна, Мамедова Гульнар Магеррам Кызы, Смирнов Андрей Александрович, Стаценко Максим Михайлович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

AUTOMATION ANALYSIS X-RAY OF THE SPINE TO OBJECTIFY THE ASSESSMENT OF THE SEVERITY OF SCOLIOTIC DEFORMITY IN IDIOPATHIC SCOLIOSIS: A PRELIMINARY REPORT

Background. A large number of studies have focused on automating the process of measuring the Cobb angle. Although there is no practical tool to assist doctors with estimating the severity of the curvature of the spine and determine the best suitable treatment type. Aim. We aimed to examine the algorithms used for distinguishing vertebral column, vertebrae, and for building a tangent on the X-ray photographs. The superior algorithms should be implemented into the clinical practice as an instrument of automatic analysis of the spine X-rays in scoliosis patients. Materials and methods. A total of 300 digital X-rays of the spine of children with idiopathic scoliosis were gathered. The X-rays were manually ruled by a radiologist to determine the Cobb angle. This data was included into the main dataset used for training and validating the neural network. In addition, the Sliding Window Method algorithm was implemented and compared with the machine learning algorithms, proving it to be vastly superior in the context of this research. Results. This research can serve as the foundation for the future development of an automated system for analyzing spine X-rays. This system allows processing of a large amount of data for achieving >85% in training neural network to determine the Cobb angle. Conclusions. This research is the first step toward the development of a modern innovative product that uses artificial intelligence for distinguishing the different portions of the spine on 2D X-ray images for building the lines required to determine the Cobb angle.

Текст научной работы на тему «АВТОМАТИЗАЦИЯ АНАЛИЗА РЕНТГЕНОГРАММ ПОЗВОНОЧНИКА ДЛЯ ОБЪЕКТИВИЗАЦИИ ОЦЕНКИ СТЕПЕНИ ТЯЖЕСТИ СКОЛИОТИЧЕСКОЙ ДЕФОРМАЦИИ ПРИ ИДИОПАТИЧЕСКОМ СКОЛИОЗЕ (ПРЕДВАРИТЕЛЬНОЕ СООБЩЕНИЕ)»

ЭКСПЕРИМЕНТАЛЬНЫЕ И ТЕОРЕТИЧЕСКИЕ ИССЛЕДОВАНИЯ

УДК 616.711-007.55-073.75 https://doi.org/10.17816/PTORS34150

АВТОМАТИЗАЦИЯ АНАЛИЗА РЕНТГЕНОГРАММ ПОЗВОНОЧНИКА ДЛЯ ОБЪЕКТИВИЗАЦИИ ОЦЕНКИ СТЕПЕНИ ТЯЖЕСТИ СКОЛИОТИЧЕСКОЙ ДЕФОРМАЦИИ ПРИ ИДИОПАТИЧЕСКОМ СКОЛИОЗЕ (предварительное сообщение)

© Г.А. Леин1, Н.С. Нечаева1, Г.М. Мамедова2, А.А. Смирнов2, М.М. Стаценко3

1 Общество с ограниченной ответственностью «Сколиолоджик.ру», Санкт-Петербург;

2 Общество с ограниченной ответственностью «ИНПРИС», Москва;

3 Общество с ограниченной ответственностью «Мэйл.ру», Москва

■ Для цитирования: Леин Г.А., Нечаева Н.С., Мамедова Г.М., и др. Автоматизация анализа рентгенограмм позвоночника для объективизации оценки степени тяжести сколиотической деформации при идиопатическом сколиозе (предварительное сообщение) // Ортопедия, травматология и восстановительная хирургия детского возраста. - 2020. - Т. 8. - Вып. 3. - С. 317-326. https://doi.org/10.17816/PTORS34150

Поступила: 22.05.2020 Одобрена: 06.08.2020 Принята: 24.08.2020

Обоснование. Несмотря на широкий спектр зарубежных исследований по созданию автоматизированного метода измерения угла Кобба на рентгенограмме позвоночника, отечественного вспомогательного инструмента, позволяющего оптимизировать процесс определения степени тяжести сколиотической деформации и выбора эффективного метода лечения, до сих пор не существует.

Цель — исследовать алгоритмы выделения на рентгеновском снимке позвоночного столба, позвонков и построения касательных к межпозвонковым дискам для последующего автоматизированного анализа рентгенограмм позвоночника пациентов, страдающих идиопатическим сколиозом, с целью оценки степени тяжести. Материалы и методы. Расчерчены ручным методом сертифицированным врачом-рентгенологом и включены в датасет для обучения нейросети 300 цифровых рентгенограмм позвоночника детей и подростков с идиопа-тическим сколиозом для определения степени сколиоза на основании величины угла Кобба. Использовали два методологических подхода — детерминированный метод скользящих окон и алгоритм на базе нейронной сети, апробация которых показала значительное преимущество последнего.

Результаты. Созданы основы компьютерной системы автоматизации анализа медицинских рентгенологических изображений позвоночного столба. Особый подход к обучению и аугментации данных, а также разметка одним квалифицированным специалистом позволили обучить нейронную сеть и добиться правильного распознавания угла Кобба более чем на 85 % рентгенограмм.

Заключение. Сделан первый шаг к созданию современного отечественного инновационного продукта, основанного на технологии глубоких нейронных сетей — распознавания и 2Б-изображений позвоночника и автоматического расчерчивания углов Кобба.

Ключевые слова: позвоночник; сколиоз; рентгенограмма; автоматизация анализа.

AUTOMATION ANALYSIS X-RAY OF THE SPINE TO OBJECTIFY THE ASSESSMENT OF THE SEVERITY OF SCOLIOTIC DEFORMITY IN IDIOPATHIC SCOLIOSIS: A PRELIMINARY REPORT

© G.A. Lein1, N.S. Nechaeva1, G.M. Mamedova2, A.A. Smirnov2, M.M. Statsenko3

1 Scoliologic.ru Limited Liability Company, Saint Petersburg, Russia;

2 INPRIS Limited Liability Company, Moscow, Russia;

3 Mail.ru Limited Liability Company, Moscow, Russia

■ For citation: Lein GA, Nechaeva NS, Mamedova GM, et al. Automation analysis X-ray of the spine to objectify the assessment of the severity of scoliotic deformity in idiopathic scoliosis: A preliminary report. Pediatric Traumatology, Orthopaedics and Reconstructive Surgery. 2020;8(3):317-326. https://doi.org/10.17816/PTORS34150

Received: 22.05.2020 Revised: 06.08.2020 Accepted: 24.08.2020

Background. A large number of studies have focused on automating the process of measuring the Cobb angle. Although there is no practical tool to assist doctors with estimating the severity of the curvature of the spine and determine the best suitable treatment type.

Aim. We aimed to examine the algorithms used for distinguishing vertebral column, vertebrae, and for building a tangent on the X-ray photographs. The superior algorithms should be implemented into the clinical practice as an instrument of automatic analysis of the spine X-rays in scoliosis patients.

Materials and methods. A total of 300 digital X-rays of the spine of children with idiopathic scoliosis were gathered. The X-rays were manually ruled by a radiologist to determine the Cobb angle. This data was included into the main dataset used for training and validating the neural network. In addition, the Sliding Window Method algorithm was implemented and compared with the machine learning algorithms, proving it to be vastly superior in the context of this research. Results. This research can serve as the foundation for the future development of an automated system for analyzing spine X-rays. This system allows processing of a large amount of data for achieving >85% in training neural network to determine the Cobb angle.

Conclusions. This research is the first step toward the development of a modern innovative product that uses artificial intelligence for distinguishing the different portions of the spine on 2D X-ray images for building the lines required to determine the Cobb angle.

Keywords: spine; scoliosis; X-ray; automation analysis.

Сколиотические деформации — наиболее часто встречающаяся ортопедическая патология детского возраста, при этом у 80 % пациентов диагностирован идиопатический сколиоз. В лечении и реабилитации больных идиопатическим сколиозом основным методом, подтверждающим диагноз и позволяющим оценить прогноз и результаты лечения, является 2Б-рентгенография. Существуют методы диагностики, основанные на получении 3Б-изображения, такие как КТ или МРТ, но они более дорогостоящие и трудоемкие, поэтому до сих пор, в связи с повсеместной доступностью и достаточной информативностью, ведущим методом диагностики сколиоза остается рентгенографический. Исторически сложилось несколько методик для оценки степени тяжести сколиотической деформации позвоночника: A.B. Ferguson, J.R. Cobb, G. Jentschura, Е.А. Абальмасовой [1-4]. Однако именно угол Кобба служит объективным показателем степени тяжести сколиоза [5-7].

Основные недостатки всех вышеперечисленных методов заключаются в необходимости выявления «нейтрального» позвонка «на глаз», а также высокой погрешности измерений в связи с используемым для расчерчивания неспецифическим инструментарием. Данные анализа одной рентгенограммы несколькими специалистами могут существенно различаться [8]. Погрешность измерения при применении ручного инструментария достигает 5-7°, тогда как при использовании цифровых методов погрешность составляет не более 3°, и это при условии, что одни и те же позвонки выбраны как «нейтральные».

Анализ литературы показал, что за последние 10 лет выполнено большое количество работ,

посвященных цифровым программным решениям при вычислении величины угла Кобба на рентгенограммах, причем увеличение количества таких исследований в первую очередь обусловлено развитием цифровой рентгенографии [9-13]. В то же время предлагаемые решения фактически являются либо полуавтоматическими в ситуациях, когда врач определяет начальный и конечный позвонки дуг, либо полностью ручными, но с использованием программного обеспечения, позволяющего увеличить изображение и более точно провести касательные к проекции тела позвонка [14]. Существует возможность применения смартфонов для измерений степени деформации, а также программы Microsoft PowerPoint [15, 16], но данные измерения производятся не в автоматическом режиме и обладают теми же недостатками, что и десктопные приложения.

В последние годы появились работы, в которых рассмотрена потенциальная возможность использования программного обеспечения на основе нейросетевых технологий и машинного обучения для автоматического определения степени тяжести деформации. Так, Y. Pan et al. изучали рентгенограммы грудной клетки для автоматического выделения позвоночного столба с последующим определением отдельных позвонков [13]. Применяли также алгоритм для вычисления угла Кобба при выявлении сколиотической деформации, то есть деформации с углом более 3° между максимально наклоненными замыкательными пластинками различных позвонков. Однако программа корректно работала только при наличии на снимке одной дуги деформации. Ming-Huw Horng et al. показали возможность использования нейронных сетей для выделения границ позвонка

при условии, что с помощью детерминированных алгоритмов выделен позвоночный столб и на нем сегментированы позвонки [12]. Для применения этих алгоритмов необходима определенная структура снимков (к примеру, наличие черепа и шейного отдела позвоночника). Алгоритм может быть использован для автоматического измерения угла Кобба, но данная работа проводилась только на рентгенограммах со сколиотической деформацией меньше 20°, кроме того, было проанализировано небольшое количество рентгенограмм (35), а при столь малой выборке велик шанс, что результат будет трудно воспроизводим в других условиях. Таким образом, существует необходимость в более глубоком изучении и автоматизации анализа рентгенограмм для определения степени сколио-тической деформации позвоночника.

Цель — исследовать алгоритмы выделения на рентгеновском снимке позвоночного столба, позвонков и построения касательных к межпозвонковым дискам для последующего автоматизированного анализа рентгенограмм позвоночника пациентов, страдающих идиопатическим сколиозом, с целью оценки степени тяжести.

Материалы и методы

На первом этапе анализа рентгеновского снимка выполняют разметку позвонков: выделяют позвоночный столб, позвонки и проводят касательные к позвонкам. На основании формы позвоночного столба и углов наклона касательных к позвонкам врач ставит диагноз и составляет план лечения. Сразу отметим, что касательные к позвонкам на рентгеновском снимке обычно не являются касательными в математическом смысле слова, поскольку плоская фигура на рентгеновском снимке представляет проекцию трехмерного позвонка. Именно поэтому в дальнейшем под касательными будем понимать характеристические прямые, которые, в сущности, являются проекциями касательных плоскостей к позвонку на плоскость рентгенограммы. Для исследования подобраны 300 цифровых рентгенограмм позвоночника детей и подростков, проходивших лечение в протезно-ортопедическом центре «Сколиолоджик.ру» по поводу идиопатического сколиоза. Для определения степени сколиоза на основании величины угла Кобба рентгенограммы расчерчены ручным методом сертифицированным врачом-рентгенологом. Среди пациентов было 249 девочек (83 %) и 51 мальчик (17 %). Распределение пациентов по возрасту: 1-3 года — 6 человек (2 %), 3-7 лет — 45 человек (15 %), 7-12 лет — 90 че-

ловек (30 %), 12-18 лет — 159 человек (53 %). По степени сколиоза в соответствии с величиной угла Кобба рентгенограммы были распределены следующим образом: с I степенью сколиоза (угол до 15-20°) — 15 % рентгенограмм; со II степенью (угол до 40°) — 25 %; с III степенью (угол до 60°) — 45 %; с IV степенью (угол >60°) — 15 %. Кроме того, рентгенограммы различались по виду и количеству дуг сколиоти-ческой деформации (рис. 1) и соответствовали классификации М. Rigo et al., рекомендованной Международным обществом ортопедического и реабилитационного лечения сколиоза (от англ. Society on Scoliosis Orthopedic and Rehabilitation Treatment — SOSORT) для консервативного лечения сколиоза [17].

Из указанных рентгенограмм создан датасет обучения нейросети для выделения позвоночного столба и отдельных позвонков. Таким образом, наша задача состояла в программном определении линии позвоночного столба и отдельных позвонков, а также проведении касательных к отдельным позвонкам, то есть создании архитектуры, состоящей из двух независимых блоков. Первый блок выделяет линию позвоночного столба и отдельные позвонки, второй — проводит касательные и на их основе вычисляет углы. Использовали два методологических подхода — детерминированный метод скользящих окон и алгоритм на базе нейронной сети.

Результаты

Детерминированный метод скользящих окон применен на крупных рентгенограммах позвоночника — от шейного отдела до поясничного. Разница в компоновке (структуре) снимков не позволяла, основываясь только на яркости, определить область, содержащую позвоночный столб. В результате области, выдаваемые алгоритмом, были сильно шире позвоночного столба и пришлось их доопределять на основании статистической информации.

Следующий этап — выделение на позвоночном столбе областей, содержащих каждый отдельный позвонок. Эту задачу решали, опираясь на яркость вертикальной проекции позвоночного столба. В нашем случае этот алгоритм не позволил получить качественные результаты: часто снимки были сильно размыты. Кроме того, в случае высокой степени сколиоза проекция на вертикальную ось зачастую превращается в отрезок малой длины. Все это препятствовало нахождению значимых отклонений в яркости между позвонком и межпозвонковым диском. По этой причине мы

Варианты с тремя дугами искривления

A1 — 7,5 % A2 — 16 % A3 — 16,5 %

csl -^tp csl tp csl Wtp

Без поясничной дуги С функциональной поясничной дугой Со структурной поясничной дугой

Таз смещен влево

Варианты с четырьмя дугами искривления

В1 — 19,5 % В2 — 15 %

t 1 csl } tp l4 l5 t1 tp tl csl l3 l4 l5

Со структурной грудной дугой

Таз смещен вправо

Варианты «не 3, не 4» дуги искривления

C1 — 3 % C2 — 7,5 %

с tp csl ti l4 l5 tp csl ■■t1 l4 *l5

Со структурной грудной дугой

Без смещения таза

Варианты изолированной дуги

Е1 — 9,5 % Е2 — 5,5 %

t il- tp l иг csl l4 l5 ti« tp tl "f ■ csl l3 1l4 l5

Без структурной грудной дуги

Таз смещен вправо

Рис. 1. Виды дуг идиопатического сколиоза в соответствии с классификацией М. Rigo et al., 2010: TP — переходная точка (от англ. transitional point), которая может находиться между грудной дугой и поясничной или грудопоясничной относительно центральной крестцовой линии; если TP находится на центральной крестцовой линии — она в балансе, если за пределами указанной линии — она в дисбалансе. T — toracic (грудной), L — lumbar (поясничный), CSL — central sacrum line (центральная крестцовая линия)

с помощью криволинейных окон искали области резкого падения яркости (межпозвонковые диски) и резкого повышения яркости (проекции верхних границ позвонков). Пересечение данных областей с линией позвоночного столба указывает на центры межпозвонковых дисков или границы позвонков. Используя линию позвоночного столба и границы позвонков, можно считать углы искривления позвоночника — углы Кобба. Однако на большинстве снимков детерминированным методом скользящих окон не удалось получить приемлемых результатов.

Разработка алгоритма на базе нейронной сети предполагает формулировку задачи, решаемой алгоритмом, выбор архитектуры нейронной сети, оценку ресурсов, доступных для обучения, проработку функции потерь, решение вопроса об аугментации данных с целью искусственного увеличения датасета, а также формулировку критериев подготовки данных для модели.

Задача, которую решает модель, сформулирована следующим образом: сформировать позвоночный столб, а горизонтальные границы позвонков сделать максимально приближенными к прямым — касательным к позвонку. Эта задача относится к классу Semantic segmentation, или, иными словами, мы должны разделить точки на два класса — принадлежащие и не принадлежащие позвоночнику. Из многочисленных публикаций известно, что с такими задачами отлично справляются конволюционные слои с пуллингом, поэтому в качестве основных были выбраны именно сверточные сети. Для реализации модели подробно рассматривали следующие нейронные сети: полносвязную; Mask (R-CNN); FCN (Fully Convolutional Networks); ResNet c широким слоем на выходе; U-Net; ParseNet [18-22].

Окончательный выбор не мог основываться только на теоретических рекомендациях, поскольку рентгенограммы отличаются определенной спецификой относительно других графических изображений: они черно-белые; площадь позвоночника мала относительно площади снимка; часто позвоночник трудно отделить от иных элементов снимка (например, ребер); на рентгенограмме в области позвоночника могут присутствовать посторонние изображения; неосторожное использование аугментации приводит к неприемлемым искажениям снимков. В частности, специфика рентгенограмм позвоночника не позволила идти по пути дообучения ранее обученных сетей. В связи с этим решено для каждой потенциально перспективной сверточной сети провести базовое тестирование, оценить результаты и сделать окончательный выбор. Базовое тестирование

выполняли на небольшом датасете (50 рентгенограмм), в результате достаточно быстро удалось получить оценочные характеристики. Сравнение проводили по итоговому значению параметра Accurancy и визуальной оценке результатов. Тестирование проходило параллельно, и приемлемым результатом на этом этапе считали получение контуров позвоночника, даже без выделения позвонков.

Полносвязная сеть вызвала большие проблемы, так как было очень много слоев и они были очень большие. Даже для изображений размером 128 х 128 пикселей в одном слое получается ~16 000 чисел. Тест показал совершенно неприемлемый результат, и полносвязную сеть более не рассматривали. Mask (R-CNN) фактически представляет собой совокупность нескольких сетей, работающих последовательно. Как и в случае полносвязной сети, для этого решения необходим очень большой датасет, и по результатам предварительного тестирования от нее отказались. Сеть FCN также вызвала проблемы, обусловленные не только очень большим временем обучения, но и тем, что на тестовых примерах были получены неудовлетворительные результаты. Сеть ResNet позволила получить первые дающие надежду результаты после того, как несколько последних слоев заменили полносвязной сетью. Однако она плохо справлялась с многообразием снимков. Создавалось впечатление, что эта сеть просто запоминала обучающую выборку — результаты были хорошими, если после обучения ей на вход подавали снимки только из обучающей выборки. Был сделан вывод, что для решения задачи использовать ResNet нецелесообразно. Cеть U-Net на небольшом датасете сразу показала хороший результат, причем наблюдалось планомерное равномерное увеличение Accurancy от эпохи к эпохе. Значения этого параметра были гораздо выше, чем у иных сетей. Попытки применить сеть ParseNet к положительным результатам не привели.

Итак, по итогам базовых тестов на изображениях размером 128 х 128 пикселей лучший результат показала сеть U-Net (рис. 2), в которой в качестве функции потерь использована перекрестная кроссэнтропия с алгоритмом оптимизации Адама.

Создание алгоритма построения касательной к обведенному позвонку оказалось сложной задачей в силу того, что касательная к обведенному позвонку, как уже отмечено, не является касательной в математическом смысле слова. Решено было построить касательную как прямую, аппроксимирующую верхнюю (нижнюю) границу позвонка.

СЧСЧ 00 ЮЮ

I

I

ртка 3 х 3 + КеШ

Операция подвыборки 2 х 2 (МахРооН^)

О Скопировать и добавить к слою ^ Обратная свертка 2 х 2 Рис. 2. Нейронная сеть

Рис. 3. Пример результата работы нейронной сети

а б

Рис. 4. Пример результата работы программы: а — результат работы программы; б — тот же снимок, обработанный вручную (цифрами в квадратах указаны величины угла Кобба дуг сколиотической деформации)

Подготовка данных — один из ключевых вопросов для этой задачи. Поскольку выбрана модель машинного обучения с учителем, требовалось большое количество качественно подготовленных данных. При этом количество специалистов, готовящих данные, должно быть минимальным, а их квалификация должна быть высокой, так как конволюционные слои учитывают характеристики в окрестности точки и должны быть единые критерии для формирования границ позвонков. Размер изображений, предъявляемых модели для обучения, должен быть таков, чтобы были различимы границы между позвонками. Наименьшее разрешение изображения, на котором был получен приемлемый результат, составило 256 х 256 пикселей. Для увеличения количества данных, представляемых модели для обучения, использовали аугментацию. При этом важно очень аккуратно варьировать ее параметры, так как слишком большая ротация или сжатие/сдвиг могут привести к тому, что границы между межпозвонковыми дисками сольются, и это сделает решение задачи невозможным. Минимальное количество снимков, достаточное для получения приемлемого результата, — 250. Кроме того, целесообразно готовить маски снимков не с четким обведением позвонка, а «спрямлением» верхних и нижних («горизонтальных») границ его проекций. Это значительно улучшает работу детерминированного алгоритма проведения касательных.

В результате созданы основы компьютерной системы автоматизации анализа рентгенограмм. На рис. 3 представлен результат работы нейронной сети.

Как можно увидеть из рис. 3, получен позвоночный столб с сегментированными позвонками. Данные, подготовленные описанным выше способом, обеспечили спрямление границ позвонков и в большинстве случаев уверенное проведение касательных к позвонкам и определение

деформации позвоночника. Для вычисления угла Кобба понадобилось дополнить алгоритм определения позвонков, касательные к которым определяют искомый угол. Для этого находили и анализировали центральную линию позвоночного столба. Тем самым глобальный параметр «угол Кобба» вычисляется с учетом глобальной характеристики «искривление позвоночного столба» (рис. 4).

Обучение нейронной сети на качественно подготовленном датасете позволило правильно определить угол Кобба на более чем 85 % рентгенограмм. В 15 % результаты признаны неудовлетворительными, из них 12 % неудач связаны с недостаточной четкостью изображения (динамическая нерезкость, размытость контуров тел позвонков), а в 3 % — с малой величиной сколио-тической деформации (от 0 до 5°). При таких величинах сколиотической деформации на данном этапе программа не дает корректных значений, поэтому необходима ее доработка.

Обсуждение

Компьютеризация 2Б-рентгенологических изображений, в отличие от 3Б-изображений, не получила такого мощного развития. Это может приводить к большому количеству ошибок в заключениях по количественной оценке степени сколиоза разных исследователей (interobserver) или одного и того же исследователя (intraobserver). Именно поэтому разработка автоматизированных компьютерных программ для измерений представляет важную исследовательскую тему с целью объективизации клинических данных.

Опыт зарубежных специалистов по автоматизации анализа 2Б-рентгенограмм позвоночника показал, что главными трудностями на этом пути являются улучшение контрастности рентгенограммы для более точного выделения позвоночного столба и позвонков, а также проведение касательных к позвонкам, что подтверждено и настоящим исследованием [9-14, 23, 24]. С целью решения данных проблем определена целесообразность использования модели машинного обучения на базе нейронной сети, что также коррелирует с литературными данными.

В качестве одной из ключевых задач была выбрана подготовка данных, и значительное внимание уделено созданию датасета рентгенограмм для обучения нейросети. Если большинство результатов исследований базировалось на анализе 14-49 рентгенограмм, то мы провели обучение сети на 300 цифровых рентгенограммах позвоночника больных идиопатическим

сколиозом, предварительно расчерченных врачом-рентгенологом [9-14, 25]. Сопоставимый объем исследований прослежен только в работах J. Wang et al. и Y. Pan et al. [11, 13]. Использование объемного датасета для обучения нейросети позволило обеспечить совпадение касательных, проведенных автоматически, с касательными, построенными опытным специалистом, более чем в 85 % случаев. Таким образом, с целью минимизации погрешности при количественной оценке сколиоза следует использовать большие выборки данных и свер-точные нейронные сети, с помощью которых происходит распознавание степени сколиотической деформации.

Заключение

В результате работы удалось оценить автоматизированный способ определения степени сколиоза на рентгенограмме позвоночника. Подтверждена возможность использования для этого процесса модели машинного обучения на базе нейронной сети. При этом наилучшие показатели при распознавании позвонков давала сверточная нейронная сеть U-Net. Следует также отметить, что только большое количество качественно подготовленных данных (300 рентгенограмм) позволило обучить нейронную сеть и выйти на правильное определение угла Кобба более чем на 85 % рентгенограмм. К данной системе будет прилагаться графический интерфейс, в котором врач сможет загрузить снимок и получить результат. Хотя достигнутые результаты уже можно считать удовлетворительными, предложенный подход должен быть развит прежде всего за счет дообучения модели и уточнения и оптимизации детерминированных алгоритмов с целью создания современного отечественного инновационного продукта, в основе которого лежат технологии нейронных сетей по распознаванию 2Б-изображений позвоночника и автоматическому расчерчиванию углов Кобба.

Дополнительная информация

Источник финансирования — грант Фонда содействия инновациям 44ГРЦТС10-Б5/56135.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Этическая экспертиза. Экспериментальное исследование было одобрено локальным этическим комитетом. Выписка из протокола № 2 комитета по этике ООО «Сколиолоджик.ру» от 19.05.2020. Пациенты (их представители) дали согласие на обработку и публикацию персональных данных.

Вклад авторов

Г.А. Леин — разработка методологии, дизайна исследования и написание текста статьи.

Н.С. Нечаева — подготовка данных для создания датасета рентгенограмм позвоночника.

Г.М. Мамедова — анализ литературы, обучение модели, участие в подготовке данных.

А.А. Смирнов — анализ литературы, разработка детерминированных алгоритмов проведения касательных.

М.М. Стаценко — обоснование выбора нейронной сети для формирования модели, создание программы обучения модели.

Все авторы внесли существенный вклад в проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Литература

1. Ferguson AB. The study and treatment of scoliosis. South Med J. 1930;23(2):116-120.

2. Cobb JR. Outline for the study of scoliosis. Instr Course Lect AAOS. 1948;5:261-275.

3. Jentschura G. Zur Pathogenese der säuglingsskoliose. Archiv für orthopädische und Unfall-Chirurgie, mit besonderer Berücksichtigung der Frakturenlehre und der orthopädisch-chirurgischen Technik. 1956;48(5):582-603.

4. Абальмасова Е.А. Сколиоз в рентгеновском изображении и его измерение // Ортопедия и травматология. - 1964. - № 5. - С. 49-50. [Abalmasova EA. Skolioz v rentgenovskom izobrazhenii i ego izmerenie. Ortopediya i travmatologiya. 1964;(5):49-50. (In Russ.)]

5. Тесаков Д.К., Тесакова Д.Д. Рентгенологические методики измерения дуг сколиотической деформации позвоночника во фронтальной плоскости и их сравнительный анализ // Проблемы здоровья и экологии. - 2007. - № 3. - С. 94-103. [Tesakov DK, Tesakova DD. Roetgenological methods of scoliotic sPine deformity estimation in frontal Plane and their comparative analysis. Problemy zdorov'ya i ekologii. 2007;(3):94-103. (In Russ.)]

6. SOSORT. Методические рекомендации SOSORT 2011 г. Ортопедическое и реабилитационное лечение подросткового идиопатического сколиоза. 2011. [SOSORT. Metodicheskie rekomendatsii SOSORT 2011 g. Ortopedicheskoe i reabilitatsionnoe lechenie podrostkovogo idiopaticheskogo skolioza. 2011. (In Russ.)]

7. Ньютон П.О., О'Браен М.Ф., Шаффлбаргер Г.Л., и др. Идиопатический сколиоз. Исследовательская группа Хармса: руководство по лечению. - М.: Лаборатория знаний, 2018. - 479 с. [Newton PO, O'Brien MF, Schaffleb arger GL, et al. Idiopaticheskiy skolioz. Issledovatel'skaya gruppa Kharmsa: Rukovod-stvo po lecheniyu. Moscow: Laboratoriya znaniy; 2018. 479 p. (In Russ.)]

8. Wilson MS, Stockwell J, Leedy MG. Measurement of scoliosis by orthopedic surgeons and radiologists. Aviat Space Environ Med. 1983;54(1):69-71.

9. Tanure MC, Pinheiro AP, Oliveira AS. Reliability assessment of Cobb angle measurements using manual and digital methods. Spine J. 2010;10(9):769-774. https://doi.org/10.1016/j.spinee.2010.02.020.

10. Suwannarat P, Wattanapan P, Wiyanad A, et al. Reliability of novice physiotherapists for measuring Cobb angle using a digital method. Hong Kong Physiother J. 2017;37:34-38. https://doi.org/10.1016/ j.hkpj.2017.01.003.

11. Wang J, Zhang J, Xu R, et al. Measurement of scoliosis Cobb angle by end vertebra tilt angle method. J Orthop Surg Res. 2018;13(1):223. https://doi.org/10.1186/ s13018-018-0928-5.

12. Horng MH, Kuok CP, Fu MJ, et al. Cobb angle measurement of spine from X-Ray images using con-volutional neural network. Comput Math Methods Med. 2019;2019:6357171. https://doi.org/10.1155/ 2019/6357171.

13. Pan Y, Chen Q, Chen T, et al. Evaluation of a computer-aided method for measuring the Cobb angle on chest X-rays. Eur Spine J. 2019;28(12):3035-3043. https://doi.org/10.1007/s00586-019-06115-w.

14. Safari A, Parsaei H, Zamani A, Pourabbas B. A SemiAutomatic algorithm for estimating Cobb angle. J Biomed Phys Eng. 2019;9(3):317-326. https://doi. org/10.31661/jbpe.v9i3Jun.730.

15. Qiao J, Liu Z, Xu L, et al. Reliability analysis of a smart-phone-aided measurement method for the Cobb angle of scoliosis. J Spinal Disord Tech. 2012;25(4):E88-92. https://doi.org/10.1097/BSD.0b013e3182463964.

16. Jones JK, Krow A, Hariharan S, Weekes L. Measuring angles on digitalized radiographic images using Microsoft PowerPoint. West Indian Med J. 2008;57(1):14-19.

17. Rigo MD, Villagrasa M, Gallo D. A specific scoliosis classification correlating with brace treatment: Description and reliability. Scoliosis. 2010;5( 1): 1. https://doi. org/10.1186/1748-7161-5-1.

18. He K, Gkioxari G, Dollar P, Girshick R. Mask R-CNN. 2017. arXiv: 1703.06870.

19. Long J, Shelhamer E, Darrell T. Fully Convolutional Networks for Semantic Segmentation. 2014. arXiv: 1411.4038.

20. He K, Zhang X, Ren S, Sun J. Deep Residual Learning for Image Recognition. 2015. arXiv: 1512.03385.

21. Ronneberger O, Fischer P, Brox T. U-Net: Convolu-tional Networks for Biomedical Image Segmentation. 2015. arXiv: 1505.04597.

22. Liu W, Rabinovich A, Berg AC. ParseNet: Looking Wider to See Better. 2015. arXiv: 1506.04579.

23. Mukherjee J, Kundu R, Chakrabarti A. Variability of Cobb angle measurement from digital X-ray image based on different de-noising techniques. Int J Biomed Eng Technol. 2014;16(2):113. https://doi.org/10.1504/ijbet. 2014.065656.

24. Okashi OA, Du H, Al-Assam H. Automatic spine curvature estimation from X-ray images of a mouse model.

Comput Methods Programs Biomed. 2017;140:175-184. https://doi.org/10.1016/jj.cmpb.2016.12.010.

25. Pinheiro AP, Coelho JC, Veiga ACP, Vrtovec T. A computerized method for evaluating scoliotic deformities using elliptical pattern recognition in X-ray spine images. Comput Methods Programs Biomed. 2018;161:85-92. ttps://doi.org/10.1016/j.cmpb.2018.04.015.

Сведения об авторах

Григорий Аркадьевич Леин* — канд. мед. наук, врач — травматолог-ортопед, генеральный директор. ООО «Сколиолоджик.ру», Санкт-Петербург. https://orcid.org/0000-0001-79-04-8688. E-mail: lein@ scoliologic.ru.

Наталья Сергеевна Нечаева — научный сотрудник, врач-рентгенолог. ООО «Сколиолоджик.ру», Санкт-Петербург. https://orcid.org/0000-0003-3510-9164. E-mail: n.nechaeva@scoliologic.ru.

Grigory A. Lein* — MD, PhD, orthopedic and trauma surgeon, General Director. Scoliologic.ru LLC, Saint Petersburg, Russia. https://orcid.org/0000-0001-7904-8688. E-mail: lein@ scoliologic.ru.

Natalia S. Nechaeva — MD, scientific worker, radiologist. Scoliologic.ru LLC, Saint Petersburg, Russia. https:// orcid.org/0000-0003-3510-9164. E-mail: n.nechaeva@ scoliologic.ru.

Гульнар Магеррам кызы Мамедова — аналитик. ООО «ИНПРИС», Москва. https://orcid.org/0000-0001-9738-9259. E-mail: mgm.gulnar@gmail.com.

Андрей Александрович Смирнов — аналитик. ООО «ИНПРИС», Москва. https://orcid.org/0000-0002-7062-5677. E-mail: smirnov.andrey.aleksandrovich@ gmail.com.

Максим Михайлович Стаценко — руководитель команды разработки. ООО «Мэйл.ру», Москва. https:// orcid.org/0000-0002-6826-9116. E-mail: maxstatsenko@ gmail.com.

Gulnar М. Mammadova — analyst. INPRIS LLC, Moscow, Russia. https://orcid.org/0000-0001-9738-9259. E-mail: mgm.gulnar@gmail.com.

Andrey A. Smirnov — analyst. INPRIS LLC, Moscow, Russia. https://orcid.org/0000-0002-7062-5677. E-mail: smirnov.andrey.aleksandrovich@gmail.com.

Maxim M. Statsenko — head of the development team. Mail.ru LLC, Moscow, Russia. https://orcid.org/0000-0002-6826-9116. E-mail: maxstatsenko@gmail.com.

i Надоели баннеры? Вы всегда можете отключить рекламу.