CC BY
60
УДК 616.12-07:004.032.26 https://doi.org/10.20538/1682-0363-2021-4-193-204
Искусственные нейронные сети в кардиологии: анализ графических данных Онищенко П.С.1, 2, Клышников К.Ю.1, Овчаренко Е.А.1
1 Научно-исследовательский институт комплексных проблем сердечно-сосудистых заболеваний (НИИ КПССЗ)
Россия, 650002, г. Кемерово, Сосновый бульвар, 6
2Институт вычислительных технологий Сибирского отделения Российской академии наук (ИВТ СО РАН) Россия, 630090, г. Новосибирск, пр. Академика Лаврентьева, 6
РЕЗЮМЕ
Рассмотрены области применения сверточных нейронных сетей для обработки медицинских изображений в различных сферах кардиологии и кардиохирургии на примере публикаций с 2016 по 2019 г.
В данной работе использовались следующие базы научных статей: PubMed Central, ArXiv, ResearchGate. Приведенные работы структурировались по области интереса (сердце, аорта, сонные артерии).
Описан общий принцип работы рассматриваемой технологии, показаны результаты и рассмотрены основные области применения данной технологии в анализируемых работах. Для большинства приведенных исследований приведены объемы выборок, авторское видение развития сверточных нейронных сетей в медицине и перечислены некоторые ограничивающие факторы для их распространения.
Показаны возможные сферы применения сверточных нейронных сетей в области кардиологии и кардиохирургии. Не отрицая существующие проблемы, такой тип искусственных нейронных сетей в будущем может стать верным помощником для широкого спектра врачей и исследователей.
Ключевые слова: сверточные нейронные сети, CNN, FFR, кардиология, патология сердечно-сосудистой системы, стеноз, детекция.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией данной статьи.
Источник финансирования. Работа выполнена при поддержке комплексной программы фундаментальных научных исследований СО РАН в рамках фундаментальной темы НИИ КПССЗ №№ 04192021-001 «Разработка новых фармакологических подходов к экспериментальной терапии атеросклероза и комплексных цифровых решений на основе искусственного интеллекта для автоматизированной диагностики патологий системы кровообращения и определения риска летального исхода» при финансовой поддержке Министерства науки и высшего образования Российской Федерации в рамках национального проекта «Наука и университеты».
Для цитирования: Онищенко П.С., Клышников К.Ю., Овчаренко Е.А. Искусственные нейронные сети в кардиологии: анализ графических данных. Бюллетень сибирской медицины. 2021; 20 (4): 193-204. https:// doi.org/10.20538/1682-0363-2021-4-193-204.
Н Онищенко Павел Сергеевич, е-mail: [email protected]
Artificial neural networks in cardiology: analysis of graphic data Onishchenko P.S.1,2, Klyshnikov K.Yu.1, Ovcharenko E.A.1
1 Research Institute for Complex Issues of Cardiovascular Diseases 6, Sosnovi Blv., Kemerovo, 650002, Russian Federation
2 Science Institute of Computational Technologies of the Siberian Branch of the Russian Academy of Sciences 6, Akademika Lavrentieva Av., Novosibirsk, 630090, Russian Federation
ABSTRACT
Aim. To consider application of convolutional neural networks for processing medical images in various fields of cardiology and cardiac surgery using publications from 2016 to 2019 as an example.
Materials and methods. In the study, we used the following scientific databases: PubMed Central, ArXiv, ResearchGate. The cited publications were grouped by the area of interest (heart, aorta, carotid arteries).
Results. The general principle of work of the technology under consideration was described, the results were shown, and the main areas of application of this technology in the studies under consideration were described. For most of the studies, sample sizes were given. The author's view on the development of convolutional neural networks in medicine was presented and some limiting factors for their distribution were listed.
Conclusion. A brief overview shows possible areas of application of convolutional neural networks in the fields of cardiology and cardiac surgery. Without denying the existing problems, this type of artificial neural networks may help many doctors and researchers in the future.
Key words: convolutional neural network, CNN, FFR, cardiology, cardiovascular diseases, stenosis, detection.
Conflict of interest. The authors declare the absence of obvious or potential conflicts of interest related to the publication of this article.
Source of financing. This work was supported by a comprehensive program of fundamental scientific research of the Siberian Branch of the Russian Academy of Sciences within the framework of the fundamental theme of the Research Institute KPSSZ No. 0419-2021-001 "Development of new pharmacological approaches to experimental therapy of atherosclerosis and complex digital solutions based on artificial intelligence for automated diagnosis of pathologies of the circulatory system and determination of the risk of lethal Exodus "with the financial support of the Ministry of Science and Higher Education of the Russian Federation within the framework of the national project" Science and Universities ".
For citation: Onishchenko P.S., Klyshnikov K.Yu., Ovcharenko E.A. Artificial neural networks in cardiology: analysis of graphic data. Bulletin of Siberian Medicine. 2021; 20 (4): 193-204. https://doi.org/10.20538/1682-0363-2021-4-193-204.
ВВЕДЕНИЕ
В процессе обследования пациента с заболеваниями сердечно-сосудистой системы среди текстовых и численных (например, анамнез и результаты анализа крови) данных врач получает и графическую информацию - результаты компьютерной (КТ) или магнитно-резонансной томографии (МРТ), эхокар-диографии, сцинтиграфических методов, рентгена, требующие длительной обработки и оценки [1, 2]. Показано, что высококвалифицированному эксперту требуется до 20 мин на анализ МРТ-изображе-ний одного субъекта всего в двух временных точках сердечного цикла - конечной диастолы и конечной систолы [3], что значительно ограничивает его производительность и потенциально увеличивает вероятность ошибок при высокой нагрузке [4]. При этом
помимо качественного описания важным аспектом такого анализа является количественная оценка изображений - линейных и объемных показателей для задач диагностики, терапевтического мониторинга, прогнозирования и исследовательских целей.
С развитием методов глубокого обучения - ней-росетей, для задач сегментации изображений [5], обнаружения объектов [6], систем поддержки медицинских решений [7, 8] и с повышением их доступности [9, 10] стало возможно применение такого подхода и в области медицинских изображений [11-13]. В целом нейронные сети значительно отличаются от алгоритмических подходов, что обусловливает их широкое распространение и внедрение в область медицины - возможность условно самостоятельно устанавливать взаимосвязи между входными и выходными показателями на основе обучения без
явного задания корреляций оператором. Такая особенность позволяет извлекать взаимосвязи из предъявленных для обучения данных, в том числе неявные или многофакторные, и более гибко анализировать, например, изображения [14].
Кроме того, наблюдаемый рост вычислительных возможностей, прежде всего за счет расчетов на графических процессорах (GPU) [15], и наличие нейронных сетей с открытым исходным кодом делает их крайне доступными для обширного круга исследователей [16]. Учитывая данные факторы, а также сбор крупных баз данных (например, ImageNet [17], Cardiac CTA [18], ACDC [19]), задача разработки инструментов, снижающих субъективность и вклад «человеческого» фактора в анализ клинических графических данных, является актуальной и реализуемой. В период 2008-2018 гг. количество публикаций, освещающих прикладное применение методов машинного анализа медицинских графических данных, возросло в 8 раз [20]. В данной работе представлен набор существующих публикаций по теме применения нейронных сетей для обработки медицинских изображений в различных сферах кардиологии и кардиохирургии в период 2016-2019 гг.
ПОНЯТИЕ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ
История развития нейросетей началась с «примитивных» искусственных нейронных сетей (ИНС) прямого распространения (перцептрон) [21], которые были первыми и самыми простыми типами ИНС. Развитие и усложнение архитектур привело к образованию класса ИНС глубокого обучения (deep learning), которые выделяются сложной топологией блока, содержащего нейроны. Каждый из них может быть связан с множеством других нейронов как топологически более высокого уровня, так и более низкого и достаточно большим по сравнению с пер-цептронами их количеством. Такие ИНС имитируют принцип познания по аналогии с человеческим - создание ассоциаций на основе предыдущего опыта с помощью обучения, в ходе которого возрастает вероятность правильной классификации того или иного объекта [22-24].
На сегодняшний день наиболее эффективной технологией распознавания графических данных среди ИНС является технология сверточных нейронных сетей (convolution neural network, CNN), отличающаяся присутствием сверточного слоя. Данный слой (или набор слоев) подготавливает входные изображения, чтобы ИНС могла вычленить из них некоторые признаки, которые присущи искомому параметру, после чего передает промежуточное изображение в после-
дующую обработку по принципу других ИНС [25].
CNN являются разновидностью ИНС, и для них характерны две основные особенности - необходимость «обучения» и возможность «переключения» [1]. Для обучения ИНС необходимо предъявить ей выборку размеченных данных, на которых эксперты предварительно выделяют искомые объекты - по аналогии с обучением человека [24]. Поэтому важнейшим фактором, влияющим на качество работы CNN, является качество исходных данных, прежде всего исходная сегментация. Другим важным аспектом на стадии разработки архитектуры CNN являются структура и объем данных: малая выборка или недостаточная ее разнородность приведет к большой доле ошибок в результате работы, т.е. к снижению качества распознавания образов [1].
Возможность «переключения» CNN заключается в возможности работать со схожими данными: проведение предварительного обучения на одних данных из открытых источников и последующее дообучение для определенной задачи на конкретных изображениях в конкретной области знаний [26, 27]. Обе особенности делают CNN перспективным и доступным инструментом для обработки медицинских графических данных, в связи с чем ряд междисциплинарных команд проводит свои исследования в данной области.
ПРИМЕНЕНИЕ CNN В ОБРАБОТКЕ ИЗОБРАЖЕНИЙ
Сердце
Сегментация и расчет количественных характеристик отделов сердца, а также геометрических параметров миокарда представляют высокую ценность в кардиологии для оценки тяжести исходного состояния заболевания (наличия дилатации, гипертрофии, нарушений сократительной способности, очагов изменения анатомии и т.д.) и для мониторинга результатов лечения (ремоделирования, изменений размеров полостей). Несмотря на значительный прогресс в этой области, эта задача все еще является большой проблемой из-за высокой вариативности анатомии. Основными направлениями в данной области являются сегментация и классификация.
Например, L. Yu и соавт. (2016) применяли CNN для сегментации левого желудочки (ЛЖ) у детей в эмбриональной стадии развития на данных эхокардиографии [28]. Эхокардиография плода является основным методом оценки перинатальной функции сердца из-за его низкой стоимости, безвредности и быстрого проведения процедуры. Количественный анализ эхокардиографических изображений плода обеспечивает важные функ-
циональные параметры сердца для ранней диагностики заболеваний сердца.
В данной работе авторами предлагается динамическая CNN, обучение которой делится на два шага: предобучение и обучение. Предобучение проводили на снимках, где нейросеть каждый пиксель изображения разделяла на два класса: в области интереса и вне ее. А обучающая выборка состояла из 200 тыс. образцов, которые были отобраны случайным образом в 10 размеченных наборах. Валидационная выборка, т.е. массив изображений, на котором проверяли точность модели, состояла из 8 тыс. образцов. Примечательно, что в отличие от других обучающих выборок данные были размечены только для первого кадра каждой эхокардиографической последовательности, что значительно упростило работу экспертов. Таким образом, настройку динамической CNN выполняли путем точной разметки первого кадра и мелкой подстройки остальных кадров для адаптации к индивидуальным особенностям плода. В результате работы ИНС точность сегментации составила 94,5%. Дальнейшая работа авторского коллектива нацелена на количественный анализ функций ЛЖ плода на базе результатов, полученных с использованием предложенного метода сегментации. Пример полученных результатов показан на рис. 1, а.
В рамках работы W. Xue и соавт. (2018) [29] предложена архитектура глубокой многозадачной сети обучения взаимоотношениям (Deep MultiTask Relationship Learning network, DMTRL), которая включает в себя CNN для получения данных о форме сердца и две параллельные рекуррентные нейронные сети [4], которые моделируют временную динамику сердечных циклов. Предложенное решение оценивает три типа показателей ЛЖ (размер области внутри миокарда, толщину миокарда и фазу сердечного цикла). Авторами был собран набор МРТ снимков 145 пациентов по 20 изображений на каждый сердечный цикл, средний возраст которых составил 58,9 лет. Проведенные авторским коллективом эксперименты показали, что авторская ИНС по сравнению с предыдущим исследованием [30] обеспечивает более высокую точность прогноза с абсолютной ошибкой 1,7-10,3% для исследуемых параметров ЛЖ.
В своей работе J.D. Dormer и соавт. [31] представили метод сегментации сердца на пять классов на основе CNN для 3D КТ: левый желудочек, правый желудочек, левое предсердие, правое предсердие и фон. В работе были использованы данные 11 пациентов, каждому из которых соответствовали от 78 до 154 снимков, что позволило обеспечить большой объем данных. Снимки размечали таким образом,
чтобы получить по 2 500 изображений для каждого из сегментов сердца на этапе обучения. Валидацию проводили вычислением общей точности классификации каждой сегментированной области: точность, определенная как число корректно размеченных изображений от всего объема данных. В результате авторы достигли точности в сегментации отделов сердца и общей точности в размере 85,6 ± 6,1 и 87,2% ± 3,3% соответственно. Примечательно, что в данном случае всего 11 уникальных случаев позволило добиться высокой точности работы модели, несмотря на созданную таким образом низкую вариативность данных. Тем не менее, вероятно, такой подход представляется перспективным для редких случаев заболеваний, в особенности с использованием инструментов искусственного увеличения выборки -аугментации, за счет поворота, масштабирования данных без внесения изменения в них [25].
L. Tan и соавт. (2018) [32] представили полностью автоматический метод сегментации левого желудочка на основе данных МРТ с использованием CNN. Всего в работе были использованы данные: 200 пациентов с заболеваниями коронарных артерий (КА) и региональными нарушениями подвижности стенки ЛЖ, 1 140 пациентов субъектов со смешанными нормальными и патологическими сердечными функциями. Разделение обучающей и валидационной выборки составило 85 : 15%, т.е. 26 069 и 9 860 уникальных изображений. Разработанный алгоритм достиг точности 0,77 ± 0,11 по индексу Жакара. Результат обработки входных данных показан на рис. 1, b. Данная работа по сравнению с [31], напротив, демонстрирует большую выборку исходных изображений как для обучения, так и для валидации.
Аорта
Сегментация аорты по медицинским снимкам может быть использована в задачах реконструкции ее геометрии, прежде всего, трехмерных моделей для дальнейших задач численных расчетов, предоперационного планирования, а также для задач детекции ее патологических изменений. Нейросети в данной области могут применяться для задач предоперационного планирования, оценки и выбора подходящих протезов для операций типа TAVR.
Попытку решить задачу сегментации аорты предпринял коллектив D. Wang и соавт. (2018) [33], которые сегментировали аорту на снимках КТ и МРТ и выделяли пристеночный тромб на ней с использованием CNN. Стандартным подходом является обучение классификационной сети на КТ и МРТ по отдельности. Однако такой подход является трудо-
емким и неэффективным с точки зрения ресурсов из-за временных и вычислительных затрат на обучение ИНС по отдельности. Особенность предложенной CNN заключается в объединении частей модели, которые работают со снимками КТ и МРТ. Такая
сеть может проходить сквозное (от начала до конца, полное) обучение с использованием неразмеченных КТ- и МР-изображений, используя более короткое время обучения, так как обучение происходит сразу на двух типах входных данных.
b
Рис. 1. Результаты сегментации: а - последовательных эхокардиографической изображений, показанные в работе [28]; b - результат сегментации эндо- и эпикарда на МРТ-изображениях от вершины до основания, полученные CNN [32]
а
Также объединение сетей позволяет совместно использовать представление аорты на снимках КТ и МРТ (рис. 2, а). CNN при обработке снимков размечает такие классы, как стенка аорты, ее просвет, тромб, отложения кальция и несущественные части в качестве фона. Валидационная точность в объединенной модели составляет 98,5%, что на 1,2% выше, чем при использовании стандартной (раздельной) модели, которая обучается и обрабатывает снимки КТ и МРТ по отдельности.
Другим исследованием в данной области является работа P.M. Graffy и соавт. (2019) [34] (рис. 2, b), которые использовали полностью автоматизированный алгоритм Mask R-CNN [35] для сегментации кальцификации аорты. Авторами был использован набор из 9 914 неконтрастных КТ-ска-нирований 9 032 пациентов без симптомов, которым провели скрининг-исследование по показаниям, не связанным с сердечно-сосудистыми заболеваниями [36].
Fl Ä я
■ ГЛ ■ О Щ ( \ J ■
1 № 1 /ЯМ КдльцнфикЭ1,ин ш Ч ♦ " Р
1 р
b
Рис. 2. Пример сегментации снимка КТ (левая пара) и МРТ (правая пара) на 5 групп [33]: красный - просвет аортального канала; зеленый - стенка аорты; фиолетовый - тромб; синий - кальцификаты; черный - окружающие ткани (а). Пример работы автоматизированного алгоритма Mask R-CNN: слева - исходное изображение; справа - результат сегментации кальцификации аорты пациента, представленные в работе [34]; пунктирные линии - зона работы алгоритма (b)
а
На снимках определяли абдоминальный объем, массу кальцификаций, а также проводили оценку по индексу Агатстона (индекс, показывающий степень кальцификации КА) [37]. Статистическая обработка результатов работы ИНС показала, что средние значения по индексу Агатстона были выше у мужчин (924,2 ± 2066,2 против 564,2 ± 1484,2; р < 0,001), масса кальция в аорте 222,2 ± 526,0 против 144,5 ± 405,4 мг; р < 0,001) и объему (699,4 ± 1552,4 против 426,9 ± 1115,5 мл;р < 0,001). Общие возрастные показатели индекса Агатстона увеличивались в среднем на 10% в год для всей когорты; мужчины имели большее увеличение баллов по индексу Агатстона (возраст 40-60 лет), чем женщины (91,2 против 75,1%;р < 0,001), и имели значительно более высокие средние баллы по Агатстону в возрасте 5080 лет (р < 0,001). Таким образом, применение CNN в комплексе со статистическими методами позволяет, с одной стороны, быстро получать большие массивы количественных данных-измерений, с другой стороны, обрабатывать их общепринятыми методами медицинской статистики, что делает подобную связку валидным инструментом научных исследований. В заключение авторы отмечают, что данная работа является лишь первым шагом к созданию перспективного клинического инструмента для выделения кальция на стенках аорты.
Коронарные артерии
Патологии КА приводят к спектру критических состояний [38, 39], прежде всего - ишемической болезни сердца, наиболее частой причине летальных исходов в мире и Российской Федерации. Поэтому CNN могут стать ценным инструментом локализации и определения степени патологических изменений артерий, в особенности для многососудистых поражений.
Ангиография - метод выявления патологий КА, представляющий из себя последовательные по времени изображения КА в одной плоскости. E. Nasr-Esfahani и соавт. (2016) [40] в своей работе использовали сверточную ИНС для нахождения и выделения КА на снимках, полученных с помощью рентгенографии. Обработка таких снимков осложняется низким качеством (разрешением изображения) и наличием шума. Первоначально входная ангиограмма обрабатывается для повышения контрастности, далее ИНС оценивает изображение с использованием маски из пикселей, затем CNN определяет области КА и фона и выделяет на них артерию. Авторы использовали набор из 1 040 000 сегментов изображений для обучения нейросети, полученных из рентгенографии 44 пациентов. Такая широкая выборка позволит
получить высокую точность сегментации сосудов -93,5%, при специфичности 97%. На рис. 3 приведен пример работы ИНС по сравнению с изображениями, размеченными вручную.
Очевидно, что невозможно получить полное представление о качестве коронарного русла из изображений КА в одной плоскости. Трехмерная модель дает более широкий спектр информации, поэтому исследования в данной области выглядят перспективными. Так, J.M. Wolterink и соавт. (2019) [41] предложили метод предсказания направления и радиуса просвета артерии для извлечения центральной линии, основываясь только на данных, полученных из изображений (рис. 4). Начиная с одной исходной точки, расположенной вручную или автоматически в любом месте КА, трекер следует по центральной линии сосуда в двух направлениях, используя прогнозы CNN. Отслеживание прекращается, когда невозможно определить направление с высокой степенью достоверности. CNN обучается с использованием аннотированных вручную осевых линий на тренировочных изображениях.
Авторы проводили оценку алгоритма на тестовом наборе, состоящего из 24 тестовых изображений КТ-ангиограмм сердца, на которых было выделено 96 центральных линий. Извлеченные средние линии имели среднее перекрытие 93,7% с указанными вручную справочными центральными линиями. Работа авторов является частью Rotterdam Coronary Artery Algorithm Evaluation Framework, который позволяет оценивать алгоритмы извлечения центральной линии КА.
Внутрисосудистая оптическая когерентная томография (ОКТ) является методом оптической визуализации, обычно используемым при оценке заболеваний КА во время чрескожного коронарного вмешательства (ЧКВ). Для упрощения задачи автоматической сегментации просвета КА по данным ОКТ Y.L. Yong и соавт. (2017) [42] была предложена линейно-регрессионная сверточная нейронная сеть. В исследовании были использованы данные с 64 «протягиваниями» катетера (Dragonfly™ Duo Imaging Catheter) у 28 пациентов (25%/75% мужчин/ женщин со средним возрастом 59,71 ± 9,61 лет). Эти данные были случайным образом разбиты в соотношении 7 : 3 на тренировочный и тестовый наборы. Сравнивая результаты с «золотым стандартом» ручной сегментации, предложенный алгоритм имеет среднюю точность определения местоположения стенки сосуда в размере 22 микрон, а также коэффициент Dice [43, 44] и индекс подобия Жакара 0,985 и 0,970 соответственно при средней абсолютной погрешности оценки площади просвета - 1,38%.
Рис. 3. Результаты работы ИНС: синий - ручная разметка, красный -автоматическая сегментация [40]
Ь
Рис. 4. Результаты работы ИНС: а - входные изображения (верхний ряд), результат разметки нейросети (нижний ряд); Ь -сферы у основания обозначены точками начала работы алгоритма предсказания направления и радиуса просвета артерии
[41]
Отдельным аспектом применения CNN в области обработки снимков КА можно выделить оценку фракционного резерва потока (fractional flow reserve, FFR) [45]. В большинстве случаев при обнаружении на ангиграфии участков стеноза КА интервенционный кардиолог, руководствуясь требованиями, определяет необходимость ЧКВ на основании степени стеноза (т.е. диаметра сужения). Однако в ряде случаев такое вмешательство может быть избыточным, так как стеноз может быть гемодинамически незначим, несмотря на высокую степень окклюзии. Поэтому складывается тенденция определения FFR как функциональной характеристики стеноза. Величина FFR характеризуется отношением дистального давления к проксимальному давлению на стенозном участке [46].
Измерение этих величин происходит с использованием транссосудистого датчика, т.е. инвазивно. Для уменьшения количества таких измерений можно использовать ИНС, измеряющую FFR по косвенным признакам. Так, М. Zreik и соавт. (2018) [47] представляют метод для автоматической идентификации пациентов с функционально значимыми стенозами КА, используя методы глубокого обучения для коронарной КТ-ангиографии. При этом для определения FFR в исследовании использовали анализ состояния миокарда. Для этого проводили ручную сегментацию снимков с выделением стенки левого желудочка (см. рис. 3) и подключением количественных данных фракционного резерва, измеренных традиционно (п = 156), показавших значения (0,79 ± 0,10). Нейросети предлагалось классифицировать паци-
а
ентов на «имеющих» (FFR < 0,78) и «не имеющих» (FFR > 0,78) функциональную значимость стеноза КА с возможностью определения данного нарушения в 20 регионах в зависимости от локализации. Результаты демонстрируют высокое качество самой сегментации миокарда желудочка - степень совпадения с референсными значениями (ручная разметка экспертом) составила 91,4 ± 2,1% (по индексу Dice) [43, 44]. Однако чувствительность классификации гемодинамической значимости составила 0,6-0,8 при специфичности 0,77-0,59 в зависимости от настроек CNN. Такой результат слабо транслируется в клиническую практику в виде модели классификации, однако позволяет по опосредованных характеристикам определять FFR, не анализируя непосредственно состояние коронарного русла даже графически. Последующая работа данного коллектива авторов, основанная на этом же принципе, не продемонстрировала существенного роста качества классификации, несмотря на изменение порога FFR для значимых стенозов (FFR < 0,8) и корректировку входных данных (до n = 136) [48].
Более эффективный метод определения FFR предложен L. Itu и соавт. (2016) [49], которые обучали CNN непосредственно на данных анатомии КА, т.е. напрямую ассоциируя геометрические особенности с гемодинамической значимостью. При этом первичными данными выступили снимки мульти-спиральной компьютерной томографии (МСКТ) 87 пациентов со 125 участками стеноза. Исследователи выделяли анатомию КА ручным методом, получали трехмерные модели коронарного сосудистого русла и проводили численное моделирование потоков с определением градиента давления.
В качестве валидации для компьютерной модели использовали данные инвазивного FFR, получено соответствие 75-85%. Затем для искусственного увеличения выборки были сгенерированы 12 тыс. вариантов геометрии сосудистого русла, в которых разработанная компьютерная модель течения жидкости определяла уровень фракционного резерва кровоток. Эти данные были использованы для обучения CNN. Таким образом, исследователи увеличили обучающую выборку нейросети с 87 до 12 тыс. объектов (в 138 раз) с известным результатом оценки FFR.
Результаты предложенной в работе нейросети согласовались с результатами численного анализа на 99,7% (R = 0,9998, р = 0,001). Обученную таким образом CNN тестировали на исходных клинических данных МСКТ (n = 87) и получали чувствительность 81,6%, специфичность 83,9%. Такой результат во многом обусловлен несовершенством качества прогнозирования промежуточного звена - компьютер-
ного анализа потоков. Тем не менее данное исследование представляется наиболее перспективным, так как за основу оценки FFR принята, прежде всего, геометрия КА. Возможно, объединение исследований двух коллективов, описанных выше, позволит повысить качество определения FFR - сочетание анализа геометрии ЛЖ и КА может дать синергиче-ский эффект. Отметим, что метод, предложенный в работе [41], позволяющий получить объемное представление КА, может быть продуктивно объединен с исследованием [49], что может привести к прорыву в области неинвазивного измерения FFR.
Детекция медицинских устройств
Для успешного проведения малоинвазивных операций, например при TAVR-протезировании клапана аорты, задача трекинга доставочных систем (катетеров) представляется актуальной для определения оптимального позиционирования в целевом месте имплантации.
В данной области L. Wang и соавт. [50] в 2017 г. была предпринята попытка обнаружения катетера в КА по данным рентгеновских изображений с использованием CNN. Для исследования были использованы 22 последовательных рентгеновских изображения. Вся работа алгоритма был разбита на три шага. На первом шаге из тестового изображения в качестве входных данных генерируют около 256 предположений о расположении катетера. На втором - классифицируют все предложенные участки по региону и получают для каждого из них величину соответствия катетеру. На последнем - выбор наиболее подходящего по величине соответствия участка. Всего было получено таким образом 5 092 изображения, которые соответствуют 22 первоначальным рентгеновским изображениям. Далее из этого объема изображений были отобраны 19 наборов для обучения, а остальные три - для тестирования. Точность такого алгоритма достигла 89,2%. Результаты обработки показаны на рис. 5, а.
Позже в этой области H. Yang и соавт. (2019) использовали CNN для определения геометрии катетера на 3D ультразвуковом исследовании (рис. 5, b) с их последующей целью использования в качестве инструмента сегментации во время ма-лоинвазивных вмешательств [51]. Поскольку данное исследование являлось пилотным, то в качестве исследуемого образца были использованы четыре набора данных от четырех изолированных свиных сердец. Весь алгоритм делится на три шага: 1) выбор вокселя, предположительно содержащего катетер; 2) классификация предполагаемого вокселя с помощью CNN; 3) локализация катера с использованием
кубического сплайна, проходящего через отобранные воксели. Предложенный метод может локализовать катетер со средней ошибкой около 2,1 мм при обработке сканируемого объема в течение 10 с, что при увеличении мощности оборудования и оптимизации алгоритма приведет к «мгновенной» обработке получаемых данных.
В том же году командой авторов во главе с H. Lee были использованы CNN для отслеживания и сегментации периферически вставленного центрального катетера (peripherally inserted central catheter, PICC) [52]. Всего в исследовании было использовано 600 изображений DICOM 600 различных пациентов, содержащих ключевое слово PICC. Авторами были
случайным образом отобраны 50 изображений в качестве валидационного набора, 150 - в качестве тестового, а остальные - для обучения нейросетей типа fully convolutional network (FCN) [53]. Разработанные авторами нейросети достигли высокой точности с абсолютным расстоянием от истинного значения со средним значением 3,10 мм, стандартное отклонение 2,03 мм и среднеквадратичной ошибкой 3,71 мм на 150 тестовых случаев. Несмотря на то, что все данные имеют различный угол наклона и шумы различных видов, полученная ИНС способна точно выделять линию PICC, датчиков электрокардиограммы (ЭКГ), различные объекты (усиливающие пластины и болты) и шовный материал (рис. 5, с).
Рис. 5. Результаты работы ИНС в задаче выделения медицинских устройств, показанных: а - при обнаружении катетера в КА, где квадратом выделен конец катетера [50]; Ь - исходное изображение (слева), извлеченный конец катетера (справа) [51]; с - при сегментировании Р1СС (красный), датчиков электрокардиограммы ЭКГ (зеленый) и различных объектов
(бирюзовый) [52]
ПЕРСПЕКТИВЫ CNN
ИНС в области анализа графических данных проявили себя с различных сторон, полезных для медицины: от средств сегментации органов на медицинских снимках до систем оценки и прогнозирования развития патологий в экспериментальных и пилотных работах. С развитием доступности высокопроизводительных систем ИНС будут все больше находить применение в виде коммерческих продуктов, однако для этого потребуется решить ряд сложностей - с медицинскими данными, взаимодействием ИНС и инфраструктур.
Основа для работы ИНС - необходимость обучения, что сопряжено с требованиями к графическим медицинским данным, а именно получению их достаточного количества и достаточного разнообразия.
Существующие базы данных размеченных снимков МСКТ, КТ, МРТ, используемые для обучения CNN, значительно ограничены и включают, как правило, 100- 300 случаев [19], в то время как обучение часто требует от 1 до 10 тыс. примеров. Различные методы искусственной генерации, аугментации данных, применяемые в работах, имеют собственные ограничения и из-за своей природы вносят вклад в итоговую точность работы CNN. В связи с этим работы по сбору, стандартизации и аннотированию (разметке) медицинских данных могут быть перспективными, особенно при разработке мультицентровых баз данных.
Другой особенностью является неоднородность используемых архитектур нейросетей - практически каждый исследовательский коллектив использует собственную модель ИНС, которые слабо объединя-
ются для получения совокупного эффекта с другими CNN. Приведенные в настоящем обзоре примеры решения схожих задач (например, при неинвазив-ной оценке FFR) разными авторами могли бы быть объединены в совокупную систему нейросетевого анализа с повышением точности работы. Однако в реальной практике такого не происходит, возможно, вследствие несовместимости входных данных, структуры нейросетей. Перспектива объединения разнонаправленных подходов к определению того или иного объекта на медицинских изображениях, косвенных и прямых маркеров того или иного заболевания, т.е. разработка комплексного подхода работы нейросетей может значительно повысить результаты (чувствительность и специфичность) их применения.
И, наконец, несмотря на развитие аппаратной части (вычислительных мощностей), обработка изображений, в особенности снимков высокой детализации, сталкивается с проблемой производительности. Основные вычисления - подбор весовых коэффициентов на стадии обучения CNN - происходят на графических ядрах высокопроизводительных видеокарт (GPU). Это один из самых быстрых способов по сравнению с обучением на центральном процессоре. Однако сам анализ изображений, прежде всего, возможность реал-тайм анализа (трекинга, сегментации) - осуществляется на операторских местах, часто не обладающих достаточной производительностью. Развитие облачных вычислений в сочетании с алгоритмами оптимизации работы CNN должны существенно упростить практическое внедрение таких систем за счет снижения требований к мощности конечного персонального компьютера.
ЗАКЛЮЧЕНИЕ
За последние несколько лет ИНС проникли во многие сферы нашей жизни - от развлекательных (например, приложения для обработки фото в смартфонах) до систем проектирования инженерных решений (например, генеративные технологии). Лавинообразное распространения методов машинного обучения в повседневной жизни обусловлено ростом вычислительных мощностей как в стационарных решениях, так и в носимых устройствах. Медицина не стала исключением, ИНС проявили себя в широком спектре задач, в том числе и в сфере обработки графических данных. Несмотря на все достижения исследователей в этой области, развитие ИНС в данной сфере происходит медленно по ряду причин, часть из которых описаны выше. В этом кратком обзоре мы показали возможные сферы применения сверточных нейронных сетей в области кардиологии и кардиохи-
рургии. Не отрицая существующие проблемы, CNN в будущем могут стать верным помощником для широкого спектра врачей и исследователей.
Главной проблемой распространения CNN в здравоохранении является наличие большого объема аннотированных данных. Таким образом, вопрос остается открытым: сможем ли мы набрать достаточный объем данных для обучения ИНС? Недавние исследования показали, что чем больше данных, тем лучше результат, однако еще не известно, как могут быть использованы большие данные (big data).
На данный момент приведенные исследования показали, что методы, основанные на глубоком обучении, показывают себя с положительной стороны, но из-за уникальности данных для конкретного случая исследователи должны искать более сложные методы глубокого обучения, которые позволяют более эффективно обрабатывать сложные медицинские данные. В заключение можно отметить, что перспективы развития ИНС в системе здравоохранения не имеют ограничения по области применения.
ЛИТЕРАТУРА
1. Shen D., Wu G., Suk H.-I. Deep Learning in Medical Image Analysis. Annu. Rev. Biomed. Eng. 2017; 19: 221-248. DOI: 10.1146/annurev-bioeng-071516-044442.
2. Smith B.J., Adhami R.R. Medical imaging. IEEE Potentials. 2000; 17 (5): 9-12. DOI: 10.1109/45.730965.
3. Bai W., Sinclair M., Tarroni G., Oktay O., Rajchl M., Vaillant G. et al. Automated cardiovascular magnetic resonance image analysis with fully convolutional networks 08 Information and Computing Sciences 0801 Artificial Intelligence and Image Processing. JCardiovasc. Magn. Reson. 2018; 20 (1): 65. DOI: 10.1186/s12968-018-0471-x.
4. Caterini A.L., Chang D.E. Recurrent neural networks. Springer Briefs Comput. Sci. 2018; 59-79.
5. Nie D., Wang L., Gao Y., Sken D. Fully convolutional networks for multi-modality isointense infant brain image segmentation. Proc. - Int. Symp. Biomed. Imaging. 2016; 2016: 1342-1345. DOI: 10.1109/ISBI.2016.7493515.
6. Thaha M.M., Kumar K.P.M., Murugan B.S., Dhanasekeran S., Vijayakarthick P., Selvi A.S. Brain tumor segmentation using convolutional neural networks in MRI images. J. Med. Syst. 2019; 43 (9): 1240-1251. DOI: 10.1007/s10916-019-1416-0.
7. Suk H.I., Lee S.W., Shen D. Latent feature representation with stacked auto-encoder for AD/MCI diagnosis. Brain Struct. Funct. 2015; 220 (2): 841-859. DOI: 10.1007/s00429-013-0687-3.
8. Suk H.-I., Shen D. Deep learning in diagnosis of brain disorders. Recent. Prog. Brain Cogn. Eng. Springer. 2015; 203-213. DOI: 10.1007/978-94-017-7239-6_14.
9. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation. Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics). 2015; 9351: 234-241.
10. Milletari F., Navab N., Ahmadi S.A. V-Net: Fully convo-lutional neural networks for volumetric medical image seg-
mentation. Proc. - 2016 4th Int. Conf. 3D Vision, 3DV2016. IEEE. 2016; 565-571.
11. Szegedy C., Toshev A., Erhan D. Deep Neural Networks for object detection. Adv. Neural Inf. Process. Syst. 2013; 25532561.
12. Taigman Y., Yang M., Ranzato M., Wolf L. DeepFace: Closing the gap to human-level performance in face verification. Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recog-nit. 2018; 1701-1708. DOI: 10.1109/CVPR.2014.220.
13. Silver D., Huang A., Maddison C.J., Guez A., Sifre L., van den Driessche G. et al. Mastering the game of Go with deep neural networks and tree search. Nature. 2016; 529 (7587): 484-489. DOI: 10.1038/nature16961.
14. Razzak M.I., Naz S., Zaib A. Deep learning for medical image processing: Overview, challenges and the future. Lect. Notes Comput. Vis. Biomech. 2018; 26: 323-350.
15. Smistad E., Falch T.L., Bozorgi M., Elster A.C., Lindseth F. Medical image segmentation on GPUs - A comprehensive review. Med. Image Anal. 2015; 20 (1): 1-18. DOI: 10.1016/j. media.2014.10.012.
16. Zhou T., Ruan S., Canu S. A review: Deep learning for medical image segmentation using multi-modality fusion. Array. 2019; 3-4: 100004. DOI: 10.1016/j.array.2019.100004.
17. Russakovsky O., Deng J., Su H., Krause J., Satheesh S., Ma S., Huang Z., Karpathy A., Khosla A., Bernstein M., Berg A.C., Fei-Fei L. ImageNet large scale visual recognition challenge. Int. J. Comput. Vis. 2015; 115 (3): 211-252. DOI: 10.1007/ s11263-015-0816-y.
18. Moeskops P., Wolterink J.M., van der Velden B.H., Gilhuijs K.G., Leiner T., Viergever M.A., Isgum I. Deep learning for multi-task medical image segmentation in multiple modalities. Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics). 2016; 9901 LNCS: 478-486. DOI: 10.1007/978-3-319-46723-8_55.
19. Baumgartner C.F., Koch L.M., Pollefeys M., Konukoglu E. An exploration of 2D and 3D deep learning techniques for cardiac MR image segmentation. Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics.. 2018; 10663 LNCS: 111-119. DOI: 10.1007/978-3-319-75541-0_12.
20. Pesapane F., Codari M., Sardanelli F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. Eur. Radiol. Exp. 2018; 2 (1): 35. DOI: 10.1186/s41747-018-0061-6.
21. Брюхомицкий Ю.А. Нейросетевые модели для систем информационной безопасности. Таганрог: ТРТУ, 2005: 160.
22. Kim M., Yun J., Cho Y., Shin K., Jang R., Bae H., Kim N. Deep learning in medical imaging. Neurospine. 2019; 16 (4): 657-668. DOI: 10.14245/ns.1938396.198.
23. Krittanawong C., Tunhasiriwet A., Zhang H.J., Wang Z., Aydar M., Kitai T. Deep learning with unsupervised feature in echocardiography imaging. J. Am. Coll. Cardiol. 2017; 69 (16): 2100-2101. DOI: 10.1016/j.jacc.2016.12.047.
24. Zhao Y., Xia X., Togneri R. Applications of deep learning to audio generation. IEEE Circuits Syst. Mag. 2019; 19 (4): 19-38. DOI: 10.1109/MCAS.2019.2945210.
25. LeCun Y., Bengio Y., Hinton G. Deep learning. Nature. 2015; 521 (7553): 436-444. DOI: 10.1038/nature14539.
26. Gupta A., Ayhan M.S., Maida A.S. Natural image bases to represent neuroimaging data. 30th Int. Conf. Mach. Learn. ICML 2013. 2013; 2024-2031.
27. Brosch T., Tam R. Initiative for the Alzheimers Disease Neuroimaging. Manifold Learn brain MRIs by Deep Learning Med. Image Comput. Assist. Interv. 2013; 16 (2): 633-640. DOI: 10.1007/978-3-642-40763-5_78.
28. Yu L., Guo Y., Wang Y., Yu J., Chen P. Segmentation of fetal left ventricle in echocardiography sequences based on dynamic convolutional neural networks. IEEE Trans. Biomed. Eng. 2017; 64 (8): 1886-1895. DOI: 10.1109/ TBME.2016.2628401.
29. Xue W., Brahm G., Pandey S., Leung S., Li S. Full left ventricle quantification via deep multitask relationships learning. Med. Image Anal. 2018; 43: 54-65. DOI: 10.1016/j.me-dia.2017.09.005.
30. Xue W., Lum A., Mercado A., Landis M., Warrington J., Li S. Full quantification of left ventricle via deep multitask learning network respecting intra- and inter-task relatedness. Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics). 2017; 10435 LNCS: 276-284. DOI: 10.1007/978-3-319-66179-7_32.
31. Dormer J.D., Fei B., Halicek M., Ma L., Reilly C.M., Schreibmann E. Heart chamber segmentation from CT using convolu-tional neural networks. Med. Imaging 2018 Biomed. Appl. Mol. Struct. Funct. Imaging, vol. 10578. International Society for Optics and Photonics. 2018; 100. DOI: 10.1117/12.2293554.
32. Tan L.K., McLaughlin R.A., Lim E., Abdul Aziz Y.F., Liew Y.M. Fully automated segmentation of the left ventricle in cine cardiac MRI using neural network regression. J. Magn. Reson. Imaging. 2018; 48 (1): 140-152. DOI: 10.1002/ jmri.25932.
33. Wang D., Zhang R., Zhu J., Teng Z., Huang Y., Spiga F., Du M.H.-F., Gillard J.H., Lu Q., Lio P. Neural network fusion: a novel CT-MR aortic aneurysm image segmentation method. Med. Imaging 2018 Image Process. 2018; 10574: 75. DOI: 10.1117/12.2293371.
34. Graffy P.M., Liu J., Pickhardt P.J., Burns J.E., Yao J., Summers R.M. Deep learning-based muscle segmentation and quantifcation at abdominal CT: Application to a longitudinal adult screening cohort for sarcopenia assessment. Br. J. Radiol. 2019; 92 (1100): 2921-2928. DOI: 10.1259/bjr.20190327.
35. He K., Gkioxari G., Dollar P., Girshick R. Mask r-cnn. Proc. IEEE. Int. Conf. Comput. Vis. 2017; 2961-2969. DOI: 10.1109/ICCV.2017.322.
36. Pickhardt P.J. Imaging and screening for colorectal cancer with CT colonography. Radiol. Clin. North Am. 2017; 55 (6): 1183-1196. DOI: 10.1016/j.rcl.2017.06.009.
37. Neves P.O., Andrade J., Monjao H. Escore de calcio coronar-iano: Estado atual. Radiol Bras. 2017; 50 (3): 182-189. DOI: 10.1590/0100-3984.2015.0235.
38. Segal B.L. The pathology of coronary heart disease. Can. Med. Assoc. J. 1962; 87 (26): 1387-1390.
39. Van der Wal A.C. Coronary artery pathology. Heart. 2007; 93 (11): 1484-1489. DOI: 10.1136/hrt.2004.038364.
40. Nasr-Esfahani E., Samavi S., Karimi N., Soroushmehr S.R., Ward K., Jafari M.H., Felfeliyan B., Nallamothu B., Najarian K. Vessel extraction in X-ray angiograms using deep learning.
Proc. Annu. Int. Conf. IEEE Eng. Med. Biol. Soc. 2016; 2016: 643-646. DOI: 10.1109/EMBC.2016.7590784.
41. Wolterink J.M., Hamersvelt R.W., Viergever M.A., Leiner T., Isgum I. Coronary artery centerline extraction in cardiac CT angiography using a CNN-based orientation classifier. Med. Image Anal. 2019; 51: 46-60. DOI: 10.1016/j.me-dia.2018.10.005.
42. Yong Y.L., Tan L.K., McLaughlin R.A., Chee K.H., Liew Y.M. Linear-regression convolutional neural network for fully automated coronary lumen segmentation in intravascular optical coherence tomography. J. Biomed. Opt. 2017; 22 (12): 1-9. DOI: 10.1117/1.jbo.22.12.126005.
43. Dice L.R. Measures of the amount of ecologic association between species. Ecology. 1945; 26 (3): 297-302. DOI: 10.2307/1932409.
44. Zou K.H., Warfield S.K., Bharatha A., Tempany C.M.C., Kaus M.R., Haker S.J., Wells W.M., Jolesz F.A., Kikinis R. Statistical validation of image segmentation quality based on a spatial overlap index. Acad. Radiol. 2004; 11 (2): 178-189. DOI: 10.1016/S1076-6332(03)00671-8.
45. Pijls N.H., De Bruyne B., Peels K., van der Voort P.H., Bonnier H.J.R.M., Bartunek J., Koolen J.J. Measurement of fractional flow reserve to assess the functional severity of coronary-artery stenoses. N. Engl. J. Med. 1996; 334 (26): 1703-1708. DOI: 10.1056/NEJM199606273342604.
46. Stegehuis V.E., Wijntjens G.W., Piek J.J., van de Hoef T.P. Fractional flow reserve or coronary flow reserve for the assessment of myocardial perfusion: Implications of FFR as an imperfect reference standard for myocardial ischemia. Curr. Cardiol. Rep. 2018; 20 (9): 77. DOI: 10.1007/s11886-018-1017-4.
47. Zreik M., Lessmann N., van Hamersvel R.W., Wolterink J.M., Voskuil M., Viergever M. A., Leinerb T., Isgum I. Deep learn-
ing analysis of the myocardium in coronary CT angiography for identification of patients with functionally significant coronary artery stenosis. Med. Image Anal. 2018; 44: 72-85. DOI: 10.1016/j.media.2017.11.008.
48. Van Hamersvelt R.W., Zreik M., Voskuil M., Viergever M.A., Isgum I., Leiner T. Deep learning analysis of left ventricular myocardium in CT angiographic intermediate-degree coronary stenosis improves the diagnostic accuracy for identification of functionally significant stenosis. Eur. Radiol. 2019; 29 (5): 2350-2359. DOI: 10.1007/s00330-018-5822-3.
49. Itu L., Rapaka S., Passerini T., Georgescu B., Schwemmer C., Schoebinger M., Flohr T., Sharma P., Comaniciu D. A machine-learning approach for computation of fractional flow reserve from coronary computed tomography. J. Appl. Physiol. 2016; 121 (1): 42-52. DOI: 10.1152/japplphysiol.00752.2015.
50. Wang L., Xie X.L., Bian G.B., Hou Z.G., Cheng X.R., Pra-song P. Guide-wire detection using region proposal network for X-ray image-guided navigation. Proc. Int. Jt. Conf. Neural Networks. 2017; 2017: 3169-3175. DOI: 10.1109/ IJCNN.2017.7966251.
51. Yang H., Shan C., Kolen A.F., de With P.H.N. Catheter localization in 3D ultrasound using voxel-of-interest-based Con-vNets for cardiac intervention. Int. J. Comput. Assist. Radiol. Surg. 2019; 14 (6): 1069-1077. DOI: 10.1007/s11548-019-01960-y.
52. Lee H., Mansouri M., Tajmir S., Lev M.H., Do S. A deep-learning system for fully-automated peripherally inserted central catheter (PICC) tip detection. J. Digit. Imaging. 2018; 31 (4): 393-402. DOI: 10.1007/s10278-017-0025-z.
53. Shelhamer E., Long J., Darrell T. Fully convolutional networks for semantic segmentation. IEEE Trans. Pattern Anal. Mach. Intell. 2017; 39 (4): 640-651. DOI: 10.1109/TPA-MI.2016.2572683.
Сведения об авторах
Онищенко Павел Сергеевич, мл. науч. сотрудник, НИИ КПССЗ, г. Кемерово; аспирант, лаборатория новых биоматериалов, ИВТ СО РАН, г. Новосибирск. ОЯСГО 0000-0003-2404-2873.
Клышников Кирилл Юрьевич, науч. сотрудник, лаборатория новых биоматериалов, ИВТ СО РАН, г. Новосибирск. ОЯСШ 0000-0003-3211-1250.
Овчаренко Евгений Андреевич, канд. техн. наук, зав. лабораторией новых биоматериалов, ИВТ СО РАН, г. Новосибирск. ОЯСГО 0000-0001-7477-3979.
(*) Онищенко Павел Сергеевич, е-таД: [email protected]
Поступила в редакцию 14.07.2020 Подписана в печать 28.12.2020
