CC BY
62
ОПЫТ ПРАКТИЧЕСКОЙ СТАНДАРТИЗАЦИИ
DOI: 10.26347/1607-2502201909-10004-009
НЕИРОСЕТЕВАЯ ИНТЕРПРЕТАЦИЯ РЕНТГЕНОЛОГИЧЕСКОГО ИЗОБРАЖЕНИЯ ГРУДНОИ КЛЕТКИ: СОВРЕМЕННЫЕ ВОЗМОЖНОСТИ И ИСТОЧНИКИ ОШИБОК
Цель исследования. Проанализировать функциональные возможности различных типов нейронных сетей в анализе рентгенологических изображений грудной клетки и определить подходы к устранению источников ошибок сети.
Материал и методы. Использовались сети трех архитектур: нейронную сеть с обучением методом обратного распространения ошибки (BPNN), нейронную сеть, работающую по конкурентному принципу (CpNN) и глубокую сверточную нейронную сеть (CNN), разработанные специалистами Care Mentor (Россия). Для обучения сетей по 12 рентгенологическим синдромам и оценки эффективности работы применяли раздельные наборы цифровых изображений рентгенограмм органов грудной клетки в прямой проекции размером 32 x 32 пикселя в форматах JPEG или PNG, полученные из открытой базы Chestx-ray8. Источники ошибок сетей определяли экспертно-аналитическим методом. Результаты. Точность BPNN в распознавании отдельных рентгенологических феноменов на уровне 81,03% достигалась при невысоких затратах времени на обучение, умеренном числе повторений. Значение среднеквадратического отклонения не превышало 0,0026. CpNN в силу особенностей архитектуры и самообучающего алгоритма при минимальных затратах времени на обучение позволяла повышать точность определения отдельного рентгенологического синдрома до 90,12%, однако величина погрешности была относительно высокой. Испытания CNN на тестовой совокупности изображений показали наилучшие результаты по точности распознавания рентгенологических изменений и величине погрешности, тогда как ресурсные затраты на обучение были наибольшими. Основными источниками ошибок являются: ошибки, обусловленные самой архитектурой нейронной сети и алгоритмом ее обучения; ошибки, связанные с некорректной разметкой обучающих изображений; ошибки, ассоциированные с качеством анализируемых изображений. Заключение. Повышение точности и эффективности методов машинного анализа рентгенологических изображений может быть связано с совершенствованием алгоритмов обучения нейронных сетей, точности разметки и качества изображений.
Ключевые слова:рентгенография органов грудной клетки, нейронная сеть, изображение, ошибка, интерпретация, точность
Авторы заявляют об отсутствии возможных конфликтов интересов.
CHEST X-RAYS ANALYSIS BY NEURAL NETWORK: CONTEMPORARY ACHIEVEMENTS AND CAUSES OF MISINTERPRETATION
Objective. To analyze the functions of various types of neural networks in chest X-rays classification as well as to analyze the sources of errors and how to eliminate them. Methods. Back propagation neural network (BPNN), competitively neural network (CpNN) and convolutional neural network (CNN) developed by Care Mentor (Russia) were used to classify X-ray images into 12 X-ray syndromes. Separate sets of digital JPEG/PNG chest X-rays with size 32 x 32 pixels obtained from Chestx-ray8 were used for training and benchmarking the networks. The causes of network errors were determined by an expert-analytical method. Results. The BPNN accuracy rate of 81.03% in recognizing radiological phenomena was achieved against low training time and a moderate number of iterations. At the same time, mean square error value did not exceed 0.0026. Due to the peculiarities of the architecture and the self-learning algorithm, CpNN, with minimal time spent on training, made it possible to increase the accuracy of determining an X-ray syndrome up to 90.12%, but the error value was relatively high. CNN showed the best results in the accuracy of recognition of radiological changes and the magnitude of the error, while the training resource costs were the greatest. The main sources
Д.С. Блинов1, А.Е. Лобищева2, А.А. Варфоломеева1, И.Г. Камышанская2, Е.В. Блинова3
1 Care Mentor AI, отдел научных исследований и разработок, Москва, Россия
2 ФГБОУ ВО «Санкт-Петербургский государственный университет», медицинский факультет, Санкт-Петербург, Россия
3 ФГАОУ ВО Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет), кафедра оперативной хирургии и топографической анатомии,
Москва, Россия
Blinov DS1, Lobishcheva AE2, Varfolomeeva AA1, Kamishanskaya IG2, Blinova EV3
1 Care Mentor AI, R&D Department, Moscow, Russia
2 Saint-Petersburg State University, Faculty of Medicine, Saint-Petersburg, Russia
3 Sechenov First Moscow State Medical University (Sechenov University), Department of Operative Surgery and Topographic Anatomy, Moscow, Russia
of errors are: errors caused by the neural network architecture itself and its learning algorithm; errors associated with incorrect labeling of images; errors associated with the quality of the analyzed images.
Interpretation. Improving the accuracy and efficiency of computerized methods for analyzing X-ray images can be associated with the improvement of neural network learning algorithms, accuracy of labeling and image quality.
Keywords: chest x-ray, neural network, image, error, interpretation, accuracy. Authors declare no competing interests.
Рентгенография органов грудной клетки является наиболее распространенным радиологическим диагностическим методом в мире, на долю которого приходится до 45% всех лучевых исследований [1]. Широкая доступность метода определена его невысокой стоимостью и большим диагностическим потенциалом в отношении таких социально-значимых патологических процессов, как туберкулез, рак легкого, пневмония [2]. В то же время рентгенография представляет собой пример диагностической многозначности. Причина этого в том, что плоскостное изображение формируется в результате наложения анатомических структур, имеющих различные структуру, состав и плотность. В результате изображение может содержать десятки признаков, встречающихся при сотнях патологических процессов и состояний [2]. Это обусловливает наличие сложностей в считывании и интерпретации рентгенологических данных, возникновение разночтений между врачами рентгенологами, что зачастую приводит к необоснованным дополнительным уточняющим обследованиям.
Медицинские ошибки в настоящее время рассматриваются наряду с сердечно-сосудистыми и онкологическими заболеваниями как ведущая причина смертности населения в мире [3]. В США, по данным ряда авторов, на долю летальных исходов в результате медицинских ошибок приходится от 44 до 400 тыс. случаев в год [4, 5]. По оценкам ВОЗ, дополнительные расходы из бюджетов всех уровней, ассоциированные с медицинскими ошибками, колеблются между 17—29 млрд. долл. США ежегодно. Частота лож-ноотрицательных результатов при анализе рентгенограмм грудной клетки в развитых странах мира составляет в среднем 4% [6, 7], тогда как вероятность ошибки выявления отдельных рентгенологических феноменов не опускается ниже 30%, начиная с 1949 г., когда Garland опубликовал свое первое наблюдательное исследование
[8]. По данным ретроспективного наблюдения del Ciello et al. (2017), посвященного проблеме рентгенологической диагностики рака легкого, частота выявления идентифицируемых очаговых образований в легких размером до 30 мм не превышает 29% и возрастает до 82% лишь при увеличении размера очага до 40 мм [9].
Последние годы ознаменованы прорывными решениями в области машинной обработки медицинских данных, в том числе диагностических изображений. В частности, для диагностики заболеваний легких предлагалось использование нейронных сетей, параболических, векторных регрессионных моделей [10]. Хронические бронхообструктивные заболевания и пневмонию предлагали диагностировать при помощи сочетания нейросетевого решения и искусственной иммунной системы [11]. Были разработаны алгоритмы диагностики туберкулеза, рака легкого и пневмонии на основе сегментации с использованием древа решений, байесовского принципа [12]. Вышеупомянутые подходы с успехом применялись для классификации патологических состояний, однако их точность, специфичность и чувствительность, а также производительность уступала пришедшим на их смену методам глубокого машинного обучения (Deep machine learning) [13, 14]. Нейронные сети (конкурентные, обратного распространения ошибки, сверточ-ные) продемонстрировали преимущества перед человеком в точности интерпретации и ее скорости. Последующее применение нейросете-вых возможностей для решения проблем обнаружения отдельных патологических состояний на медицинских изображениях позволило создавать высокопроизводительные модели [15, 16].
Цель исследования — проанализировать функциональные возможности различных типов нейронных сетей в анализе рентгенологических изображений грудной клетки и определить подходы к устранению источников ошибок сети.
МАТЕРИАЛ И МЕТОДЫ
На экспериментальном этапе исследования для сравнительного анализа производительности и точности работы нейронных сетей с различным алгоритмом обучения и принятия решения использовали сети трех архитектур: нейронную сеть с обучением методом обратного распространения ошибки (Back-propagation neural network, BPNN), нейронную сеть, работающую по конкурентному принципу (Competitive neural network, CpNN) и глубокую сверточную нейронную сеть (Сonvolutional neural network, CNN), разработанные специалистами Care Mentor (Россия). В качестве обучающих и тестовых изображений применяли деперсонализированные цифровые изображения рентгенограмм органов грудной клетки в прямой проекции размером 32 х 32 пикселя в форматах JPEG или PNG, полученные из открытой и опубликованной в 2017 г. базы Chestx-ray8 [17]. Использовали классификатор рентгенологических признаков, содержащий 12 классов патологических изменений органов: ателектаз, кардиомегалия, пневмоторакс, гидроторакс, очаговая тень, полостное образование, инфильтрация, диссеминация, уплотнение легких, эмфизема легких, отек легких, синдром ограниченного затенения. В соответствии с размером изображения, равным 1024 пикселя, и количеством классифицируемых признаков входной слой каждой архитектуры содержал 1024 нейрона, тогда как 12 нейронов составляли выходной слой каждой нейронной сети. Обучение нейронных сетей осуществляли на размеченных изображениях в специально созданной для этого среде label.cmai. Эффективность, точность и производительность работы каждой нейронной сети оценивали в тестовых исследованиях на 1000 деперсонализированных изображений, сбалансированно содержащих описанные рентгенологические признаки, по совокупности показателей: время обучения, частота верного распознавания рентгенологического признака, значение пока-
зателя среднеквадратического отклонения и число повторений [18].
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
Нейронная сеть с обучением методом обратного распространения ошибки (ВР№№) представляет собой многослойную сеть с использованием особенного контролируемого алгоритма обучения: ошибки на выходе используются для корректировки коэффициентов для входных данных [19]. На рис. 1А изображена схема типичной ВРКК, состоящей из входного, скрытого и выходного слоев. Как видно, все вычисления происходят в прямом направлении, за исключением операций, использующихся при обучении. Поскольку для иллюстрации принципов работы каждой сети были выбраны 12 ключевых рентгенологических синдромов, такое же количество нейронов выходного слоя изображено на рис. 1Б.
Нейронная сеть, построенная по конкурентному признаку (СрКК), является самообучающейся, то есть не требует разметки изображений, на которых происходит процесс обучения. Это, с одной стороны, существенно экономит время на разметку больших массивов рентгенограмм, привлечения значительных человеческих и финансовых ресурсов, а с другой, — повышает риск переобучения [19]. Архитектура и алгоритм работы сети проиллюстрированы на рис. 2.
Архитектура нейронной сети, работающей по конкурентному принципу, содержит два слоя, относящиеся к входным и выходным сигналам. На изображениях, подающихся на вход нейронной сети, выходной слой идентифицирует уникальный паттерн, соответствующий тому или иному рентгенологическому синдрому.
Рис. 1 Схема архитектуры, обучения (А) и работы (Б) ВРК№ 1024 нейрона на входе сети соответствуют 1024 пикселям анализируемого изображения; 12 нейронов выходного слоя — количеству анализируемых рентгенологических синдромов
Рис. 2. Схема архитектуры, обучения (А) и работы (Б) CpNN по [20]
Рис. 3. Принципиальная схема функционирования CNN (пояснения в тексте)
Глубокое обучение относится к методам машинного обучения, построенного по принципам, заложенным в многослойной структуре головного мозга млекопитающих [20]. При этом глубокие структуры, содержащие несколько скрытых слоев, позволяют достигать высокой степени абстракции на различных уровнях анализа объекта. Hinton с соавт. в 2006 г. предложили новый алгоритм обучения глубоких нейронных сетей [21], который позволил повысить эффективность процесса и вывести возможности использования искусственного интеллекта на принципиально новый уровень. В настоящее время основной и наиболее часто используемой нейросетевой архитектурой при анализе медицинских изображений является сверточная нейронная сеть (CNN) в силу высокой мощности и беспрецедентной точности в идентификации отдельных феноменов. CNN состоит из трех типов слоев: сверточные, группировочные и слои полной связи или соответствия (рис. 3).
Группировочные и сверточные слои служат для пространственной трансформации и карти-
рования отдельных фрагментов плоскостного изображения при помощи специальных масок. Слои полного соответствия ассоциируют входящий паттерн тестового изображения с алгоритмом принятия решения.
Сравнительные результаты производительности и точности синдромной классификации исследуемых типов нейронных сетей представлены в таблице.
Согласно данным табл. 1, точность в распознавании отдельных рентгенологических феноменов ВРКК на уровне 81,03% достигалась при
Сравнительные результаты производительности и точности синдромной классификации типов нейронных сетей
Архитектура нейронной сети Время обучения, с Точность распознавания, % Максимальная величина среднеквадратичного отклонения Число повторений
BPNN 640 81,03 0,0026 6000
CpNN 320 90,12 0,0034 1000
CNN 2700 93,61 0,0012 30 000
невысоких затратах времени на обучение, умеренном числе повторений. При этом значение среднеквадратического отклонения не превышало 0,0026. CpNN в силу особенностей архитектуры и самообучающего алгоритма при минимальных затратах времени на обучение позволяла повышать точность определения отдельного рентгенологического синдрома до 90,12%, однако величина погрешности была относительно высокой. Испытания CNN на тестовой совокупности изображений показали наилучшие результаты по точности распознавания рентгенологических изменений и величине погрешности, тогда как ресурсные затраты на обучение были наибольшими.
Значительный прогресс в описываемой области, вместе с тем, не позволяет говорить об абсолютной безошибочности работы искусственного интеллекта: при анализе медицинских изображений системы, созданные на основе нейронных сетей, ошибаются. Основными источниками ошибок являются:
1) ошибки, обусловленные самой архитектурой нейронной сети и алгоритмом ее обучения;
2) ошибки, связанные с некорректной разметкой обучающих изображений;
3) ошибки, ассоциированные с качеством анализируемых изображений.
К первой группе ошибок следует отнести ложноотрицательные результаты, являющиеся следствием недоученности сети, и ложнополо-жительные результаты, связанные с явлением переобучения. Вероятность последнего возрастает при использовании самообучающих алгоритмов [19].
Вторая группа несет в себе все разнообразие ошибок, с которыми связаны некорректные заключения специалистов-рентгенологов: ошибки визуализации, интерпретации и принятия решения [3—6].
Третья группа объединяет ошибки, обусловленные техническими погрешностями при производстве изображения.
Таким образом, можно выделить следующие основные подходы к повышению интерпретационной точности нейронных сетей: построение машинных систем для анализа медицинских изображений на основе принципов Deep learning и архитектур CNN сетей; повышение доли изображений с подтвержденным соответствием между рентгенологическим изображением и клини-
ческим диагнозом (установленным с использованием наиболее доказательных верификационных методов) в обучающих совокупностях; предусматривать в протоколах обучения, в том числе параметры качества изображения.
ЗАКЛЮЧЕНИЕ
Наиболее эффективными и точными системами для интерпретации мультиклассификаци-онных медицинских изображений, в частности рентгенограмм органов грудной клетки, являются модели, построенные на основе архитектур многослойных сверточных нейронных сетей. Ошибочные заключения нейронных сетей при анализе рентгеновских изображений связаны как с недостатками обучающих алгоритмов, так и с несовершенной разметкой обучающих изображений и их качеством.
ЛИТЕРАТУРА/REFERENCES
1. Yao L, Poblenz E, Dagunts D, Covington B, Bernard D, Lyman K. Learning to diagnose from scratch by exploiting dependencies among labels. CoRR, abs/1710.10501. 2018;1:1-18.
2. Sabih DE, Sabih A, Sabih Q, Khan AN. Image perception and interpretation of abnormalities; can we believe our eyes? Can we do something about it? Insights Imaging. 2011;2:47-55.
3. Makary MA, Daniel M. Medical error: the third leading cause of death in the US. BMJ. 2016;353:i2139. https:// doi.org/10.1136/bmj.i2139
4. Kohn LT, Corrigan JM, Donaldson MS, et al. To err is human: building a safer health system. Washington, DC: National Academies Press, 2000. pp. 287. https://doi.org/ 10.17226/9728
5. Busby LP, Courtier JL, Glastonbury CM. Bias in radiology: the How and Why of misses and misinterpretation. Radiographics. 2018;38:236-247. https://doi.org/10.1148/ rg.2018170107
6. Waite S, Scott J, Gale J, Fuchs T, Kolla S, Reede D. Interpretative error in radiology. AJR. 2017;208:739-749. https:// doi.org/10.2214/ajr.16.16963
7. Ropp A, Waite S, Reede D, Patel J. Did I miss that: subtle and commonly missed findings on chest radiographs. Curr Probl Diagn Radiol. 2015;44:277-289. https://doi.org/ 10.1067/j.cpradiol.2014.09.003
8. Garland LH. On the scientific evaluation of diagnostic procedures. Radiology. 1949;52:309-328. https://doi.org/ 10.1148/52.3.309
9. Del Ciello A, Franchi D, Contegiacomo A, Cicchetti G, Bonomo L, Larici AR. Missed lung cancer: when, where, and why? Diagn Interv Radiol. 2017;23(2):118-126. https:// doi.org/10.5152/dir.2016.16187
10. Er O, Yumusak N, Temurtas F. Chest diseases diagnosis using artificial neural networks. Expert Sys Appl. 2010;37(12): 7648-7655. https://doi.org/10.1016/j.eswa.2010.04.078
11. Er O, Sertkaya C, Temurtas F, Tanrikulu AC. A comparative study on chronic obstructive pulmonary and pneumo-
nia diseases diagnosis using neural networks and artificial immune system. J Med Sys. 2009;33(6):485-492. https:// doi.org/10.1007/s10916-008-9209-x
12. Khobragade S, Tiwari A, Pati CY, Narke V. Automatic detection of major lung diseases u sing chest radiographs and classification by feed-forward artificial neural network. Proceedings of 1st IEEE International Conference on Power Electronics. Intelligent Control and Energy Systems (ICPEICES-2016) 2016 IEEE. P. 1-5. https:// doi.org/10.1109/icpeices.2016.7853683
13. Litjens G, Kooi T, Bejnordi EB, et al. A survey on deep learning in medical image analysis. Medical Image Analysis. 2017;42:60-88. https://doi.org/10.1016Zj.media.2017.07.005
14. Albarqouni S, Baur C, Achilles F, et al. Aggnet: deep learning from crowds for mitosis detection in breast cancer histology images. IEEE Transactions on Medical Imaging. 2016;35(5):1313-1321. https://doi.org/10.1109/ tmi.2016.2528120
15. Avendi MR, Kheradvar A, Jafarkhani HA. Combined deep-learning and deformable-model approach to fully automatic segmentation of the left ventricle in cardiac MRI. Medical Image Analysis. 2016;30:108-119. https://doi.org/ 10.1016/j.media.2016.01.005
16. Shin HC, Roberts K, Lu L, et al. Learning to read chest X-rays: recurrent neural cascade model for automated image annotation. CoRR, 2016, https://arxiv.org/abs/1603.08486.
17. Wang X, Peng Y, Lu L, Lu Z, Bagheri M, Summers RM. Chestx-ray8: Hospital-scale chest x-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, 3462-3471. https://doi.org/10.1109/cvpr.2017.369
18. Abiyev RH, Ma'aitah MKS. Deep convolutional networks for chest diseases detection. J Healthcare Engin. 2018; 1-12 https://doi.org/10.1155/2018/4168538.
19. Helwan A, Tantua DP. IKRAI: intelligent knee rheumatoid arthritis identification. Int JIntell Sys Appl. 2016;8(1):18-24. https://doi.org/10.5815/ijisa.2016.01.03
20. Hinton GE, Osindero S, Teh YW. A fast learning algorithm for deep belief nets. Neural Computation. 2006; 18(7): 1527-1554. https://doi.org/10.1162/neco.2006.18.7.1527
21. Gao F, Yue Z, Wang J, Sun J, Yang E, Zhou H. A novel active semisupervised convolutional neural network algorithm for sar image recognition. Computational Intelligence and Neuroscience. 2017. Article ID 3105053, p. 8. https://doi.org/10.1155/2017/3105053
Поступила 21.06.2019 Принята к опубликованию 16.09.2019 Received 21.06.2019 Accepted 16.09.2019
Сведения об авторах:
Блинов Дмитрий Сергеевич — д-р мед. наук, руководитель отдела научных исследований и разработок Care Mentor AI. Россия, Москва, 2-й Тверской-Ямской пер., д. 10. Тел.: +7(927)197-14-22. E-mail: d.blinov@cmai.team; blinov-pharm@yandex.ru Варфоломеева Анна Андреевна — дата-сайентист, отдел научных исследований и разработок Care Mentor AI. Россия, Москва, 2-й Тверской-Ямской пер., д. 10. Тел.: +7(967)038-53-15. E-mail: a.varfolomeeva@cmai.team
Камышанская Ирина Григорьевна — канд. мед. наук, доцент кафедры онкологии с курсом лучевой диагностики и лучевой терапии Медицинского факультета ФГБОУ ВО «Санкт-Петербургский государственный университет», Россия, Санкт-Петербург, Университетская наб., д. 7-9. Тел.: +7(911)238-44-31. E-mail: irinaka@mail.ru
Лобищева Алина Евгеньевна — аспирант кафедры онкологии с курсом лучевой диагностики и лучевой терапии Медицинского факультета ФГБОУ ВО «Санкт-Петербургский государственный университет», Россия, Санкт-Петербург, Университетская наб., д. 7-9. Тел.: +7(911)789-40-48. E-mail: alina.lobishcheva@gmail.com
Блинова Екатерина Валериевна — д-р мед. наук, профессор кафедры оперативной хирургии и топографической анатомии ФГАОУ ВО Первый Московский государственный медицинский университет им. И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский университет). Россия, Москва, ул. Трубецкая, д. 8/1. Тел. +7(927)640-86-15. E-mail: bev-sechenov@mail.ru
About the authors:
Dmitry S. Blinov — Sc.D. in Medicine, Head of Research and Development Department, Care Mentor AI. 10 2nd Tverskoy-Yam-skoy Lane, Moscow, Russia. Tel.: 8(927)197-14-22. E-mail: d.blinov@cmai.team
Anna A. Varfolomeeva — Data Scientist, Research and Development Department, Care Mentor AI. 10 2nd Tverskoy-Yamskoy Lane, Moscow, Russia. Tel.: 8(967)038-53-15. E-mail: a.varfolomeeva@cmai.team
Irina G. Kamishanskaya — Ph.D. in Medicine, Associate Professor, Department of Oncology and Radiology, Faculty of Medicine, St. Petersburg State University, 7-9 Universitetskaya Embankment, Moscow, Russia. Tel.: 8(911)238-44-31. E-mail: irinaka@mail.ru Alina E. Lobishcheva — Doctoral Student, Department of Oncology and Radiology, Faculty of Medicine, St. Petersburg State University, 7-9 Universitetskaya Embankment, Moscow, Russia. Tel.: 8(911)789-40-48. E-mail: alina.lobishcheva@gmail.com Prof. Ekaterina V. Blinova — Sc.D. in Medicine, Department of Operative Surgery and Topographic Anatomy, Sechenov First Moscow State Medical University (Sechenov University), 8/1 Trubetskaya Street, Moscow, Russia. Tel.: 8(927)640-86-15. E-mail: bev-sechenov@mail.ru
Для цитирования: Блинов Д.С., Лобищева А.Е., Варфоломеева А.А., Камышанская И.Г., Блинова Е.В. Нейросетевая интерпретация рентгенологического изображения грудной клетки: современные возможности и источники ошибок. Проблемы стандартизации в здравоохранении. 2019; 9-10: 4-9. DOI: 10.26347/1607-2502201909-10004-009
For citation: Blinov DS, Lobishcheva AE, Varfolomeeva AA, Kamishanskaya IG, Blinova EV. Chest x-rays analysis by neural network: contemporary achievements and causes of misinterpretation. Health Care Standardization Problems.2019; 9-10: 4-9. DOI: 10.26347/1607-2502201909-10004-009
