CC BY
41
Обнаружение коронавирусной инфекции COVID-19 на основе анализа рентгеновских снимков грудной клетки методами глубокого обучения
Е.Ю. Щетинин1
1 Финансовый Университет при Правительстве РФ, 111123, Россия, г. Москва, ул. Щербаковская, д.38
Аннотация
Раннее выявление пациентов с коронавирусной инфекцией COVID-19 имеет важное значение для обеспечения их адекватного лечения и снижения нагрузки на систему здравоохранения. Эффективным методом обнаружения COVID-19 является компьютерный анализ рентгеновских снимков грудной клетки методами глубокого обучения. В работе предложена методология, состоящая из этапов стандартизации размеров рентгеновских снимков к (224, 224), их классификации с использованием глубоких сверточных нейронных сетей Xception, InceptionResNetV2, MobileNetV2, DenseNet121, ResNet50 и VGG16, предварительно обученных на наборе данных ImageNet, а затем настроенных на наборе рентгеновских снимков грудной клетки. Результаты компьютерных экспериментов показали, что модель VGG16 с тонкой настройкой параметров продемонстрировала максимальную эффективность в классификации COVID-19 с показателями точности (accuracy) 99,09 %, полнота (recall) 99,483 %, прецизионность (precision) 99,08 %.
Ключевые слова: COVID-19, рентгеновские снимки грудной клетки, глубокое обучение, сверточные нейронные сети.
Цитирование: Щетинин, Е. Ю. Обнаружение коронавирусной инфекции COVID-19 на основе анализа рентгеновских снимков грудной клетки методами глубокого обучения / Е.Ю. Щетинин // Компьютерная оптика. - 2022. - Т. 46, № 6. - С. 963-970. - DOI: 10.18287/2412-6179-CO-1077.
Citation: Shchetinin E.Y. Detection of COVID-19 coronavirus infection in chest X-ray images with deep learning methods. Computer Optics 2022; 46(6): 963-970. DOI: 10.18287/2412-6179-CO-1077.
Введение
Пандемия коронавируса 2019 года (СОУГО-19), вызванная коронавирусом с острым респираторным синдромом (8ЛЯ8-СоУ-2), продолжает оказывать разрушительное воздействие на страны и регионы с далеко идущими социальными и экономическими последствиями. Пандемия СОУГО-19 легла огромным бременем на системы здравоохранения по всему миру, которые с трудом справляются с оказанием медицинской помощи и лечением пациентов из-за ограниченного числа медицинских работников и клинических ресурсов, таких как аппараты искусственной вентиляции легких, кислород, средства индивидуальной защиты и другие медицинские принадлежности [1, 2].
Одним из эффективных и доступных медицинских методов скрининга заболеваний легких является рентгенография грудной клетки. Прежде всего, оборудование для рентгенографии грудной клетки является одним из наиболее доступных в медицинских учреждениях. Рентгенография грудной клетки обычно используется для оценки респираторных жалоб, что является одним из ключевых симптомов СОУГО-19, и поэтому может использоваться параллельно с другими тестами. Наконец, рентгенография грудной клетки позволяет оценить тяжесть состояния пациента с положительным СОУГО-19, что невозможно сделать с помощью ПЦР-тестов [3].
Несмотря на ряд преимуществ рентгенографии грудной клетки для скрининга СОУГО-19, одной из проблем является ограниченное число экспертов-радиологов, необходимых для интерпретации данных, их визуализации для проведения скрининга и оценки тяжести заболевания. Поэтому разработка и внедрение автоматизированных систем поддержки клинических решений для оказания помощи рентгенологам в ускорении визуализации и интерпретации данных может значительно улучшить уход за большим количеством пациентов и управление течением пандемии СОУГО-19 [4, 5]. Искусственный интеллект и глубокое обучение в настоящее время являются наиболее передовыми методами анализа больших данных практически во всех областях. Компьютерные системы на основе искусственного интеллекта демонстрируют серьезные достижения в области здравоохранения, а их использование значительно сократит время выявления пациентов, инфицированных вирусом СОУГО-19 [6].
Целью данной работы является разработка эффективных моделей глубокого обучения для выявления и классификации СОУГО-19 и пневмонии на основе анализа рентгеновских снимков грудной клетки. В работе предложено шесть моделей на основе предварительно обученных глубоких нейронных сетей Ув016 [7], Беше№а21, [8], Хсерйоп [9],
1псерйопЯе8^У2 и MobileNetV2 [10], которые затем
были дообучены и протестированы на наборе данных рентгеновских снимков грудной клетки из различных общедоступных наборов данных. Результаты компьютерных экспериментов показали, что предложенные модели для классификации изображений из класса COVID-19 достигли точности 99,09 %, для изображений из класса Pneumonia она составила 99,30 %, что превышает или сопоставимо с показателями в аналогичных исследованиях.
Основным вкладом данной работы в исследования по обнаружению вирусной инфекции COVID-19 являются построенные модели глубокого обучения для классификации рентгеновских снимков легких, методы их дообучения, а также количественные оценки показателей их эффективности для трех классов изображений из исследуемого набора рентгеновских снимков грудной клетки.
1. Разработка моделей автоматического
обнаружения вирусной инфекции COVID-19
Автоматизированное обнаружение заболеваний органов дыхательных путей, в частности пневмонии, в том числе связанной с инфекцией COVID-19, на основе рентгеновских снимков грудной клетки, является проблемой компьютерного зрения, которую можно решать различными способами. В последнее время предложен ряд подходов к диагностике COVID-19 по рентгеновским снимкам грудной клетки, в которых использовались методы глубокого обучения (Deep Learning, DL). Наиболее распространенным подходом является метод машинного обучения с учителем, к которому относится классификация изображений.
1.1. Обзор современного состояния проблемы
В настоящее время проводятся обширные исследования по определению точной и надежной модели глубокого обучения для выявления и классификации COVID-19. Исследователи классифицируют рентгеновские и КТ-снимки грудной клетки пациентов, используя различные модели глубокого обучения. Наиболее часто используемым методом для ее решения является применение глубоких сверточных нейронных сетей. Как правило, в этих работах решена проблема бинарной классификации для классов {COVID-19, No_COVID-19} и получены достаточно высокие значения показателей точности обнаружения COVID-19.
Авторы работы [11] предложили различные модели нейронной сверточной сети (CNN), которые использовались в качестве бинарных классификаторов рентгеновских снимков легких и достигли точности классификации 99 %. Авторы работы [12] классифицировали рентгеновские снимки легких здоровых людей и с признаками заражения COVID-19 с использованием глубоких предварительно обученных моделей CNN ResNet50, ResNet18, ResNet101, VGG19 и VGG16. Модель ResNet50 достигла значения точно-
сти 92,6 %, в то время как глубокое обучение разработанной в статье модели CNN позволило достигнуть точности 91,6 %. Авторы работы [13] предложили модель глубокого обучения DarkNet для двух классов, для нее получена точность 98,08 %, а для нескольких классов изображений она имеет точность 87 %. В статье [14] авторы предложили модель свер-точной нейронной сети для классификации классов Normal, Pneumonia и COVID-19 с точностью 92,4 %.
В аналогичных исследованиях также использовались различные модели глубокого обучения, предварительно обученные на больших наборах данных, как правило, на наборе ImageNet [15,16]. Х. Насири и С. Хасани [15] использовали модель DenseNet169 для извлечения признаков из рентгеновских снимков и модель XGBoost для их классификации. Таким образом, авторами получены показатели точности 98,24 % и 89,70 % для двух и трех классов рентгеновских снимков соответственно. В работе [16] авторы применили метод переноса обучения (Transfer Learning) для распознавания изображений COVID-19 и для предварительно обученной модели ResNet50 достигли показателей точности классификации accuracy = 92,32 %, precision = 95,69 % и
recall = 95,62 %. Авторы работы [17] провели масштабные вычисления по бинарной классификации рентгеновских снимков грудной клетки с применением метода переноса обучения для большого количества моделей глубокого обучения, таких как VGG16, VGG19, DenseNet121, Inception-ResNet-V2, InceptionV3, Resnet50. При этом в расчетах не были учтены рентгеновские снимки здоровых пациентов. Наилучшая точность классификации ими получена для модели Dense121, равная 99,48 %.
В статье [18] на основе глубоких моделей реализованы классификаторы двух классов (COVID-19, Normal) с использованием метода 5-кратной перекрестной проверки. Полученные в статье оценки точности классификации позволили авторам утверждать, что предварительно обученная модель ResNet152 обеспечила точность классификации accuracy = 96,1 % среди остальных рассмотренных в статье моделей глубокого обучения. Х. Насири, С. Алави [19] предложили глубокую нейронную сеть с использованием метода ANOVA для отбора признаков и последующей бинарной классификации, которая достигла метрик точности accuracy = 92 %. Авторы работы [20] предложили модель CovXR на основе глубокой свер-точной нейронной сети и получили точность классификации accuracy = 95 % для двух классов рентгеновских снимков. Авторы работы [21] разработали несколько архитектур моделей глубокого обучения, которые использованы для обнаружения COVID-19, таких как ResNet50, InceptionV3, VGG19 и другие для классификации двух классов рентгеновских снимков. Лучшей моделью с точностью 98 % в статье признана модель на основе глубокой нейронной сети ResNet50.
1.2. Вклад данного исследования в проблему обнаружения COVID-19
Однако, на наш взгляд, задача выявления пневмонии и ее отличия от COVID-19 также значима в клинической практике, поскольку она решается вместе с выявлением COVID-19 и имеет схожие симптомы при выявлении этих заболеваний, но разные методы их лечения. В данной работе проведены исследования по разработке моделей глубокого обучения, направленных на классификацию трех классов рентгеновских снимков грудной клетки, содержащих признаки заболевания вирусной инфекцией COVID-19, пневмонией, а также здоровых людей. Для этого были использованы базовые модели глубоких нейронных сетей ResNet50, MobileNetV2, VGG16, Xception, InceptionResnetV2 и DenseNet121, предварительно обученные на наборе изображений ImageNet [22], а затем дообученные на наборе рентгеновских снимков. Такой подход в практике обучения моделей помогает ускорить и упростить их разработку и обучение на других данных.
Для построения модели классификатора рентгеновских снимков в работе создана последовательная модель из библиотеки глубокого обучения Keras [23], а затем импортированы веса базовых моделей из библиотеки ImageNet. В отличие от метода переноса обучения глубоких нейронных сетей [24], когда веса нейронной сети замораживаются путем установки значения параметра обучения для каждого слоя как "False", слои модели были сохранены обучаемыми. Затем к модели последовательно были присоединены слои GlobalAveragePooling2D, два полностью связанных слоя Dense с функциями активации "ReLu" и "Softmax" и разделенных слоем регуляризации Dropout c параметром 0,2. Как показано в ряде исследований [25, 26], это позволило повысить устойчивость обучения нейронной сети.
Исходные рентгеновские снимки имели различные размеры, поэтому их необходимо было изменить таким образом, чтобы параметр input_shape входного слоя нейронной сети соответствовал размерам (224, 224, 3). Кроме того, необходимо изменить количество классов в выходном слое модели, поскольку она настроена на классификацию 1000 классов изображений, в то время как в работе рассмотрены три класса изображений ("COVID-19", "Normal", "Pneumonia"). Построенная таким образом модель была скомпилирована и обучена с использованием функции потерь категориальной кросс-энтропии, оптимизатора Adam с параметром скорости обучения 1.0E-04. В процессе обучения использован адаптивный график изменений скорости обучения и обратные вызовы [27], который автоматически снижает скорость обучения модели и предотвращает ее переобучение, если точность модели не повышается.
2. Исследование эффективности применения моделей глубокого обучения в задаче классификации рентгеновских снимков грудной клетки
В исследованиях были использованы рентгеновские снимки грудной клетки пациентов с COVID-19, здоровых пациентов, пациентов с непрозрачными легкими и пациентов с вирусной пневмонией из общедоступных источников данных [28, 29]. В исследуемом наборе изображений все рентгеновские снимки объединены в три класса: COVID-19 (3865 изображений), Normal (9850) и Pneumonia (1440), всего 15155 изображений. Затем набор данных был разделен на тренировочный набор с размером (12123), на котором проводилось обучение моделей, проверочный набор с размером (1516) и тестовый набор с размером (1516), на которых проводилась оценка эффективности моделей глубокого обучения. Разбиение проводилось с использованием процедуры стратифицированного перемешивания в случайном порядке [27], которое создает расслоенные разбиения набора таким образом, что соотношение количества снимков по классам в каждом из них сохраняется таким же, как и в исходном наборе снимков. Это позволяет избежать в дальнейшем переобучения модели и ошибочных выводов при построении прогнозов на тестовом наборе снимков. Примеры рентгеновских снимков грудной клетки из различных классов приведены на рис. 1. На сформированных таким образом наборах рентгеновских изображений были проведены компьютерные эксперименты для их классификации по трем классам, оценена эффективность моделей глубокого обучения VGG16, ResNet50, DenseNet121, Xception, InceptionResnetV2, MobileNetV2 и вычислены показатели точности accuracy, precision, recall, f1-score, описанные далее. Их значения для всех моделей приведены в табл. 1, 2, 3.
Рис. 1. Примеры рентгеновских снимков из классов COVID-19, Pneumonia, Normal
Табл. 1. Показатели точности моделей глубокого обучения для класса COVID-19
Модель accuracy class, % precision, % recall, % f1-score, % accuracy model,%
DenseNet121 95,93 95,37 97,54 96,73 97,691
ResNet50 95,77 95,77 99,6 97,65 98,482
MobilNetV2 90,39 90,38 99,74 94,834 96,866
VGG16 99,09 99,08 99,483 99,281 99,142
Xception 98,21 98,22 98,318 98,268 99,062
Inception_ResNetV2 96,13 96,14 99,14 97,617 98,251
Табл. 2. Показатели производительности различных моделей глубокого обучения для класса Pneumonia
Модель accuracy class, % precision, % recall, % f1-score, % accuracy model,%
DenseNet121 96,76 96,76 93,4 95,05 97,691
ResNet50 98,92 98,92 95,486 97,173 98,42
MobilNetV2 96,93 96,92 98,611 97,762 96,866
VGG16 99,30 99,28 98,264 98,778 99,142
Xception 98,60 98,6 97,917 98,258 99,062
Inception_ResNetV2 93,77 93,77 99,3 96,459 98,251
Табл. 3. Показатели производительности различных моделей глубокого обучения для класса Normal
Модель accuracy class, % precision, % recall, % f1-score, % accuracy model,%
DenseNet121 98,53 98,55 98,376 98,451 97,691
ResNet50 99,54 99,538 98,477 99,05 98,42
MobilNetV2 99,79 99,788 95,482 97,588 96,866
VGG16 99,14 99,141 99,594 99,367 99,142
Xception 99,59 99,59 99,188 99,39 99,062
InceptionResNetV2 99,04 99,844 97,513 98,665 98,251
Показатель точности accuracy может быть вычислен следующим образом
accuracy = (TP+TN) / (TP+TN+FP+FN), (1)
где TP (True Positive) - истинно положительные случаи для данного класса, FN (False Negative) - ложно отрицательные случаи для данного класса (в частности, для класса COVID-19 это число пациентов с COVID-19, ошибочно предсказанных моделью как не COVID-больные, т. е. или больные пневмонией, или здоровые люди). TN (True Negative) - количество изображений, на которых изображены легкие пациентов, не страдающих COVID-19, и верно отнесенные моделью к таковым. FP (False Positive) - ложно положительные случаи для данного класса (в частности, для класса COVID-19 это число пациентов, ложно предсказанное моделью как пациенты с признаками COVID-19). Выражение для метрики recall имеет следующий вид:
recall = TP / (TP+FN). (2)
Метрика precision вычисляется следующим образом
precision = TP / (TP+FP) (3)
и показывает соотношение истинного числа случаев из соответствующего класса к общему числу спрогнозированных случаев из этого класса. Метрика f1-score является гармоническим средним метрик precision, recall и вычисляется следующим образом:
f1-score = 2-precision-recall / (precision+recall). (4)
Выбор лучшей модели в данной работе осуществлен на основании значений чувствительности (2) и точности (1) при выявлении пациентов с COVID-19, а также пневмонией. Показатель чувствительности (2) показывает, насколько хорошо модель правильно определяет то, что она должна обнаруживать. Например, для классов COVID-19, Pneumonia он показывает, какой процент пациентов, у которых модель обнаружила COVID-19 или пневмонию, на самом деле являются больными COVID-19 или пневмонией.
Для вычисления показателей (1 - 4) принято использовать нормализованную матрицу ошибок [27]. Ее структура имеет следующий вид. Ее диагональные ячейки содержат процентное соотношение спрогнозированного моделью количества истинно положительных снимков (TP) и количества истинно отрицательных снимков (TN) к общему количеству изображений в тестовом наборе соответственно. Принято считать таким образом, что в них содержатся значения показателя точности accuracy_class. Он характеризует точность классификации моделями рентгеновских снимков из соответствующего класса [30]. Остальные ячейки нормализованной матрицы ошибок содержат процентное соотношение количества снимков, которые оценены моделью как ложно положительные (вертикальные элементы, FP, %) и ложно отрицательные (горизонтальные элементы, FN, %) снимки, к общему количеству изображений в тестовом наборе соответственно. Для моделей Xception, VGG16 нормализованные матрицы ошибок построены на рис. 2, 3 соответственно.
В табл. 1, 2, 3 приведены значения показателей точности (1 - 4), а также значения показателя точности классификации класса accuracy_class для моделей глубокого обучения, использованных выше для классификации рентгеновских снимков легких. Табл. 1 содержит такие показатели для класса COVID-19. Табл. 2 содержит показатели точности классификации для класса Pneumonia. Табл. 3 содержит показатели точности для класса Normal. Например, в табл. 1 показатель accuracy_class характеризует точность классификации моделями рентгеновских снимков класса COVID-19. Показатель accuracy_model характеризует точность модели в целом. Серым цветом в таблицах выделены ячейки, содержащие лучшие значения соответствующих показателей точности классификации (1 - 4).
Как следует из представленных в них результатов, модели VGG16 и Xception оказались лучшими среди всех рассмотренных моделей. Такой выбор был основан на анализе значений показателей точности для классов COVID-19, Pneumonia и Normal. Из табл. 1, 2, 3 и рис. 2, 3 также можно сделать вывод, что модель VGG16 превосходит модель Xception практически по всем показателям классификации изображений из классов COVID-19, Pneumonia. Их показатели точности классификации для класса Normal являются практически сопоставимыми. Точность классификации изображений из класса COVID-19 для модели VGG16 составила 99,09 %, у модели Xception она составила 98,21 %. Показатели (2), (3) в модели Xception ниже из-за большей ошибки, допущенной при классификации здоровых пациентов как COVID-19 положительных пациентов (1,53 % у Xception против 0,78 % у VGG16), а также большей ошибки при классификации больных пневмонией как пациентов с COVID-19 (0,26 % у модели Xception против 0,13 % у модели VGG16).
Os
•2 S
S
5
Рис. 2. Матрица ошибок модели Xception Точность классификации рентгеновских снимков из класса Pneumonia для модели Xception составила 98,60 %, тогда как для модели VGG16 она составила 99,30 %. При классификации снимков из класса Pneumonia моделью Xception 1,40 % здоровых пациентов ошибочно отнесено к больным пневмонией, тогда как
для модели VGG16 эта ошибка равна 0,7 %. Также необходимо отметить 100 % точность обеих моделей в различении классов COVID-19 и Pneumonia.
о. É
2 а
Рис. 3. Матрица ошибок модели VGG16
Анализ матрицы ошибок на рис. 3 показал, что 0,78 % снимков здоровых пациентов (класс Normal) и 0,13 % снимков пациентов с пневмонией (класс Pneumonia) были ошибочно классифицированы как снимки пациентов с COVID-19. Также 0,7 % снимков здоровых пациентов из класса Normal были ошибочно признаны как снимки пациентов из класса Pneumonia, 0,66 % снимков пациентов из класса COVID-19 и 0,2 % снимков из класса Pneumonia были ошибочно признаны снимками, принадлежащими классу Normal. Все это позволило считать VGG16 наилучшей моделью для классификации рентгеновских снимков грудной клетки и обнаружения по ним заболеваний COVID-19 и пневмонии.
3. Обсуждение результатов и выводы
В статье разработаны и исследованы группа моделей глубокого обучения для выявления клинических случаев заболевания вирусной инфекцией COVID-19 и пневмонии на основе анализа рентгеновских снимков грудной клетки. В качестве базовых моделей для них были использованы модели глубоких сверточных нейронных сетей Xception, MobileNetV2, InceptionResnetV2, DenseNet121, ResNet50 и VGG16, предварительно обученные на наборе изображений ImageNet, а затем настроенные и дообученные на наборе рентгеновских снимков грудной клетки таким образом, что слои использованных в моделях глубоких нейронных сетей, в отличие от метода переноса обучения, были сохранены обучаемыми.
Как было отмечено выше, большинство ранних работ по обнаружению COVID-19 исследовали проблему классификации рентгеновских снимков из двух классов: 'COVID-19' и 'No_COVID-19' [11, 12, 13, 15, 16, 17, 18, 20, 21]. Однако несмотря на высокую эффективность этих моделей, они не учли класс изображений, содержащих признаки пневмонии и некоторых других заболеваний легких. Такие снимки либо не были включены в исследования, либо включены в
Predicled
COVID-19 Normal Pneumonia
98,21% 0,20% 0,00%
1,53% 99,59% 1,40%
0,26% 0,20% 98,60%
Predicted
COVID-19 Normal Pneumonia
99,09% 0.66% 0,00%
0,78% 99,14% 0,70%
0jl3% 0,20% 99,30%
класс 'No COVID-19'. Несмотря на то, что на ранней стадии клинические симптомы пневмонии и COVID-19 очень похожи, течение этих заболеваний и методы их лечения различны. Поэтому принципиально важно дифференцировать их уже на ранней стадии диагностики. Кроме того, необходимо отметить, что несмотря на высокие значения показателя точности (1) моделей в процитированных работах, в некоторых из них показатель (2) является достаточно низким [16, 20]. Причиной этого явления может служить неустойчивость этих моделей к недостаточному количеству снимков в классе COVID-19, а также неточности в разметке снимков рентгенологами при диагностике заболеваний на начальной стадии повреждения легких.
В связи с вышеприведенными обстоятельствами в работе были проведены исследования по классификации трех классов рентгеновских снимков грудной клетки: 'COVID-19', 'Normal' и 'Pneumonia' из описанного выше набора. Для этого выполнена тонкая настройка базовых моделей глубокого обучения для повышения их точности классификации и устойчивости процесса обучения. Оценка эффективности разработанных в статье моделей проводилась с использованием показателей точности (1 - 4), а также матриц ошибок для классов рентгеновских снимков. Основываясь на их анализе, модель на основе глубокой нейронной сети VGG16 была признана лучшей моделью из всех рассмотренных в статье. Она классифицировала рентгеновские снимки из класса COVID-19
с точностью 99,09 %, что означает, что модель обладает высокой производительностью для изображений, относящихся к этому классу. Кроме того, модель редко ошибочно классифицировала снимки CO VID -положительных пациентов как снимки здоровых или больных пневмонией пациентов. Этот факт подтвержден высоким значением показателя (2), который равен 99,483 %. Кроме того, эта модель классифицировала рентгеновские снимки из класса Pneumonia с точностью 99,30 %, precision = 99,28 %, recall = 98,264 %. С ошибкой 0,7 % она классифицировала здоровых пациентов как класс Pneumonia, а с ошибкой 0,13 % она определила пациентов с пневмонией к классу COVID-19, что позволило также утверждать и о высокой эффективности применения модели VGG16 для обнаружения пневмонии.
В табл. 4 приведены результаты сравнительного анализа показателей точности классификации рентгеновских снимков, полученных в цитируемых работах и в данном исследовании. В первом столбце указана ссылка на соответствующую публикацию из списка литературы, во втором столбце указано количество исследованных классов рентгеновских снимков. Символ «-» в ячейке таблицы означает, что авторы публикации не предоставили значений соответствующих показателей. Как можно видеть из табл. 4, для задачи классификации рентгеновских снимков для трех классов лучшие результаты для используемых метрик точности получены в данной работе. В табл. 4 соответствующая строка выделена серым цветом.
Табл. 4. Результаты сравнительного анализа показателей точности классификации
Публикация Класс, число accuracy model, % precision, % recall, % f1-score, %
[111 2 99 - - -
[121 2 92,6 - - -
[131 2 98,08 - - -
[151 2 98,24 - - -
[161 2 92,32 95,69 95,62 95,64
[171 2 99,48 99,54 99,48 99,49
[181 2 96,1 76,5 91,8 83,52
[191 2 98,72 99,21 95,13 97,87
[201 2 95 - - -
[211 2 98 - - -
[141 3 97,4 - - -
[151 3 89,7 92,5 95,2 91,2
[191 3 92 84,35 88,46 85,36
Данная статья 3 99,142 99,08 99,48 99,281
Заключение
В результате обсуждения результатов работы можно сделать вывод, что предложенные в ней модели превосходят или сопоставимы с результатами в работах других исследователей, что подтверждает эффективность предложенной методологии, состоящей из этапов стандартизации размеров рентгеновских снимков к (224, 224) с последующей их классификацией с использованием глубоких сверточных нейронных сетей, предварительно обученных на наборе изображений ImageNet, а затем настроенных
на наборе рентгеновских снимков грудной клетки. С помощью предложенного подхода рентгеновские снимки грудной клетки могут быть использованы в качестве предварительного и недорогого диагностического инструмента для выявления пациентов с СОУГО-19. Это может быть полезно в регионах, где быстрое тестирование недоступно, а также может быть использовано в качестве второго метода скрининга после стандартного ПЦР-теста.
В дальнейших исследованиях предполагается внести ряд изменений и дополнений. В частности, для более детального анализа необходим больший объем
данных о пациентах, особенно с COVID-19. Это можно сделать путем использования методов создания искусственных данных, таких как обобщенные генеративные нейронные сети (General Adversarial Networks) [31, 32].
В будущей работе мы намерены разработать мобильное приложение для носимых устройств и мобильных рентгеновских аппаратов с целью выявления COVID-19 и пневмонии на ранних стадиях заболевания. Мы также планируем расширить нашу работу на решение задачи сегментации рентгеновских снимков грудной клетки COVID-19 и компьютерной томографии, чтобы предоставить больше информации рентгенологам и пульмонологам.
References
[1] World Health Organization. November 25, 2021. Source: (https://www.who.int/emergencies/diseases/novel-coronavirus-2019).
[2] Sohrabi С, et al. World Health Organization declares global emergency: A review of the 2019 novel coronavirus (COVID-19). Int J Surg 2020; 76: 71-76. DOI: 10.1016/j.ijsu.2020.02.034.
[3] Zhang R, Tie X, Qi Z, Bevins NB, Zhang C, Griner D, Song TK, Nadig JD, Schiebler ML, Garrett JW, Li K, Reeder SB, Chen G-H. Diagnosis of coronavirus disease 2019 pneumonia by using chest radiography: Value of artificial intelligence. Radiology 2021; 298(2): E88-E97. DOI: 10.1148/radiol.2020202944.
[4] Kim M, Yan C, Yang D, Wang Q, Ma J, Wu G. Deep learning in biomedical image analysis. In Book: Biomedical information technology. 2nd ed. Chap 8. London: Academic Press; 2020: 239-263. DOI: 10.1016/B978-0-12-816034-3.00008-0.
[5] Mei X, Lee HC, Diao K. Artificial intelligence-enabled rapid diagnosis of patients with COVID-19. Nat Med 2020; 26: 1224-1228. DOI: 10.1038/s41591-020-0931-3.
[6] Kong W, Agarwal PP. Chest imaging appearance of COVID-19 infection. Radiol Cardiothorac Imaging 2020; 2(1): e200028. DOI: 10.1148/ryct.2020200028.
[7] Simonyan K, Zisserman AJ. Very deep convolutional networks for large-scale image recognition. 2014. arXiv Preprint. Source: (https://arxiv.org/abs/1409.1556). DOI: 10.48550/arXiv.1409.1556.
[8] He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. 2016. arXiv Preprint. Source: (https://arxiv.org/abs/1512.03385). DOI: 10.48550/arXiv.1512.03385.
[9] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision. 2015. arXiv Preprint. Source: (https://arxiv.org/abs/1512.00567). DOI: 10.48550/arXiv.1512.00567.
[10] Sandler M, Howard A, Zhu M, Zhmoginov A, Chen L-C. MobileNetV2: Inverted residuals and linear bottle. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018: 4510-4520. DOI: 10.48550/arXiv.1801.04381.
[11] Chowdhury M, Rahman T, Khandakar A, Mazhar R, Kadir MA, Mahbub ZB, Islam KR, Khan MS. Can AI help in screening viral and COVID-19 pneumonia? IEEE Access 2020; 8: 132665-132676.
[12] Ismael AM, Sengur A. Deep learning approaches for COVID-19 detection based on chest X-ray images. Expert
Syst Appl 2021; 164: 114054. DOI: 10.1016/j.eswa.2020.114054.
[13] Ozturk T, Talo M, Yildirim EA, Baloglu UB, Yildirim O, Acharya UR. Automated detection of COVID-19 cases using deep neural networks with X-ray images. Comput Biol Med 2020; 121: 103792. DOI: 10.1016/j.compbiomed.2020.103792.
[14] Nafees MT, Rizwan M, Khan MI, Farhan M. A novel con-volutional neural network for COVID-19 detection and classification using chest X-Ray images. 2021. medRxiv Preprint. Source:
<https://www.medrxiv.org/content/10.1101/2021.08.11.212 61946v1>. DOI: 10.1101/2021.08.11.21261946.
[15] Nasiri H, Hasani S. Automated detection of COVID-19 cases from chest X-ray images using deep neural network and XGBoost. arXiv Preprint. 2021. Source: <https://arxiv.org/abs/2109.02428>. DOI: 10.48550/arXiv.2109.02428.
[16] Katsamenis I, Protopapadakis E, Voulodimos A. Transfer learning for COVID-19 pneumonia detection and classification in chest X-ray images. medRxiv Preprint. 2020. Source: <https://www.medrxiv.org/content/10.1101/2020.1 2.14.20248158v1>. DOI: 10.1101/2020.12.14.20248158.
[17] Shazia A, Xuan TZ, Chuah JH, Usman J, Qian P, Lai KW. A comparative study of multiple neural network for detection of COVID-19 on chest X-ray. EURASIP J Adv Signal Process 2021; 2021: 50. DOI: 10.1186/s13634-021-00755-1.
[18] Narin A, Kaya C, Pamuk Z. Automatic detection of coro-navirus disease (COVID-19) using X-ray images and deep convolutional neural networks. Pattern Anal Appl 2021; 24: 1207-1220. DOI: 10.1007/s10044-021-00984-y.
[19] Nasiri H, Alavi SA. A novel framework based on deep learning and ANOVA feature selection method for diagnosis of COVID-19 cases from chest X-ray Images. medRxiv Preprint. October 14, 2021. Source: <https://www.medrxiv.org/content/10.1101/2021.10.10.212 64809v1>. DOI: 10.1101/2021.10.10.21264809.
[20] Shenoy V, Malik SB. CovXR: Automated detection of COVID-19 pneumonia in Chest X-Ray s through machine learning. arXiv Preprint. 2021. Source: <https://arxiv.org/abs/2110.06398>. DOI: 10.48550/arXiv.2110.06398.
[21] Ilyas M, Rehman H, Nait-ali A. Detection of Covid-19 from chest X-ray images using artificial intelligence: an early review. arXiv Preprint. 2020. Source: <https://arxiv.org/abs/2004.05436v1>. DOI: 10.48550/arXiv.2004.05436.
[22] Deng J, Dong W, Socher R, Li L, Li K, Li F-F. ImageNet: A large-scale hierarchical image database. 2009 IEEE Conference on Computer Vision and Pattern Recognition 2009: 248-255.
[23] Chollet F. Deep learning with Python. Maning; 2017. ISBN: 978-1-61729-443-3.
[24] Best N, Ott J, Linstead EJ. Exploring the efficiency of transfer learning in mining image-based software artifacts. J Big Data 2020; 7(1): 2-10. DOI: 10.1186/s40537-020-00335-4.
[25] Shchetinin EYu, Sevastyanov LA, Kulyabov DS, Demidova AV, Ayrjan EA. Deep neural networks for emotion recognition. Lecture Notes in Computer Science 2020; 12563 LNCS: 365-379. DOI: 10.1007/978-3-030-66471-8_28.
[26] Shchetinin EYu, Sevastianov LA, Demidova AV, Glushkova AG. Cardiac arrhythmia disorders detection with deep learning models. In Book: Vishnevskiy VM, Samouylov KE, Kozyrev DV, eds. Distributed computer and communication networks. Springer Nature Switzerland AG; 2022: 371-384. DOI: 10.1007/978-3-030-97110-6_29.
[27] Geron A. Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems, 2nd ed. O'Reilly Media; 2019. ISBN: 978-1-4920-3264-9.
[28] Patel P. Chest X-ray (COVID-19 & Pneumonia). 2020. Source: (https://www.kaggle.com/prashant268/chest-xray-covid19-pneumonia).
[29] Rahman T, et al. Exploring the effect of image enhancement techniques on COVID-19 detection using
chest X-ray images. Comput Biol Med 2021; 132: 104319. DOI: 10.1016/j.compbiomed.2021.104319.
[30] Sokolova M, Lapalme G. A systematic analysis of performance measures of classification tasks. Inf Process Manag 2009; 45(4): 427-437. DOI: 10.1016/j.ipm.2009.03.002.
[31] Thrun S, Pratt L. Learning to learn. New York, NY: Springer; 2012. ISBN: 978-0-7923-8047-4.
[32] Lin Y, Dai X, Li L, Wang X, Wang F. The new frontier of AI research: generative adversarial networks. Acta Autom Sin 2018; 44: 775-792. DOI: 10.16383/j.aas.2018.y000002.
Сведения об авторе
Щетинин Евгений Юрьевич, 1962 года рождения, в 1985 году окончил Московский инженерно-физический институт по специальности «Прикладная математика», доктор физико-математических наук, профессор департамента математики Финансового Университета при Правительстве РФ. Область научных интересов: математическое моделирование, цифровая обработка сигналов и изображений, машинное обучение, глубокое обучение. E-mail: riviera-molto@mail.ru.
ГРНТИ: 28.23.5
Поступила в редакцию 02 декабря 2021 г., Окончательный вариант - 25 июня 2022 г.
Detection of COVID-19 coronavirus infection in chest X-ray images with deep learning methods
E. Yu. Shchetinin 1
'Financial University under the Government of the Russian Federation, 11123, Moscow, Russian Federation, Shcherbakovskaya, 38
Abstract
Early detection of patients with COVID-19 coronavirus infection is essential in ensuring an adequate treatment and reducing the burden on the health care system. An effective method of detecting COVID-19 is computer analysis of chest X-rays. The paper proposes a methodology that consists of stages of formatting X-ray images to the size (224, 224) size, their classification using deep convolutional neural networks, such as Xception, InceptionResnetV2, MobileNetV2, Dense-Net121, ResNet50 and VGG16, which are pre-trained on the ImageNet dataset and then fine-tuned on a set of chest X-rays. The results of computer experiments showed that the VGG16 model with fine-tuning of parameters demonstrated the best performance in the COVID-19 classification with accuracy = 99.09 %, recall = 99.483 %, precision = 99.08 % and f1_score = 99.281 %.
Keywords: COVID-19, chest X-rays, deep learning, finetuning, convolutional neural networks.
Citation: Shchetinin EY. Detection of COVID-19 coronavirus infection in chest X-ray images with deep learning methods. Computer Optics 2022; 46(6): 963-970. DOI: 10.18287/2412-6179-CO-1077.
Author's information
Evgenii Yurievich Shchetinin (b. 1962) graduated from Moscow Engineering Physics Institute in 1985, Applied Mathematics department. Currently he works as the professor of Mathematics department of Financial University under the Government of the Russian Federation. Research interests are computer science, image processing, mathematical modeling. E-mail: riviera-molto@mail.ru , EYShchetinin@fa.ru.
Received December 02, 2021. The final version - June 25, 2022.
