Научно-образовательный журнал для студентов и преподавателей «StudNet» №6/2021
СРАВНЕНИЕ ПРОГРАММ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ КОЛИЧЕСТВЕННОЙ ОЦЕНКИ ПОРАЖЕНИЙ ЛЕГКИХ У ПАЦИЕНТОВ С COVID-19
COMPARISON OF ARTIFICIAL INTELLIGENCE SYSTEMS FOR QUANTITATIVE ASSESSMENT OF PULMONARY LESIONS IN COVID-19
PATIENTS
УДК 51-76+ 616-073.75
Филиппова Юлия Александровна, студентка, 6 курс факультет фундаментальной медицины, Московский государственный университет имени М.В. Ломоносова, Россия, г. Москва
Синицын Валентин Евгеньевич, доктор медицинских наук, профессор кафедры лучевой диагностики и терапии ФФМ МГУ, Московский государственный университет имени М.В. Ломоносова, Россия, г. Москва
Filippova Yulia Alexandrovna, [email protected] Sinitsyn Valentin Evgenievich
Аннотация
В статье приведены результаты работы по сравнению двух программ компьютер-ассистированной диагностики, созданных на основе различных типов искусственного интеллекта, и визуальной оценкой врачами-рентгенологами поражений паренхимы легких. Проведен анализ 171 компьютерной томографии (КТ) грудной клетки пациентов с подтвержденной пневмонией COVID-19 различной степени тяжести. Оценивались такие показатели как объем легкого, суммарный процент поражения каждого легкого по отдельности и общий процент поражена легких. Также была
проведена количественная оценка основных КТ-паттернов изменений органов грудной клетки при COVID-19 пневмонии: матового стекла и консолидации.
Annotation
The article is dedicated to the results of comparison of two computer-assisted diagnostic programs based on two different types of artificial intelligence and a visual assessment of lung lesions provided by radiologists. 171 chest computed tomography (CT) scans of patients with confirmed COVID-19 pneumonia of varying severity were analyzed. Important parameters such as lung volume, the total percentage of inflammatory lesions of each lung and both lungs were assessed. We also quantified the main CT patterns associated with COVID-19 pneumonia: ground glass opacity and consolidation.
Ключевые слова: пневмония COVID-19, КТ, количественная оценка паттернов, CAD-системы, нейросети, искусственный интеллект.
Keywords: COVID-19 pneumonia, CT, quantitative assessment of patterns, CAD- systems, neural network, artificial intelligence
Введение
В декабре 2019 года в городе Ухань, провинции Хубэй в Китае, была выявлена серия случаев пневмонии. 11 марта 2020 года Всемирная Организация Здравоохранения объявила COVID-19 пандемией. На тот момент было зафиксировано более 118 тысяч случаев COVID-19 в 114 странах. К концу апреля - спустя более чем год после начала пандемии - в мире зафиксировано почти 150 млн заражений и более 3 млн смертей.
Во время пандемии COVID-19 ведущим методом оценки объема поражения легких и динамического наблюдения являлась компьютерная томография (КТ) грудной клетки (ГК) [1; 2]. В этих условиях произошел значительный рост торакальных исследований, особую значимость приобрела оценка паттернов КТ-исследований грудной клетки. По мнению большинства авторов, наиболее часты изменения паренхимы легких по типу матового стекла и консолидации [3].
Оценка выраженности изменений в легких при КТ у пациентов с COVID-19 может проводиться как c помощью эмпирической визуальной шкалы, так и с использованием различных программ компьютерной оценки плотности легких.
Эмпирическая визуальная шкала основана на оценке примерного объема уплотненной легочной ткани в обоих легких [1; 4]:
1) Отсутствие характерных проявлений (КТ-0)
2) Минимальный объем/распространенность <25% объема легких (КТ-1)
3) Средний объем/распространенность 25 - 50% объема легких (КТ-2)
4) Значительный объем/распространённость 50 - 75% объема легких (КТ-
3)
5) Критический объем/распространённость > 75% объема легких (КТ-4)
Компьютер-ассистированная диагностика, предназначенная для
автоматического или полуавтоматического выделения и измерения объема зон «матового стекла» и консолидации, основана на различных приемах, таких как искусственный интеллект, машинное обучение и применение архитектуры нейронных сетей, что позволяет идентифицировать уровень поражения легких при СОУГО-19 с аналогичной экспертной оценкой или даже лучшей производительностью. Кроме того, применение таких программ позволяет проводить оценку объема измененной легочной ткани более объективно, чем «эмпирический» метод [5].
Цель исследования
Сравнить экспертную оценку объема различных КТ-паттернов у пациентов с СОУГО-19 и автоматическую оценку, основанную на 2 различных программах нейросетевых технологий: «COVID-MULTIVOX», разработанной на базе Московского государственного университета имени М.В. Ломоносова и «Botkin.AI», разработанной компанией ООО «Интеллоджик».
Материалы и методы
В исследование была включена 171 компьютерная томограмма грудной клетки 51 пациента, с подтвержденным положительным ПЦР-тестом СОУГО-
19 и госпитализированных в стационар Медицинского научно-образовательного центра (МНОЦ) МГУ им. М.В. Ломоносова с апреля по июнь 2020 года. Всем пациентам проводилась компьютерная томография легких и органов грудной клетки на 32-рядном компьютерном томографе Somatom Scope производства компании Siemens (ФРГ). Все полученные изображения в формате DICOM хранились в радиологической информационной сети (PACS/RIS) МНОЦ МГУ. Для обработки и анализа КТ использовались рабочие станции Syngo.via (Siemens). Сканирования были выполнены с пациентами, которые находились в положении лежа на спине в конце фазы вдоха. В последующем выполнялась реконструкция для охвата всех лёгочных полей в матрице 512 х 512 пикселей с использованием стандартного алгоритма при толщине среза в 1 мм и интервале в 1 мм.
Визуальная оценка КТ-изображений пациентов проводилась опытными радиологами МНОЦ МГУ, протоколы заносились в «Multiprotocol». В соответствии с международной стандартной номенклатурой, определенной в глоссарии общества Флейшнера [6] специалист определял наличие участков матового стекла и консолидации.
Автоматический анализ компьютерных томограмм проводился в системах:
• COVID-MULTIVOX - CAD-система, основанная на алгоритме, включающем несколько компонентов, предназначенных для последовательного выполнения следующих этапов обработки изображений. Сегментация всего объема левого и правого легкого с помощью U-Net сверточной нейронной сети, которая была обучена на изображениях легких с признаками COVID-19. Затем сегментация зон интереса, соответствующих участкам матового стекла и консолидации (выделяются три основные категории патологических образований -матовое стекло, консолидации, а также промежуточный вариант («плотное матовое стекло», демонстрирующий участки перехода легочной ткани из состояния матового стекла в уплотнение). По умолчанию участки с
плотностью более -200 хаунсфилдов, не являющиеся сосудами или бронхами, принимаются программой как консолидаты, участки с плотность более -600 хаунсфилдов - изменения по типу плотного матового стекла. • Botkin.AI - алгоритм ИИ, разработанный компанией ООО «Интеллоджик». Обработка изображений также происходит в несколько этапов: выделение легких с использованием базы сверточных нейронных сетей; определение КТ-паттернов (матовое стекло, консолидация) с помощью алгоритма на базе трехмерных сверточных нейронных сетей, обученных на выборке из нескольких сотен размеченных врачами-рентгенологами КТ-исследований легких с последующей проверкой полученных результатов другой группой специалистов в области лучевой диагностики.
Было проведено попарное сравнение двух систем искусственного интеллекта по показателям объем правого и левого легкого (мл), % матового стекла в правом и левом легком по отдельности, % консолидации в правом и левом легком, суммарное поражение правого и левого легкого по отдельности и общий процент поражения в процентах. Сравнение между 2 программами ИИ и визуальной оценкой врачом-рентгенологом проводилось по 3 последним показателям.
Статистический анализ полученных данных проводился на персональном компьютере с использованием пакетов прикладных программ MS EXCEL и IBM SPSS 23. По всем исследуемым показателям в каждой группе были подсчитаны параметры распределения (среднее значение, стандартное отклонение). Оценка достоверности различий между исследуемыми группами проводилась с помощью критериев Манна-Уитни. Для удобства сравнительной визуализации количественные показатели в исследуемых группах и подгруппах представлены в форме «Box & Whisker Р1оЪ>.Все полученные различия рассматривались на уровне значимости не ниже р<0,05.
Результаты и обсуждение
В ходе исследования был выполнен сравнительный анализ между двумя группами, группой ВОТКШ и группой MULTIVOX (MULTI). Полученные результаты сравнительного анализа представлены в таблице 1 и на рисунках 1 и 2.
Таблица 1
Сравнительный анализ между группами Botkin и Multivox (Multi)
Показатели ВОТКШ МиЬТ1 иэмп. Р- value
Среднее Стд.откл Средне е Стд. откл.
Объем правого легкого, мл 2496,57 694,94 2170,27 692,95 10470, 0 0,00 1
Матовое стекло в правом легком (К), % 39,15 23,31 24,06 17,31 9168,5 0,00 1
Консолидация в правом легком, (К) % 5,86 8,79 10,90 14,63 10976, 0 0,00 1
Суммарное поражение правого легкого ИИ, % 44,94 25,66 34,87 25,05 11287, 0 0,00 1
Объем левого легкого, мл 2175,31 622,49 1952,04 639,50 11609, 0 0,00 1
Матовое стекло в левом легком (Ь), % 39,69 22,92 24,38 17,57 8968,0 0,00 1
lBOTKIN ■MULTI
45 40 35 30 25 20 15 10 5 0
R матовое R Суммарно L матовое L Суммарно стекло, % консолида е стекло, % консолида е
BOTKIN MULTI
39,15 24,06
ция, %
5,86 10,90
поражение правого лекого ИИ, % 44,94 34,87
39,69 24,38
ция, %
4,62 10,52
поражение левого легкого ИИ, % 44,31 34,91
Консолидация в левом легком % 4,62 7,74 10,52 13,78 9840,0 0,00 1
Суммарное поражение левого легкого ИИ, % 44,31 24,66 34,91 24,30 11393, 0 0,00 1
Общий % поражения легких, ИИ 44,58 24,62 34,64 24,05 11161, 5 0,00 1
В результате сравнительного анализа между группами BOTKIN и MULTI были получены достоверные различия по всем показателям.
Рисунок 1.
Результаты сравнительного анализа между группами BOTKIN и MULTIVOX (MULTI).
В группе ВОТКШ преобладают такие показатели как R матовое стекло, Суммарное поражение правого легкого ИИ, Ь матовое стекло, Суммарное поражение левого легкого ИИ и Общий % поражения легких. А в группе МЛЬТ1 - R консолидация, Ь консолидация.
На рисунке 2 видно, что объем правого и левого легких преобладает в группе ВОТКШ.
■ ВОТКШ ■ МиЬТ1
2500 2000 1500 1000 500 0
Объем правого Объем левого
легкого, мл легкого, мл
■ ВОТКШ 2496,57 2175,31
МиЬТ1 2170,27 1952,04
Рисунок 2.
Объем правого и левого легкого в группах ВОТКШ и МЛЬТ!
Далее был выполнен сравнительный анализ 3 групп: ВОТКШ, МЛЬТ1 и Врач (визуальная оценка врачом-рентгенологом). Данные представлены в
таблице 2 и на рисунках 3, 4, 5.
Таблица 2
Сравнительный анализ между исследуемыми группами
ВОТКШ МЛЬТ! Врач Крас Р-
Средн Стд.от Сре Стд. Сре Стд. кел-
Показатели val
ее кл. днее откл дне откл Уол
ие
е ис
Суммарное поражение правого лекого ИИ, % 44,94 25,66 34,8 7 25,0 5 35,9 1 22,3 4 16,4 5 0,0 01
Суммарное поражение левого легкого ИИ, % 44,31 24,66 34,9 1 24,3 0 38,0 9 22,6 7 13,7 3 0,0 01
Общий % поражения легких, ИИ 44,58 24,62 34,6 4 24,0 5 37,0 3 22,1 3 16,2 7 0,0 01
Достоверные различия получены по всем показателям.
Из рисунков 3, 4, 5, приведенных ниже видно, что все три показателя в группе Botkin выше, чем в остальных группах. А в группе с визуальной оценкой врача-рентгенолога по всем показателям значения также выше, чем в группе Multivox.
Рисунок 3.
Cуммарное поражение правого легкого левого легкого.
Рисунок 4.
Cуммарное поражение
100,00
х"
* 80,00
а>
Ц
в;
5
^ 00,00
о.
о
С 40,00
>5
5
Ю 20,00
О
,00
ВОТК1К1 М1Л_Т1 Врач
Группа
Рисунок 5.
Общий % поражения легких
Выводы
1) Обе системы искусственного интеллекта имеют высокую точность подтверждения пневмонии, вызванной СОУГО-19. Так, программы отметили изменения легкого по типу «матового стекла» как минимум в одном из легких у всех пациентов с наличием положительного ПЦР-исследования мазков из зева и носоглотки.
2) При количественной оценке КТ-паттернов ВОТКШ.А1 отмечает по сравнению с МЦЪТ1УОХ большие участки паренхимы легких как матовое стекло, в то время как участки уплотнения по типу консолидации отмечены ВОТКШ.А1 в меньшей степени.
3) На данном этапе и СОУГО-19 МБЪТ1УОХ, и ВОТК1КА1 могут быть применимы только под контролем врача-рентгенолога, чтобы оценивать распространенность воспалительных изменений в легких на КТ органов грудной клетки у пациентов с пневмонией, вызванной COУID-19, так как имеются статистически значимые различия в оценке искусственным интеллектом и врачами как суммарного процентного поражения
I I 1
каждого из легких и общего % поражения.
4) Оценка врачами даёт более высокие значения, чем MULTIVOX, а программа искусственного интеллекта BOTKIN.AI более высокие значения, чем визуальная оценка специалистами. Тем не менее, наиболее близкими к оценке врачей-рентгенологов являются результаты, полученные с помощью программы MULTIVOX.
Литература
1. Временные методические рекомендации Профилактика, диагностика и лечение новой коронавирусной инфекции (Covid-19). Версия 9 (26.10.2020) - 2020
2. Yang W, Sirajuddin A, Zhang X, Liu G, Teng Z, Zhao S et al. The role of imaging in 2019 novel coronavirus pneumonia (COVID-19). European Radiology, 2020.
3. Методические рекомендации Лучевая диагностика коронавирусной болезни (covid-19): организация, методология, интерпретация результатов. Версия 2 (17.04.2020) - 2020
4. Hoffmann M., Kleine-Weber H., Schroeder S. et al. SARS-CoV-2 Cell Entry Depends on ACE2 and TMPRSS2 and Is Blocked by a Clinically Proven Protease Inhibitor // Cell. - 2020. - Vol. 181, N 2. - P.271-280.
5. Зельтер П.М., Колсанов А.В., Чаплыгин С.С., Первушкин С.С. Визуальная и автоматическая оценки объёма поражения лёгких на компьютерной томографии при пневмонии, вызванной COVID-19. Вестник медицинского института «Реавиз». Реабилитация, Врач и Здоровье. 2020;6(48):5-13
6. Guan W., Ni Z., Hu Y. et al. Clinical Characteristics of Coronavirus Disease 2019 in China // N. 39 Engl. J. Med. - 2020. - Vol. 382, N 18. - P.1708-1720.
Literature
1. Guidelines Prevention, diagnosis and treatment of new coronavirus infection (Covid-19). Version 9 (26.10.2020) - 2020.
2. Yang W, Sirajuddin A, Zhang X, Liu G, Teng Z, Zhao S et al. The role of
imaging in 2019 novel coronavirus pneumonia (COVID-19). European Radiology, 2020.
3. Methodological recommendations Radiation diagnostics of coronavirus disease (covid-19): organization, methodology, interpretation of results. Version 2 (17.04.2020) - 2020.
4. Hoffmann M., Kleine-Weber H., Schroeder S. et al. SARS-CoV-2 Cell Entry Depends on ACE2 and TMPRSS2 and Is Blocked by a Clinically Proven Protease Inhibitor // Cell. - 2020. - Vol. 181, N 2. - P.271-280.
5. Zelter P.M., Kolsanov A.V., Chaplygin S.S., Pervushkin S.S. Visual and automatic evaluation of the volume of lung damage on computer tomography with pneumonia caused by COVID-19. Bulletin of the Medical Institute Reaviz. Rehabilitation, Doctor and Health. 2020;6(48):5-13
6. Guan W., Ni Z., Hu Y. et al. Clinical Characteristics of Coronavirus Disease 2019 in China // N. 39 Engl. J. Med. - 2020. - Vol. 382, N 18. - P.1708-1720