CC BY
41
ОРИГИНАЛЬНАЯ СТАТЬЯ
DOI: 10.21045/1811-0185-2023-7-91-101 УДК: 61
ПРИМЕНЕНИЕ ТЕХНОЛОГИЙ
ИСКУССТВЕННОГО ИНТЕЛЛЕКТА КАК СПОСОБ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ВЫПОЛНЕНИЯ РЕНТГЕНОГРАФИИ ОРГАНОВ ГРУДНОЙ КЛЕТКИ
А.А. Борисов a: , Ю.А. Васильев b, А.В. Владзимирский c, О.В. Омелянская d, К.М. Арзамасов e, Ю.С. Кирпичев f
а, ь, с, d, е, f Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы», г. Москва, Россия; а ФГАОУ ВО "Российский национальный исследовательский медицинский университет имени Н.И. Пирогова" Минздрава России, г. Москва, Россия.
а https://orcid.org/0000-0003-4036-5883; ь https://orcid.org/0000-0002-0208-5218; с https://orcid.org/0000-0002-2990-7736; d https://orcid.org/0000-0002-0245-4431; е https://orcid.org/0000-0001-7786-0349; f https://orcid.org/0000-0002-9583-5187.
И Автор для корреспонденции: Борисов А.А.
АННОТАЦИЯ
При выполнении рентгенографических исследований могут возникать ошибки, снижающие диагностическую ценность полученных изображений и затрудняющие их интерпретацию как врачом-рентгенологом, так и диагностическим программным обеспечением на основе технологии искусственного интеллекта. Создание автоматизированных систем оценки качества позволит оптимизировать данный процесс, особенно в условиях повышенной рабочей нагрузки медицинского персонала. Цель исследования: разработка инструмента автоматизированного контроля качества рентгенологических исследований органов грудной клетки, позволяющего провести контроль качества укладки и позиционирования пациента и корректность заполнения метаинформации об исследовании.
Материал и методы. Для обучения и тестирования моделей автоматизированного контроля качества были использованы 61505 рентгенограмм органов грудной клетки (РГ ОГК), полученные из открытых наборов данных и Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы города Москвы. Для создания моделей применялось трансферное обучение глубоких нейросетевых архитектур VGG19 и ResNet152V2.
Результаты. Были созданы 7 моделей: модель определения анатомической области исследования, модель определения проекции, модель определения фотометрической интерпретации, модели определения неполной визуализации анатомической области на прямой и боковой проекциях РГ ОГК, модель определения ротации на боковой проекции РГ ОГК. Все созданные модели имеют метрики диагностической точности выше 95%, что позволяет использовать их в клинической практике. На основе разработанных моделей был создан единый web-инструмент контроля качества РГ ОГК, позволяющий анализировать качество наборов данных рентгенограмм.
Выводы. Активное использование разработанного нами инструмента позволит оптимизировать процесс оценки качества диагностических исследований и облегчить процессы классификации исследований и формирования наборов данных. Также данный инструмент может использоваться для поддержки принятия решения рентгенолаборанта и оценки качества исследования перед отправкой исследования на обработку сервисам на базе искусственного интеллекта.
Ключевые слова: рентгенограммы органов грудной клетки, контроль качества, глубокое обучение, искусственный интеллект. Для цитирования: Борисов А.А, Васильев Ю.А., Владзимирский А.В., Омелянская О.В., Арзамасов К.М, Кирпичев Ю.С. Применение технологий искусственного интеллекта как способ обеспечения качества выполнения рентгенографии органов грудной клетки. Менеджер здравоохранения. 2023; 7:91-101. DOI: 10.21045/1811-0185-2023-7-91-101
Данная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы подготовки наборов данных лучевых диагностических исследований» (№ ЕГИСУ: 123031500003-8) в соответствии с Приказом от 21.12.2022 г. № 1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы.
© Борисов А.А, Васильев Ю.А., Владзимирский А.В., Омелянская О.В., Арзамасов К.М., Кирпичев Ю.С., 2023 г.
•КС
№7 Manager
2023 Zdravoochranania
/Менеджер
здравоохранения
Введение
Рентгенологические исследования органов грудной клетки являются одними из самых распространенных лучевых диагностических исследований. В 2020 году в Российской Федерации было проведено более 100 миллионов рентгенографических и флюорографических (ФЛГ) исследований ОГК [1]. Производители диагностического программного обеспечения (ПО) на основе технологии искусственный интеллект (ТИИ) активно создают свои продукты для описания данных исследований. В момент написания статьи в Эксперименте по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы участвуют 53 сервиса на базе искусственного интеллекта (ИИ), 9 из которых описывают РГ или ФЛГ ОГК, ожидается подключение еще 3 сервисов [2].
На сегодняшний день в лучевой диагностике активно применяется дистанционное описание рентгенологических исследований [3]. При такой организации диагностического процесса врач получает изображение на описание с временной задержкой и не имеет прямого контакта с рентгенолаборантом, проводящим исследование. Поэтому качество проводимого исследования напрямую зависит от квалификации рентгенолаборанта [4]. Наряду с этим, количество проводимых диагностических исследований непрерывно растет, что увеличивает нагрузку на медицинский персонал и снижает время, уделяемое оценке качества полученных изображений [5].
При выполнении рентгенографии могут возникать ошибки, по большей части обусловленные человеческим фактором, которые затрудняют интерпретацию изображения и его описание как врачом-рентгенологом, так и ПО на основе ТИИ, что усугубляется в условиях повышенной рабочей нагрузки. Okeji и соавт. отмечают, что лишь 17% из 800 изученных ими в своем исследовании рентгенограмм грудной клетки соответствовали всем критериям качества Европейского Общества Радиологов [6]. Shet N и соавт. утверждают, что процент брака для рентгенограмм органов грудной клетки, выполненных рентгенолаборантами одного учреждения, может варьироваться от менее 1% до более чем 8% [7]. Согласно исследованию Европейской федерации рентгенологических обществ, врачи-рентгенологи отклоняют в среднем 43% рентгенограмм с нарушенными критериями качества, как изображения с низкой диагностической
ценностью [11]. Одним из важнейших критериев качества для рентгенологического исследования является правильное положение пациента. Во время укладки и позиционирования пациента при проведении рентгенографии органов грудной клетки необходимо учитывать расположение верхушек легких, реберно-диафрагмальных углов и других границ легких, чтобы быть уверенным, что они будут показаны на рентгенограмме [16]. Отсутствие данных анатомических зон на рентгенограмме может скрыть различные патологические состояния у пациента и снижают диагностическую ценность изображения. Сильная ротация грудной клетки на рентгенограмме может изменить нормальный кар-диомедиастинальный контур и смещать тени внутренних органов, что затрудняет интерпретацию исследования. Особенно сильно от ротации страдают алгоритмы автоматической сегментации и попарного сравнения легких [14, 15].
Отдельной проблемой является качество мета-информации об исследовании, хранящейся в формате DICOM. Mark Oliver Gueld и соавт. провели исследование качества заполнения тега Body Part Examined, описывающего анатомическую область исследования для компьютерной и магнитно-резонансной томографии. Исследование показало, что более 15% исследований содержали ложное значение тегов, что делало невозможным автоматическую категоризацию исследований [10].
В связи с масштабным внедрением ТИИ в медицинскую практику [12, 13] вопрос корректности используемых данных, в том числе метаданных, становится крайне актуальным. Многие ПО на основе ТИИ используют теги заголовков DICOM и могут демонстрировать ложные результаты в случае отсутствия или неверного значения метаданных [8]. Исследование Ю.А. Васильева и соавт. показало, что качество работы ИИ-Сервиса напрямую зависит от качества входных данных, в том числе метаданных об исследовании. Если метаданные об исследовании содержат ошибки, связанные с человеческим фактором, то ИИ-Сервису могут предоставить изображение совсем с другой проекцией или анатомической областью, что приведет к сбою в его работе. В данной работе доля исследований с подобными техническими дефектами составила более 11,5% [9]. Обеспечить контроль качества рентгенологических исследований и правильность заполнения метаинформации о них может создание автоматизированных алгоритмов контроля качества.
Менеджер / Manager № 7
здравоохранения / ZdrevoochrBnenie 2023
Целью данной работы была разработка инструмента автоматизированного контроля качества рентгенологических исследований органов грудной клетки, оценивающего качество укладки и позиционирования пациента и правильность заполнения метаинформации об исследовании.
Материалы и методы
В рамках данной работы были обучены 7 моделей для классификации рентгенологических изображений ОГК, позволяющие оценить качество проведенного диагностического исследования:
• Модели для анализа корректности заполнения DICOM тегов.
■ Модель определения анатомической области исследования (ОГК или другая анатомическая зона).
■ Модель определения проекции на РГ ОГК (прямая или боковая проекция).
■ Модель определения фотометрической интерпретации (позитивное или негативное исследование).
• Модели поиска нарушений укладки и позиционирования пациента.
■ Модель определения неполной визуализации анатомической области на прямой проекции РГ ОГК.
■ Модель определения неполной визуализации анатомической области на боковой проекции РГ ОГК.
■ Модель определения ротации грудной клетки на боковой проекции.
• Модель определения неверной ориентации изображения.
Для обучения описанных моделей были вручную сформированы наборы РГ ОГК в стандартных прямой и/или боковой проекциях, в зависимости от поставленной задачи. Наборы формировались из изображений, полученных из иностранных наборов данных, размещенных в открытом доступе (CheXpert [17], Chest X-rays [18], PadChest [19]), а также из исследований, выгруженных из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы города Москвы (ЕРИС ЕМИАС). Чтобы повысить обобщающую способность создаваемых моделей, при формировании наборов данных мы старались добиться максимального разнообразия используемых для обучения изображений. Общий объем используемых для обучения исследований составил 48959 рентгенограмм. Для тестирования обученных
моделей использовались отложенные наборы данных из изображений, не входящих в обучающую выборку. Общий объем используемых для тестирования исследований составил 12546 рентгенограмм.
В качестве основы для создаваемых моделей использовалось трансферное обучение глубоких сверточных нейросетевых архитектур VGG19 и ResNet152V2, предобученных на наборе аннотированных изображений 1таде№^ содержащих более 14 миллионов различных немедицинских изображений. Данный подход активно используется исследователями как эффективный инструмент классификации медицинских изображений [20-22].
Для оценки качества создаваемых моделей проводился ROC-анализ, рассчитывалась площадь под характеристической кривой (АиС) и определялся порог бинаризации методом максимизации индекса Юдена с использованием открытого отечественного инструмента для ROC-анализа [23]. Для определенного порога бинаризации вычислялись стандартные метрики диагностической точности: чувствительность, специфичность, точность с расчетом 95% доверительных интервалов.
Результаты
Общая схема работы
инструмента
Все разработанные модели объединены в единую систему, реализованную в виде Web-инструмента, позволяющего анализировать наборы данных рентгенограмм. Предложена следующая схема работы данного инструмента. На вход инструменту подается архив, содержащий диагностические исследования в формате DICOM, а также json-файл, содержащий словарь с корректными значениями для каждого интересующего нас DICOM тега. Нами создан словарь, содержащий идентификаторы DICOM тегов, описывающих модальность, анатомическую область исследования, проекцию и цветовую интерпретацию, а также их корректные значения для рентгенологических и флюорографических исследований органов грудной клетки. Впоследствии мы планируем расширить функционал нашего инструмента на исследования других модальностей и других анатомических зон, с формированием соответствующих им словарей.
Затем каждое полученное в архиве изображение проверяется моделью определения фотометрической интерпретации. Если изображение позитивное, оно автоматически преобразуется в негативное, так как эта форма изображения
С
«КС
№7 Manager
2023 Zdravoochranenia
/Менеджер
здравоохранения
является стандартной и чаще всего используется для обучения ПО на основе ТИИ. Затем изображение обрабатывается моделью определения анатомической области исследования. Данная модель отфильтровывает для дальнейшего анализа только изображения органов грудной клетки, отбраковывая исследования других анатомических зон и технические изображения. На следующем этапе исследование проверяется моделью определения неверной ориентации изображения, исследования с неверной ориентацией отбраковываются. Затем правильно ориентированные исследования органов грудной клетки обрабатываются моделью определения проекции. Исследования в прямой проекции отправляются на обработку модели определения неполной визуализации анатомической области на прямой проекции РГ ОГК. Исследования в боковой проекции отправляются на обработку модели определения неполной визуализации анатомической области на боковой проекции РГ ОГК и модели определения ротации грудной клетки на боковой проекции РГ ОГК. На последнем этапе формируется отчет о тестировании, содержащий детализированную информацию о каждом обработанном исследовании, а также визуализируются диаграммы, позволяющие наглядно оценить результаты тестирования. Функциональная схема работы алгоритма представлена на рис. 1.
Модели для анализа правильности заполнения РЮОМ тегов
Все созданные модели имели в своей основе архитектуру VGG19 и успешно справились с задачей классификации. Модели определения анатомической области и определения проекции на РГ ОГК допустили по одной классификационной ошибке из 1164 оцениваемых изображений. Все остальные исследования были успешно классифицированы. Результаты тестирования моделей указаны в таблице 1.
Резуль
Рис. 1. Функциональная схема работы инструмента контроля качества
Таблица 1
ирования моделей для анализа правильности заполнения DICOM тегов
Модель
Определение анатомической области [95% ДИ] Определение проекции на РГ ОГК [95% ДИ] Определение цветовой интерпретации [95% ДИ]
дис 1,0[0,999; 1,0] 1,0[1,0; 1,0] 1,0[1,0; 1,0]
Чувствительность 1,0[0,825; 1,0] 0,996[0,983; 0,996] 1,0[0,994; 1,0]
Специфичность 0,997[0,994; 0,997] 1,0[0,996; 1,0] 1,0[0,995; 1,0]
Точность 0,997[0,992; 0,997] 0,999[0,993; 0,999] 1,0[0,995; 1,0]
Менеджер / Мапедег № 7
здравоохранения / 2с1гв\/оосЬгвпвп'1в 2023
В)
Рис. 2. ROC-кривые: А - для модели определения анатомической области исследования; Б - для модели определения проекции на РГ ОГК; В - для модели определения цветовой интерпретации
1ЮС-кривые для данных моделей представлены на рис. 2.
Модели поиска нарушений укладки и позиционирования пациента
Задача определения укладки и позиционирования является самой трудной из рассматриваемых в рамках данной работы. В оцениваемых изображениях встречались самые разнообразные примеры нарушений позиционирования пациента. Наилучшие результаты показали модели на основе архитектуры РеБЫеН52У2 для определения неполной визуализации анатомической области на прямой проекции РГ ОГК и определения ротации
грудной клетки на боковой проекции РГ ОГК, модель на основе архитектуры УОС19 для определения неполной визуализации анатомической области на боковой проекции РГ ОГК. Результаты тестирования данных моделей приведены в таблице 2. 1ЮС-кривые для данных моделей представлены на рис. 3.
Модель определения неверной ориентации изображения
Модель безошибочно классифицировала изображения, выявив различные нарушения ориентации изображения. Все метрики диагностической точности равны 1,0. 1ЮС-кривая для данной модели представлена на рис. 4.
Таблица 2
Резуль
гирования моделей поиска нарушений укладки и позиционирования пациента
Модель
Определение неполной визуализации анатомической области на прямой проекции РГ ОГК [95%ДИ] Определение неполной визуализации анатомической области на боковой проекции РГ ОГК [95%>ДИ] Определение ротации грудной клетки на боковой проекции РГ ОГК [95%>ДИ]
АиС 0,996 [0,994; 0,999] 0,994 [0,992; 0,996] 0,994 [0,992; 0,996]
Чувствительность 0,976 [0,968; 0,984] 0,974 [0,962; 0,985] 0,961 [0,950; 0,972]
Специфичность 0,967 [0,967; 0,978] 0,953 [0,939; 0,967] 0,965 [0,964; 0,976]
Точность 0,972 [0,965; 0,979] 0,963 [0,954; 0,972] 0,963 [0,955; 0,971]
№ 7 Мападег
2023 Zdravoochranenia ,
/Менеджер
здравоохранения
Т<Ла1 2347, и^Ь гезиИз: 2347
Т<Аа1 зЬкНея: 1661, \iith гезгйЬз: 1561
г
з- 1р1яв}: 0.3« ¡0.334 - С С/595 1С.ЗД - 3.5И1
А)
Г"
_ _ ЯП с (зооС5гтз?р1Г.7|: 5.953 №.392 - 0 39«)
Б)
Т'----.1сЦез: • ■ ', ,л £И гз-к г.г 2347
1- С •зютаа у й:ср://roc-anals3i3.3SiJBi.3i
яис (ГЕЕспд! рр!пэ): с.554 (0.992 - 0.966) (С.531 - 0.993)
В)
Рис. 3. ROC-кривые: А - для модели определения неполной визуализации анатомической области на прямой проекции РГ ОГК; Б - для модели определения
неполной визуализации анатомической области на боковой проекции РГ ОГК; В - для модели определения ротации грудной клетки на боковой проекции РГ ОГК
Рис. 4. ROC-кривая для модели определения неверной ориентации изображения
Функционал web-инструмента позволяет визуализировать наполнение загруженного набора данных, полноту и качество заполнения DICOM тегов (см. рис. 5 А), долю исследований с различными нарушениями качества (см. рис. 5 Б). По окончании анализа набора данных, формируется таблица с результатами обработки каждого изображения нашими моделями и визуализацией доли качественных изображений. (см. рис. 5 В)
Обсуждение
В отечественной и зарубежной литературе не удалось найти аналогов созданной нами системы. Существуют разработки зарубежных коллег, направленные на решение отдельных задач в рамках нашей работы. Так, Rajkomar и соавт. создали модель для классификации РГ ОГК на фронтальную или боковую проекцию. Точность их модели сопоставима с нашей, но нам удалось решить
Менеджер / Мападег № 7
здравоохранения / 2с1гв\/оосЬгвпвп'1в 2023
Тег 1таде1_а1егаП1у
Определение проекции
Определение неполной визуализации анатомической области
А)
Б)
В)
Рис. 5. Элементы интерфейса web-инструмента для оценки качества РГ ОГК. А - визуализация заполнения DICOM тега ImageLateraПty; Б - визуализация долей РГ ОГК каждой проекции и долей РГ ОГК с наличием и отсутствием нарушения позиционирования пациента; В - результат обработки набора данных с визуализацией доли качественных исследований и развернутого отчета о тестировании
данную задачу классификации, используя меньшее количество обучающих данных - 5240 РГ ОГК по сравнению с 128796 у Ra¡kolтюr [24]. Whaley и со-авт. создали систему для определения неполной визуализации анатомической области на РГ ОГК, основанную на определении геометрических характеристик на изображении. Созданная ими модель обладала более низкой специфичностью, чем наша модель, основанная на глубоких сверточных нейронных сетях. Также наша модель превосходит модель определения неполной визуализации анатомической области на прямой проекции РГ ОГК, созданную Ыоиэютеп и соавт., основанную на сверточных нейронных сетях также как и наша модель [25]. Они получили АиС 0,92 [0,9; 0,93], что достоверно значимо ниже, чем полученный нами результат 0,996 [0,994; 0,999].
В рамках данной работы нам удалось улучшить свои собственные результаты для моделей определения неполной визуализации анатомической области на РГ ОГК как прямой, так и боковой проекции и для модели определения ротации грудной клетки на РГ ОГК боковой проекции [26]. Нам удалось повысить значения АиС результаты для модели определения неполной визуализации анатомической области на РГ ОГК прямой проекции с 0,866 [0,779; 0,954] до 0,996 [0,994; 0,999], для модели определения неполной визуализации анатомической области на РГ ОГК боковой проекции с 0,926 [0,858; 0,995] до 0,994 [0,992; 0,996], для модели определения ротации грудной клетки на РГ ОГК боковой проекции с 0,719 [0,587; 0,850] до 0,994 [0,992; 0,996]. Улучшения работы моделей удалось достичь за
счет включения в обучающую выборку помимо изображений из открытых наборов данных до 50% исследований из ЕРИС ЕМИАС, полученных в разных медицинских организациях на разных диагностических устройствах. Это свидетельствует о том, что обобщающая способность ПО на основе ТИИ напрямую коррелирует с гетерогенностью обучающих данных.
Созданный нами инструмент можно использовать на различных этапах исследовательской и диагностической деятельности. При помощи нашего web-инструмента можно осуществлять автоматическую сортировку рентгенологических изображений по различным категориям, а также формировать технические наборы данных для разработчиков ПО на основе ТИИ с наличием и/ или отсутствием различных дефектов. Созданные нами модели могут быть интегрированы в рабочую станцию рентгенолаборанта для поддержки принятия его решений о качестве полученного изображения. Также наши модели можно использовать для предварительной проверки качества изображения и правильности выставления DICOM тегов перед отправкой исследования на обработку ИИ-сервису, что позволит снизить число нецелевых изображений, поступающих на обработку ИИ-сервисам и повысит эффективность их использования.
Заключение
Качество рентгенологического исследования является важным параметром, которому зачастую в диагностической практике уделяется мало времени. Нарушения качества может приводить к снижению диагностической ценности изображения, гипо- и гипердиагностике, а также к сбоям в работе диагностического ПО на основе ТИИ. В данной работе мы показали эффективность трансферного обучения для классификации рентгенологических изображений ОГК и определения различных нарушений качества. Нами создан Web-инструмент, позволяющий анализировать наборы данных диагностических исследований и определять правильность заполнения DICOM тегов, нарушения укладки и позиционирования пациентов и нарушения ориентации изображения. Все интегрированные в данный инструмент модели имеют высокие метрики диагностической точности, составляющие более 95%, что позволяет использовать их в клинической практике. Активное использование разработанного нами инструмента и его составляющих позволит оптимизировать процесс оценки качества рентгенологических исследований органов грудной клетки для диагностических и исследовательских целей. Впоследствии использование нашего инструмента может быть масштабировано на диагностические исследования других модальностей и анатомических областей.
1. Отчет за 2020 г. главного внештатного специалиста Минздрава России по лучевой и инструментальной диагностике Тюрина И.Е. Доступно по адресу: https://static-0.minzdrav.gov.ru/ system/attachments/attaches/000/056/620/original/%D0%9E%D1%82%D1%87%D0%B5%D1%82 _%D0%B7%D0%B0_2020_%D0%B3%D0%BE%D0%B4_%D0%A2%D1%8E%D1%80%D0%B8%D0% BD.pdf?1624967722 (Дата обращения: 15.04.2023).
2. Васильев Ю.А., Владзимирский А.В., Арзамасов К.М. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента: монография. Москва, Ридеро, 2022. - 388 с.
3. Morozov S.P., Kuzmina E.S., Ledikhova N.V. et al. Mobilizing the academic and practical potential of diagnostic radiology during the COVID-19 pandemic in Moscow. // Digital Diagnostics. 2020; 1 (1): 5-11.
4. https://doi.org/10.17816/DD51043
5. Morozov S.P., Ledikhova N.V., Panina E.V. et al. Performance quality of X-ray technicians when they interact remotely with the reference center for diag-nostic radiology using telemedicine technologies. // Natsional'noe Zdravookhranenie. 2021; 2 (2): 36-46.
6. https://doi.org/10.47093/2713-069X.2021.2.2.36-46
7. Kicky G. van Leeuwen, Maarten de Rooij, Steven Schalekamp et al. How does artificial intelligence in radiology improve efficiency and health outcomes? Pediatr Radiol. 2022; 52(11): 2087-2093.
8. DOI: 10.1007/s00247-021 -05114-8
9. Okeji M.C., Agwuna K.K., Abubakar U. et al. Evaluation of Diagnostic Quality of Chest Radiographs Seen in a Nigerian Teaching Hospital. Journal of Advances in Medicine and Medical Research. 2017; 23(3): 1-6. DOI: 10.9734/JAMMR/2017/35114
10. Shet N, Chen J, Siegel E. Continuing challenges in defining image quality. // Pediatr Radiol. 2011; 41(5): 582-587. DOI: 10.1007/s00247-011 -2028-0
Менеджер / Manager № 7
здравоохранения / ZdrevoochrBnenie 2023
11. Jan Juszczyk, Pawel Badura, Joanna Czajkowska et al. Automated size-specific dose estimates using deep learning image processing. // Medical Image Analysis. 2021;68: 101898.
12. https://doi.Org/10.1016/j.media.2020.101898
13. Vasilev, Y, Vladzymyrskyy, A., Omelyanskaya, O, Blokhin, I, Kirpichev, Y, Arzamasov, K. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value. // Diagnostics 2023, 13, 1430.
14. https://doi.org/10.3390/diagnostics13081430
15. Mark Oliver Gueld, Michael Kohnen, Daniel Keysers et al. Quality of DICOM header information for image categorization. Proc. SPIE4685, Medical Imaging 2002: PACS and Integrated Medical Information Systems: Design and Evaluation.
16. https://doi.org/10.1117/12.467017
17. Elin Kjelle, Catherine Chilanga. The assessment of image quality and diagnostic value in X-ray images: a survey on radiographers' reasons for rejecting images. // Insights into Imaging. 2022; 13: 36. DOI: 10.1186/s13244-022-01169-9
18. Указ Президента РФ от 10.10.2019 № 490 «О развитии искусственного интеллекта в Российской Федерации» (вместе с «Национальной стратегией развития искусственного интеллекта на период до 2030 года»). Доступно по адресу: http://www.consultant.ru/document/cons_doc_ LAW_335184/ (Дата обращения: 20.04.2023).
19. ФЗ от 24.04.2020 г. № 123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации - городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона «О персональных данных»». Доступно по адресу: http://www.kremlin.ru/acts/bank/45475 (Дата обращения: 20.04.2023).
20. Santosh K.C., Sema Candemir, Stefan Jaeger et al. Automatically Detecting Rotation in Chest Radiographs Using Principal Rib-Orientation Measure for Quality Control. // International Journal of Pattern Recognition and Artificial Intelligence. 2015; 29(2): 1-19. DOI: https://doi.org/10.1142/ S0218001415570013
21. Folio L. Interpretive approach and reporting the intensive care bedside chest X-ray. // J. Am. Osteopath. Coll. Radiol. 2014; 3(2): 12-20.
22. Bontrager, Kenneth L. and John P. Lampignano. Textbook of Radiographic Positioning and Related Anatomy. 8th edition St. Louis (Mo.): Elsevier Mosby, 2014.
23. CheXpert Dataset. Доступно по адресу: https://stanfordmlgroup.github.io/competitions/chexpert/ (Дата обращения: 08.03.2023).
24. Chest X-rays dataset. Доступно по адресу: https://www.kaggle.com/datasets/raddar/chest-xrays-indiana-university (Дата обращения: 08.03.2023).
25. PadChest dataset. Доступно по адресу: https://bimcv.cipf.es/bimcv-projects/padchest/ (Дата обращения: 08.03.2023).
26. Baoru Han, Jinglong Du, Yuanyuan Jia et al. Zero-Watermarking Algorithm for Medical Image Based on VGG19 Deep Convolution Neural Network. // J Healthc Eng. 2021; 2021: 5551520.
27. https://doi.org/10.1155/2021/5551520
28. Abdulkadir Karaci. VGGCOV19-NET: automatic detection of COVID-19 cases from X-ray images using modified VGG19 CNN architecture and YOLO algorithm. // Neural Comput Appl. 2022;34(10):8253-8274.
29. https://doi.org/10.1007/s00521-022-06918-x
30. Isoon Kanjanasurat, Kasi Tenghongsakul, Boonchana Purahong et al. CNN-RNN Network Integration for the Diagnosis of COVID-19 Using Chest X-ray and CT Images. // Sensors (Basel). 2023; 23(3): 1356.
31. https://doi.org/10.3390/s23031356
32. ROC analysis tool of Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow City Health Department. Доступно по адресу: https://roc-analysis.mosmed.ai/.
33. Alvin Rajkomar, Sneha Lingam, Andrew G. Taylor et al. High-Throughput Classification of Radiographs Using Deep Convolutional Neural Networks. // J Digit Imaging. 2017; 30 (1): 95-101.
34. https://doi.org/10.1007/s10278-016-9914-9
35. Katri Nousiainen, Teemu Makela, Anneli Piilonen, Juha I. Peltonen. Automating chest radiograph imaging quality control. // Physica Medica. 2021;83:138-145.
36. https://doi.org/10.1016/j.ejmp.2021.03.014
37. Борисов А.А., Семенов C.C., Арзамасов К.М. Использование трансферного обучения для автоматизированного поиска дефектов на рентгенограммах органов грудной клетки. // Медицинская визуализация. 2023;27(1):158-169. https://doi.org/10.24835/1607-0763-1243
№ 7 Manager
2023 Zdravoochranenia
/Менеджер
здравоохранения
b https://orcid.org/0000-0002-0208-5218; d https://orcid.org/0000-0002-0245-4431;
ORIGINAL PAPER
THE USE OF ARTIFICIAL INTELLIGENCE TECHNOLOGIES AS A WAY TO ENSURE THE QUALITY OF CHEST RADIOGRAPHY
A.A. Borisova ■ , Yu.A. Vasiliev b, A.V. Vladzymyrskyyc, O.V. Omelyanskayad, K.M. Arzamasov e, Yu.S. Kirpichev f
a, t, c, d, e, f Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia;
a Pirogov Russian National Research Medical University (Pirogov Medical University), Moscow, Russia. a https://orcid.org/0000-0003-4036-5883; c https://orcid.org/0000-0002-2990-7736; e https://orcid.org/0000-0001-7786-0349; f https://orcid.org/0000-0002-9583-5187.
H Corresponding author: Borisov A.A.
ABSTRACT
When performing radiographic studies, errors may occur that reduce the diagnostic value of the radiographs and complicate their interpretation by radiologists and diagnostic software based on artificial intelligence technology. The creation of automated quality assessment systems will optimize this process, especially in conditions of increased workload of medical personnel.
Purpose: development of an automated quality control tool for chest radiographs, which allows for quality control of the patient's positioning and the correctness of filling in meta-information about the study.
Material and methods. To train and test automated quality control models, were used 61505 chest radiographs, obtained from open datasets and the Unified Radiological Information Service of the Unified Medical Information Analysis System of the City of Moscow. To create models we used transfer training of deep neural network architectures VGG19 and ResNet152V2.
Results. 7 models were created: a model for determining the anatomical area of study, a model for determining projection, a model for determining photometric interpretation, models for determining incomplete visualization of the anatomical area on the frontal and lateral projections of the chest radiographs, a model for determining rotation on the lateral projection of the chest radiographs. All created models have diagnostic accuracy metrics above 95%, which allows them to be used in clinical practice. Based on the developed models, a web-based quality control tool of the chest radiographs was created, which allows analyzing the quality of X-ray datasets. Conclusion. The active use of this quality control tool will optimize the process of assessing the quality of diagnostic studies and facilitate the processes of classification of studies and the formation of datasets. Also, this tool can be used to support the decision-making of an X-ray technician and assess the quality of the study before sending the study for processing to artificial intelligence-based services. Keywords: chest X-rays, quality control, deep learning, artificial intelligence.
For citation Borisov A.A, Vasiliev Yu.A., Vladzymyrskyy, A.V., Omelyanskaya O.V., Arzamasov K.M., Kirpichev Yu.S. The use of artificial intelligence technologies as a way to ensure the quality of chest radiography. Manager Zdravoohranenia. 2023; 7:91 — 101. DOI: 10.21045/1811-0185-2023-7-91-101
This paper was prepared by a group of authors as a part of the research and development effort titled "Development of a platform to generate data sets containing diagnostic imaging studies" (USIS No.: 123031500003-8) in accordance with the Order No. 1196 dated December 21, 2022 "On approval of state assignments funded by means of allocations from the budget of the city of Moscow to the state budgetary (autonomous) institutions subordinate to the Moscow Health Care Department, for 2023 and the planned period of 2024 and 2025" issued by the Moscow Health Care Department.
REFERENCES
1. Report for 2020 of the chief freelance specialist of the Ministry of Health of Russia on radiation and instrumental diagnostics Tyurin I.E. Available at: https://static-0.minzdrav.gov.ru/system/attachments/attaches/000/056/620/original/%D0%9E%D1%82% D 1%87%D0%B5%D 1%82_%D0%B7%D0%B0_2020_%D0%B3%D0%BE%D0%B4_%D0%A2%D1%8E%D 1%80%D0%B8%D0%BD. pdf?1624967722 (Accessed: 15.04.2023) (in Russian).
2. Vasiliev Yu.A, Vladimirsky A.V., Arzamasov K.M. Computer vision in radiation diagnostics: the first stage of the Moscow experiment: monograph. Moscow, Reader, 2022. 388 p. (in Russian).
3. Morozov S.P., Kuzmina E.S., Ledikhova N.V. et al. Mobilizing the academic and practical potential of diagnostic radiology during the COVID-19 pandemic in Moscow. // Digital Diagnostics. 2020; 1 (1): 5-11.
4. https://doi.org/10.17816/DD51043
5. Morozov S.P., Ledikhova N. V, Panina E. V. et al. PERFORMANCE QUALITY OF X-RAY TECHNICIANS WHEN THEY INTERACT REMOTELY WITH THE REFERENCE CENTER FOR DIAGNOSTIC RADIOLOGY USING TELEMEDICINE TECHNOLOGIES. // Natsional'noe Zdravookhranenie. 2021; 2 (2): 36-46.
6. https://doi.org/10.47093/2713-069X.2021.2.2.36-46
7. Kicky G. van Leeuwen, Maarten de Rooij, Steven Schalekamp et al. How does artificial intelligence in radiology improve efficiency and health outcomes? // Pediatr Radiol. 2022; 52(11): 2087-2093.
8. DOI: 10.1007/s00247-021-05114-8
9. Okeji M.C., Agwuna K.K., Abubakar U. et al. Evaluation of Diagnostic Quality of Chest Radiographs Seen in a Nigerian Teaching Hospital. // Journal of Advances in Medicine and Medical Research. 2017; 23(3): 1-6. DOI: 10.9734/JAMMR/2017/35114
10. Shet N, Chen J, Siegel E. Continuing challenges in defining image quality. // Pediatr Radiol. 2011; 41(5): 582-587. DOI: 10.1007/ s00247-011-2028-0
11. Jan Juszczyk, Pawel Badura, Joanna Czajkowska et al. Automated size-specific dose estimates using deep learning image processing. // Medical Image Analysis. 2021;68: 101898.
12. https://doi.org/10.1016/j.media.2020.101898
13. Vasilev, Y, Vladzymyrskyy, A, Omelyanskaya, O, Blokhin, I, Kirpichev, Y, Arzamasov, K. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value. // Diagnostics 2023, 13, 1430.
Менеджер
здравоохранения /
Manager № 7
ZdrevoochreneniB 2023
14. https://doi.org/10.3390/diagnostics13081430
15. Mark Oliver Gueld, Michael Kohnen, Daniel Keysers et al. Quality of DICOM header information for image categorization. Proc. SPIE4685, Medical Imaging 2002: PACS and Integrated Medical Information Systems: Design and Evaluation.
16. https://doi.org/10.1117/12.467017
17. Elin Kjelle, Catherine Chilanga. The assessment of image quality and diagnostic value in X-ray images: a survey on radiographers' reasons for rejecting images. // Insights into Imaging. 2022; 13: 36. DOI: 10.1186/s13244-022-01169-9
18. Decree of the President of the Russian Federation No. 490 dated 10.10.2019 "On the development of artificial intelligence in the Russian Federation" (together with the "National Strategy for the Development of Artificial Intelligence for the period up to 2030"). Available at: http://www.consultant.ru/document/cons_doc_LAW_335184/ (Accessed: 20.04.2023) (in Russian)
19. Federal Law No. 123-FZ dated 04/24/2020 "On Conducting an Experiment to Establish Special Regulation in Order to Create the Necessary Conditions for the Development and Implementation of Artificial Intelligence Technologies in the Subject of the Russian Federation - the Federal City of Moscow and Amendments to Articles 6 and 10 of the Federal Law "On Personal Data"". Available at: http://www.kremlin.ru/acts/bank/45475 (Accessed: 20.04.2023) (in Russian).
20. Santosh K.C., Sema Candemir, Stefan Jaeger et al. Automatically Detecting Rotation in Chest Radiographs Using Principal Rib-Orientation Measure for Quality Control. // International Journal of Pattern Recognition and Artificial Intelligence. 2015; 29(2): 1-19. DOI: https://doi.org/10.1142/S0218001415570013
21. Folio L. Interpretive approach and reporting the intensive care bedside chest X-ray. // J. Am. Osteopath. Coll. Radiol. 2014; 3(2): 12-20.
22. Bontrager, Kenneth L. and John P. Lampignano. // Textbook of Radiographic Positioning and Related Anatomy. 8th edition St. Louis (Mo.): Elsevier Mosby, 2014.
23. CheXpert Dataset. Available at: https://stanfordmlgroup.github.io/competitions/chexpert/ (Accessed: 08.03.2023).
24. Chest X-rays dataset. Available at: https://www.kaggle.com/datasets/raddar/chest-xrays-indiana-university (Accessed: 08.03.2023)
25. PadChest dataset. Available at: https://bimcv.cipf.es/bimcv-proiects/padchest/ (Accessed: 08.03.2023).
26. Baoru Han, Jinglong Du, Yuanyuan Jia et al. Zero-Watermarking Algorithm for Medical Image Based on VGG19 Deep Convolution Neural Network. // J Healthc Eng. 2021; 2021: 5551520.
27. https://doi.org/10.1155/2021/5551520
28. Abdulkadir Karaci. VGGCOV19-NET: automatic detection of COVID-19 cases from X-ray images using modified VGG19 CNN architecture and YOLO algorithm. // Neural Comput Appl. 2022;34(10):8253-8274.
29. https://doi.org/10.1007/s00521-022-06918-x
30. Isoon Kanjanasurat, Kasi Tenghongsakul, Boonchana Purahong et al. CNN-RNN Network Integration for the Diagnosis of COVID-19 Using Chest X-ray and CT Images. // Sensors (Basel). 2023; 23(3): 1356.
31. https://doi.org/10.3390/s23031356
32. ROC analysis tool of Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow City Health Department. Available at: https://roc-analysis.mosmed.ai/.
33. Alvin Rajkomar, Sneha Lingam, Andrew G. Taylor et al. High-Throughput Classification of Radiographs Using Deep Convolutional Neural Networks. // J Digit Imaging. 2017; 30 (1): 95-101.
34. https://doi.org/10.1007/s10278-016-9914-9
35. Katri Nousiainen, Teemu Makela, Anneli Piilonen, Juha I. Peltonen. Automating chest radiograph imaging quality control. // Physica Medica. 2021;83:138-145.
36. https://doi.org/10.1016/j.ejmp.2021.03.014
37. Borisov A.A., Semenov S.S., Arzamasov K.M. Transfer Learning for automated search for defects on chest X-rays. // Medical Visualization. 2023;27(1):158-169. (in Russian) https://doi.org/10.24835/1607-0763-1243
ИНФОРМАЦИЯ ОБ АВТОРАХ / ABOUT THE AUTHORS
Борисов Александр Александрович - младший научный сотрудник отдела медицинской информатики, радиомики и радиогеномики ГБУЗ «НПКЦ ДиТДЗМ», Г-. Москва, Россия; аналитик ИЦТМ ФГАОУ ВО РНИМУ им. Н.И. Пирогова, г. Москва, Россия.
Alexander A. Borisov - Junior Researcher of the Department of Medical Informatics, radiomics and radiogenomics of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, , Moscow, Russia; аnalyst of ICTM Pirogov Medical University, Moscow, Russia.
Васильев Юрий Александрович - к.м.н, директор ГБУЗ «НПКЦ ДиТ ДЗМ», г. Москва, Россия; главный внештатный специалист по лучевой и инструментальной диагностике ДЗМ, г. Москва, Россия.
Yuri A. Vasiliev - Candidate of Medical Sciences, Director of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia; сЬief freelance specialist in radiation and instrumental diagnostics of Moscow Health Care Department, Moscow, Russia.
Владзимирский Антон Вячеславович - д.м.н., заместитель директора по научной работе ГБУЗ «НПКЦ ДиТ ДЗМ», г. Москва, Россия. Anton V. Vladzymyrskyy - PhD, Deputy Director for Scientific Work of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia.
Омелянская Ольга Васильевна - руководитель по управлению подразделениями Дирекции наука ГБУЗ «НПКЦ ДиТ ДЗМ», г. Москва, Россия. Olga V. Omelyanskaya - Head of Department Management of the Directorate of Science of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia.
Арзамасов Кирилл Михайлович - к.м.н., руководитель отдела медицинской информатики, радиомики и радиогеномики ГБУЗ «НПКЦ ДиТ ДЗМ», г. Москва, Россия.
Kirill M. Arzamasov - Candidate of Medical Sciences, Head of the Department of Medical Informatics, radiomics and radiogenomics of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia.
Кирпичев Юрий Сергеевич - младший научный сотрудник сектора разработки систем внедрения медицинских интеллектуальных технологий ГБУЗ «НПКЦ ДиТ ДЗМ», г. Москва, Россия.
Yuri S. kirpichev - Junior Researcher in the sector of development of systems for the introduction of medical intelligent technologies of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia.
#xc
№ 7 Manager
2023 Zdravoochranenia
/Менеджер
здравоохранения
