CC BY
2
ОРИГИНАЛЬНАЯ СТАТЬЯ
DOI: 10.21045/1811-0185-2024-7-50-60 УДК 61
влияние нарушений качества
рентгенографических исследований органов грудной клетки на работу врачей-рентгенологов и диагностического искусственного интеллекта
А.А. Борисов a: , Ю.А. Васильев b, К.М. Арзамасов c
а, ь, с, Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы», г. Москва, Россия; а ФГАОУ ВО "Российский национальный исследовательский медицинский университет имени Н.И. Пирогова" Минздрава России, г. Москва, Россия.
а https://orcid.org/0000-0003-4036-5883; ь https://orcid.org/0000-0002-0208-5218; с https://orcid.org/0000-0001-7786-0349.
И Автор для корреспонденции: Борисов А.А.
АННОТАЦИЯ
При выполнении рентгенографических исследований периодически возникают нарушения качества и ошибки, затрудняющие интерпретацию изображения и его описание как врачом рентгенологом, так и программным обеспечением (ПО) на основе технологии искусственного интеллекта (ТИИ). Для диагностического искусственного интеллекта отдельной проблемой может стать некорректное заполнение метаинформации в заголовках формата DICOM.
Цель исследования: определение нарушений качества РГ ОГК, наиболее сильно препятствующих работе врачей-рентгенологов и диагностическому ПО на основе ТИИ в условиях системы здравоохранения города Москвы.
Материалы и методы. Для исследования влияния качества рентгенологических исследований на работу врача-рентгенолога был проведен онлайн-опрос среди врачей-рентгенологов, сотрудников московского референс-центра лучевой диагностики. Для оценки влияния качества рентгенологических исследований на работу ПО на основе ТИИ был проведен анализ результатов обработки диагностических исследований по модальностям «рентгенография органов грудной клетки и флюорография легких» за 4 квартал 2023 года сервисами искусственного интеллекта в рамках "Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы".
Результаты. В опросе приняли участие 172 человека. Наиболее распространенными нарушениями качества врачами отмечаются неполнота охвата грудной клетки и ассиметричное положение больного, а также нарушения четкости/контрастности изображения. При этом неполнота охвата грудной клетки вызывает наибольшие затруднения при интерпретации исследования у врачей со стажем до 5 лет. У более опытных врачей наибольшие затруднения вызывают нарушения четкости и контрастности изображений. Основными проблемами, препятствующими описанию исследований ИИ-сервисами является незаполнение или некорректное заполнение метаинформации об исследовании, хранящейся в формате DICOM, а также нарушения укладки и позиционирования пациента.
Выводы. Выявленные проблемы указывают на необходимость более внимательного соблюдения методологии проведения диагностических исследований, особенно это касается заполнения метаинформации об исследовании. Разработчикам ПО на основе ТИИ необходимо проводить оценку работоспособности своих решений, основываясь на разработанной методологии тестирования и мониторинга.
Ключевые слова: рентгенограммы органов грудной клетки, контроль качества, искусственный интеллект, опрос врачей. Для цитирования: Борисов А.А, Васильев Ю.А., Арзамасов К.М. Влияние нарушений качества рентгенографических исследований органов грудной клетки на работу врачей-рентгенологов и диагностического искусственного интеллекта. Менеджер здравоохранения. 2024; 7:50-60. DOI: 10.21045/1811-0185-2024-7-50-60
Данная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы повышения качества ИИ-Сервисов для медицинской диагностики» (№ ЕГИСУ: 123031400006-0) в соответствии с Приказом от 21.12.2022 г. № 1196 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям, подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы.
© Борисов А.А, Васильев Ю.А, Арзамасов К.М, 2024 г.
Менеджер / Manager № 7
здравоохранения / Zdrevoochrenenie 2024
Введение
При выполнении рентгенографических исследований периодически возникают нарушения качества и ошибки, затрудняющие интерпретацию изображения и его описание как врачом-рентгенологом, так и программным обеспечением (ПО) на основе технологиии искусственного интеллекта (ТИИ), что усугубляется в условиях повышенной рабочей нагрузки [1] и невозможности прямого взаимодействия врача-рентгенолога с рентгенолаборантом при дистанционном описании исследований [2].
Для рентгенографии органов грудной клетки (РГ ОГК) наиболее характерны такие нарушения как неполная визуализация легочных полей и диафраг-мальных синусов на изображении, ассиметричное положение пациента, артефакты и инородные тела в поле зрения, нарушения контрастности изображений. Структура нарушений и их количество может сильно варьироваться в различных медицинских организациях и системах здравоохранения [3-6].
Для диагностического ПО на основе ТИИ отдельной проблемой может стать некорректное заполнение метаинформации в заголовках формата DICOM, которые сервисы искусственного интеллекта могут использовать для идентификации целевых изображений и других задач при описании исследования. В случае отсутствия или некорректного заполнения данной информации сервисы могут демонстрировать ложные результаты работы или невозможность обработки исследования [7, 8].
Целью данной работы было определение нарушений качества РГ ОГК, наиболее сильно препятствующих работе врачей-рентгенологов и диагностическому ПО на основе ТИИ в условиях системы здравоохранения города Москвы.
Материалы и методы
Для исследования влияния качества рентгенологических исследований на работу врача-рентгенолога был выбран метод опроса, основанный на специально разработанной нами анкете, созданной с помощью сервиса Yаndex.Forms (https://forms. yandex.ru). Опрос был проведен в феврале-марте 2024 г. в формате онлайн среди врачей-рентгенологов, сотрудников московского референс-центра лучевой диагностики. Опрос был анонимным и добровольным. Анкета состояла из 3 вопросов:
1) С какими нарушениями критериев качества при описании РГ ОГК вы сталкиваетесь чаще всего?
2) Какие нарушения критериев качества вызывают у вас наибольшие затруднения при
интерпретации рентгенологических исследований ОГК?
3) Укажите ваш стаж работы врачом-рентгенологом.
Для каждого вопроса предлагались варианты ответа и предоставлялась возможность дать ответ в свободной форме. Для первого и второго вопросов предполагалась возможность множественного ответа.
Для номинальных признаков рассчитаны абсолютные и относительные частоты их значений. 95% доверительных интервалов (ДИ) для относительных частот рассчитаны методом Клоппера-Пирсона, их границы указаны в круглых скобках. Для анализа различий в ответах респондентов в зависимости от их стажа работы использовался критерий хи-квадрат Пирсона. Различия в ответах считались значимыми при значении р-критерия меньше 0,05.
Для оценки влияния качества рентгенологических исследований на работу программного обеспечения ПО на основе технологии искусственного интеллекта ТИИ был проведен анализ результатов обработки диагностических исследований по модальностям «рентгенография органов грудной клетки и флюорография легких (ФЛГ)» за 4 квартал 2023 года сервисами искусственного интеллекта в рамках «Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы».
В случае неуспешной обработки диагностического исследования, согласно базовым функциональным требованиям к результатам работы ИИ-сервисов, сервис возвращает ответ, в котором содержится информация о причинах ошибки. Нами был проведен анализ структуры всех сообщений об ошибке, а также зависимости количества ошибки от организации, в которой проводилось диагностическое исследование, и диагностического оборудования, на котором исследование было выполнено. Для визуализации использовались диаграммы размаха, построенные в программе для статистической обработки данных Statistica 13.
Результаты
Анализ влияния качества РГ ОГК на работу врача-рентгенолога
В опросе приняли участие 172 человека. Из них 24 врачей-рентгенологов со стажем работы менее 1 года, 28 врачей-рентгенологов со стажем
С
#хс
№7 Мападег
2024 2с1гв^/оос1-1гвпеп1а
/Менеджер
здравоохранения
Таблица 1
Опрос врачей-рентгенологов о качестве РГ ОГК
Вопрос n/% (95% ДИ)
С какими нарушениями критериев качества при описании РГ ОГК вы сталкиваетесь чаще всего?
Неполнота охвата грудной клетки (отсутствует визуализация от верхушек легких до реберно-диафрагмальных синусов) 127/73,8% (66,6-80,2%)
Ассиметричное положение больного 98/57,0% (49,2-64,5%)
Нарушение четкости/контрастности изображения 78/45,3% (37,8-53,1%)
Наличие артефактов и/или инородных тел 42/24,4% (18,2-31,7%)
Какие нарушения критериев качества вызывают у вас наибольшие затруднения при интерпретации рентгенологических исследований ОГК?
Неполнота охвата грудной клетки (отсутствует визуализация от верхушек легких до реберно-диафрагмальных синусов) 107/62,2% (54,5-69,5%)
Ассиметричное положение больного 58/33,7% (26,7-41,3%)
Нарушение четкости/контрастности изображения 102/59,3% (51,6-66,7%)
Наличие артефактов и/или инородных тел 30/17,4% (12,1-24,0%)
Другое 9/5,2% (2,4-9,7%)
работы от 1 до 5 лет, 57 врачей-рентгенологов со стажем работы от 5 до 10 лет и 63 врача-рентгенолога со стажем работы более 10 лет. Каждый респондент ответил на все предусмотренные вопросы. Результаты опроса приведены в таблице 1.
Самыми распространенными нарушениями критериев качества по мнению опрошенных являются неполнота охвата грудной клетки (73,8%), ассиме-тричное положение больного (57%) и нарушения четкости/контрастности изображения (45,3%). Артефакты и инородные тела встречаются по мнению опрошенных значимо реже. Данные результаты согласуются с результатами аудитов зарубежных коллег, которые также отмечали превалирующее количество нарушений укладки и позиционирования пациента по сравнению с другими типами нарушений [3, 4, 6]. Помимо вариантов ответа, приведенных в таблице, респонденты могли описать нарушения качества в свободной форме. 4 опрошенных отметили неудобство описания отдельных прицельных рентгенограмм каждого легкого, 3 пожаловались на неправильную или отсутствующую маркировку снимков и 2 высказались о невозможности взаимодействия с рентгенолаборантом.
Подавляющее большинство респондентов (62,2%) отметили, что отсутствие визуализации всех отделов легких вызывает у них наибольшие затруднения при интерпретации рентгенологических исследований. Немного меньшее количество опрошенных (59,3%) высказались, что нарушение четкости и контрастности
изображений мешает им больше всего. Менее критичным нарушением качества для опрошенных стала ассиметрия положения больного (33,7%). Наличие артефактов и инородных тел на изображении вызывает сложности при описании лишь у 17,4% опрошенных. Данные цифры согласуются с результатами анализа исследования, забракованных рентгенологами и не подвергшихся описанию рентгенограмм, проведенного S. Atkinson и соавт. Они отметили, что 70% исследований были забракованы по причине обрезки анатомических структур и нарушения позиционирования пациента [5].
Был проведен анализ различий в ответах респондентов в зависимости от стажа работы врачом-рентгенологом. Результаты анализа приведены в таблице 2.
Результаты опроса показывают, что менее опытные врачи (до 5 лет) считают неполноту охвата грудной клетки главным затруднением при интерпретации исследований. Однако у более опытных врачей наибольшие затруднения вызывают нарушения четкости или контрастности изображения.
Интересным является то, что молодые врачи как реже замечают нарушение четкости или контрастности изображений, так и реже отмечают это нарушение качества, как препятствующее описанию. С увеличением стажа растет внимание к данному нарушению и его значимость для врача-рентгенолога. Вероятно, более опытные рентгенологи эмпирически встречали больше ситуаций, когда нарушение
Менеджер
здравоохранения /
Manager № 7
ZdrevoochreneniB 2024
Таблица 2
Распределение ответов респондентов по стажу работы
Менее От 1 до От 5 до
Вопрос 1 года 5 лет 10 лет
N=24 N=28 N=57
Более Реагэоп
10 лет Chi-Square,
N=63 р-уа!ие
С какими нарушениями критериев качества при описании РГ ОГК вы сталкиваетесь чаще всего?
Неполнота охвата грудной клетки
(отсутствует визуализация от верхушек легких 17 (71%) 24 (96%) 39 (68%) 47 (75%) 0.385
до реберно-диафрагмальных синусов)
Ассиметричное положение больного 18 (75%) 16 (64%) 37 (65%) 27 (43%) 0.021
Нарушение четкости/контрастности изображения 6 (25%) 10 (40%) 27 (47%) 35 (56%) 0.050
Наличие артефактов и/или инородных тел 10 (42%) 5 (20%) 11 (19%) 16 (25%) 0.147
Какие нарушения критериев качества вызывают у вас наибольшие затруднения при интерпретации рентгенологических исследований ОГК?
Неполнота охвата грудной клетки (отсутствует визуализация от верхушек легких до реберно-диафрагмальных синусов) 17 (71%) 23 (92%) 28 (49%) 39 (62%) 0.022
Ассиметричное положение больного 9 (38%) 5 (20%) 21 (37%) 23 (37%) 0.287
Нарушение четкости/контрастности изображения 11 (46%) 11 (44%) 37 (65%) 43 (68%) 0.026
Наличие артефактов и/или инородных тел 5 (21%) 3 (12%) 11 (19%) 11 (17%) 0.751
контрастно-яркостных показателей препятствовало корректному описанию исследования, и склонны быть более внимательными к подобным нарушениям.
Анализ влияния качества РГ ОГК на ИИ-сервисы
Всего в 4 квартале 2023 года было проведено и обработано диагностическими сервисами искусственного интеллекта 317 857 рентгенографических исследований органов грудной клетки и 156 326 флюорографических исследований легких. Из них
обработка 16764 (5,3%) и 3397 (2,2%) соответственно завершилась ошибкой. Все ошибки, возвращенные ИИ-сервисами были разделены на 8 групп и приведены в таблице 3.
Самыми распространенными проблемами, с которыми сталкиваются ИИ-сервисы стали нецелевая проекция грудной клетки, поданная на обработку (48,6%), и неполнота охвата грудной клетки (32,7%), остальные дефекты встречаются существенно реже. При этом большинство ошибок при обработке рентгенограмм связаны с некорректным заполнением
Таблица 3
Детализация возвращаемых ИИ-сервисами ошибок
Тип ошибки Количество ошибок Доля от всех ошибок
Данная проекция лёгких на рентгене не обрабатывается сервисом 9868 48,6%
Рентген грудной клетки сильно обрезан 6630 32,7%
Сервис не успел обработать исследование по причине большой временной нагрузки 917 4,5%
Неправильная модальность исследования 808 3,9%
Отсутствуют необходимые для работы теги 715 3,5%
Внутренняя ошибка сервиса или иная ошибка 704 3,5%
Входное изображение не является рентгеном грудной клетки 521 2,6%
Ошибка взаимодействия с pаcs 130 0,6%
Всего 20293
№7 Мападег
2024 2с1гв^/оос1-1гвпеп1а
/Менеджер
здравоохранения
или отсутствием метаинформации об исследовании в формате DICOM. Так, ошибки типа "Входное изображение не является рентгеном грудной клетки" в основном связаны с ошибками в заполнении DICOM тегов, отвечающих за обозначение исследуемой части тела (например тег (0018,0015) Body Part Examined), что приводит к отправке на обработку сервису, предназначенному для описания исследований органов грудной клетки, изображений других анатомических зон. Ошибка "Неправильная модальность исследования" связана с некорректным заполнением тега (0008,0060) Modality, что приводит к отправке сервису, предназначенному для описания рентгенографии, исследований другой модальности (КТ, МРТ и др.). Самая распространенная ошибка "Данная проекция лёгких на рентгене не обрабатывается сервисом" связана с некорректным заполнением тегов, отвечающих за проекцию исследования, что не позволяет ИИ-сервисам автоматически найти целевое изображение среди всех изображений в серии. Ошибка "Отсутствуют необходимые для работы теги" связана с тем, что требуемые для идентификации изображения теги не были заполнены. Суммарно ошибки, связанные с заполнением метаинформации об исследовании в формате DICOM, составляют 58,6% от всех типов ошибок.
Основной причиной появления ошибок в выставлении метаданных DICOM является использование режимов работы диагностического оборудования, не предназначенных для исследуемой анатомической области. С целью получения лучшего качества изображения при вариабельности в анатомии пациентов, а также из-за высокой рабочей нагрузки рентгенолаборанты могут использовать протокол визуализации для другой анатомической области или проекции исследования. При этом зачастую после сканирования ручная коррекция значений тегов не осуществляется, что приводит к их ложному заполнению [9].
На втором месте по распространенности (32,7%) стоят ошибки, связанные с обрезкой анатомических структур грудной клетки на изображении. На момент исследования ИИ-сервисы возвращают информацию о качестве самого изображения, оценивая только полноту охвата грудной клетки. Другие типы нарушений, такие как ротация грудной клетки, нарушения четкости и контрастности изображения, наложения теней других анатомических структур или инородных тел не определяются ИИ-сервисами либо не фигурируют в детализации результатов работы сервиса. При этом подобные нарушения могут
критично сказываться на работе искусственного интеллекта и снижать его диагностические возможности. Так, например, от ротации грудной клетки особенно сильно страдают алгоритмы сегментации легких и алгоритмы попарного сравнения отделов правого и левого легких, так как она может привести к неодинаковой обрезке отделов двух легких [10]. А наличие инородных тел на изображении может имитировать для искусственного интеллекта различные патологические состояния [11,12].
Менее распространенными являются технические ошибки, такие как ошибки взаимодействия с сервером, расэ-системами, долгое время обработки исследования и другие ошибки, суммарно составляющие не более 9% от общего числа ошибок.
Анализ работы ИИ-сервисов в зависимости от медицинской организации
Для каждой медицинской организации, отправившей в 4 квартале 2023 года на обработку сервисам искусственного интеллекта диагностические исследования, была определена доля исследований, обработка которых завершилась ошибкой. Средний процент таких исследований по отдельной медицинской организации (МО) составил 4,2%, медиана, 1 и 3 квартили - 1,42[0,56;3,84]. При этом, ряд МО характеризовались очень высоким числом ошибок. Топ 10 организаций по проценту исследований, обработка которых завершилась ошибкой, представлена в таблице 4 (названия медицинских организаций анонимизированы). Диаграмма размаха для распределения процента ошибок представлена на рис. 1.
Видно, что сервисы искусственного интеллекта при обработке исследований, выполненных в ряде медицинских организаций сталкиваются с проблемами гораздо чаще, чем в среднем по городу Москве. Вероятно, это связано с организацией рабочего процесса в данных медицинских организациях, используемых настройках медицинского оборудования и профессионализма медицинского персонала. Аналогичная зависимость наблюдается при анализе процента исследований, обработка которых завершилась ошибкой, для отдельных диагностических устройств (таблица 5). Средний процент таких исследований по отдельному диагностическому устройству (ДУ) составил 5,6%, медиана, 1 и 3 квартили - 1,24 [0;4, 23] (рис. 2).
Видно, что все исследования, полученные на определенных диагностических устройствах, не
Таблица 4
Топ 10 медицинских организаций по проценту исследований, обработка которых завершилась ошибкой
Медицинская организация Количество исследований % ошибок
№ 1 445 96,0
№ 2 1139 57,0
№ 3 37 51,4
№ 4 2 50,0
№ 5 3 33,3
№ 6 537 28,9
№ 7 4 25,0
№ 8 4899 24,3
№ 9 10910 22,9
№ 10 704 20,3
Рис. 1.
Диаграмма размаха для медицинских организаций по проценту исследований, обработка которых завершилась ошибкой
Таблица 5
Топ 10 диагностических устройств по проценту исследований, обработка которых завершилась ошибкой
Диагностическое устройство Количество исследований % ошибок
№ 1 1 100,0
№ 2 1 100,0
№ 3 1 100,0
№ 4 3 100,0
№ 5 4 100,0
№ 6 81 98,8
№ 7 367 97,3
№ 8 145 69,7
№ 9 1104 58,4
№ 10 343 53,9
Рис. 2.
Диаграмма размаха для диагностических устройств по проценту исследований, обработка которых завершилась ошибкой
смогли обработаться сервисами ИИ, а также существует ряд ДУ, большой процент исследований с которых сталкивается с похожей проблемой. Как показал анализ, проблема кроется в конкретных диагностических устройствах, так как в пределах устройств, расположенных в одной МО, количество исследований, которые не смогли обработаться ИИ сильно разнится. Нами был проведен пересмотр ряда исследований, выполненных на ДУ с высоким процентом ошибок при обработке ИИ-сервисами. Были выявлены характерные для таких ДУ проблемы. У всех ДУ с процентом необработанных ИИ из-за
ошибок исследований, превышающим 90%, основной проблемой являлось отсутствие заполненных значений тегов, отвечающих за анатомическую область и проекцию изображения. Из-за отсутствия этой метаинформации ИИ-сервис не может определить целевое изображение для обработки и, следовательно, описать данное исследование. Данная проблема связана с рабочими параметрами, настроенными на конкретном диагностическом устройстве.
Другая распространенная проблема представлена на рис. 3. Рентгенографическое исследование ОГК в прямой проекции проводят в виде двух
Рис. 3. Распространенный тип дефекта: рентгенография ОГК в прямой проекции выполнена в виде 2 изображений, на каждом из которых полностью визуализируется только одно легкое
отдельных изображений, на каждом из которых полностью визуализируется только одно легкое. Рентгенолаборанты обычно прибегают к такому способу, когда исследуемая область по анатомическим особенностям пациента не помещается в поле зрения детектора. Однако, учитывая количество подобных исследований на определенных ДУ, можно сделать вывод, что на нем отсутствует детектор подходящих размеров для проведения рентгенографии ОГК. Данная особенность визуализации значимо не препятствует описанию исследования врачом-рентгенологом, так как суммарно на двух изображениях визуализируются все инте -ресующие его анатомические зоны. Но описание таких исследований становится проблемой для ИИ, так как ИИ-сервис обрабатывает каждое изображение отдельно, поэтому каждое из представленных на рис. 3 изображений будет неполноценным для ИИ-сервиса, и он вернет сообщение о том, что рентген грудной клетки сильно обрезан.
Обсуждение
В рамках данной работы мы оценили влияние различных нарушений качества на работу врача-рентгенолога и диагностических сервисов ИИ. Одним из самых значимых нарушений качества как для врача, так и для искусственного интеллекта являются нарушения укладки и позиционирования пациента при проведении рентгенографии. Данный факт подчеркивает важность соблюдения методических рекомендаций по проведению исследований [13]. Также в данном исследовании нами выявлен большой пласт нарушений качества, который обычно остается без внимания при рутинном контроле качества - качество заполнения метаинформации об исследовании. Данный тип нарушений является основной причиной сбоев в работе диагностического искусственного интеллекта. Одним из способов решения данной проблемы нами видится использование автоматических систем контроля качества до подачи исследования на описание ИИ-сервису [14,15]. Также необходимо повышать информированность рентгенолаборантов о важности соблюдения качества метаинформации об исследовании. Со стороны разработчиков ПО на основе ТИИ, необходимо быть готовыми к появлению на потоке исследований низкого качества и проводить оценку работоспособности своих решений, основываясь на разработанной методологии тестирования и мониторинга [16].
В данной работе мы исследовали только те нарушения качества, которые были выявлены сервисами ИИ и помешали обработке исследования. Влияние нарушений качества, которые на данный момент не обнаруживаются искусственным интеллектом, но могут влиять на качество его работы, остались без внимания. В рамках наших дальнейших работ мы планируем исследовать данный вопрос, а также оценить зависимость диагностической точности искусственного интеллекта от диагностического устройства, на котором проводилось исследование.
Заключение
Нами было оценено влияние различных нарушений качества рентгенографических исследований органов грудной клетки на работу врача-рентгенолога и диагностических сервисов искусственного интеллекта. Согласно результатам опроса врачей рентгенологов московского референс-центра лучевой диагностики, наиболее распространенными нарушениями качества РГ ОГК, с которыми они встречаются в практике, являются нарушения укладки и позиционирования пациента, в частности неполнота охвата грудной клетки и ассиметричное положение больного, а также нарушения четкости/ контрастности изображения. При этом неполнота охвата грудной клетки вызывает наибольшие затруднения при интерпретации исследования у врачей со стажем до 5 лет. У более опытных врачей наибольшие затруднения вызывают нарушения четкости и контрастности изображений.
Согласно анализу результатов работы сервисов искусственного интеллекта по модальностям РГ ОГК и ФЛГ за 4 квартал 2023 года было определено, что основной проблемой, которая препятствует описанию исследований ИИ-сервисами является незаполнение или некорректное заполнение мета-информации об исследовании, хранящейся в формате DICOM. Это приводит к невозможности выбора целевого изображения для описания из серии, либо к отправке на обработку сервису нецелевых изображений, которые он не в состоянии обработать. Второй по встречаемости проблемой для ИИ-сервисов является нарушение укладки и позиционирования пациента. Также нами было выяснено, что организация рабочего процесса в конкретной медицинской организации и настройки конкретного диагностического устройства напрямую влияют на возможность описания полученных диагностических изображений искусственным интеллектом.
с
«КС
№ 7 Мападег
2024 2с1гв^/оос1-1гвпеп1а
/Менеджер
здравоохранения
СПИСОК ИСТОЧНИКОВ
1. Kicky G. van Leeuwen, Maarten de Rooij, Steven Schalekamp et al. How does artificial intelligence in radiology improve efficiency and health outcomes? Pediatr Radiol. 2022; 52(11): 2087-2093. DOI: 10.1007/s00247-021-05114-8
2. Morozov S.P, Ledikhova N. V., Panina E.V. et a! PERFORMANCE QUALITY OF X-RAY TECHNICIANS WHEN THEY INTERACT REMOTELY WITH THE REFERENCE CENTER FOR DIAGNOSTIC RADIOLOGY USING TELEMEDICINE TECHNOLOGIES. Natsional'noe Zdravookhranenie. 2021; 2(2): 36-46. DOI: 10.47093/2713-069X.2021.2.2.36-46
3. Gumieri D.D.F., Marques I.S. Evaluation of Chest X-Ray Quality Parameters. Int J Radiol Imaging Technol. 2021; 7:82. DOI: 10.23937/2572-3235.1510082
4. Jin M.X., Gilotra K, Young A., Gould E. Call to Action: Creating Resources for Radiology Technologists to Capture Higher Quality Portable Chest X-rays. Cureus. 2022; 4(9): e29197. DOI: 10.7759/cureus.29197
5. Atkinson S, Neep M, Starkey D. Reject rate analysis in digital radiography: an Australian emergency imaging department case study. J Med Radiat Sci. 2020 Mar;67(1):72-79. DOI: 10.1002/ jmrs.343.
6. S. Ahmad, Muntaser & Rumman, Mysara & Malash, Ruba & Oglat, Ammar & Suardi, Nursakinah. EVALUATION OF POSITIONING ERRORS FOR IN ROUTINE CHEST X-RAY AT BEIT JALA GOVERNMENTAL HOSPITAL. Australian Journal of Chemistry. 2018; 3(5):1-8.
7. Jan Juszczyk, Pawel Badura, Joanna Czajkowska et al. Automated size-specific dose estimates using deep learning image processing. Medical Image Analysis. 2021; 68:101898. DOI: 10.1016/j. media.2020.101898.
8. Vasilev, Y, Vladzymyrskyy A., Omelyanskaya O, Blokhin I., Kirpichev Y, Arzamasov K. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value. Diagnostics. 2023; 13(8): 1430. DOI: 10.3390/diagnostics13081430.
9. Mark Oliver Gueld, Michael Kohnen, Daniel Keysers et al. Quality of DICOM header information for image categorization. Medical Imaging 2002: PACS and Integrated Medical Information Systems: Design and Evaluation., 2002, vol. 4685, p. 280-287. DOI: 10.1117/12.467017.
10. L. Folio. Interpretive approach and reporting the intensive care bedside chest X-ray. J. Am. Osteopath. Coll. Radiol. 2014; 3(2):12-20.
11. Ivo M. Baltruschat, Hannes Nickisch, Michael Grass. Comparison of Deep Learning Approaches for Multi-Label Chest X-Ray Classification. Sci Rep. 2019; 9(1):6381. DOI: 10.1038/s41598-019-42294-8.
12. Xue Z, Candemir S., AntaniS. Foreign object detection in chest X-rays. IEEE international conference on bioinformatics and biomedicine. 2015; pp. 956-961. DOI: 10.1109/BIBM.2015.7359812
13. Морозов С.П., Ветшева Н.Н., Ледихова Н.В. Оценка качества рентгенорадиологических исследований / Серия «Лучшие практики лучевой и инструментальной диагностики». - Вып. 48. - М., 2019. - 47 с.
14. Борисов А.А., Васильев Ю.А., Владзимирский А.В. et al. Применение технологий искусственного интеллекта как способ обеспечения качества выполнения рентгенографии органов грудной клетки. Менеджер здравоохранения. 2023; 7: 91-101. DOI: 10.21045/1811-0185-2023-7-91-101.
15. Свидетельство о государственной регистрации программы для ЭВМ № 2023617333 Российская Федерация. Модуль контроля качества результатов диагностических исследований по РГ ОГК: № 2023615822: заявл. 28.03.2023: опубл. 07.04.2023 / Ю.А. Васильев, А.В. Владзимирский, О.В. Омелянская [и др.]; заявитель Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы».
16. Васильев Ю.А, Владзимирский А.В., Омелянская О.В., Арзамасов К.М., Четвериков С.Ф., Румянцев Д.А., Зеленова М.А. Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики. Digital Diagnostics. 2023; 4(3):252-267. DOI: 10.17816/DD321971
ORIGINAL PAPER
THE IMPACT OF VIOLATIONS OF THE QUALITY OF CHEST X-RAY EXAMINATIONS ON THE WORK OF RADIOLOGISTS AND DIAGNOSTIC ARTIFICIAL INTELLIGENCE
A.A. Borisov0, Yu.A. Vasilievb, K.M. Arzamasovc
a b- c Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia;
a Pirogov Russian National Research Medical University (Pirogov Medical University), Moscow, Russia. a https://orcid.org/0000-0003-4036-5883; b https://orcid.org/0000-0002-0208-5218; c https://orcid.org/0000-0001 -7786-0349.
El Corresponding author: Borisov A.A.
ABSTRACT
When performing radiographic studies, quality violations and errors periodically occur, making it difficult for an image to be interpreted and described by both a radiologist and software based on artificial intelligence technology. Incorrect filling of meta-information in DICOM format headers may be a separate problem for diagnostic artificial intelligence.
Purpose: determination of quality violations of the chest x-ray examinations, which most strongly impede the work of radiologists and diagnostic software based on artificial intelligence in the conditions of the Moscow city health care system.
Material and methods. To study the impact of the quality of x-ray examinations on the work of a radiologist, an online survey was conducted among radiologists, employees of the Moscow reference center for radiation diagnostics. To study the impact of the quality of x-ray examinations on the work of AI-based software, an analysis of the results of processing diagnostic studies according to the modalities chest x-ray and lung fluorography for the 4th quarter of 2023 by artificial intelligence services was carried out as part of an "Experiment on the use of innovative computer vision technologies for medical image analysis and subsequent applicability in the healthcare system of Moscow". Results. The survey involved 172 radiologists. The most common quality violations by doctors are incompleteness of chest coverage and asymmetric position of the patient, as well as violations of image clarity / contrast. At the same time, the incompleteness of the chest coverage causes the greatest difficulties in interpreting the study for doctors with up to 5 years of experience. For more experienced doctors, the greatest difficulties are caused by violations of the clarity and contrast of images. The main problems hindering the description of studies by AI-services are non-filling or incorrect filling of meta-information about the study stored in DICOM format, as well as violations of the patient's laying and positioning.
Conclusion. The problems we have identified indicate the need for more careful adherence to the methodology of conducting diagnostic studies, especially with regard to filling out meta-information about the study. AI-based software developers need to evaluate the performance of their solutions based on the developed testing and monitoring methodology. Keywords: chest X-rays, quality control, artificial intelligence, survey of doctors.
For citation: Borisov A.A, Vasiliev Yu.A., Arzamasov K.M. The impact of violations of the quality of chest X-ray examinations on the work of radiologists and diagnostic artificial intelligence. Manager Zdravookhranenia. 2024; 7:50-60. DOI: I0.2I045/I8II-0I85-2024-7-50-60
This paper was prepared by a group of authors as a part of the research and development effort titled «Development of a platform for improving the quality of AI services for clinical diagnostics» (USIS No.: 123031400006-0) in accordance with the Order No. 1196 dated December 21, 2022 «On approval of state assignments funded by means of allocations from the budget of the city of Moscow to the state budgetary (autonomous) institutions subordinate to the Moscow Health Care Department, for 2023 and the planned period of 2024 and 2025» issued by the Moscow Health Care Department
REFERENCES
1. Kicky G. van Leeuwen, Maarten de Rooij, Steven Schalekamp et al. How does artificial intelligence in radiology improve efficiency and health outcomes? Pediatr Radiol. 2022; 52(11): 2087-2093. DOI: 10.1007/s00247-021 -05114-8
2. Morozov S.P, Ledikhova N.V, Panina E.V. et al. PERFORMANCE QUALITY OF X-RAY TECHNICIANS WHEN THEY INTERACT REMOTELY WITH THE REFERENCE CENTER FOR DIAGNOSTIC RADIOLOGY USING TELEMEDICINE TECHNOLOGIES. Natsional'noe Zdravookhranenie. 2021; 2(2): 36-46. DOI: 10.47093/2713-069X.2021.2.2.36-46. (in Russian)
3. Gumieri D.D.F., Marques I.S. Evaluation of Chest X-Ray Quality Parameters. Int J Radiol Imaging Technol. 2021; 7:82. DOI: 10.23937/2572-3235.1510082
4. Jin M.X., Gilotra K, Young A, Gould E. Call to Action: Creating Resources for Radiology Technologists to Capture Higher Quality Portable Chest X-rays. Cureus. 2022; 4(9): e29197. DOI: 10.7759/cureus.29197
5. Atkinson S, Neep M, Starkey D. Reject rate analysis in digital radiography: an Australian emergency imaging department case study. J Med Radiat Sci. 2020 Mar; 67(1):72-79. DOI: 10.1002/ jmrs.343.
6. S. Ahmad, Muntaser & Rumman, Mysara & Malash, Ruba & Oglat, Ammar & Suardi, Nursakinah. EVALUATION OF POSITIONING ERRORS FOR IN ROUTINE CHEST X-RAY AT BEIT JALA GOVERNMENTAL HOSPITAL. Australian Journal of Chemistry. 2018; 3(5):1-8.
№ 7 Manager
2024 Zdravoochranania
/Менеджер
здравоохранения
ЭХО
зЯо
s
зио
7. Jan Juszczyk, Pawel Badura, Joanna Czajkowska et al. Automated size-specific dose estimates using deep learning image processing. Medical Image Analysis. 2021; 68:101898. DOI: 10.1016/j. media.2020.101898.
8. Vasilev Y, Vladzymyrskyy A., Omelyanskaya O, Blokhin I, Kirpichev Y, Arzamasov K. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value. Diagnostics. 2023; 13(8): 1430. DOI: 10.3390/diagnostics13081430.
9. Mark Oliver Gueld, Michael Kohnen, Daniel Keysers et al. Quality of DICOM header information for image categorization. Medical Imaging 2002: PACS and Integrated Medical Information Systems: Design and Evaluation., 2002, vol. 4685, pp. 280-287. DOI: 10.1117/12.467017.
10. L. Folio. Interpretive approach and reporting the intensive care bedside chest X-ray. J. Am. Osteopath. Coll. Radiol. 2014; 3(2):12-20.
11. Ivo M. Baltruschat, Hannes Nickisch, Michael Grass. Comparison of Deep Learning Approaches for Multi-Label Chest X-Ray Classification. Sci Rep. 2019;9(1):6381. DOI: 10.1038/s41598-019-42294-8.
12. Xue Z, Candemir S, Antani S. Foreign object detection in chest X-rays. IEEE international conference on bioinformatics and biomedicine. 2015; pp. 956-961. DOI: 10.1109/BIBM.2015.7359812
13. Morozov S.P., Vetsheva N.N., Ledikhova N. V. Assessment of the quality of X-ray radiological studies / Series «Best practices of radiation and instrumental diagnostics»- № 48. - M., 2019. - 47 p. (in Russian)
14. Borisov A.A., Vasiliev Yu.A, Vladzymyrskyy A.V. et al. The use of artificial intelligence technologies as a way to ensure the quality of chest radiography. Manager Zdravookhranenia. 2023; 7: 91-101. DOI: 10.21045/1811-0185-2023-7-91-101. (in Russian)
15. Certificate of state registration of the computer program No. 2023617333 Russian Federation. Module for quality control of diagnostic research results according to the chest x-ray: № 2023615822: application. 03/28/2023: publ. 04/07/2023 / Yu.A. Vasiliev, A.V. Vladzimirsky, O.V. Omelyanskaya [et al.]; applicant State Budgetary Healthcare Institution of the city of Moscow «Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Department of Health of the City of Moscow». (in Russian)
16. Vasiliev Y.A., Vlazimirsky A.V, Omelyanskaya O.V,, Arzamasov K.M., Chetverikov S.F., Rumyant-sev D.A., Zelenova M.A. Methodology for testing and monitoring artificial intelligence-based software for medical diagnostics. Digital Diagnostics. 2023; 4(3):252-267. DOI: 10.17816/DD321971
ИНФОРМАЦИЯ ОБ АВТОРАХ / ABOUT THE AUTHORS
Борисов Александр Александрович - младший научный сотрудник отдела медицинской информатики, радиомики и радиогеноми-ки ГБУЗ «НПКЦ ДиТ ДЗМ», г. Москва, Россия; аналитик ИЦТМ ФГАОУ ВО РНИМУ им. Н.И. Пирогова, г. Москва, Россия. Alexander A. Borisov - Junior Researcher of the Department of Medical Informatics, radiomics and radiogenomics of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia; analyst of ICTM Pirogov Medical University, Moscow, Russia. E-mail: [email protected]
Васильев Юрий Александрович - канд. мед. наук, директор ГБУЗ «НПКЦ ДиТ ДЗМ», г. Москва, Россия, главный внештатный специалист по лучевой и инструментальной диагностике ДЗМ, г. Москва, Россия.
Yuri A. Vasiliev - Candidate of Medical Sciences, Director of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia; chief freelance specialist in radiation and instrumental diagnostics of Moscow Health Care Department, Moscow, Russia.
Арзамасов Кирилл Михайлович - канд. мед. наук, руководитель отдела медицинской информатики, радиомики и радиогеномики ГБУЗ «НПКЦ ДиТ ДЗМ», г. Москва, Россия.
Kirill M. Arzamasov - Candidate of Medical Sciences, Head of the Department of Medical Informatics, radiomics and radiogenomics of the Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia.
