CC BY
97
n Si- <
' и информационные
технологии
С.П. МОРОЗОВ,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: morozov@npcmr.ru (ORCID: 0000-0001-6545-6170) А.В. ВЛАДЗИМИРСКИЙ,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: a.vladzimirsky@npcmr.ru (ORCID: 0000-0001-6545-6170) Н.В. ЛЕДИХОВА,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: n.ledikhova@npcmr.ru
A.Е. АНДРЕЙЧЕНКО,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: a.andreychenko@npcmr.ru (ORCID: 0000-0001-6359-0763) К.М. АРЗАМАСОВ,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: k.arzamasov@npcmr.ru (ORCID: 0000-0001-7786-0349) Э.А. БАЛАНЮК,
ГБУЗ г. Москвы «Городская клиническая больница № 40 Департамента здравоохранения города Москвы», e-mail: gkb40@zdrav.mos.ru
B.А. ГОМБОЛЕВСКИЙ,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: gombolevskiy@npcmr.ru (ORCID: 0000-0003-1816-1315)
C.О. ЕРМОЛАЕВ,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: s.ermolaev@npcmr.ru В.С. ЖИВОДЕНКО,
ГБУЗ г. Москвы «Городская поликлиника № 218 Департамента здравоохранения города Москвы», e-mail: gp218@zdrav.mos.ru И.М. ИДРИСОВ,
ГБУЗ г. Москвы «Городская поликлиника № 12 Департамента здравоохранения города Москвы», e-mail: gp12@zdrav.mos.ru Ю.С. КИРПИЧЕВ,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: y.kirpichev@npcmr.ru (ORCID: 0000-0002-9583-5187) Т.А. ЛОГУНОВА,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: t.logunova@npcmr.ru В.А. НУЖДИНА,
ГБУЗ г. Москвы «Городская поликлиника № 115 Департамента здравоохранения города Москвы», e-mail: gp115@zdrav.mos.ru О.В. ОМЕЛЯНСКАЯ,
ГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы», e-mail: o.omelyanskaya@npcmr.ru В.Г. РАКОВЧЕН,
ГБУЗ г. Москвы «Городская поликлиника № 8 Департамента здравоохранения города Москвы», e-mail: gp8@zdrav.mos.ru А.В. СЛЕПУШКИНА,
ГБУЗ г. Москвы «Городская поликлиника № 3 Департамента здравоохранения города Москвы», e-mail: gp1@zdrav.mos.ru
МОСКОВСКИЙ ЭКСПЕРИМЕНТ ПО ПРИМЕНЕНИЮ КОМПЬЮТЕРНОГО ЗРЕНИЯ В ЛУЧЕВОЙ ДИАГНОСТИКЕ: ВОВЛЕЧЕННОСТЬ ВРАЧЕЙ-РЕНТГЕНОЛОГОВ
УДК: 61:621.397.13/.398 DOI: 10.37690/1811-0193-2020-4-14-23
Морозов С.П.1, Владзимирский А.В.', Ледихова Н.В.', Андрейченко А.Е.1, Арзамасов К.М.1, Баланюк Э.А.2, Гомболевский В.А.', Ермолаев С.О.', Живоденко В.С.3, Идрисов И.М.4, Кирпичев Ю.С.', Логунова Т.А.', Нуждина В.А.5, Омелянская О.В.', Раков-чен В.Г.6, Слепушкина А.В.7 Московский эксперимент по применению компьютерного зрения в лучевой диагностике:
© С.П. Морозов, А.В. Владзимирский, Н.В. Ледихова, А.Е. Андрейченко, К.М. Арзамасов, Э.А. Баланюк, В.А. Гомболевский, С.О. Ермолаев, В.С. Живоденко, И.М. Идрисов, Ю.С. Кирпичев, Т.А. Логунова, В.А. Нуждина, О.В. Омелянская, В.Г. Раковчен, А.В. Слепушкина, 2020 г.
2020, № 4 ^
вовлеченность врачей-рентгенологов ЦГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы»; 2ГБУЗ г. Москвы «Городская клиническая больница № 40 Департамента здравоохранения города Москвы»; 3ГБУЗ г. Москвы «Городская поликлиника № 218 Департамента здравоохранения города Москвы»; 4ГБУЗ г. Москвы «Городская поликлиника № 12 Департамента здравоохранения города Москвы»; 5ГБУЗ г. Москвы «Городская поликлиника № 115 Департамента здравоохранения города Москвы»; 6ГБУЗ г. Москвы «Городская поликлиника № 8 Департамента здравоохранения города Москвы»; 7ГБУЗ г. Москвы «Городская поликлиника № 3 Департамента здравоохранения города Москвы», г. Москва, Россия)
Аннотация. Актуальность. В 2019 г. Правительство Москвы приняло решение о проведении масштабного научного исследования - Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения столицы (www.mosmed.ai).
Цель исследования - систематизировать первые результаты Эксперимента с позиции вовлеченности врачей-рентгенологов. Материал и методы. Эксперимент представляет собой проспективное научное исследование, получившее одобрение Независимого этического комитета и зарегистрированное в Clinicaltrails.gov (ID NCT04489992). Пациенты подписывали информированное добровольное согласие. На момент подготовки статьи (01.10.2020) в Эксперименте принимают участие 10 сервисов, обеспечивающих автоматизированный анализ результатов лучевых исследований: компьютерная томография и рентгенография органов грудной клетки, маммография. В исследование включены количественные показатели Эксперимента с 18.06.2020 по 01.10.2020. Использованы методы социального опроса, описательной статистики, оценки метрик диагностической точности. Результаты и обсуждение. В течение первых четырех месяцев активной фазы Эксперимента, по состоянию на 01.10.2020, в ЕРИС ЕМИАС интегрированы 10 сервисов компьютерного зрения, которые успешно проанализировали 497155 результатов лучевых исследований. На анализ направляются исследования, выполненные на 884 диагностических устройствах в 293 медицинских организациях; из этих учреждений активно участвуют в Эксперименте 272. Вовлеченность медицинских организаций составляет 82%. Медианное время автоматического анализа 1 исследования составило 8 минут; в целом быстрее 15 минут было проанализировано 63% исследований. В начале Эксперимента результаты работы сервисов были доступны на рабочих местах в ЕРИС ЕМИАС 538 врачей-рентгенологов. В течение 4 месяцев Эксперимента количество подключенных врачей неуклонно возрастало и составило 899 к 01.10.2020. Вовлеченность врачей составила 24%, что несколько превышает общемировые показатели. По результатам социологического опроса отношение к технологиям ИИ московских врачей-рентгенологов можно охарактеризовать как выжидательное, умеренно-оптимистичное. Врачи-рентгенологи определили полное соответствие результатов работы сервисов компьютерного зрения реальной рентгенологической картине в 64% случаев. В 36% зафиксированы несоответствия; из этого числа значимые расхождения имели место в 6%, незначимые - в 23%.
Выводы. Результаты первых четырех месяцев активной фазы Московского Эксперимента по применению компьютерного зрения в лучевой диагностике можно считать успешными. Фиксируется достаточно высокий уровень вовлеченности врачей-рентгенологов. На дальнейших этапах Эксперимента будут реализованы мероприятия по повышению вовлеченности врачей-рентгенологов, а также комплексная сравнительная оценка работы сервисов.
Ключевые слова: искусственный интеллект, компьютерное зрение, лучевая диагностика, компьютерная томография, маммография, рентгенография, грудная клетка, злокачественные новообразования.
UDC: 6J:62J.397.J3/.398
Morozov S.P.1, Vladzymyrskyy A. V.1, Ledikhova N. V.1, Andrejchenko A.E.1, Arzamasov K.M.1, Balanjuk E.A.2, Gombolevskij V.A.1, Er-molaevS.O.1, Zhivodenko V.S.3, Idrisov I.M.4, Kirpichev Ju.S.1, Logunova T.A.1, Nuzhdina V.A.5, Omeljanskaja O.V.1, Rakovchen V.G.6, Slepushkina A. V.7 Moscow experiment on computer vision in radiology: involvement and participation of radiologists
fResearch and Practical Clinical Center of Diagnostics and Telemedicine Technologies, Department of Health Care of Moscow; 2Municipal Clinical Hospital № 40, Department of Health Care of Moscow; 3Municipal Polyclinic № 218, Department of Health Care of Moscow; 4Municipal Polyclinic № 12, Department of Health Care of Moscow; 5Municipal Polyclinic № 115, Department of Health Care of Moscow;6Municipal Polyclinic № 8, Department of Health Care of Moscow; 7Municipal Polyclinic № 3, Department of Health Care of Moscow, Moscow, Russia)
Abstract. Background. In 2019, the Moscow Government decided to conduct a large-scale scientific research - an the Experiment on the use of innovative computer vision technologies for medical image analysis and subsequent applicability in the healthcare system of Moscow (www.mosmed.ai).
Objective - analyze engagement, attitudes and feedback from doctors-radiologists in frame of the Experiment. Materials and methods. The Experiment is a prospective research approved by the Independent Ethics Committee and registered with Clinicaltrails.gov (ID NCT04489992). Patients signed informed voluntary consent. On the date 01.10.2020, ten services are involved in the Experiment, they providing automated analysis of chest computed tomography and x-ray, mammography. The study includes quantitative indicators of the Experiment from 06/18/2020 to 10/01/2020. Methods of social survey, descriptive statistics, assessment of diagnostic accuracy metrics were used.
Results and discussion. During the first four months of the active phase of the Experiment, ten computer vision services were integrate into Unified Radiology Service of Moscow. More then 497 thousand studies have been successfully analyzed. Analyzes is carried out for 884 diagnostic devices in 293 medical organizations, 272 of them are actively involved. The involvement of medical organizations is 82%. The median time for automatic analysis of 1 study is 8 minutes. Overall, 63% of studies were analyzed in less than 15 minutes. At the beginning of the Experiment, 538 doctors had access to the system; in four months this number increased to 899. The involvement of doctors was 24%, which is slightly higher than the global indicators. According to the results of a sociological survey, the attitude to AI technologies of Moscow radiologists can be characterize as expectant, moderately optimistic. Radiologists have determined that the results of computer vision services are fully consistent with the real situation in 64% of cases. In 36% cases some inconsistencies were recorded; of this number, significant discrepancies took place in 6%, insignificant - i n 23%. Conclusion. Results of the Experiment's first four months can be consider as successful. A high level of involvement of radiologists is define. Special measures will be implement to increase the involvement of radiologists, as well as a comprehensive comparative assessment of the work of services at the further stages of the Experiment.
Keywords: artificial intelligence, computer vision, radiology, computed tomography, mammography, radiography, chest, malignant tumor.
>
15 i
Зрач ::==
и информационные
технологии
Лучевая диагностика - высокотехнологичная сфера современного здравоохранения. Это обусловлено планомерным
> вытеснением аналоговой аппаратуры цифровой, развитием функциональности автоматизированных рабочих мест, созданием централизованных архивов медицинских изображений, широкой интеграцией медицинских и радиологических информационных систем, использованием телемедицинских технологий. Информатизация и цифрови-зация лучевой диагностики позволяют постоянно наращивать объемы проводимых исследований, более рационально и эффективно использовать ресурсы системы здравоохранения. Вместе с тем, остаются актуальными проблемы контроля качества, анализа и описаний результатов массовых профилактических осмотров, доступности лучевых методов диагностики [1, 2, 8, 13]. Дальнейшее развитие цифровизации лучевой диагностики связывают с технологиями искусственного интеллекта (ИИ), которые потенциально могут существенным образом повлиять на качество и безопасность исследований, а также - на производительность труда [8, 18, 23, 24, 26, 27, 30].
В Российской Федерации принята Стратегия развития искусственного интеллекта, в которой содержатся положения и о сфере здравоохранения. Применение автоматизированных систем поддержки принятия врачебных решений рекомендуется Правилами проведения рентгенологических исследований [11, 14]. Ожидания профессиональной аудитории связаны с появлением решений для анализа диагностических изображений молочной железы [12], поиска признаков онкологических заболеваний на изображениях органов грудной клетки, молекулярной визуализации, анализа нейровизуализации. С позиции клинических сценариев ожидается наибольший вклад ИИ в совершенствование скринингов, стадирования новообразований, количественного измерения биомаркеров, пост-процессинга, генерации шаблонов описаний, поддержку в принятии решений при наличии симптомов [17].
Потенциально наибольший вклад ИИ может внести в экономию ресурсов, в том числе - рабочего времени и внимания врача-рентгенолога. Соответственно, первой по важности задачей, с точки зрения оптимального использования ресурсов, становятся профилактические исследования (внимание врача истощается в условиях просмотра большого количества исследований без патологических
изменений); второй - экстренные исследования (быстрый поиск находок, представляющих непосредственную угрозу для жизни пациента); третьей - исследования при инфекционных заболеваниях (такие состояния представляют не только персональную, но и социально-значимую угрозу).
Невзирая на колоссальный интерес, взрывной рост разработок и публикаций, реальные возможности ИИ в практическом здравоохранении по-прежнему остаются открытым вопросом. Подавляющее число соответствующих научных исследований носит технологический или математический характер и не соответствует требованиям доказательной медицины. Результаты клинических испытаний ИИ публикуются крайне редко и, в основном, представляют собой ограниченные исследования [20, 21].
Применимость и востребованность ИИ в реальной практике, влияние на труд врача и медицинской организации, качество автоматизированного анализа в условиях потока исследований, стандартизация и интегрируемость в действующие медицинские информационные системы - все это актуальные научные вопросы, от решения которых мировое научное сообщество еще достаточно далеко.
В 2019 г. Правительство Москвы приняло решение о проведении масштабного научного исследования - Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения столицы (www.mosmed.ai) [10].
Возможность проведения Эксперимента обусловлена:
1. Технологической готовностью - наличием Единого радиологического информационного сервиса в составе Единой медицинской информационно-аналитической системы города Москвы (ЕРИС ЕМИАС), который представляет собой общий цифровой контур лучевой диагностики столицы [9].
2. Методологической готовностью - наличием валидированной методики клинических испытаний технологий ИИ для лучевой диагностики, накопленным опытом научных исследований, разработанной классификацией и методологическими подходами к подготовке эталонных наборов данных [3, 4, 5, 6, 7, 22].
Координационные, научные, методологические и образовательные задачи Эксперимента выполняются коллективом ГБУЗ г. Москвы
«Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы». В рамках Эксперимента осуществляется отбор по установленным критериям, и интеграция сервисов на основе ИИ и компьютерного зрения в ЕРИС ЕМИАС. Под «сервисом» подразумевается информационная система (программное обеспечение) на основе технологий искусственного интеллекта для автоматизированного анализа результатов лучевых исследований. Предусмотрены процедуры последовательной интеграции сервисов в тестовый и промышленный контур ЕРИС ЕМИАС, калибровочного тестирования и технологического мониторинга.
Технологические задачи в Эксперименте решаются при активном участии и поддержке Департамента информационных технологий города Москвы.
Цель исследования - систематизировать первые результаты Эксперимента с позиции вовлеченности врачей-рентгенологов.
МАТЕРИАЛ И МЕТОДЫ
Эксперимент представляет собой проспективное научное исследование, получившее одобрение Независимого этического комитета и зарегистрированное в Qinicaltrail.gov (Ю NCT04489992). Пациенты подписывали информированное добровольное согласие.
На момент подготовки статьи (01.10.2020) в Эксперименте принимают участие 10 сервисов, обеспечивающих автоматизированный анализ результатов лучевых исследований (таблица 1).
2020, № 4
Общий сценарий работы в Эксперименте выглядит следующим образом. Лучевые исследования выполняются в городских поликлиниках и городских клинических больницах Департамента здравоохранения города Москвы; результаты поступают в ЕРИС ЕМИАС и автоматически маршрутизируются на сервисы. В случае если исследование подходит для анализа ИИ-сервисом, результаты автоматизированного анализа направляются в ЕРИС ЕМИАС и становятся доступными на рабочих местах врачей-рентгенологов в виде дополнительной серии, содержащей маркировку находок на нативных изображениях исследования, текстовую информацию, при этом исследования с выявленными патологиями автоматически приоритезируются в рабочих списках врачей.
Таким образом, в ходе работы в ЕРИС ЕМИАС ИИ-сервисам предлагалось решать последовательно несколько задач для врача-рентгенолога:
- предоставлять информацию о повышении приоритета исследования в рабочем списке в случае выявления патологической находки на изображениях исследования;
- локализовать патологические находки на изображениях исследования в виде маркировок на дополнительной серии изображений, эквивалентных оригинальным изображениям исследования;
- классифицировать выявленные находки с указанием вероятности патологии;
- автоматически формировать отчет о результате работы ИИ-сервиса с предлагаемым шаблоном описания исследования.
Отметим, что сервисы предлагают именно вероятность наличий той или иной патологии, а не
Таблица 1
Виды исследований и сервисы, участвующие в Московском Эксперименте
по состоянию на 01.10.2020
Вид исследований Сервисы
Компьютерная томография органов грудной клетки Во1кт. А1/ООО «Интеллоджик» (выявление злокачественных новообразований)
Компьютерная томография и низкодозовая компьютерная томография органов грудной клетки (выявление признаков COVID-19) «MultiVox C0VID19»/000 «Гаммамед-Софт»; Radlogics/ ООО «МИП «Биномикс-Рэй»; COVID-IRA/ ООО «Интеллид-жент Радиолоджи Ассистанс Лабораторис» («АЙРА ЛАБС»); Philips Research Lung Cancer Screening AI/ ООО «Филипс Инновационные Лаборатории РУС»
Рентгенография / флюорография органов грудной клетки Сагетеп1огА1/ООО «Кэременторэйай»; FBM/ООО «Фтизис-(выявление патологий легких) БиоМед»; ООО «Платформа Третье Мнение»; Цельс/ООО «Медицинские скрининг системы»
Маммография (выявление злокачественных новообразований) Цельс/ООО «Медицинские скрининг системы»
>
Врач На
' 1/1 ИыЖпПМЯ! 1МПЫЫк1П
>
и информационные
технологии
однозначный ответ. Соответственно, финальное решение при интерпретации и описании результатов лучевого исследования всегда принимает врач-рентгенолог.
На рабочем месте врача-рентгенолога в ЕРИС ЕМИАС предусмотрена форма обратной связи в виде анкеты (таблица 2).
Использование результатов работы сервисов возможно только в научных целях, и предоставление обратной связи в рамках Эксперимента является исключительно добровольным. В данный момент всю ответственность за принимаемые решения и вносимые в медицинскую документацию данные несет врач.
Для повышения вовлеченности врачам-рентгенологам были предоставлены специально разработанные учебно-методические материалы (в том числе, в виде видеоуроков), проведены образовательные мероприятия в формате вебинаров, организована оперативная поддержка (чаты в Интер-нет-мессенджерах).
В исследование включены количественные показатели Эксперимента с 18.06.2020 по 01.10.2020, в том числе: количество и вовлеченность медицинских организаций и врачей-рентгенологов, количество и виды исследований, результаты обратной связи врачей-рентгенологов как критерий качества сервисов. По результатам обучения проведено анкетирование.
Мониторинг и визуализация данных проводилась с использованием специально разработанного дашборда (dash.mosmed.ai), подключенного к ЕРИС ЕМИАС.
Использованы методы социального опроса, описательной статистики, оценки метрик диагностической точности.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
В рамках Московского Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений за 4 месяца в ЕРИС ЕМИАС успешно интегрировались и прошли процедуру калибровочного тестирования 10 сервисов.
Результаты работы сервисов отображаются на автоматизированных рабочих местах врачей-рентгенологов в виде дополнительных серий.
По состоянию на 01.10.2020 на обработку сервисами направляются результаты исследований, выполненных на 884 диагностических устройствах, подключенных к ЕРИС ЕМИАС. Тем самым обеспечено участие в Эксперименте 293 медицинских организаций Департамента здравоохранения города Москвы, из них активно принимают участие 272. Вовлеченность медицинских организаций составляет 82%.
За весь период на обработку сервисами направлено 575109 исследований, из них успешно проанализированы 86% (497155).
С учетом вида исследований проанализировано: компьютерных томографий органов грудной клетки для выявления злокачественных новообразований (КТ ОГК ЗНО), в том числе низкодозовых - 40599, компьютерных томографий органов грудной клетки для выявления признаков COVID-19 (КТ ОГК СОШ-19) - 147846, маммографий (ММГ) - 34428, рентгенографий органов грудной клетки (РГ ОГК) -99335, флюорографий (ФГ ОГК) - 174947 (рис. 1, 2).
Медианное время обработки составило 8 минут; в целом быстрее 15 минут было проанализировано 63% исследований.
В начале Эксперимента результаты работы сервисов в виде приоритизации в рабочем списке
Таблица 2
Форма обратной связи от врачей-рентгенологов в Московском Эксперименте
№ Категория Варианты
1 Полное соответствие Согласен
Не согласен
Если не согласен, то 2 или 3
2 Значимое расхождение Дефект
Грубая ошибка
3 Незначимое расхождение Неверный диагноз
Неверная локализация
Неверная классификация
Прочее
Рис. 1. Удельный вес исследований различных видов, проанализированных сервисами компьютерного зрения
Рис. 2. Динамика обработки исследований различных видов сервисами компьютерного зрения
и дополнительной серии изображений были доступны на рабочих местах в ЕРИС ЕМИАС 538 врачей-рентгенологов.
Примерное возрастное распределение составило 20-30 лет - 17,0%; 30-40 лет - 30,0%; 40-50 лет - 26,0%; старше 50 лет - 26,0%. Со стажем менее 5 лет или 10-20 лет было 25,0% врачей; стаж 5-10 лет имели 23,0% специалистов; более 20-27,0%. Таким образом, в целом распределение по возрасту и стажу работу носило равномерный характер.
Обязательным этапом Эксперимента было обучение и информирование врачей-рентгенологов по общим вопросам применения технологий
искусственного интеллекта и по использованию конкретных сервисов. Для обучения использованы различные педагогические и информационные технологии. Проведен основной этап обучения (лекции, семинары, вебинары), далее организовано постоянное информирование через специальные каналы в социальных сетях и Интернет-мес-сенджерах.
По завершению основного этапа проведено анкетирование. Отправлено 545 анкет, получено 333 ответов (61,1%).
Полноту и доступность учебно-методических материалов хорошо оценили 76,0% опрошенных, удовлетворительно - 20,0%, плохо - 4,0%.
Зрач Ваз
и информационные
технологии
Примерно аналогичной была оценка практической значимости обучения: 70,0%, 24,0% и 6,0% соответственно.
> Интересны ответы врачей, касающиеся ожиданий от применения технологий искусственного интеллекта.
На все ключевые вопросы мнения почти всегда разделялись на примерно равные доли.
На вопрос «Поможет ли ИИ сократить количество пропущенных клинически значимых патологий?» 46,0% московских врачей ответили положительно, 36,0% - нейтрально, 18,0% - отрицательно. «Позволит ли ИИ больше сосредоточиться на проблемных областях изображений?»: 43,0%, 38,0%, 19,0% соответственно.
«Решит ли ИИ проблему увеличивающейся рабочей нагрузки?»: 35,0% положительных ответов, 38,0% нейтральных, 26,0% отрицательных. На вопрос «Ожидаете ли Вы, что ИИ сервис сократит время на написание заключений?» утвердительно («сократит») ответили 33,0% респондентов, «ничего не изменится» - 35,0%, «увеличит» - 32,0%. Примечательно, что по данным масштабного международного опроса врачей лучевой диагностики наблюдается немного иная картина: 50,8% опрошенных ожидают снижение длительности, а 49,2% - наоборот увеличение длительности описаний [17]. То есть ожидания московских врачей более нейтральны, выжидательны. В то время, как ожидания почти половины международной аудитории менее оптимистичны.
Интересны опасения, которые возникают у профессиональной аудитории в связи с внедрением технологий ИИ. Применение искусственного интеллекта
может увеличить количество ложно-положительных находок - так считают 32,0% врачей; увеличится время работы врача - 23,0%, есть риск пропуска значимой патологии - 19,0%, будут трудности по использованию ИИ в рутинной работе - 13,0%. Все же 13,0% врачей считают, что профессия рентгенолога находится под угрозой в будущем.
Полученные ответы можно интерпретировать как недостаточную информированность врачей о реальных возможностях и ограничениях ИИ, а также недостаток собственного практического опыта. Впрочем, это полностью объяснимо - технологии искусственного интеллекта в медицине находятся в самом начале пути своего развития. На международном уровне наблюдается такая же картина: 68,6% врачей хотели бы пройти дополнительное углубленное обучение по вопросам возможностей и ограничений ИИ, а 58,1% - по практическим аспектам его применения. Примечательно, что 11,1% опрошенных хотели бы узнать «как выжить во время ИИ-революции», лишь 0,9% международной аудитории хотели бы полностью избежать применения ИИ [17].
В целом, отношение к технологиям ИИ московских врачей-рентгенологов можно охарактеризовать как выжидательное, умеренно-оптимистичное. Явно требуется доказательный подход к внедрению технологий искусственного интеллекта, систематизация накапливаемого практического опыта с активными научными публикациями.
В течение 4 месяцев Эксперимента количество подключенных врачей неуклонно возрастало и составило 899 к 01.10.2020. При оценке в динамике (рис. 3) отмечается положительная тенденция:
Рис. 3. Динамика добровольного участия врачей-рентгенологов в Московском Эксперименте по компьютерному зрению (предоставление обратной связи)
рост числа врачей-рентгенологов, использующих, в той или иной мере, при интерпретации и описании результатов исследований результаты работы сервисов компьютерного зрения.
Приведенные цифры демонстрируют количественный рост используемости технологий компьютерного зрения врачами-рентгенологами в Московском Эксперименте.
За весь период наблюдения обратную связь по качеству работы сервисов предоставляли 254 врача, что составило 23%. Однако, здесь наблюдается отрицательная динамика: в первый месяц обратную связь предоставляли 29% специалистов, а к четвертому этот показатель снизился до 7,5%. Вместе с тем, сформировалось «ядро» из специалистов с высокой вовлеченностью, постоянно сотрудничающих по вопросам обратной связи в Эксперименте. Наблюдается вполне классическая пропорция: 21,4% врачей обеспечивают 80,9% ответов по обратной связи.
Подобная динамика в целом характерна для этапа внедрения новых информационных технологий, особенно с учетом добровольности предоставления обратной связи [16]. Безусловно, требуется отдельное углубленное изучение применения технологий искусственного интеллекта врачами-рентгенологами.
В целом, вовлеченность в 24% не только соответствует опубликованным ранее данным, но и немного превышает их. Так, по итогам международного опроса 675 членов Европейского общества радиологов из 39 стран установлено, что
технологиями искусственного интеллекта в своей практической работе пользуется 20% врачей [17]. Региональные опросы демонстрируют меньшие значения. Например, в Саудовской Аравии определен уровень используемости ИИ врачами лучевой диагностики в 18% [25].
Результаты оценки качества работы сервисов компьютерного зрения врачами-рентгенологами представлены в таблице 3.
Врачи-рентгенологи определили полное соответствие результатов работы сервисов компьютерного зрения реальной рентгенологической картине в 64% случаев. В 36% зафиксированы несоответствия; из этого числа значимые расхождения имели место в 6%, незначимые - в 23%.
В соответствии с ответами специалистов результаты работы сервисов компьютерного зрения можно охарактеризовать так: истинно-положительные - 2388, истинно-отрицательные - 2838, ложно-положительные - 2113, ложно-отрицательные - 810.
В целом, чувствительность составила 74,67% (95% ДИ 73,13-76,17), специфичность - 57,32% (95% ДИ 55,93-58,70), общая точность - 64,13% (95% ДИ 63,08-65,17).
В исследованиях, посвященных мультицентро-вой проспективной валидации технологий искусственного интеллекта, приводятся достигаемые уровни диагностической ценности [15, 19, 28, 29]:
- для выявления СОУЮ-19 по КТ ОГК: общая точность - 70-87,5%, чувствительность - 73,096,9%, специфичность - 55,0-88,0%;
Таблица 3
Результаты обратной связи от врачей-рентгенологов в Московском Эксперименте по компьютерному зрению
Категория Удельный вес исследований,%
Полное соответствие (согласен) 64
Не согласен 36
Значимое расхождение 6
Дефект 2
Грубая ошибка 4
Незначимое расхождение 23
Неверный диагноз 14
Неверная локализация 4
Неверная классификация 6
Прочее 3
Примечание: данные удельного веса не суммируются, так как врач-рентгенолог одновременно может указать несколько вариантов в форме обратной связи (например, «неверный диагноз» и «неверная локализация»)
>
Зрач ::==
и информационные
технологии
- для выявления ЗНО молочной железы при ММГ: чувствительность - 89,95-100,0%, специфичность - 69,04-92,41%;
>- для выявления ЗНО по КТ ОГК: чувствительность - 98,62-100,0%, специфичность - 25,5130,62%.
Результаты оценки точности сервисов компьютерного зрения, полученные по итогам обратной связи от врачей, в целом соответствуют опубликованным метрикам. Однако, явным ограничением здесь является суммарная оценка всех сервисов Эксперимента, в то время, как в литературе приводятся данные для отдельных видов исследований.
Вместе с тем, надо отметить малое количество проспективных мультицентровых испытаний качества и точности технологий искусственного интеллекта для лучевой диагностики. Исследований, сопоставимых по масштабу вовлеченных врачей, медицинских организаций, сервисов, по виду и числу проанализированных обследований, с Московским Экспериментом в глобальной перспективе нет.
Таким образом, результаты первых четырех месяцев активной фазы Московского Эксперимента по применению компьютерного зрения в лучевой диагностике можно считать успешными. В ЕРИС ЕМИАС интегрированы 10 сервисов, осуществляющих анализ результатов КТ, рентгенографии, флюорографии органов грудной клетки и маммографии с применением технологий искусственного интеллекта.
Отмечается рост используемости результатов работы сервисов врачами-рентгенологами, уровень вовлеченности стабилизировался. С позиции практикующего врача диагностическая точность сервисов компьютерного зрения является средней.
Перспективы дальнейших исследований состоят в изучении диагностической точности сервисов отдельно, по видам исследований по результатам
независимой оценки врачами-экспертами (это позволит провести сравнение с оценками практикующих врачей). Требуется разработка и реализация мероприятий по повышению вовлеченности врачей.
ВЫВОДЫ
В течение первых четырех месяцев активной фазы Эксперимента, по состоянию на 01.10.2020, в ЕРИС ЕМИАС интегрированы 10 сервисов компьютерного зрения, которые успешно проанализировали 497155 результатов лучевых исследований.
Медианное время обработки составило 8 минут; в целом быстрее 15 минут было проанализировано 63% исследований.
На обработку сервисами направляются результаты исследований, выполненных на 884 диагностических устройствах в 293 медицинских организациях Департамента здравоохранения города Москвы; из них активно участвуют в Эксперименте 272. Вовлеченность медицинских организаций составляет 82%.
Вовлеченность врачей составила 24%, что несколько превышает общемировые показатели. По результатам социологического опроса отношение к технологиям ИИ московских врачей-рентгенологов можно охарактеризовать как выжидательное, умеренно-оптимистичное.
Врачи-рентгенологи определили полное соответствие результатов работы сервисов компьютерного зрения реальной рентгенологической картине в 64% случаев. В 36% зафиксированы несоответствия; из этого числа значимые расхождения имели место в 6%, незначимые - в 23%.
На дальнейших этапах Эксперимента будут реализованы мероприятия по повышению вовлеченности врачей-рентгенологов, а также комплексная сравнительная оценка работы сервисов.
ЛИТЕРАТУРА
1. Гусев А.В., Плисс М.А., Левин М.Б., Новицкий Р.Э. Тренды и прогнозы развития медицинских информационных систем в России. // Врач и информационные технологии. - 2019. - № 2. - С. 38-49.
2. Гусев А.В., Зарубина Т.В. Поддержка принятия врачебных решений в медицинских информационных системах медицинской организации. // Врач и информационные технологии. 2017. - № 2. - С. 60-72.
3. Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кузьмина Е.С., Ледихова Н.В. Искусственный интеллект: автоматизированный анализ текста на естественном языке для аудита радиологических исследований. // Вестник рентгенологии и радиологии. - 2018. - Т. 99. - № 5. - С. 253-258.
4. Морозов С.П., Владзимирский А.В., Ледихова Н.В., Соколина И.А., Кульберг Н.С., Гомболевский В.А. Оценка диагностической точности системы скрининга туберкулеза легких на основе искусственного интеллекта. // Туберкулез и болезни легких. 2018. - Т. 95. - № 8 - С. 42-49.
5. Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кляшторный В.Г., Федулова И.А., Власенков Л.А. Искусственный интеллект в скрининге рака легкого: оценка диагностической точности алгоритма для анализа низкодозовых компьютерных томографий. // Туберкулез и болезни легких - 2020. - Т. 98. - № 8. - С. 24-31.
Искусственный интеллект в здравоохранении www.idmz.ru
2020, № 4 ^
6. Морозов С.П., Владзимирский А.В., Кляшторный В.Г. с соавт. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика) / Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 57. М., 2019. - 51 с.
7. Морозов С.П., Владзимирский А.В., Черняева Г.Н., Бажин А.В., Пимкин А.А., Беляев М.Г., Кляшторный В.Г., Горшкова Т.Н., Курочкина Н.С., Якушева С.Ф. Валидация диагностической точности алгоритма «искусственного интеллекта» для выявления рассеянного склероза в условиях городской поликлиники. // Лучевая диагностика и терапия. - 2020. - № 2 (11). - С. 58-65.
8. Морозов С.П. Решения на базе искусственн ого интеллекта - новый стандарт безопасности в лучевой диагностике. // Московская медицина. - 2020. - № 2 (36). - С. 24-26.
9. Полищук Н.С., Ветшева Н.Н., Косарин С.П, Морозов С.П., Кузьмина Е.С.Единый радиологический информационный сервис как инструмент организационно-методической работы научно-практического центра медицинской радиологии департамента здравоохранения г. Москвы (аналитическая справка). // Радиология - практика. - 2018. - № 1 (67). . - С. 6-17.
10. Постановление Правительства Москвы от 29 ноября 2019 № 1543-ПП «О проведении эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы».
11. Приказ Министерства здравоохранения Российской Федерации от 09.06.2020 № 560н «Об утверждении Правил проведения рентгенологических исследований».
12. Пятницкий И.А., Пучкова О.С., Гомболевский В.А., Низовцова Л.А., Ветшева Н.Н., Морозов С.П. Скрининг рака молочной железы: текущие достижения, перспективы и новые технологии. Вопросы онкологии. - 2019. - Т. 65. - № 5. - С. 664-671.
13. Тюрин И.Е. Лучевая диагностика в Российской Федерации. // Онкологический журнал: лучевая диагностика, лучевая терапия. 2018;1(4):43-51. https://doi.org/10.37174/2587-7593-2018-1-4-43-51.
14. Указ Президента Российской Федерации от 10 октября 2019 г. № 490 «О развитии искусственного интеллекта в Российской Федерации».
15. Baldwin D.R., Gustafson J., Pickup L, Arteta C, Novotny P., Declerck J., Kadir Т., Figueiras C, Sterba A., Exell A., Potesil V., Holland P., Spence H, Clubley A., O'Dowd E, Clark M, Ashford-Turner V., Callister M.E, Gleeson F.V. External validation of a convolutional neural network artificial intelligence tool to predict malignancy in pulmonary nodules. Thorax. 2020 Apr; 75(4):306-312. doi: 10.1136/thoraxjnl-2019-214104.
16. Christodoulakis C., Asgarian A, Easterbrook S., eds. Barriers toadoption of information technology in healthcare.Proceedings ofthe 27th Annual International Conference on Computer Scienceand Software Engineering. Armonk, NY: IBM Corp; 2017.
17. Codari M., Melazzini L., Morozov S.P. et al. Impact of artificial intelligence on radiology: a EuroAIM survey among members of the European Society of Radiology. Insights Imaging. 2019 Oct 31; 10(1):105. doi: 10.1186/ s13244-019-0798-3.
18. Kaka H., Zhang E, Khan N. Artificial Intelligence and Deep Learning in Neuroradiology: Exploring the New Frontier. Can Assoc Radiol J. 2020 Sep 18:846537120954293. doi: 10.1177/0846537120954293.
19. Kakileti S.T., Madhu H.J., Krishnan L., Manjunath G., Sampangi S., Ramprakash H.V. Observational Study to Evaluate the Clinical Efficacy of Thermalytix for Detecting Breast Cancer in Symptomatic and Asymptomatic Women. JCO Glob Oncol. 2020 Oct; 6:1472-1480. doi: 10.1200/G0.20.00168.
20. Kim D. W, Jang H. Y, Kim K. W, Shin Y, Park S.H. Design Characteristics of Studies Reporting the Performance of Artificial Intelligence Algorithms for Diagnostic Analysis of Medical Images: Results from Recently Published Papers. Korean J Radiol. 2019 Mar; 20(3):405-410. https://doi.org/10.3348/kjr.2019.0025.
21. Liu X., Cruz Rivera S., Moher D. et al. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. Nat Med.2020; 26: 1364-74. https://doi.org/10.1038/ s41591-020-1034-x.
22. Morozov S.P., Andreychenko A.E, Pavlov N.A., Vladzymyrskyy A.V., Ledikhova N.V. et al. MosMedData: Chest CT Scans With COVID-19 Related Findings Dataset. 2020.arXiv:2005.06465.
23. Pesapane F., Codari M, Sardanelli F. Artificial intelligence in medical imaging: threat or opportunity? Radiologists again at the forefront of innovation in medicine. Eur Radiol Exp. 2018 Oct 24; 2(1):35. doi: 10.1186/s41747-018-0061-6.
24. Richardson M.L., Garwood E.R., Lee Y, Li M.D., Lo H.S., Nagaraju A, Nguyen X. V, Probyn L., Rajiah P., Sin J., Wasnik A.P., Xu K. Noninterpretive Uses of Artificial Intelligence in Radiology. Acad Radiol. 2020 Feb 12: S1076-6332 (20) 30039-8. doi: 10.1016/j.acra.2020.01.012.
25. Tajaldeen A., Alghamdi S. Evaluation of radiologist's knowledge about the Artificial Intelligence in diagnostic radiology: a survey-based study. Acta Radiol Open. 2020 Jul 31; 9(7):2058460120945320. doi: 10.1177/2058460120945320.
26. van Assen M., Muscogiuri G., Caruso D., Lee S.J., Laghi A., De Cecco C.N. Artificial intelligence in cardiac radiology. Radiol Med. 2020 Sep 18. doi: 10.1007/s11547-020-01277-w.
27. Yedavalli V.S., Tong E, Martin D., Yeom K.W., Forkert N.D. Artificial intelligence in stroke imaging: Current and future perspectives. Clin Imaging. 2020 Sep 21;69:246-254. doi: 10.1016/j.clinimag.2020.09.005.
28. Wu X., LiL., LiH., Tian J., Zha Y. Deep learning-based multi-view fusion model for screening 2019 novel coronavirus pneumonia: A multicentre study. Eur J Radiol. 2020 Jul; 128:109041. doi: 10.1016/j.ejrad.2020.109041.
29. Wu G., Yang P., Xie Y., Woodruff H.C., Rao X., Guiot J., Frix A.N. et a. Development of a clinical decision support system for severity risk prediction and triage of COVID-19 patients at hospital admission: an international multicentre study. Eur Respir J. 2020 Aug 20;56(2):2001104. doi: 10.1183/13993003.01104-2020.
30. Zhang Z., Seeram E. The use of artificial intelligence in computed tomography image reconstruction -A literature review. J Med Imaging Radiat Sci. 2020 Sep 24: S1939-8654 (20) 30296-4. doi: 10.1016/j. jmir.2020.09.001.
