CC BY
25
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ ноябрь-декабрь 2020 Том 20 № 6 ISSN 2226-1494 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS November-December 2020 Vol. 20 No 6 ISSN 2226-1494 http://ntv.ifmo.ru/en/
ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
УДК 004.891.2 doi: 10.17586/2226-1494-2020-20-6-893-897
СИСТЕМА ПОДДЕРЖКИ КЛИНИЧЕСКИХ РЕШЕНИЙ С ОБРАБОТКОЙ МУЛЬТИМОДАЛЬНЫХ МЕДИЦИНСКИХ ДАННЫХ КАК СРЕДСТВО ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ РАБОТЫ
ВРАЧА-РАДИОЛОГА А.А. Лобанцев^
a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация b ООО «БрейнГарден», Санкт-Петербург, 197022, Российская Федерация Адрес для переписки: lobantseff@icloud.com Информация о статье
Поступила в редакцию 02.10.20, принята к печати 30.10.20 Язык статьи — русский
Ссылка для цитирования: Лобанцев А.А. Система поддержки клинических решений с обработкой мультимодальных медицинских данных как средство повышения эффективности работы врача-радиолога // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 6. С. 893-897. doi: 10.17586/2226-1494-2020-20-6-893-897
Аннотация
Предмет исследования. Предложена система поддержки принятия клинических решений с использованием мультимодальных данных. Метод. При реализации системы использованы модели нейронных сетей. Для повышения качества предварительного анализа медицинских данных с использованием моделей нейронных сетей предложены методы переноса знаний с использованием доменной адаптации, обучения на мультимодальных данных и учета негативного переноса знаний. Алгоритмы нейронных сетей, с помощью которых осуществляется предварительный анализ исследования пациента, позволяют осуществлять анализ мультимодальных данных с учетом особенностей объединения модальностей, проводить обучение нейронных сетей с использованием техник доменной адаптации и учитывать явление негативного переноса знаний для повышения робастности нейросети к естественным шумам аппаратуры. Основные результаты. Предложенная система реализована в виде интернет-ресурса. Эффективность реализованной системы была оценена с помощью привлечения 30 экспертов: врачей, студентов, пациентов. Выполнена сравнительная оценка решения задач в различных сценариях с использованием предложенной системы и без нее. Эксперименты показали, что использование предложенной системы обеспечивает сокращение времени выполнения наиболее критичных этапов сценариев. Практическая значимость. Предложенная система размещена в домене Университета ИТМО и используется в практике работы ФГБУ «НМИЦ им. В.А. Алмазова» Минздрава России, а также учреждения здравоохранения «Городская детская инфекционная клиническая больница» (г. Минск). Система рекомендована к использованию в клинических больницах и индивидуальным практикующим и преподающим врачам-радиологам. Ключевые слова
системы принятия клинических решений, нейронные сети, перенос знаний, обработка мультимодальных данных,
анализ радиологических исследований
Благодарности
Работа выполнена при финансовой поддержке Российского научного фонда, грант № 19-19-00696.
doi: 10.17586/2226-1494-2020-20-6-893-897
CLINICAL DECISION SUPPORT SYSTEM WITH PROCESSING OF MULTIMODAL MEDICAL DATA FOR RADIOLOGIST EFFICIENCY
IMPROVEMENT PRACTICE A.A. Lobantseva,b
a ITMO University, Saint Petersburg, 197101, Russian Federation b BrainGarden, LLC, Saint Petersburg, 197022, Russian Federation Corresponding author: lobantseff@icloud.com Article info
Received 02.10.20, accepted 30.10.20 Article in Russian
For citation: Lobantsev A.A. Clinical decision support system with processing of multimodal medical data for radiologist efficiency improvement practice. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, vol. 20, no. 6, pp. 893-897 (in Russian). doi: 10.17586/2226-1494-2020-20-6-893-897
Abstract
Subject of Research. The paper proposes a clinical decision support system using multimodal data. Method. The system is based on neural network models. The author proposes the methods of transfer learning with domain adaptation techniques, training on multimodal data and taking into account the negative knowledge transfer for the quality improvement of preliminary analysis of medical data with application of neural network models. Algorithms of neural networks for preliminary analysis of the patient study provide the analysis of multimodal data with consideration of the combination peculiarities of modalities, training of neural networks with specific domain adaptation techniques, and taking into account the phenomenon of the knowledge negative transfer for the increase of the neural network robustness to the natural equipment noise. Main Results. The proposed system is implemented as a web-platform. The implemented system effectiveness was assessed by involving 30 experts: doctors, students, and patients. A comparative assessment of the problems solution in various scenarios was carried out with the proposed system and without it. Experiments have shown that the proposed system application reduces the execution time of the most critical stages of scenarios. Practical Relevance. The proposed system is located in the ITMO domain at the uniform resource locator address: http://mcp.itmo. ru and is used in the practice of the Almazov National Medical Research Centre of the Ministry of Health of Russia, and the "City Children's Infectious Disease Clinical Hospital" Healthcare Institution in Minsk. The system is recommended for the application in clinical hospitals, individual practitioners and teaching radiologists. Keywords
clinical decision support systems, neural networks, knowledge transfer, multimodal data processing, radiological study analysis
Acknowledgements
This work was financially supported by the Russian Science Foundation, Grant N19-19-00696.
Улучшение качества медицинской помощи в современных условиях во многом связывается с применением систем поддержки клинических решений (СПКР)1 [1]. Активно ведутся исследования в области создания СПКР2, в том числе с использованием средств искусственного интеллекта (ИИ) [1, 2], причем функции, возлагаемые на СПКР, определяются, с одной стороны, требуемыми действиями врача в конкретной отрасли медицины, а с другой стороны — существующими возможностями технологий ИИ.
В настоящей работе рассматривается создание СПКР для поддержки деятельности врачей-радиологов, задачей которых является формирование заключений по медицинским изображениям, получаемым с использованием высокотехнологичных средств диагностики, таких как КТ-, МРТ- и рентгеновское оборудование. Схема работы врача-радиолога представлена на рисунке. Без использования СПКР врач-радиолог должен вручную выполнить предварительную и окончательную сегментацию снимка, т. е. разделить его на отдельные семантические структуры, произвести предварительную и окончательную классификацию снимка, выделив зоны интереса (например, злокачественные новообразования), а также составить предварительное и окончательное заключения по снимку в текстовой форме.
Логичным представляется ввести в состав СПКР проблемно-адаптированные алгоритмы обработки изображений на основе нейронных сетей [3-5] (модуль
1 Информационные системы в здравоохранении. Общие требования. СТО МОСЗ 91500.16.0002-2004 [Электронный ресурс]. 2004. https://miacso.ru/Documents/images/Site/Standart. pdf
2 Computerized clinical decision support systems (DSS) / What Works for Health: Evidence for Decision-Making [Электронный ресурс]. 2015. http://whatworksforhealth.wisc. edu/index.php
машинного обучения), которые в автоматизированном режиме реализуют предварительные сегментацию и классификацию и формируют предварительное заключение на основе представленного изображения. В этом случае врач-радиолог сможет проводить только контроль и, при необходимости, тонкую подстройку выделенных зон интереса и их текстовых описаний, что существенно сократит временные затраты на обработку одного снимка и в определенной степени решит проблему нехватки врачей-радиологов3,4 [6].
В доступной автору литературе не удалось обнаружить СПКР, полномасштабно выполняющие указанные функции, что во многом связано с недостаточной эффективностью работы вышеуказанных алгоритмов при их включении в СПКР Для решения этой проблемы автором предложены следующие подходы:
— новые методы и алгоритмы обработки мультимо-дальных медицинских данных на основе переноса знаний, что позволяет комплексно использовать всю имеющуюся медицинскую информацию при настройке моделей машинного обучения и тем самым повысить точность настройки;
— структуру СПКР в форме интернет-ресурса, которая позволяет оперативно пополнять имеющиеся наборы данных, используемые при настройке моделей машинного обучения, и тем самым повысить точность настройки, а также способствует обучению студентов — будущих радиологов.
3 Allyn J. International Radiology Societies Tackle Radiologist Shortage [Электронный ресурс]. 2020. https://www.rsna.org/en/ news/2020/February/International-Radiology-Societies-And-Shortage
4 Clinical radiology UK workforce census report 2018 [Электронный ресурс]. 2018. https://www.rcr.ac.uk/publication/ clinical-radiology-uk-workforce-census-report-2018
Радиолог (профессиональный опыт)
Пациент (предъявление снимка)
Пациент
(получение
заключения)
(обучение)
Рисунок. Схема работы врача-радиолога с применением системы принятия клинических решений (с включением элементов, обведенных пунктиром и использованием модуля машинного обучения) и без системы принятия клинических решений (без элементов, обведенных пунктиром, и модуля машинного обучения): ПС — предварительная сегментация; ПК — предварительная классификация; ПЗ — предварительное заключение; ОС — окончательная сегментация; ОК — окончательная классификация; ОЗ — окончательное заключение; БД — база данных (снимков/заключений)
Мультимодальность медицинских данных может проявляться в различных аспектах, в том числе:
1) данные внутри одного домена имеют разные статистические характеристики (например, КТ-изобра-жения, полученные с разнотипного оборудования);
2) шумы высокотехнологичной аппаратуры, имеющие сложную природу, могут вызвать явление, когда отдельные экземпляры данных работают как лож-ноположительные, т. е. выступают источниками негативного знания, например, показано, что на МРТ-изображениях они могут достигать 5 % от общего объема датасета;
3) содержательно идентичная информация фиксируется в разных доменах (например, информация о состоянии больного органа — в виде КТ-изображений разных типов и текстовых заключений по ним).
В аспекте доменной адаптации — предложены алгоритмы, позволяющие учесть особенности распределения яркости КТ-изображений зоны интереса в предварительной обработке, а также интегрировать конкретную функцию потерь в архитектуру сети. В результате требуемая эффективность классификации достигается при обучении сети за значительно меньшее время и на небольшом количестве вычислительных ресурсов. Это снижает требования к объему обучающего датасета для любых визуальных медицинских модальностей, что крайне важно для медицинской практики.
В аспекте учета негативного переноса знаний — предложен алгоритм, который при обучении нейро-сетей на КТ- и МРТ-изображениях позволяет уменьшить пропорции неверно распознанных объектов с 2 до 0,12 % на КТ-изображениях и с 2,85 до 0,15 % на МРТ-изображениях.
В аспекте совместного использования информации из разных доменов — предложена методика слияния медицинских изображений и текстовых заключений в единой нейронной сети с использованием адаптации
позиции слияния. Это, например, позволило улучшить качество диагностики рассеянного склероза на 35 % по сравнению с классификацией только на данных одного домена. При этом обучение при раннем слиянии обеспечивает значительно меньшую нагрузку на сеть и, следовательно, более высокое конечное качество обучения в сети. Обучение при позднем слиянии более стабильно, поскольку процесс выбора оптимальных гиперпараметров происходит быстрее и проще, но требует большего объема тренировочных данных. Подробное описание предложенных алгоритмов можно найти в работах автора [7-9].
Разработанная структура СПКР как интернет-ресурса предусматривает использование различных ролевых моделей — пациент, врач/консультант, студент/интерн.
Как правило, при обнаружении серьезного заболевания и после постановки первичного диагноза у пациента возникает желание уточнить диагноз или получить дополнительное мнение по наличию заболевания на основе полученных снимков и отчета радиолога. В этом случае без использования СПКР он обращается за дополнительной консультацией к другому врачу и получает ее в режиме офлайн; в то же время, используя СПКР, он имеет возможность получить дополнительную консультацию в режиме онлайн.
Врач-консультант без использования СПКР принимает в кабинете пациента, получает от него снимки и либо оценивает их в присутствии пациента (т. е. за время первого приема пациента), либо назначает дополнительный прием, перед которым дополнительно изучает снимки или организует консилиум с другими коллегами. С использованием СПКР он во время приема пациента выгружает из системы снимки и проект заключения, подготовленный студентами/интернами и (при необходимости) внешними специалистами-радиологами. При необходимости вносит коррективы в заключение, утверждает его и передает пациенту. Окончательные заключения, классифицированные
и сегментированные снимки с согласия пациента попадают в базу данных обучения моделей нейронных сетей.
Студент без использования СПКР присутствует на приеме у врача в режиме офлайн в пассивной роли, а на практических занятиях участвует в разборе заранее подготовленных типовых случаев. С использованием СПКР он участвует в разборе реальных случаев и в формировании заключения в режиме онлайн в активной роли, а по результатам получает обратную связь от врача-консультанта.
Таким образом, разработанная СПКР решает комплексную задачу: помогает врачу-радиологу быстрее сформировать заключение по конкретному снимку, тем самым увеличивая его производительность; способствует обучению студентов — будущих радиологов; позволяет пациентам оперативнее получить заключение по своему снимку в дистанционном режиме. А постоянное пополнение базы обучающих данных окончательно размеченными снимками и заключениями позволяет непрерывно дообучать алгоритмы на основе нейронных сетей, тем самым повышая качество предварительного анализа снимков.
Эффективность разработанной СПКР ее использования была оценена экспериментально. Типовые сценарии использования СПКР были разработаны при участии
врачей-практиков ФГБУ «НМИЦ им. В.А. Алмазова» Минздрава России. В исследовании участвовали 30 экспертов. Каждый эксперт не менее трех раз выполнял предложенный ему сценарий с измерением затрачиваемого времени. Результаты экспериментов, представленные в таблице, показали, что СПКР позволяет увеличить эффективность труда врачей-радиологов за счет уменьшения временных затрат на формирование заключения по конкретному снимку, а также сокращает временные затраты пациентов на поиск специалиста-консультанта и позволяет студенту/интерну более эффективно использовать свое учебное время.
Таким образом, одновременное использование муль-тимодальных данных в разработанной СПКР позволяет предоставить врачу-радиологу более точную предварительную разметку анализируемого медицинского изображения и тем самым повышает эффективность его работы. При этом СПКР обеспечивает сокращение времени выполнения наиболее критичных этапов сценариев в размере от 20 % до 15 раз. Разработанная СПКР в форме интернет-ресурса программно реализована, размещена в домене ИТМО по адресу: http://mcp.itmo.ru и используется в практике работы ФГБУ «НМИЦ им. В.А. Алмазова» Минздрава России, а также учреждения здравоохранения «Городская детская инфекционная клиническая больница» г. Минска.
Таблица. Сравнение временных затрат на выполнение ключевых этапов сценариев с использованием системы поддержки
клинических решений и без нее
Компонент сценария Количество экспертов Среднее время, затрачиваемое без СПКР, мин Среднее время, затрачиваемое с использованием СПКР, мин
Врач-радиолог. Обработка исследования одного пациента 4 14 ± 3 2 ± 1
Врач/студент. Разметка снимка для формирования набора данных для обучения нейронной сети 4/12 20 ± 6 12 ± 2
Студент. Обработка задания на исследование, полученного от преподавателя 12 20 ± 5 18 ± 3
Пациент. Поиск специалиста 14 180 ± 30 12 ± 8
Литература
1. Rawson T., Moore L.S.P., Charani E., Castro-Sanchez E., Holmes A.H., Hernandez B., Herrero P., Georgiou P., Hayhoe B. A systematic review of clinical decision support systems for antimicrobial management: are we failing to investigate these interventions appropriately? // Clinical Microbiology and Infection. 2017. V. 23. N 8. P. 524-532. doi: 10.1016/j.cmi.2017.02.028
2. Reis W.C., Bonetti A.F., Bottacin W.E., Reis A.S.,Jr., Souza T.T., Pontarolo R., Correr C.J., Fernandez-Llimos F. Impact on process results of clinical decision support systems (CDSSs) applied to medication use: overview of systematic reviews // Pharmacy Practice. 2017. V. 15. N 4. P. 1036. doi: 10.18549/PharmPract.2017.04.1036
3. Maninis K.-K., Caelles S., Pont-Tuset J., Van Gool L. Deep extreme cut: From extreme points to object segmentation // Proc. 31st Meeting of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2018). 2018. P. 616-625. doi: 10.1109/CVPR.2018.00071
4. Aresta G., Jacobs C., Araujo T., Cunha A., Ramos I., van Ginneken B., Campilho A. iW-Net: an automatic and minimalistic interactive lung nodule segmentation deep network // Scientific Reports. 2019. V. 9. N 1. P. 11591. doi: 10.1038/s41598-019-48004-8
References
1. Rawson T., Moore L.S.P., Charani E., Castro-Sanchez E., Holmes A.H., Hernandez B., Herrero P., Georgiou P., Hayhoe B. A systematic review of clinical decision support systems for antimicrobial management: are we failing to investigate these interventions appropriately? Clinical Microbiology and Infection, 2017, vol. 23, no. 8, pp. 524-532. doi: 10.1016/j.cmi.2017.02.028
2. Reis W.C., Bonetti A.F., Bottacin W.E., Reis A.S.,Jr., Souza T.T., Pontarolo R., Correr C.J., Fernandez-Llimos F. Impact on process results of clinical decision support systems (CDSSs) applied to medication use: overview of systematic reviews. Pharmacy Practice, 2017, vol. 15, no. 4, pp. 1036. doi: 10.18549/PharmPract.2017.04.1036
3. Maninis K.-K., Caelles S., Pont-Tuset J., Van Gool L. Deep extreme cut: From extreme points to object segmentation. Proc. 31st Meeting of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2018), 2018, pp. 616-625. doi: 10.1109/CVPR.2018.00071
4. Aresta G., Jacobs C., Araujo T., Cunha A., Ramos I., van Ginneken B., Campilho A. iW-Net: an automatic and minimalistic interactive lung nodule segmentation deep network. Scientific Reports, 2019, vol. 9, no. 1, pp. 11591. doi: 10.1038/s41598-019-48004-8
5. Zheng S., Guo J., Cui X., Veldhuis R.N.J., Oudkerk M., Van Ooijen P.M.A. Automatic pulmonary nodule detection in CT scans using convolutional neural networks based on maximum intensity projection // IEEE Transactions on Medical Imaging. 2020. V. 39. N 3. P. 797-805. doi: 10.1109/TMI.2019.2935553
6. Orenstein B. Virtually indispensable // Radiology Today. 2018. V. 19. N 12. P. 18.
7. Vatian A., Lobantsev A., Gorokhov N., Mirzayanov M., Korneev G., Gusarova N., Shalyto A. Data processing approaches for lung CT-image analysis under resource constraints // Multi Conference on Computer Science and Information Systems, MCCSIS 2019 -Proceedings of the 11th International Conference on e-Health 2019.
2019. P. 19-26. doi: 10.33965/eh2019_201910l003
8. Vatian A., Gusarova N., Dobrenko N., Dudorov S., Nigmatullin N., Shalyto A., Lobantsev A. Impact of adversarial examples on the efficiency of interpretation and use of information from high-tech medical images // Proc. 24th Conference of Open Innovations Association (FRUCT). 2019. P. 472-478. doi: 10.23919/FRUCT.2019.8711974
9. Lobantsev A.A., Gusarova N.F., Vatian A.S., Kapitonov A.A., Shalyto A.A. Comparative assessment of text-image fusion models for medical diagnostics // Информационно-управляющие системы.
2020. № 5. С. 70-79. doi: 10.31799/1684-8853-2020-5-70-79
5. Zheng S., Guo J., Cui X., Veldhuis R.N.J., Oudkerk M., Van Ooijen P.M.A. Automatic pulmonary nodule detection in CT scans using convolutional neural networks based on maximum intensity projection. IEEE Transactions on Medical Imaging, 2020, vol. 39, no. 3, pp. 797-805. doi: 10.1109/TMI.2019.2935553
6. Orenstein B. Virtually indispensable. Radiology Today, 2018, vol. 19, no. 12, pp. 18.
7. Vatian A., Lobantsev A., Gorokhov N., Mirzayanov M., Korneev G., Gusarova N., Shalyto A. Data processing approaches for lung CT-image analysis under resource constraints. Multi Conference on Computer Science and Information Systems, MCCSIS 2019 -Proceedings of the 11th International Conference on e-Health 2019,
2019, pp. 19-26. doi: 10.33965/eh2019_201910l003
8. Vatian A., Gusarova N., Dobrenko N., Dudorov S., Nigmatullin N., Shalyto A., Lobantsev A. Impact of adversarial examples on the efficiency of interpretation and use of information from high-tech medical images. Proc. 24th Conference of Open Innovations Association (FRUCT), 2019, pp. 472-478. doi: 10.23919/FRUCT.2019.8711974
9. Lobantsev A.A., Gusarova N.F., Vatian A.S., Kapitonov A.A., Shalyto A.A. Comparative assessment of text-image fusion models for medical diagnostics. Informatsionno-Upravliaiushchie Sistemy,
2020, no. 5, pp. 70-79. doi: 10.31799/1684-8853-2020-5-70-79
Автор
Лобанцев Артём Андреевич — программист, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация; специалист по анализу данных, ООО «БрейнГарден», Санкт-Петербург, 197022, Российская Федерация, ORCID: 0000-0002-8314-5103, lobantseff@icloud.com
Author
Artem A. Lobantsev — Software Engineer, ITMO University, Saint Petersburg, 197101, Russian Federation; Data Scientist, BrainGarden, LLC, Saint Petersburg, 197022, Russian Federation, ORCID: 0000-0002-8314-5103, lobantseff@icloud.com
