Научная статья на тему 'РАЗРАБОТКА ПРОТОТИПА СЕРВИСА ДЛЯ ДИАГНОСТИКИ ДИАБЕТИЧЕСКОЙ РЕТИНОПАТИИ ПО СНИМКАМ ГЛАЗНОГО ДНА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА'

РАЗРАБОТКА ПРОТОТИПА СЕРВИСА ДЛЯ ДИАГНОСТИКИ ДИАБЕТИЧЕСКОЙ РЕТИНОПАТИИ ПО СНИМКАМ ГЛАЗНОГО ДНА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
231
46
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ДИАБЕТИЧЕСКАЯ РЕТИНОПАТИЯ / ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ / САХАРНЫЙ ДИАБЕТ / ДИАГНОСТИКА / СЕРВИС / СКРИНИНГ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Нероев В.В., Брагин А.А., Зайцева О.В.

Обоснование и цель исследования. Высокая социальная значимость диабетической ретинопатии (ДР), сложности ранней диагностики и мониторинга заболевания обусловливают актуальность разработки системы диагностики диабетических изменений глазного дна с использованием методов искусственного интеллекта (ИИ). Цель работы - построение демонстрационного прототипа WEB-сервиса для распознавания признаков ДР по снимкам глазного дна при помощи методов машинного обучения с использованием языка Python и фреймворка Django.Материалы и методы. В исследовании использован датасет Messidor (1200 глаз), находящийся в открытом доступе в сети Интернет и включающий в себя фотографии здорового глазного дна (546 глаз) и глазного дна с патологией (654 глаза). С помощью метода аугментации данный набор для исследования увеличен в несколько раз. Система распознавания изображений глазного дна построена на основе обученной нейронной сети ResNet50. Web-сервис с подключенной моделью нейронной сети был разработан на фреймворке Django.Результаты. Основным результатом исследования является разработка тестового прототипа сервиса для диагностики диабетических изменений глазного дна по фото с помощью инструментов машинного обучения, демонстрирующего большой потенциал применения ИИ для повышения эффективности принимаемых решений. Чувствительность модели нейронной сети в ходе диагностики ДР даже на небольшой тестовой выборке и ограниченном времени обучения составила 85 %.Заключение. Показаны высокая эффективность и потенциал методов ИИ при построении системы автоматического обнаружения патологии глазного дна в рамках разрабатываемой в НМИЦ ГБ им. Гельмгольца автоматизированной системы принятия врачебных решений. Данный сервис в перспективе может быть использован с целью повышения эффективности ранней диагностики и мониторинга диабетических изменений глазного дна в условиях сниженной доступности первичной офтальмологической помощи на части территорий Российской Федерации, в том числе на доврачебном этапе.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Нероев В.В., Брагин А.А., Зайцева О.В.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

DEVELOPMENT OF A PROTOTYPE SERVICE FOR THE DIAGNOSIS OF DIABETIC RETINOPATHY BASED ON FUNDUS PHOTOS USING ARTIFICIAL INTELLIGENCE METHODS

Justification and purpose of the study. The high social significance of diabetic retinopathy (DR), the complexity of early diagnosis and monitoring of the disease determine the urgency of developing a system for diagnosing diabetic changes in the fundus using artificial intelligence (AI) methods. The aim of the work is to build a demo prototype of a WEB service for recognizing signs of DR from fundus images using machine learning methods using the Python language and the Django framework.Materials and methods. The study used the Messidor dataset (1200 eyes), which is publicly available on the Internet and includes photos of healthy fundus (546 eyes) and fundus with pathology (654 eyes). With the help of the augmentation method, this set for the study is increased several times. The fundus image recognition system is based on the trained neural network ResNet50. The web service with a connected neural network model was developed on the Django framework.Results. The main result of the research is the development of a test prototype of a service for the diagnosis of diabetic fundus changes based on photos using machine learning tools, demonstrating the great potential of using AI to improve the effectiveness of decisions. The sensitivity of the neural network model during the diagnosis of DR, even on a small test sample and limited training time, was 85 %.Conclusion. The high efficiency and potential of AI methods in the construction of a system for automatic detection of fundus pathology in the framework of the developed in the Helmholtz National Medical Research Center of Eye Diseases automated medical decision-making system. In the future, this service can be used to improve the effectiveness of early diagnosis and monitoring of diabetic changes in the fundus in conditions of reduced availability of primary ophthalmological care in parts of the Russian Federation, including at the pre-medical stage.

Текст научной работы на тему «РАЗРАБОТКА ПРОТОТИПА СЕРВИСА ДЛЯ ДИАГНОСТИКИ ДИАБЕТИЧЕСКОЙ РЕТИНОПАТИИ ПО СНИМКАМ ГЛАЗНОГО ДНА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА»

ф УДК [617.735-02:616.379-008.64]-073.585:004.89 | https://doi.org/10.47093/2713-069X.2021.2.2.64-72

со

| Разработка прототипа сервиса для диагностики диабетической

у ретинопатии по снимкам глазного дна с использованием методов

о искусственного интеллекта

| В.В. Нероев12, А.А. Брагин1*, О.В. Зайцева12

1ФГБУ «Национальный медицинский исследовательский центр глазных болезней ° им. Гельмгольца» Минздрава России, ул. Садовая-Черногрязская, д. 14/19, Москва, 105062, Россия 2 ФГБОУ ВО «Московский государственный медико-стоматологический университет им. А.И. Евдокимова» Минздрава России, ул. Делегатская, д. 20, стр. 1, г. Москва, 127473, Россия

Аннотация

Обоснование и цель исследования. Высокая социальная значимость диабетической ретинопатии (ДР), сложности ранней диагностики и мониторинга заболевания обусловливают актуальность разработки системы диагностики диабетических изменений глазного дна с использованием методов искусственного интеллекта (ИИ). Цель работы - построение демонстрационного прототипа WEB-сервиса для распознавания признаков ДР по снимкам глазного дна при помощи методов машинного обучения с использованием языка Python и фреймворка Django. Материалы и методы. В исследовании использован датасет Messidor (1200 глаз), находящийся в открытом доступе в сети Интернет и включающий в себя фотографии здорового глазного дна (546 глаз) и глазного дна с патологией (654 глаза). С помощью метода аугментации данный набор для исследования увеличен в несколько раз. Система распознавания изображений глазного дна построена на основе обученной нейронной сети ResNet50. Web-сервис с подключенной моделью нейронной сети был разработан на фреймворке Django. Результаты. Основным результатом исследования является разработка тестового прототипа сервиса для диагностики диабетических изменений глазного дна по фото с помощью инструментов машинного обучения, демонстрирующего большой потенциал применения ИИ для повышения эффективности принимаемых решений. Чувствительность модели нейронной сети в ходе диагностики ДР даже на небольшой тестовой выборке и ограниченном времени обучения составила 85 %. Заключение. Показаны высокая эффективность и потенциал методов ИИ при построении системы автоматического обнаружения патологии глазного дна в рамках разрабатываемой в НМИЦ ГБ им. Гельмгольца автоматизированной системы принятия врачебных решений. Данный сервис в перспективе может быть использован с целью повышения эффективности ранней диагностики и мониторинга диабетических изменений глазного дна в условиях сниженной доступности первичной офтальмологической помощи на части территорий Российской Федерации, в том числе на доврачебном этапе.

Ключевые слова: диабетическая ретинопатия; искусственный интеллект; сахарный диабет; диагностика; сервис; скрининг

Для цитирования: Нероев В.В., Брагин А.А., Зайцева О.В. Разработка прототипа сервиса для диагностики диабетической ретинопатии по снимкам глазного дна с использованием методов искусственного интеллекта. Национальное здравоохранение. 2021; 2 (2): 64-72. https://doi.org/10.47093/2713-069X.2021.2.2.64-72

Контактная информация:

* Автор, ответственный за переписку: Брагин Алексей Александрович. E-mail: bragin_aa@igb.ru

Статья поступила в редакцию: 29.06.2021 Статья принята к печати: 21.09.2021 Дата публикации: 18.11.2021

Development of a prototype service for the diagnosis of diabetic retinopathy based on fundus photos using artificial intelligence methods

Vladimir V. Neroev1,2, Aleksei A. Bragin1*, Olga V. Zaytseva1,2

1 Helmholtz National Medical Research Center of Eye Diseases, Sadovaya-Chernogryazskaya str., 14/19, Moscow, 105062, Russia

2 A.I. Yevdokimov Moscow State University of Medicine and Dentistry, Delegate str., 20/1, Moscow, 127473, Russia

Abstract

Justification and purpose of the study. The high social significance of diabetic retinopathy (DR), the complexity of early diagnosis and monitoring of the disease determine the urgency of developing a system for diagnosing diabetic changes in the fundus using artificial intelligence (AI) methods. The aim of the work is to build a demo prototype of a WEB service for recognizing signs of DR from fundus images using machine learning methods using the Python language and the Django framework. Materials and methods. The study used the Messidor dataset (1200 eyes), which is publicly available on the Internet and includes photos of healthy fundus (546 eyes) and fundus with pathology (654 eyes). With the help of the augmentation method, this set for the study is increased several times. The fundus image recognition system is based on the trained neural network ResNet50. The web service with a connected neural network model was developed on the Django framework. Results. The main result of the research is the development of a test prototype of a service for the diagnosis of diabetic fundus changes based on photos using machine learning tools, demonstrating the great potential of using AI to improve the effectiveness of decisions. The sensitivity of the neural network model during the diagnosis of DR, even on a small test sample and limited training time, was 85 %. Conclusion. The high efficiency and potential of AI methods in the construction of a system for automatic detection of fundus pathology in the framework of the developed in the Helmholtz National Medical Research Center of Eye Diseases automated medical decision-making system. In the future, this service can be used to improve the effectiveness of early diagnosis and monitoring of diabetic changes in the fundus in conditions of reduced availability of primary ophthalmological care in parts of the Russian Federation, including at the pre-medical stage.

Keywords: diabetic retinopathy; artificial intelligence; diabetes mellitus; diagnostics; service; screening For citation: Neroev V.V., Bragin A.A., Zaytseva O.V. Development of a prototype service for the diagnosis of diabetic retinopathy based on fundus photos using artificial intelligence methods. National Health Care (Russia). 2021; 2 (2): 64-72. https://doi.org/10.47093/2713-069X.2021.2.2.64-72

Contacts:

* Corresponding author: Aleksei A. Bragin. E-mail: bragin_aa@igb.ru

The article received: 29.06.2021 The article approved for publication: 21.09.2021 Date of publication: 18.11.2021

Список сокращений:

ДР - диабетическая ретинопатия СД - сахарный диабет

ИИ - искусственный интеллект ПДР - пролиферативная диабетическая ретинопатия

СПВР - система принятия врачебных решений ДМО - диабетический макулярный отек

Диабетическая ретинопатия (ДР) - позднее нейро-микрососудистое осложнение сахарного диабета (СД), развивающееся последовательно от изменений, связанных с повышенной проницаемостью и окклюзией ретинальных сосудов, до появления новообразованных сосудов и фиброглиальной ткани [1]. ДР является основной причиной слепоты у трудоспособного населения развитых стран и входит в число ведущих причин снижения зрения в возрастной группе старше 65 лет [2]. Основными причинами снижения зрения у больных СД являются пролиферативная диабетическая ретинопатия (ПДР) и диабетический макулярный отек (ДМО) [3].

По данным метаанализа эпидемиологических исследований в мире в 2015 году 145 млн человек имели ДР, в том числе 45 млн человек - на стадии, угрожающей потерей зрения [4]. В Российской Федерации в 2016 г. распространенность ДР составила: при СД 1-го типа -38,3 % (3805,6 на 10 тыс. взрослых), при СД 2-го типа -15,0 % (1497,0 на 10 тыс. взрослых) [5]. Длительное бессимптомное течение ДР, неуклонное прогресси-рование заболевания вплоть до потери зрения обусловливают особое значение регулярного офтальмологического мониторинга пациентов с СД с целью своевременного выявления изменений со стороны

глаз, оценки стадии заболевания и выбора адекватной тактики ведения пациента. Принципы и частота мониторинга пациентов с СД и ДР четко регламентированы в клинических рекомендациях (протоколах лечения) «Сахарный диабет: диабетическая ретинопатия, диабетический макулярный отек (КР115)» [1].

Несмотря на комплексный подход к проблеме СД и ДР в нашей стране, в системе организации медицинской помощи пациентам сохраняется ряд проблем, что подчас приводит к поздней диагностике изменений со стороны глаз на стадии осложнений проли-феративной ДР и в итоге к инвалидизации пациентов по зрению [6].

В основе патогенеза ДР лежит нарушение капиллярной перфузии, развитие внутриглазных новообразованных сосудов и ретинального отека. Стенка новообразованных сосудов неполноценна, что приводит к выходу за их пределы как компонентов плазмы, так и цельной крови. Это стимулирует разрастание соединительной ткани в зонах неоваскуляризации. Часто происходит разрыв новообразованных сосудов с развитием преретинальных (перед поверхностью сетчатки) или витреальных (в полость стекловидного тела) кровоизлияний. Рецидивирующие кровоизлияния,

рубцевание задних отделов стекловидного тела ведут к образованию патологических витреоретинальных сращений, которые могут вызвать тракционную отслойку сетчатки.

Современные представления о патогенезе ДР позволяют выделить пять основных процессов в ее развитии: формирование микроаневризм, патологическая сосудистая проницаемость, сосудистая окклюзия, неоваскуляризация и фиброзная пролиферация, сокращение фиброваскулярной ткани и стекловидного тела [1]. Клинически в течении заболевания выделяют три стадии: непролиферативная ДР, препролифе-ративная ДР, пролиферативная ДР [7, 8]. Клинические изменения, характерные для каждой стадии ДР, представлены в таблице 1.

Своевременное выявление диабетических изменений на глазном дне, перехода между стадиями патологического процесса позволяет выбрать адекватную тактику ведения больного, провести панретинальную лазеркоагуляцию и/или интравитреальные инъекции лекарственных препаратов, сохранить зрение пациента. Однако выявление начальных изменений ретинальных микрососудов, а подчас и начальной ре-тинальной неоваскуляризации возможно лишь в процессе осмотра пациента офтальмологом в условиях медикаментозного мидриаза. В спорных клинических случаях требуется выполнение ангиографии с флю-ресцеином, в настоящее время недоступным в нашей стране. Обычный анализ цветных снимков глазного дна далеко не всегда позволяет выявить изменения ретинальных капилляров или нежную сеть новообразованных сосудов.

В связи с этим актуальной представляется задача повышения эффективности и доступности диагностики диабетических изменений глазного дна. В условиях сниженной доступности первичной офтальмологической помощи на части территорий Российской Федерации, особенно для населения отдаленных районов, особую роль могут играть методы автоматической диагностики патологий

с использованием технологий искусственного интеллекта (ИИ). Нейронные сети, обученные на наборах изображений глазного дна с патологией и в норме, способны запоминать миллионы признаков заболевания или его отсутствия по фундус-снимкам и предсказывать наличие и стадию патологии по снимкам пациентов за доли секунды. С математической точки зрения они представляют собой сложные функции, в которых результат (наличие/отсутствие заболевания, соответствие определенной стадии заболевания) зависит от интенсивности пикселей фундус-снимка.

Настоящее исследование направлено на разработку прототипа web-сервиса для диагностики ДР на основе модернизированной остаточной нейронной сети ResNet50 [9] в рамках разрабатываемой в НМИЦ ГБ им. Гельмгольца автоматизированной системы принятия врачебных решений (СПВР).

МАТЕРИАЛЫ И МЕТОДЫ

В исследовании использован датасет Messidor (1200 глаз), находящийся в открытом доступе в сети Интернет [10] и включающий в себя фотографии здорового глазного дна (546 глаз) и глазного дна с патологией (654 глаза). На первом этапе исследования мы ограничились двумя классами изображений без выделения стадий заболевания: 0 - нет ДР и 1 -есть признаки ДР. Примеры фундус-снимков с патологий и без патологии представлены на рисунке 1.

Набор данных был разделен нами на две выборки: для обучения нейронной сети (400 снимков здорового глазного дна и 480 снимков глазного дна с патологией) и для тестирования качества модели (146 снимков здорового глазного дна и 174 снимка глазного дна с патологией). Перед началом исследования все фун-дус-снимки были преобразованы в трехмерные массивы интенсивности пикселей изображения [300 300, 3], нормализованы делением на максимальную интенсивность 255 и разделены на блоки. На рисунке 2 представлены подготовленные для обучения модели примеры блоков изображений.

Таблица 1. Характеристика изменений на глазном дне при различных стадиях ДР [7] Table 1. Characteristics of changes in the fundus at different stages of DR [7]

Стадии ДР Характеристика изменений на глазном дне

Непролиферативная

Микроаневризмы, ретинальные кровоизлияния, «мягкие» («ватные») экссудаты

Препролиферативная (тяжелая непролиферативная)

Наличие хотя бы одного из 3 признаков: - умеренные ИРМА хотя бы в одном квадранте, - венозные аномалии в 2 и более квадрантах, - множественные ретинальные геморрагии в 4 квадрантах глазного дна

Пролиферативная

Неоваскуляризация (и/или фиброзная пролиферация) диска зрительного нерва и/или сетчатки, преретинальные и/или витреальные кровоизлияния, тракционная (или тракционно- регматогенная) отслойка сетчатки, неоваскулярная глаукома

Примечание: ИРМА - интраретинальные микрососудистые аномалии. Note: IRMA - intraretinal microvascular abnormalities.

2

Рис. 1. Примеры фундус-снимков с патологией (1) и без патологии (2). Fig. 1. Examples of fundus images with (1) and without (2) pathology.

U. е.] [в. l.j (l- e.l

Рис. 2. Примеры блоков изображений для обучения модели нейронной сети. Fig. 2. Examples of image blocks for training a neural network model.

Применение метода аугментации позволило увеличить выборку данных в несколько раз. Далее подготовленные числовые массивы подавались на вход нейронной сети. Текущее исследование было основано на обучении модели нейронной сети ResNet50 [9] для распознавания фундус-снимков. Нейронная сеть ResNet50 является функцией АР1 глубокого обучения Ке^ [11] и написана для экспериментов по распознаванию изображений. Фрагмент нейронной сети представлен на рисунке 3.

Сеть состоит из 50 уровней, на каждом из которых с входными массивами данных проводятся математические преобразования для выявления существенных признаков: на третьем слое сети выявляются 9472 признака, на четвертом - 256, на одиннадцатом - 36 928 и т.д. Так, суммарно по набору данных Messidor было выявлено 233 960 578 признаков, которые использовались в дальнейшем для обучения модели нейронной сети. В ходе первой итерации обучения принадлежность к классу задается случайным образом, а далее

Layer (type) Output Shape Param # Connected to

input_2 (InputLayer) [(None, 300, 300, 3) 0

convl_pad (ZeroPadding2D) {None, 306, 306, 3) 0 input_2[0][0l

convl_conv (Conv2D) {None, 150, 150, 64) 9472 convl_pad[0] [0]

convl_bn (BatchNormalization) {None, 150, 150, 64) 256 convl_conv[0]| [0]

convl_relu (Activation) {None, 150, 150, 64) 0 convl_bn[0][0]

pooll_pad (ZeroPadding2D) {None, 152, 152, 64) 0 convl_relu[0][0]

pooU_pool (MaxPooling2D) {None, 75, 75, 64) 0 pooll_pad [0][0]

conv2_blockl_l_conv (Conv2D) {None, 75, 75, 64) 4160 pooll_pool[0]| [0]

conv2_blockl_l_bn (BatchNormali {None, 75, 75, 64) 256 conv2_blockl_l_conv[0][0]

conv2_blockl_l_relu {Activation {None, 75, 75, 64) 0 conv2_blockl_l_bn[0][0]

conv2_blockl_2_conv {Conv2D) {None, 75, 75, 64) 36928 conv2_blockl_l_relu[0][0]

conv2_blockl_2_bn (BatchNormali {None, 75, 75, 64) 256 conv2_blockl_2_conv[0][0]

conv2_blockl_2_relu {Activation {None, 75, 75, 64) 0 conv2_blockl_2_bn[0][0]

conv2_blockl_0_conv (Conv2D) {None, 75, 75, 256) 16640

Рис. 3. Фрагмент нейронной сети ResNet50. Fig. 3. Fragment of the ResNet50 neural network.

проверяется его соответствие истинному значению, корректируются весовые коэффициенты в случае несовпадения, и процесс повторяется.

Таким образом, обучение нейронной сети представляет собой автоматический итерационный процесс поиска весовых коэффициентов на каждом уровне преобразования входного массива данных, в результате которого удается спрогнозировать принадлежность изображения к тому или иному классу (классам, характеризующим наличие признаков заболевания или их отсутствие).

pooll_pool[0][0]

0,6

0,5

10 20 ■ Training SE

30

I Validation SE

Рис. 4. График изменения чувствительности модели нейронной сети в зависимости от количества итераций на обучающей (Training SE) и тестовой (Validation SE) выборках. Fig. 4. Graph of changes in the sensitivity of the neural network model depending on the number of iterations on the training (Training SE) and test (Validation SE) samples.

Обучение нейронной сети проводилось в течение 6 часов и включало 50 итераций (эпох). В ходе обучения отслеживалась чувствительность модели, которая и являлась оптимизируемой метрикой оценки качества обучения нейронной сети. Чувствительность в отличие от доли верных предсказаний демонстрирует способность модели диагностировать патологию при наличии ее признаков на снимке. Графики изменения чувствительности модели нейронной сети в зависимости от количества итераций обучения для обучающего и тестового набора данных представлены на рисунке 4.

Как видно на этом рисунке, даже небольшого количества итераций было достаточно для того, чтобы убедиться, что нейронная сеть хорошо обучается и имеется высокий потенциал для достижения высокой чувствительности модели нейронной сети при предсказании на обучающей выборке. Чувствительность модели, которой удалось достичь в ходе первого этапа экспериментов, составляет 85 % - на обучающей выборке и 65 % - на тестовой выборке. Сравнительно невысокая чувствительность модели на тестовой выборке связана с сомнительной достоверностью исследовательского набора данных, плохим качеством отдельных изображений и требует на втором этапе исследования более тонкой настройки параметров нейронной сети и подготовки достоверных фундус-снимков для дальнейших экспериментов. Кроме того, необходимо в дальнейшем проводить обучение по более оптимальной метрике, учитывающей не только чувствительность модели, но и ее специфичность как способность не определять патологию при ее отсутствии.

0

40

50

Web-сервис с подключенной обученной моделью нейронной сети для диагностики ДР был разработан на языке программирования Python с использованием фреймворка Django. Данный сервис удобен в развертывании как на локальных серверах в учреждениях без выхода в Интернет, так и может быть развернут на удаленном сервере и использоваться на любых мобильных и стационарных устройствах, подключенных к сети Интернет. После первого запуска сервиса на экране устройства отображается первоначальная страница (рис. 5), которая путем скроллинга по вертикали сменяется страницей интерфейса выбора фун-дус-снимков для диагностики (рис. 6).

После нажатия на кнопку «Выбрать снимок» отображается список папок (медиатека), находящихся на локальном устройстве. После выбора снимка нажатием

кнопки «Анализировать» (рис. 6) запускается нейронная сеть для распознавания признаков заболевания.

После завершения работы нейронной сети на экране отображается информация с результатами анализа (рис. 7).

РЕЗУЛЬТАТЫ

В ходе проведенного исследования была сформирована подборка снимков глазного дна, обучена нейронная сеть ResNet50 для распознавания признаков ДР по фундус-снимкам и разработан прототип web-сервиса на фреймворке Р)апдо для демонстрации результатов работы обученной нейронной сети. Полученная чувствительность модели нейронной сети при распознавании любой стадии ДР на небольшом временном отрезке обучения составляет 85 %

fundus-test login

О

Система принятия врачебных решений

' WEB-сервис для диагностики диабетической ретинопатии по фундус-снимкам"

Рис. 5. Начальный интерфейс web-сервиса. Fig. 5. Initial web service interface.

Рис. 6. Интерфейс выбора снимков для диагностики и запуска нейронной сети. Fig. 6. Interface for selecting images for diagnostics and launching a neural network.

Результаты анализа фундус-снимков:

Фундус-снимок

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

• 20060523_50616_0100_PP.tif

• 20060412_61450_0200_PP.tif

• 20051019_38557_0100_PP.tif

• 20060530_55468_0100_PP.tif

• 20060530_55724_0100_PP.tif

• 20060530_55837_0100_PP.tif

• 20060523_50631_0100_PP.tif

• 20060523_50153_0100_PP.tif

Заключение

• Retinopathy detected!

• No retinopathy

• Retinopathy detected!

• Retinopathy detected!

• Retinopathy detected!

• Retinopathy detected!

• No retinopathy

• No retinopathy

FUNDUS-TEST

Рис. 7. Результаты работы web-сервиса. Fig. 7. Results of the web service.

на обучающей выборке и 65 % на тестовой выборке. Вероятность ложных срабатываний сервиса соответственно равна 15 % на обучающей выборке и 35 % на тестовой выборке. Данные показатели не являются пределом для ИИ. В связи с невысоким качеством элементов датасета данное исследование ограничилось оценкой чувствительности модели. В дальнейшем планируется проводить обучение нейронной сети на фундус-снимках реальных пациентов НМИЦ ГБ им. Гельмгольца по оптимальной метрике, учитывающей не только чувствительность модели, но и ее специфичность, а также оценивать качество нейронной сети с помощью площади под кривой (AUC ROC).

Таким образом, первый этап исследований, описанный в настоящей работе, продемонстрировал возможность разработки за короткий срок алгоритма и работающего прототипа программного комплекса под ключ для диагностики любой стадии ДР Данный сервис может быть установлен как на удаленном web-сервере и использоваться на любом устройстве (мобильном гаджете или персональном компьютере) с доступом в сеть Интернет, так и в изолированной защищенной сети без доступа в Интернет. Эксперименты первого этапа исследований продемонстрировали высокий потенциал методов машинного обучения для распознавания признаков ДP и заложили фундамент для разрабатываемой в НМИЦ ГБ им. Гельмгольца автоматизированной СПВР

ОБСУЖДЕНИЕ

Исследования в области использования машинного обучения для диагностики ДP уже проводились

ранее. Например, зарубежные программы Retmark er Screening (Португалия), EyeArt (США) и iGradingM (Великобритания) декларируют высокую чувствительность при классификации изображений глазного дна [12]. Так, чувствительность у iGradingM составила 100 % для любой стадии ДР. Но вероятность ложных срабатываний на тестовой выборке также была равна 100 %, что не позволяет использовать данный программный продукт в условиях реальной клинической практики. Чувствительность у EyeArt оказалась равной 94,7 % (94,2-95,2 %) для любой стадии ДР; 93,8 % (92,9-94,6 %) для препролиферативной ДР и ПДР; 99,6 % (97,0-99,9 %) для ПДР. Ложные срабатывания у EyeArt весьма незначительные: около 4 % как для любой стадии ДР, так и совокупно для препролиферативной ДР и ПДР, около 1 % для ПДР. Чувствительность у Retmarker Screening ниже: 73 % (72,0-74,0 %) для любой стадии ДР; 85,0 % (83,6-86,2 %) для препролиферативной ДР и ПДР; 97,9 % (94,9-99,1 %) для ПДР. Ложные результаты программы Retmarker Screening составили 27 % для любой стадии ДР, 15 % для препролиферативной ДР и ПДР, около 3 % для ПДР. Но достоверность оценок качества данных программ не подтверждена независимыми медицинскими источниками, не подкреплена клиническими испытаниями в реальных условиях, что не позволяет внедрить данные сервисы в широкую медицинскую практику [12].

Настоящее исследование, в отличие от существующих, направлено на разработку прототипа доступного и эффективного web-сервиса для диагностики ДР на основе модернизированной остаточной нейронной сети ResNet50, позволяющего повысить скорость,

мобильность диагностики и сократить нагрузку на бюджет в будущем в рамках разрабатываемой в НМИЦ ГБ им. Гельмгольца автоматизированной СПВР. Данный прототип сервиса хоть и уступает заявленным оценкам чувствительности программы EyeArt, но уже сейчас сопоставим по эффективности диагностики любой стадии ДР с Retmarker Screening и превосходит по ложным срабатываниям программный продукт iGradingM. Достоверность оценок чувствительности настоящего сервиса не вызывает сомнений, так как проверена в ручном режиме опытными офтальмологами НМИЦ ГБ им. Гельмгольца.

ЗАКЛЮЧЕНИЕ

Сниженная доступность первичной офтальмологической помощи для жителей отдаленных территорий страны, акцент на профилактическую направленность отечественного здравоохранения обусловливают актуальность разработки системы диагностики изменений глазного дна с использованием методов ИИ. Особенно важным использование ИИ представляется для ДР, характеризующейся длительным бессимптомным течением, сложностью выявления начальных изменений капиллярного русла в ходе рутинного осмотра пациента на уровне первичного амбулаторно-поликлинического звена.

Проведенное исследование продемонстрировало высокий потенциал методов машинного обучения, способных с высокой чувствительностью отслеживать миллионы признаков заболевания за считаные секунды. Прототип web-сервиса для диагностики ДР на основе нейронной сети ResNet50 в дальнейшем станет основой автоматизированной СПВР, информативным инструментом скрининга больных СД на предмет выявления ДР, в том числе в рамках доврачебного осмотра, а также дальнейшего мониторинга течения заболевания. Фоторегистрация глазного дна пациента с СД в рамках скрининга либо с установленным диагнозом ДР в рамках регулярного мониторинга может быть проведена техническим или средним медицинским

ВКЛАД АВТОРОВ

В.В. Нероев - формулировка идеи, цели и задач исследования, окончательное редактирование и утверждение публикуемой версии рукописи.

А.А. Брагин - статистическая обработка, разработка прототипа сервиса, написание рукописи.

О.В. Зайцева - сбор и систематизация данных для научной работы, лабораторная проверка датасета на достоверность и его разметка, написание и редактирование рукописи.

ЛИТЕРАТУРА/REFERENCES

1 Клинические рекомендации (протоколы лечения) «Сахарный диабет: ретинопатия диабетическая, макулярный отек диабетический (КР115)». Общероссийская общественная организация «Ассоциация врачей-офтальмологов», Общественная организация «Российская ассоциация эндокринологов». URL: http://avo-portal.ru/ doc/fkr (дата обращения: 23.06.2021).

персоналом. Дальнейшая обработка изображений с помощью ИИ позволит выявить наличие признаков, свидетельствующих о появлении/прогрессировании изменений на глазном дне, и вовремя направить пациента в специализированную медицинскую организацию офтальмологического профиля. Данная технология в перспективе может снизить нагрузку на бюджет за счет частичной замены высококвалифицированных кадров искусственным интеллектом.

В ходе дальнейших этапов исследования планируется повысить чувствительность модели нейронной сети за счет выбора оптимальных метрик обучения нейронной сети, более тонкой настройки ее параметров и повышения достоверности исследуемого набора медицинских данных.

Описанная в статье технология предназначена для обработки фотографических изображений глазного дна пациентов, полученных с помощью обычной фундус-камеры, однако перспективным представляется расширение ее возможностей в направлении анализа снимков оптической когерентной томографии центральной зоны глазного дна с целью выявления скопления интра- и/или субретинальной жидкости, отложения гиперрефлективных фокусов, соответствующих твердому экссудату. Данная функция может быть информативным инструментом диагностики и мониторинга диабетической макулопатии, выбора тактики ведения больного в отношении назначения или возобновления интравитреальных инъекций ингибитора ангиогенеза.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Conflict of interests. The authors declare that there is no conflict of interests.

Финансирование. Исследование не имело спонсорской поддержки (собственные ресурсы).

Financial support. The study was not sponsored (own resources).

AUTHOR CONTRIBUTIONS

Vladimir V. Neroev - formulation of the idea, goals and objectives of the research, final editing and approval of the published version of the manuscript.

Aleksei A. Bragin - statistical processing, service prototype development, manuscript writing.

Olga V. Zaytseva - collection and systematization of data for scientific work, laboratory validation of the dataset and its markup, writing and editing of the manuscript.

1 Clinical recommendations (treatment protocols) "Diabetes mellitus: diabetic retinopathy, diabetic macular edema (CR115)". All-Russian public organization "Association of

Ophthalmologists", Public Organization "Russian Association of Endocrinologists" (In

Russian). URL: http://avo-portal.ru/doc/fkr (accessed 23.06.2021).

2 Klein R., Klein B., Moss S., et al. The Wisconsin Epidemiologic Study of Diabetic Retinopathy: II. Prevalence and risk of diabetic retinopathy when age at diagnosis is less than 30 years. Arch Ophthalmol. 1984; 102: 520-526. https://doi.org/10.1001/ archopht.1984.01040030398010. PMID: 6367724

3 Global report on diabetes. Geneva: World Health Organization. 2018; 88 p. URL: https://apps.who.int/iris/bitstream/handle/10665/204871/9789241565257_eng.pdf

4 Здоровье глаз и сахарный диабет. Руководство для медицинских работников. IDF и фонд Фреда Холлоуза. Брюссель, Бельгия. 2017; 40 c. URL: https://www.idf.org/ component/attachments/attachments.html?id=875&task=download (дата обращения: 23.06.2021).

5 Липатов Д.В., Викулова О.К., Железнякова А.В. и др. Эпидемиология диабетической ретинопатии в Российской Федерации по данным Федерального регистра пациентов с сахарным диабетом (2013-2016). Сахарный диабет. 2018; 21(4): 230-240. https://doi.org/10.14341/DM9797

6 Нероев В.В., Зайцева О.В., Михайлова Л.А. Заболеваемость диабетической ретинопатией в Российской Федерации по данным федеральной статистики. Российский офтальмологический журнал. 2018; 11(2): 5-9. https://doi.org/10.21516/2072-0076-2018-11-2-5-9

7 Porta M., Kohner E. Screening for diabetic retinopathy in Europe. Diabetic Medicine. 1991; 8: 197-198. https://doi.org/10.1111/j.1464-5491.1991.tb01571.x. PMID: 1828731

8 Early Treatment Diabetic Retinopathy Study Research Group. Photocoagulation for diabetic macular edema. Early Treatment Diabetic Retinopathy Study (ETDRS) report No 1. Arch Ophthalmol. 1985; 103: 1796-1806. https://doi.org/10.1001/ archopht.1985.01050120030015. PMID: 2866759

9 He K., Zhang X., Ren S., et al. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016; 770-778. https://doi.org/10.1109/cvpr.2016.90

10 Decenciere E., Zhang X., Cazuguel G., et al. Feedback on a publicly distributed database: the Messidor database. Image Analysis & Stereology. 2014; 33(3): 231-234. https://doi. org/10.5566/ias.1155. ISSN 1854-5165

11 Джулли А., Пал С. Библиотека Keras - инструмент глубокого обучения. М.: ДМК Пресс, 2017. 294 с. ISBN 978-5-97060-573-8

12 Tufail A., Rudisill C., Egan C., et al. Automated Diabetic Retinopathy Image Assessment Software: Diagnostic Accuracy and Cost-Effectiveness Compared with Human Graders. Ophthalmology. 2017; 124(3): 343-351. https://doi.org/10.1016/j. ophtha.2016.11.014. PMID: 28024825

Информация об авторах

2 Klein R., Klein B., Moss S., et al. The Wisconsin Epidemiologic Study of Diabetic Retinopathy: II. Prevalence and risk of diabetic retinopathy when age at diagnosis is less than 30 years. Arch Ophthalmol. 1984; 102: 520-526. https://doi.org/10.1001/ar-chopht.1984.010400.30398010 PMID: 6367724

3 Global report on diabetes. Geneva: World Health Organization. 2018; 88 p. URL: https://apps.who.int/iris/bitstream/handle/10665/204871/9789241565257_eng.pdf

4 Eye health and diabetes. A guide for healthcare professionals. IDF and the Fred Hollows Foundation. Brussels, Belgium. 2017; 40 p (in Russian). URL: https://www.idf. org/component/attachments/attachments.html?id=875&task=download (accessed 23.06.2021).

5 Lipatov D.V., Vikulova O.K., Zheleznyakova A.V., et al. Trends in the epidemiology of diabetic retinopathy in Russian Federation according to the Federal Diabetes Register (2013-2016). Diabetes Mellitus. 2018; 21(4): 230-240 (In Russian). https://doi. org/10.14341/DM9797

6 Neroev V.V., Zaytseva O.V., Mikhailova L.A. Incidence of diabetic retinopathy in the Russian Federation according to Federal statistics. Russian Ophthalmological Journal. 2018; 11(2): 5-9 (In Russian). https://doi.org/10.21516/2072-0076-2018-11-2-5-9

7 Porta M., Kohner E. Screening for diabetic retinopathy in Europe. Diabetic Medicine. 1991; 8: 197-198. https://doi.org/10.1111/j.1464-5491.1991.tb01571.x. PMID: 1828731

8 Early Treatment Diabetic Retinopathy Study Research Group. Photocoagulation for diabetic macular edema. Early Treatment Diabetic Retinopathy Study (ETDRS) report No 1. Arch Ophthalmol. 1985; 103: 1796-1806. https://doi.org/10.1001/ar-chopht.1985.01050120030015. PMID: 2866759

9 He K., Zhang X., Ren S., et al. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016; 770-778. https://doi.org/10.1109/cvpr.2016.90

10 Decenciere E., Zhang X., Cazuguel G., et al. Feedback on a publicly distributed database: the Messidor database. Image Analysis & Stereology. 2014; 33(3): 231-234. https://doi. org/10.5566/ias.1155. ISSN 1854-5165

11 Julli A., Pal S. Deep learning with Keras. Moscow: DMK Press, 2017. 294 p (In Russian). ISBN 978-5-97060-573-8

12 Tufail A., Rudisill C., Egan C., et al. Automated Diabetic Retinopathy Image Assessment Software: Diagnostic Accuracy and Cost-Effectiveness Compared with Human Graders. Ophthalmology. 2017; 124(3): 343-351. https://doi.org/10.1016/j.oph-tha.2016.11.014. PMID: 28024825

Нероев Владимир Владимирович - д-р мед. наук, профессор, академик РАН, директор ФГБУ «Национальный медицинский исследовательский центр глазных болезней им. Гельмгольца» Минздрава России; зав. кафедрой глазных болезней ФДПО ФГБОУ ВО «Московский государственный медико-стоматологический университет им. А.И. Евдокимова» Минздрава России. ORCID: https://orcid.org/0000-0002-8480-0894

Брагин Алексей Александрович - канд. техн. наук, начальник отдела информационных технологий ФГБУ «Национальный медицинский исследовательский центр глазных болезней им. Гельмгольца» Минздрава России. ORCID: https://orcid.org/0000-0002-5331-632X

Зайцева Ольга Владимировна - канд. мед. наук, заместитель директора по организационно-методической работе ФГБУ «Национальный медицинский исследовательский центр глазных болезней им. Гельмгольца» Минздрава России; доцент кафедры глазных болезней ФДПО ФГБОУ ВО «Московский государственный медико-стоматологический университет им. А.И. Евдокимова» Минздрава России. ORCID: https://orcid.org/0000-0003-4530-553X

Information about the authors

Vladimir V. Neroev - Dr. of Sci. (Medicine), Professor, Academician of the RAS, Director of Helmholtz National Medical Research Center of Eye Diseases; Head of Chair of the Department of Eye Diseases, A.I. Yevdokimov Moscow State University of Medicine and Dentistry. ORCID: https://orcid.org/0000-0002-8480-0894

Aleksei A. Bragin - Cand. of Sci. (Engineering), Head of the Information Technology Department of Helmholtz National Medical Research Center of Eye Diseases. ORCID: https://orcid.org/0000-0002-5331-632X

Olga V. Zaytseva - Cand. of Sci. (Medicine), Deputy Director of Helmholtz National Medical Research Center of Eye Diseases; Associate Professor, Department of Eye Diseases, A.I. Yevdokimov Moscow State University of Medicine and Dentistry. ORCID: https://orcid.org/0000-0003-4530-553X

i Надоели баннеры? Вы всегда можете отключить рекламу.