CC BY
32
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - Vol. 28, № 3 - P. 73-76
УДК: 004.932.72'1:616.5-006 DOI: 10.24412/1609-2163-2021-3-73-76
РАСПОЗНАВАНИЕ ДИАБЕТИЧЕСКОЙ РЕТИНОПАТИИ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ ГЛАЗНОГО ДНА ПРИ ПОМОЩИ ОСТАТОЧНОЙ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ
Т.Х. МАМЕДОВ, Д.В. ДЗЮБА, А.Н. НАРКЕВИЧ
ФГБОУВО «Красноярский государственный медицинский университет им. проф. В.Ф. Войно-Ясенецкого» Минздрава России, ул. Партизана Железняка, д. 1, г. Красноярск, 660022, Россия, e-mail: [email protected]
Аннотация. Целью данного исследования явилась разработка модели остаточной свёрточной нейронной сети для распознавания диабетической ретинопатии на цифровых изображениях глазного дна. Материалы и методы исследования. В исследовании использовались изображения из электронного ресурса Kaggle. В набор включены 4 584 изображения глазного дня, имеющие признаки диабетической ретинопатии, и 7 914 без данных признаков. Предварительная обработка изображений осуществлялась в программной среде программирования PyCharm, на языке программирования Python. Для классификации изображений выбрана модель остаточной сверточной нейронной сети. Результаты и их обсуждение. Первичная оценка классификации с учетом стадии диабетической ретинопатии не позволила получить высокий показатель точности. Это связанно с тем, что модель не способна определять ключевые признаки диабетической ретинопатии среди разных стадий болезни на множественном наборе изображений. Для решения этой проблемы была проведена проверка полученной модели на бинарном пакете изображений. Бинарный пакет изображений был разделён на две группы, в первой - диабетическая ретинопатия присутствует, во второй - отсутствует. Это позволило лучше определять ключевые признаки заболевания. При этом была достигнута высокая точность классификации с низким показателем функции потерь - 91,1 [90,1; 92,0]% и 0,2034 соответственно. Заключение. Полученная математическая модель остаточной сверточной нейронной сети может быть использована для скринноговой диагностики диабетической ретинопатии у больных сахарным диабетом.
Ключевые слова: классификация изображений, нейронная сеть, глазное дно, диабетическая ретинопатия, диагностика.
DETECTION OF DIABETIC RETINOPATHY ON DIGITAL IMAGES OF THE EYEFULFUL WITH RESIDUAL
CONVENTIONAL NEURAL NETWORK
T.H. MAMEDOV, D.V. DZYUBA, A.N. NARKEVICH
Krasnoyarsk State Medical University named after Prof. V.F. Voino-Yasenetski, Partisan Zheleznyak Str., 1, Krasnoyarsk, Krasnoyarsk region, 660022, Russia, e-mail: [email protected]
Abstract. The research purpose was to develop a model of a residual convolutional neural network for detecting diabetic retinopathy on digital images of the fundus. Materials and methods. The study used images from the Kaggle electronic resource. The set includes 4584 images of the eye day with signs of diabetic retinopathy, and 7914 without these signs. Preprocessing of images was carried out in the PyCharm programming environment, in the Python programming language. A residual convolutional neural network model was chosen for image classification. Results and its discussion. The initial assessment of the classification taking into account the stage of diabetic retinopathy did not allow to obtain a high accuracy rate. This is due to the fact that the model is not able to determine the key signs of diabetic retinopathy among different stages of the disease on a multiple set of images. To solve this problem, the obtained model was tested on a binary image package. The binary image package was divided into two groups, in the first - diabetic retinopathy is present, in the second - it is absent. This made it possible to better identify the key signs of the disease. At the same time, high classification accuracy was achieved with a low loss function indicator - 91.1 [90.1; 92.0] % and 0.2034, respectively. Conclusions. The obtained mathematical model of the residual convolutional neural network can be used for the screen-based diagnosis of diabetic retinopathy in patients with diabetes mellitus.
Keywords: image classification, neural network, fundus, diabetic retinopathy, diagnostics.
Введение. В настоящее время активное развиваются различные компьютерные технологии. При этом достаточно быстро развиваются технологии, основанные на машинном обучении - нейронные сети. Нейронные сети постепенно становятся неотъемлемой составляющей повседневной жизни человека. Они незаменимы там, где требуется быстрая обработка больших объемов информации и автоматизация различных процессов.
Постепенно нейронные сети внедряются и в практику здравоохранения [1,4,5,8,12,14]. Они обладают хорошими перспективами в диагностике различных заболеваний. Так, например, для классификации и распознавания заболеваний на цифровых изображениях
успешно применяются модели свёрточных нейронных сетей [9-11,13]. Процесс не инвазивный и не требует овладения сложными навыками. Соответственно это заметно упрощает скрининговую диагностику.
Одним из самых распространённых и тяжёлых осложнений у пациентов с сахарным диабетом является диабетическая ретинопатия (ДР) [2,3,6]. При ДР поражаются кровеносные сосуды сетчатки глаза. В дальнейшем развитие ДР может привести к потере зрения [7]. Из-за слабого проявления симптомов на начальных стадиях, ДР чаще диагностируют уже на поздних стадиях. В связи с этим вопрос о своевременной и точной диагностике таких осложнений достаточно актуален.
ВЕСТНИК НОВЫХ МЕДИЦИНСКИХ ТЕХНОЛОГИЙ - 2021 - Т. 28, № 3 - С. 73-76 JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - Vol. 28, № 3 - P. 73-76
Цель исследования - разработка модели остаточной свёрточной нейронной сети для распознавания диабетической ретинопатии на цифровых изображениях глазного дна.
Материалы и методы исследования. В данной работе в качестве материалов для обучения модели свёрточной нейронной сети использовалась база электронных снимков глазного дна из открытого ре-позитория ресурса Kaggle (https://www.kaggle.com/c/ diabetic-retinopathy-detection). Всего использовано 12 498 изображений глазного дна. Из них -4 584 изображения, на которых присутствуют признаки ДР и 7 914 - с отсутствием данных признаков. Изображения с ДР разделены на 4 группы - лёгкая не-пролиферативная ДР (2 291 изображение), умеренная непролиферативная ДР (1 683 изображения), тяжёлая непролиферативная ДР (305 изображений) и проли-феративная ДР (305 изображений). Пример используемых изображений представлен на рис. 1*.
Все изображения были уменьшены и обрезаны до разрешения 512*512 пикселей. Набор разделён на три выборки:
- обучающая выборка (70% от всей выборки) -изображения, на которых происходило непосредственное обучение;
- валидационная выборка (20% от обучающей выборки) - изображения, с помощью которых происходил контроль обучения;
- тестовая выборка (30% от всей выборки) -изображения, на которой происходила оценка эффективности нейронной сети.
Предварительная обработка изображений и обучение нейронной сети осуществлялись в программной среде программирования PyCharm (Community Edition 2020 версии 2.2), на языке программирования Python (версии 3.7.5).
Для того, чтобы обучить более эффективную нейронную сеть произведён препроцессинг в ходе которого первоначальное количество изображений увеличено в 360 раз благодаря таким алгоритмам обработки как:
- нормализация изображений - значения всех пикселей были нормализованы до значений от 0 до 1;
- поворот изображений - каждое изображение случайным образом поворачивалось на угол от 1 до 89 градусов;
- горизонтальное и вертикальное отображение изображений - каждое изображение случайным образов зеркально отражалось относительно горизонтальной и вертикальной оси.
- перемешивание изображений - случайным образом менялся порядок изображений.
Используемый набор изображений позволяет настроить и обучить модель сверточной нейронной
сети для бинарной и не бинарной классификации. Таким образом, модель позволит определить наличие или отсутствие ДР на изображениях глазного дна.
Таблица 1
Результат предварительной обработки изображений
№ Набор изображений Количество обучающих изображений в наборе Количество обучающих изображений в наборе (после препроцес-синга)
1 ДР отсутствует, ДР присутствует (все стадии) 6 998 2 519 280
2 Лёгкая непролиферативная ДР, Остальные стадии ДР (2, 3 и 4) 2 566 923 760
3 Умеренная непролиферативная ДР, Остальные стадии ДР (3 и 4) 1 284 462 240
4 Тяжёлая непролиферативная ДР, Пролиферативная ДР 341 122 760
5 ДР отсутствует, Лёгкая непролиферативная ДР, Умеренная непролиферативная ДР, Тяжёлая непролиферативная ДР, Пролиферативная ДР 6 998 2 519 280
Для обучения выбрана модель остаточной свер-точной нейронной сети (ОСНС). В отличии от обычной сверточной нейронной сети ОСНС имеет добавочные слои «быстрого доступа», которые минуют несколько слоёв для того, чтобы усилить влияние различных признаков в более глубоких слоях сети.
Качество построенной и обученной модели оценивалось с помощью показателя точности (%) и функцией потерь, с 95% доверительным интервалом (95% ДИ). Точность демонстрирует способность модели классифицировать изображения, а функция потерь показывает ошибку между реальными и полученными данными. Соответственно, чем выше процент точности и, чем ниже показатель функции потерь, тем нейронная сеть лучше определяет искомое заболевание. Помимо данных показателей для оценки эффективности ОСНС использовались показатели чувствительности и специфичности с 95% ДИ.
Результаты и их обсуждение. Для наглядной оценки качества классификации построенную модель ОСНС применяют на тестовой выборке, которая ранее не учувствовала в процессе обучения данной модели. В ходе работы было установлено, что ОСНС на множественном пакете изображений (ДР отсутствует, лёгкая непролиферативная ДР, умеренная не-пролиферативная ДР, тяжёлая непролиферативная ДР и пролиферативная ДР) демонстрирует низкие показатели точности и высокие показатели функции потерь (табл. 2).
Это свидетельствуют о том, что данная модель не может определить ключевые признаки ДР на изоб-
Рисунки данной статьи представлены на обложке 3
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - Vol. 28, № 3 - P. 73-76
ражениях глазного дна при множественной классификации изображений глазного дна. Для исправления ситуации проведена классификация на бинарном пакете изображений (ДР есть и ДР нет). Показатель точности в этом случае достиг 91,1 [90,1; 92,0]%, а функция потерь при этом достигла отметки 0,2034 (табл. 2). Чувствительность данной математической модели ОСНС составила 89,3 [87,9; 90,5]%, а специфичность - 92,1 [91,4; 92,8]%. На рис. 2 представлена архитектура полученной в результате обучения ОСНС. Данная архитектура представлена 14 сверточ-ными слоями с маской размером 3*3 и 1*1, 10 слоями нормализации, 5 максимизирующими и усредняющими слоями объединения и 3 полносвязными слоями. В обученную математическую модель ОСНС включено 3 добавочных слоя «быстрого доступа», которые представлены комбинацией сверточного слоя с маской размером 1*1 и слоя нормализации. Данные добавочные слои позволяют передавать сигнал минуя 4 слоя для усиления влияние поверхностных слоев ОСНС на более глубокие.
Таблица 2
Результат классификации ГСНС на тестовой выборке
ОСНС Точность(%) Функция потерь
Классификация на множественном пакете 62,1 [61,0; 63,1] 0,9534
Классификация на бинарном пакете изображений 91,1 [90,1; 92,0] 0,2034
Несмотря на то, что точность множественной классификации, составила лишь 62,1 [61,0; 63,1]%, представленные результаты демонстрируют, что построенная модель ОСНС достаточно хорошо справляется с бинарной классификацией ДР на изображениях глазного дна, определяя принципиальное наличие или отсутствие признаков ДР на изображениях. Значения показателей чувствительности и специфичности свидетельствуют о том, что полученная математическая модель ОСНС может быть использована как для скрининговых, так и для дифференциально диагностических исследований глазного дна.
Заключение. В ходе данной работы была построена математическая модель ОСНС, которая позволяет с достаточно высокой точностью определять наличие признаков ДР на цифровых изображениях глазного дна. Включение данной модели в медицинское оборудование или медицинские информационные системы позволит осуществлять ускоренную автоматизированную преддиагностику ДР у больных сахарным диабетом как при проведении скрининго-вых, так и дифференциально диагностических исследований сетчатки глаза.
Литература / References
1. Брагинский М.Я., Вечканов И.Н., Глущук А.А., Еськов В.М., Еськов В.В., Меркулова Н.Н., Мишина Е.А., Пашнин А.С., Полу-хин В.В., Степанова Д.И., Филатова О.Е., Филатов М.А., Хадар-
цев А.А., Хадарцева К.А., Хисамова А.В., Шипилова Т.Н., Чанту-рия С.М. Системный анализ, управление и обработка информации в биологии и медицине. Часть VIII. Общая теория систем в клинической кибернетике / Под ред. В.М. Еськова, А.А. Хадарцева. Самара: ООО «Офорт», 2009. 198 с. / Braginskiy MYa, Vechkanov IN, Glushchuk AA, Es'kov VM, Es'kov VV, Merkulova NN, Mishina EA, Pashnin AS, Polukhin VV, Stepanova DI, Filatova OE, Filatov MA, Khadartsev AA, Khadartseva KA, Khisamova AV, Shipilova TN, Chanturiya SM. Sistemnyy analiz, upravlenie i obrabotka informatsii v bi-ologii i meditsine. Chast' VIII. Obshchaya teoriya sistem v klinicheskoy kibernetike [System analysis, management and processing of information in biology and medicine. Part VIII. General theory of systems in clinical cybernetics]. Pod red. V.M. Es'kova, A.A. Khadartseva. Samara: OOO «Ofort»; 2009. Russian.
2. Дедов И.И., Шестакова М.В., Викулова О.К. Эпидемиология сахарного диабета в Российской Федерации: клинико-статистиче-ский анализ по данным Федерального регистра сахарного диабета // Сахарный диабет. 2017. T. 20, №1. C. 13-41 / Dedov II, Shestakova MV, Vikulova OK. Epidemiologiya sakharnogo diabeta v Rossiyskoy Federatsii: kliniko-statisticheskiy analiz po dannym Federal'nogo registra sakharnogo diabeta [Epidemiology of diabetes mellitus in the Russian Federation: clinical and statistical analysis according to the Federal Register of Diabetes Mellitus]. Sakharnyy diabet. 2017;20(1):13-41. Russian.
3. Демидова Т.Ю., Кожевников А.А. Диабетическая ретинопатия: история, современные подходы к ведению, перспективные взгляды на профилактику и лечение // Сахарный диабет. 2020. Т. 23, № 1. С. 95-105 / Demidova TY, Kozhevnikov AA. Diabeticheskaya reti-nopatiya: istoriya, sovremennye podhody k vedeniyu, perspektivnye vzglyady na profilaktiku i lechenie [Diabetic retinopathy: history, current management approaches, perspective views on prevention and treatment]. Saharnyj diabet. 2020;23(1):95-105. Russian.
4. Еськов В.М., Фудин Н.А., Филатова О.Е. Организованный хаос в нейросетях мозга. Причины хаоса в движениях человека // Вестник новых медицинских технологий. 2018. №4. C. 292-296. DOI: 10.24411/1609-2163-2018-16266 / Es'kov VM, Fudin NA, Filatova OE. Organizovannyy khaos v neyrosetyakh mozga. Prichiny khaosa v dvizheniyakh cheloveka [Dynam-ics of complex biosystems: an organized chaos in neural networks of the brain causes the chaos in human movements]. Vestnik novykh meditsinskikh tekhnologiy. 2018;4:292-6. DOI: 10.24411/1609-2163-2018-16266. Russian.
5. Еськов В.М., Хромушин В.А., Пятин В.Ф., Еськов В.В. Хаос нейросетей мозга - основы его эвристической деятельности // Вестник новых медицинских технологий. 2018. №4. C. 284-291. DOI: 10.24411/1609-2163-2018-16264 / Es'kov VM, Khromushin VA, Py-atin VF, Es'kov VV. Khaos neyrosetey mozga - osnovy ego evristicheskoy deyatel'nosti [Chaos of the brain neural networks - the basis of its heuristic activity]. Journal of New Medical Technologies. 2018;4:284-91. DOI: 10.24411/1609-2163-2018-16264. Russian.
6. Осетрова Н.Б., Кублик Е.С., Минеева Е.С. Кардиоренальный синдром у больных с сахарным диабетом 2 типа и гипертонической болезнью // Сибирское медицинское обозрение. 2020. № 1. С. 45-54 / Osetrova NB, Kublik ES, Mineeva ES. Kardiorenal'nyy sindrom u bol'nykh s sakharnym diabetom 2 tipa i gipertonicheskoy bolezn'yu [Cardiorenal syndrome in patients with type 2 diabetes mellitus and hypertension]. Sibirskoe meditsinskoe obozrenie. 2020;(1):45-54. Russian.
7. Павлов Б.В., Зеленева Ю.В. Осложнения при сахарном диабете // Тенденции развития науки и образования. 2017. № 28-2. С. 23-27 / Pavlov BV, Zeleneva YUV. Oslozhneniya pri saharnom diabete [Complications of diabetes mellitus]. Tendencii razvitiya nauki i obra-zovaniya. 2017;28(2):23-7. Russian.
8. Ручай А.Н., Кобер В.И., Дорофеев К.А. Классификация патологий молочной железы с использованием глубокой сверточной нейронной сети и трансферного обучения // Информационные процессы. 2020. Т. 20, № 4. С. 357-365 / Ruchaj AN, Kober VI, Dorofeev KA. Klassifikaciya patologij molochnoj zhelezy s ispol'zovaniem glubokoj svertochnoj nejronnoj seti i transfernogo obucheniya [Classification of breast pathologies using deep convolutional neural network and transfer learning]. Informacionnye processy. 2020;20(4):357-65. Russian.
9. Alanazi H.O., Abdullah A.H., Oureshi K.N. A critical review for developing accurate and dynamic predictive models using machine learning methods in medicine and health care // Journal of medical systems. 2017. Vol. 41, № 4. P. 69 / Alanazi HO, Abdullah AH, Oureshi KN. A critical
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - Vol. 28, № 3 - P. 73-76
review for developing accurate and dynamic predictive models using machine learning methods in medicine and health care. Journal of medical systems. 2017;(41)4:69.
10. Esteva A., Chou K., Yeung S. Deep learning-enabled medical computer vision // NPJ digital medicine. 2021. Vol. 4, № 1. P. 5 / Esteva A, Chou K, Yeung S. Deep learning-enabled medical computer vision. NPJ digital medicine. 2021;(4)1:5.
11. Gulshan V., Rajan R.P., Widner K. Performance of a deep-learning algorithm vs manual grading for detecting diabetic retinopathy in India // JAMA ophthalmology. 2019. Vol. 137, № 9. P. 987-993 / Gulshan V, Rajan RP, Widner K. Performance of a deep-learning algorithm vs manual grading for detecting diabetic retinopathy in India. JAMA ophthalmology. 2019;(137)9:987-93.
12. Khadartsev A.A., Zilov V.G., Eskov V.M., Ilyashenko L.K. New effect in physiology of human nervous muscle system // Bulletin of Experimental Biology and Medicine. 2019. Vol. 167, № 4. P. 419-423 /
Khadartsev AA, Zilov VG, Eskov VM, Ilyashenko LK. New effect in physiology of human nervous muscle system. Bulletin of Experimental Biology and Medicine. 2019;167(4):419-23.
13. Kumar A., Kim J., Lyndon D. An ensemble of fine-tuned con-volutional neural networks for medical image classification // IEEE journal of biomedical and health informatics. 2016. Vol. 21, № 1. P. 31-40 / Kumar A, Kim J, Lyndon D. An ensemble of fine-tuned convolutional neural networks for medical image classification. IEEE journal of biomedical and health informatics. 2016;(21)1:31-40.
14. Lee S., Celik S., Logsdon B.A. A machine learning approach to integrate big data for precision medicine in acute myeloid leukemia // Nature communications. 2018. Vol. 9, № 1. P. 42 / Lee S, Celik S, Logsdon BA. A machine learning approach to integrate big data for precision medicine in acute myeloid leukemia. Nature communications. 2018;(9)1:42.
Библиографическая ссылка:
Мамедов Т.Х., Дзюба Д.В., Наркевич А.Н. Распознавание диабетической ретинопатии на цифровых изображениях глазного дна при помощи остаточной сверточной нейронной сети // Вестник новых медицинских технологий. 2021. №3. С. 73-76. БОТ: 10.24412/1609-2163-2021-3-73-76.
Bibliographic reference:
Mamedov TH, Dzyuba DV, Narkevich AN. Raspoznavanie diabeticheskoy retinopatii na tsifrovykh izobrazheniyakh glaznogo dna pri pomoshchi ostatochnoy svertochnoy neyronnoy seti [Detection of diabetic retinopathy on digital images of the eyefulful with residual conventional neural network]. Journal of New Medical Technologies. 2021;3:73-76. DOI: 10.24412/1609-2163-2021-3-73-76. Russian.
