CC BY
25
© МАМЕДОВ Т. Х., ДЗЮБА Д. В., НАРКЕВИЧ А. Н.
УДК 004.932.72>1:616.5-006
DOI: 10.20333/25000136-2022-1-83-87
Применение сверточных нейронных сетей для распознавания диабетической ретинопатии на цифровых изображениях
Т. Х. Мамедов, Д. В. Дзюба, А. Н. Наркевич
Красноярский государственный медицинский университет имени профессора В.Ф. Войно-Ясенецкого, Красноярск 660022, Российская Федерация
Цель исследования. Обучение модели сверточной нейронной сети для распознавания диабетической ретинопатии на цифровых изображениях глазного дна.
Материал и методы. Использован набор цифровых изображений из электронного открытого репозитория Kaggle. Набор включает 12 498 снимков глазного дна: 4 584 снимков - с наличием признаков диабетической ретинопатии, 7 914 - с отсутствием таких признаков. Изображения с наличием признаков диабетической ретинопатии также разделялись на стадии. Построение математических моделей сверточной нейронной сети проводилось в программной среде программирования PyCharm на языке программирования Python.
Результаты. Максимальная точность при обучении математической модели сверточной нейронной сети для классификации на 5 классов (отсутствие признаков диабетической ретинопатии и 4 стадии при наличии таких признаков) составила лишь 57,4 [56,9; 57,9]%. При обучении математической модели сверточной нейронной сети для бинарной классификации (наличие диабетической ретинопатии вне зависимости от стадии и ее отсутствие) была получена точность распознавания диабетической ретинопатии на цифровых изображениях сетчатки глаза 80,7 [79,9; 81,2]%.
Заключение. Обученная модель сверточной нейронной сети для бинарной классификации с достаточной точностью позволяет решать задачу классификации и распознавать наличие диабетической ретинопатии на цифровых изображениях сетчатки глаза. В связи с этим, данная модель может быть использована для скрининоговой диагностики диабетической ретинопатии при интегрировании с медицинскими информационными системами или соответствующим медицинским оборудованием.
Ключевые слова: сверточная нейронная сеть, диабетическая ретинопатия, глазное дно, осложнение, машинное обучение, диагностика. Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи. Для цитирования: Мамедов ТХ, Дзюба ДВ, Наркевич АН. Применение сверточных нейронных сетей для распознавания диабетической ретинопатии на цифровых изображениях. Сибирское медицинское обозрение. 2022;(1):83-87. DOI: 10.20333/25000136-2022-1-83-87
Application of convolutional neural networks for recognition of diabetic retinopathy in digital images
T. H. Mamedov, D. V. Dzjuba, A. N. Narkevich
Prof. V. F. Voino-Yasenetsky Krasnoyarsk State Medical University, Krasnoyarsk 660022, Russian Federation
The aim of the research. Training of a convolutional neural network for recognition of diabetic retinopathy in digital images of the ocular fundus. Material and methods. A set of digital images from the Kaggle open-access digital repository was used. The set included 12,498 scans of the ocular fundus: 4,584 scans included signs of diabetic retinopathy while 7,914 images did not have such signs. The images with signs of diabetic retinopathy were additionally subdivided according to the disease stages. Building of mathematical models for the convolutional neural network was performed in the PyCharm programming environment using the Python programming language.
Results. The maximum accuracy achieved during training of the mathematical model of the convolutional neural network for classification into 5 classes (absence of diabetic retinopathy signs and 4 stages in presence of such signs) was only 57.4 % [56.9; 57.9]. Training of the mathematical model of the convolutional neural network for binary classification (presence of retinopathy at any stage or its absence) lead to 80.7 % accuracy [79.9; 81.2] in recognition of diabetic retinopathy on digital images of the eye retina.
Conclusion. A trained convolutional neural network model for binary classification provides for a sufficient degree of accuracy in classification and recognition of presence of diabetic retinopathy in digital images of the eye retina. Therefore, this model may be applied for screening of diabetic retinopathy if integrated with medical information systems or relevant medical equipment.
Key words: convolutional neural network, diabetic retinopathy, fundus, complication, machine learning, diagnostics.
Conflict of interest. The authors declare the absence of obvious and potential conflicts of interest associated with the publication of this article.
Citation: Mamedov TH, Dzjuba DV, Narkevich AN. Application of convolutional neural networks for recognition of diabetic retinopathy in digital images.
Siberian Medical Review. 2022;(1):83-87. DOI: 10.20333/25000136-2022-1-83-87
Введение
Диабетическая ретинопатия (ДР) является частым осложнением у пациентов с сахарным диабетом [1, 2, 4]. Чаще всего ДР диагностируют на поздних стадиях из-за того, что на ранних стадиях она протекает
практически бессимптомно. Данное осложнение поражает сосуды сетчатки глаза и зачастую может приводить к полной потере зрения. В связи с этим своевременная, качественная и точная диагностика ДР является важной задачей в медицине [3, 11, 12].
Мамедов Т. Х., Дзюба Д. В., Наркевич А. Н. Mamedov T. H., Dzjuba D. V., Narkevich A. N.
Применение сверточных нейронных сетей для распознавания диабетической ретинопатии на цифровых изображениях Application of convolutional neural networks for recognition of diabetic retinopathy in digital images
С бурным развитием информационных технологий в диагностике стали появляться новые высокотехнологические методы, основанные на машинном обучении [5, 6, 7, 10, 15]. Такие методы позволили заметно упростить скрининговые исследования, особенно в тех исследованиях, где специалистам необходимо работать с большим объёмом данных.
В офтальмологии для работы с изображениями применяются сверточные нейронные сети (СНС). СНС отлично зарекомендовали себя как полезный инструмент в решении задач классификации изображений [13, 14]. Об эффективности применения СНС для классификации изображений с целью обнаружения ДР свидетельствуют исследование, в котором эффективность СНС оказалась выше, чем работа эндоскопистов [8]. Подобный результат прослеживается и в других исследованиях, посвященных применению математического аппарата СНС для распознавания патологии на цифровых изображениях [9], что говорит о достаточно высокой эффективности применения СНС. В связи с этим применение средств машинного обучения, в том числе нейронных сетей, для решения медицинских задач заслуживает отдельного внимания. В связи с появлением открытых баз данных содержащих массивные наборы изображений, разработка и обучение моделей СНС заметно упрощается.
В рамках данной работы была поставлена цель -обучение СНС для распознавания ДР на цифровых изображениях глазного дна.
Материал и методы
Для обучения модели СНС в данной работе использовался набор цифровых изображений сетчатки из электронного ресурса Kaggle (https://www.kaggle. сот/с/^аЬейс-геНпораШу^йесйоп). В набор включено 12 498 цифровых изображений глазного дна. В данный набор включены - 7 914 цифровых изображений с отсутствием ДР и 4 584 цифровых изображения с наличием ДР. Пример изображения приведен на рисунке 1. При этом цифровые изображения с наличием ДР в свою очередь разделены на 4 группы изображений в соответствии со стадией заболевания:
- легкая непролиферативная ДР (2 291 изображение);
- умеренная непролиферативная ДР (1683 изображения);
- тяжелая непролиферативная ДР (305 изображений);
- пролиферативная ДР (305 изображений).
Такое разделение набора на группы в соответствии со стадиями ДР позволяет математической модели СНС «научиться» видеть ключевые особенности каждой стадии и, соответственно, классифицировать цифровые изображения. Таким образом, в рамках
Рисунок 1. Пример изображения сетчатки глаза. Figure 1. An example of an image of the eye retina.
данной работы совершена попытка построения математической модели СНС для классификации на 5 классов (отсутствие ДР и 4 стадии при наличии ДР), а также модели для бинарной классификации (наличие ДР вне зависимости от стадии и ее отсутствие).
Все цифровые изображения имели формат jpeg и нормализованы до размера 512х512 пикселей. В соответствии с общепринятыми правилами обучения нейронной сети данный набор цифровых изображений был разделен на три выборки:
- обучающая выборка (70 % от всей выборки) -непосредственно на которой происходило обучение модели СНС;
- валидационная выборка (20 % от обучающей выборки) - с помощью которой происходил контроль обучения для исключения переобучения СНС, при котором модель запоминает каждое изображение и может распознавать только изображения, входящие в обучающую выборку;
- тестовая выборка (30 % от всей выборки) - на которой происходит оценка качества классификации полученной математической моделью СНС.
Для эффективного обучения модели СНС набор цифровых изображений предварительно обработан следующими алгоритмами предобработки:
- нормализация - значения всех пикселей изображения нормализованы от 0 до 1;
- поворот - поворот изображений случайным образом (от 1 до 89 градусов);
- горизонтальное и вертикальное отражение -каждое изображение случайным образом отражается относительно горизонтальной и/или вертикальной оси.
Предварительная настройка и обучение модели СНС происходила в программной среде программирования PyCharm (Community Edition 2020 версии
2.2), на языке программирования Python (версии 3.7.5). Для построения СНС были использованы открытые библиотеки Keras (версии 2.2.0) и TernsorFlow (версии 2.2.0). Обучение осуществлялось на стационарном компьютере со следующими техническими характеристиками: видео карта - Nvidia GeForce GTX 1050Ti (4Gb видео памяти), процессор - AMD Ryzen
5 2400G (4 ядра, 8 потоков, базовая частота 3.6GHz), оперативная память - DDR4 (32Gb памяти с частотой 3100MHz). Обучение СНС проходило в два этапа. На первом происходило обучение с применением оптимизатора Adamax, на втором - дообучение с оптимизатором Adam.
Качество полученных математических моделей оценивалось с помощь показателя точности с 95 % доверительным интервалом (95 % ДИ) и значения функции потерь (Loss). Показатель точности определяет количество правильно классифицированных цифровых изображений, то есть показывает процентное отношение истинно положительных и истинно отрицательных результатов классификации ко всем результатам классификации, а функция потерь показывает суммарную ошибку между реальными классами изображений и полученными в ходе применения полученных математических моделей. Дополнительно были рассчитаны значения чувствительности и специфичности СНС с 95 % ДИ.
Протокол локального этического комитета № 102/2020 от 27 ноября 2020 года.
Результаты и обсуждение
Благодаря вышеописанным алгоритмам предобработки цифровых изображений, входящих в обучающую выборку, их первоначальное количество было увеличено в 360 раз (табл. 1). Так, первоначальный обучающий набор для бинарной классификации, включающий цифровые изображения с отсутствием ДР и наличием ДР вне зависимости от стадии включал
6 998 изображений (были исключены изображения с большим размытием, засвеченные и затемненные изображения, а также изображения с различными артефактами, которые могут быть рассмотрены НС, как отличительный признак), а после предобработки он был увеличен до 2 519 280 изображений.
На первоначальном этапе построения математической модели СНС осуществлялся подбор гиперпараметров данной модели. Гиперпараметры - элементы, описывающие и характеризующие архитектуру СНС (слои, маски, оптимизатор, количество нейронов). Для выполнения такого подбора была использована базовая архитектура СНС, представленная в таблице 2. Данная архитектура включала в себя 3 двумерных сверточных слоя с размером маски 3х3, 2 двумерных слоя объединения с размером маски 2х2, слоя выпрямления, который позволяет осуществить
Таблица 1
Результат предварительной обработки изображений
Table 1
The image preprocessing result
№ Наборы изображений и их состав Количество обучающих изображений в наборе (до предобработки) Количество обучающих изображений в наборе (после предобработки)
1 ДР отсутствует ДР присутствует (все стадии) 6 998 2 519 280
2 Легкая непролиферативная ДР Остальные стадии ДР (2, 3 и 4) 2 566 923 760
3 Умеренная непролиферативная ДР Остальные стадии ДР (3 и 4) 1 284 462 240
4 Тяжелая непролиферативная ДР Пролиферативная ДР 341 122 760
5 ДР отсутствует Легкая непролиферативная ДР Умеренная непролиферативная ДР Тяжелая непролиферативная ДР Пролиферативная ДР 6 998 2519280
переход от двумерных слоев к двум последующим одномерным полносвязным слоям. Таким образом, получаемое на вход двумерное цифровое изображение путем прохождения по слоям СНС преобразуется в значение одного из нейронов последнего полносвязного слоя, каждый из которых отвечает за определенный класс изображения.
Таблица 2
Базовая архитектура СНС
Table 2
The basic architecture of the CNN
№ Слой Размер фильтра / количество нейронов Размер маски
1 Сверточный слой (2D) 32 (3,3)
2 Слой объединения (2D) - (2,2)
3 Сверточный слой (2D) 64 (3,3)
4 Слой объединения (2D) - (2,2)
5 Сверточный слой (2D) 64 (3,3)
6 Слой выпрямления (Flatten) - -
7 Полносвязный слой 128 -
8 Полносвязный слой 2 -
В результате автоматического подбора гиперпараметров СНС с применением библиотеки KerasTuner было обучено 2 654 208 различных по гиперпараметрам СНС (табл. 3). Согласно данным, представленным в таблице 3, осуществлялся автоматический подбор таких гиперпараметров, как количество слоев различного функционала (сверточные, слои объединения и полносвязные слои), фильтров и нейронов, а также размер маски свертки, функция активации и оптимизатор.
Мамедов Т. Х., Дзюба Д. В., Наркевич А. Н. Mamedov T. H., Dzjuba D. V., Narkevich A. N.
Применение сверточных нейронных сетей для распознавания диабетической ретинопатии на цифровых изображениях Application of convolutional neural networks for recognition of diabetic retinopathy in digital images
Таблица 3
Результат автоматического подбора параметров СНС
Table 3
The result of automatic selection of CNN parameters
В ходе автоматического подбора гиперпараметров была получена СНС представленная на рисунке 2. Данная математическая модель СНС включала в себя 6 сверточных слоев с размером маски свертки 3х3, 6 слоев объединения и 4 полносвязных слоя.
Дополнительный ручной подбор гиперпараметров позволил установить, что модель первоначально использующая оптимизатор Adamax с дообучением с помощью оптимизатора Adam позволяет получить наибольшие значения точности.
После обучения построенной математической модели СНС на тестовой выборке была проведена классификация по бинарному и по множественному набору цифровых изображений. Множественная классификации на изображениях, не имеющих ДР и имеющих различную стадию ДР, позволила получить достаточно
низкое значение точности классификации. Точность достигла всего лишь 57,4 [56,9; 57,9] % при высоком значении функции потерь 0,9879. Это означает, что полученная математическая модель СНС не может достаточно хорошо решить задачу распознавания ключевых особенностей каждой стадии ДР. Для улучшения результатов была проведена классификация на бинарном наборе изображений для классификации на изображения, имеющие ДР и не имеющие данного осложнения. В результате этого точности значительно увеличилась до 80,7 [79,9; 81,2] %, а значение функции ошибки снизилось до 0,3972. Чувствительность математической модели СНС для бинарной классификации составила 84,8 [83,6; 86,0] %, а специфичности - 78,3 [77,6; 79,0] %,что свидетельствует о более предпочтительном применении данной модели для скрининговых обследований на предмет наличия ДР.
Заключение
Таким образом, в ходе данной работы была обучена и построена математическая модель СНС позволяющая достаточно хорошо решать задачу классификации цифровых изображений сетчатки глаза для распознавания наличия ДР. Разработанной математической моделью верно классифицированы 80,7 % цифровых изображений, используемых для тестирования. Исходя из того, что чувствительность полученной математической модели СНС имеет более высокое значение, чем специфичность, данная модель может использоваться в качестве вспомогательного инструмента в скрининговой диагностике ДР среди пациентов с сахарным диабетом при интегрировании с медицинскими информационными системами или соответствующим медицинским оборудованием.
Гиперпараметр Диапазон значений Количество вариантов
Сверточных слоев: от 1 до 6
Количество слоев Слоев объединения: от 1 до 6 144
Полносвязных слоев: от 2 до 5
Количество фильтров От 32 до 512 с шагом 32 16
Количество нейронов От 32 до 512 с шагом 32 16
Размер маски свертки 5x5, 3x3 и 1x1 3
Функция активации Elu, Relu, Sigmoid и Tanh 4
Оптимизатор Adam, Adagrad, Adamax, Nadam, RMSprop и SGD 6
Рисунок 2. Полученная архитектура СНС для классификации цифровых изображений сетчатки глаза на имеющие признаки ДР и не имеющие данных признаков.
Figure 2. The resulting architecture of the CNN for classification of digital images of the eye retina into those with DR signs and ones without such signs.
Литература / References
1. Осетрова НБ, Кублик ЕС, Минеева ЕС. Кар-диоренальный синдром у больных с сахарным диабетом 2 типа и гипертонической болезнью. Сибирское медицинское обозрение. 2020;(1):45-54. [Osetrova NB., Kublik ES., Mineeva ES. Cardiorenal syndrome in patients with type 2 diabetes mellitus and hypertension. Siberian Medical Review. 2020;(1):45-54. (In Russian)] D0I:10.20333/2500136-2020-1-45-54
2. Павлов БВ, Зеленева ЮВ. Осложнения при сахарном диабете. Тенденции развития науки и образования. 2017;28(2):23-27. [Pavlov BV, Zeleneva YV. Complications of diabetes mellitus. Trends in the Development of Science and Education. 2017;28(2):23-27. (In Russian)] D0I:10.18411/lj-31-07-2017-2
3. Дедов ИИ, Шестакова МВ, Викулова ОК. Эпидемиология сахарного диабета в Российской Федерации: клинико-статистический анализ по данным Федерального регистра сахарного диабета. Сахарный диабет. 2017;20(1):13-41. [Dedov II., Shestakova MV., Vikulova OK. Epidemiology of diabetes mellitus in the Russian Federation: clinical and statistical analysis according to the Federal Register of Diabetes Mellitus. Diabetes Mellitus. 2017;20(1):13-41. (In Russian)]. D0I:10.14341/ DM8664
4. Павлов ВГ, Сидамонидзе АЛ, Петрачков ДВ. Современные тенденции скрининга диабетической ретинопатии. Вестник офтальмологии. 2020;136(4):300-309. [Pavlov VG, Sidamonidze AL, Pe-trachkov DV. Current trends in screening for diabetic retinopathy. Bulletin of Ophthalmology. 2020;136(4):300-309. (In Russian)] D0I:10.17116/oftalma2020136042300
5. Alanazi HO, Abdullah AH, Qureshi KN. A Critical Review for Developing Accurate and Dynamic Predictive Models Using Machine Learning Methods in Medicine and Health Care. Journal of Medical Systems. 2017;41(4). D0I:10.1007/s10916-017-0715-6
6. Gulshan V, Rajan RP, Widner K, Wu D, Wub-bels P, Rhodes T, Whitehouse K, Coram M, Corrado G, Ramasamy K, Raman R, Peng L, Webster DR. Performance of a Deep-Learning Algorithm vs Manual Grading for Detecting Diabetic Retinopathy in India. Jama Ophthalmology. 2019;137(9):987-993. D0I:10.1001/jamaoph-thalmol.2019.2004
7. Li T, Bo W, Hu CY, Kang H, Liu H, Wang K, Fu H. Applications of deep learning in fundus images: A review. Medical Image Analysis. 2021;(69). D0I:10.1016/j.me-dia.2021.101971
8. Ikenoyama Y, Hirasawa T, Ishioka M, Namikawa K, Yoshimizu S, Horiuchi Y, Ishiyama A, Yoshio T, Tsuchida T, Takeuchi Y, Shichijo S, Katayama N, Fujisaki J, Tada T. Detecting early gastric cancer: Comparison between the diagnostic ability of convolutional neural networks and endoscopists. Digestive Endoscopy. 2021;33(1):141-150. D0I:10.1111/den.13688
9. Liu XX, Faes L, Kale AU, Wagner SK. A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis. Lancet Digital Health. 2019;1(6):E271-E297. DOI:10.1016/s2589-7500(19)30123-2
10. Qummar S, Khan FG, Shah S, Khan A. A Deep Learning Ensemble Approach for Diabetic Retinopathy Detection. Ieee Access. 2019;(7): 150530-150539. D0I:10.1109/ACCESS.2019.2947484
11. Vujosevic S, Aldington SJ, Silva P, Hernández C, Scanlon P, Peto T, Simó R. Screening for diabetic retinopathy: new perspectives and challenges. Lancet Diabetes and Endocrinology. 2020;8(4):337-347. D0I:10.1016/ s2213-8587(19)30411-5
12. Cheloni R., Gandolfi SA., Signorelli C, Odone A. Global prevalence of diabetic retinopathy: protocol for a systematic review and meta-analysis. BMJ Open. 2019;3(9):1-5. D0I:10.1136/bmjopen-2018-022188
13. Anwar S, Majid M, Qayyum A, Awais M, Alnowa-mi M, Khan K. Medical image analysis using convolution-al neural networks: a review. Journal of Medical Systems. 2018;42(11):226. D0I:10.1007/s10916-018-1088-1
14. Esteva A, Chou K, Yeung S, Naik N, Madani A, Mottaghi A, Liu Y, Topol E, Dean J, Socher R. Deep learning-enabled medical computer vision. Npj Digital Medicine. 2021;4(1):9. D0I:10.1038/s41746-020-00376-2
15. Lee SI, Celik S, Logsdon BA, Lundberg SM, Martins TJ, 0ehler VG, Estey EH, Miller CP, Chien S, Dai J, Saxena A, Blau CA, Becker PS. A machine learning approach to integrate big data for precision medicine in acute myeloid leukemia. Nature Communications. 2018;(9):13. D0I:10.1038/s41467-017-02465-5
Сведения об авторах
Мамедов Тимур Халигович, аспирант, Красноярский государственный медицинский университет имени профессора В. Ф. Войно-Ясенецкого; адрес: Российская Федерация, 660022, г. Красноярск, ул. Партизана Железняка, д. 1; тел.: +7(999)4488350; e-mail: [email protected], http://orcid.org/0000-0003-2290-6439
Дзюба Денис Владиславович, студент, Красноярский государственный медицинский университет имени профессора В. Ф. Войно-Ясенецкого; адрес: Российская Федерация, 660022, г. Красноярск, ул. Партизана Железняка, д. 1; тел.: +7(983)1490255; e-mail: [email protected], http://orcid.org/0000-0002-8534-4990
Наркевич Артём Николаевич, д.м.н., доцент, Красноярский государственный медицинский университет имени профессора В. Ф. Войно-Ясенецкого; адрес: Российская Федерация, 660022, г. Красноярск, ул. Партизана Железняка, д. 1; тел.: +7(913)5772432 e-mail: [email protected], http://orcid.org/0000-0002-1489-5058
Author information
Timur H. Mamedov, graduate student, Prof. V. F. Voino-YasenetskyKrasnoyarsk State Medical University; Address: 1, Partizan Zheleznyak Str., Krasnoyarsk, Russian Federation 660022; Phone: +7(391)2644788; e-mail: [email protected], http://orcid.org/0000-0003-2290-6439
Denis V. Dzjuba, student, Prof. V. F. Voino-YasenetskyKrasnoyarsk State Medical University; Address: 1, Partizan Zheleznyak Str., Krasnoyarsk, Russian Federation 660022; Phone: +7(983)1490255; e-mail: [email protected], http://orcid.org/0000-0002-8534-4990
Artem N. Narkevich, Dr.Med.Sci., Associate Professor, Prof. V. F. Voino-Yasenetsky Krasnoyarsk State Medical University; Address: 1, Partizan Zheleznyak Str., Krasnoyarsk, Russian Federation 660022; Phone: +7(913)5772432; e-mail: [email protected], http://orcid. org/0000-0002-1489-5058
Дата поступления 06.07.2021 Дата рецензирования 31.08.2021 Принята к печати 21.12.2021
Received 06 July 2021 Revision Received 31 August 2021 Accepted 21 December 2021
