CC BY
25
УДК 004; 004.932 DOI: 10.21122/2309-4923-2023-1-25-34
ЛУКАШЕВИЧ М.М.
НЕЙРОСЕТЕВОЙ КЛАССИФИКАТОР ДЛЯ ОПРЕДЕЛЕНИЯ ДИАБЕТИЧЕСКОЙ РЕТИНОПАТИИ ПО ИЗОБРАЖЕНИЯМ СЕТЧАТКИ
УО «Белорусский государственный университет информатики и радиоэлектроники»
г. Минск, Республика Беларусь
С распространением сахарного диабета диабетическая ретинопатия (ДР) становится основной проблемой здравоохранения (особенно в развивающихся странах). Долгосрочные осложнения, возникающие в результате ДР, оказывают значительное влияние на пациентов. Ранняя диагностика и последующее лечение могут уменьшить наносимый здоровью вред. Предсказательная аналитика может быть основа на анализе изображений сетчатки глаза человека с помощью сверточных нейронных сетей. В работе исследования сосредоточены на разработке эффективного метода определения ДР на основе сверточной нейронной сети EfficientNet, технологии самообучения и операций аугментации данных. В результате экспериментов разработан нейросетевой классификатор на основе сверточных нейросетей, даны рекомендации для проведения аугментации данных. Эксперименты выполнены на публичном наборе данных и показали, что возможно достичь доли правильно классифицированных объектов равной 97,14 % на тестовом наборе из публичного набора данных.
Ключевые слова: изображение, диабетическая ретинопатия, обработка изображений, сверточные нейронные сети.
Введение
Задача определения и классификации стадий диабетической ретинопатии, которая проявляется как поражение сетчатки глаза, в настоящее время является весьма актуальной [1, 2]. Диабетическая ретинопатия является основной причиной слепоты, особенно среди людей трудоспособного возраста. Учитывая важность ранней диагностики, все пациенты с сахарным диабетом должны ежегодно проходить офтальмологическое обследование [3, 4].
Глубокое обучение (Deep Learning, DL), как раздел машинного обучения (Machine Learning, ML), за последние десять лет оказало значительное влияние на различные области науки. Это ускорило прогресс в распознавании изображений и речи, предложены эффективные модели генеративных нейронных сетей и новые языковые модели. До широкого распространения глубокого обучения задача анализа и распознавания изображения включала в себя этапы предварительной обработки изображений, вычисления информативных признаков и принятия решений. В настоящее время передовыми технологиями распознавания объектов на изображениях являются использование компьютерного зрения, а также глубокое обучение. Применение глубоких нейронных сетей для идентификации объектов, классификации и сегментации изображений показывает большую эффективность по сравнению с использованием иных классических алгоритмов. Глубокое обучение - это подраздел машинного обучения, включающий в себя набор методов, которые позволяют моделировать высокоуровневые абстракции данных. Модели, построенные на основе сложных нейросетвых архитектур, достигают высокой точности, превышающей возмож-
ности человека. С появлением эффективных архитектур нейронных сетей этап вычисления признаков, как и принятие решений, выполняются на стороне нейронной сети. Предварительная обработка изображений чаще всего сводится к операциям изменения размера изображения и локализации области интереса. Однако с ростом точности распознавания очевиден и рост сложности архитектур, необходима «тонкая» настройка гиперпараметров нейронных сетей. Сверточ-ные нейронные сети (Convolution Neural Networks, CNN) являются ведущей архитектурой при решении задач компьютерного зрения.
Системы глубокого обучения играют важную роль в здравоохранении. Анализ изображений сетчатки глаза человека на основе методов машинного обучения в целом, и глубокого обучения в частности позволяет автоматизировать процесс диагностики и помогает в постановке диагноза в тех случаях, когда доступ к другим вариантам исследований и медицинской помощи ограничен [5-10].
Цель проведенных исследований - разработка модели сверточной нейронной сети для определения ДР на основе изображений сетчатки глаза.
Архитектура сверточной нейронной сети EfficientNet
В 2019 г. компания Google представила архитектуру EfficientNet, которая в настоящее время является одной из самых современных сверточных нейронных сетей [11]. Существует 8 реализаций EfficientNet, считая от B0 до B7 по мере роста сложности сетевой архитектуры. Данные архитектуры превосходят точность стандартных CNN и повышают эффективность нейронной сети до 10 раз, рисунок 1.
Рисунок 1. Число параметров (миллионы) [11]
Также в последние несколько лет появились эффективные решения для анализа изображений сетчатки глаза с использование данной архитектуры [12-15]. Результаты указанных работ свидетельствуют о целесообразности исследования архитектуры EfficientNet с целью создания бинарного классификатора для определения ДР.
Архитектура EfficientNet основана на базовой сети EfficientNet-B0, которая была получена с помощью автоматического поиска архитектур (neural architecture search) на основе оптимизации точности и эффективности. Базовая сеть состоит из нескольких блоков свертки с инвертированными бутылочными горлышками (inverted bottleneck residual blocks),
которые содержат линейные бутылочные горлышки (linear bottleneck), расширяющие свертки (expansion convolution), глубокие свертки (depthwise convolution) и проекционные свертки (projection convolution).
Чаще всего разработка новых моделей заключается в произвольном увеличении глубины или ширины сверточной нейросети, а также использовании большего разрешения входного изображения для обучения и оценки. В отличие от традиционных подходов, которые произвольно масштабируют параметры сети, такие как ширина, глубина и входящее разрешение, EfficientNet равномерно масштабирует каждое измерение с фиксированным набором коэффициентов масштабирования, рисунок 2.
Рисунок 2. Сравнение различных методов масштабирования Примечание. В отличие от обычных методов масштабирования (Ъ)-^), которые произвольно масштабируют одно измерение сети, комбинированный метод масштабирования (а) равномерно масштабирует все измерения [11]
Для получения более мощных вариантов архитектуры EfficientNet-B1-B7, авторы предложили метод масштабирования с коэффициентом составления. Этот метод определяет оптимальное соотношение между разрешением, шириной и глубиной нейросети при заданном ограничении на количество операций
с плавающей точкой в секунду (FLOPS). Таким образом, можно получить более крупные и точные модели без произвольного изменения отдельных размерностей. Блочная архитектура EfficientNet представлена на рисунке 3.
Блоки, в свою очередь состоят из модулей, рисунок 4 .
Final Layers
Рисунок 3. Блочная архитектура EfficientNet
f \
Depthwise Batch Activation
C<xiv2D Normalization
4 J
Global Conv2D Conv2D
Шф Rpsr.aling
Pooling
4 J
DepthwKe Canw2D
Batch ^^^ Activation Zero Padding ^^^^
Nûrnnalizalfon
Depthwlse Conv2D
Balch Normalization
Multiply Batch
Normalization
Multiply Conv2D Batch Dropout
Normalization
Рисунок 4. Модули архитектуры EfficientNet
Технологии предобучения и самообучения
Предобучение - очень распространенная практика в различных областях, таких как компьютерное зрение, NLP и генерация речи. Когда речь идет о компьютерном зрении, модель, предварительно обученная на одном наборе данных, улучшает качество другой модели. Предобучение на наборе ImageNet [16] с учителем является широко используемым методом инициализации для моделей обнаружения и сегментации объектов. Трансферное обучение (Transfer learning) и точная настройка (Fine-tuning) - два распространенных метода для реализации этой методологии [17-19].
Самообучение (semi-supervised learning approach) пытается улучшить эффективность модели за счет включения прогнозов для модели на неразмеченных данных для получения дополнительной информации, которая может быть использована во время обучения. Пример
реализации данной технологии - это использование ImageNet [16] для улучшения модели обнаружения объектов COCO [20]. Сначала модель обучается на наборе данных COCO. Затем она используется для создания псевдо-меток для ImageNet (мы отбрасываем исходные метки ImageNet). Затем псевдо-размеченные данные ImageNet и размеченные данные COCO объединяются для обучения новой модели [21, 22].
Реализация технологии самообучения на основе алгоритма Noisy Student показало улучшение качества классификации изображений из ImageNet [23]. В этом подходе можно выделить из три этапа:
• модель-учитель обучается на размеченных данных, например, на наборе данных COCO;
• затем модель-учитель используется для создания псевдометок для неразмеченных данных, например ImageNet;
• модель-ученик обучается оптимизировать потери на человеческой разметке и псевдо-метках одновременно.
Обучение на основе Noisy Student приводит к значительным улучшениям во всех размерах моделей EfficientNet. Это является основание
для построения модели классификатора ДР на основе предобучения в соответствии с алгоритмом Noisy Student. В приведенном ниже рисунке использована одна и та же архитектура для учителя и ученика и не проводится итеративное обучение, рисунок 5.
Рисунок 5. Число параметров (миллионы) [23]
Для реализации классификатора ДР использовалась модель EfficientNet NoisyStudent B4, предобученная по технологии самообучения. Выбор
данной модели - это компромисс между точность модели и числом параметров [23, 24]. Архитектура модели EfficientNet B4 представлена на рисунке 6.
Рисунок 6. Число параметров (миллионы) [23]
Набор изображений
В работе использовался открытый набор данных, взятый с платформы Kaggle, представленный в виде коллекции изображений разных размеров с форматом «.jpg» [25]. Изображения в наборе разделены на пять классов, соответствующих стадиям ДР. Снимки принадлежат разным людям из различных социальных групп: женщинам, мужчинам, детям. Строение глаза отличается от снимка к снимку, изображения получены в различных условиях, поэтому построить простой детерминированный алгоритм для эффективного
решения задачи детекции ДР не представляется возможным.
Набор данных содержит 3 662 изображений сетчатки глаза человека. Он был перераспределен и сформировано 2 класса изображений: 0 класс -«норма» (отсутствие ДР), 1 класс - «патология» (наличие ДР), который включает в себя изображения с различными стадиями ДР. При проведении экспериментов для контроля обучения и эффективного тестирования набор был разделен на три части: обучающая выборка (2 196 изображений), валидационная выборка (733 изображения) и тестовая выборка (733 изображения). Примеры изображений представлены на рисунке 7.
Рисунок 7. Примеры изображений сетчатки глаза [25]
Экспериментальные исследования
Исходя из вышесказанного в основу модели классификатора изображений сетчатки глаза человека была положена архитектура сверточной нейронной сети EfficientNet В4, предобученная по технологии самообучения на основе алгоритма Noisy Student.
Оригинальная архитектура модели предусматривает, что на вход выходного линейного слоя подается вектор из 1 792 признаков, а выход содержит 1000 элементов, что соответствует числу классов предобученной на наборе данных ImageNet модели. Архитектура была модифицирована с учетом решаемой задачи, добавлены пользовательские слои, а последний слой содержит 2 признака (таблица 1).
При реализации нейронной сети использовался язык программирования Python и библиотека глубокого обучения PyTorch [26].
В процессе подготовки данных для обучения, валидации и тестирования выполнялась аугментация данных. Под аугментацией данных понимается увеличение выборки данных для обучения через модификацию этих данных и создание на этой основе - дополнительных. Для достижения хороших результатов глубокие сети должны обучаться на очень большом объеме данных. Следовательно, если исходный обучающий набор содержит ограниченное количество изображений, необходимо выполнить аугментацию, чтобы улучшить результаты модели [27].
Таблица 1
Перечень слоев предложенной архитектуры нейронной сети
Перечень слоев нейронной сети
Слои EfficientNet B4 Noisy Student
Добавленные пользовательские слои
Linear(in_features=1792, out_features=625) линейный слой in features - количество входных нейронов out_features - количество выходных нейронов
ReLU() функция активации
Dropout(p = 0.3) случайным образом обнуляются некоторые элементы входного тензора с вероятностью p, используя выборки из распределения Бернулли
Liner(in_features = 625, out_features = 256) линейный слой in features - количество входных нейронов out_features - количество выходных нейронов
ReLU() функция активации
Linear(in_features = 256, out_features = 2) линейный выходной слой нейронной сети in features - количество входных нейронов out_features - количество выходных нейронов
Для экспериментов с аугментацией данных были определены следующие операции:
1) изменение размера изображения, приведения к размеру 224*224, 512*512 или 1024*1024 пикселей;
2) случайный поворот изображения на +/-20 градусов;
3) нормализация RGB изображений с помощью статистических характеристик: средние значения mean = [0.485, 0.456, 0.406] и стандартное отклонение std = [0.229, 0.224, 0.225]. Данная операция рекомендована к использованию в тех случаях, когда применяется предобученная на ImageNet модель [26]. Значения рассчитаны
Аугментация данных при
для изображений из базы ImageNet. Для каждого канала операция выполняется в соответствии с формулой:
image = image * std + mean,
где image - канал изображения, std - стандартное отклонение, mean - среднее.
4) обрезка фона, который иногда занимает значительный процент от общей площади изображения и является практически черной и неинформативной областью.
Комбинации операций аугментации при проведении экспериментов приведены в таблице 2.
Таблица 2
остановке экспериментов
Номер операции аугментации Эксперимент 1 Эксперимент 2 Эксперимент 3 Эксперимент 4
1 + (512*512) + (512*512) + (224*224) + (1024*1024)
2 + + + +
3 + + + +
4 - + + +
В процессе обучения необходимо минимизировать функцию ошибки, в идеале свести ее к значению в локальном минимуме. Реализация алгоритма градиентного спуска для нейронных сетей происходит с использованием так называемых оптимизаторов. В работе используется оптимизатор Adam [28] - один из самых эффективных алгоритмов оптимизации в обучении нейронных сетей. Он сочетает в себе идеи RMSProp и стохастического градиентного спуска с моментами. Вместо того чтобы адаптировать скорость обучения параметров на основе среднего первого момента (среднего значения), как в RMSProp, Adam также использует среднее значение вторых моментов градиентов.
Результаты экспериментов показали, что предложенная архитектура модели в сочетании с определенными техниками аугментации, а также технология самообучения, позволяют достичь доли правильно классифицированных объектов равной 97,14 % на тестовом наборе данных из публичного набора [25]. Зачастую именно определение ДР, играет решающую роль для своевременного лечения и предотвращения тяжелых последствий заболевания.
Дальнейшие исследования целесообразно продолжить в части расширения набора данных для построения вариабельных моделей. Кроме того, важным вопросом является детекция визуальных признаков наличия ДР и разработка для этого моделей нейронных сетей на базе сверточных архитектур и трансформеров.
Для оценки результатов использовалась метрика доли правильных ответов (Accuracy) - это доля правильно классифицированных объектов от общего числа объектов. В качестве функции потерь (Loss) использовалась кросс-энтропия (перекрестная энтропия) [29].
Классификатора обучалась в соответствии со следующими параметрами:
- число эпох обучения (epochs) - 10;
- коэффициент скорости обучения (learning rate) - 0,001;
- число пакетов данных в одной итерации (batch size for dataset) - 16.
В таблице 3 приведены результаты экспериментов, значения нормированы от 0 до 1.
Заключение
В статье предложена архитектура нейросете-вого классификатора для решения задачи определения ДР по изображениям сетчатки. В основу модели классификатора изображений сетчатки глаза человека была положена архитектура сверточной нейронной сети EfficientNet В4, предобученная по технологии самообучения на основе алгоритма Noisy Student. Отдельное внимание уделено этапу аугментации данных, подбору эффективного сочетания операций. Экспериментальные исследования показывают, что возможно достичь доли правильно классифицированных объектов равной 97,14 %. Автором решена практическая задача и определены направления дальнейших исследований.
Таблица 3
Результаты экспериментов
Обучение Валидация Тестирование
Loss Accuracy Loss Accuracy Loss Accuracy
Эксперимент 1 0.1375 0.9565 0.1434 0.9578 0.1040 0.9605
Эксперимент 2 0.1108 0.9574 0.1542 0.9592 0.0882 0.9670
Эксперимент 3 0.1581 0.9447 0.1811 0.9270 0.1689 0.9399
Эксперимент 4 0.1207 0.9592 0.1245 0.9646 0.0918 0.9714
ЛИТЕРАТУРА
1. Bourne, R.R. Vision Loss Expert Group. Causes of vision loss worldwide, 1990-2010: a systematic analysis / R.R. Bourne, G.A. Stevens, R.A. White, J.L. Smith, S.R. Flaxman, H. Price, J.B. Jonas, J. Keeffe, J. Leasher, K. Naidoo, K. Pesudovs, S. Resnikoff, H.R. Taylor // Lancet Glob Health - 2013. - T. 1, № 6. - C. 339-349. doi: 10.1016/S2214-109X(13)70113-X
2. Taylor, R., Batey, D. Handbook of retinal screening in diabetes. - Wiley, 2006.
3. The Diabetic Retinopathy Clinical Research Network: Aflibercept, bevacizumab, or ranibizumab for diabetic macular edema. N Engl J Med372(13):1193-1203, 2015. doi: 10.1056/NEJMoa1414264
4. Beaulieu, W.T., Bressler, N.M., Melia, M., et al. Panretinal photocoagulation versus ranibizumab for proliferative diabetic retinopathy: Patient-centered outcomes from a randomized clinical trial. Am J Ophthalmol 170:206-213, 2016. doi: 10.1016/j.ajo.2016.08.008
5. Mookiah, M.R.K., Acharya, U.R., Chua, C.K., Lim, C.M., Ng, E., Laude, A. Computer-aided diagnosis of diabetic retinopathy: a review. Comput Biol Med. 2013;43(12):2136-2155. doi: 10.1016/j.compbiomed.2013.10.007
6. Lam, C., Yi, D., Guo, M., Lindsey, T. Automated detection of diabetic retinopathy using deep learning. AMIA Summit Translat Sci Proc. 2018;2018:147.
7. Bargshady, G., Zhou, X., Deo, R., Soar, J., Whittaker, F., Wang, H Enhanced deep learning algorithm development to detect pain intensity from facial expression images. Expert Syst Appl. 2020;149:113305. doi: 10.1016/j.eswa.2020.113305
8. Sarki, R., Ahmed, K., Wang, H., Zhang, Y. Automatic detection of diabetic eye disease through deep learning using fundus images: a survey. IEEE Access. 2020;8:151133-151149. doi: 10.1109/ACCESS.2020.3015258
9. Gargeya, R., Leng, T. Automated identification of diabetic retinopathy using deep learning. Ophthalmology. 2017;124(7):962-969. doi: 10.1016/j.ophtha.2017.02.008
10. Litjens, G., Kooi ,T., Bejnordi, B.E., Setio, A.A.A., Ciompi, F., Ghafoorian, M., Van Der Laak, J.A., Van Ginneken, B., Sanchez, C.I. A survey on deep learning in medical image analysis. Med Image Anal. 2017;42:60-88. doi: 10.1016/j.media.2017.07.005
11. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks [Электронный ресурс]. - Режим доступа: https://arxiv.org/abs/1905.11946
12. Wang, Jing & Yang, Liu & Huo, Zhanqiang & He, Weifeng & Luo, Junwei. (2020). Multi-Label Classification of Fundus Images With EfficientNet. IEEE Access. 8. 212499-212508. 10.1109/ACCESS.2020.3040275.
13. Parthiban, K., Kamarasan, M. EfficientNet with Optimal Wavelet Neural Network for DR Detection and Grading, 2022 4th International Conference on Smart Systems and Inventive Technology (ICSSIT), Tirunelveli, India, 2022, pp. 10811086, doi: 10.1109/ICSSIT53264.2022.9716528
14. Bulut, B., Kalin, V. , Bektas Gune§, B. & Khazhin, R. (2022). Classification of Eye Disease from Fundus Images Using EfficientNet. Artificial Intelligence Theory and Applications , 2(1), 1-7 . Retrieved from https://dergipark.org.tr/en/pub/aita/ issue/70443/1134144
15. Zhu, S., Lu B., Wang, C, Wu, M., Zheng, B., Jiang, Q., Wei, R., Cao, Q., Yang, W. Screening of Common Retinal Diseases Using Six-Category Models Based on EfficientNet. Front Med (Lausanne). 2022 Feb 23;9:808402. doi: 10.3389/ fmed.2022.808402. PMID: 35280876; PMCID: PMC8904395.
16. ImageNet [Электронный ресурс]. - Режим доступа: https://www.image-net.org/. - Дата доступа : 28.08.2023.
17. Deep transfer learning for image classification: a survey [Электронный ресурс]. - Режим доступа: https://arxiv. org/abs/2205.09904. - Дата доступа : 28.08.2023.
18. Kim, H.E., Cosa-Linan, A., Santhanam, N. et al. Transfer learning for medical image classification: a literature review. BMC Med Imaging 22, 69 (2022). doi: 10.1186/s12880-022-00793-7
19. Zhou, Z., Shin, J., Zhang, L., Gurudu, S., Gotway, M., Liang, J. Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit. 2017 Jul;2017:4761-4772. doi: 10.1109/CVPR.2017.506. Epub 2017 Nov 9. PMID: 30337799; PMCID: PMC6191179.
20. COCO - Common Objects in Context [Электронный ресурс]. - Режим доступа: https://cocodataset.org/. - Дата доступа : 28.08.2023.
21. Rethinking ImageNet Pre-training [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1811.08883. pdf. - Дата доступа : 28.08.2023.
22. Rethinking Pre-training and Self-training [Электронный ресурс]. - Режим доступа: https://arxiv.org/ pdf/2006.06882.pdf. - Дата доступа : 28.08.2023.
23. Self-training with Noisy Student improves ImageNet classification [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1911.04252.pdf. - Дата доступа : 28.08.2023.
24. Models [Электронный ресурс]. - Режим доступа: https://github.com/rwightman/pytorch-image-models/releases/ download/v0.1-weights/tf_efficientnet_b4_ns-d6313a46.pth. - Дата доступа : 28.08.2023.
25. APTOS 2019 Blindness Detection [Электронный ресурс]. - Режим доступа: https://www.kaggle.com/c/aptos2019-blindness-detection/. - Дата доступа : 28.08.2023.
26. PyTorch [Электронный ресурс]. - Режим доступа: https://pytorch.org. - Дата доступа : 28.08.2023.
27. Image Data Augmentation for Deep Learning: A Survey [Электронный ресурс]. - Режим доступа: https://arxiv. org/abs/2204.08610. - Дата доступа : 28.08.2023.
28. Adam: A Method for Stochastic Optimization [Электронный ресурс]. - Режим доступа: https://arxiv.org/ abs/1412.6980. - Дата доступа : 28.08.2023.
29. Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning [Электронный ресурс]. -Режим доступа: https://arxiv.org/abs/2011.05231. - Дата доступа : 28.08.2023.
REFERENCES
1. Bourne, R.R. Vision Loss Expert Group. Causes of vision loss worldwide, 1990-2010: a systematic analysis / R.R. Bourne, G.A. Stevens, R.A. White, J.L. Smith, S.R. Flaxman, H. Price, J.B. Jonas, J. Keeffe, J. Leasher, K. Naidoo, K. Pesudovs, S. Resnikoff, H.R. Taylor // Lancet Glob Health - 2013. - T. 1, № 6. - C. 339-349. doi: 10.1016/S2214-109X(13)70113-X
2. Taylor, R., Batey, D. Handbook of retinal screening in diabetes. Wiley (2006).
3. The Diabetic Retinopathy Clinical Research Network: Aflibercept, bevacizumab, or ranibizumab for diabetic macular edema. N Engl J Med372(13):1193-1203, 2015. doi: 10.1056/NEJMoa1414264
4. Beaulieu, W.T., Bressler, N.M., Melia, M., et al. Panretinal photocoagulation versus ranibizumab for proliferative diabetic retinopathy: Patient-centered outcomes from a randomized clinical trial. Am J Ophthalmol 170:206-213, 2016. doi: 10.1016/j.ajo.2016.08.008
5. Mookiah, M.R.K., Acharya, U.R., Chua, C.K., Lim, C.M., Ng, E., Laude, A. Computer-aided diagnosis of diabetic retinopathy: a review. Comput Biol Med. 2013;43(12):2136-2155. doi: 10.1016/j.compbiomed.2013.10.007
6. Lam, C., Yi, D., Guo, M., Lindsey, T. Automated detection of diabetic retinopathy using deep learning. AMIA Summit Translat Sci Proc. 2018;2018:147.
7. Bargshady, G., Zhou, X., Deo, R., Soar, J., Whittaker, F., Wang, H Enhanced deep learning algorithm development to detect pain intensity from facial expression images. Expert Syst Appl. 2020;149:113305. doi: 10.1016/j.eswa.2020.113305
8. Sarki, R., Ahmed, K., Wang, H., Zhang, Y. Automatic detection of diabetic eye disease through deep learning using fundus images: a survey. IEEE Access. 2020;8:151133-151149. doi: 10.1109/ACCESS.2020.3015258
9. Gargeya, R., Leng, T. Automated identification of diabetic retinopathy using deep learning. Ophthalmology. 2017;124(7):962-969. doi: 10.1016/j.ophtha.2017.02.008
10. Litjens, G., Kooi, T., Bejnordi, B.E., Setio, A.A.A., Ciompi, F., Ghafoorian, M., Van Der Laak, J.A., Van Ginneken, B., Sanchez, C.I A survey on deep learning in medical image analysis. Med Image Anal. 2017;42:60-88. doi: 10.1016/j.media.2017.07.005
11. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks [Electronic resource]. - Avialable: https://arxiv.org/abs/1905.11946
12. Wang, Jing & Yang, Liu & Huo, Zhanqiang & He, Weifeng & Luo, Junwei (2020). Multi-Label Classification of Fundus Images With EfficientNet. IEEE Access. 8. 212499-212508. 10.1109/ACCESS.2020.3040275
13 Parthiban, K., Kamarasan, M EfficientNet with Optimal Wavelet Neural Network for DR Detection and Grading, 2022 4th International Conference on Smart Systems and Inventive Technology (ICSSIT), Tirunelveli, India, 2022, pp. 10811086, doi: 10.1109/ICSSIT53264.2022.9716528
14. Bulut, B., Kalin, V., Bektas Gune§, B. & Khazhin, R. (2022). Classification of Eye Disease from Fundus Images Using EfficientNet. Artificial Intelligence Theory and Applications , 2 (1), 1-7. Retrieved from https://dergipark.org.tr/en/pub/aita/ issue/70443/1134144
15. Zhu, S., Lu B., Wang, C, Wu, M, Zheng, B., Jiang, Q., Wei, R., Cao, Q., Yang, W. Screening of Common Retinal Diseases Using Six-Category Models Based on EfficientNet. Front Med (Lausanne). 2022 Feb 23;9:808402. doi: 10.3389/fmed.2022.808402. PMID: 35280876; PMCID: PMC8904395.
16. ImageNet [Electronic resource]. - Avialable: https://www.image-net.org/. - Date of access : 28.08.2023.
17. Deep transfer learning for image classification: a survey [Electronic resource]. - Avialable: https://arxiv.org/ abs/2205.09904. - Date of access : 28.08.2023.
18. Kim, H.E., Cosa-Linan, A., Santhanam, N. et al. Transfer learning for medical image classification: a literature review. BMC Med Imaging 22, 69 (2022). doi: 10.1186/s12880-022-00793-7
19. Zhou, Z., Shin, J., Zhang, L., Gurudu, S., Gotway, M, Liang, J. Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit. 2017 Jul;2017:4761-4772. doi: 10.1109/CVPR.2017.506. Epub 2017 Nov 9. PMID: 30337799; PMCID: PMC6191179.
20. COCO - Common Objects in Context [Electronic resource]. - Avialable: https://cocodataset.org/. - Date of access : 28.08.2023.
21. Rethinking ImageNet Pre-training [Electronic resource]. - Avialable: https://arxiv.org/pdf/1811.08883.pdf. - Date of access : 28.08.2023.
22. Rethinking Pre-training and Self-training [Electronic resource]. - Avialable: https://arxiv.org/pdf/2006.06882. pdf. - Date of access : 28.08.2023.
23. Self-training with Noisy Student improves ImageNet classification [Electronic resource]. - Avialable: https://arxiv. org/pdf/1911.04252.pdf. - Date of access : 28.08.2023.
24. Models [Electronic resource]. - Avialable: https://github.com/rwightman/pytorch-image-models/releases/download/ v0.1-weights/tf_efficientnet_b4_ns-d6313a46.pth. - Date of access : 28.08.2023.
25. APTOS 2019 Blindness Detection [Electronic resource]. - Avialable: https://www.kaggle.com/c/aptos2019-blindness-detection/. - Date of access : 28.08.2023.
26. PyTorch [Electronic resource]. - Avialable: https://pytorch.org. - Date of access : 28.08.2023.
27. Image Data Augmentation for Deep Learning: A Survey [Electronic resource]. - Avialable: https://arxiv.org/ abs/2204.08610. - Date of access : 28.08.2023.
28. Adam: A Method for Stochastic Optimization [Electronic resource]. - Avialable: https://arxiv.org/abs/1412.6980. -Date of access : 28.08.2023.
29. Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning [Electronic resource]. -Avialable: https://arxiv.org/abs/2011.05231. - Date of access : 28.08.2023.
LUKASHEVICH M.M.
A NEURAL NETWORK CLASSIFIER FOR DETECTING DIABETIC RETINOPATHY
FROM RETINAL IMAGES
With the spread of diabetes mellitus, diabetic retinopathy (DR) is becoming a major public health problem (especially in developing countries). The long-term complications resulting from DR have a significant impact on patients. Early diagnosis and subsequent treatment can reduce the damage to health. Predictive analytics can be based on the analysis of human retinal images using convolutional neural networks. In this paper, the research focuses on the development of an efficient method for DR detection based on the EfficientNet convolutional neural network, self-learning technology and data augmentation operations. As a result of the experiments, a neural network classifier based on convolutional neural networks is developed, recommendations for data augmentation operations are given. Experiments were performed on the public dataset and showed that it is possible to achieve the proportion of correctly classified objects equal to 97.14 % on the test set from the public dataset.
Keywords: image, diabetic retinopathy, image processing, convolutional neural networks.
Belarusian State University of Informatics and Radioelectronics Minsk, Republic of Belarus
Работа частично выполнена в рамках проекта БРФФИ Ф21ПАКГ 001.
Лукашевич Марина Михайловна, кандидат технических наук, доцент, докторант учреждения образования «Белорусский государственный университет информатики и радиоэлектроники».
Lukashevich mM., PhD, Associate Professor, Postdoctoral Fellow at the Belarusian State University of Informatics and Radioelectronics.
E-mail: lukashevich@bsuir.by
СИСТЕМНЫЙ анализ и прикладная информатика
1, 2023
