CC BY
30
УДК 004; 004.932 DOI: 10.21122/2309-4923-2022-3-12-21
М.М. ЛУКАШЕВИЧ, Ю.И. ГОЛУБ
КЛАССИФИКАЦИЯ СТАДИЙ ДИАБЕТИЧЕСКОЙ РЕТИНОПАТИИ НА ОСНОВЕ
НЕЙРОННЫХ СЕТЕЙ
Учреждение образования «Белорусский государственный университет информатики и
радиоэлектроники»
Государственное научное учреждение «Объединенный институт проблем информатики
Национальной академии наук Беларуси»
Диабетическая ретинопатия является одним из основных побочных эффектов диабета, которая вызывает тяжелые последствия, вплоть до слепоты. Основной задачей является ранняя диагностика данного заболевания с целью своевременного и эффективного лечения. Диабетическая ретинопатия может быть обнаружена гораздо быстрее и более точно, если использовать методы машинного обучения для анализа изображений сетчатки глаза человека. Разработка методов и алгоритмов детекции и классификации данного заболевания, а также автоматизация этого процесса, являются актуальными задачами и экономически эффективным мероприятием.
В статье основное внимание уделено вопросу классификации стадий диабетической ретинопатии с помощью нейронных сетей на основе изображений сетчатки глаза человека. Oписана задача классификации стадий диабетической ретинопатии, а также предложено использование архитектуры глубоких нейронных сетей на основе VGG16 и VGG19 с добавление пользовательских слоёв. В результате проведенных экспериментальных исследований приведены рекомендации по выбору размера исходных изображений сетчатки глаза, а также этапу предварительной обработки (обрезке изображения).
Выполнено исследование используемого набора данных, в результате чего обучение моделей нейронных сетей и оценка результатов проводилась с учетом дисбаланса классов.
Ключевые слова: изображение; классификация; диабетическая ретинопатия; нейронные сети.
Введение
Диабет - это хроническая болезнь, развивающаяся, когда поджелудочная железа не вырабатывает достаточно инсулина или когда организм не может эффективно использовать вырабатываемый им инсулин. Распространенным следствием диабета является повышенный уровень содержания сахара в крови, что со временем приводит к серьезному повреждению многих систем организма, особенно нервов и кровеносных сосудов. Диабетическая ретинопатия (ДР) - это заболевание сетчатки глаза, возникающее в результате воздействия диабета, когда повреждаются кровеносные сосуды задней части сетчатки. У пациентов достаточно длительный промежуток времени может развиваться диабетическая ретинопатия. Одним из ранних и наиболее эффективных методом диагностики является фундус-обследование. По данным Всемирной организации здравоохранения с диабетом связан почти один миллион случаев слепоты во всем мире. Ранний скрининг и лечение ретинопатии позволяют минимизировать риск слепоты у пациентов, а также являются экономически эффективными мероприятиями [1-3].
Для того, чтобы диагностировать это заболевание, офтальмологам приходится вручную анализировать состояние сетчатки с помощью фундус-линзы. Системы компьютерной диагностики могут помочь облегчить этот процесс, автоматически определяя ДР на изображениях сетчатки. Автоматический анализ изображений
сетчатки позволит сократить время постановки диагноза, сократить затраты, качественно улучшит результаты. Целью данного исследования является разработка моделей анализа изображений сетчатки глаза на основе нейронных сетей глубокого обучения для решения задачи детекции и определения степени тяжести ДР [4].
Глубокое обучение является передовой областью исследований машинного обучения. Оно представляет из себя нескольких скрытых слоев искусственных нейронных сетей. Методология глубокого обучения применяет нелинейные преобразования и модельные абстракции высокого уровня на больших базах данных. Недавние исследования показали возможность использования глубокого обучения в качестве основного инструмента для цифровой обработки изображений. При работе с видео/изображениями наиболее часто используют сверточные нейронные сети (Convolution Neural Networks). Данный подход активно применяется для решения широкого круга задач анализа и распознавания изображений сетчатки глаза, в том числе и для решения задачи классификации стадий диабетической ретинопатии, в результате чего и был выбран для проведения исследования [5-8].
Исследование набора данных для экспериментов
В качестве набора данных для построения моделей машинного обучения использовался набор APTOS [9], который представляет
собой большой набор изображений сетчатки, сделанных с помощью фундус-линзы при различных визуальных условиях. Изображения размечены экспертами в соответствии со степенью тяжести диабетической ретинопатии по шкале от 0 до 4. В зависимости от типа и степени типичных признаков диабетической рети-
нопатии (ДР), таких как микроаневризмы, микрокровоизлияния, микроинфаркты, липидные экссудативные очаги, неоваскуляризация и т. д., болезнь классифицируется в несколько этапов: начальная, умеренная, тяжелая и пролифератив-ная [10], таблица 1.
Таблица 1
Основные стадии ДР
Степень ДР Типичные признаки ДР
0 - нет ДР Без отклонений
1 - начальная непролиферативная ДР Только микроаневризмы
2 - умеренная непролиферативная ДР Любой из следующих признаков: микроаневризмы, кровоизлияния в сетчатку, твердые экссудаты или пятна ваты; отсутствие признаков тяжелой непролиферативной ДР
3 - тяжёлая непролиферативная ДР Любой из следующих признаков: интраретинальные кровоизлияния (> 20 в каждом из 4 квадрантов), определенная венозная пучность (в 2 квадрантах) или интраретинальные микрососудистые аномалии (в 1 квадранте); отсутствие признаков пролиферативной ДР
4 - пролиферативная ДР Одно или более из следующего: неоваскуляризация, стекловидное или преретинальное кровоизлияние
Набор изначально разделен на обучающий (3662 изображений) и тестовый (1928 изображений) наборы. Т.к. тестовый набор не размечен и не известны метки классов, то в исследовании использовался только обучающий набор данных. Данные в обучающем наборе
несбалансированные («0» - 1805 изображений, «1» - 999 изображений, «2» - 370 изображений, «3» - 295 изображений, «4» - 193 изображений). Распределение изображений по классам в обучающем наборе представлено на рисунке 1.
Рисунок 1 - Распределение изображений по классам
Одним из решений для несбалансированных данных является расчет веса для каждого класса, который уравновесит перекос в данных и выровняет распределение, который позже можно ввести в модель в качестве отдельного параметра. Этот подход в дальнейшем и был реализован, см. таблица 2.
Таблица 2
Веса классов исходя из числа изображений в одном классе
Степень ДР Число изображений Вес класса
0 1805 1,000000
2 999 1,806807
1 370 4,878378
4 295 6,118644
3 193 9,352332
Изображение являются цветными и представлены тремя каналами Red, Green и Blue, могут содержать артефакты, быть не в фокусе, недоэкспонированными или переэкспонированными. Данные были собраны несколькими
клиниками с помощью различных камер в течение длительного периода времени, что вносит дополнительную вариабельность. Примеры изображений различных классов представлены на рисунке 2.
Рисунок 2 - Примеры изображений различных классов
Для реализации процесса обучения модели нейронной сети была выполнена подготовка данных. 3662 изображения обучающего набора APTOS разделены на обучающую, вали-дационную и тестовую выборки в пропорциях
60% (2196 изображений), 20% (733 изображения) и 20% (733 изображения) соответственной. Распределение классов в рамках каждой из выборок представлено в таблице 3.
Таблица 3
Распределение классов в обучающей, валидапионной и тестовой выборках
Степень ДР Обучающая Тестовая выборка Валидационная
выборка выборка
2196 733 733
0 1088 365 352
1 204 83 83
2 617 194 188
3 124 32 37
4 163 59 73
Распределение классов в обучающей, валидационной и тестовой выборках
Архитектура моделей на основе нейронных сетей
Подавляющее число исследователей задачи анализа изображений сетчатки глаза ра-
ботают со свёрточными нейронными сетями. В настоящее время предложено большое число архитектур, которые в той или иной степени успешно используют [11]. В качестве базовых архитектур для исследования были выбраны ар-
хитектуры нейронных сетей VGG16 и VGG19
[12]. Они эффективны при решении широкого круга задач и их результаты интерпретируемы в ввиду достаточно простых структур. Для реализации нейронной сети использовался фреймворк глубокого обучения Keras на базе TensorFlow
[13]. Основной моделью в Keras является последовательная модель, которая представляет собой набор последовательных сетевых уровней. В результате построена модель Sequential с использованием Sequential API, представляющей собой
набор библиотечных вызовов. Преимущество Sequential API состоит в том, что для создания модели просто называются слои в порядке от начала до конца. При создании модели использовалась технология переноса обучения (Transfer Learning) [14], а основу модели составили архитектуры VGG16 и VGG19, предобученные на наборе ImageNet [15]. Каждая из архитектур VGG16 и VGG19 исследовалась отдельно. Резюме моделей в Keras представлены на рисунке 3.
Model : "vggl6"
Model: "vggl9"
Layer (type) Output Shape Pa ram #
input_l (InputLayer) [(None. , 512, 512, 3)] 0
blockl_convl (Conv2D) (None, 512, , 512 , 64) 1792
blockl_conv2 (Conv2D) (None, 512, , 512 , 64) 36928
blockl_pool (MaxPooling2D) (None, 256, 1 256 , 64) 0
block2_convl (Conv2D) (None, 256, , 256 , 128) 73856
block2_conv2 (Conv2D) (None, 256, , 256 , 128) 147584
block2_pool (MaxPooling2D) (None, 128, , 128 , 128) 0
block3_convl (Conv2D) (None, 128, , 128 l, 256) 295168
block3_conv2 (Conv2D) (None, 128, , 128 l, 256) 590080
block3_conv3 (Conv2D) (None, 128, , 128 1, 256) 590080
block3_pool (MaxPooling2D) (None, 64, 64, 256) 0
block4_convl (Conv2D) (None, 64, 64, 512) 1180160
block4_conv2 (Conv2D) (None, 64, 64, 512) 2359808
block4_conv3 (Conv2D) (None, 64, 64, 512) 2359808
block4_pool (MaxPooling2D) (None, 32, 32, 512) 0
block5_convl (Conv2D) (None, 32, 32, 512) 2359808
block5_conv2 (Conv2D) (None, 32, 32, 512) 2359808
block5_conv3 (Conv2D) (None, 32, 32, 512) 2359808
block5_pool (MaxPooling2D) (None, 16, 16, 512) 0
Total params: 14,714,688 Trainable params: 0 Non-trainable params: 14,714. ,688
Layer (type) Output Shape Pa ram t
input_6 (InputLayer) [(None. , 512, 512, 3)] 0
blockl_convl (Conv2D) (None, 512, 512 :, 64) 1792
blockl_conv2 (Conv2D) (None, 512, 512 , 64) 36928
blockl_pool (MaxPooling2D) (None, 256, 256 >» 64) 0
block2_convl (Conv2D) (None, 256, 256 , 128) 73856
block2_conv2 (Conv2D) (None, 256, 256 , 128) 147584
block2_pool (MaxPooling2D) (None, 128, 128 1, 128) 0
block3_convl (Conv2D) (None, 128, 128 , 256) 295168
block3_conv2 (Conv2D) (None, 128, 128 , 256) 590080
block3_conv3 (Conv2D) (None, 128, 128 !, 256) 590088
block3_conv4 (Conv2D) (None, 128, 12a 1, 256) 590080
block3_pool (MaxPooling2D) (None, 64, 64, 256) 0
block4_convl (Conv2D) (None, 64, 64, 512) 1180160
block4_conv2 (Conv2D) (None, 64, 64, 512) 2359808
block4_conv3 (Conv2D) (None, 64, 64, 512) 2359808
block4_conv4 (Conv2D) (None, 64, 64, 512) 2359808
block4_pool (MaxPooling2D) (None, 32, 32, 512) 0
block5_convl (Conv2D) (None, 32, 32, 512) 2359808
block5_conv2 (Conv2D) (None, 32, 32, 512) 2359808
block5_conv3 (Conv2D) (None, 32, 32, 512) 2359808
block5_conv4 (Conv2D) (None, 32, 32, 512) 2359808
block5_pool (MaxPooling2D) (None, 16, 16, 512) 0
Total params: 20,024,384 Trainable params: 20,024,384 Non-trainable params: 0
Рисунок 3 - Резюме моделей VGG16 и VGG19
Основная идея при построении модели заключается в добавлении к стандартной архитектуре пользовательских слоев, прежде всего полносвязных (Dense) и сглаживающих (Flatten). Кроме того, один из подходов к повышению точности модели и уменьшению переобучения заключается в добавлении к полносвязным слоям слоя Dropout [16] и слоя Batch Normalization [17]. Dropout - один из методов регуляризации (борьбы с переобучением модели). Его суть заключается в «забывании» части информации. Т.е. некоторый, заданный заранее процент нейронных связей, разрывается (забывается) на
выходе из текущего слоя нейронной сети. Batch Normalization или пакетная нормализация поддерживает среднее значение выхода близким к 0 и стандартное отклонение выхода близким к 1. Резюме предложенных моделей в Keras представлены на рисунке 4.
Model: "sequential_3"
Layer (type) Output Shape Param it
vggl6 (Functional) (None, 16, 16, 512) 14714688
flatten_2 (Flatten) (None, 131872) 0
dense_3 (Dense) (None, 256) 33554688
dropout_l (Dropout) (None, 256) в
batch_normalization_l (Batch (None, 256) 1024
dense_4 (Dense) (None, 5) 1285
Total params: 48,271,685 Trainable params: 48,271,173 Non-trainable params: 512
Model: "sequential_2"
Layer (type) Output Shape Param #
vggl9 (Functional) (None, 16, 16, 512) 20024384
flattenl (Flatten) (None, 131072) 0
dense_l (Dense) (None, 256) 33554688
dropout (Dropout) (None, 256) 0
batch_normalization (BatchNo (None, 256) 1024
dense_2 (Dense) (None, 5) 1285
Total params: 53,581,381 Trainable params: 53,580,869 Non-trainable params: 512
Рисунок 4 - Резюме моделей на базе VGG16 и VGG19
Параметры при обучении использовались следующие. Для предотвращения переобучения модели был определена ранняя остановка обучения модели Еаг^Шррег, когда точность модели на валидационном наборе начнет снижаться, что обычно является признаком переобучения. Также был определен обратный вызов ReduceLROnPlateau, который снижает скорость обучения модели при достижении плато на ва-лидационном наборе. Фактически происходит оптимизация числа эпох и скорости обучения. Для обучения были разморожены последние блоки предварительно обученных сетей VGG16 и VGG19 ('Ыоск5_сопу1') [18]. Число эпох было определено равным 50, а число шагов в рамках одной эпохи - 100. Общее число тренировочных объектов, представленных в одном батче, равнялось 20, валидационный шаг равен 1. Применялся оптимизатор, реализующий алгоритм RMSprop [19]. Для краткости предложенные модели на базе VGG16 и VGG19 далее будем обозначать как VGG16 и VGG19.
Результаты экспериментов
Так как размер изображений в наборе данных различный, то первый эксперимент с применением построенных архитектур нейронных сетей касался выбора размера входного слоя нейронной сети, а соответственно и размера входного изображения, при котором будет достигнута максимальная точность модели на тестовом наборе. Эксперимент проводился для значений 150x150, 224x224 и 512x512. Выполнялось изменение размеров изображений, подаваемых на вход нейронной сети. Точность результатов классификации степени ДР моделью оценивалась с помощью F1-меры [20], в общем случае представляющая собой гармоническое среднее между точностью и полнотой. Однако, здесь и далее в статье вычисляла взвешенная F1-мера, позволяющая учитывать дисбаланс классов, что может привести к тому, что F1-мера не будет находиться между точностью и полнотой. При оценке точности модели использовался подготовленный тестовый набор, описанный выше. Результаты эксперимента представлены в таблице 4.
Таблица 4
Точность модели при разных размерах входного изображения
Модель Размер изображения
150x150 224x224 512x512
VGG16 73,1901 73,7909 78,3264
VGG19 69,2012 74,6120 76,9515
Результаты экспериментов показали, что при размере входного слоя нейронной сети, а соответственно и размере изображения, равного 512^512, достигается большая точность классификации моделей VGG16 и VGG19. Это свидетельствует о том, что при данном размере сохраняются признаки, позволяющие различать наличие и степени ДР в соответствии с таблицей
1.
Значительная часть исследователей в данной области [21, 22] предлагает выполнять на этапе предварительной обработки изображений обрезку с целью устранения фона, который иногда занимает значительный процент площади изображения, рисунок 5.
Рисунок 5 - Примеры изображений со значительной площадью фона
Также необходимо отметить, что граница между фоном и объектом не всегда резкая и однозначная, рисунок 6. Поэтому следующим предметом исследования стал этап удаления темного фона. Для исследования были выбраны два значения яркости 0 и 7 0®1), по которым вы-
полнялась обрезка изображения. Размер изображения равен 512^512. Точность модели также оценивалась с помощью взвешенной F1-меры. Максимальная точность классификации степень ДР была достигнута моделью VGG19 при обрезке с порогом равным 0, таблица 5.
Рисунок 6 - Профиль произвольной строки для изображения сетчатки глаза
Таблица 5
Точность модели при разных значениях порога для обрезки изображения
Модель Значение порога при обрезке изображения, размер изображения 512x512
toi >7 toi > 0
VGG16 76,9600 77,8541
VGG19 76,5828 78,7531
Также определенный интерес для анализа результатов представляют матрицы неточности, которые детально отображают ошибки моделей. На рисунке 7 представлены матрицы неточностей и матрицы, показывающие процент ошибок для каждого класса. Матрицы были построены для тестовой выборки при следую-
щих условиях эксперимента: размер входного изображения равен 512*512, значения порога при обрезке изображения принималось равным 0 (т.е. условия, при которых была достигнута максимальная точность моделей). Истинные значения - это строки матрицы, предсказанные - столбцы, рисунок 7.
Confusion Matrix
0.991781 0.002740 0 0054790 000000 0 000000
-0.168675 0686747 01325300 012048 0 000000
-0041237 0185567 Ио 092784 0 051546
-0 0000000 031250 0 4687500 281250 0 218750
-00000000050847 0 338983 0 101695Щ
1 2 3
Predicted labels
VGG16 VGG19
Рисунок 7 - Матрицы неточностей
Матрицы неточности показывают, что модели хорошо различают наличие и отсутствие ДР, когда цена ошибки максимальная. Большая часть ошибок приходится на определение степени тяжести ДР. В качестве рекомендаций при решении задачи классификации стадий диабетической ретинопатии по изображениям сетчатки глаза стоит отметить следующее.
1. Необходимо анализировать изображения такого размера, при котором сохраняются и различимы признаки ДР. Эксперименты показали, что размер изображения должен быть не меньше 512*512.
2. Перед стадией принятия решения на основе нейронных сетей необходимо выполнить предварительную обработку изображений, которая должна включать операцию обрезки изображения с целью устранения избыточной площади фона.
Дальнейшие исследования целесообразно проводить в следующих направлениях: расширить
перечень архитектур сверточных нейронных сетей и число операций предварительной обработки.
Заключение
В статье рассмотрен вопрос классификации стадий диабетической ретинопатии с помощью нейронных сетей на изображениях сетчатки глаза человека. Исследована задача классификации стадий диабетической ретинопатии, а также предложено использовать архитектуры глубоких нейронных сетей на базе VGG16 и VGG19 с добавление пользовательских слоёв. На основе проведенных экспериментальных исследований сформулированы рекомендации по выбору размера исходных изображений, а также этапу предварительной обработки. Обучение моделей нейронных сетей и оценка результатов проводилась с учетом дисбаланса классов в используемом наборе данных.
ЛИТЕРАТУРА
1. Bourne, R.R. Vision Loss Expert Group. Causes of vision loss worldwide, 1990-2010: a systematic analysis / R.R. Bourne,
G.A. Stevens, R.A. White, J.L. Smith, S.R. Flaxman, H. Price, J.B. Jonas, J. Keeffe, J. Leasher, K. Naidoo, K. Pesudovs, S. Resnikoff
H.R. Taylor // Lancet Glob Health - 2013. - T. 1, №6. - C. 339-349. doi: 10.1016/S2214-109X(13)70113-X.
2. Diabetic Retinopathy: National Eye Institute [Электронный ресурс]. - Режим доступа: https://nei.nih.gov/health/ diabetic/retinopathy. - Дата доступа : 17.08.2022.
3. World Health Organization: Diabetes [Электронный ресурс]. - Режим доступа: https://www .who.int/news-room/ fact-sheets/detail/diabetes. - Дата доступа : 17.08.2022.
4. Stolte, S. A survey on medical image analysis in diabetic retinopathy / S. Stolte, R. Fang // Medical Image Analysis. - 2020.
- T. 64. - C. 1-76. https://doi.org/10.1016/j.media.2020.101742.
5. Gulshan, V Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs / V. Gulshan [et al.] // JAMA. - 2016. - T. 316, № 2. - С. 2402-2410 (2016). https://doi.org/10.1001/jama.2016.17216.
6. Gargeya, R. Automated identification of diabetic retinopathy using deep learning / R. Gargeya, T. Leng // Ophthalmology.
- 2017. - T. 124, № 7. - C. 962-969. doi: 10.1016/j.ophtha.2017.02.008.
7. Alyoubi, W.L. Diabetic Retinopathy Detection through Deep Learning Technique: A Review / W.L. Alyoubi, W.M. Shalash, M.F. Abulkhair // Informatics in Medicine Unlocked. - 2020. - T. 20. - C. 1-11. doi: 10.1016/j.imu.2020.100377.
8. Li, T. Diagnostic assessment of deep learning algorithms for diabetic retinopathy screening / T. Li [et al.] // Information Sciences. - 2019. - T. 501.- C. 511-522. https://doi.org/10.1016/j.ins.2019.06.011
9. APTOS 2019 Blindness Detection [Электронный ресурс]. - Режим доступа: https://www.kaggle.com/competitions/ aptos2019-blindness-detection/data. - Дата доступа : 17.08.2022.
10. Sim, D.A Patterns of peripheral retinal and central macula ischemia in diabetic retinopathy as evaluated by ultra-widefield fluorescein angiography / D.A. Sim [et al.] // American Journal of Ophthalmology. -2014. - T. 158. - C. 144-153.
11. Wejdan L. Alyoubi Diabetic retinopathy detection through deep learning techniques: A review / Wejdan L. Alyoubi, Wafaa M. Shalash, Maysoon F. Abulkhair // Informatics in Medicine Unlocked. - 2020. - T. 20. - C. 1-11. https://doi.org/10.1016/). imu.2020.100377.
12. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1409.1556. - Дата доступа : 17.08.2022.
13. Geron, A. Hands-on machine learning with Scikit-Learn, Keras and TensorFlow: concepts, tools, and techniques to build intelligent systems (2nd ed.) / A. Geron - O'Reilly Media, Inc., 2019. - 856 P.
14. Zhuang, F. A comprehensive survey on transfer learning / F. Zhuang [et al.] // Proceedings of the IEEE. - 2020. - Т. 109.
- №. 1. - С. 43-76.
15. Russakovsky, O. Imagenet large scale visual recognition challenge / Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, et al. // International Journal of Computer Vision. - 2015. - T. 115, № 3. - C. 211-252.
16. Srivastava, N. Dropout: a simple way to prevent neural networks from overfitting / Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov // Journal of Machine Learning Research - 2014 - T. 15, № 1. - C. 1929-1958.
17. Ioffe S. Batch normalization: Accelerating deep network training by reducing internal covariate shift / S. Ioffe, C. Szegedy // International conference on machine learning. - PMLR. - 2015. - С. 448-456.
18. Brock A. et al. Freezeout: Accelerate training by progressively freezing layers [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdl/1706.04983. - Дата доступа : 17.08.2022.
19. Ruder S. An overview of gradient descent optimization algorithms [Электронный ресурс]. - Режим доступа: https:// arxiv.org/pdf/1609.04747. - Дата доступа : 17.08.2022.
20. Goutte, C. A Probabilistic Interpretation of Precision, Recall and F-Score, with Implication for Evaluation / Goutte, Cyril, Gaussier, Eric.// Lecture Notes in Computer Science. - 2005. - T. 3408. - C.345-359. doi:10.1007/978-3-540-31865-1_25.
21. Salamat, N. Diabetic retinopathy techniques in retinal images: A review / N. Salamat, MMS. Missen, A. Rashid // Artificial Intelligence in Medicine. - 2019. - T. 97. - C. 168-188. doi: 10.1016/j.artmed.2018.10.009.
22. Starovoitov, V.V. A Universal Retinal Image Template for Automated Screening of Diabetic Retinopathy / V.V. Starovoitov, YI. Golub, M.M. Lukashevich // Pattern Recognition and Image Analysis. - 2022. - T. 32. - C. - 322-331. https://doi.org/10.1134/ S1054661822020195.
REFERENCES
1. Bourne, R.R. Vision Loss Expert Group. Causes of vision loss worldwide, 1990-2010: a systematic analysis / R.R. Bourne,
G.A. Stevens, R.A. White, J.L. Smith, S.R. Flaxman, H. Price, J.B. Jonas, J. Keeffe, J. Leasher, K. Naidoo, K. Pesudovs, S. Resnikoff,
H.R. Taylor // Lancet Glob Health - 2013. - Vol. 1, №6. - P. 339-349. doi: 10.1016/S2214-109X(13)70113-X.
2. Diabetic Retinopathy: National Eye Institute [Online]. - Available: https://nei.nih.gov/health/diabetic/retinopathy. - Date of access : 17.08.2022.
3. World Health Organization: Diabetes [Online]. - Available: https://www .who.int/news-room/fact-sheets/detail/diabetes.
- Date of access : 17.08.2022.
4. Stolte, S. A survey on medical image analysis in diabetic retinopathy / S. Stolte, R. Fang // Medical Image Analysis. - 2020.
- Vol. 64. - P. 1-76. https://doi.Org/10.1016/j.media.2020.101742.
5. Gulshan, V. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs / V Gulshan [et al.] // JAMA. - 2016. - Vol. 316, № 2. - P. 2402-2410 (2016). https://doi.org/10.1001/jama.2016.17216.
6. Gargeya, R. Automated identification of diabetic retinopathy using deep learning / R. Gargeya, T. Leng // Ophthalmology.
- 2017. - Vol. 124, № 7. - P. 962-969. doi: 10.1016/j.ophtha.2017.02.008.
7. Alyoubi, W. L. Diabetic Retinopathy Detection through Deep Learning Technique: A Review / W.L. Alyoubi, W.M. Shalash, M.F. Abulkhair // Informatics in Medicine Unlocked. - 2020. - Vol. 20. - P. 1-11. doi: 10.1016/j.imu.2020.100377.
8. Li, T. Diagnostic assessment of deep learning algorithms for diabetic retinopathy screening / T. Li [et al.] // Information Sciences. - 2019. - Vol. 501. - P. 511-522. https://doi.org/10.1016/j.ins.2019.06.011
9. APTOS 2019 Blindness Detection [Online]. - Available: https://www.kaggle.com/competitions/aptos2019-blindness-detection/data. - Date of access : 17.08.2022.
10. Sim, D. A. Patterns of peripheral retinal and central macula ischemia in diabetic retinopathy as evaluated by ultra-widefield fluorescein angiography / D.A. Sim [et al.] // American Journal of Ophthalmology. -2014. - Vol. 158. - P. 144-153.
11. Wejdan L. Alyoubi Diabetic retinopathy detection through deep learning techniques: A review / Wejdan L. Alyoubi, Wafaa M. Shalash, Maysoon F. Abulkhair // Informatics in Medicine Unlocked. - 2020. - Vol. 20. - P. 1-11. https://doi.org/10.1016Xj. imu.2020.100377.
12. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition [Online]. - Available: https://arxiv.org/pdl/1409.1556. - Date of access : 17.08.2022.
13. Geron, A. Hands-on machine learning with Scikit-Learn, Keras and TensorFlow: concepts, tools, and techniques to build intelligent systems (2nd ed.) / A. Geron - O'Reilly Media, Inc., 2019. - 856 P.
14. Zhuang, F. A comprehensive survey on transfer learning / F. Zhuang [et al.] // Proceedings of the IEEE. - 2020. - Vol. 109. - №. 1. - P. 43-76.
15. Russakovsky, O. Imagenet large scale visual recognition challenge / Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, et al. // International Journal of Computer Vision. - 2015. - Vol. 115, № 3. - P. 211-252.
16. Srivastava, N. Dropout: a simple way to prevent neural networks from overfitting / Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov // Journal of Machine Learning Research - 2014 - Vol. 15, № 1. - P. 1929-1958.
17. Ioffe S. Batch normalization: Accelerating deep network training by reducing internal covariate shift / S. Ioffe, C. Szegedy // International conference on machine learning. - PMLR. - 2015. - P. 448-456.
18. Brock A. et al. Freezeout: Accelerate training by progressively freezing layers [Online]. - Available: https://arxiv.org/ pdf/1706.04983. - Date of access : 17.08.2022.
19. Ruder S. An overview of gradient descent optimization algorithms [Online]. - Available: https://arxiv.org/ pdf/1609.04747. - Date of access : 17.08.2022.
20. Goutte, C. A Probabilistic Interpretation of Precision, Recall and F-Score, with Implication for Evaluation / Goutte, Cyril, Gaussier, Eric.// Lecture Notes in Computer Science. - 2005. - Vol. 3408. - P. 345-359. doi:10.1007/978-3-540-31865-1_25.
21. Salamat, N. Diabetic retinopathy techniques in retinal images: A review / N. Salamat, MMS. Missen, A. Rashid // Artificial Intelligence in Medicine. - 2019. - Vol. 97. - P. 168-188. doi: 10.1016/j.artmed.2018.10.009.
22. Starovoitov, V V A Universal Retinal Image Template for Automated Screening of Diabetic Retinopathy / V V Starovoitov, Y.I. Golub, M.M. Lukashevich // Pattern Recognition and Image Analysis. - 2022. - Vol. 32. - P. - 322-331. https://doi.org/10.1134/ S1054661822020195.
M.M. LUKASHEVICH, Y.I. GOLUB
CLASSIFICATION OF DIABETIC RETINOPATHY STAGES BASED ON NEURAL
NETWORKS
United Institute of Informatics Problems of the National Academy of Sciences of Belarus Belarusian State University of Informatics and Radioelectronics
Diabetic retinopathy is one of the main side effects of diabetes, which causes severe effects, including blindness. The main challenge is the early diagnosis of this disease for timely and effective treatment. Diabetic retinopathy can be detected much faster and more accurately by using machine learning methods for image analyzing of the human retina. The development of methods and algorithms for the detection and classification of this disease, the automation of this process are the actual and cost-effective goals.
The article focuses on the classification of the stages of diabetic retinopathy using neural networks based on human retinal images. Classification problem of diabetic retinopathy stages is described.
The architecture of deep neural networks based on VGG16 and VGG19 with the addition of custom layers is proposed. Recommendations for the selection of the size of the initial retinal images and the preprocessing stage (cropping) are given As a result of the performed experimental research. Analysis of the dataset was performed. Neural network models were trained and results were evaluated with class imbalance taken into account.
Keywords: image; classification; diabetic retinopathy; neural networks.
Лукашевич Марина Михайловна, кандидат технических наук, доцент, докторант учреждения образования «Белорусский государственный университет информатики и радиоэлектроники».
Lukashevich M.M., PhD, Associate Professor, Postdoctoral Fellow at the Belarusian State University of Informatics and Radioelectronics.
Email: [email protected]
Голуб Юлия Игоревна, кандидат технических наук, доцент, старший научный сотрудник государственного научного учреждение «Объединенный институт проблем информатики Национальной академии наук Беларуси».
Golub Y. 1, PhD, Associate Professor, Senior Research Fellow at the United Institute of Informatics Problems, National Academy of Sciences of Belarus.
Email: 6423506@ gmail.com
