CC BY
25
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - V. 28, № 2 - P. 107-110
УДК: 004.932.72'1:616.5-006
DOI: 10.24412/1609-2163-2021-2-107-110
РАСПОЗНАВАНИЕ ПРИЗНАКОВ ДИАБЕТИЧЕСКОМ РЕТИНОПАТИИ С ПРИМЕНЕНИЕМ КЛАССИФИКАЦИОННЫХ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ
Т. Х. МАМЕДОВ, А. Н. НАРКЕВИЧ
ФГБОУВО «Красноярский государственный медицинский университет им. проф. В.Ф. Войно-Ясенецкого» Минздрава России, ул. Партизана Железняка, д. 1, г. Красноярск, Красноярский край, 660022, Россия,
e-mail: [email protected]
Аннотация. Целью данного исследования явилась разработка математических моделей для распознавания цифровых изображений сетчатки глаза для диагностики диабетической ретинопатии. Материалы и методы исследования. В исследовании использованы изображения из открытого репозитория - Standard Diabetic Retinopathy Database. Все используемые в исследовании изображения были размечены экспертами на четыре паттерна диабетической ретинопатии - мягкие экссудаты, твёрдые экссудаты, геморрагии и микроаневризмы. Данные изображения прошли предварительную параметризацию для удобного использования всех параметров в качестве входных данных для классификационных математических моделей. При параметризации было выделено 35 параметров, описывающих участки изображения 3*3 пикселя. Для классификации пикселей на изображениях использовались следующие классификационные математические модели: дискриминантное уравнение, дерево классификации, логистическое регрессионное уравнение и искусственная многослойная нейронная сеть. Результаты и их обсуждение. В результате построения данных моделей и сравнения результатов классификации пикселей было установлено, что наибольшая точность классификации достигается путём использования модели дерева классификации. Для поиска на изображениях сетчатки глаза твёрдых экссудатов показатель точности классификации составляет 81,3 [81,1; 81,5]%, для геморрагий 79,0 [78,1; 79,9]%, для микроаневризм 84,1 [83,2; 84,8]%, для мягких экссудатов 89,6 [88,8; 90,3]%. Заключение. Использование данных моделей может позволить в автоматическом режиме осуществлять анализ цифровых изображений сетчатки глаза и поиск пикселей, относящихся к признакам диабетической ретинопатии, совокупность которых свидетельствует о наличии или отсутствии данного осложнения сахарного диабета.
Ключевые слова: классификация изображений, сетчатка глаза, диабетическая ретинопатия, математическое моделирование, анализ изображений.
DETECTION OF THE SIGNS OF DIABETIC RETINOPATHY USING CLASSIFICATION MATHEMATICAL MODELS
T.H. MAMEDOV, A.N. NARKEVICH
Krasnoyarsk State Medical University named after Prof. V.F. Voino-Yasenetski, Partisan Zheleznyak Str., 1, Krasnoyarsk, Krasnoyarsk region, 660022, Russia, e-mail: [email protected]
Abstract. The research purpose was to develop mathematical models for the detection of digital images of the retina to diagnose the diabetic retinopathy. Materials and methods. The study used images from the open repository Standard Diabetic Retinopathy Database. All images used in the study were marked up by experts into four patterns of diabetic retinopathy - soft exudates, hard exudates, hemorrhages and microaneurysms. The image data has been pre-parameterized for convenient use of all parameters as input data for classification mathematical models. During parameterization, 35 parameters were identified that describe 3x3 pixel image sections. The following classification mathematical models were used to classify pixels in images: discriminant equation, classification tree, logistic regression equation, and artificial multilayer neural network. Results and its discussion. As a result of constructing these models and comparing the results of pixel classification, it was found that the highest classification accuracy is achieved by using the classification tree model. For the search for hard exudates in retinal images, the classification accuracy index is 81.3 [81.1; 81.5]%, for hemorrhages 79.0 [78.1; 79.9]%, for microaneurysms 84.1 [83.2; 84.8]%, for soft exudates 89.6 [88.8; 90.3]%. Conclusion. The use of these models allows to carry out an automatic analysis of digital images of the retina and search for pixels related to the signs of diabetic retinopathy, the totality of which indicates the presence or absence of this complication of diabetes mellitus.
Keywords: image classification, retina, diabetic retinopathy, mathematical modeling, image analysis.
Введение. Одним из наиболее частых осложнений у пациентов с сахарным диабетом является диабетическая ретинопатия (ДР) [4-6]. Несмотря на то, что в последние годы в клиническую практику внедряются новые методы диагностики ДР, позволившие снизить ее тяжесть, вопрос о ранней и более точной диагностике этого осложнения остаётся открытым и на текущий момент [1,7]. Для диагностики ДР применяются различные методы, в том числе компьютерные интеллектуальные системы с использованием математических классификационных моделей [2,3]. Такие модели могут быть основаны на применении логистической
регрессии, древовидной классификации, дискрими-нантном анализе или искусственных нейронных сетей [8,9,11]. Перечисленные методы позволяют получить не только высокие показатели точности классификации изображений глазного дна тем самым упрощая скрининговые исследования, но и позволяют специалисту, не имеющему достаточно опыта, принять решение касательно постановки диагноза [12].
Цель исследования - разработка математических моделей для распознавания цифровых изображений сетчатки глаза для диагностики диабетической ретинопатии.
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - V. 28, № 2 - P. 107-110
Материалы и методы исследования. В работе использовалась открытая база данных изображений глазного дна Standard Diabetic Retinopathy Database (https://www.it.lut.fi/project/imageret/diaretdb1/). В анализ включено 89 изображений с разрешением 1500*1152 пикселя.
Каждое изображение размечено специалистами, то есть на каждом изображении выделены участки, на которых видны признаки ДР - мягкие экссудаты, твёрдые экссудаты, геморрагии и микроаневризмы. Таким образом сформированы 4 группы изображений (каждая группа по 89 изображений), каждая из которых включала в себя разметку по одному из четырех признаков ДР. В рамках данной работы задачей используемых классификационных математических моделей являлась классификация всех пикселей изображений на два класса: один из признаков ДР (мягкие экссудаты, твёрдые экссудаты, геморрагии или микроаневризмами) или участок без признаков ДР. Каждая классификационная математическая модель строилась так, чтобы классифицировать один из признаков ДР.
Для распознавания пикселей, относящихся к признакам ДР, использованы следующие классификационные математические модели: дискриминант-ное уравнение, дерево классификации, логистическое регрессионное уравнение и искусственная многослойная нейронная сеть. В качестве входных данных для моделей использовалась информация о классифицируемом пикселе и его ближайшем окружении в виде квадрата 3*3. Использовались следующие признаки классифицируемого пикселя: значения составляющих цвета пикселя в цветовых схемах RGB (R, G и B) и HSV (H, S и V), а также значение его цвета в монохромном виде (У). В качестве признаков, характеризующих окружение 3*3 классифицируемого пикселя использованы: средние, максимальные и минимальные значения, а также стандартное отклонение составляющих цвета пикселей квадрата 3*3 в цветовых схемах RGB, HSV и монохромном виде. Всего в качестве входных параметров классификационных математических моделей использовано 35 признаков классифицируемого пикселя и признаков, характеризующих его окружение 3*3. В качестве выходного признака используемых классификационных математических моделей использована информация об отнесении пикселя к одному из признаков ДР или к участку без признаков ДР в бинарном виде: 0 - пиксель относится к участку без признаков ДР, 1 - к участку с наличием одного из признаков ДР.
При построении дискриминантного уравнения использованы два метода отбора признаков для включения в модель: принудительное включение всех 35 входных признака и шаговый отбор с включением в модель наиболее значимых для классификации признаков.
При построении логистического регрессионного уравнения также использовано несколько методов отбора входных признаков: принудительное включение всех 35 входных признака и шаговый отбор с включением в модель наиболее значимых признаков. Шаговый отбор осуществлялся с применением двух подходов: прямой пошаговый и обратный пошаговый методы. Прямой пошаговый метод заключается в том, что на первом шаге в качестве входного признака в уравнение включается только один наиболее значимый для классификации признак. На следующем шаге в качестве входного признака в уравнение включается следующий по значимости признак. Такое добавление признаков производится до того момента, когда в качестве входных признаков включены все значимые для классификации параметры. Обратный пошаговый метод заключается в том, что на первом шаге в качестве входных признаков в уравнение включаются все используемые признаки. На следующем шаге из перечня входных признаков исключается самый незначимый признак. Такое исключение признаков производится до того момента, когда из перечня входных признаков исключены все незначимые для классификации параметры.
При построении дерева классификации использовались четыре метода построения: CHAID, исчерпывающий CHAID, CRT и QUEST, основанные на использовании различных статистических параметров для отбора входных признаков и различных алгоритмах ветвления получаемых классификационных деревьев.
При построении искусственной многослойной нейронной сети были использованы следующие параметры обучения: максимальное количество шагов без уменьшения погрешности для остановки обучения -100, минимальное относительное изменение погрешности обучения - 0,000001. Построение искусственной нейронной сети осуществлялось в несколько итераций. На первой итерации в модель в качестве входных признаков включены все 35 параметров. После построения нейронной сети производилась оценка важности входных признаков, после которой на следующей итерации наименее важный признак исключался из перечня входных признаков. Такое исключение производилось до того момента, когда в качестве входного признака оставался один наиболее важный признак. После получения 35 искусственных многослойных нейронных сетей для распознавания пикселей с наличием каждого отдельно взятого признака ДР, выбиралась нейронная сеть, имеющая наибольший показатель качества классификации.
Оценка качества классификации пикселей осуществлялась на основании показателя точности. Ввиду того, что в ходе исследования было получено множество различных классификационных математических моделей для представления в рамках статьи использованы те модели, которые имели наибольшую точность классификации на тестовой выборке,
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - V. 28, № 2 - P. 107-110
которая составляла 30% от общего набора классифицируемых пикселей. Для показателя точности рассчитывался 95% доверительный интервал.
Построение классификационных математических моделей осуществлялось с применением статистического пакета IBM SPSS Statistics v.19.
Результаты и их обсуждение. В табл. 1 представлены результаты классификации пикселей с применением полученных дискриминантных уравнений.
Таблица 1
Точность классификации с применением дискриминантных уравнений, построенных с применением различных методов отбора входных признаков, %
Признаки ДР Метод отбора признаков
Принудительное включение Шаговый отбор
Твёрдые экссудаты 75,4 [68,8; 80,6] 74,2 [67,7; 79,5]
Геморрагии 74,4 [67,7; 79,5] 72,4 [66,7; 78,8]
Микроаневризмы 76,0 [69,7;80,5] 73,3 [65,3; 78,2]
Мягкие экссудаты 73,3 [66,7; 77,2] 71,2 [63,2; 77,1]
отметить, что независимо от метода построения деревьев классификации все полученные модели включают в себя все 35 входных признаков. При этом, для распознавания пикселей, относящихся к твёрдым экссудатам, полученное дерево включает в себя 10 уровней, относящихся к геморрагиям - 9 уровней, к микроаневризмам - 6 уровней, мягким экссудатам - 9 уровней.
Таблица 3
Точность классификации с применением деревьев
классификации, полученных с применением различных методов отбора входных признаков, %
Признаки ДР CHAID Исчерпывающий CHAID CRT QUEST
Твёрдые экссудаты 80,7 [80,5; 80,8] 80,7 [80,5; 80,8] 81,3 [81,1; 81,5] 80,8 [80,6; 80,9]
Геморрагии 78,2 [77,3; 79,1] 77,9 [77,0; 78,9] 79,0 [78,1; 79,9] 78,3 [77,5; 79,2]
Микроанев ризмы 83,4 [82,1; 84,5] 84,1 [82,9; 85,2] 84,1 [83,2; 84,8] 81,6 [80,5; 82,5]
Мягкие экссудаты 88,8 [87,9; 89,5] 88,4 [87,6; 89,2] 89,6 [88,8; 90,3] 88,7 [87,9; 89,3]
Результаты, представленные в табл. 1, свидетельствую о том, что наилучшие результаты классификации пикселей с применением дискриминант-ных уравнений получены при принудительном включении всех используемых признаков в уравнение.
Результаты классификации пикселей с применением логистических регрессионных уравнений представлены в табл. 2.
Таблица 4
Точность классификации с применением искусственных нейронных сетей и число входных признаков в полученных моделях
Таблица 2
Точность классификации с применением логистических регрессионных уравнений, полученных с применением различных методов отбора входных признаков, %
Признаки ДР Точность, % Число входных признаков
Твёрдые экссудаты 78,1 [78,0; 78,2] 5
Геморрагии 75,3 [74,4; 76,2] 31
Микроаневризмы 82,9 [81,7; 83,9] 20
Мягкие экссудаты 86,0 [85,2; 86,7] 22
Признаки ДР Принудительное включение Прямой шаговый отбор (условный) Прямой шаговый отбор (Вальда) Обратный Шаговый отбор (условный) Обратный шаговый отбор (Вальда)
Твёрдые экссудаты 76,0 [75,2; 76,5] 76,0 [75,7; 76,8] 76,0 [75,7; 76,8] 76,0 [75,7; 76,8] 76,0 [75,7; 76,8]
Геморрагии 75,2 [74,7; 75,7] 75,4 [74,9; 75,9] 75,4 [74,9; 75,9] 75,3 [74,7; 75,8] 75,3 [74,7; 75,8]
Микроаневризмы 76,7 [76,0; 77,4] 77,0 [76,3; 77,6] 77,0 [76,3; 77,6] 76,8 [76,1; 77,5] 76,8 [76,1; 77,5]
Мягкие экссудаты 74,7 [74,2; 75,2] 74,9 [74,4; 74,4] 74,9 [74,4; 74,4] 74,7 [74,2; 75,2] 74,7 [74,2; 75,2]
Из таблицы следует, что показывают наилучшие результаты классификации уравнения логистической регрессии, полученные с применением прямого шагового отбора входных признаков. При построении дерева классификации использовались четыре метода построения: CHAID, исчерпывающий CHAID, CRT и QUEST.
Лучшие результаты каждого способа построения представлены в табл. 3.
Наилучшие результаты классификации пикселей были получены с использованием дерева классификации, построенного методом CRT. Необходимо
Результаты построения модели искусственной многослойной нейронной сети представлены в табл. 4.
Из данных, представленных в табл. 4, следует, что для классификации пикселей, относящихся к твёрдым экссудатам, значимы 5 входных признаков, геморрагий - 31 признак, микроаневризм - 20 признаков, а для классификации пикселей, относящихся к мягким экссудатам, - 22 входных признака.
Сравнивая результаты классификации пикселей, относящихся к различным признакам ДР, с помощью различных математических моделей с применением различных методов отбора входных признаков можно отметить, что наилучшие результаты были получены с использованием деревьев классификации. В связи с этим, максимальное значение точности классификации пикселей, относящихся к твердым экссудатам, составило 81,3 [81,1; 81,5]%, относящихся к геморрагиям - 79,0 [78,1; 79,9]%, относящихся к микроаневризмам - 84,1 [83,2; 84,8]%, а для классификации пикселей, относящихся к мягким экссудатам, - 89,6 [88,8; 90,3]%. Полученные результаты
JOURNAL OF NEW MEDICAL TECHNOLOGIES - 2021 - V. 28, № 2 - P. 107-110
свидетельствуют о состоятельности многомерных математических моделей для решения задачи поиска на изображениях сетчатки глаза признаков ДР.
Заключение. Таким образом, в ходе исследования были построены различные математические модели для классификации пикселей изображений глазного дна, относящихся к различным признакам диабетической ретинопатии. Наибольшая точность классификации пикселей была получена с применением деревьев классификации: при распознавании пикселей, относящихся к твёрдым экссудатам точность составила 81,3 [81,1; 81,5]%, к геморрагиям -79,0 [78,1; 79,9]%, к микроаневризмам - 84,1 [83,2; 84,8]%, к мягким экссудатам - 89,6 [88,8; 90,3]%.
Использование данных моделей может позволить в автоматическом режиме осуществлять анализ цифровых изображений сетчатки глаза и поиск пикселей, относящихся к признакам диабетической ретинопатии, совокупность которых свидетельствует о наличии или отсутствии данного осложнения сахарного диабета. Такая автоматизация диагностического процесса с применением интеллектуального математического аппарата может повысить качество и более того доступность скриниговых обследований на предмет наличия диабетической ретинопатии у больных сахарным диабетом.
Литература / References
1. Дедов И.И., Шестакова М.В., Викулова О.К. Эпидемиология сахарного диабета в Российской Федерации: клинико-статистиче-ский анализ по данным Федерального регистра сахарного диабета // Сахарный диабет. 2017. T. 20, №1. C. 13-41 / Dedov II, Shestakova MV, Vikulova OK. Epidemiologiya sakharnogo diabeta v Rossiyskoy Federatsii: kliniko-statisticheskiy analiz po dannym Federal'nogo registra sakharnogo diabeta [Epidemiology of diabetes mellitus in the Russian Federation: clinical and statistical analysis according to the Federal Register of Diabetes Mellitus]. Sakharnyy diabet.2017;20(1):13-41. Russian.
2. Ильясова Н.Ю., Куприянов А.В., Храмов А.Г. Информационные технологии анализа изображений в задачах медицинской диагностики. М.: Радио и связь, 2012 . 424 с. / Il'yasova NYu, Kupriyanov AV, Khramov AG. Informatsionnye tekhnologii analiza izo-brazheniy v zadachakh meditsinskoy diagnostiki [Information technologies of image analysis in medical diagnostics tasks]. Moscow: Radio i svyaz'; 2012. Russian.
3. Ильясова Н.Ю. Диагностический комплекс анализа изображений сосудов глазного дна // Биотехносфера. 2014. Т. 33, №3. С. 2024 / Il'yasova NYu. Diagnosticheskiy kompleks analiza izobrazheniy sosu-
dov glaznogo dna [Diagnostic system of image analysis of the retinal vessels] . Biotekhnosfera.2014;33(3) :20-4.
4. Осетрова Н.Б., Кублик Е.С., Минеева Е.С. Кардиоренальный синдром у больных с сахарным диабетом 2 типа и гипертонической болезнью // Сибирское медицинское обозрение. 2020. № 1. С. 45-54 / Osetrova NB, Kublik ES, Mineeva ES. Kardiorenal'nyy sindrom u bol'nykh s sakharnym diabetom 2 tipa i gipertonicheskoy bolezn'yu [Cardiorenal syndrome in patients with type 2 diabetes mellitus and hypertension]. Sibirskoe meditsinskoe obozrenie. 2020;(1):45-54. Russian.
5. Смирнова О.М. Диабетическая ретинопатия. Результаты международных многоцентровых исследований // Сахарный диабет. 2010. Т. 13, №1. С. 80-87 / Smirnova OM. Diabeticheskaya retinopatiya. Rezul'taty mezhdunarodnykh mnogotsentrovykh issledovaniy [Diabetic retinopathy. Results of international multicenter studies]. Sakharnyy di-abet.2010;13(1):80-7. Russia
6. Clara I.S., Niemeijer M., Dumitrescu A.V., Suttorp-Schulten S.A., Abramoff M.D., Ginneken B. Evaluation of a Computer-Aided Diagnosis System for Diabetic Retinopathy Screening on Public Data // Investigative Ophthalmology & Visual Science. 2011. Vol. 7, №52. P. 4866-4871 / Clara IS, Niemeijer M, Dumitrescu AV, Suttorp-Schulten SA, Abramoff MD, Ginneken B. Evaluation of a Computer-Aided Diagnosis System for Diabetic Retinopathy Screening on Public Data. Investigative Ophthalmology & Visual Science. 2011;7(52):4866-71.
7. Hoover A., Goldbaum M. Fuzzy convergence. IEEE Computer Society Conference on Computer Vision and Pattern recognition, 1998. P. 712-716 / Hoover A, Goldbaum M. Fuzzy convergence. IEEE Computer Society Conference on Computer Vision and Pattern recognition; 1998.
8. Lee S., Wang Y., Lee E. A computer algorithm for automated detection and quantification of microaneurysms and haemorrhages in color retinal images // Image Perception and Performance. 1999. Vol. 3663. P. 61-71 / Lee S, Wang Y, Lee E. A computer algorithm for automated detection and quantification of microaneurysms and haemorrhages in color retinal images. Image Perception and Performance.1999;(3663):61-71.
9. Ouellec G., Lamard M., Abramoff M.D., Decenciere E., Lay B., Er-ginay A., Cochener B., Cazuguel G. A multiple-instance learning framework for diabetic retinopathy screening // Medical image analysis. 2012. Vol. 6, №16. P. 1228-1240 / Ouellec G, Lamard M, Abramoff MD, Decenciere E, Lay B, Erginay A, Cochener B, Cazuguel G. A multiple-instance learning framework for diabetic retinopathy screening. Medical image analysis. 2012;6(16):1228-40.
10. Sharp P.F., Olson J., Strachan F., Hipwell J., Ludbrook A., O'Donnell M., Wallace S., Goatman K., Grant A., Waugh N., McHardy K., Forrester J.V. The value of digital imaging in diabetic retinopathy // Health Technology Assessment. 2003. Vol. 7, № 30. P. 1-119 / Sharp PF, Olson J, Strachan F, Hipwell J, Ludbrook A, O'Donnell M, Wallace S, Goat-man K, Grant A, Waugh N, McHardy K, Forrester J. V. The value of digital imaging in diabetic retinopathy. Health Technology Assess-ment.2003:7(30):1-119.
11. Sinthanayothin C., Boyce J.F., Cook H.L., Williamson T.H. Automated localization of the optic disc, fovea, and retinal blood vessels from digital colour fundus images // The British journal of ophthalmology. 1999. Vol. 83. P. 902-910 / Sinthanayothin C, Boyce JF, Cook HL, Williamson TH. Automated localization of the optic disc, fovea, and retinal blood vessels from digital colour fundus images. The British journal of ophthal-mology.1999;(83):902-10.
Библиографическая ссылка:
Мамедов Т.Х., Наркевич А.Н. Распознавание признаков диабетической ретинопатии с применением классификационных математических моделей // Вестник новых медицинских технологий. 2021. №2. С. 107-110. БОТ: 10.24412/1609-2163-2021-2-107-110.
Bibliographic reference:
Mamedov TH, Narkevich AN. Raspoznavanie priznakov diabeticheskoy retinopatii s primeneniem klassifikatsionnykh matematicheskikh modeley [Detection of the signs of diabetic retinopathy using classification mathematical models]. Journal of New Medical Technologies. 2021;2:107-110. DOI: 10.24412/1609-2163-2021-2-107-110. Russian.
