CC BY
5
АЛГОРИТМ СЕГМЕНТАЦИИ ОКТ-ИЗОБРАЖЕНИЙ МАКУЛЫ ДЛЯ АНАЛИЗА ПАЦИЕНТОВ С ВОЗРАСТНОЙ МАКУЛЯРНОЙ ДЕГЕНЕРАЦИЕЙ
Р. Р. Ибрагимова1^, И. И. Гильманов2, Е. А. Лопухова2, И. А. Лакман1,2, А. Р. Билялов1, Т. Р. Мухамадеев1,3, Р. В. Кутлуяров2, Г. М. Идрисова1,3
1 Башкирский государственный медицинский университет, Уфа, Россия
2 Уфимский государственный авиационный технический университет, Уфа, Россия
3 Закрытое акционерное общество «Оптимедсервис», Уфа, Россия
Одной из основных причин слепоты и слабовидения у лиц старшего трудоспособного возраста является возрастная макулярная дегенерация (ВМД), для диагностики которой крайне важны результаты оптической когерентной томографии (ОКТ). Создание рекомендательной системы для анализа ОКТ-снимков позволит сократить время на обработку визуальной информации и снизить вероятность ошибок в процессе работы врача. Целью исследования было разработать алгоритм сегментации для анализа данных ОКТ макулы пациентов с ВМД, позволяющий, основываясь на форме выделенных патологий, корректно предсказывать стадию развития ВМД. Разработана программа на языке программирования Python с использованием библиотеки PyTorch и TensorFlow. Качество работы программы оценили на ОКТ-изображениях макулы 51 пациента с ВМД ранней, промежуточной и поздней стадией. Разработан алгоритм сегментации ОКТ-снимков, основанный на сверточной нейронной сети. В качестве архитектуры сверточной нейронной сети была выбрана сеть UNet. Нейронная сеть обучена на ОКТ-снимках макулы 125 пациентов (197 глаз). Авторский алгоритм продемонстрировал 98,1% верно сегментированных областей на ОКТ-снимках, наиболее важных для диагностики и определения стадии ВМД. Взвешенная чувствительность и специфичность классификатора стадий ВМД составили соответственно 83,8% и 84,9%. Разработанный алгоритм перспективен в качестве рекомендательной системы, реализующей классификацию ВМД на основе данных, способствующей принятию решений о тактике лечения пациентов.
Ключевые слова: искусственный интеллект, нейронная сеть, возрастная макулярная дегенерация, оптическая когерентная томография, алгоритм машинного обучения
Финансирование: исследование частично выполнено в рамках работ по государственному заданию Минобрнауки России для ФГБОУ ВО «УГАТУ» (код научной темы #FEUE-2021-0013, соглашение № 075-03-2021-014) в молодежной научно-исследовательской лаборатории НОЦ «Сенсорные системы на основе устройств интегральной фотоники» (разделы «Материалы и методы», «Результаты исследования», «Обсуждение результатов»), а также в рамках проекта, поддержанного субсидией в области науки из бюджета Республики Башкортостан для государственной поддержки научных исследований, проводимых под руководством ведущих ученых (НОЦ-РМГ-2021, соглашение с ФГБОУ ВО «УГАТУ») (раздел «Введение»).
Вклад авторов: Р. Р. Ибрагимова — обзор литературы, получение и анализ данных, написание статьи; И. И. Гильманов — разработка программного обеспечения, поиск базы данных, тестирование существующих компонентов кода; Е. А. Лопухова — разработка программного обеспечения, написание статьи, получение и анализ данных; И. А. Лакман, Т. Р. Мухамадеев, Р. В. Кутлуяров — концепция и дизайн исследования, научное редактирование; А. Р. Билялов — научное редактирование; Г. М. Идрисова — анализ данных, научное редактирование.
Соблюдение этических стандартов: исследование проведено в соответствии с принципами Хельсинкской декларации; все пациенты подписали добровольное информированное согласие на проведение ОКТ.
Для корреспонденции: Рада Радиковна Ибрагимова
ул. Ленина, д. 3, г. Уфа, 450008, Россия; [email protected]
Статья получена: 03.11.2022 Статья принята к печати: 03.12.2022 Опубликована онлайн: 27.12.2022 DOI: 10.24075/vrgmu.2022.062
ALGORITHM OF SEGMENTATION OF OCT MACULAR IMAGES TO ANALYZE THE RESULTS IN PATIENTS WITH AGE-RELATED MACULAR DEGENERATION
Ibragimova RR1 Gilmanov II2, Lopukhova EA2, Lakman IA1,2, Bilyalov AR1, Mukhamadeev TR1,3, Kutluyarov RV2, Idrisova GM1,3
1 Bashkir State Medical University, Ufa, Russia
2 Ufa State Aviation Technical University, Ufa, Russia
3 Optimedservice, Ufa, Russia
Age-related macular degeneration (AMD) is one of the main causes of loss of sight and hypovision in people over working age. Results of optical coherence tomography (OCT) are essential for diagnostics of the disease. Developing the recommendation system to analyze OCT images will reduce the time to process visual data and decrease the probability of errors while working as a doctor. The purpose of the study was to develop an algorithm of segmentation to analyze the results of macular OCT in patients with AMD. It allows to provide a correct prediction of an AMD stage based on the form of discovered pathologies. A program has been developed in the Python programming language using the Pytorch and TensorFlow libraries. Its quality was estimated using OCT macular images of 51 patients with early, intermediate, late AMD. A segmentation algorithm of OCT images was developed based on convolutional neural network. UNet network was selected as architecture of high-accuracy neural net. The neural net is trained on macular OCT images of 125 patients (197 eyes). The author algorithm displayed 98.1% of properly segmented areas on OCT images, which are the most essential for diagnostics and determination of an AMD stage. Weighted sensitivity and specificity of AMD stage classifier amounted to 83.8% and 84.9% respectively. The developed algorithm is promising as a recommendation system that implements the AMD classification based on data that promote taking decisions regarding the treatment strategy.
Keywords: artificial intelligence, neural network, age-related macular degeneration, optical coherent tomography, machine learning algorithm
Financing: the study was partially conducted as part of the State Assignment of the Ministry of Education and Science of the Russian Federation for the Ufa State Aviation Technical University (code of scientific assignment #FEUE-2021-0013, agreement № 075-03-2021-014) at the scientific research laboratory named 'Sensor systems based on appliances of integrated photonics' (sections 'Materials and methods', 'Study results', 'Discussion of results') and as part of the project backed by subsidies in the area of science taken from the budget of the Republic of Bashkortostan to ensure state support of scientific research conducted under the guidance of the leading scientists (НОЦ-РМГ-2021, agreement with the Ufa State Aviation Technical University) (Introduction section).
Author contribution: Ibragimova RR — review of literature, data acquisition and analysis, writing an article; Gilmanov II — development of software, searching a database, testing the existing code components; Lopukhova EA — development of software, writing an article, data acquisition and analysis; Lakman IA, Mukhamadeev TR, Kutluyarov RV — study concept and design, scientific editing; Bilyalov AR — scientific editing; Idrisova GM — data analysis, scientific editing.
Compliance with ethical standards: the study was performed in accordance with the principles of Declaration of Helsinki; all patients signed voluntary informed consent to OCT.
[>3 Correspondence should be addressed: Rada R. Ibragimova Lenina, d. 3, Ufa, 450008, Russia; [email protected]
Received: 03.11.2022 Accepted: 03.12.2022 Published online: 27.12.2022
DOI: 10.24075/brsmu.2022.062
Одной из основных причин слепоты и слабовидения среди людей в возрасте 50 лет и старше является возрастная макулярная дегенерация (ВМД) [1-3]. В связи с увеличением продолжительности жизни населения и совершенствованием методов диагностики отмечается ежегодный рост количества пациентов с данной патологией [4, 5]. Так, согласно прогнозам Всемирной организации здравоохранения, число людей с ВМД в период с 2020 по 2030 г. увеличится в 1,2 раза (с 195,6 до 243,3 млн человек) [6].
Существуют различные классификации ВМД: в отечественной практике принято различать сухую (неэкссудативную, в поздней стадии — атрофическую) и влажную (экссудативную или неоваскулярную) формы ВМД [7, 8]. Согласно Age-Related Eye Disease Study (AREDS), выделяют раннюю, промежуточную, позднюю стадии возрастной макулярной дегенерации [9]. По данным литературы, в 10-20% случаев неэкссудативная форма заболевания переходит в экссудативную, в остальных случаях имеет медленно прогрессирующее течение и приводит к географической атрофии [10-12]. На сегодняшний день специфического лечения сухой формы ВМД не существует, основное внимание уделяется мерам профилактики [13]. Влажная форма ВМД приводит к быстрой и необратимой потере центрального зрения. Добиться улучшения зрения и снизить вероятность слепоты при влажной форме ВМД позволило внедрение в лечебную практику интравитреальных инъекций ингибиторов сосудистого эндотелиального фактора роста (VEGF) [14]. Однако успех лечения зависит от многих факторов, один из которых — своевременная диагностика заболевания [3]. Наиболее широкое использование, как в клинических исследованиях, так и в реальной практике для диагностики и наблюдения за пациентами с ВМД получила оптическая когерентная томография (ОКТ) [15-16]. Она высокоинформативна, бесконтактна, позволяет в режиме реального времени оценить архитектонику структур глаза, в частности, сетчатки [17]. В связи с увеличением количества пациентов с данной патологией растет потребность проведения ОКТ-исследований, что требует увеличения пропускной способности медицинских учреждений и повышения качества метода.
Одной из проблем является анализ и интерпретация больших объемов данных [18, 19]. Для ее решения может быть актуальным использование искусственного интеллекта. Искусственный интеллект становится перспективным направлением в диагностике офтальмологических заболеваний [20]. Так, машинное обучение применяют для обнаружения особенностей строения ткани сетчатки для оценки изменений в ее структуре [21], для обнаружения сосудистых сплетений [22] и различных поражений сетчатки, таких как интраретинальные кисты или субретинальная жидкость [23]. В последние годы методы глубокого обучения приобрели популярность в области компьютерного зрения и теперь входят в область анализа изображений сетчатки. Особое признание снискали методы детектирования заболеваний сетчатки на основе выделенных биомаркеров, что позволяет наиболее приближенно имитировать визуальный анализ эксперта и облегчает верификацию классификатора [24-30]. Вместе с тем последние исследования в области интеграции рекомендательных систем в офтальмологии демонстрируют впечатляющие результаты в снижении затрат времени на диагностику и влияния человеческого фактора на процесс работы врачей [31, 32]. Работа
данных систем основывалась на интеллектуальных алгоритмах, подобных представленным ранее, что подтверждает актуальность поиска и разработки новых алгоритмов, способных с высокой чувствительностью и специфичностью определять признаки ВМД разных стадий на ОКТ-снимках.
Цель исследования — разработать алгоритм сегментации для анализа данных ОКТ макулы пациентов с ВМД, позволяющий на основе формы выделенных патологий корректно предсказывать стадию развития ВМД.
ПАЦИЕНТЫ И МЕТОДЫ
Для решения поставленной задачи было использовано контролируемое обучение, в рамках которого интеллектуальный алгоритм сопоставляет входные и размеченные экспертом данные, увеличивая свою обобщающую способность для незнакомых примеров. На этапе формирования трех выборок: обучающей, валидационной и тестовой было принято решение использовать в исследовании базу данных, полученную в ходе стандартного офтальмологического обследования и ОКТ макулярной области на приборах Avanti XR (Optovue; США) и REVO NX (Optopol; Польша) в Центре лазерного восстановления зрения «Optimed» (г. Уфа, Россия). Непосредственное формирование набора данных дало возможность регулировать параметры соотношения классов стадий заболевания, половое и возрастное распределение пациентов и сопутствующих заболеваний, а также число выделяемых биомаркеров, что позволило провести анализ результатов работы алгоритма при заранее известных особенностях набора ОКТ-снимков. Входными данными были ОКТ-изображения макулярной области 125 пациентов (197 глаз), из них — 89 женщин и 36 мужчин, средний возраст составил 74,88 года (40-97 лет). Критерии включения в исследование: пациенты с ранней 32%, промежуточной 26% и поздней 42% стадиями ВМД, с достаточной прозрачностью оптических сред. Критерии исключения: наличие диабетической ретинопатии; наличие окклюзионных поражений сосудов сетчатки; пахихориоидальные состояния; наличие патологии витреомакулярного интерфейса; миопическая хориоидальная неоваскуляризация. Полученный набор ОКТ-снимков был разделен на обучающую, валидационную и тестовую выборки, составляющие 80, 10 и 10% соответственно.
Инструментом для разработки алгоритма классификации и форматирования снимков выступал язык программирования Python с использованием библиотеки TensorFlow и Pytorch. Поиск предикторов стадий ВМД был произведен при помощи сверточной нейронной сети, сегментирующей патологии глаза. Принцип работы данной нейронной сети основан на многослойной последовательной свертке изображения с фильтрами, весовые коэффициенты которых подбирают во время обучения алгоритма. Данные фильтры выделяют различные формы и текстуры на изображении подобно принципу работы зрительной коры головного мозга, имеющей небольшие участки клеток, которые чувствительны к конкретным областям поля зрения. В качестве архитектуры сверточной нейронной сети выбрана UNet, изначально созданная для сегментации биомедицинских изображений. Данная архитектура не только реализует постепенное увеличение множества признаков, называемых тензором, характеризующих входное изображение, посредством
четырех слоев свертки с фильтрами и сжатия в энкодере, но и сохраняет информацию об их локализации на изображении путем «склеивания» с параллельными слоями свертки и применению операций, обратных сжатию в декодере. В качестве функции активации использовали Яе_и, позволяющую качественно обучить модель на относительно небольшом количестве входных данных. Для лучших показателей обработки изображения и очищения их от шума была выбрана библиотека ОрепСУ.
Для решения проблемы переобучения были рассмотрены несколько подходов. Одним из популярных методов в данном контексте является передача обучения, в рамках которого применяемая сеть предварительно обучается на крупном наборе данных [33-35]. Однако стоит учитывать, что выделяемые биомаркеры на ОКТ-снимке в большинстве случаев будут иметь малую корреляцию с сущностями, которые выделяют сети, обученные на распространенных базах данных изображений по типу 1тадеЫе1, что потенциально может снизить эффективность метода [36, 37]. Другим подходом снижения вероятности переобучения сети является использование методов концентрации внимания. Для этого структура нейронной сети была дополнена блоком внимания после каждого слоя свертки. Данный блок включал в себя операцию поиска ключевых точек итога процесса работы слоя и увеличение вблизи них значений элементов обрабатываемого сетью тензора в одном случае и метода поиска адаптивного порогового значения элементов тензора во втором.
Процесс классификации на основе сегментированных данных производили путем расчета площади самых крупных выделенных патологий одной природы. Пороговые значения были определены, исходя из выделенных клинических проявлений ВМД по размеру сопутствующих патологий [9].
Оценку корректности классификации стадии ВМД на основе автоматического распознавания снимков ОКТ проводили на основе анализа девятипольной матрицы сопряженности, представляющей из себя матрицу соответствия между фактическими и предсказанными стадиями ВМД — ранней, промежуточной и поздней. Из этой матрицы рассчитывали три четырехпольные матрицы сопряженности, сформированные по принципу предсказания только одной из стадий ВМД. В результате для каждой матрицы рассчитывали показатели специфичности и чувствительности для каждой из стадий ВМД. Здесь под чувствительностью следует понимать долю корректно предсказанных случаев конкретной стадии ВМД, а под специфичностью — долю корректно предсказанных случаев, не относящихся к данной стадии
ВМД. На основании определенных значений рассчитаны взвешенная чувствительность (Беж) и специфичность (Бр ) всего алгоритма классификации:
где Бе1, Бр1 — чувствительность и специфичность распознавания ранней стадии ВМД, Бе2, Бр2 — чувствительность и специфичность распознавания поздней стадии ВМД, Бе3, Бр3 — чувствительность и специфичность распознавания промежуточной стадии ВМД, п1 — число случаев ранней стадии ВМД, п2 — число случаев поздней стадии ВМД, п3 — число случаев промежуточной стадии ВМД, причем п = п1 + п2 + п3.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Для разработки рекомендательной системы определения стадий ВМД был выбран подход имитации визуального анализа эксперта, в ходе которого происходят выделение положения и формы патологий заболевания на ОКТ-снимке и сравнение с предыдущим опытом диагностирования. На этапе выделения патологий ключевой проблемой для данного подхода является передача опыта эксперта их различения интеллектуальному алгоритму. Поскольку применение методов глубокого обучения показывает свою эффективность и устойчивость к разнообразию представления входной информации только при достаточном объеме обучающей выборки, пропорциональном сложности алгоритма [38], необходим соответствующий набор размеченных ОКТ-снимков, генерация которого представляется крайне ресурсоемкой задачей. Для нивелирования данного ограничения в структуру сегментирующей нейронной сети Ше! было решено включить блок дополнительной обработки набора признаков с выхода слоев свертки, призванный сохранить информацию о контурах патологий, что может быть сведено к задаче концентрации внимания нейронной сети. Представленный подход позволяет снизить сложность применяемого нейросетевого алгоритма, уменьшив число обучаемых параметров при сохранении точности на тренировочной выборке. Оценка эффективности применения такого подхода концентрации внимания была осуществлена путем сравнения точности определения границ патологий сегментированных областей патологий на тестовых данных и анализа карт активации класса
Рис. 1. Карты активации классов: без применения модуля концентрации внимания (А); при применении метода SIFT (Б); при применении метода ПАПЗ (В)
Рис. 2. ОКТ-снимки макулярной области при ВМД, промежуточная стадия. А. Твердые и мягкие друзы мембраны Бруха (красные стрелки), отмеченные врачом. Б. Изображение, сегментированное алгоритмом
патологических участков сетчатки кодера UNet, визуализирующих ключевые области снимков, на основе которых осуществляли сегментацию данного предиктора.
Результаты сегментации при обучении нейронной сети на сформированном авторами наборе данных без включения блока концентрации внимания в структуру UNet составили 58,7% верно сегментированных областей патологий. Карты активации класса, представленные на рис. 1А, демонстрируют малую концентрацию внимания на признаках ВМД, что объясняет низкую точность выделения границ патологий.
При выборе алгоритма блока концентрации внимания было учтено, что слои сетчатки на ОКТ-снимке имеют четко выраженные перепады оттенков серого, что ярко выделяет деформацию пигментного эпителия и отека нейроэпителия. Выделение приведенных перепадов, учитывая их различия в размерах на разных стадиях заболевания, можно осуществить путем нахождения масштабно-инвариантных ключевых точек при помощи алгоритма Scale-Invariant Feature Transform (SIFT) [39], которые обозначают края и углы на изображении, и краев деформаций при помощи метода поиска адаптивного порогового значения (ПАПЗ), уже зарекомендовавшего себя в задачах выделения патологий [40].
Применение подхода SIFT с фиксированным нижним порогом масштаба ключевых точек, равным минимальным размерам друзы при ранней стадии ВМД [9], позволило повысить точность сегментации патологий до 76,7%, однако блок концентрации внимания выделяет ключевые области, не относящиеся к патологиям (рис. 1 Б), что снижает концентрацию нейронной сети.
При использовании блока концентрации внимания, основанного на методе ПАПЗ, была достигнута точность 98,1% верно сегментированных областей патологий. Данный метод позволил сконцентрировать основное внимание нейронной сети на друзах (рис. 1В). При изменении частоты встречаемых патологий с равновероятной на частоту по данным статистики [10, 11] точность выделения отека нейроэпителия снизилась на 15%, ввиду чего был сделан вывод, что распределение всех патологий на обучающей выборке для повышения эффективности должно быть равномерным.
Результаты сегментации предикторов ВМД промежуточной стадии с применением последней версии блока концентрации внимания наглядно продемонстрированы на рис. 2. На ОКТ-снимке макулярной области (рис. 2А) визуализируются твердые и мягкие друзы мембраны Бруха, вызывающие деформацию пигментного эпителия (выделено стрелками). Слои, соответствующие структурным элементам фоторецепторов, приподняты над друзами. Внутренние слои нейроэпителия контурируются четко, без деформации. Фовеолярное углубление правильной конфигурации. На рис. 2Б данные области сегментированы алгоритмом, где деформация пигментного эпителия четко выделена желтым цветом, как и приподнятые над друзами слои оранжевого цвета.
Предикторы поздней стадии ВМД представлены на рис. 3А. Толщина сетчатки увеличена за счет кистозного отека нейроэпителия (зеленая стрелка), локальной элевации пигментного эпителия, предположительно вызванной наличием скрытой неоваскулярной мембраны (красная стрелка), под нейроэпителием определяется скопление гипорефлективного содержимого (желтая стрелка). Фовеа имеет вогнутый профиль. На рис. 3Б отек нейроэпителия выделен темно-красным, элевация пигментного эпителия — оранжевым, скопление жидкости под нейроэпителием — голубым цветом.
На основании полученных результатов была проведена автоматическая классификация стадий ВМД и рассчитаны показатели специфичности и чувствительности для каждой стадии (см. табл.). На основании полученных значений рассчитаны взвешенные чувствительности и специфичность классификатора стадий Бе1я = 0,838 и Бр = 0,849.
" w '
ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
Представленные в работе результаты были получены для ОКТ-снимков от томографов нескольких производителей, что существенно повлияло на точность работы алгоритма сегментации ввиду различий в визуализации данных. Ввиду специфики работы методов блока концентрации внимания, в ходе которой различная маркировка ОКТ-снимков выделяется наряду с предикторами, необходима
Рис. 3. ОКТ-снимок макулярной области при ВМД, поздняя стадия. А. Признаки ВМД, отмеченные врачом (описание в тексте). Б. Данные, сегментированные алгоритмом
А
Таблица. Показатели специфичности и чувствительности для каждой стадии
Метрики качества Поздняя стадия Ранняя стадия Промежуточная стадия
Чувствительность Se 0,929 0,921 0,58
Специфичность Sp 0,823 0,769 0,993
реализация дополнительного обучения рекомендательной системы на новых примерах или удаление указанной информации, что может потребовать предварительной обработки изображений.
Также стоит отметить, что полученные формы сегментированных областей будут отличаться в зависимости от наличия и стадии заболевания. Эта информация содержит в себе предикторы, необходимые для работы рекомендательной системы выявления и определения стадии ВМД. Однако в ряде случаев границы соотношений формы областей патологий и верного с точки зрения эксперта диагноза могут быть весьма размыты в силу индивидуальных особенностей течения болезни у пациента и при различном выборе снимков радиального сканирования глаза. В связи с этим применение полносвязного слоя, что наиболее часто актуально в задачах компьютерного зрения с использованием нейронных сетей, в качестве классификатора стадий ВМД также потребует обширной обучающей выборки для выделения этих нечетких границ. Учитывая статистику о неравномерной частотности обнаружения стадий ВМД [10, 11], сложность решения данной задачи усугубляется еще больше. Аналогичные выводы будут справедливы и для пороговых значений определения стадий ВМД по площади патологий, ввиду чего их жесткое задание может повлечь за собой дополнительные ошибки. Следовательно, наиболее целесообразно будет применение методов нечетной логики, эффективно отображающих эвристический опыт врача-эксперта, для анализа признаков, полученных от алгоритма сегментации.
Полученные обобщенные показатели специфичности и чувствительности алгоритма классификации свидетельствуют
о приемлемом качестве распознавания стадий ВМД (> 83%). Значения показателей во многом определены классификацией ОКТ-снимков от нескольких томографов с различными особенностями визуализации, что обусловлено стремлением повышения обобщающей способности алгоритма для приборов от разных производителей. Следует также отметить, что средний результат чувствительности получен для промежуточной стадии ВМД (всего 58%). Это можно объяснить тем, что данная стадия ВМД наиболее сложна для распознавания ввиду близости форм патологий. Для увеличения чувствительности при определении данной стадии ВМД в дальнейших исследованиях также планируется применение методов нечеткой логики для анализа патологий сетчатки.
ВЫВОДЫ
Разработан алгоритм машинного обучения для сегментации патологий ВМД по ОКТ-изображениям с концентрацией внимания, результаты которого могут быть применены непосредственно для акцентирования внимания врача на наиболее важных для диагностики областей снимков или как часть рекомендательной системы выявления и определения стадии ВМД, разработка которой планируется в дальнейших исследованиях. Данный алгоритм показал свои перспективы в решении организационных проблем, связанных с диагностикой ВМД и уменьшением нагрузки на офтальмологов, а также эффективность распознавания ВМД на ОКТ-снимках, продемонстрировав 98,1% верно сегментированных областей патологий.
Литература
1. Zapata MA, Royo-Fibla D, Font O, Vela JI, Marcantonio I, Moya-Sánchez EU, et al. Artificial intelligence to identify retinal fundus images, quality validation, laterality evaluation, macular degeneration, and suspected glaucoma. Clinical Ophthalmology (Auckland, NZ). 2020; 14: 419. Available from: https://www.ncbi. nlm.nih.gov/pmc/articles/PMC7025650/.
2. Stark K, Olden M, Brandl C, Dietl A, Zimmermann M E, Schelter SC, et al. The German AugUR study: study protocol of a prospective study to investigate chronic diseases in the elderly. BMC geriatrics. 2015; 15 (1): 1-8. Available from: https://link.springer. com/article/10.1186/s12877-015-0122-0.
3. Mehta S. Age-related macular degeneration. Primary Care: Clinics in Office Practice. 2015; 42 (3): 377-91. Available from: https:// www.primarycare.theclinics.com/article/S0095-4543(15)00042-1/fulltext.
4. Lawrenson JG, Evans JR, Downie LE. A critical appraisal of national and international clinical practice guidelines reporting nutritional recommendations for age-related macular degeneration: are recommendations evidence-based? Nutrients. 2019; 11 (4): 823. Available from: https://www.mdpi.com/2072-6643/11/4/823.
5. Li JQ, Welchowski T, Schmid M, Mauschitz M M, Holz FG, Finger RP. Prevalence and incidence of age-related macular degeneration in Europe: a systematic review and meta-analysis. British Journal of Ophthalmology. 2020; 104 (8): 1077-84. Available from: https:// bjo.bmj.com/content/104/8/1077.abstract.
6. Всемирный доклад о проблемах зрения [World report on vision]. Женева: Всемирная организация здравоохранения, 2020. Лицензия: CC BY-NC-SA 3.0 IGO.
7. Балашевич Л. И., Измайлов А. С., Улитина А. Ю. Модифицированная клиническая классификация возрастной макулярной дегенерации. Офтальмологические ведомости. 2011; 4 (4): 41-47. Available from: https://cyberleninka.ru/article/n/ modifitsirovannaya-klinicheskaya-klassifikatsiya-vozrastnoy-makulyarnoy-degeneratsii.
8. Авдеева О. Н., Аветисов С. Э., Аклаева Н. А., Акопов Е. Л., Алексеев В. Н., Астахов С. Ю., и др. редакторы. Офтальмология: национальное руководство. М.: ГЭОТАР-Медиа, 2018; 625 с.
9. Ferris III FL, Wilkinson CP, Bird A, Chakravarthy U, Chew E, Csaky K, et al. Beckman Initiative for Macular Research Classification Committee. Clinical classification of age-related macular degeneration. Ophthalmology. 2013; 120 (4): 844-51. Available from: https://www.sciencedirect.com/science/article/ abs/pii/S016164201201055X.
10. Hyttinen JM, Kannan R, Felszeghy S, Niittykoski M, Salminen A, Kaarniranta K. The regulation of NFE2L2 (NRF2) signalling and epithelial-to-mesenchymal transition in age-related macular degeneration pathology. International journal of molecular sciences. 2019; 20 (22): 5800. Available from: https://www.mdpi. com/1422-0067/20/22/5800.
11. Friedman DS, O'Colmain BJ, Munoz B, Tomany SC, McCarty C, De Jong Pt, et al. Prevalence of age-related macular degeneration
in the United States. Arch ophthalmol. 2004; 122 (4): 56472. Available from: https://jamanetwork.com/journals/ jamaophthalmology/article-abstract/416232.
12. Schultz NM, Bhardwaj S, Barclay C, Gaspar L, Schwartz J. Global Burden of Dry Age-Related Macular Degeneration: A Targeted Literature Review. Clin Ther. 2021; 43 (10): 1792-818. DOI: 10.1016/J.CLINTHERA.2021.08.011.
13. The Age-Related Eye Disease Study Research Group. A randomized, placebocontrolled, clinical trial of supplementation with vitamins C and E and beta-carotene for age related cataract and vision loss: AREDS report number 9. Arch. Ophthalmol. 2001; 119: 1439-52.
14. Varma R, Bressler NM, Doan QV, Danese M, Dolan CM, Lee A, et al. Visual impairment and blindness avoided with ranibizumab in Hispanic and non-Hispanic whites with diabetic macular edema in the United States. Ophthalmology. 2015; 122 (5): 98289. Available from: https://www.sciencedirect.com/science/ article/pii/S0161642014011476.
15. Азнабаев Б. М., Мухамадеев Т. Р., Дибаев Т. И. Оптическая когерентная томография + ангиография глаза в диагностике, терапии и хирургии глазных болезней. М.: Август Борг, 2019; 57 с.
16. Drexler W, Fujimoto JG, editors. Optical coherence tomography: technology and applications. Berlin: Springer, 2015; 2.
17. Victor AA. The Role of Imaging in Age-Related Macular Degeneration. In Visual Impairment and Blindness-What We Know and What We Have to Know. London, UK: IntechOpen, 2019.
18. Schmidt-Erfurth U, Sadeghipour A, Gerendas BS, Waldstein SM, Bogunovic H. Artificial intelligence in retina. Progress in retinal and eye research. 2018; 67: 1-29. Available from: https://www. sciencedirect.com/science/article/pii/S1350946218300119.
19. Venhuizen FG, van Ginneken B, van Asten F, van Grinsven MJ, Fauser S, Hoyng CB, et al. Automated staging of age-related macular degeneration using optical coherence tomography. Investigative ophthalmology & visual science. 2017; 58 (4): 2318-28. Available from: https://iovs.arvojournals.org/article. aspx?articleid=2623584.
20. Шляпникова О. А., Каменских Т. Г., Рощепкин В. В., Решникова Л. Б. Перспективные направления развития офтальмологии (обзор). Саратовский научно-медицинский журнал. 2021; 17 (3): 675-8. Available from: https://cyberleninka.ru/article/nZ perspektivnye-napravleniya-razvitiya-oftalmologii-obzor.
21. Quellec G, Lee K, Dolejsi M, Garvin MK, Abramoff MD, Sonka M. Three-dimensional analysis of retinal layer texture: identification of fluid-filled regions in SD-OCT of the macula. IEEE transactions on medical imaging. 2010; 29 (6): 1321-30. Available from: https://ieeexplore.ieee.org/abstract/document/5440910.
22. Hu Z, Niemeijer M, Abramoff MD, Garvin MK. Multimodal retinal vessel segmentation from spectral-domain optical coherence tomography and fundus photography. IEEE transactions on medical imaging. 2012; 31 (10): 1900-11. Available from: https:// ieeexplore.ieee.org/abstract/document/6228540.
23. Esmaeili M, Dehnavi AM, Rabbani H, Hajizadeh F. Three-dimensional segmentation of retinal cysts from spectral-domain optical coherence tomography images by the use of three-dimensional curvelet based K-SVD. Journal of medical signals and sensors. 2016; 6 (3): 166. Available from: https://www.ncbi. nlm.nih.gov/pmc/articles/PMC4973460/.
24. Chakravarty A, Sivaswamy J. A supervised joint multilayer segmentation framework for retinal optical coherence tomography images using conditional random field. Comput. Methods Programs Biomed. 2018; 165: 235-50. DOI: 10.1016/J. CMPB.2018.09.004.
25. Bogunovic H, et al. Machine Learning of the Progression of Intermediate Age-Related Macular Degeneration Based on OCT Imaging. Investigative ophthalmology & visual science. 2017; 58 (6): BIO141-BIO150.
26. Tvenning AO, Hanssen SR, Austeng D, Morken TS. Deep learning
identify retinal nerve fibre and choroid layers as markers of age-related macular degeneration in the classification of macular spectral-domain optical coherence tomography volumes. Acta Ophthalmologica. 2022. DOI: 10.1111/AOS.15126.
27. Rim TH, et al. Detection of features associated with neovascular age-related macular degeneration in ethnically distinct data sets by an optical coherence tomography: trained deep learning algorithm. British Journal of Ophthalmology. 2020; 105 (8): 1133-9. DOI: 10.1136/BJOPHTHALMOL-2020-316984.
28. Zhang G, et al. Clinically relevant deep learning for detection and quantification of geographic atrophy from optical coherence tomography: a model development and external validation study. Lancet Digit Heal. 2021; 3 (10): e665-e675. DOI: 10.1016/ S2589-7500(21)00134-5.
29. Sousa JA, Paiva A, Silva A, Almeida JD, Braz Junior G, Diniz JO, et al. Automatic segmentation of retinal layers in OCT images with intermediate age-related macular degeneration using U-Net and DexiNed. Plos one. 2021; 16 (5): e0251591.
30. Alsaih Khaled, et al. Deep learning architectures analysis for age-related macular degeneration segmentation on optical coherence tomography scans. Computer methods and programs in biomedicine. 2020; 195: 105566.
31. Lee B, D'Souza M, Singman EL, Wang J, Woreta FA, Boland MV, et al. Integration of a physician assistant into an ophthalmology consult service in an academic setting. American journal of ophthalmology. 2018; 190: 125-33. Available from: https://www. sciencedirect.com/science/article/abs/pii/S0002939418301387.
32. Pandey SK, Sharma V. Robotics and ophthalmology: Are we there yet? Indian Journal of Ophthalmology. 2019; 67 (7): 988. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6611303/.
33. Yan Y, Jin K, Gao Z, Huang X, Wang F, Wang Y, et al. Attention — based deep learning system for automated diagnoses of age-related macular degeneration in optical coherence tomography images. Medical Physics. 2021; 48 (9): 4926-34. DOI: 10.1002/ MP. 15002.
34. Treder M, Lauermann JL, Eter N. Automated detection of exudative age-related macular degeneration in spectral domain optical coherence tomography using deep learning. Graefe's Archive for Clinical and Experimental Ophthalmology. 2017; 256 (2): 259-65. DOI: 10.1007/S00417-017-3850-3.
35. Bhatia KK, Graham MS, Terry L, Wood A, Tranos P, Trikha S, et al. Disease classification of macular optical coherence tomography scans using deep learning software: validation on independent, multicenter data. Retina. 2020; 40 (8): 1549-57. DOI: 10.1097/ IAE.0000000000002640.
36. Tvenning AO, Hanssen SR, Austeng D, Morken TS. Deep learning identify retinal nerve fibre and choroid layers as markers of age-related macular degeneration in the classification of macular spectral-domain optical coherence tomography volumes. Acta Ophthalmologica. 2022. DOI: 10.1111/AOS.15126.
37. Sunija AP, Kar S, Gayathri S, Gopi VP, Palanisamy P. Octnet: A lightweight cnn for retinal disease classification from optical coherence tomography images. Computer methods and programs in biomedicine. 2021; 200: 105877. DOI: 10.1016/J. CMPB.2020.105877.
38. Juba B, Le HS. Precision-recall versus accuracy and the role of large data sets. In Proceedings of the AAAI conference on artificial intelligence. 2019; 33 (01): 4039-48. DOI: 10.1609/AAAI. V33I01.33014039.
39. Lowe DG. Distinctive image features from scale-invariant keypoints. International journal of computer vision. 2004; 60 (2): 91-110. Available from: https://link.springer.com/article/10.1023/ B:VISI.0000029664.99615.94
40. Shahedi MB, Amirfattahi R, Azar FT, Sadri S. Accurate breast region detection in digital mammograms using a local adaptive thresholding method. In Eighth International Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS'07). IEEE. 2007; 26-26. Available from: https://ieeexplore.ieee.org/ abstract/document/4279134.
References
1. Zapata MA, Royo-Fibla D, Font O, Vela JI, Marcantonio I, Moya-Sánchez EU, et al. Artificial intelligence to identify retinal fundus images, quality validation, laterality evaluation, macular degeneration, and suspected glaucoma. Clinical Ophthalmology (Auckland, NZ). 2020; 14: 419. Available from: https://www.ncbi. nlm.nih.gov/pmc/articles/PMC7025650/.
2. Stark K, Olden M, Brandl C, Dietl A, Zimmermann M E, Schelter SC, et al. The German AugUR study: study protocol of a prospective study to investigate chronic diseases in the elderly. BMC geriatrics. 2015; 15 (1): 1-8. Available from: https://link.springer. com/article/10.1186/s12877-015-0122-0.
3. Mehta S. Age-related macular degeneration. Primary Care: Clinics in Office Practice. 2015; 42 (3): 377-91. Available from: https:// www.primarycare.theclinics.com/article/S0095-4543(15)00042-1/fulltext.
4. Lawrenson JG, Evans JR, Downie LE. A critical appraisal of national and international clinical practice guidelines reporting nutritional recommendations for age-related macular degeneration: are recommendations evidence-based? Nutrients. 2019; 11 (4): 823. Available from: https://www.mdpi.com/2072-6643/11/4/823.
5. Li JQ, Welchowski T, Schmid M, Mauschitz M M, Holz FG, Finger RP. Prevalence and incidence of age-related macular degeneration in Europe: a systematic review and meta-analysis. British Journal of Ophthalmology. 2020; 104 (8): 1077-84. Available from: https:// bjo.bmj.com/content/104/8/1077.abstract.
6. Vsemirnyj doklad o problemax zreniya [World report on vision]. Zheneva: Vsemirnaya organizaciya zdravooxraneniya, 2020. Licenziya: CC BY-NC-SA 3.0 IGO.
7. Balashevich LI, Izmajlov AS, Ulitina AYu. Modificirovannaya klinicheskaya klassifikaciya vozrastnoj makulyarnoj degeneracii. Oftal'mologicheskie vedomosti. 2011; 4 (4): 41-47. Available from: https://cyberleninka.ru/article/n/modifitsirovannaya-klinicheskaya-klassifikatsiya-vozrastnoy-makulyarnoy-degeneratsii. Russian.
8. Avdeeva ON, Avetisov SEh, Aklaeva NA, Akopov EL, Alekseev VN, Astaxov SYu, i dr. redaktory. Oftal'mologiya: nacional'noe rukovodstvo. M.: GEhOTAR-Media, 2018; 625 s. Russian.
9. Ferris III FL, Wilkinson CP, Bird A, Chakravarthy U, Chew E, Csaky K, et al. Beckman Initiative for Macular Research Classification Committee. Clinical classification of age-related macular degeneration. Ophthalmology. 2013; 120 (4): 844-51. Available from: https://www.sciencedirect.com/science/article/ abs/pii/S016164201201055X.
10. Hyttinen JM, Kannan R, Felszeghy S, Niittykoski M, Salminen A, Kaarniranta K. The regulation of NFE2L2 (NRF2) signalling and epithelial-to-mesenchymal transition in age-related macular degeneration pathology. International journal of molecular sciences. 2019; 20 (22): 5800. Available from: https://www.mdpi. com/1422-0067/20/22/5800.
11. Friedman DS, O'Colmain BJ, Munoz B, Tomany SC, McCarty C, De Jong Pt, et al. Prevalence of age-related macular degeneration in the United States. Arch ophthalmol. 2004; 122 (4): 56472. Available from: https://jamanetwork.com/journals/ jamaophthalmology/article-abstract/416232.
12. Schultz NM, Bhardwaj S, Barclay C, Gaspar L, Schwartz J. Global Burden of Dry Age-Related Macular Degeneration: A Targeted Literature Review. Clin Ther. 2021; 43 (10): 1792-818. DOI: 10.1016/J.CLINTHERA.2021.08.011.
13. The Age-Related Eye Disease Study Research Group. A randomized, placebocontrolled, clinical trial of supplementation with vitamins C and E and beta-carotene for age related cataract and vision loss: AREDS report number 9. Arch. Ophthalmol. 2001; 119: 1439-52.
14. Varma R, Bressler NM, Doan QV, Danese M, Dolan CM, Lee A, et al. Visual impairment and blindness avoided with ranibizumab in Hispanic and non-Hispanic whites with diabetic macular edema in the United States. Ophthalmology. 2015; 122 (5): 98289. Available from: https://www.sciencedirect.com/science/ article/pii/S0161642014011476.
15. Aznabaev BM, Muxamadeev TR, Dibaev TI. Opticheskaya
kogerentnaya tomografiya + angiografiya glaza v diagnostike, terapii i xirurgii glaznyx boleznej. M.: Avgust Borg, 2019; 57 s. Russian.
16. Drexler W, Fujimoto JG, editors. Optical coherence tomography: technology and applications. Berlin: Springer, 2015; 2.
17. Victor AA. The Role of Imaging in Age-Related Macular Degeneration. In Visual Impairment and Blindness-What We Know and What We Have to Know. London, UK: IntechOpen, 2019.
18. Schmidt-Erfurth U, Sadeghipour A, Gerendas BS, Waldstein SM, Bogunovic H. Artificial intelligence in retina. Progress in retinal and eye research. 2018; 67: 1-29. Available from: https://www. sciencedirect.com/science/article/pii/S1350946218300119.
19. Venhuizen FG, van Ginneken B, van Asten F, van Grinsven MJ, Fauser S, Hoyng CB, et al. Automated staging of age-related macular degeneration using optical coherence tomography. Investigative ophthalmology & visual science. 2017; 58 (4): 2318-28. Available from: https://iovs.arvojournals.org/article. aspx?articleid=2623584.
20. Shlyapnikova OA, Kamenskix TG, Roshhepkin VV, Reshnikova LB. Perspektivnye napravleniya razvitiya oftal'mologii (obzor). Saratovskij nauchno-medicinskij zhurnal. 2021; 17 (3): 675-8. Available from: https://cyberleninka.ru/article/n/perspektivnye-napravleniya-razvitiya-oftalmologii-obzor. Russian.
21. Quellec G, Lee K, Dolejsi M, Garvin MK, Abramoff MD, Sonka M. Three-dimensional analysis of retinal layer texture: identification of fluid-filled regions in SD-OCT of the macula. IEEE transactions on medical imaging. 2010; 29 (6): 1321-30. Available from: https://ieeexplore.ieee.org/abstract/document/5440910.
22. Hu Z, Niemeijer M, Abramoff MD, Garvin MK. Multimodal retinal vessel segmentation from spectral-domain optical coherence tomography and fundus photography. IEEE transactions on medical imaging. 2012; 31 (10): 1900-11. Available from: https:// ieeexplore.ieee.org/abstract/document/6228540.
23. Esmaeili M, Dehnavi AM, Rabbani H, Hajizadeh F. Three-dimensional segmentation of retinal cysts from spectral-domain optical coherence tomography images by the use of three-dimensional curvelet based K-SVD. Journal of medical signals and sensors. 2016; 6 (3): 166. Available from: https://www.ncbi. nlm.nih.gov/pmc/articles/PMC4973460/.
24. Chakravarty A, Sivaswamy J. A supervised joint multilayer segmentation framework for retinal optical coherence tomography images using conditional random field. Comput. Methods Programs Biomed. 2018; 165: 235-50. DOI: 10.1016/J. CMPB.2018.09.004.
25. Bogunovic H, et al. Machine Learning of the Progression of Intermediate Age-Related Macular Degeneration Based on OCT Imaging. Investigative ophthalmology & visual science. 2017; 58 (6): BIO141-BIO150.
26. Tvenning AO, Hanssen SR, Austeng D, Morken TS. Deep learning identify retinal nerve fibre and choroid layers as markers of age-related macular degeneration in the classification of macular spectral-domain optical coherence tomography volumes. Acta Ophthalmologica. 2022. DOI: 10.1111/AOS.15126.
27. Rim TH, et al. Detection of features associated with neovascular age-related macular degeneration in ethnically distinct data sets by an optical coherence tomography: trained deep learning algorithm. British Journal of Ophthalmology. 2020; 105 (8): 1133-9. DOI: 10.1136/BJOPHTHALMOL-2020-316984.
28. Zhang G, et al. Clinically relevant deep learning for detection and quantification of geographic atrophy from optical coherence tomography: a model development and external validation study. Lancet Digit Heal. 2021; 3 (10): e665-e675. DOI: 10.1016/ S2589-7500(21)00134-5.
29. Sousa JA, Paiva A, Silva A, Almeida JD, Braz Junior G, Diniz JO, et al. Automatic segmentation of retinal layers in OCT images with intermediate age-related macular degeneration using U-Net and DexiNed. Plos one. 2021; 16 (5): e0251591.
30. Alsaih Khaled, et al. Deep learning architectures analysis for age-related macular degeneration segmentation on optical coherence tomography scans. Computer methods and programs
in biomedicine. 2020; 195: 105566.
31. Lee B, D'Souza M, Singman EL, Wang J, Woreta FA, Boland MV, et al. Integration of a physician assistant into an ophthalmology consult service in an academic setting. American journal of ophthalmology. 2018; 190: 125-33. Available from: https://www. sciencedirect.com/science/article/abs/pii/S0002939418301387.
32. Pandey SK, Sharma V. Robotics and ophthalmology: Are we there yet? Indian Journal of Ophthalmology. 2019; 67 (7): 988. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6611303/.
33. Yan Y, Jin K, Gao Z, Huang X, Wang F, Wang Y, et al. Attention — based deep learning system for automated diagnoses of age-related macular degeneration in optical coherence tomography images. Medical Physics. 2021; 48 (9): 4926-34. DOI: 10.1002/ MP. 15002.
34. Treder M, Lauermann JL, Eter N. Automated detection of exudative age-related macular degeneration in spectral domain optical coherence tomography using deep learning. Graefe's Archive for Clinical and Experimental Ophthalmology. 2017; 256 (2): 259-65. DOI: 10.1007/S00417-017-3850-3.
35. Bhatia KK, Graham MS, Terry L, Wood A, Tranos P, Trikha S, et al. Disease classification of macular optical coherence tomography scans using deep learning software: validation on independent, multicenter data. Retina. 2020; 40 (8): 1549-57. DOI: 10.1097/ IAE.0000000000002640.
36. Tvenning AO, Hanssen SR, Austeng D, Morken TS. Deep learning identify retinal nerve fibre and choroid layers as markers of age-related macular degeneration in the classification of macular spectral-domain optical coherence tomography volumes. Acta Ophthalmologica. 2022. DOI: 10.1111/AOS.15126.
37. Sunija AP, Kar S, Gayathri S, Gopi VP, Palanisamy P. Octnet: A lightweight cnn for retinal disease classification from optical coherence tomography images. Computer methods and programs in biomedicine. 2021; 200: 105877. DOI: 10.1016/J. CMPB.2020.105877.
38. Juba B, Le HS. Precision-recall versus accuracy and the role of large data sets. In Proceedings of the AAAI conference on artificial intelligence. 2019; 33 (01): 4039-48. DOI: 10.1609/AAAI. V33I01.33014039.
39. Lowe DG. Distinctive image features from scale-invariant keypoints. International journal of computer vision. 2004; 60 (2): 91-110. Available from: https://link.springer.com/article/10.1023/ B:VISI.0000029664.99615.94
40. Shahedi MB, Amirfattahi R, Azar FT, Sadri S. Accurate breast region detection in digital mammograms using a local adaptive thresholding method. In Eighth International Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS'07). IEEE. 2007; 26-26. Available from: https://ieeexplore.ieee.org/ abstract/document/4279134.
