CC BY
21
Автоматическое совмещение изображений оптической когерентной томографии и снимков глазного дна
А.Д. Фида1, А.В. Гайдель Н.С. Демин12, Н.Ю. Ильясова Е.А. Замыцкий 3 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34;
2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151;
3 ГБУЗ СОКОБ имени Т. И. Ерошевского, 443066, Россия, г. Самара, ул. Запорожская, д. 26
Аннотация
Данная работа посвящена совмещению мультимодальных многомерных изображений: трехмерных данных оптической когерентной томографии и двумерных цветных изображений глазного дна. Регистрация этих двух модальностей может помочь корректировать положение полученных оптической когерентной томографией изображений на сетчатке. Некоторые существующие подходы совмещения глазного дна основаны на поиске ключевых точек, которые считаются инвариантными для аффинных преобразований и являются общими для двух изображений. Однако ошибки в определении таких точек могут привести к ошибкам регистрации. Также существуют методы итеративной настройки параметров преобразования, но они основаны на некоторых ручных настройках. В данной работе предложен метод, основанный на полном или частичном переборе возможных комбинаций преобразования изображения оптической когерентной томографии для поиска наилучшего приближения истинного преобразования. Наилучшее приближение определяется мерой сравнения пикселей предварительно обработанных изображений. Далее полученные преобразования сравниваются с имеющимися истинными преобразованиями для оценки качества алгоритма. Оценка преобразования с помощью алгоритма полного перебора показала лучшие результаты в сравнении с алгоритмом, основанным на поиске ключевых точек как минимум на порядок. Структура работы включает в себя предварительную обработку оптической когерентной томографии и изображений глазного дна с выделением кровеносных сосудов, случайный перебор или перебор по сетке возможных параметров преобразования (сдвиг, поворот и масштабирование), оценку качества алгоритма.
Ключевые слова: обработка изображений, оптическая когерентная томография, глазное дно, совмещение изображений.
Цитирование: Фида, А.Д. Автоматическое совмещение изображений оптической когерентной томографии и снимков глазного дна / А.Д. Фида, А.В. Гайдель, Н.С. Демин, Н.Ю. Ильясова, Е.А. Замыцкий // Компьютерная оптика. - 2021. - Т. 45, № 5. - С. 721-727.- DOI: 10.18287/2412-6179-CO-892.
Citation: Fida AD, Gaidel AV, Demin NS, Ilyasova NY, Zamytskiy EA. Automated combination of optical coherence tomography images and fundus images. Computer Optics 2021; 45(5): 721-727. DOI: 10.18287/2412-6179-CO-892.
Введение
Сахарный диабет является одним из самых распространенных заболеваний в современном мире. Последствия его развития затрагивают все системы человеческого организма. Со стороны зрительной системы это проявляется в виде диабетической ретинопатии. Стенки кровеносных сосудов истончаются, происходит кровоизлияние в область сетчатки, что влечёт за собой необратимое снижение зрения и слепоту [1 - 3]. Наиболее опасно поражение в центральной части сетчатки, проявляющееся в виде макуляр-ного отёка [4]. В современной медицине существует несколько способов лечения данного заболевания: применение антиУБвР препаратов и лазерная коагуляция сетчатки [5 - 8].
Операция заключается в нанесении серии микроожогов на пораженную область сетчатки. Хирург наносит коагуляты вручную или использует специальное оборудование, например, ШуПаБ [9], которое позволяет в автоматическом режиме проводить операцию по заранее составленному плану. Однако подобное оборудование при составлении плана операции позволяет использовать лишь определенные паттерны расстановки коагулятов. План составляет хирург, опираясь лишь на свой опыт. Из-за этих факторов достичь требуемого терапевтического эффекта не всегда представляется возможным [10].
Для решения данной проблемы в работе [11] была предложена система автоматического формирования плана коагуляции. На основе снимка глазного дна формируется оптимальный план коагуляции. Коагу-
ляты оптимальным образом расставляются в зоны макулярного отёка. Алгоритмы нахождения данных областей представлены в работах [12, 13]. Однако в них используется лишь изображение глазного дна, что не всегда позволяет точно определить область поражения сетчатки. В работе [14], помимо снимков глаза, используются данные оптической когерентной томографии. Используемые авторами этих работ данные имеют заранее подготовленную пространственную привязку, сделанную вручную, что неприемлемо для автоматизированных систем.
В связи с этим возникает потребность разработки автоматических методов совмещения снимков глазного дня и данных оптической когерентной томографии (ОКТ).
В работе [15] используется регистрация изображений с помощью B-scan, который основана на некоторой ручной настройке. Недостаток этого подхода заключается в ручном подборе начального приближения, а также он может учитывать только параметры сдвига и масштабирования.
Авторы работы [16] предложили подход регистрации с использованием поиска ключевых точек на изображениях. Для определения таких точек используется SIFT, однако этот алгоритм чувствителен к шумам и может давать нестабильные результаты, так как данные ОКТ содержат много шумов.
В работе [17] предлагается метод регистрации путем выделения кровеносных сосудов на изображениях, а затем определения оптимальных параметров преобразования спомощью поиска К ближайших соседей и метода наименьших квадратов. Предложенный автором алгоритм для сегментации кровеносных сосудов очень хорошо работает для извлечения узких и низкоконтрастных кровеносных сосудов двух модальностей.
В данной работе предлагается метод регистрации, состоящий из этапов предварительной обработки изображений, включающих в себя сегментирование кровеносных сосудов и дополнительную фильтрацию. Для получения более надежного сегментирования сосудов необходимо выполнить подбор параметров сегментирования, однако мы применяем дополнительную постобработку, чтобы уменьшить шум получившихся изображений. Это позволяет сделать процесс предварительной обработки более автоматизированным и менее трудоемким. Затем мы применяем алгоритм перебора для нахождения оптимального приближения преобразования. Преобразование имеет 5 параметров: поворот, осевой сдвиг и осевое масштабирование. Для более точного перебора параметров можно использовать перебор по сетке, который заключается в переборе всех возможных параметров поочередно, но такой подход будет работать медленнее, чем случайный перебор, который выбирает параметры случайным образом, однако случайный перебор может давать меньшую точность.
1. Автоматическое совмещение изображений
В данной работе мы рассматриваем три подхода для регистрации изображений: 1) полный перебор с изображениями выделенных кровеносных сосудов, 2) БШТ-обнаружение преобразования по выделенным ключевым точкам на изображениях с выделенными кровеносными сосудами, 3) БШТ-обнаружение на необработанных изображениях.
Данные представляют собой изображения, полученные с двух разных оборудований: цветное изображение (рис. 1) и ОКТ-изображение, полученное для того же глаза (рис. 2), разметка, включающая подобранную вручную матрицу преобразования.
Рис. 1. Цветное изображение глазного дна
нниик
«¿ML Ш-
Ж ЗДМ^АЖЫ-, в
пМ О
%.....ЖЛ
■ № Як
««АМИ
МИРш
I* . .И' ' ■
Рис. 2. ОКТ-изображение
Каждое цветное изображение глазного дна имеет разрешение 1264 х 990 пикселей и 3 цветовых канала. ОКТ-изображения имеют разрешение 640 х 640 пикселей, что соответствует пространственным размерам 7 х 7 мм.
1.1. Предобработка изображений
В качестве предобработки изображений с целью сегментации сосудов применяется фильтрация изображений. Общая схема фильтрации следующая:
1. Масштабирование до размерности 250 х 250 пикселей.
2. Увеличение контраста путем растяжения гистограммы (рис. 3 а).
3. Ослабление оттенков красного (рис. 36).
4. Усиление оттенков зеленого (рис. 3в).
5. Увеличение контраста изображения с помощью сигмоидальной передаточной функции (рис. 3г).
Далее полученные изображения трансформируются с последующим выделением сосудов.
Для начала к изображению применяется адаптивное выравнивание гистограмм с ограничением контраста. Это похоже на обычное выравнивание гистограмм
f (x) =
cdf (x) - cdfm n -1
-• 255
где сё/(х) - функция распределения частот значений пикселей, но частоты пикселей считаются не по всему изображению, а по отдельным областям (8 х 8 пикселей) и имеют ограничение по яркости в 40.
Далее применяется математическая морфология, которая использует механизмы объединения наборов пикселей, расширяя и сжимая множество пикселей специальным ядром Ж (п, т):
W(n,m) = {(x,y) \ n - d < x < n + d, m - d < y < m + d}, эрозия
y(n,m) = min x(i, j)
i, jeW ( n,m )
и дилатация
y(n, m) = max x(i, j),
i, jeW ( n,m )
y - отфильтрованное изображение. Здесь операции дилатации и эрозии чередуются с размерами ядер от 5 х 5 до 23 х 23.
Далее применяется пороговое значение. Оно может быть полезным для отсеивания неинформативных компонентов изображения, например, с помощью порогового значения можно отличить кровеносные сосуды от фоновой информации:
f (x) =
0, x < 15 255, x > 15'
Затем используется алгоритм обнаружения границ, чтобы выделить края сосудов. После этого корректируется распределение яркостей на изображении с помощью выравнивания гистограмм, это позволяет увеличить контраст в областях с низким контрастом.
Рис. 3. Результаты предобработки: изображение с увеличенным контрастом (а), изображение с ослабленным оттенком красного (б), изображение с усиленным оттенком зелёного (в), изображение с усиленным контрастом сигма-функцией (г)
После сегментации кровеносных сосудов получившиеся изображения подвергаются дилатации, чтобы устранить лишний шум. Полученные результаты представлены на рис. 4.
1.2. Преобразование изображений. Гомография
Для автоматического совмещения изображений необходимо рассчитать матрицу томографии [18].
Томографию можно записать как умножение евклидова преобразования, аффинного / сдвигового преобразования и проективного преобразования матриц:
И = ННМ„;
T
y 1
fcos a - sin a
He = sin a cos a
v 0 \ 0
f scx sx 01
Ha = sy scy 0
{0 0 1 У
f 1 0 0 >
Hp = 0 1 0 ,
v 0 0 1;
где а - угол поворота, Тх, Ту - осевое смещение, с Бву - осевое масштабирование. Эти параметры и будет определять алгоритм.
Матрица гомографии определяет преобразование изображения. Для поиска оптимальной матрицы мы используем полный перебор параметров матрицы преобразования (поворот, осевое масштабирование и осевой сдвиг), чтобы определить, насколько матрица хорошо отображает ОКТ-изображение, мы рассчитываем полное перекрытие отображенного ОКТ-изображения, и фрагмента цветного изображения глазного дна, полученного с помощью данной гомо-графии. Этот фрагмент задается двумя точками - левый верхний и правый нижний углы прямоугольника. Углы, в свою очередь, получаются в результате отображения соответствующих углов на ОКТ-изображении матрицей гомографии.
Рис. 4. Результаты сегментирования сосудов: на изображении глазного дна (а), на изображении ОКТ (б)
Так как полученные после предварительной обработки изображения являются бинарным изображением (то есть все пиксели могут принимать значение либо 0, либо 255), то полное перекрытие можно рассчитать, как просуммированную по всем координатам маску, получившуюся при применении логической функции И между двумя изображениями:
£4 л Б.
Очевидно, что для идеально совпадающих изображений максимально возможное значение перекрытия будет равно 640 х 640 = 409600. Томография, при которой достигается наибольшее значение перекрытия, считается оптимальной.
2. Методы поиска матрицы гомографии
В данной работе мы рассматривали два метода поиска матрицы преобразований.
2.1. Полный перебор
Данный метод заключается в переборе возможных параметров преобразований. Общая схема предлагаемого метода может быть представлена следующим образом:
1) предварительная обработка данных, этот этап включает в себя сегментацию кровеносных сосудов,
2) фильтрация изображений кровеносных сосудов,
3) поиск полным перебором параметров преобразования (поворот, осевой сдвиг и осевое масштабирование),
4) вычисление ошибки преобразования,
5) оценка средней ошибки по имеющимся данным.
2.2. SIFT
Метод SIFT представлен в работе [19]. Обнаружение ключевых точек происходит в несколько этапов.
Первая стадия обнаружения ключевых точек состоит в обнаружении масштабно-пространственных экстремумов. Использование функции масштаба позволяет найти объекты, которые будут инвариантны к изменению масштаба. Изображение можно представить как функцию, которая является результатом свертки функции масштаба и исходного изображения.
Автор предлагает использовать пространственно-масштабные экстремумы в разностно-Гауссовой функции.
Далее находятся локальные экстремумы путем сравнения каждой точки со своими 8 ближайшими
точками, экстремумом будет точка, принявшая наибольшее или наименьшее значение.
Следующая стадия - определение местоположения и масштаба для всех кандидатов на ключевые точки. Это позволит избавиться от точек, неустойчивых к шуму.
Затем определение ориентации на основе локальных свойств изображения позволяет установить дескриптор этой точки относительно ориентации, что позволит достичь инвариантности относительно вращения.
На последнем этапе используется информация о найденных ключевых точках, их ориентациях и масштабах, чтобы вычислить дескрипторы для локальных областей изображения, которые имеют большие отличия и являются инвариантными.
Основные преимущества этого подхода следующие:
1) ключевые особенности изображения являются локальными и устойчивыми к изменениям,
2) даже для небольших объектов можно обнаружить множество ключевых особенностей,
3) высокая скорость,
4) устойчив к масштабированию.
Это означает, что SIFT может определять ключевые точки независимо от масштаба изображений.
Этот подход основан на двух этапах:
1) определение ключевых точек,
2) построение матрицы гомографии по полученным точкам.
3. Экспериментальные исследования
В данной работе мы будем использовать SIFT-обнаружение на предобработанных и сырых изображениях, чтобы определить влияние предобработки на качество работы алгоритма.
В качестве данных будем использовать те же изображения, полученные в результате сегментирования кровеносных сосудов, затем с помощью SIFT-обнаружения получим матрицу гомографии и сравним ее с исходной матрицей.
В альтернативном варианте в качестве данных будем использовать сырые изображения, но для начала ОКТ-изображение и цветное изображение нужно перевести к одинаковому цветовому пространству и оставить только оттенки серого. Затем для этих изображений получим матрицы гомографий и сравним с исходными матрицами.
Для определения качества алгоритма мы используем евклидово расстояние между всеми точками изображения, отображенными истинной гомографи-ей, и точками, отображенными предсказанной гомо-графией, далее сумма всех расстояний усредняется на количество пикселей в изображении и приводится к пространственным размерам с учётом пространственного разрешения изображений:
I - I 1 N I-~
l(H,H) = HL - HL\ = — ^Vh2 - h,
где Ь - координаты пикселей изображения ОКТ, Ии И/ - отображенные пиксели с помощью истинной и предсказанной матрицы, Ни И - истинная и предсказанная томографии. Здесь под истинной томографией понимается матрица, которая была подобрана вручную при разметке изображений, а под предсказанной - результат работы алгоритма.
В табл. 1 приведены результаты для первых 10 наборов данных, а также среднее значение для каждого из методов.
Табл. 1. Величина смещения для каждого изображения
№ Перебор, мм SIFT с предобр., мм SIFT без предобр., мм
1 0,56 9,41 11,55
2 0,69 13,16 27,37
3 0,24 13,06 12,57
4 0,46 10,63 12,01
5 1,02 7,99 11,39
6 0,24 14,83 12,74
7 0,89 11,40 11,86
8 0,33 11,28 23,15
9 1,24 11,24 15,64
10 0,81 12,46 12,37
Сред. 0,62 11,55 15,15
Станд. откл. 0,32 1,78 5,07
Как видно из таблицы, метод SIFT показал смещение больше 11 мм, что при размерах изображения ОКТ 7 х 7 мм означает полное несовпадение совмещения. В то же время метод перебора параметров показал смещение около половины миллиметра (рис. 5).
р. гЬ, , J * .
:: :
к"*
Рис. 5. Пример совмещения изображений глазного дна и ОКТ с помощью предсказанной матрицы гомографии алгоритмом перебора (здесь проиллюстрированы результаты для изображения 3)
Заключение
В этой статье мы предложили метод регистрации ОКТ-изображений и цветных фотографий глазного дна, основанный на сегментации кровеносных сосудов и переборе параметров матрицы гомографии. Для сравнения качества алгоритма с другими подходами
также было проведено исследование SIFT-обнаружения по ключевым точкам. Метод перебора параметров показал значительно меньшую ошибку по сравнению с другими подходами.
Этап перебора по сетке возможных параметров томографии зависит от размера изображений, и поэтому он может быть потенциально очень вычислительно затратен, так как существует много степеней свободы и количество возможных значений.
Таким образом, нами был разработан алгоритм перебора параметров гомографии по предварительно обработанным ОКТ-изображениям и цветным фотографиям, который способен регистрировать взаимное расположение данных глазного дна с относительно низкой ошибкой по сравнению с другими подходами, основанными на определении ключевых точек.
Благодарности
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (грант № 19-29-01135), Министерства науки и высшего образования Российской Федерации в рамках выполнения работ по государственному заданию ФНИЦ «Кристаллография и фотоника» РАН.
Литература
1. Дедов, И.И. Распространенность сахарного диабета 2 типа у взрослого населения России (исследование NATION) / И.И. Дедов, М.В. Шестакова, Г.Р. Галстян // Сахарный диабет. - 2016. - Т. 19, № 2. - С. 104-112.
2. Амиров, А.Н. Диабетический макулярный отёк: эпидемиология, патогенез, диагностика, клиническая картина, лечение / А.Н. Амиров, Э.А. Абдулаева, Э.Л. Минхузина // Казанский медицинский журнал. -2015. - Т. 96, № 1. - С. 70-74.
3. Tsujimoto, T. Four-year screening interval and vision-threatening retinopathy in type 2 diabetes patients with good glycemic control / T. Tsujimoto, H. Kajio // Mayo Clinic Proceedings. - 2021. - Vol. 96, Issue 2. - P. 322-331.
4. Tan, G.S. Diabetic macular edema / G.S. Tan, N. Cheung, R. Simo // The Lancet Diabetes & Endocrinology. - 2017. -Vol. 5. - P. 143-155.
5. Hurley, B. Therapeutic revolution in the management of diabetic retinopathy / B. Hurley // Canadian Journal of Ophthalmology. - 2017. - Vol. 52, Issue 1. - P. 1-2.
6. Barry, G.P. A comparison of respiratory outcomes after treating retinopathy of prematurity with laser photocoagulation or intravitreal bevacizumab / G.P. Barry, K.A. Tauber, S. Greenberg, J. Lajoie, F. Afroze, H. Oechsner, E. Finucane, G. Binenbaum // Ophthalmology Retina. -2020. - Vol. 4, Issue 12. - P. 1202-1208.
7. Kotsur, T.V. The effectiveness of laser coagulation in the macula and high-density microphotocoagulation in the treatment of diabetic maculopathy / T.V. Kotsur, A.S. Izmailov // Ophthalmological Statements. - 2016. -Vol. 9, Issue 4. - P. 43-45.
8. Замыцкий, Е.А. Анализ интенсивности коагулятов при лазерном лечении диабетического макулярного отека на роботизированной лазерной установке NAVILAS /
E.А. Замыцкий, А.В. Золотарев, Е.В. Карлова, П.А. Замыцкий // Саратовский научно-медицинский журнал. - 2017. - Т. 13, № 2. - С. 375-378.
9. Ober, M.D. Time required for navigated macular laser photocoagulation treatment with the Navilas® / M.D. Ober [et al.] // Graefe's Archive for Clinical and Experimental Ophthalmology. - 2013. - Vol. 251, Issue 4. - P. 1049-1053.
10. Vergmann, A.S. Efficacy and side effects of individualized panretinal photocoagulation / A.S. Vergmann, T.T. Nguyen, T.L. Torp, R. Kawasaki, T.Y. Wong, T. Peto, J. Grauslund // Ophthalmology Retina. - 2020. - Vol. 4, Issue 6. - P. 642-644.
11. Ильясова, Н.Ю. Технология интеллектуального отбора признаков для системы автоматического формирования плана коагулятов на сетчатке глаза / Н.Ю. Ильясова,
A.С. Широканев, А.В. Куприянов, Р.А. Парингер // Компьютерная оптика. - 2019. - Т. 43, № 2. - С. 304315. - DOI: 10.18287/2412-6179-2019-43-2-304-315.
12. Ilyasova, N.Yu. Regions of interest in a fundus image selection technique using the discriminative analysis methods / N.Yu. Ilyasova, R.A. Paringer, A.V. Kupriyanov. - In: Computer vision and graphics. ICCVG 2016 / ed. by L.J. Chmielewski, A. Datta, R. Kozera, K. Wojciechowski.
- Cham: Springer, 2016. - P. 408-417. - DOI: 10.1007/978-3-319-46418-3_36.
13. Ilyasova, N.Yu. A modified technique for smart textural feature selection to extract retinal regions of interest using image pre-processing / N.Yu. Ilyasova, A.S. Shirokanev, R.A. Paringer, A.V. Kupriyanov, A.V. Zolotarev // Journal of Physics: Conference Series. - 2018. - Vol. 1096. -012095. - DOI: 10.1088/1742-6596/1096/1/012095.
14. Yoo, T.K. The possibility of the combination of OCT and fundus images for improving the diagnostic accuracy of deep learning for age-related macular degeneration: a preliminary experiment / T.K. Yoo, J.Y. Choi, J.G. Seo // Medical & Biological Engineering & Computing. - 2019. -Vol. 57. - P. 677-687.
15. Radim, K. Registration of 3D retinal optical coherence tomography data and 2D fundus images / K. Radim, T. Pavel.
- In: Biomedical Image Registration / ed. by B. Fischer,
B.M. Dawant, C. Lorenz. - Berlin, Heidelberg: SpringerVerlag, 2010. - P. 72-82.
16. Zeinab, G. An efficient approach for robust multimodal retinal image registration based on UR-SIFT features and PIIFD descriptors / G. Zeinab, S. Jamshid, S. Amin,
F. Emad // EURASIP Journal on Image and Video Processing. - 2013. - Vol. 1, Issue 25. - P. 1-16.
17. Golabbakhsh, M. Vessel-based registration of fundus and optical coherence tomography projection images of retina using a quadratic registration model / M. Golabbakhsh, H. Rabbani / IET Image Processing. - 2013. - Vol. 7, Issue 8. - P. 768-776.
18. Chojnacki, W. The equivalence of two definitions of compatible homography matrices / W. Chojnacki, Z.L. Szpak, M. Wadenback // Pattern Recognition Letters. - 2020. -Vol. 135. - P. 38-43.
19. Lowe, D.G. Distinctive image features from scale-invariant keypoints / D.G. Lowe // International Journal of Computer Vision. - 2004. - Vol. 60. - P. 91-110.
Сведения об авторах
Фида Александр Дмитриевич, 1998 рождения. В 2020 году окончил Самарский государственный технический университет по направлению «Прикладная математика и информатика». В данный момент работает в Epam Systems инженером по машинному обучению. Область научных интересов: компьютерное зрение и интеллектуальная обработка текстов. E-mail: hellochesa@smail.com .
Гайдель Андрей Викторович, 1989 года рождения, кандидат технических наук, в 2012 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва по направлению «Прикладная математика и информатика», в 2015 году защитил кандидатскую диссертацию. Работает доцентом кафедры технической кибернетики Самарского университета и научным сотрудником в Институте систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: компьютерная обработка изображений, теория распознавания образов, интеллектуальный анализ данных, теория алгоритмов. E-mail: andrey.gaidel@smail.com .
Демин Никита Сергеевич, 1994 года рождения, аспирант Самарского национального исследовательского университета имени академика С.П. Королёва. Сфера научных интересов: интеллектуальный анализ медицинских изображений; цифровая обработка изображений; математическое моделирование; распознавание образов и искусственный интеллект. E-mail: volfgunus@smail.com .
Ильясова Наталья Юрьевна, 1966 года рождения. В 1991 году окончила с отличием Самарский государственный аэрокосмический университет имени С.П. Королёва (СГАУ). В 1997 году защитила диссертацию на соискание степени кандидата технических наук, в 2015 году защитила диссертацию на соискание степени доктора технических наук. В настоящее время работает старшим научным сотрудником в Учреждении Российской академии наук Институте систем обработки изображений РАН и одновременно доцентом кафедры технической кибернетики СГАУ. Круг научных интересов включает цифровую обработку сигналов и изображений, анализ и интерпретацию биомедицинских изображений. Имеет более 100 публикаций, в том числе 35 статей и три монографии (в соавторстве). E-mail: ilyasova@smr. ru .
Замыцкий Евгений Андреевич, аспирант кафедры офтальмологии Самарского государственного медицинского университета и врач-офтальмолог офтальмоэндокринологического отделения Самарской областной клинической офтальмологической больницы имени Т.И. Ерошевского. Сфера научных интересов: диабетическая ретинопатия, диабетический макулярный отёк, лазерное лечение диабетического макулярного отёка. E-mail: undue_@mail.ru .
ГРНТИ: 28.23.15
Поступила в редакцию 13 марта 2021 г. Окончательный вариант - 30 апреля 2021 г.
Automated combination of optical coherence tomography images
and fundus images
A.D. Fida1, A.V. Gaidel12, N.S. Demin1N.Yu. Ilyasova1EA. Zamytskiy3 1 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34;
2IPSIRAS - Branch of the FSRC "Crystallography and Photonics " RAS, 443001, Samara, Russia, Molodogvardeyskaya 151;
3 Samara Regional Clinical Ophthalmological Hospital named after T.I. Eroshevsky, 443066, Samara, Russia, Zaporozhskaya 26
Abstract
We discuss approaches to combining multimodal multidimensional images, namely, three-dimensional optical coherence tomography (OCT) data and two-dimensional color images of the fundus. Registration of these two modalities can help to adjust the position of the obtained OCT images on the retina. Some existing approaches to matching fundus images are based on finding key points that are considered invariant to affine transformations and are common to the two images. However, errors in the identification of such points can lead to registration errors. There are also methods for iterative adjustment of conversion parameters, but they are based on some manual settings. In this paper, we propose a method based on a full or partial search of possible combinations of the OCT image transformation to find the best approximation of the true transformation. The best approximation is determined using a measure of comparison of preprocessed image pixels. Further, the obtained transformations are compared with the available true transformations to assess the quality of the algorithm. The structure of the work includes: pre-processing of OCT and fundus images with the extraction of blood vessels, random search or grid search over possible transformation parameters (shift, rotation and scaling), and evaluation of the quality of the algorithm.
Keywords: image processing, optical coherence tomography, fundus, image matching.
Citation: Fida AD, Gaidel AV, Demin NS, Ilyasova NY, Zamytskiy EA. Automated combination of optical coherence tomography images and fundus images. Computer Optics 2021; 45(5): 721-727. DOI: 10.18287/2412-6179-CO-892.
Acknowledgements: This work was financially supported by the Russian Foundation for Basic Research under grant # 19-29-01135 and the RF Ministry of Science and Higher Education under a government project of the FSRC "Crystallography and Photonics" RAS.
References
[1] Dedov II, Shestakova MV, Galstyan GP. The prevalence of type 2 diabetes in the adult population of Russia (NATION study) [In Russian]. Diabetes Mellitus 2016; 19(2): 104-112.
[2] Amirov AN, Abdulaeva EA, Minkhuzina EL Diabetic macular edema. epidemiology, pathogenesis, diagnosis, clinical features, treatment [In Russian]. Kazan Medical Journal 2015; 96(1): 70-74.
[3] Tsujimoto T, Kajio H. Four-year screening interval and vision-threatening retinopathy in type 2 diabetes patients with good glycemic control. Mayo Clinic Proceedings 2021; 96(2): 322-331.
[4] Tan GS, Cheung N, Simo R. Diabetic macular edema. Lancet Diabetes Endocrinol 2017; 5: 143-155.
[5] Hurley B. Therapeutic revolution in the management of diabetic retinopathy. Can J Ophthalmol 2017, 52(1): 1-2.
[6] Barry GP, Tauber KA, Greenberg S, Lajoie J, Afroze F, Oechsner H, Finucane E, Binenbaum G. A comparison of respiratory outcomes after treating retinopathy of prematurity with laser photocoagulation or intravitreal bevaci-zumab. Ophthalmol Retina 2020, 4(12): 1202-1208.
[7] Kotsur TV, Izmailov AS. The effectiveness of laser coagulation in the macula and high-density microphotocoagula-tion in the treatment of diabetic maculopathy. Ophthalmological Statements 2016, 9(4): 43-45.
[8] Zamytsky EA, Zolotarev AV, Karlova EV, Zamytsky PA. Analysis of the coagulates intensity in laser treatment of diabetic macular edema in a NA VILAS robotic laser system. Saratov Journal of Medical Scientific Research 2017, 13(2): 375-378.
[9] Ober MD. Time required for navigated macular laser photocoagulation treatment with the Navilas®. Graefes Arch Clin Exp Ophthalmol 2013; 251(4): 1049-1053.
[10] Vergmann AS, Nguyen TT, Torp TL, Kawasaki R, Wong TY, Peto T, Grauslund J. Efficacy and side effects of individualized panretinal photocoagulation. Ophthalmol Retina 2020; 4(6): 642-644.
[11] Ilyasova NYu, Shirokanev AS, Kupriyanov AV, Paring er RA. Technology of intellectual feature selection for a system of automatic formation of a coagulate plan on retina. Computer Optics 2019; 43(2): 304-315. DOI: 10.18287/2412-6179-2019-43-2-304-315.
[12] Ilyasova NYu, Paringer RA, Kupriyanov AV. Regions of interest in a fundus image selection technique using the discriminative analysis methods. In Book: Chmielewski LJ, Datta A, Kozera R, Wojciechowski K, eds. Computer vision and graphics (ICCVG 2016). Cham: Springer; 2016: 408-417. DOI: 10.1007/978-3-319-46418-3_36.
[13] Ilyasova NYu, Shirokanev AS, Paringer RA, Kupriyanov AV. A modified technique for smart textural feature selection to extract retinal regions of interest using image preprocessing. J Phys Conf Ser 2018; 1096: 012095. DOI: 10.1088/1742-6596/1096/1/012095.
[14] Yoo TK, Choi JY, Seo JG. The possibility of the combination of OCT and fundus images for improving the diagnostic accuracy of deep learning for age-related macular degeneration: a preliminary experiment. Med Biol Eng Com-put 2019; 57: 677-687.
[15] Radim K, Pavel T. Registration of 3D retinal optical coherence tomography data and 2D fundus images. In Book: Fischer B, Dawant BM, Lorenz C, eds. Biomedical Image Registration. Berlin, Heidelberg: Springer-Verlag; 2010: 72-82.
[16] Zeinab G, Jamshid S, Amin S, Emad F. An efficient approach for robust multimodal retinal image registration
based on UR-SIFT features and PIIFD descriptors. EURASIP J Image Video Process 2013; 1(25): 1-16.
[17] Golabbakhsh M, Rabbani H. Vessel-based registration of fundus and optical coherence tomography projection images of retina using a quadratic registration. IET Image Process 2013; 7(8): 768-776.
[18] Chojnacki W, Szpak ZL, Wadenbäck M. The equivalence of two definitions of compatible homography matrices. Patt Recogn Lett 2020; 135: 38-43.
[19] Lowe DG. Distinctive image features from scale-invariant keypoints. Int J Comp Vis 2004; 60: 91-110.
Authors' information
Alexander Dmitrievich Fida (born in 1998) graduated from Samara State Technical University, majoring in Applied Mathematics and Informatics. Currently works for Epam Systemsas a machine learning engineer. Research interests: computer vision and intellectual word processing. E-mail: hellochesa@smail.com .
Andrey Viktorovich Gaidel (b. 1989) graduated from Samara State Aerospace University in 2012, majoring in Applied Mathematics and Informatics. He received his Candidate of Science degree in Physics and Math in 2015 from the SSAU. Currently he is a teaching assistant of the Technical Cybernetics sub-department and Engineer at SSAU's laboratory SRL-35 of Samara State Aerospace University, also working as an intern researcher of the Image Processing Systems Institute of the Russian Academy of Sciences - Branch of the FSRC "Crystallography and Photonics" RAS, Samara, Russia. His research interests currently focus on computer image processing, pattern recognition, data mining and theory of computation. E-mail: andrey.saidel@smail.com .
Nikita Sergeevich Demin (b. 1994), graduated (2019) with a master's degree in Applied Mathematics and Informatics. At present he is a postgraduate student of Samara University. The area of interests includes digital image processing, mathematical modeling, pattern recognition and artificial intelligence. E-mail: volfsunus@smail.com .
Nataly Yurievna Ilyasova (b. 1966), graduated with honors from S.P. Korolyov Samara State Aerospace University (SSAU) (1991). She received her PhD (1997) and DSc (2015) in Technical Sciences. At present, she is a senior researcher at the Image Processing Systems Institute of the Russian Academy of Sciences, and holding a part-time position of Associate Professor at SSAU's Technical Cybernetics sub-department. The area of interests includes digital signals and image processing, pattern recognition and artificial intelligence, biomedical imaging and analysis. She's list of publications contains more than 100 scientific papers, including 35 articles and 3 monographs published with coauthors. E-mail: ilyasova@smr.ru .
Evgeniy Andreevich Zamytskiy, postgraduate Ophthalmology department Samara State Medical University and ophthalmologist Ophthalmoendocrinology department Samara Regional Clinical Ophthalmological Hospital named after T.I. Eroshevsky. Research interests: diabetic retinopathy, diabetic macular edema, diabetic macular edema laser treatment. E-mail: undue_@mail.ru .
Received March 13, 2021. The final version - April 30, 2021.
