CC BY
25
Метод выделения области макулярного отёка с использованием данных оптической когерентной томографии
Н.Ю. Ильясова 12, Н.С. Демин12, А.С. Широканев А.В. Куприянов ',2, Е.А. Замыцкий 3 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, Самарская область, г. Самара, Московское шоссе, д. 34, 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, Самарская область, г. Самара, ул. Молодогвардейская, д. 151, 3ГБУЗ СОКОБ имени Т.И. Ерошевского, Самара, Россия
Аннотация
В работе предложен метод выделения области диабетического макулярного отёка на изображениях глазного дна на основе анализа данных оптической когерентной томографии. Актуальность работы обусловлена необходимостью создания систем поддержки проведения операций лазерокоагуляции для повышения её эффективности. В основе предложенного подхода лежит набор методов и алгоритмов сегментации изображений, поиска особых точек и составления их дескрипторов. Алгоритм Кэнни применяется для поиска границы между стекловидным телом и сетчаткой на изображениях оптической когерентной томографии. Метод сегментации, основанный на алгоритме Краскала построения минимального остовного дерева взвешенного связного неориентированного графа, используется для выделения области сетчатки до пигментного слоя на изображении. С использованием полученных результатов сегментации была построена карта толщины сетчатки глаза и её отклонений от нормы. В ходе проведенных исследований были подобраны оптимальные значения параметров в алгоритмах Кэнни и графовой сегментации, позволяющие достичь ошибки сегментации в размере 5 %. Были рассмотрены методы SIFT, SURF и AKAZE для наложения рассчитанных карт толщины сетчатки глаза и её отклонений от нормы на изображение глазного дна. В случаях, когда вместе с данными оптической когерентной томографии предоставлен снимок с фундус-камеры аппарата оптической когерентной томографии, с помощью метода SURF возможно точное совмещение с изображением глазного дна.
Ключевые слова: лазерная коагуляция, глазное дно, диабетическая ретинопатия, изображения ОКТ, графовая сегментация изображений, дескрипторы SIFT, SURF.
Цитирование: Ильясова, Н.Ю. Метод выделения области макулярного отёка с использованием данных оптической когерентной томографии / Н.Ю. Ильясова, Н.С. Демин, А. С. Широканев, А.В. Куприянов, Е.А. Замыцкий // Компьютерная оптика. - 2020. - Т. 44, № 2. - С. 250-258. - DOI: 10.18287/2412-6179-CO-691.
Citation: Ilyasova NYu, Demin NS, Shirokanev AS, Kupriyanov AV, Zamytskiy EA. Method for selection macular edema region using optical coherence tomography data. Computer Optics 2020; 44(2): 250-258. DOI: 10.18287/2412-6179-C0-691.
Введение
В современном мире сахарный диабет является наиболее распространённым эндокринным заболеванием, которое приводит к опасным для жизни последствиям. В случае зрительной системы данное заболевание приводит к изменениям в кровеносных сосудах, стенки которых истончаются, вследствие чего происходят кровоизлияния в области сетчатки. Такое осложнение называется диабетической ретинопатией (ДРП). При ДРП происходит поражение всех отделов сетчатки глаза, но из-за изменений в центральных отделах в виде диабетического макулярно-го отёка происходит быстрое и необратимое снижение зрения [1 - 3]. Согласно проведённым исследованиям, точная и ранняя диагностика, а также своевременное и правильное лечение может предотвратить полную слепоту в более 50 % случаев [4, 5]. На теку-
щий момент существует несколько способов лечения. Медикаментозное с использованием антиVEGF препаратов [6 - 8], а также лазерная коагуляция, эффективность которой была подтверждена в ходе крупного исследования (ЕТБЯ^, 1987) и на сегодняшний день является «золотым стандартом» лечения ДРП [8].
В процессе лазерного лечения происходит нанесение серии дозированных микроожогов (лазерокоагу-лятов) на сетчатку в области отёка. За всю историю существования практики лазерного лечения проводились различные исследования с целью снижения травмирующего действия данной операции, а также с целью увеличения точности и быстроты данной процедуры. В настоящее время широкое распространение получили лазерные установки с возможностью автоматического нанесения коагулятов с использованием заранее выбранных паттернов [9] (рис. 1).
Рис. 1. Пример паттернов программного средства ЫЛУ1ЬА8
Однако подобная методика не всегда позволяет достичь требуемого терапевтического эффекта. В связи с этим в работе [10] была предложена система автоматического формирования плана коагуляции. На основе изображения глазного дна на этапе подготовки к операции формируется оптимальный план нане-
• • * * *
сения коагулятов. Алгоритмы расположения коагулятов представлены в работе [11] (рис. 2). Коагуляты расставляются в зоны отёка, исключая области макулы, зрительного диска и сосудов, куда врачи запрещают их накладывать с целью снижения негативных последствий операции и повышения её эффективности.
Для нахождения области макулярного отёка в работах [12, 13] проводилась сегментация изображения глазного дна путём классификации пикселей на четыре класса: экссудаты, толстые сосуды, тонкие сосуды и здоровые участки. Были отобраны эффективные текстурные признаки, на основе которых строилось информативное признаковое пространство. Область макулярного отёка определялась скоплением зон экссудации.
Однако данная методика не всегда позволяет полностью выявить зону отёка, в связи с чем врачами было предложено использовать данные оптической когерентной томографии (ОКТ), которые позволяют увидеть внутреннюю структуру сетчатки глаза.
В рамка данной работы представлен метод выделения области макулярного отёка, являющийся частью системы формирования плана коагулятов [10].
.V • •
• : . • • -.
V* !".
• - • • »% • •
Рис. 2. Результаты работы алгоритмов заполнения коагулятами глазного дна: а) случайная карта, б) гексагональная карта, в) упорядоченная карта, г) волновая карта, д) граничная карта, е) адаптивная граничная карта
1. Выделение области макулярного отёка с использованием данных ОКТ
Информацию о внутреннем строении глаза предоставляет оптическая когерентная томография (ОКТ) [21] - один из методов неинвазивного исследования различных тканей человека, таких как тонкие слои кожи или слизистых оболочек, а также глазные и зубные ткани. Принцип действия аналогичен ультразвуковому
исследованию, однако в ОКТ вместо ультразвуковых волн применяется оптическое излучение инфракрасного диапазона для зондирования биотканей.
Данные ОКТ представляют собой серию снимков, на которых показаны срезы сетчатки. Макулярный отёк появляется вследствие протекания жидкости из сосудов в область сетчатки, что увеличивает её толщину. Рассчитав толщину сетчатки от стекловидного тела до пигментного слоя на каждом снимке ОКТ и
сравнив полученный результат с нормой, мы можем выявить область отёка.
Для сегментации изображений ОКТ в настоящий момент используются различные подходы, от применения теории графов [15] до нейронных сетей [16]. Однако нам не нужны сведения о внутренних слоях сетчатки, достаточно двух границ: границы между стекловидным телом и сетчаткой, а также верхней границы пигментного слоя.
Метод выделения области макулярного отёка, предлагаемый в данной работе, состоит из следующих основных этапов:
1. Строится карта отклонения толщины сетчатки от нормы. Для этого каждый снимок ОКТ из серии сегментируется и находится область сетчатки. Полученные данные объединяются, рассчитывается карта толщины сетчатки, которая сравнивается с нормой.
2. Полученная карта отклонения наносится на изображение глазного дна, показывая области с повышенной толщиной сетчатки, т.е. области отёка.
2. Построение карты отклонения толщины сетчатки от нормы
Для построения карты отклонения необходимо провести сегментацию снимков ОКТ. Из-за ограничений аппаратной части при их создании полученные данные являются зашумлёнными, что порождает проблемы при выделении интересующих нас границ сетчатки глаза.
2.1. Удаление области стекловидного тела
Из-за частых резких перепадов градиента изображения применение классических методов выделения границ является проблематичным. Полученные границы нечёткие и имеют множество разрывов, однако граница между сетчаткой и стекловидным телом может быть выделена с использованием алгоритма Кэнни [17], который известен как один из самых лучших детекторов границ. Он состоит из 5 основных этапов.
1. Фильтрация шума в исходном изображении с помощью сглаживания. Применяется свёртка с фильтром Гаусса, ядро которого вычисляется по формуле (1):
f ( х, У, ст) =
1
2тсст'
-exp
х2 + y2 " 2a2
(1)
2. Вычисление градиента и его направления для сглаженного изображения. Самый распространённый способ заключается в использовании оператора Собеля. Угол вектора направления градиента округляется и квантуется по значениям 0°, 45°, 90°, 135°.
3. Подавление немаксимумов. Только локальные максимумы градиента по конкретным направлениям отмечаются как границы.
4. Двойная пороговая фильтрация, в ходе которой определяются сильные и потенциально возможные границы. Если значение пикселя выше верхней границы - он принимает максимальное значение (граница считается достоверной), если ниже - пиксель подавляется, точки со значением, попадающим в диапазон между порогами, принимают фиксированное среднее значение (они будут уточнены на следующем этапе).
5. Трассировка областей неоднозначности. Итоговые границы определяются путём подавления всех краёв, не связанных с определёнными (сильными) границами. Упрощённо, задача сводится к выделению групп пикселей, получивших на предыдущем этапе промежуточное значение, и отнесению их к границе (если они соединены с одной из установленных границ) или их подавлению (в противном случае). Пиксель добавляется к группе, если он соприкасается с ней по одному из 8 направлений.
В нашем случае использование оператора Собеля на 2-м этапе даёт слишком грубое приближение значения градиента, из-за чего интересующая нас граница имеет нечёткое и прерывистое очертание.
Как было сказано ранее, для фильтрации шумов используется фильтр Гаусса. По свойству свёртки:
А( f * h ) = f h
dx dx
(2)
Исходя из формулы (2), первые 2 этапа алгоритма Кэнни могут быть заменены свёрткой с ядром, которое является производной функции Гаусса.
Градиент изображения вычисляется по формуле:
G G2 + G2
а угол - вектор его направления по формуле:
I = arctan
( G ^
V Gy J
где Ох и Оу являются производными по направлениям х и у соответственно. Тогда в соответствии с формулами (1) и (2) ядро фильтра для вычисления значения Ох будет определяться формулой (3), а для Оу -формулой (4):
Л (х,у,ст)=¿Й ехр (- 2Йехр (- 2Й, (3)
fy (X У, =--" eXP
2ст2
"^Т Iexph^-т (4)
2ст2
Полученные формулы похожи с разницей лишь в названии переменных. Поэтому для нахождения производных Ох и Оу нет необходимости рассчитывать два ядра свёртки. Так как если для вычисления Ох бу-
дет использоваться ядро Нх, то для вычисления Оу ядро свёртки будет равно Ну=НхТ.
Результатом применения алгоритма Кэнни является граница между сетчаткой и стекловидным телом. На рис. 3 показано исходное изображение (рис. 3а), результат работы вышеописанного алгоритма (рис. 3б) и область стекловидного тела (рис. 3в), которая впоследствии удаляется с изображения.
2.2. Сегментация снимков ОКТ
Метод сегментации снимков ОКТ основан на алгоритме эффективной графовой сегментации [18]. В его основе лежит алгоритм Краскала [19] построения минимального остовного дерева взвешенного связного неориентированного графа.
Вначале текущее множество рёбер устанавливается пустым. Затем, пока это возможно, проводится следующая операция: из всех рёбер, добавление которых к уже имеющемуся множеству не вызовет появление в нём цикла, выбирается ребро минимального веса и добавляется к уже имеющемуся множеству.
Когда таких рёбер больше нет, алгоритм завершён. Подграф данного графа, содержащий все его вершины и найденное множество рёбер, является его остовным деревом минимального веса.
В нашем случае каждый пиксель представляется вершиной графа Уи Ребра этого графа соединяют соседние пиксели, их веса равны:
W (Vi ,Vj ) = |l ( pi ) " I ( p} )|,
где I(pi) - это значения функции яркостиp, пикселя.
В ходе выполнения алгоритма Краскала мы получим множество разрозненных кластеров на изображении с минимальными суммарными значениями весов ребер.
На каждом шаге для текущего ребра с минимальным весом определяем, принадлежат ли его вершины к одному уже существующему кластеру или нет. В случае, если они принадлежат разным кластерам, сравниваем вес этого ребра с минимальным из максимальных весов ребер в этих двух соседних кластерах. Если вес текущего ребра меньше, то кластеры сливаются.
Обозначим для кластера K, ребро с наибольшим весом как Wmax (Ki).
Для двух кластеров Ki и Kj вес текущего рассматриваемого ребра обозначим как Wcur (Ki,Kj).
Тогда правило объединения двух кластеров описывается формулой:
true, ifWcUr (K,, Kj) < < min(Wmax( K ),Wmax( Kj)), false, f Wcur (K, Kj) >
> min(Wmax(K ),Wmax(K )).
Merged, K )
aj
Рис. 3. Снимок ОКТ: а) исходный снимок, б) результат работы алгоритма Кэнни, в) область стекловидного тела
На финальном шаге алгоритма мы проверяем размеры кластеров. Если размер текущего кластера меньше порога $>12етт , данный кластер сливается с предыдущим.
На рис. 4 представлен результат сегментации изображения (рис. 4а), а также искомый нами сегмент (рис. 4 б).
2.3. Построение карты толщины сетчатки и её отклонения от нормы
Исходными данными является набор из 85 снимков. Каждый снимок представляет собой изображение в оттенках серого с глубиной 8 бит и размером 640x940 пикселей. После обработки всего набора строится карта распределения толщины сетчатки Тн, представляющая собой двумерный массив.
Для этого на каждом снимке выбирается кластер, соответствующий искомой области сетчатки
(рис. 4б). Номер искомого кластера будет равен двум из-за того, что на первом этапе область стекловидного тела была удалена с изображения. Проводится подсчёт высоты выбранной области по всей её ширине. Данные заносятся в строку массива, номер которой соответствует номеру снимка. После подсчёта высоты области сетчатки на каждом снимке и занесения этих данных в результирующий массив, его размеры меняются для получения квадратного вида. Недостающие данные подсчитываются с помощью билинейной интерполяции.
После нахождения карты толщины сетчатки Тн проводится её сравнение с эталоном Те, представляющим собой карту толщины здоровой сетчатки, которая предоставляется врачом, и формируется карта отклонений по формуле: Та = (Тн- Те) / ТеЗоны, получившие оценку отклонения больше 30 %, считаются зонами интереса. На рис. 5 представлен результат:
карта толщины сетчатки (рис. 5) и карта её отклонения от нормы (рис. 6).
Рис. 4. Сегментация снимка ОКТ: а) результат сегментации, б) искомый сегмент
Рис. 5. Результат построения карты толщины сетчатки
Рис. 6. Результат построения карты отклонения толщины сетчатки от нормы
Выделенные зоны будут использоваться для локализации зоны лазерного воздействия, необходимой для эффективного лечения ДРП.
3. Нанесение карты отклонений на изображение глазного дна
Для выделения области макулярного отёка необходимо нанести полученную ранее карту отклонения толщины сетчатки от нормы. Данную задачу можно выполнить, если совместить изображение, полученное с фундус-камеры аппарата ОКТ (рис. 7), и исходное изображение глазного дна.
Совмещение изображений основано на методах поиска особых точек.
3.1. Совмещение изображений на основе методов поиска особых точек
Несмотря на существование множества методов поиска особых точек на изображениях и составления их дескрипторов, алгоритм совмещения изображений в общем случае имеет 3 этапа:
1) поиск особых точек и составление их дескрипторов, инвариантных к различным преобразованиям;
2) поиск похожих пар точек на основе составленных дескрипторов;
3) построение матрицы преобразования координат изображений.
Рис. 7. Изображение глазного дна с фундус-камеры аппарата ОКТ
На первом этапе могут быть использованы любые методы поиска особых точек. Так, наиболее популярными являются методы SIFT [20], SURF [21], а также метод AKAZE [22]. Данные методы различаются подходом к поиску особых точек.
Метод SIFT ищет точки, основываясь на поиске экстремумов в многомасштабном пространстве пирамиды разности гауссиан, для достижения инвариантности к масштабу.
Пусть I - исходное изображение, а G (а) - ядро фильтра Гаусса, определяющегося по формуле (1),
тогда пирамида гауссиан [20] будет строиться из взятых в разных масштабах исходных изображений и различных фильтров по формуле:
L(ct) = G(ct)* I.
А пирамида разности гауссиан соответственно по формуле:
D(ct) = L(k ст) - L(ct).
На каждом полученном изображении в пирамиде разности гауссиан ищутся локальные экстремумы и сравнивается значение точки с 8 её соседями на текущем изображении и 9 на изображениях выше и ниже по пирамиде.
Для создания дескриптора точки вычисляется её направление градиента, после чего рассматриваемая окрестность точки поворачивается по её направлению, тем самым достигается инвариантность к повороту. Впоследствии дескриптор составляется из значения гистограмм направлений градиента в рассматриваемой окрестности.
В случае метода SURF и AKAZE рассматриваются многомасштабные пространства, как и в SIFT для инвариантности к масштабу, но особые точки детектируются с помощью матрицы Гессе [21,22], которая имеет вид:
Л
H ( I ) =
' д21 д21
dx2 dxdy
д21 д21
у dxdy ду2
Локальный экстремум находится с помощью значения определителя:
д21 д21
det(H (I )) ^-j-t -
dx dy
( d2I ^
dxdy
Для создания дескрипторов используются фильтры Хаара, рассчитывающие изменения градиента вокруг особой точки. В случае метода AKAZE строится бинарный дескриптор [22].
На втором этапе происходит попарное сравнивание найденных точек и их дескрипторов, используя метод k-ближайших соседей. В качестве меры схожести используется Евклидово расстояние:
N 2
p(d,d') = Х|dk -d[\ ,
k =0
где d и d ' - дескриптор особой точки первого и второго изображения соответственно. N - размерность вектора дескриптора. А в случае бинарных дескрипторов (метод AKAZE) расстояние Хэмминга:
p(d, d')- d't |.
k =0
На третьем этапе строится матрица проективного преобразования с использованием метода RANSAC. Он позволяет исключить случайные совпадения пар точек, которые таковыми не являются. На рис. 8 представлен результат работы алгоритма SIFT (рис. 8а) и SURF (рис. 8б).
Рис. 8. Совмещение изображений: а) использование метода SIFT, б) использование метода SURF
3.2. Восстановление изображения глазного дна из снимков ОКТ
В случае, когда по каким-то причинам изображение с фундус-камеры ОКТ отсутствует, мы можем восстановить его из снимков оптической когерентной томографии.
Для этого на определенном срезе снимка сетчатки проводится суммирование значений яркости пикселей вдоль вертикальной оси. Срезом для снимка считаем область на изображении, которая располагается от её левой до её правой границы. Например, ранее выделенный сегмент сетчатки может считаться срезом.
Для построения восстановленного изображения глазного дна на практике применяются различные срезы. В нашем случае срез будет находиться под нашей выделенной областью интереса. Эта область -пигментный слой сетчатки, так как нас интересует рисунок сосудов, который хорошо виден. Берется срез размером в 30 пикселей. Данное значение выбрано исходя из среднего размера пигментного слоя на снимках ОКТ того типа, которые используются в качестве исходных данных. Верхняя граница среза определяется нижней границей нашей сегментированной области на снимке. Нижняя граница среза определяется сдвигом верхней на 30 пикселей вниз.
После суммирования проводится нормализация значений к отрезку [0..1] для возможности представления данных в виде изображения.
Полученные значения заносятся построчно в матрицу, где номер строки - это номер снимка. Результирующая матрица изменяется в размере для достижения квадратного вида. Недостающие данные вычисляются с помощью билинейной интерполяции. Значения получившегося двумерного массива являются значениями функции яркости искомого изображения. Пример восстановленного изображения глазного дна приведен на рис. 9.
Однако из-за малого количества снимков ОСТ в наборе результирующее изображение глазного дна получается зашумленным и с различного рода артефактами. И как следствие, рассмотренные выше методы не могут найти на нем особые точки, соответствующие особым точкам изображения глазного дна, что требует дальнейших исследований для разработки методов, применимых в таких случаях.
4. Результаты экспериментальных исследований
Экспериментальные исследования проводились на наборе снимков размерами 640x940 пикселей. Оценивались различные параметры алгоритмов, и эмпирически подбирались наиболее оптимальные.
Рис. 9. Восстановленное изображение глазного дна
Параметр о в формуле (3) и формуле (4) выбирался по критерию связанности границы между стекловидным телом и сетчаткой.
При малом значении о полученная линия имеет большое количество разрывов из-за большого количества шума на изображении, при значении в 3,5 в 100 % исследованных изображениях искомая граница имела вид без разрывов. При уменьшении этого значения на различных изображениях граница теряла связанность. При увеличении значения граница смещалась вследствие размытия изображения. В связи с этим в качестве оптимального параметра было выбрано значение о = 3,5.
Порог бинаризации изображения в алгоритме Кэнни выбирался исходя из критерия уменьшения
лишних границ на результирующем изображении. Так как искомая граница имела самое большое значение градиента из всех границ без разрывов, то был найден порог, равный 0,6, при котором на всех снимках оставалась только интересующая нас линия.
Оптимальный параметр минимального размера кластера выбирался в соответствии с 2 критериями.
1. Уменьшение общего количество кластеров, особенно в зоне нашего интереса (в идеале, чтобы сетчатка стала 1 сегментом). Но при этом необходимый нам кластер не должен слиться с соседними. В табл. 1 представлено значение количества кластеров от минимального размера кластера. При параметре больше 15000 пикселей количество кластеров уменьшается медленно.
2. В качестве критерия выбора параметра доли минимального размера кластера использовалось значение ошибки отклонения выделенной области относительно области экспертной разметки. Ошибка выделения области интереса использует метрику сходства Сёренсена -Дайса, как наиболее популярную в задачах сегментации изображений. Данная метрика рассчитывается как отношение удвоенного значения пересечения двух множеств к их объединению. Ошибка, соответственно, обратное значение. В табл. 1 представлено значение зависимости этой ошибки от доли минимального размера кластера.
Табл. 1. Зависимость количества кластеров и ошибки сегментации от минимального размера кластера
Размер Количество Ошибка
кластера^ кластеров сегментации, %
1000 80 80
2000 65 65
3000 57 57
4000 50 50
5000 40 40
6000 33 33
7000 24 24
8000 22 22
9000 20 20
10000 16 17
11000 13 15
12000 10 13
13000 8 10
14000 5 7
15000 4 5
16000 4 6
17000 4 7
18000 4 7
19000 3 10
При значении 15000 пикселей параметра минимального размера кластера удалось достичь минимальной ошибки сегментации, равной 5 %.
Данная зависимость обусловлена тем, что при размере кластера меньше 10000 пикселей в искомую
нами зону попадает сразу несколько кластеров, далее ошибка уменьшается из-за перемещения части пикселей между соседними кластерами. После значения в 15000 искомая нами область начинает захватывать пиксели соседних кластеров и, как следствие, ошибка увеличивается.
В методах совмещения изображений при имеющемся снимке с фундус-камеры лучший результат относительно количества правильно найденных пар особых точек показал метод SURF, метод AKAZE показал наихудший результат. В случае отсутствия изображения с фундус-камеры и его реконструкции по снимкам ОКТ все рассмотренные методы не смогли найди достаточного количества точек ввиду большой зашумленности полученного изображения.
Заключение
В работе представлен способ выделения области макулярного отёка для повышения эффективности проведения операции лазерной коагуляции с использованием данных ОКТ, который основан на использовании следующих методов и алгоритмов. Алгоритм Кэнни применяется для поиска границы между стекловидным телом и сетчаткой на снимках ОКТ. Метод сегментации, основанный на алгоритме Краскала, позволяет выделить сетчатку на изображении. В ходе проведенных исследований были подобраны оптимальные значения параметров в алгоритмах Кэнни и графовой сегментации, позволяющие достичь ошибки выделения области интереса в размере 5 %. На основе результатов сегментации были получены карты толщины сетчатки глаза и её отклонение от нормы.
Было рассмотрено применение методов SIFT, SURF и AKAZE для наложения рассчитанных карт высот на изображение глазного дна. В случаях, когда вместе с данными ОКТ предоставлен снимок с фундус-камеры аппарата ОКТ, с помощью метода SURF возможно точное совмещение с изображением глазного дна.
Благодарности
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (№ 19-29-01135, № 19-31-90160), а также при финансовой поддержке Министерства науки и высшего образования РФ в рамках госзадания ФНИЦ «Кристаллография и фотоника» РАН.
Литература
1. Дога, А. В. Современные аспекты диагностики и лечения диабетического макулярного отека / А.В. Дога, Г.Ф. Качалина, Е.К. Педанова, Д.А. Буряков // Сахарный диабет. - 2014. - Том. 17, №. 4. - С. 51-59. -DOI: https://doi.org/10.14341/DM2014451-59.
2. Whiting, D.R. IDF diadetes atlas: global estimates of the prevalence of diabetes for 2011 and 2030 / D.R. Whiting, [et al.] // Diabetes Research and Clinical Practice. - 2011. -Vol. 94, Issue 3. - P. 311-321.
3. Братко, Г.В. К вопросу о ранней диагностике и частоте встречаемости диабетического макулярного отека и формировании групп риска его развития / Г.В. Братко, В.В. Черных, О.В. Сазонова // Сибирский научный медицинский журнал. - 2015. - Т. 35, № 1. - С. 33-36.
4. Замыцкий, Е.А. Лазерное лечение диабетического макулярного отека / Е.А. Замыцкий // Аспирантский вестник Поволжья. - 2015. - № 1-2. - С. 74-80.
5. Амиров, А.Н. Диабетический макулярный отёк: эпидемиология, патогенез, диагностика, клиническая картина, лечение / А.Н. Амиров, Э.А. Абдулаева, Э.Л. Минхузина // Казанский медицинский журнал. -2015. - Т. 96, № 1. - С. 70-74.
6. Исхакова, А.Г. Результаты клиникоэкономического анализа лечения больных диабетической ретинопатией с макулярным отеком / А.Г. Исхакова // Аспирантский вестник Поволжья. - 2014. - № 1. - С. 96-98.
7. Уманец, Н.Н. Интравитреальное введение ранибизумаба как метод лечения больных кистозным диабетическим макулярным отеком / Н.Н. Уманец, З.А. Розанова, А. Махер // Офтальмологический журнал. - 2013. - № 2. - С. 56-60.
8. Астахов, Ю.С. Современные подходы к лечению диабетического макулярного отека / Ю.С. Астахов, Ф.Е. Шадричев, М.И. Красавина, Н.Н. Григорьева // Офтальмологические ведомости. - 2009. - № 4. - С. 59-69.
9. Ober, M.D. Time required for navigated macular laser photocoagulation treatment with the Navilas® / M.D. Ober, [et al.] // Graefe's Archive for Clinical and Experimental Ophthalmology. - 2013. - Vol. 251, Issue 4. - P. 1049-1053.
10. Ильясова, Н.Ю. Технология интеллектуального отбора признаков для системы автоматического формирования плана коагулятов на сетчатке глаза / Н.Ю. Ильясова, А.С. Широканев, А.В. Куприянов, Р.А. Парингер // Компьютерная оптика. - 2019. - Т. 43, № 2. - С. 304315. - DOI: 10.18287/2412-6179-2019-43-2-304-315.
11. Ilyasova, N. Coagulate map formation algorithms for laser eye treatment / N. Ilyasova, D. Kirsh, R. Paringer, A. Kupriyanov, A. Shirokanev, E. Zamycky // 3rd International Conference on Frontiers of Signal Processing, ICFSP 2017.
- P. 120-124.
12. Ilyasova, N.Yu. Regions of interest in a fundus image selection technique using the discriminative analysis methods / N.Yu. Ilyasova, R.A. Paringer, A.V. Kupriyanov. - In: Computer vision and graphics. ICCVG 2016 / ed. by L.J. Chmielewski, A. Datta, R. Kozera, K. Wojciechowski.
- Cham: Springer, 2016. - P. 408-417.
13. Ilyasova, N.Yu. A modified technique for smart textural feature selection to extract retinal regions of interest using image pre-processing / N.Yu. Ilyasova, A.S. Shirokanev, R.A. Paringer, A.V. Kupriyanov, A.V. Zolotarev // Journal of Physics: Conference Series. - 2018. - Vol. 1096. -012095.
14. Sonka, M. Quantitative analysis of retinal OCT / M. Sonka // Medical Image Analysis. - 2016. - Vol. 33. - P. 165-169.
15. Dufour, P.A. Graph-based multi-surface segmentation of OCT data using trained hard and soft constraints / P.A. Dufour, L. Ceklic, H. Abdillahi, S. Schroder, S. De Dzanet, U. Wolf-Schnurrbusch, J. Kowal // IEEE Transactions on Medical Imaging. - 2013. - Vol. 32, Issue 3. -P. 531-543.
16. Karri, S. Learning layer-specific edges for segmenting retinal layers with large deformations / S. Karri, D. Chakraborthi, J. Chatterjee // Biomedical Optics Express.
- 2016. - Vol. 7, Issue 7. - P. 2888-2901.
17. Canny, J. A computational approach to edge detection / J. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1986. - Vol. PAMI-8, Issue 6. -P. 679-698.
18. Felzenszwalb, P. Efficient graph-based image segmentation / P. Felzenszwalb, D. Huttenlocher // International Journal of Computer Vision. - 2004. - Vol. 59, Issue 2. - P. 167-181.
19. Kruskal, B. On the shortest spanning subtree of a graph and the traveling salesman problem / B. Kruskal // Proceedings of the American Mathematical Society. - 1956. -Vol. 7, No 1. - P. 48-50.
20. Lowe, D.G. Object recognition from local scale-invariant features / D.G. Lowe // Proceedings of the International Conference on Computer Vision. - 1999. - Vol. 2. -P. 1150-1157.
21. Bay, H. Speeded up robust features (SURF) / H. Bay, A. Ess, T. Tuytelaars, L. Van Gool // Computer Vision and Image Understanding (CVIU). - 2008. - Vol. 110, Issue 3. - P. 346-359.
22. Alcantarilla, P. KAZE features / P. Alcantarilla, A. Bartoli, A. Davison // European Conference on Computer Vision. -2012. - Vol. 4. - P. 214-227.
Сведения об авторах
Ильясова Наталья Юрьевна, 1966 года рождения. В 1991 году окончила с отличием Самарский государственный аэрокосмический университет имени С.П. Королёва (СГАУ). В 1997 году защитила диссертацию на соискание степени кандидата технических наук, в 2015 году защитила диссертацию на соискание степени доктора технических наук. В настоящее время работает старшим научным сотрудником в Учреждении Российской академии наук Институте систем обработки изображений РАН и одновременно доцентом кафедры технической кибернетики СГАУ. Круг научных интересов включает цифровую обработку сигналов и изображений, анализ и интерпретацию биомедицинских изображений. Имеет более 100 публикаций, в том числе 35 статей и три монографии (в соавторстве). E-mail: ilyasova@smr.ru.
Демин Никита Сергеевич, 1994 года рождения, аспирант Самарского национального исследовательского университета имени академика С.П. Королёва. Сфера научных интересов: интеллектуальный анализ медицинских изображений; цифровая обработка изображений; математическое моделирование; распознавание образов и искусственный интеллект. E-mail: volfgunus@smail.com .
Широканев Александр Сергеевич, 1993 года рождения, аспирант Самарского национального исследовательского университета имени академика С.П. Королёва; ассистент кафедры технической кибернетики, Самарский университет. Сфера научных интересов: интеллектуальный анализ медицинских изображений; цифровая обработка изображений; математическое моделирование; численные методы. E-mail: alexandrshirokanev@,gmail. com .
Куприянов Александр Викторович, 1978 года рождения, профессор кафедры технической кибернетики Самарского национального исследовательского университета имени академика С.П. Королёва; старший научный сотрудник Института систем обработки изображений РАН - филиала ФНИЦ «Кристаллография и фотоника» РАН систем обработки изображений РАН. Сфера научных интересов: цифровая обработка сигналов и изображений; распознавание образов и искусственный интеллект; анализ и интерпретация биомедицинских сигналов и изображений. E-mail: akupr@ssau.ru .
Замыцкий Евгений Андреевич, аспирант кафедры офтальмологии Самарского государственного медицинского университета и врач-офтальмолог офтальмоэндокринологического отделения Самарской областной клинической офтальмологической больницы имени Т.И. Брошевского. Сфера научных интересов: диабетическая ретинопатия, диабетический макулярный отёк, лазерное лечение диабетического макулярного отёка. E-mail: undue_@mail.ru .
ГРНТИ: 28.23.15
Поступила в редакцию 7 января 2020 г. Окончательный вариант - 7 февраля 2020 г.
Method for selection macular edema region using optical coherence tomography data
N.Yu. IlyasovaN.S. Demin A.S. Shirokanev12, A.V. Kupriyanov E.A. Zamytskiy 3 1 Samara National Research University, Moskovskoye Shosse 34, 443086, Samara, Russia, 2IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, Molodogvardeyskaya 151, 443001, Samara, Russia, 3 Samara Regional Clinical Ophthalmological Hospital named after T.I. Eroshevsky, Samara, Russia
Abstract
The paper proposes a method for selection the region of diabetic macular edema in fundus images using OCT data. The relevance of the work is due to the need to create support systems for laser coagulation to increase its effectiveness. The proposed algorithm is based on a set of image segmentation methods, as well as searching for specific points and compiling their descriptors. The Canny method is used to find the boundary between the vitreous body and the retina in OCT images. The segmentation method, based on the Kruskal algorithm for constructing the minimum spanning tree of a weighted connected undirected graph, is used to select the retina to the pigment layer in the image. Using the results of segmentation, a map of the thickness of the retina of the eye and its deviation from the norm were constructed. In the course of the research, the optimal parameter values were selected in the Canny and graph segmentation algorithms, which allow to achieve a segmentation error of 5 %. SIFT, SURF, and AKAZE methods were considered for superimposing calculated maps of the retina thickness and its deviation from the norm on the fundus image. In cases where a picture from the fundus camera of the OCT apparatus is provided along with OCT data, using the SURF method, it is possible to accurately combine with the fundus image.
Keywords: laser coagulation, eye fundus, diabetic retinopathy, OCT images, graph-based image segmentation, SIFT, SURF descriptors.
Citation: Ilyasova NYu, Demin NS, Shirokanev AS, Kupriyanov AV, Zamytskiy EA. Method for selection macular edema region using optical coherence tomography data. Computer Optics 2020; 44(2): 250-258. DOI: 10.18287/2412-6179-CO-691.
Acknowledgements: This work was financially supported by the Russian Foundation for Basic Research under grant # 19-29-01135, # № 19-31-90160 and by the Ministry of Science and Higher Education within the State assignment to the FSRC "Crystallography and Photonics" RAS.
References
[1] Doga AV, Kachalina GF, Pedanova EK, Buryakov DA. Modern diagnostic and treatment aspects of diabetic macular edema [In Russian]. Diabetes Mellitus 2014; 17(4): 51-59. DOI: https://doi.org/10.14341/DM2014451-59.
[2] Whiting DR. IDF diadetes atlas: global estimates of the prevalence of diabetes for 2011 and 2030. Diabetes Res Clin Pract 2011; 94(3): 311-321.
[3] Bratko GV, Chernykh VV, Sazonova OV. On the early diagnosis and frequency of occurrence of diabetic [In Russian]. Siberian Scientific Medical Journal 2015; 35(1): 33-36.
[4] Zamyckij EA. Laser treatment of diabetic macular edema [In Russian]. Aspirantskiy Vestnik Povolzhiya 2015; 1-2: 74-80.
[5] Amirov AN, Abdulaeva EA, Minkhuzina EL. Diabetic macular edema. epidemiology, pathogenesis, diagnosis, clinical features, treatment [In Russian]. Kazan medical journal 2015; 96(1): 70-74.
[6] Iskhakova AG. Clinical and economic analysis of the treatment of patients with diabetic retinopathy with macular [In Russian]. Aspirantskiy Vestnik Povolzhiya 2014; 1: 96-98.
[7] Umanets NN. Intravitreal administration of ranibizum-ba as a treatment method for patients with cystic diabetic macular edema [In Russian]. Ophthalmol J 2013; 2: 56-60.
[8] Astakhov YS, Shadrichev FE, Krasavina MI, Grigoryeva NN. Modern approaches to the treatment of a diabetic macular edema. Ophthalmologic Sheets 2009; 4: 59-69.
[9] Ober MD Time required for navigated macular laser photocoagulation treatment with the Navilas® Graefe's Arch Clin Exp Ophthalmol 2013; 251(4): 1049-1053.
[10] Ilyasova NYu, Shirokanev AS, Kupriyanov AV, Paringer RA. Technology of intellectual feature selection for a system of automatic formation of a coagulate planon retina. Computer Optics 2019; 43(2): 304-315. DOI: 10.18287/2412-6179-2019-43-2-304-315.
[11] Ilyasova N, Kirsh D, Paringer R, Kupriyanov A, Shirokanev A, Zamycky E. Coagulate map formation algorithms for laser eye treatment. 3rd Int Conf Frontiers of Signal Proces (ICFSP) 2017: 120-124.
[12] Ilyasova NYu, Paringer RA, Kupriyanov AV. Regions of interest in a fundus image selection technique using the discriminative analysis methods. In Book: Chmielewski LJ, Datta A, Kozera R, Wojciechowski K, eds. Computer vision and graphics (ICCVG 2016). Cham: Springer; 2016: 408-417.
[13] Ilyasova NYu, Shirokanev AS, Paringer RA, Kupriyanov AV. A modified technique for smart textural feature selection to extract retinal regions of interest using image preprocessing. J Phys: Conf Series 2018; 1096: 012095.
[14] Sonka M. Quantitative analysis of retinal. Medical Image Analysis 2016; 33: 165-169.
[15] Dufour PA, Ceklic L, Abdillahi H, Schroder S, De Dzanet S, Wolf-Schnurrbusch U, Kowal J. Graph-based multi-surface segmentation of OCT data using trained hard and soft constraints. IEEE Transactions on Medical Imaging 2013; 32(3): 531-543.
[16] Karri S, Chakraborthi D, Chatterjee J. Learning layer-specific edges for segmenting retinal layers with large deformations. Biomed Opt Express 2016; 7(7): 2888-2901.
[17] Canny J. A computational approach to edge detection. IEEE Trans Pattern Anal Mach Intell 1986; 8(6): 679-698.
[18] Felzenszwalb P, Huttenlocher D. Efficient graph-based image segmentation. Int J Comput Vis 2004; 59(2): 167-181.
[19] Kruskal B. On the shortest spanning subtree of a graph and the traveling salesman problem. Proc AMS 1956; 7(1): 48-50.
[20] Lowe DG. Object recognition from local scale-invariant features Proc Int Conf Comp Vis 1999; 2: 1150-1157.
[21] Bay H, Ess A, Tuytelaars T, Van Gool L. Speeded up robust features (SURF). Computer Vision and Image Understanding (CVIU) 2008; 110: 346-359.
[22] Alcantarilla P, Bartoli A, Davison A. KAZE features. European Conference on Computer Vision 2012; 4: 214-227.
Authors' information
Nataly Yurievna Ilyasova (b. 1966), graduated with honors from S.P. Korolyov Samara State Aerospace University (SSAU) (1991). She received her PhD (1997) and DSc (2015) in Technical Sciences. At present, she is a senior researcher at the Image Processing Systems Institute of the Russian Academy of Sciences, and holding a part-time position of Associate Professor at SSAU's Technical Cybernetics sub-department. The area of interests includes digital signals and image processing, pattern recognition and artificial intelligence, biomedical imaging and analysis. She's list of publications contains more than 100 scientific papers, including 35 articles and 3 monographs published with coauthors. E-mail:ilyasova@smr.ru.
Nikita Sergeevich Demin (b. 1994), graduated (2019) with a master's degree in Applied Mathematics and Informatics. At present he is a postgraduate student of Samara University. The area of interests includes digital image processing, mathematical modeling, pattern recognition and artificial intelligence. E-mail: volfsunus@gmail.com .
Aleksandr Sergeevich Shirokanev (b. 1993), graduated (2017) with a master's degree in Applied Mathematics and Informatics. At present he is a postgraduate student of Samara University. At present he is an assistant of the Technical Cybernetics department at Samara University. The area of interests includes digital image processing, mathematical modeling, numerical analysis and intellectual analysis of medical images.
Alexandr Victorovich Kupriyanov (born 1978), graduated with honors from Samara State Aerospace University (SSAU) (2001). Candidate's degree in Technical Sciences (2004) and Doctor of Engineering Science (2013). Currently, Senior Researcher at the Image Processing Systems Institute of RAS - Branch of the FSRC "Crystallography and Photonics" RAS, and part-time position as Associate Professor at SSAU's sub-department of Technical Cybernetics. Areas of interest: digital signals and image processing, pattern recognition and artificial intelligence, nanoscale image analysis and understanding, biomedical imaging and analysis. More than 90 scientific papers, including 42 published articles and 2 monographs. E-mail: akupr@ssau.ru .
Evgeniy Andreevich Zamytskiy, postgraduate student of Ophthalmology department Samara State Medical University and ophthalmologist Ophthalmoendocrinology department Samara Regional Clinical Ophthalmological Hospital named after T.I. Eroshevsky. Research interests: diabetic retinopathy, diabetic macular edema, diabetic macular edema laser treatment. E-mail: undue_@mail. ru .
Received January 7, 2020. The final version - February 7, 2020.
