CC BY
20
УДК 004; 004.93
В. В. СТАРОВОЙТОВ1, Ю. И. ГОЛУБ1, М. М. ЛУКАШЕВИЧ2
ОЦЕНКА КАЧЕСТВА ЦИФРОВЫХ ИЗОБРАЖЕНИЙ СЕТЧАТКИ
1 Государственное научное учреждение «Объединенный институт проблем информатики Национальной академии наук Беларуси» 2 Учреждение образования «Белорусский государственный университет информатики и радиоэлектроники»
Диабетическая ретинопатия (ДР) - это болезнь, вызванная осложнениями сахарного диабета. Она начинается бессимптомно и может закончится слепотой. Для ее обнаружения медики используют специальные фотокамеры, позволяющие регистрировать изображения сетчатки глаза в видимом диапазоне электромагнитного спектра. На этих изображениях видны признаки осложнений, по которым определяется наличие ДР и ее стадия. Исследователи всего мира разрабатывают системы автоматизированного анализа изображений сетчатки. В настоящее время уровень точности классификации заболеваний, вызванных ДР, системами на базе машинного обучения сопоставим с уровнем квалифицированных медиков.
В статье показано разнообразие вариантов представления сетчатки на цифровых изображениях. Поставлена задача разработки универсального подхода к оценке качества изображения сетчатки, полученного произвольной камерой. Она решается в первом блоке любой автоматизированной системы анализа изображений сетчатки. Процедура оценки качества выполняется в несколько этапов. На первом этапе необходимо выполнить бинаризацию исходного изображения и построить маску сетчатки. Такая маска индивидуальна для каждого изображения даже среди изображений, зарегистрированных одной камерой. Для этого предлагается новый универсальный алгоритм бинаризации изображения сетчатки. Анализируя построенную маску, можно определить и удалить изображения-выбросы, на которых представлена не сетчатка, а другие объекты. Далее решается задача оценки качества изображений в отсутствии эталона и их классификация на два класса: удовлетворительные и неудовлетворительные для дальнейшего анализа. Поэтапно оценивается контраст, резкость и возможность выделения сосудистой системы изображения сетчатки. Показано, что задача оценки качества произвольного изображения сетчатки может быть решена.
Эксперименты выполнялись на разнообразных изображениях из доступных баз данных.
Ключевые слова: диабетическая ретинопатия, сетчатка, цифровое изображение, оценка качества изображений, распределение Вейбулла.
Введение
Сахарный диабет - это группа метаболических заболеваний, которые вызывает повышенный уровень сахара в крови. В последние годы диабет стал одной из причин смерти людей. По данным Всемирной организации здравоохранения 463 миллиона человек в мире жили с диабетом, и около 1,5 миллиона из них умерли от диабета в 2019 году [1]. Диабетическая ретинопатия (ДР) - это одно из осложнений у больных сахарным диабетом. В 2019 году во всем мире 93 миллиона человек жили с диабетической ретинопатией [2], которая в последней стадии заболевания ведет к слепоте. Заболевание начинается и протекает бессимптомно. Оно сопровождается
появлением микроаневризм, кровоизлияний и изменений кровеносной системы сетчатки глазного дна. Данные изменения можно обнаружить на изображениях сетчатки, сделанных специальными фундус-камерами (рис. 1). Цифровое изображение сетчатки глазного дна представляет собой проекцию на плоскость сферообразной поверхности сетчатки, попавшей в конусообразный пространственный угол зрения камеры. Эти углы называются полем зрения (от field of view или FOV), поэтому на матрице изображения часть, соответствующую собственно сетчатке, будем далее называть областью FOV. Эти области различны на изображениях, сделанных разными моделями камер, а углы чаще всего составляют 30, 40, 45 и 50 пространственных градусов. Как правило,
Рис. 1. Варианты представления сетчатки в виде цифрового изображения, справа - примеры изображений-выбросов, которые нельзя использовать для анализа сетчатки
сетчатка освещается белым цветом, и изображение регистрируется в видимом диапазоне спектра ПЗС матрицей. Цветное изображение формируется методом Байера с помощью светофильтров, поэтому сенсоров, принимающих зеленый цвет в два раза больше чем, принимающих красный и синий цвета. Волны зеленого диапазона хорошо поглощаются тканями красного цвета и порождают наиболее контрастное изображение сетчатки в этом диапазоне спектра. Цветное изображение формируется путем интерполяции значений полутонов трех диапазонов. В нем красный канал является самым ярким, а зеленый - самый контрастный.
Зачем нужна автоматизированная диагностика изображений сетчатки? Во-первых, медицинское учреждение может купить фундус-камеру, но не иметь подготовленного специалиста для диагностики осложнений по изображениям, тогда их можно пересылать для анализа в другой медицинский центр. Во-вторых, многочисленные исследования показывают, что в настоящее время компьютерные системы исследования изображений сетчатки не уступают квалифицированным экспертам по точности диагностики. В-третьих, разные специалисты выделяют разное количество признаков на одном и том же изображении. Например, в статье [3] сравнивали точность выявления отдельных признаков на изображениях сетчатки экспертами и компьютером. У большинства офтальмологов наиболее распространенной ошибкой был пропуск микроаневризм на почти 10 % изображений, а это основной признак ДР (первая стадия - это наличие не менее 20 микроаневризм); неверно классифицированные кровотечения и др. Нейросетевой алгоритм определения стадии
ДР продемонстрировал результаты на уровне сертифицированных американских офтальмологов и специалистов по сетчатке. Это говорит о возможности создания автоматизированных систем поддержки принятия решения врачом-офтальмологом для анализа цифровых изображений сетчатки на базе машинного обучения.
При автоматизированной диагностике ДР используются цветные изображения глазного дна. ПЗС матрицы камер имеют разные размеры и варианты размещения проекции области БОУ на матрицу (см. рис. 1 и [4]). На некоторых изображениях область БОУ составляет менее 50 %о площади, а на других более 95 %о. Размеры цифровых изображений могут отличаться на порядок. Их освещенность, цвет и качество отображения сетчатки разными камерами, существенно отличаются друг от друга. Недостаточное качество изображений, вызванное фоновым шумом, неравномерным освещением, низким контрастом и т.д., может повлиять на точность выявления признаков и диагностику заболеваний. Некоторые исследователи отмечают, что порядка 10-20 %о цифровых изображений сетчатки имеют низкое качество. Кроме того, в повседневной практике неизбежны ситуации, когда на снимке представлена не сетчатка, а нечто другое, попавшее в объектив, так называемые изображения-выбросы (рис. 1, б).
Оценка качества изображения сетчатки является актуальной задачей и решается на первом этапе в автоматизированных системах анализа изображений сетчатки. Она позволяет отбросить изображения не позволяющие выполнить корректную диагностику заболеваний.
В результате анализа литературы [5-7] и выполнения ряда экспериментов был сделал вывод
о невозможности разработки единой оценки для анализа качества изображений сетчатки. Предлагается следующая схема оценки качества изображений сетчатки: поэтапно разделять изображения на три класса: выбросы, т. е. изображения, сделанные фундус-камерой, но не содержащие области сетчатки (см. Рис. 1б), неудовлетворительные и удовлетворительные. Процедура оценки качества изображений реализуется в виде дерева принятия решений. Она отсеивает неудовлетворительные изображения поэтапно. Критериев хороших изображений сетчатки нет. Из общедоступных баз изображений сетчатки только одна база HRF имеет по 15 изображений каждого из трех указанных классов [8], что мало для выполнения серьезных статистических исследований. Неформально к классу «удовлетворительные» изображения следует относить такие, которые позволяют корректно оценить степень заболевания по изображению сетчатки. Все остальные необходимо отбрасывать. Если качество изображения оценивается на этапе его регистрации, то в случае неудовлетворительной оценки, изображение может быть оперативно перерегистрировано.
Возникает задача разработки универсальной процедуры автоматического анализа качества изображений сетчатки, полученных произвольной фундус-камерой. Данная задача ставится впервые, т.к. большинство исследователей ограничивает оценку качества изображениями одной или нескольких небольших баз данных. Задача решается в несколько этапов. На первом необходимо отсеять изображения-«выбросы», неизбежно возникающие в процессе регистрации. Затем удаляются изображения, для которых невозможно сегментировать область сетчатки БОУ на матрице изображения в силу плохой освещенности сетчатки. Далее отбрасываются слишком темные и слишком светлые, т.е. определенно неконтрастные изображения. Качество оставшихся изображений оценивается контрастом и резкостью в области БОУ.
Любая визуальная оценка качества изображений человеком будет субъективна, что затрудняет объективную оценку разрабатываемых алгоритмов. Отметим, что доступные базы изображений сетчатки содержат данные о степени заболевания, и предполагается, что качество этих изображений приемлемо для диагностики.
Построение маски FOV
На сегодняшний день известно 55 доступных базах изображений сетчатки [9]. Однако исследования по анализу изображений глазного дна выполняют чаще всего на одной из доступных баз, реже - на двух-трех. Большинство из доступных баз содержит небольшое число изображений (табл. 1). Пиксели фона за пределами области FOV имеют темный, но не всегда строго черный цвет с нулевым значением яркости. Они не несут полезной информации, поэтому их необходимо отбрасывать на этапе анализа изображений сетчатки. Это выполняется с помощью бинарной маски, описывающей область FOV. Некоторые из них, такие как DRIVE, HRF, DIARETDB0 и DIARETDB1, содержат маски FOV для каждого изображения, но большие базы (более 1000 изображений) не содержат таких масок.
Цифровые изображения, сделанные разными фундус-камерами, отличаются размером и расположением проекции области сетчатки на матрице. Однако следует отметить, что маски FOV изображений разных глаз, сделанные одной фундус-камерой, также будут незначительно отличаться из-за условий съемки. Примеры параметров маски FOV на изображениях размером 5 184 х 3 465 пикселей, снятых одной и той же камерой из базы HRF с углом FOV = 45°, представлены в табл. 2. Возможно, это объясняется анатомическими особенностями разных людей и положением головы во время съемки, поскольку изображение сетчатки является проекцией на плоскость сферообразной поверхности глазного яблока. Из этого следует, что маску FOV необходимо строить для каждого изображения индивидуально. Отметим, что визуально все маски этой базы идентичны.
Бинарная маска FOV разделяет пиксели на две области: изображение сетчатки глазного дна и фон. В большинстве работ по исследованию изображений глазного дна авторы либо используют маски FOV прилагаемые к базам данных, либо генерируют маски для каждого изображения. Удалось найти всего несколько публикаций, в которых авторы генерировали собственные маски FOV [2, 3, 5, 7, 8, 10].
В работе [7] сначала вычисляются модули градиента красного канала исходного изображения. Затем к градиентному изображению
Таблица 1. Описание некоторых баз изображений сетчатки
База Угол FOV Разрешение, пк Число изображений Наличие бинарных масок Особенности
MESSIDOR 45 1140x960, 2240x1488, 2304x1536 1200 нет для каждого изображения указаны: степень ретинопатии
CHASE DB1 30 1280x960 28 кровеносные сосуды
STARE 35 700x605 402 кровеносные сосуды список диагнозов для каждого изображения
DRIVE 45 565x584 40 БОУ, кровеносные сосуды 33 здоровых и 7 больных
DRIMDB0 60 760x570 216 нет 3 класса качества изображений: хорошие, плохие, выбросы
IDRiD 50 4288x2848 516 маски для 5 типов признаков база разделена на три части: сегментация, классификация болезней, локализация
DIARETDB1 30 3504x2336, 5184x3456 89 микроаневризмы, мягкие и твердые экссудаты, кровотечения
High-Resolution Fundus (HRF) 45 3504x2336 45 БОУ, кровеносные сосуды 2 класса качества изображений
DDR 45 разное от 1515x1275 до 5184x3456 13673 микроаневризмы, мягкие и твердые экссудаты, кровотечения 42 типа камер
Kaggle разное разное разное в разных версиях нет есть ошибки в экспертной классификации
Таблица 2. Примеры параметров маски FOV на изображениях размером 5184х3465, снятых одной и той же камерой из базы HRF, FOV = 45°
Имя изображения Координаты центра FOV Площадь области FOV Наш порог бинаризации Порог Отсу
1 bad 1759,2; 2592,1 8357881 40 48
2 good 1759,2; 2592,1 8356419 37 45
2 bad 1759,7; 2592,6 8365202 10 24
2_good 1758,8; 2592,7 8363587 5 20
4 bad 1758,7; 2593,5 8360941 33 44
4_good 1758,4; 2591,9 8365235 40 46
применяются несколько имеющихся масок БОУ и выбирается наиболее подходящая. Маски-шаблоны заранее отсегментированы вручную. При необходимости создается новая маска и добавляется к сохраненным ранее. Таким образом, для выбора маски используется метод сравнения с несколькими эталонами масок, которые строятся вручную.
Тер Хаар [10] создавал маску БОУ путем бинаризации красного канала изображения сетчатки с использованием эмпирически подобранного порога, затем бинарное изображение обрабатывалось морфологическими операторами отмыкания, замыкания и эрозии с помощью структурирующего элемента квадратной формы размером 3^3 элемента. В статье [11] авторы генерировали бинарную маску БОУ путем свертки красного канала с гаус-совским фильтром низких частот, после чего
применялся метод бинаризации Отсу [12]. Эти методы некорректно работают на темных изображениях (рис. 2).
В работе [5] авторы использовали стандартное отклонение о и среднее значение яркости пикселей, расположенных вне области БОУ для трех цветовых диапазонов (Я, G и В). Для каждого диапазона вычислялось пороговое значение равное средней яркости плюс 4о. Формула была подобрана эмпирически так, чтобы только пиксели, значения которых превышают порог, попадали в область БОУ. Затем с помощью логических операций результаты бинаризации всех трех диапазонов объединялись для формирования единой маски БОУ. Однако для вычислений требуется знать, как выделить пиксели, не попадающие в область БОУ, т.е. требуется наличие точной маски для каждого изображения при сборе
Рис. 2. Примеры красных каналов изображений из базы HRF и их бинарные маскиFOV, построенные методом Отсу (средний ряд) и предлагаемым методом (нижний ряд). Корреляция масок нижнего ряда равна 0.999997
статистических параметров. В реальных системах анализа изображений сетчатки таких масок нет, а статистика изображений, формируемых разными камерами, будет существенно отличаться.
В статье [4] выполнено сравнение пяти методов генерации масок. Сравнительная оценка методов проводится с использованием доступной базы DRIVE, содержащей 40 изображений сетчатки, выполненных одной камерой, и 40 построенных для них индивидуальных бинарных масок. Отметим, что границы области FOV достаточно хорошо выделяются на всех изображениях этой базы.
Метод, описанный в работе [5], превзошел другие методы при сравнении сгенерированных масок с масками, хранящимися в базе. Сравнение выполнялось функцией SSIM, т.е. фактически вычислялась корреляция двух бинарных масок. Чуть менее точным оказался метод бинаризации Отсу, примененный к логарифмически преобразованной матрице яркостей. Остальные методы показали посредственную производительность и могут дать приемлемые результаты
только при тестировании на хорошо освещенных изображениях.
Все описанные подходы эмпирические. Они не позволяют построить корректную маску в случае изображения «выброса», т.е. когда камера регистрирует изображение не сетчатки, а другого объекта (рис. 1, б).
Авторами статьи [13] была собрана база изображений 22-х вариантов регистрации (в открытом доступе ее нет). В статье описан наиболее универсальный метод построения маски БОУ для изображений разных камер. Для этого использовался детектор края Кэн-ни, затем с помощью оператора Хаффа строился круг, который и определял маску. Однако на рис. 1, а имеются примеры изображений, для которых данный способ построения маски неприемлем, т. к. площадь фона очень мала и граница, разделяющая область БОУ и фон, также мала. Такой метод построения маски недостаточно универсален.
Оценка качества области FOV
В статье [13] изображения сетчатки делятся по качеству на три класса: «принять», «отклонить», «неопределенный». Разделение выполняли 3 эксперта. Третий класс был отброшен, а для исследований из 4 372 изображений была отобрана 1000 изображений первых двух классов. Отметим, что некоторые изображения из класса «отклонить» визуально вполне пригодны для диагностики некоторых заболеваний (рисунок 3, а, в, д, е). Качество отобранных изображений в [13] оценивались по параметрам освещенности, натуральности (в основном контраста) и расположения оптического диска в определенном месте области БОУ. Цветное изображение преобразовывалось в представление YUV, а для оценки качества использовалась компонента ^ Пиксели, попавшие в область БОУ, оценивались по 6 критериям. В частности, изображение считалось нормально освещенным, если менее 3 % пикселей имели яркость Y < 50 и более 50 % -яркость Y < 240 без дополнительной обработки изображения.
В результате изображения были разделены экспертами на 546 удовлетворительных и 454 неудовлетворительных, 385 изображений из 1000 имели неудовлетворительную
ш * -*
-¡у • Н|
а б в
где Рис. 3. Примеры изображений из класса «отклонить» [13]
натуральность. Фактически из исходного множества только у 10,38 % изображений было определено удовлетворительное качество. Для реальных приложений это означает, что 9 из 10 изображений требуют повторного фотографирования, что неприемлемо для скрининга пациентов на практике.
В [8] предложен классификатор качества изображения глазного дна посредством анализа освещенности, естественности и структуры, который использует три эффективных вторичных индекса, вычисляемых из 5-мерного набора признаков, и различные методы классификации для определения рекомендательных индексов изображений глазного дна для дальнейшей диагностики. Создана база данных изображений глазного дна, включающая классы «принять», «отклонить», на основе определения освещенности, естественности и структуры изображения. Модель авторов показала чувствительность 94,69 %, специфичность 92,29 % и точность 93,60 % при классификации изображений глазного дна. В ходе экспериментов авторы отобрали 4 372 изображения глазного дна из базы EyePACS [14], которая предоставляется Калифорнийским фондом здравоохранения. Эти изображения имеют 22 варианта разрешения. Их можно разделить на три основных класса: «принять», «отклонить», и «неопределенный». В экспериментах использованы только изображения с категориями качества «принять», «отклонить», а класс «неопределенный» исключен, поскольку у экспертов могут быть противоречивые оценки, если эта категория качества изображений четко не определена. В статье [8] основное внимание уделяется диабетической
ретинопатии и оценка качества исходных данных основана на трех показателях: однородная освещенность, естественность (контраст, четкая структура кровеносных сосудов) и структура изображения (наличие оптического диска в определенной области изображения), хотя размытие или низкая контрастность также могут влиять на результаты классификации ДР.
Предлагаемый подход к оценке качества изображений сетчатки
Авторы данной статьи обобщив результаты описанных выше исследований, предлагают следующий подход к оценке качества изображений сетчатки, состоящий из нескольких этапов последовательного анализа изображения. Для построения маски FOV используется красный канал изображения сетчатки, а для вычисления локальных оценок качества - зеленый канал.
Этап 1. Выполнить анализ качества изображения сетчатки на уровне маски FOV
Для каждого типа камеры строится эталонная маска FOV путем бинаризации изображения визуально хорошего качества. Эту маску можно записать и идентифицировать по размерам исходного цифрового изображения, которое формирует камера. Например, при разрешении 1140*960 пикселей, маске можно дать имя 1140x960. При обработке очередного изображения строится его маска FOV (алгоритм описан ниже) и загружается эталонная маска, определяемая размером изображения. Вычисляется коэффициент корреляции между эталонной маской и маской, построенной для
Рис. 4. Изображение «выброс» и построенная для него маска
анализируемого изображения. Если он менее 0,95, считаем, что маска построена некорректно и изображение не следует использовать для анализа заболеваний, т.к. оно неудовлетворительного качества или представляет собой «выброс» (рис. 4).
На этом этапе отсеиваются изображения «выбросы», для которых невозможно корректно построить маску БОУ. Этот класс настолько разнообразен, что оценки контраста, освещения и т.п. не позволяют однозначно идентифицировать относящиеся к нему объекты. Дополнительно можно отбросить некачественные изображения, определяемые простыми эмпирическими тестами, подобно описанным выше из работы [13].
Алгоритм построения маски FOV
Шаг 1. Загрузить цветное изображение сетчатки. Извлечь матрицу значений красного канала Я как самого яркого. Шаг 2. Вычислить минимальное Ят^, среднее Яте и медианное Ят^ значения яркости канала Я.
Шаг 3. Если более 50 % изображения сетчатки занимает темный фон, тогда: если Ятеа < ТЬ Ятт = Ятеё;
1
Rme = 2xRme
- Я
теё
гистограмму H из 256
если Яте < Т Я = Я
Шаг 4. Построить элементов.
Шаг 5. Вычислить порог бинаризации Т = тт(Н(Ят^)+с: Яте)), где с - эмпирически подобранная константа.
Шаг 6. Построить маску БОУ посредством бинаризации красного канала Я с порогом Т.
Примеры масок, построенных предложенным алгоритмом и алгоритмом Отсу, приведены на рисунках 2 и 5. Алгоритм Отсу часто не дает корректную маску для темных изображений. Экспериментально были подобраны значения переменных Т1 = 30 и с = 3.
Рис. 5. Примеры изображений красного канала Я (2_Ьаё и 2_good), маски БОУ, полученнойпредложенным алгоритмом и алгоритмом Отсу
Этап 2. Удалить нерезкие и малоконтрастные изображения
Из маски FOV вырезается описывающий область сетчатки прямоугольник и вырезается соответствующая ему часть исходного изображения. Затем изображение и маска масштабируются в матрицы размером 512x512 пикселей. Приведение к единому размеру необходимо в силу существенных различий в размерах исходных изображений, формируемых разными камерами, что влияет на распределение локальных оценок качества, вычисляемых ниже.
Обобщенный алгоритм оценки качества изображения сетчатки
Шаг 1. Из вырезанного фрагмента цветного изображения сетчатки извлечь матрицу значений зеленого канала G.
Шаг 2. На изображении G в области FOV вычислить массив локальных оценок качества localFM.
Шаг 3. Построить гистограмму массива localFM и аппроксимировать распределениями Вейбулла и Гаусса. Вычислить три параметра: mean (среднее распределения Гаусса), scale и form (параметры распределения Вейбулла -масштаб и форма, соответственно). Указанные параметры используются в качестве глобальных оценок качества изображения. Шаг 4. Нормализовать полученные оценки в диапазон [0, 1] по формуле: f(x) = x/(x + 1), где х - нормализуемый параметр. Шаг 5. Согласно пороговым значениям нормализованных оценок отнести изображение к одному из двух классов: удовлетворительное или неудовлетворительное качество.
Для выбора подходящих локальных оценок были выполнены эксперименты на базах DRIMDB (рис. 6) и HRF (рис. 8). В результате анализа литературы для вычислений на шаге 2 алгоритма было отобрано и проанализировано 18 безэталонных мер (они описаны в статьях [15-20]): BREN, CMO, CONC, CONL, CURV,
EBCM, FISH, FUS, GORD, HELM, LAPD, LAPL, LAPM, LOCC, LOEN, SHAR, WAVS, WAVR.
Приведем краткое описание особенностей некоторых мер:
- BREN - оценка фокуса, вычисляемая через квадрат разности яркости левого и правого соседей через один пиксель.
- EBCM - оценка контраста, основанная на локальном вычислении краев, построенных оператором Собела.
- FISH - используются вейвлет-преобра-зования для оценки резкости.
- LAPD - оценка фокуса, основанная на использовании оператора Лапласа.
- SHAR - оценка резкости, основанная на вычислении глобального градиента.
- WAVS - оценка фокуса, основанная на вейвлет-преобразованиях изображения (сумма трех вейвлет-коэффициентов первого уровня после преобразования).
Эксперименты с изображениями базы DRIMDB
На рис. 7 представлены графики глобальных оценок для 17 изображений (рис. 6) с использованием четырех мер качества (CURV, EBCM, SHAR, WAVS). Изображения с первого по девятое имеют неудовлетворительное качество, с десятого по 17-е - удовлетворительное. Из рис. 7 следует, что при использовании меры CURV невозможно разделить изображения на два класса. При использовании локальных мер EBCM и параметра form (рис. 7, б) изображения разделимы по порогу Q,35. В табл. 3 отобраны меры, которые позволяют разделить изображения сетчатки на два класса (удовлетворительного и неудовлетворительного качества).
Анализируя полученные данные для меры BREN для изображений базы HRF можно сделать следующие выводы: параметр form не подходит для анализа качества изображений; порог для разделения изображений на два класса для параметра scale
Таблица 3. Пороговые значения оценок качества для изображений базы DRIMDB
Мера BREN EBCM FISH LAPD SHAR WAVS
Параметр scale form mean; scale mean, scale mean; scale mean; scale
Порог Q,92 Q,35 Q,79; Q,8 Q,4; Q,88 Q,35; Q,7 Q,45; Q,55
Рис. 6. Изображения базы DRIMDB, отобранные для демонстрации работы алгоритма оценки качества
в г
Рис. 7. Графики количественных оценок качества (оба параметра Вейбулла и среднее значение распределения Гаусса) для 17 изображений базы DRIMDB: а - мера СШУ б - мера ЕВСМ, в - мера SHAR, г - меры WAVS
Рис. 8. Исходные 36 изображений для экспериментов (база HRF)
Таблица 4. База HRF, значения параметров распределений для меры BREN
глобальная оценка номер изображения в базе
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
scale 0,68 0,48 0,61 0,75 0,60 0,47 0,49 0,72 0,68 0,64 0,81 0,69 0,74 0,61 0,62 0,55 0,54 0,72
form 0,31 0,34 0,33 0,31 0,32 0,36 0,35 0,31 0,32 0,33 0,31 0,31 0,31 0,32 0,33 0,34 0,35 0,31
mean глобальная оценка 0,86 0,65 0,78 0,89 0,79 0,59 0,64 0,88 0,84 0,79 0,92 0,86 0,90 0,81 0,78 0,70 0,67 0,86
номер изображения в базе
19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
scale 0,72 0,87 0,89 0,90 0,87 0,87 0,87 0,87 0,89 0,89 0,85 0,81 0,90 0,88 0,85 0,86 0,89 0,89
form 0,31 0,39 0,37 0,37 0,38 0,39 0,39 0,39 0,38 0,38 0,39 0,40 0,37 0,39 0,40 0,38 0,38 0,38
mean 0,87 0,92 0,94 0,95 0,92 0,91 0,92 0,92 0,94 0,94 0,90 0,87 0,94 0,93 0,90 0,92 0,94 0,94
равен 0,76 (меньше - неудовлетворительное качество; больше - удовлетворительное); порог для разделения изображений на два класса параметром mean равен 0,90 (меньше - неудовлетворительное качество; больше - удовлетворительное).
Одиннадцатое и тринадцатое изображения создателями базы отнесены к классу неудовлетворительного качества. Однако меры BREN, FISH определяют, их как удовлетворительные. Визуальный анализ этих изображений показывает, что часть сосудов размыта, а часть остается резкой. Поэтому однозначно определить качество на данном этапе сложно. Более точно качество изображения в таких ситуациях на следующем этапе.
Меры и пороговые значения, которые позволяют разделить изображения сетчатки базы
НЯБ на два класса (удовлетворительное и неудовлетворительное качество), указаны в табл. 5.
Таблица 5. Пороговые значения глобальных оценок качества для изображений базы HRF
мера BREN FISH
параметры mean; scale mean; scale
пороги 0,76; 0.90 0,86; 0,73
Этап 3. Отбросить изображения, на которых плохо выделяется сеть кровеносных сосудов
Была исследована дополнительная возможность оценки качества изображений сетчатки посредством оценки полноты выделения системы кровеносных сосудов на изображениях базы НЯБ. Визуально плохие изображения от хороших неотличимы. Они различимы только по степени полноты выделения сетки
Мера BREN, нормализованные параметры распред.Вейбулла + MEAN norm
X 11
X 30
Y 0.67726
X зз
Y 0.71057
<s>y #<
Л/ о,.
¿ó' ^ь-
Рис. 9. Графики значений трех параметров распределений (scale, form, mean) для меры BREN (изображения базы HRF)
сосудов (рис. 10). Т.к. зеленый канал изображения сетчатки является самым контрастным, он используется для выделения кровеносных сосудов.
Алгоритм выделения сосудов
Шаг 1. Для пикселей зеленого канала G, соответствующих маске FOV, выполнить адаптивное выравнивание гистограммы (метод ^АНЕ).
Шаг 2. Создать размытый вариант изображения G2 фильтром Гаусса.
Шаг 3. Выделить края на разности изображений G и G2.
Шаг 4. Выполнить бинаризацию G и фильтрацию краев для формирования маски сосудов. Шаг 5. Вычислить количественные характеристики выделенной сетки сосудов (например, процент отношения площади сосудов на области FOV к такому же проценту на изображениях удовлетворительного качества).
Результат выделения сосудов представлен на рис. 11. Малый процент выделенных сосудов означает неудовлетворительное
качество. Более точный результат дает использование выделенных белых пикселей как центров вычисления локальных признаков на изображении зеленого канала исходного изображения.
Заключение
Понятие качественного изображения сетчатки глаза в научно-технической и медицинской литературе не определено. Под качественным изображением в данном работе понимается такое, которое позволяет корректно решить задачу классификации степени заболевания. В статье предложено оценивать качество изображения в несколько этапов.
Разработан новый алгоритм бинаризации изображений, отличающийся от известных, ориентацией на применение к изображениям сетчатки глаза разного качества. Этот алгоритм позволяет построить более точную бинарную маску изображения сетчатки, которая используется для первичной оценки качества изображения.
Рис. 10. Примеры изображений неудовлетворительного (два левых) и удовлетворительного качества (два правых)
Рис. 11. Результаты выделения сосудов на изображениях сетчатки
Для реализации следующего этапа, протестирован и отобран ряд оценок качества изображений в отсутствии эталона, позволяющих оценить контраст и резкость изображения сетчатки для выделения удовлетворительных для медицинского анализа изображений.
Эксперименты, подтверждающие работоспособность предложенного подхода, выполнялись на разнообразных изображениях десяти доступных в интернете баз данных, описанных в табл. 1.
Работа частично выполнена в рамках проектов БРФФИ Ф20РА-014 и Ф21ПАКГ-001.
ЛИТЕРАТУРА
1. Diabetes - Statistics & Facts [Электронный ресурс]. - Режим доступа: https://www.statista.com/topics/1723/diabetes/ #dossierKeyfigures.- Дата доступа: 03.11.2021.
2. Tilahun M., et al. Prevalence of Diabetic retinopathy and its associated factors among diabetic patients at Debre Markos referral hospital, Northwest Ethiopia, 2019: hospital-based cross-sectional study, Diabetes, Metabolic Syndrome and Obesity: Targets and Therapy. - 2020.- Vol.13. - pp.2179.
3. Krause J., et al. Grader variability and the importance of reference standards for evaluating machine learning models for diabetic retinopathy, Ophthalmology, 2018, Vol.125, No.8, pp.1264-1272.
4. Manohar P., Mallikarjun S. Holi comparative study of methods for fundus mask generation, International Journal of Advanced Science and Technology, 2020, Vol. 29, No. 3, pp. 9642-9653.
5. Gagnon L., et al. Procedure to detect anatomical structures in optical fundus images, SPIE Conf. on Medical imaging, 2001, Vol. 4322, pp. 1218-1225.
6. Youssif A. A. H.A. R., Ghalwash A. Z., Ghoneim A. A. S.A. R., Optic disc detection from normalized digital fundus images by means of a vessels' direction matched filter, IEEE Transactions on Medical Imaging, 2007, Vol.27, No.1, pp.11-18. doi: 10.1109/TMI.2007.900326.
7. Niemeijer M., et al. Fast detection of the optic disc and fovea in color fundus photographs, Medical Image Analysis, 2009, 13(6): 859-870. doi:10.1016/j.media.2009.08.003.
8. DRIMDB - Database for quality testing of retinal images [Электронный ресурс].- Режим доступа: https:// academictorrents.com/details/99811ba62918f8e73791d21be29dcc 372d660.- Дата доступа: 09.09.2021.
9. Khan S. M., et al. A global review of publicly available datasets for ophthalmological imaging: barriers to access, usability, and generalisability, The Lancet Digital Health, 2021, Vol.3, No.1, pp.e51-e66. doi: 10.1016/S2589-7500(20)30240-5.
10. Ter Haar F. Automatic localization of the optic disc in digital colour images of the human retina, Utrecht University. 2005, MS thesis, 83p.
11. Hashim F. A., Salem N. M., Seddik A. F. Preprocessing of color retinal fundus images, 2nd Int. Japan-Egypt Conference on Electronics, Communications and Computers, 2013 Dec 17, pp. 190-193. doi: 10.1109/JEC-ECC.2013.6766410.
12. Otsu N. A threshold selection method from gray-level histograms, IEEE Transactions on Systems, Man, and Cybernetics, 1979, Vol.9, No.1, pp.:62-66.
13. Aibinu A. M., Salami M. J.E., Shafie A.A. Retina fundus image mask generation using pseudo parametric modeling technique, IIUM Engineering Journal, 2010, Vol.11, No.2, pp.163-177.
14. База изображений EyePACS [Электронный ресурс].- Режим доступа: http://www.eyepacs.com/.- Дата доступа: 03.11.2021.
15. Pertuz S., Puig D., Garcia M.A. Analysis of focus measure operators for shape-from-focus. Pattern Recognition.-2013.- 46(5).- P. 1415-1432. doi: 10.1016/j.patcog.2012.11.011
16. Голуб, Ю. И. Исследование локальных оценок контраста цифровых изображений при отсутствии эталона / Ю. И. Голуб, Ф. В. Старовойтов // Системный анализ и прикладная информатика.- 2019.- № 2 (22).- C. 4-11.
17. Голуб, Ю. И. Сравнительный анализ безэталонных оценок резкости цифровых изображений / Ю. И. Голуб, Ф. В. Старовойтов, В. В. Старовойтов // Доклады Белорусского государственного университета информатики и радиоэлектроники.- 2019.- № 7 (125).- С. 113-120.
18. Zhai, G. Perceptual image quality assessment: a survey / G. Zhai, X. Min // Science China Information Sciences.- 2020.-V. 63.- № 11.- P. 83-135.
19. Gvozden, G. Blind image sharpness assessment based on local contrast map statistics / G. Gvozden, S. Grgic, M. Grgic // Journal of Visual Communication and Image Representation.- 2018.- 50.- P. 145-158. doi: 10.1016/j.jvcir.2017.11.017.
20. Narvekar N. D., Karam L. J. A no-reference perceptual image sharpness metric based on a cumulative probability of blur detection, Int. Workshop on Quality of Multimedia Experience.- 2009.- P. 87-91. doi: 10.1109/Q0MEX.2009.5246972.
REFERENCES
1. Diabetes - Statistics & Facts [Электронный ресурс].- Режим доступа: https://www.statista.com/topics/1723/ diabetes/#dossierKeyfigures.- Дата доступа: 03.11.2021.
2. Tilahun M., et al. Prevalence of diabetic retinopathy and its associated factors among diabetic patients at Debre Markos referral hospital, Northwest Ethiopia, 2019: hospital-based cross-sectional study, Diabetes, Metabolic Syndrome and Obesity: Targets and Therapy.- 2020.- Vol.13.- pp.2179.
3. Krause J., et al. Grader variability and the importance of reference standards for evaluating machine learning models for diabetic retinopathy, Ophthalmology, 2018, Vol.125, No.8, pp.1264-1272.
4. Manohar P., Mallikarjun S. Holi Comparative study of methods for fundus mask generation, International Journal of Advanced Science and Technology, 2020, Vol. 29, No. 3, pp. 9642-9653.
5. Gagnon L., et al. Procedure to detect anatomical structures in optical fundus images, SPIE Conf. on Medical Imaging, 2001, Vol. 4322, pp. 1218-1225.
6. Youssif A. A. H. A. R., Ghalwash A. Z., Ghoneim A. A. S. A. R. Optic disc detection from normalized digital fundus images by means of a vessels direction matched filter, IEEE Transactions on Medical Imaging, 2007, Vol. 27, No. 1, pp. 11-18. doi: 10.1109/TMI.2007.900326.
7. Niemeijer M., et al. Fast detection of the optic disc and fovea in color fundus photographs, Medical Image Analysis, 2009, Vol.13, No.6, pp. 859-870. doi:10.1016/j.media.2009.08.003.
8. DRIMDB - Database for quality testing of retinal images [Электронный ресурс].- Режим доступа: https:// academictorrents.com/details/99811ba62918f8e73791d21be29dcc 372d660.- Дата доступа: 09.09.2021.
9. Khan S. M., et al. A global review of publicly available datasets for ophthalmological imaging: barriers to access, usability, and generalisability, The Lancet Digital Health, 2021, Vol. 3, No.1, pp. e51-e66. doi: 10.1016/S2589-7500(20)30240-5.
10. Ter Haar F. Automatic localization of the optic disc in digital colour images of the human retina, Utrecht University. 2005, MS thesis, 83p.
11. Hashim F. A., Salem N. M., Seddik A. F. Preprocessing of color retinal fundus images, 2nd Int. Japan-Egypt Conference on Electronics, Communications and Computers, 2013 Dec 17, pp. 190-193. doi: 10.1109/JEC-ECC.2013.6766410.
12. Otsu N. A threshold selection method from gray-level histograms, IEEE Transactions on Systems, Man, and Cybernetics, 1979, Vol.9, No.1, pp.:62-66.
13. Aibinu A. M., Salami M. J.E., Shafie A. A. Retina fundus image mask generation using pseudo parametric modeling technique, IIUM Engineering Journal, 2010, Vol.11, No.2, pp.163-177.
14. Database EyePACS [Электронный ресурс].- Режим доступа: http://www.eyepacs.com/.- Дата доступа: 03.11.2021.
15. Pertuz S., Puig D., Garcia M. A. Analysis of focus measure operators for shape-from-focus, Pattern Recognition, 2013, Vol. 46, No.5, pp.1415-1432. DOI: 10.1016/j.patcog.2012.11.011.
16. Golub, Y. I. Study of local assessments of contrast for digital images / Y. I. Golub, F. V. Starovoitov // System Analysis and Applied Information Science, 2019, No.2 (22), pp. 4-11.
17. Golub Y. I., Starovoitov F. V. Comparative analysis of no-reference measures for digital image sharpness assessment, Doklady BGUIR, 2019, No.7 (125), pp. 113-120.
18. Zhai G., Min X. Perceptual image quality assessment: a survey, Science China Information Sciences, 2020, Vol. 63, No.11, pp. 83-135.
19. Gvozden G., Grgic S., Grgic M. Blind image sharpness assessment based on local contrast map statistics, Journal of Visual Communication and Image Representation, 2018, Vol.50, pp.145-158. doi: 10.1016/j.jvcir.2017.11.017.
20. Narvekar N. D., Karam L. J. A no-reference perceptual image sharpness metric based on a cumulative probability of blur detection. 2009 International Workshop on Quality of Multimedia Experience, 2009, pp.87-91. doi: 10.1109/ QOMEX.2009.5246972.
Поступила После доработки Принята к печати
08.11.2021 30.11.2021 01.12.2021
STAROVOITOVV. V.1, GOLUB Y.I.2, LUKASHEVICHМ. М.3
DIGITAL FUNDUS IMAGE QUALITY ASSESSMENT
1 United institute of informatics problems of the National Academy of Sciences of Belarus 2 Belarusian State University of Informatics and Radioelectronics
Diabetic retinopathy (DR) is a disease caused by complications of diabetes. It starts asymptomatically and can end in blindness. To detect it, doctors use special fundus cameras that allow them to register images of the retina in the visible range of the spectrum. On these images one can see features, which determine the presence of DR and its grade. Researchers around the world are developing systems for the automated analysis offundus images. At present, the level of accuracy of classification of diseases caused by DR by systems based on machine learning is comparable to the level of qualified medical doctors.
The article shows variants for representation of the retina in digital images by different cameras. We define the task to develop a universal approach for the image quality assessment of a retinal image obtained by an arbitrary fundus camera. It is solved in the first block of any automated retinal image analysis system. The quality assessment procedure is carried out in several stages. At the first stage, it is necessary to perform binarization of the original image and build a retinal mask. Such a mask is individual for each image, even among the images recorded by one camera. For this, a new universal retinal image binarization algorithm is proposed. By analyzing result of the binarization, it is possible to identify and remove imagesoutliers, which show not the retina, but other objects. Further, the problem of no-reference image quality assessment is solved and images are classified into two classes: satisfactory and unsatisfactory for analysis. Contrast, sharpness and possibility of segmentation of the vascular system on the retinal image are evaluated step by step. It is shown that the problem of no-reference image quality assessment of an arbitrary fundus image can be solved.
Experiments were performed on a variety of images from the available retinal image databases.
Keywords. Diabetic retinopathy, fundus-camera, digital image, image quality assessment, Weibull distribution
Старовойтов Валерий Васильевич, доктор технических наук, профессор. Главный научный сотрудник ОИПИ НАН Беларуси. Лауреат Государственной премии Республики Беларусь (2003г). Сфера научный интересов: обработка и анализ цифровых изображений, полученных в разных участках электромагнитного спектра. Опубликовал более 150 научных работ. Starovoitov Valery, Doctor of Sciences and professor of computer science. He is a Principal research fellow at the United Institute of Informatics Problems, National Academy of Sciences of Belarus (UIIP NAN Belarus). Award: the State Prize of the Republic of Belarus in science. Research interests of professor Starovoitov are processing and analysis of digital images obtained in different parts of the electromagnetic spectrum. He has published over 150 papers.
Голуб Юлия Игоревна, кандидат технических наук, доцент, старший научный сотрудник государственного научного учреждение «Объединенный институт проблем информатики Национальной академии наук Беларуси».
Yuliya I. Golub, PhD, Associate Professor, Senior Research Fellow at the United Institute of Informatics Problems, National Academy of Sciences of Belarus.
Лукашевич Марина Михайловна, кандидат технических наук, доцент, докторант учреждения образования «Белорусский государственный университет информатики и радиоэлектроники». Сфера научный интересов: цифровая обработка изображений, машинное обучение. Marina M. Lukashevich, PhD, postdoctoral researcher at the Belarusian State University of Informatics and Radioelectronics. Her main research interests includes digital image processing, machine learning.
