CC BY
14Приборы медицинского назначения, контроля среды, веществ, материалов и изделий
УДК 004.932.4 Оригинальная статья
https://doi.org/10.32603/1993-8985-2022-25-5-91-103
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений
А. А. Поздеев
Санкт-Петербургский государственный электротехнический университет "ЛЭТИ"
им. В. И. Ульянова (Ленина), Санкт-Петербург, Россия
нpuches4@gmail.com
Аннотация
Введение. При проведении диагностического осмотра или лечения врачу требуется быстро и точно выявлять и локализовывать аномалии и заболевания, для чего используются, в том числе, и технические средства. Быстрое развитие технологий в области датчиков, устройств визуализации и методов диагностики обеспечивает планомерный переход от анализа изображений врачом к широкому использованию автоматизированных диагностических систем - систем поддержки принятия врачебных решений.
Цель работы. Разработка метода повышения контраста эндоскопических изображений с учетом их особенностей с целью увеличения эффективности медицинских диагностических систем.
Материалы и методы. Повышение контраста неизбежно приводит к росту уровня шумов. Применение на предварительном этапе коррекции известных методов шумоподавления влечет за собой, как правило, потерю мелких деталей, которые важно сохранить при обработке. Разработан метод повышения контраста эндоскопических изображений, в основе которого лежит нелинейное преобразование яркости пикселов, учитывающее их локальную окрестность. Функциональная зависимость между глубиной коррекции контраста и оценкой детальности окрестности обрабатываемого пиксела получена с помощью регрессионного анализа. Результаты. Результаты экспериментальной оценки и сравнение с аналогом показывают, что при сопоставимом уровне повышения контраста обеспечено большее значение индекса структурного сходства с исходным изображением (0.71 против 0.63 у аналога) при уменьшении роста уровня шумов на 17 %. Заключение. Метод обеспечивает коррекцию контраста одновременно как светлых, так и темных фрагментов изображения и ограничивает при этом рост шумовой составляющей (характерный для методов этого класса) по сравнению со стандартными методами посредством адаптации глубины коррекции к свойствам окрестности обрабатываемого элемента изображения.
Ключевые слова: эндоскопические изображения, системы поддержки принятия решений, повышение контраста, шумоподавление
Для цитирования: Поздеев А. А. Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений // Изв. вузов России. Радиоэлектроника. 2022. Т. 25, № 5. С. 91-103. doi: 10.32603/1993-8985-2022-25-5-91-103
Конфликт интересов. Автор заявляет об отсутствии конфликта интересов.
Статья поступила в редакцию 23.12.2021; принята к публикации после рецензирования 23.06.2022; опубликована онлайн 29.11.2022
О Поздеев А. А., 2022 91
Medical Devices, Environment, Substances, Material and Product
Original article
A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
Alexander A. Pozdeev
Saint Petersburg Electrotechnical University, St Petersburg, Russia
H puches4@gmail.com
Abstract
Introduction. When conducting diagnostic examination of patients, various technological means are used to identify pathological conditions timely and accurately. The rapid development of sensors and imaging devices, as well as the advancement of modern diagnostic methods, facilitate the transition from the visual examination of images performed by a medical specialist towards the widespread use of automated diagnostic systems referred to as clinical decision support systems.
Aim. To develop a method for enhancing the contrast of endoscopic images taking into account their features with the purpose of increasing the efficiency of medical diagnostic systems.
Materials and methods. Contrast enhancement inevitably leads to an increase in the noise level. Despite the large number of different methods for noise reduction, their use at the preliminary stage of correction leads to the loss of small but important details. The development of a method for enhancing the contrast of endoscopic images was based on a nonlinear transformation of the intensity of pixels, taking into account their local neighborhood. Regression analysis was used to obtain a functional dependence between the depth of contrast correction and the degree of detail of the processed pixel neighborhood.
Results. The results of experimental evaluation and comparison with conventional methods show that, under a comparable level of contrast enhancement, the proposed method provides a greater value of the structural similarity index towards to the original image (0.71 versus 0.63), with the noise level reduced by 17 %.
Conclusion. In comparison with conventional methods, the developed method provides a simultaneous contrast correction of both light and dark image fragments and limits the growth of the noise level (typical of similar methods) by adapting the correction depth to the neighborhood features of the processed image element.
Keywords: endoscopic images, clinical decision support systems, contrast enhancement, denoising
For citation: Pozdeev A. A. A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems. Journal of the Russian Universities. Radioelectronics. 2022, vol. 25, no. 5, pp. 91-103. doi: 10.32603/1993-8985-2022-25-5-91-103
Conflict of interest. The author declares no conflicts of interest. Submitted 23.12.2021; accepted 23.06.2022; published online 29.11.2022
Введение. При проведении диагностического осмотра или лечения врачу требуется быстро и точно выявлять и локализовывать аномалии и заболевания, для чего используются и доступные технические средства. Быстрое развитие технологий в области датчиков, устройств визуализации и методов диагностики обеспечивает планомерный переход от анализа изображений врачом к широкому использованию автоматизированных диагностических систем - систем поддержки принятия врачебных решений (Clinical Decision Support Systems - CDSS).
CDSS могут применяться при решении таких медицинских задач, как профилактика или 92
скрининг, лечение, диагностика, назначение лекарств. Современные CDSS предполагают интеграцию результатов диагностики, проводимой врачом, и автоматического анализа и, таким образом, обеспечивают высокую чувствительность и специфичность диагностики.
Среди известных CDSS существенную долю представляют системы формирования и автоматического анализа изображений в целях медицинской диагностики. При разработке методов цифровой обработки, обеспечивающих повышение контраста формируемых изображений как для увеличения эффективности визуального анализа врачом, так и автоматического анализа
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
для повышения качества классификации, важно учитывать особенности медицинских изображений и ограничения по их обработке, а именно:
- потребность сохранения значимой информации, присутствующей в необработанном изображении и необходимой для диагностики и лечения;
- необходимость сохранения целостности восприятия визуальной информации;
- недопустимость формирования новых данных, отсутствующих на исходном изображении;
- особенности визуального восприятия врача-специалиста, сформированные его опытом работы в целом и опытом эксплуатации медицинского оборудования.
Повышение контраста изображений с помощью методов цифровой обработки приводит к повышению высокочастотной составляющей. Это, в свою очередь, вызывает основную проблему большинства методов повышения контраста - рост уровня шума.
Применение традиционных методов борьбы с шумами, таких, как медианная [1], билатеральная [2, 3] фильтрация, NLM (Non-Local Means - метод нелокального среднего) [4, 5], а также более современного BM3D (Block-Matching and 3D Filtering - сопоставление блоков и 3D-фильтрация) [6], может привести к утрате важных деталей, тонких сосудов, изменений в структуре живой ткани, что ограничивает использование методов шумоподавления в эндоскопических видеосистемах.
В настоящей статье предложен новый метод, повышающий контраст при одновременном ограничении роста уровня шумов.
Адаптивные методы повышения контраста эндоскопических изображений. Методы коррекции контраста можно условно разбить на две группы по принципу работы с данными:
- методы преобразования изображений (изменения яркостей пикселов) непосредственно в пространственной области (pixel-domain);
- методы, в которых осуществляется преобразование в новое пространство (дискретное косинусное преобразование [7, 8], вейвлет-преобразование [9], курвелет-преобразование [10] и т. д.) для дальнейшей обработки (transform-domain).
Методы первой группы получили большее распространение в современных системах из-за более низких требований к вычислительной сложности и гибкой настройки. Их делят на глобальные и локальные. Глобальные методы используют одну функцию трансформации яркости для всех элементов изображения, в отличие от локальных, в которых функция преобразования яркости определяется на основе анализа окрестности, сформированной вокруг корректируемого элемента изображения. Локальные методы называют адаптивными, поскольку параметры таких методов определяются характеристиками этой окрестности, например средней яркостью.
Контрастирование эндоскопических изображений глобальными методами малоэффективно в связи с их особенностями, вызванными сложными условиями получения изображений и спецификой объектов интереса. Например, при использовании гамма-коррекции для контрастирования темных участков изображения необходимо, чтобы крутизна трансформирующей функции убывала с увеличением яркости, в результате чего повышается контраст на этих участках. Наоборот, сдвиг изображения в область светлого неизбежно приведет к потере контраста в светлой области, что является серьезным недостатком применительно к изображениям с неравномерными яркостной характеристикой и контрастом. Поэтому ввиду присутствия на эндоскопических изображениях значительных по площади светлых и темных областей требуется применение более сложных методов, обеспечивающих выравнивание яркости.
К числу таких методов относится метод адаптивного нелинейного контрастирования (АНК) (Adaptive and integrated neighborhood-dependent approach for nonlinear enhancement -AINDANE) [11] и метод адаптивной коррекции контраста с синусоидальной функцией трансформации (АКК СФТ) (Locally Tuned Sine NonLinear Enhancement - LTSNE) [12]. Оба метода включают в себя 2 этапа: выравнивание яркости по площади изображения и дополнительную коррекцию контраста. При этом оба метода используют одну и ту же локальную нелинейную функцию трансформации на этапе коррекции контраста, но различаются по об-
93
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
работке на первом этапе - этапе выравнивания яркости.
Приведенные далее методы повышения контраста применимы к одноканальному изображению. Для обработки цветного изображения целесообразно переходить в другое цветовое пространство, включающее в себя яркост-ной канал, например HSV (Hue, Saturation, Value - цветовой тон, насыщенность, яркость) или Lab, и обрабатывать только этот канал. Второй возможный вариант - обрабатывать все 3 канала независимо друг от друга, что, однако, может сказаться на производительности методов. Формулы, представленные в данной статье, справедливы для случая, когда яркость пикселов нормирована к диапазону 0.. .1.
На первом этапе в методе АНК к изображению глобально применяется функция преобразования яркости
\0.75 z+0.25
Lлик (x y) = °.5L (x y)
+ 0.4[1 -L(x, y)](1 - z) + L(x, y)
+ 2-z
где L (x, y)e[0, 1] - яркость обрабатываемого пиксела с координатами (x, y);
z =
0, L < 0; Lп - 0.2
, 0.2 < L^ < 0.6;
0.4 1, ^ 0.6,
причем Ьп - пороговое значение яркости. В качестве значения Ьп взята яркость, соответствующая уровню 0.8 на кумулятивной гистограмме (рис. 1), представляющей функцию распределения яркостей пикселов.
F 0.8 0.6 0.4 0.2 0
Г
0 0.2 0.4 0.6 0.8 Рис. 1. Кумулятивная гистограмма Fig. 1. Cumulative distribution function histogram
L
a б
Рис. 2. Коррекция яркости методом АНК: а - исходное изображение; б - изображение после коррекции
Fig. 2. Intensity enhancement by the AINDANE: а - original; б - enhanced
Результат обработки (рис. 2) показывает существенный недостаток глобальных методов коррекции - даже при подборе оптимальных по критерию визуального качества параметров эффект коррекции, полученный в одной части изображения, может быть недостаточным или избыточным в другой его части. Существенное сжатие динамического диапазона (что естественным образом вытекает из вида функции преобразования (рис. 3)) не может быть скомпенсировано введением дополнительного этапа контрастирования.
Указанных недостатков лишен метод АКК, ключевой особенностью которого (как и у метода АНК) является двухэтапная коррекция изображения для повышения качества - выравнивание яркости с последующим повышением контраста, но, в отличие от АНК, здесь на этапе выравнивания яркости используется адаптивная нелинейная функция трансформации.
Рассмотрим первый этап более подробно. Функция преобразования, уменьшающая яркость светлых пикселов с одновременным уве-
¿АНК (X, У)
0.8 -
0.6 0.4 0.2
0 0.2 0.4 0.6 0.8 L (x, y) Рис. 3. Функция преобразования яркости первого этапа метода АНК
Fig. 3. The intensity transform function used at the first stage of AINDANE
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
личением яркости темных пикселов, записывается следующим уравнением:
lakk = sin
2 Lq ( X, y )
(1)
где
q = tg
^ср (х y)
ci
' c2
причем Ьср (х, у) - яркость обрабатываемого
пиксела, усредненная по окрестностям различных пространственных масштабов; с^ С2 -параметры метода, определяющие кривизну функции преобразования.
Усредненная яркость обрабатываемого пиксела определяется как
L
S
'ср
(X, y) = Z w [Gi (X, y)* L (X, y)], (2)
i=1
где w = {м>1}, / е[1, £] - набор весов для каждого размера окрестности (как правило, принимается £ = 3, = 1/3, / е [1, 3]); О^ (х, у) - маска фильтра Гаусса для /-го размера окрестности; "*" - символ операции двумерной свертки.
Авторы [6] отмечают, что в области экстремально темных значений уровень шумов существенно возрастает. Как видно из рис. 4, а (на рисунке Ьср (х, у) в целях сокращения обозначено т), даже малейшее положительное значение яркости при близком к нулю значении средней яркости окрестности после обработки
¿АКК (х, у) 0.8 0.6 0.4 0.2 0
0
0.2
0.4
0.6
0.8 L (x, y)
существенно возрастает, приближаясь к уровню белого (в качестве параметров метода были взяты предложенные авторами значения: С = 2.25; С2 = 0.0085). Чтобы этого избежать, авторы ввели дополнительную функцию расчета q для низких уровней яркости (к низким уровням авторы относят диапазон яркости 0.. .0.2):
q =
lg[Хр (x, y) + 2]/2. (3)
На рис. 4, б приведен пример результата повышения контраста изображения с помощью данной функции. Из него следует, что использование (3) исправляет чрезмерно "крутую" функцию преобразования. Однако данная функция все еще имеет высокое значение производной при малых значениях аргумента и осуществляет слишком сильную коррекцию: ее применение может приводить к появлению заметных артефактов резкого перехода от черного к белому, а также неправильно восстановленного цвета в областях с низкой яркостью.
Также не подходят для применения к эндоскопическим изображениям и параметры, предложенные авторами [6]. Сильная перекоррекция существенно меняет изображение, делает его не похожим на оригинал, что негативно сказывается на восприятии и может запутать врача. Методы коррекции должны быть относительно мягкими, обеспечивать подчеркивание мелких деталей, выравнивать яркость и при этом сохранять восприятие изображения. Сильные изменения допустимы лишь как до-
а б
Рис. 4. Коррекция яркости методом АКК с измененной функцией преобразования в области низких уровней яркости со значениями настраиваемых параметров c1 = 2.25, c2 = 0.0085, предложенными авторами АКК: а - график функции преобразования; б - результат обработки Fig. 4. Intensity enhancement by LTSNE using the changed transform function in the bound of low intensity level
with parameters c1 = 2.25, c2 = 0.0085, proposed by the authors of the LTSNE: а - transform function graph; б - processing result
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
¿АКК (X, y) 0.8 0.6 0.4 0.2
0 0.2 0.4 0.6 0.8 L (x, y)
а б
Рис. 5. Коррекция яркости методом АКК с измененной функцией преобразования в области низких уровней яркости со значениями настраиваемых параметров ci = 2.25, c2 = 0.0085, предложенными авторами АКК: а - график функции преобразования; б - результат обработки
Fig. 5. Intensity enhancement by LTSNE using the changed transform function in the bound of low intensity levels with parameters ci = 2.25, c2 = 0.0085, proposed by the authors of LTSNE:
а - transform function graph; б - processing result
полнительные режимы визуализации, которые можно отключить.
Значения параметров были изменены в соответствии с особенностями обработки эндоскопических изображений, изложенными во введении. На рис. 5 представлен результат коррекции с параметрами с = 2.6; с2 = 0.46,
обеспечивающими повышение визуального качества эндоскопических изображений.
Изменение параметров решило проблему избыточно крутой функции преобразования в области низких значений яркости, поэтому отпала необходимость применения функции (3).
Важным параметром алгоритма является размер окрестности обрабатываемого пиксела для определения средней яркости (размер апертуры фильтра Гаусса О^ (х, у) в (2)). Малый
размер окрестности приводит к возникновению гало-артефактов, в то время как большой - слабо повышает контраст. Гало-артефакты - это тип артефактов изображения, которые появляются на контурах изображения, обработанного алгоритмом повышения контраста. Эти артефакты характеризуются перекоррекцией с одной стороны контура и недокоррекцией с другой стороны. Данные артефакты обычно выглядят как видимые тени вдоль контуров обработанного изображения.
Чтобы обеспечить баланс между гало-артефактами и повышением контраста, в методе использованы 3 различных размера окрест-
ности, захватывающих низко-, средне- и высокочастотные особенности изображения.
На рис. 6 приведены результаты обработки для трех различных наборов масштабов. По результатам коррекции исходного изображения (рис. 6, а) можно сделать следующие выводы:
1. Наилучший результат получен для набора апертур (31, 63, 127) (рис. 6, в).
2. При апертурах меньших размеров (7, 15, 31) наблюдается недостаточное усиление яр-костных перепадов, эффект контрастирования выражен слабо (рис. 6, б).
3. С другой стороны, при увеличении размеров апертур (197, 621, 981) наблюдается эффект размытости, что особенно заметно на сосудистой структуре в правой нижней части изображения (рис. 6, г).
Следует отметить, что для уменьшения времени обработки поиск среднего значения в окрестности обрабатываемого пиксела может выполняться с помощью классического усредняющего фильтра, у которого, в отличие от фильтра Гаусса, веса всех пикселов, попавших в апертуру, одинаковы независимо от расстояния до обрабатываемого пиксела. Применение усредняющего фильтра может снизить время обработки без значительных изменений конечного результата, но размер апертуры в данном случае остается таким же важным.
На втором этапе в методе АКК (как и в методе АНК) обеспечивается дополнительное контрастирование, учитывающее средневзве-
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
в г
Рис. 6. Результат изменения размеров апертуры усредняющих фильтров в методе АКК: а - исходное изображение; б - (7, 15, 31); в - (31, 63, 127); г - (197, 621, 981)
Fig. 6. The result of the LTSNE intensity enhancement with different sizes of the aperture of averaging filters: а - initial image; б - (7, 15, 31); в - (31, 63, 127); г - (197, 621, 981)
причем p - параметр, регулирующий глубину коррекции контраста.
На рис. 7 приведен результат коррекции контраста с помощью уравнения (4) после этапа выравнивания яркости (см. рис. 5, а). Повышение контраста изображения приводит к росту высокочастотной составляющей, что требует реализации адаптивной глубины коррекции.
Адаптивная глубина коррекции для подавления шумов. Из (4) следует, что большее значение яркости пиксела в сравнении с усредненной яркостью его окрестности приводит к еще большему увеличению разности между ними. Это позволяет подчеркнуть контуры и мелкие детали, но одновременно растет интенсивность шумов, что может повлечь за собой потерю эргономичности изображения.
Важно отметить, что любая фильтрация приводит к частичной потере информации, которая может быть важна для анализа медицинских изображений, полученных с помощью видеоэндоскопической системы. Альтернативой использованию низкочастотных фильтров является ре-
Метод повышения контраста медицинских видеоизображений с адаптивной 97
глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
Рис. 7. Пример обработки изображения методом АКК Fig. 7. The result of LTSNE processing
шенную яркость окрестности обрабатываемого пиксела:
L (X, y) = [LАКК (X, y(X y}, (4)
где
E (х y) = [^р (х y)/L (x y)]P ,
гулировка степени коррекции с учетом локальных особенностей обрабатываемого пиксела. В качестве параметра, определяющего значение глубины коррекции контраста р, следует использовать количественную оценку детальности отдельно взятой области изображения.
Структурная схема предложенного метода повышения контраста эндоскопических изображений приведена на рис. 8.
Оценить детальность можно с помощью различных дескрипторов. В структурных подходах текстурного анализа предполагается, что текстуры состоят из простых регулярно повторяющихся примитивов. В результате текстуры обладают регулярностью и, возможно, ориентацией. Подход на основе спектрального анализа для оценки детальности используют при выявлении периодических структур и зернистости [13]: размер зерна текстуры пропорционален пространственному периоду: пространственный спектр крупнозернистой текстуры дает спектр Фурье, энергия которого сосредоточена на низких пространственных частотах; мелкозернистой - спектр с концентрацией энергии спектра на высоких пространственных частотах.
Усиление шума происходит на этапе коррекции контраста, причем глубина усиления зависит от средневзвешенной яркости окрест-
ности обрабатываемого пиксела, а не от структурных особенностей этой окрестности, поэтому нет необходимости использовать структурные дескрипторы для оценки детальности.
Для определения зависимости коэффициента коррекции контраста р от локальных особенностей фрагмента изображения из большого набора методов оценки детальности и текстуры достаточно взять оценку текстурного признака с помощью статистического подхода. Простейшим вариантом статистической оценки детальности фрагмента изображения является центральный момент второго порядка (дисперсия яркости) внутри блока:
2 1 А В г -,2
=X X [Ь(х, у)-та] ,
АВ х=0 у=0
где сто - среднеквадратичное отклонение (СКО) яркости внутри окрестности обрабатываемого пиксела О с размерами А х В и координатами (х, у);
1 А В
то. = АВ X X Ь (х, у)
АВ х=0 у=0
- среднее значение яркости пикселов внутри этой окрестности.
Расчет дисперсии достаточно прост и не требует значительных вычислительных затрат. В то же время следует произвести нормировку
Исходное изображение
Выделение яркостного канала для последующей обработки
Оценка уровня шума на изображении
i
Этап коррекции яркости
1
Этап коррекции контраста -►
Восстановление цвета (замена яркостного канала исходного изображения на результат этапа коррекции контраста)
1
Обработанное изображение
Оценка детальности окрестности обрабатываемого пиксела
Расчет глубины коррекции на основе оценки детальности
т
Расчет новой яркости пиксела
Рис. 8. Структурная схема предложенного метода Fig. 8. Block diagram of the proposed method
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
дисперсии по "шумовому фону", т. е. минимальному значению дисперсии среди всех блоков изображения. Нормировка нужна, чтобы параметры метода зависели от уровня шума на изображении и метод можно было применять в различных условиях и для изображений, полученных различными сенсорами.
На рис. 9 приведено исходное изображение, разбитое на блоки размером 128 х 128 пикселов. Для каждого блока рассчитана дисперсия (вписана в соответствующий фрагмент) (яркость пикселов лежит в диапазоне 0...255). Можно заметить, что в центральной части значение локальной дисперсии выше, чем по краям. При отсутствии в обрабатываемой области значительных яркостных перепадов дисперсия определяется в основном вкладом шумовой составляющей и имеет малое значение. В такой области практически нет значимых для анализа деталей и границ, поэтому значение p следует выбирать небольшим во избежание сильного усиления шумов.
Автором статьи на базе данных медицинских изображений Kvasir [14] методом регрессионного анализа установлена функциональная зависимость глубины усиления контраста р от дисперсии яркости в окрестности обрабатываемого пиксела изображения, нормированной к
2 12
минимальному значению: ^/стт;п .
2 / 2
Расчет значений предикторов aQ/amin
и
оценка откликов p выполнялись в блоках раз-
0.0000 0.0000 0.0000 0.0000 0.0000 0.0007 0.0000
0.0016 0.0027 0.0043 0.0021 0.0015 0.0017 0.0000
0,0024 0.0019 0.0010 0.0036 0.0073 0.0079 0.0035
0.0012 0.0131 0.0043 0.0196 0.0112 0.0042 0.0159
0.0034 0.0094 0.0085 0.0210 0.0088 0.0120 0.0105
0.0033 0.0094 0.0072 0.0266 ^ [J 0.0110 0.0103
0,0023 0.0075 0,0054 0,0096 0,0086 0.0074 0,0039
Рис. 9. Значения локальной дисперсии для отдельных блоков изображения
Fig. 9. Local variance values for different image blocks
мером 128 х 128 пикселов. Размер блока был выбран достаточно маленьким, чтобы исключить зависимость от контекста изображения, но в то же время достаточно большим для эффективного подбора параметра р. Для каждого блока рассчитывалась количественная оценка детальности - ст^ , и с помощью визуальной оценки подбирался коэффициент коррекции p, обеспечивающий наилучшее контрастирование
фрагмента. Значение стттш соответствует минимальному значению дисперсии блока среди всех блоков изображения. Сформированная таким образом база данных использовалась для выбора регрессионной модели и оценки ее параметров.
Полученная функциональная зависимость имеет следующий вид:
p = log 2
CQ
'mm у
где k - параметр, зависящий от характеристик сенсора и определяемый по базе полученных им изображений.
Объективные метрики оценки качества коррекции. Оценить эффективность предложенного метода и сделать выводы о возможности его применения в CDSS можно на основе анализа результатов обработки изображений различными методами повышения контраста. В качестве объективных критериев используем оценку изменения контраста, оценку уровня шума и оценку структурного сходства по метрике MSSIM (Mean Structural Similarity Index Measure - усредненный индекс структурного сходства) [15].
Простым способом оценки изменения контраста является расчет отношения детально-стей обработанного и исходного изображений, усредненных по блокам изображения:
дС = 1 z Rl ,
NkRk
где N - количество блоков; k - номер блока; Rk и Rk - СКО блока обработанного и исходного изображений.
Согласно [16] уровень детальности во
99
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
фрагменте изображения с номером к можно описать уравнением
К = X X ^гаДЬ (х}-,у, )|,
'=1 ] =1
где А - число строк; В - число столбцов фрагмента изображения;
grad L ( Xj, yi) =
: [AL (Xj, yi )/Ax, AL (Xj, yi )/Ay
- вектор-градиент, составленный из первых частных производных изображения Ь (х, у) по направлениям х и у для каждой точки изображения ( т - символ транспонирования).
Оценка вектора-градиента по направлениям производилась с помощью классического оператора Собела [17].
Повышение контраста изображения приводит к росту высокочастотной составляющей. Вклад в высокие частоты может быть как положительным (подчеркивание сосудистой структуры и иных мелких деталей), так и отрицательным (усиление шумов). Для оценки эффективности обработки изображения по критерию повышения контраста необходимо измерить уровень шума.
В радиотехнике отношение сигнал/шум традиционно определяется выражением
SNR = ц8/ст8,
где , ст8 - среднее значение и СКО сигнала соответственно.
Оценку приращения отношения сигнал/шум ДSNR можно получить, если использовать следующую формулу только для низкодетальных блоков, изменение СКО которых обусловлено изменением уровня шума, а изменения средней яркости при повышении контраста не происходит:
ЛСЛТл 1 SNR к 1 ак
ЛSNR = — X-- = —Х—,
Нк SNRк е'к
где SNRк , SNRк - оценки отношения сигнал/шум исходного и обработанного изобра-
жений соответственно; стк, ак - СКО исходного и обработанного блоков изображения соответственно. К низкодетальным отнесены блоки, имеющие минимальную дисперсию яркости пикселов внутри блока. В исследовании для каждого изображения выбиралось 3 неперекрывающихся блока.
Экспериментальная оценка предложенного метода. На рис. 10 представлены примеры обработки эндоскопических изображений. Наглядно видно, что при обработке исходных изображений (а) предложенным методом (в) шумов на изображениях существенно меньше, чем на изображениях, обработанных методом АКК (б).
Результаты сравнения методов по объективным критериям на базе данных эндоскопических изображений Kvasir представлены в таблице.
Результаты объективной оценки методов Results of an objective assessment of methods
Метод АКК АКК Метод с адаптивной
(этап коррекции (коррекция глубиной коррекции
яркости) яркости и контраста) контраста
ASNR 0.83 0.47 0.64
AC 1.71 3.61 3.44
MSSIM 0.83 0.63 0.71
Анализ результатов обработки метода с адаптивной глубиной коррекции контраста на основе ряда объективных критериев показал преимущество данного метода в сравнении с аналогом (методом АКК) по следующим критериям:
- сопоставимый уровень повышения контраста (3.44 против 3.61);
- большее значение индекса структурного сходства с исходным изображением (0.71 против 0.63);
- существенно меньший уровень шумов в результате коррекции (0.64 вместо 0.47).
Заключение. Преимущество метода с адаптивной глубиной коррекции контраста по сравнению с аналогом обусловлено лучшим сохранением структурного сходства и большим ограничением роста шумов в результате коррекции. Изменение отношения сигнал/шум определено при усреднении по низкодетальным блокам.
ЮО Метод повышения контраста медицинских видеоизображений с адаптивной
глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
в
Рис. 10. Примеры обработки изображений: а - исходные изображения; б - метод АКК; в - предложенный метод с адаптивной глубиной коррекции
Fig. 10. Example of image enhancement: а - original images; б - LTSNE; в - proposed method with an adaptive correction depth
Повышение контраста изображения увеличивает интенсивность шумов, что влечет за собой потерю эргономичности изображения и затрудняет его визуальный анализ. Чтобы избежать значительного роста уровня шумов, предложена адаптация метода к детальности
окрестности обрабатываемого пиксела. Параметром, зависящим от детальности, является глубина коррекции, причем аналитический вид функциональной зависимости глубины коррекции от детальности получен с использованием регрессионного анализа.
101
Метод повышения контраста медицинских видеоизображений с адаптивной глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
Список литературы
1. Huang T. S., Yang G. J., Tang G. Y. A fast two -dimensional median filtering algorithm // IEEE Trans. on Acoustics, Speech, and Signal Processing. 1979. Vol. 27, iss. 1. P. 13-18. doi: 10.1109/TASSP.1979.1163188
2. A low-memory, straightforward and fast bilateral filter through subsampling in spatial domain / F. Banterle, M. Corsini, P. Cignoni, R. Scopigno // Computer Graphics Forum. 2012. Vol. 31, iss. 1. P. 19-32. doi: 10.1111/j.1467-8659.2011.02078.x
3. Tomasi C., Manduchi R. Bilateral filtering for gray and color images // 6th Intern. Conf. on Computer vision, Bombay, India, 4-7 Jan. 1998. Piscataway: IEEE, 1998. P. 839-846. doi: 10.1109/ICCV1998.710815
4. Buades A., Coll B., Morel J.-M. Neighborhood filters and PDE's // Numerische Mathematik. 2006. Vol. 105, № 1. P. 1-34.
5. Jin W., Qi J. An improved approximate K-nearest neighbors nonlocal-means denoising method with GPU acceleration // Intelligent Science and Intelligent Data Engineering. 2012. Vol. 7751. P. 425-432.
6. Maggioni M., Foi A. Nonlocal transform-domain denoising of volumetric data with groupwise adaptive variance estimation // Proc. SPIE Electronic Imaging. 2012. Vol. 8296. P. 1-8. doi: 10.1117/12.912109
7. Agaian S., Silver B., Panetta K. Transform coefficient histogram based image enhancement algorithms using contrast entropy // IEEE Trans. Image Process. 2007. Vol. 16, iss. 3. P. 741-758. doi: 10.1109/tip.2006.888338
8. Mukherjee J., Mitra S. K. Enhancement of color images by scaling the DCT coefficients // IEEE Trans. on Image Processing. 2008. Vol. 17, iss. 10. P. 17831794. doi: 10.1109/TIP.2008.2002826
9. Fattal R. Edge-avoiding wavelets and their applications // ACM Trans. Graphics. 2009. Vol. 28, iss. 3. P. 1-10. doi: 10.1145/1531326.1531328
10. Gray and color image contrast enhancement by the Curvelet transform / J.-L. Starck, F. Murtagh, E. J. Candes, D. L. Donoho // IEEE Trans. on Image Processing. 2003. Vol. 12, iss. 6. P. 706-717.
11. Tao L., Asari K. V. An adaptive and integrated neighborhood dependent approach for nonlinear enhancement of color images // SPIE J. of Electronic Imaging. 2005. Vol. 14, № 4. P. 1.1-1.14.
12. Angela S., Asari V. K. A Locally tuned nonlinear technique for color image enhancement // WSEAS Trans. Signal Processing. 2008. Vol. 4, № 8. P. 514-519.
13. Прэтт У Цифровая обработка изображений: в 2 кн. Кн. 2 / пер. с англ. М.: Мир, 1982. 480 с.
14. Kvasir: a multi-class image dataset for computer aided gastrointestinal disease detection / K. Pogorelov, K. R. Randel, C. Griwodz, S. L. Eskeland, T. Lange, D. Johansen, C. Spampinato, D. Dang-Nguyen, M. Lux, P. T. Schmidt, M. Riegler, P. Halvorsen // MMSys. Proc. of the 8th ACM on Multimedia Systems Conf. 2017. P. 164-169. doi: 10.1145/3083187.3083212
15. Wang Z., Simoncelli E. P., Bovik A. C. Mul-tiscale structural similarity for image quality assessment // Conf. Record of the 37th Asilomar Conf. on Signals, Systems and Computers. Pacific Grove, California, 9-12 Nov. 2004. University of Illinois at Urba-na-Champaign: IEEE, 2004. Vol. 2. P. 1398-1402.
16. Rosenfeld A., Troy E. B. Visual texture analysis. Maryland: Computer Science Center, University of Maryland, 1970. 15 p.
17. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
Информация об авторе
Поздеев Александр Анатольевич - магистр по направлению "Радиотехника" (2017), аспирант, ассистент кафедры телевидения и видеотехники Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" им. В. И. Ульянова (Ленина). Автор более 20 научных работ. Сфера научных интересов - цифровая обработка изображений; прикладные телевизионные системы; колориметрия. Адрес: Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В. И. Ульянова (Ленина), ул. Профессора Попова, д. 5 Ф, Санкт-Петербург, 197022, Россия E-mail: puches4@gmail.com https://orcid.org/0000-0003-0003-4051
References
1. Huang T. S., Yang G. J., Tang G. Y. A Fast Two -Dimensional Median Filtering Algorithm. IEEE Trans. on Acoustics, Speech, and Signal Processing. 1979, vol. 27, iss. 1, pp. 13-18. doi:10.1109/TASSP. 1979.1163188
2. Banterle F., Corsini M., Cignoni P., Scopigno P. A Low-Memory, Straightforward and Fast Bilateral Filter Through Subsampling in Spatial Domain. Computer Graphics Forum. 2012, vol. 31, iss. 1, pp. 19-32. doi: 10.1111/j.1467-8659.2011.02078.x
3. Tomasi C., Manduchi R. Bilateral Filtering for Gray and Color Images. 6th Intern. Conf. on Computer vision, Bombay, India, 4-7 Jan. 1998. Piscataway, IEEE, 1998, pp. 839-846. doi: 10.1109/ICCV1998.710815
4. Buades A., Coll B., Morel J.-M. Neighborhood Filters and PDE's. Numerische Mathematik. 2006, vol. 105, no. 1, pp. 1-34.
5. Jin W., Qi J. An Improved Approximate K-Nearest Neighbors Nonlocal-Means Denoising
102 Метод повышения контраста медицинских видеоизображений с адаптивной
глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
Method with GPU Acceleration. Intelligent Science and Intelligent Data Engineering. 2012, vol. 7751, pp. 425-432.
6. Maggioni M., Foi A. Nonlocal TransformDomain Denoising of Volumetric Data with Groupwise Adaptive Variance Estimation. Proc. SPIE Electronic Imaging. 2012, vol. 8296, pp. 1-8. doi: 10.1117/12.912109
7. Agaian S., Silver B., Panetta K. Transform Coefficient Histogram Based Image Enhancement Algorithms Using Contrast Entropy. IEEE Trans. Image Process. 2007, vol. 16, iss. 3, pp. 741-758. doi: 10.1109/tip.2006.888338
8. Mukherjee J., Mitra S. K. Enhancement of Color Images by Scaling the DCT Coefficients. IEEE Trans. on Image Processing. 2008, vol. 17, iss. 10, pp. 17831794. doi: 10.1109/TIP.2008.2002826
9. Fattal R. Edge-Avoiding Wavelets and Their Applications // ACM Trans. Graphics. 2009. Vol. 28, iss. 3. P. 1-10. doi: 10.1145/1531326.1531328
10. Starck J.-L., Murtagh F., Candès E. J., Donoho D. L. Gray and Color Image Contrast Enhancement by the Curvelet Transform. IEEE Trans. on Image Processing. 2003, vol. 12, iss. 6, pp. 706-717.
11. Tao L., Asari K. V. An Adaptive and Integrated Neighborhood Dependent Approach for Nonlinear En-
hancement of Color Images. SPIE J. of Electronic Imaging. 2005, vol. 14, no. 4, pp. 1.1-1.14.
12. Arigela S., Asari V. K. A Locally Tuned Nonlinear Technique for Color Image Enhancement. WSEAS Trans. Signal Processing. 2008, vol. 4, no. 8, pp. 514-519.
13. Pratt W. K. Digital Image Processing. 3rd Ed. New York, Wiley, 2001, 722 p.
14. Pogorelov K., Randel K. R., Griwodz C., Es-keland S. L., Lange T., Johansen D., Spampinato C., Dang-Nguyen D., Lux M., Schmidt P. T., Riegler M., Halvorsen P. Kvasir: a Multi-Class Image Dataset For Computer Aided Gastrointestinal Disease Detection. MMSys. 2017, pp. 164169. doi: 10.1145/3083187.3083212
15. Wang Z., Simoncelli E. P., Bovik A. C. Mul-tiscale Structural Similarity for Image Quality Assessment. Conf. Record of the 37th Asilomar Conf. on Signals, Systems and Computers, Pacific Grove, California, 9-12 Nov. 2004, University of Illinois at Urbana-Champaign, IEEE, 2004, vol. 2, pp. 1398-1402.
16. Rosenfeld A., Troy E. B. Visual Texture Analysis. Maryland, Computer Science Center, University of Maryland, 1970, 15 p.
17. Gonzalez R. C., Woods, R. E. Digital Image Processing. 2nd Ed. New Jersey, Prentice Hall, 2002, 976 p.
Information about the author
Alexander A. Pozdeev, Master on Radio Engineering (2017), PhD Student, Assistant of the Department of Television and Video Equipment of Saint-Petersburg Electrotechnical University. The author of more than 20 scientific publications. Area of expertise: digital image processing; applied television systems; colorimetry. Address: Saint Petersburg Electrotechnical University, 5 F, Professor Popov St., St Petersburg 197022, Russia E-mail: puches4@gmail.com https://orcid.org/0000-0003-0003-4051
Метод повышения контраста медицинских видеоизображений с адаптивной 103
глубиной коррекции для систем поддержки врачебных решений A Method for Enhancing the Contrast of Medical Video Images with Adaptive Correction Depth for Clinical Decision Support Systems
