1Известия Кабардино-Балкарского научного центра РАН № 6(116) 2023
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.932 Научная статья
DOI: 10.35330/1991-6639-2023-6-116-160-166 EDN: MFQMMZ
Комбинированный метод выравнивания гистограммы изображений с высоким динамическим диапазоном
М. А. Казаков
Институт прикладной математики и автоматизации -филиал Кабардино-Балкарского научного центра Российской академии наук 360000, Россия, г. Нальчик, ул. Шортанова, 89 А
Аннотация. При работе с сырыми изображениями, полученными непосредственно с матрицы оборудования, возникают специфические проблемы, связанные с большим динамическим диапазоном. В работе предлагается комбинированный метод исправления гистограммы, позволяющий существенно улучшить контрастность таких сырых изображений с большим динамическим диапазоном. В комбинированном методе производится мягкое отсечение засветов на гистограмме при помощи алгоритма кластеризации, основанного на разбиении пространства признаков и гамма-коррекции отсекаемой области. Используемый алгоритм кластеризации хорошо справляется с выявлением точки отсечения как при наличии засветов на изображении, так и при их отсутствии. В методе также производится слабое подчеркивание границ на основе фильтров Собеля. Для улучшения гистограммы используется хорошо известный метод Contrast Limited Adaptive Histogram Equalization. При этом применяется комбинация преобразований с различными размерами сетки, что позволяет добиться гораздо лучших результатов, чем при подборе одного оптимального преобразования. Указанные алгоритмы подробно описаны и приведены иллюстрации для сравнения.
Ключевые слова: гистограмма, выравнивание гистограммы, рентгеновские изображения, обработка изображений, повышение контраста, кластеризация
Поступила 30.10.2023, одобрена после рецензирования 21.11.2023, принята к публикации 28.11.2023
Для цитирования. Казаков М. А. Комбинированный метод выравнивания гистограммы изображений с высоким динамическим диапазоном // Известия Кабардино-Балкарского научного центра РАН. 2023. № 6(116). С. 160-166. DOI: 10.35330/1991-6639-2023-6-116-160-166
MSC: 68U10 Original article
A combined method for histogram equalization of high dynamic range images
M.A. Kazakov
Institute of Applied Mathematics and Automation -branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences 360000, Russia, Nalchik, 89 A Shortanov street
Abstract. When working with raw images obtained directly from the equipment matrix, specific problems arise associated with a large dynamic range. The paper proposes a combined histogram correction method that can significantly improve the contrast of such raw images with a large dynamic range. In the combined method, soft clipping of highlights in the histogram is performed using a clustering algorithm based on partitioning the feature space and gamma correction of the clipped area. The clustering algorithm used manages to identify the cutoff point, both in the presence and absence of highlights in the image. The
© Казаков М. А., 2023
method also produces weak edge accentuation based on Sobel filters. To improve the histogram, the well-known Contrast Limited Adaptive Histogram Equalization method is used. In this case, a combination of transformations with different mesh sizes is used, which allows one to achieve much better results than when selecting one optimal transformation. These algorithms are described in detail and illustrations for comparison are provided.
Keywords: histogram, histogram equalization, x-ray images, image processing, contrast enhancement, clustering
Submitted 30.10.2023, approved after reviewing 21.11.2023, accepted for publication 28.11.2023
For citation. Kazakov M.A. A combined method for histogram equalization of high dynamic range images. News of the Kabardino-Balkarian Scientific Center ofRAS. 2023. No. 6(116). Pp. 160-166. DOI: 10.35330/1991-66392023-6-116-160-166
Введение
При работе с сырыми изображениями, получаемыми непосредственно с матрицы оборудования (например, рентгеновского), возникают задачи исправления гистограммы и улучшения контрастности. В частности, области засвета, которым соответствует очень высокая интенсивность пикселей, делают информативную область очень тусклой. В информативной области изображения интенсивности пикселей могут лежать близко друг к другу в сравнении с динамическим диапазоном, что делает изображение неразборчивым. Для решения этих проблем и улучшения представления изображения разработано множество методов [1, 2]. В данной работе предлагается комбинированный метод обработки сырого изображения, позволяющий произвести редукции засвеченной области, выравнивание гистограммы, улучшение контрастности и детализации.
Подобная обработка изображения важна не только для улучшения восприятия изображения человеком, но также необходима при работе с автоматизированным анализом данных. Для этих целей могут быть использованы более специфические методы [4-8].
В основе метода лежат Contrast Limited Adaptive Histogram Equalization (CLAHE) и алгоритм кластеризации на основе разбиения пространства признаков.
Формализация задачи
Изображение может быть определено как двумерная функция f(x, у), где х и у представляют собой пространственные координаты, а значение функции для каждой пары координат характеризует интенсивность или уровень серого изображения в точке. Для цифрового изображения интенсивность и значения координат являются дискретными и ограниченными. Интенсивность при этом должна быть также неотрицательной. Число дискретных уровней интенсивности L определяется как 2к, где к - целое положительное число, соответствующее количеству бит, отведенному для хранения значения интенсивности.
Преобразование изображения в общем случае может быть представлено выражением
д(х,у) = T[f(x,y)l
где f(x,y) - входное изображение, д(х,у) - выходное изображение, Т представляет собой оператор, действующий на значения /, определенные в некоторой окрестности точки (х, у). Минимально возможная окрестность имеет размер 1x1. В этом случае д зависит только от значения f в единственной точке (х, у) и оператора Т и представляет собой функцию преобразования интенсивности:
s = Т(г),
где для упрощения обозначений используются символы s и г, соответствующие интенсив-ностям д и f для каждой точки (х, у).
Обозначим через гк, где к = 0,1,2, ...,L — 1, значения интенсивности L-уровневого цифрового изображения f(x, у). Ненормализованная гистограмма изображения f определяется как h(rk) = пк, где пк - число пикселей в изображении с интенсивностью гк. Нормализованная гистограмма определяется как
, . = h(rk) = пк Р(Гк) = MN = MN'
где М и N - высота и ширина изображения. Сумма р(гк) для всех к равна 1. Компоненты р(гк) представляют собой оценки вероятностей обнаружения уровней интенсивности на изображении.
Выравнивание гистограммы
Предположим, что значения интенсивности г лежат в диапазоне [0, L — 1], где г = 0 соответствует черному цвету, а г = 1 - белому. Рассмотрим преобразование интенсивности Т, удовлетворяющее условиям:
1) Т(г) - строго монотонная возрастающая функция в диапазоне 0 < г < L — 1;
2) 0< T(r) < L — 1 для 0<r<L — 1.
Данные условия гарантируют, что выходное значение интенсивности не будет меньше входного и не выйдет за пределы диапазона входных значений.
Интенсивность изображения может быть рассмотрена как случайная величина в интервале [0, L — 1]. Обозначим рг (г) и ps (s) - плотности вероятности интенсивности значений г и s в двух различных изображениях. Индексы при р введены для обозначения того, что рг и ps - разные функции. Тогда в соответствии с методом замены переменной (change-of-variable technique), если Т(г) является непрерывной и дифференцируемой во всем диапазоне функцией, то плотность вероятности интенсивности s может быть выражена
Ps(s) = pr(T-1(s))\^-s(T-1(s)) Рассмотрим следующую функцию преобразования:
= Рг(г)
dr
ds
= T(r) = (L — l) Í pr(x)dx. Jo
Интеграл в правой части представляет функцию распределения (cumulative distribution function - CDF) случайной величины г. По правилу Лейбница можно записать
ds
~dx= 1)Рг(г)-
В результате для плотности вероятности случайной величины s на всем диапазоне 0 < s < L — 1 получим
1
Ps(s) = —
Таким образом, в результате преобразования Т(г) мы получаем равномерное распределение плотности вероятности ps(s) на всем диапазоне интенсивностей. Из этого следует, что CDF, который выражается как интеграл от плотности вероятности, будет представлять собой прямую.
s
Если переменные г и s принимают только дискретные значения 0,1,2, ...,L — 1, то функцию преобразования Т(г) можно записать так:
Т(г) = floor ((L - 1) ^ рг(к) ),
к=0
где оператор floor округляет вещественное число, оставляя целую часть.
На рисунке 1 изображены гистограммы и CDF исходного изображения и результирующего изображения с выровненной гистограммой:
Рис. 1. Гистограммы Fig. 1. Histograms
CLAHE
Описанный способ производит глобальное выравнивание гистограммы для всего изображения, что в некоторых случаях работает вполне хорошо. Однако в большинстве случаев такое выравнивание приводит к улучшению результата в отдельных областях изображения и ухудшению в других. Для более деликатного результата используется адаптивное выравнивание гистограммы (adaptive histogram equalization - AHE) [9]. В этом методе изображение разбивается на контекстуальные блоки, внутри которых по отдельности производится выравнивание гистограммы. Изображение разбивается сеткой контекстуальных областей, в которых вычисляется оптимальное значение контраста. В результате такого выравнивания на границах блоков могут образоваться перепады интенсивности [10]. Во избежание этого применяется билинейная интерполяция.
AHE позволяет получить существенно более качественный результат, однако побочным эффектом на изображении усиливается фоновый шум, присутствующий на однородных участках. Для решения этой проблемы был предложен метод Contrast Limited Adaptive Histogram Equalization (CLAHE), который является модификацией метода AHE. Проблему с шумом, проявляющимся в AHE, можно побороть за счет ограничения усиления контраста, в частности, на однородных участках изображения. Эти участки характеризуются высоким пиком на гистограмме блока, так как много пикселей однородной области попадают в узкую область гистограммы. На диаграмме CDF такие участки характеризуются наиболее крутым склоном. В методе CLAHE производится отсечение гистограммы на некоторой высоте, а пиксели, попавшие в область отсечения, перераспределяются по оставшейся области гистограммы. В результате такой трансформации угол максимального наклона на диа-
грамме CDF будет ограничен. После такой предобработки в результате выравнивания гистограммы шумы будут контрастированными в значительно меньшей степени. Уровень отсечения задается коэффициентом контрастирования [11].
Мягкое отсечение flare
Специфика проблемы заключается в том, что, во-первых, область засвета не всегда присутствует на изображении, а во-вторых, его расположение на гистограмме может быть произвольным для разных изображений, даже если они получены на одном и том же оборудовании. Поэтому алгоритм должен уметь эффективно определять наличие либо отсутствие засвета, а также, при его наличии, уметь достаточно точно оценить его расположение на гистограмме.
Для отсечения областей засвета используется упрощенный алгоритм кластеризации на основе разбиения пространства признаков [12]. В общем случае алгоритм работает для произвольной размерности пространства признаков. В данном случае работа ведется над одномерным пространством гистограммы, что позволяет оставить в стороне некоторые элементы общего алгоритма. Идея заключается в следующем. Области засвета характеризуются высоким пиком в правой области гистограммы, слева от которого располагается пустая зона с низкими значениями. Содержательная часть изображения сконцентрирована слева от пустой зоны. Рассматриваемый метод кластеризации, основанный на анализе плотности, позволяет объединить в кластер содержательную часть изображения и довольно уверенно оценить его правую границу. Далее можно произвести мягкое отсечение, которое уберет области засвета и при этом сохранит информативность, которая может оставаться правее границы.
Вот пошаговое описание алгоритма редукции областей засвета:
1. Гистограмма разбивается на N интервалов (24 является довольно оптимальным выбором).
2. Выбирается первый интервал путем перебора интервалов, начиная с индекса 0. Первым будет интервал, значение которого превышает заданный порог плотности. Этот интервал инициализирует кластер.
3. Начиная с первого интервала, по гистограмме перемещается рамка, охватывающая 3 интервала. На каждой позиции вычисляется среднее от значений интервалов. Рамка смещается вправо, расширяя кластер, до тех пор, пока среднее значение интервалов не станет меньше заданного порога плотности.
4. Правая граница сформированного кластера принимается за точку отсечения t. Производится мягкое отсечение правой части гистограммы. Это осуществляется путем гамма-коррекции всех пикселей, интенсивность которых превышает точку отсечения (т.е. для г > t):
s = (г - t)y + t.
Комбинированный алгоритм
Для эффективного исправления гистограммы и улучшения качества изображений предлагается комбинированный алгоритм. На первом этапе производится мягкое отсечение за-светов. На втором этапе вычисляются свертки, полученные оператором Sobel [13], и накладываются с дисконтирующим коэффициентом на результат, полученный на первом этапе. Такое слабое подчеркивание границ позволяет добиться лучшего результата на третьем этапе. На третьем этапе производится выравнивание гистограммы путем комбинирования нескольких преобразований CLAHE с различными размерами сетки разбиения и контрастирующего коэффициента. Количество преобразований CLAHE задается параметром depth. Эмпирическим путем было получено, что лучшие результаты достигаются при выборе базового преобразования CLAHE с размером сетки, равным 6 (depth = 1), при котором на каждом шаге глубины размер сетки удваивается. Оптимальный результат получается при depth, равном 4. Увеличение глубины сопровождается повышением детализации изображения, но
при этом сопровождается увеличением времени работы алгоритма и усилением шумов. Образец обработки изображения можно увидеть на рисунке 2: здесь представлены исходное изображение, полученное от рентгеновского оборудования, результаты обработки при depth = 4 и depth = 8.
а) б) в)
Рис. 2. а) Исходное изображение; б) depth=4; в) depth=8 Fig. 2. a) Original image; b) depth=4; c) depth=8
Заключение
Предлагаемый комбинированный метод позволяет эффективно улучшить контраст raw изображения, получаемого на матрице оборудования, и добиться высокой детализации за счет редукции областей засвета и комбинации преобразований CLAHE. Метод подходит для обработки 8bit изображений, однако более значимых результатов можно достичь на изображениях, динамический диапазон которых гораздо шире (e.g. 14bit or 16bit). Регулируя глубину, можно добиться различных уровней детализации. Следует, однако, иметь в виду, что высокая детализация требует больше вычислительных ресурсов и сопровождается некоторым усилением шумов.
REFERENCES
1. Vijayalakshmi D., Nath M.K., Acharya O.P. A comprehensive survey on image contrast enhancement techniques in spatial domain. Sensing and Imaging. 2020. Vol. 21. No. 1. P. 40. DOI: 10.1007/s 11220-020-00305-3
2. Woods R.E., Gonzalez R.C. Digital Image Processing. England: Pearson, 2021. 1022 с.
3. Jain A.K. Fundamentals of digital image processing. England: Pearson, 1989. 569 с.
4. Naidu S., Quadros A., Natekar A. et al. Enhancement of X-ray images using various Image Processing Approaches. International Conference on Technological Advancements and Innovations. Tashkent, 2021. Pp. 115-120. DOI: 10.1109/ICTAI53825.2021.9673317
5. Ishigami R., Zin T.T., Shinkawa N., Nishii R. Human identifi cation using X-Ray image matching. Proceedings of the International Multi Conference of Engineers and Computer Scientists. Hong Kong. 2017.
6. Rajpurkar P., Irvin J., Zhu K. et al. Chexnet: Radiologist-level pneumonia detection on chest x-rays with deep learning. 2017. arXiv URL preprint arXiv:1711.05225.
7. Costa M.V.L., Aguiar E.J. A Deep Learning-based Radiomics Approach for COVID-19 Detection from CXR Images using Ensemble Learning Model. XXXVIInternational Symposium on Computer-Based Medical Systems. L'Aquila, Italy, 2023. Pp. 517-522. DOI: 10.1109/CBMS58004.2023.00272
8. Radvansky M., Kudelka M., Kriegova E. Process of finding human knee in image based on multiple weighted thresholding and histograms of gradients. XXIV International Carpathian Control Conference. Miskolc-Szilv'asv'arad, Hungary, 2023. Pp. 358-363. DOI: 10.1109/ 10.1109/ICCC57093.2023.10178913
9. Pizer S.M., Amburn E.P., Austin J.D. Adaptive histogram equalization and its variations. Computer Vision, Graphics, and Image Processing. 1987. Vol. 39. Pp. 355-368. DOI: 10.1016/S0734-189X(87)80186-X
10. Cromartie R., Pizer S.M. Edge-affected context for adaptive contrast enhancement. Proceedings of the XLLTH International Meeting on Information Processing in Medical Imaging: Lecture Notes in Computer Science. Berlin: Springer-Verlag. 1991. Pp. 474-485. DOI: 10.1007/BFb00337
11. Zuiderveld K.J. Contrast limited adaptive histogram equalization. Graphics gems. 1994. Pp. 474-485. DOI: 10.1016/B978-0-12-336156-1.50061-6
12. Kazakov M.A. Clustering Algorithm Based on Feature Space Partitioning. International Russian Automation Conference. 2022. Pp. 399-403. DOI: 10.1109/RusAutoCon54946.2022.9896314
13. Sobel I. An Isotropic 3x3 Image Gradient Operator. Presentation at Stanford A.I. Project 1968. 2014.
Информация об авторе
Казаков Мухамед Анатольевич, мл. науч. сотр. отдела нейроинформатики и машинного обучения, Институт прикладной математики и автоматизации - филиал Кабардино-Балкарского научного центра Российской академии наук;
360000, Россия, г. Нальчик, ул. Шортанова, 89 А;
kasakow.muchamed@gmail.com, ORCID: https://orcid.org/0000-0002-5112-5079
Information about the author
Kazakov Mukhamed Anatolievich, Junior Researcher of the Department of Neuroinformatics and Machine Learning, Institute of Applied Mathematics and Automation - branch of Kabardino-Balkarian Scientific Center of the Russian Academy of Sciences;
360000, Russia, Nalchik, 89 A Shortanov street;
kasakow.muchamed@gmail.com, ORCID: https://orcid.org/0000-0002-5112-5079
