CC BY
36
Доклады БГУИР
2015 № 3 (89)
УДК 004.932.4
МЕТОД ТОНАЛЬНОЙ КОМПРЕССИИ И АЛГОРИТМЫ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ПРИ ИНТЕНСИВНОЙ ВНЕШНЕЙ ЗАСВЕТКЕ
А.В. СЫЧЁВ, А.А. СТЕПАНОВ, А.Г. СМИРНОВ, *К. БЛАНКЕНБАХ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Республика Беларусь
*Университет г. Пфорцхайма, Технический факультет Тифенброннер Штрассе,65, Пфорцхайм, 75155, Германия
Поступила в редакцию 27 октября 2014
Разработаны метод тональной компрессии и алгоритмы обработки отображения графической информации на жидкокристаллических дисплеях, позволяющие улучшить удобочитаемость отображаемой информации на автомобильных дисплеях в условиях интенсивной внешней засветки. Представлены результаты исследования разработанных алгоритмов с помощью визуального анализа тестовых фотоизображений.
Ключевые слова: ЖКД, внешняя засветка, улучшение изображения, тональная компрессия, цветокоррекция.
Введение
Отражение окружающего света от поверхности жидкокристаллических дисплеев (ЖКД) значительно ухудшает его оптические характеристики, в частности, контраст (параметр, определяющий отношение максимальной яркости Хшах, которая может быть отображена на дисплее, к минимальной яркости £шп), различимость градаций серого и цветопередачу [1]. Поиск решения названной проблемы особенно актуален для портативных и автомобильных ЖКД (рис. 1, слева), в устройствах отображения информации в кабине самолетов (рис. 1, справа) и некоторых других применениях.
Рис. 1. Примеры использования ЖКД в авто- и авиапромышлености
Как видно из рис. 1, ЖКД для считывания информации водителем автомобиля и пилотом самолета должны быть удобочитаемыми в условиях наружного освещения, так как ЖКД служит интерфейсом при управлении тех либо иных устройств, включая радио, навигатор, кондиционер и т.д. При этом на скорость считывания информации влияют
параметры самого дисплея (например, максимальная яркость при наружной эксплуатации), которые должны быть приняты во внимание при использовании ЖКД. Эти параметры необходимо учитывать при разработке алгоритмов, что позволяет оптимально скорректировать изображение определенного ЖКД и условия его применения.
Основной целью данной работы является улучшение качества воспринимаемого изображения при помощи алгоритмов тональной компрессии и цветокоррекции при яркой наружной засветке. В разработанных алгоритмах по методике тональной компрессии с цветокоррекцией под названием AL/L и ДЕ учитываются как интенсивность наружной засветки (Eambient), так и параметры самого ЖКД, такие как Lmm, Lmax, коэффициент отражения (R) и параметры цветности, включая красный, зеленый и синий цвета (RGB) пикселей ЖКД. При этом входящие параметры ЖКД довольно легко учитываются алгоритмом, что позволяет без дополнительных модификаций использовать их с различными ЖКД.
Разработка методики и алгоритмов
Повышение качества восприятия изображения осуществляется при помощи корректировки тонов градации серого (англ. Graylevel, GL), описанной в литературе [2] и [3]. Максимальное количество градаций серого содержит 256 ступеней, что определяется 8-битной (28) разрядностью шины данных для каждого цвета. Градация серого на ЖКД получается при смешивании трех цветов: красного, зеленого и синего в одинаковой пропорции (рис. 2).
(0,0,0) (51,51,51) (85,85,85) (119,119,119)
(136Д36Д36) (187,187,187) (221,221,221) (255,255,255)
Рис. 2. Примеры градации серого, включая минимальную (черный 0,0,0) и максимальную (белый 255,255,255)
Корректировка градаций серого называется тональной компрессией (от англ. Tone Mapping) [4]. Тональную компрессию принято применять для нижних тонов градации серого от 0 до 125, что приводит к уменьшению количества более высоких тонов от 125 до 255.
По результатам предварительных исследований [5] установлено, что стандартные алгоритмы, использующие такой подход, не дают оптимального решения для авто- и авиа ЖКД, так как на этих дисплеях в большинстве случаев используются изображения с не фотореалистичной передачей. Проблема использования стандартных алгоритмов заключается в том, что они оптимизированы для видео- и фотореалистичной передачи изображения, что исключает возможность учета влияния таких параметров ЖКД, как Lmm и Lmax, R, трехцветность. В дисплеях трехцветность задается таблицей элементов цветовых коэффициентов в размере 3^3, т.е. каждый цвет задается тремя параметрамиXYZ. Кроме того, в известных алгоритмах также не учитывается интенсивность наружной засветки (Eambient). Эти алгоритмы специализируются на корректировке яркости самого изображения, используя его гистограмму [6].
Исследовано два алгоритма тональной компрессии, которые базируются на основных яркостных соотношениях, применяемых в метрологии ЖКД [7], включая соотношение AE и AL.
Mi =V (AI*)2 + (Am*)2 + (Av)2, (1)
где AEuv* - цветовое отличие по CIE LUV, AL - разница между яркостью двух соседних тонов градации серого Ln+1, Ln, n - текущая градация серого, n+1 - следующая градация серого, Au*, Av* - цветовые координаты, которые при манипуляции яркости не учитываются.
Методика разработки алгоритма АЕ заключается в корректировке яркости изображения в сторону ее увеличения до тех пор, пока не будет достигнуто максимально допустимое соотношение АЕ = 1, так как в этом случае глаз еще не способен отличить конечные оттенки цвета от начальных. При АЕ > 1 (по формуле цветового отличия CIE LUV 1976 [8]) человеческий глаз уже фиксирует цветовое отличие исходного изображения с конечным. Таким образом, алгоритм способен приближать значения двух соседних тонов градации серого до АЕ = 1 путем изменения яркости изображения с учетом параметров отображения ЖКД при ярком наружном освещении (рис. 3, слева).
Методика разработки алгоритма AL/L заключается в приведении отношения AL/L (где AL и L вычислены с учетом внешней засветки) к отношению ALd/Ld, которое вычислено для параметров ЖКД в темной комнате:
AL(n L»+i ~L" -AL.
L { n} = ^ 4+1 + L j= Ld- (2)
При условии (2) достигается возможность различать тона градаций серого (аналогия с законом Вебера-Фехнера [9]).
При внешней засветке соотношение AL/L (рис. 3, справа) значительно ниже (красная и зеленая линия) отношения, полученного в условиях темной комнаты (синяя линия), для низких тонов градации серого. Результатом работы алгоритма AL/L является повышение яркости изображения в условиях внешней засветки, причем AL/L после корректировки по возможности должно быть равным ALd/Ld.
С учетом вышеизложенного, основной задачей тональной компрессии является корректировка низких тонов градации серого для лучшего восприятия изображения в условиях яркой внешней засветки. Очевидно, что результаты использования обоих методик, описанных выше, зависят от яркости дисплея.
АЕ Результат ДЕ алгоритма AL Результат AL/L алгоритма
О 50 100 150 200 250 0 50 100 150 200 250 GL GL
Рис. 3. Результаты алгоритмов АЕ (слева) и AL/L (справа)
Необходимо отметить, что при коррекции исходной яркости может наблюдаться изменение оригинального цвета из-за непропорционального увеличения яркости красного, зеленого и синего цветов, которого можно избежать, корректируя координаты цветности без значительного изменения яркости. С другой стороны, когда яркость самого субпикселя уже достигает предела, например, яркость зеленого 255, необходимо изменять координаты цветности, в этом случае необходимо искать оптимальный компромисс между яркостью и оригиналом цвета.
Оба алгоритма имеют общий недостаток, который заключается в «отсечении» светлых тонов - клиппинг (от англ. Clipping). На рис. 4 этот нежелательный эффект показан резким изгибом после применения АЕ и AL/L алгоритмов. Начиная с 225-й градации серого исходного изображения (GLin) скорректированные уровни соответствуют максимальному 255-му уровню градации серого (GLout), иными словами, градации на изображении не различимы в диапазоне с 225-й по 255-ю, так как имеют одинаковую яркость. Таким образом, при использовании двух
алгоритмов диапазон низких уровней градации серого расширяется, а высокие уровни сжимаются, что приводит к клиппингу.
Избежать нежелательного эффекта клиппинга удается при аппроксимации скорректированных значений уровней градации серого ОЬп показательной функцией:
01 — оь
где а - подгоночный коэффициент.
(3)
Рис. 4. Применение ОЬа алгоритма для избежания клиппинга
Из рис. 4 видно, что функция GLа хорошо описывает кривую, полученную с помощью ДЬ/Ь алгоритма, для низких уровней градации серого, что позволяет установить уровень градации серого, с которого кривая, полученная с помощью алгоритма ДЬ/Ь, заменяется на кривую, полученную с помощью функции GLа. Отсутствие уровней градации серого с одинаковой яркостью исключает возникновение клиппинга (рис. 4). Сам же алгоритм ОЬа не может быть использован для корректировки изображения, так как он не включает в себя никаких параметров ЖКД и внешней засветки.
Параметры ЖКД используются авторами для вычисления яркости каждого уровня градации серого. Это позволяет установить яркость в темной комнате и при наружной засветке. Оба вычисления используют следующую формулу:
Т — 0Г *( Т - Т ) + Т + Т
ьОЬ — оь (Ьтах Ьтп > ^ Ьтп ^ Ьг
'тА?
(4)
где у - гамма-коррекция (коррекция яркости цифрового изображения [10]) уровня градации серого, ЬгеА - яркость отражение наружной засветки от поверхности дисплея.
В теории для диффузного отражения ЬгеА вычисляется по следующей формуле:
I? * Е
т _ ? ЕашЫеМ
ЬгеА —
К
(5)
где Я - диффузный коэффициент отражения, ЕашЫеш - интенсивность наружной засветки.
Авторы предлагают вместо теоретического диффузного отражения Ьгф использовать параметр Ь^а, который можно измерить для применяемого дисплея. Таким образом, учитываются коэффициент отражения и интенсивность наружной засветки, а формула диффузного отражения не подходит, так как она может быть использована только для идеально диффузной поверхности.
Результаты и их обсуждение
Для анализа работы алгоритмов ДЕ и ДЬ/Ь визуально оценивалось качество исходного изображения (рис. 5) с корректированным изображением, полученным при помощи исследуемых алгоритмов. Изображение должно содержать участки с максимальной яркостью,
при этом градация серого составляет 255 и алгоритмы не могут увеличить яркость цвета с различной яркостью, с мелкими деталями и минимальной яркостью, которые при внешнем освещении сливаются в одно темное пятно с различными цветами. Кроме того, немаловажно принять во внимание и наличие артефактов после применения алгоритмов. Под артефактом подразумеваются заметные искажения изображения, вызываемые после сжатия или преобразования. В качестве изображения использовалась фотография Стенфордской мемориальной церкви (рис. 6) [10], которая оптимально подходит для оценки алгоритмов, так как содержит все перечисленные выше критерии [11].
Рис. 5. Фотоснимок оригинального изображения
Результаты двух алгоритмов без и с цветокоррецией представлены на рис. 6. На изображениях отчетливо заметно, что модифицированное изображение намного ярче оригинала (рис. 5). Плохо разборчивые детали стали четче после коррекции, особенно после применения АЬ/Ь алгоритма (рис. 6, справа).
Рис. 6. Модифицированное изображение после применения АЕ и АЬ/Ь алгоритмов
Из рисунка также видно, что текстуры в местах максимальной яркости более заметны после применения цветокоррекции.
Заключение
Показано, что отражение от поверхности ЖКД яркой внешней засветки заметно ухудшает качество отображаемой информации. Разработаны два алгоритма, которые изменяют яркость изображения в зависимости от наружной засветки, которая отражается от ЖКД. Таким методом изображение делается таким, как его воспринимает человек в темной комнате. Для достижения поставленной цели используются параметры самого дисплея наряду с параметрами наружной засветки. При этом разработанные авторами алгоритмы учитывают также уже существующие законы, например, такие как порог различия и закон Вебера-Фехнера.
Визуальная оценка модифицированных изображений дает позитивные результаты, так как такие изображения становятся ярче, а их детали - более различимыми. Как и предполагалось, оба алгоритма показали разные результаты, при этом алгоритм ДЕ, в отличие от ДЬ/L, не так сильно влияет на низкие тона градации серого. Применение цветокоррекции восстанавливает цветовые координаты и картинка становится более контрастной.
TONE MAPPING METHOD AND IMAGE PROCESSING ALGORITHMS UNDER
BRIGHT AMBIENT LIGHTING
A.V. SYCEV, A.A. STEPANOV, AG. SMIRNOV, K. BLANKENBACH
Abstract
The algorithms for image enhancement under bright ambient light condition on the display surface, which optimizes the viewing experience on mobile and automotive displays, were developed. The tone mapping algorithms AL/L and AE with color rendering take into account not only the intensity of ambient illuminance, but also the parameters of the display itself. Display options are quite easy to integrate into the algorithm. This publication shows detailed work of algorithms, as well as provides results of applying algorithms on an image.
Список литературы
1. XuX., Kerofsky L. // J. Soc. Info. Display. 2011. Vol. 19/9. P. 645-653.
2. GrundlandM., Dodgson N. Decolorize: fast, contrast enhancing, color to grayscale conversion. Cambridge, 2009.
3. Devlin K. A review of tone reproduction techniques. Bristol, 2002.
4. Wu X // IEEE Transactions on Image Processing. 2011. Vol. 20/5. P. 1262-1272
5. Blankenbach K., Sycev A., Kurbatfinski S. et. al // Digest of SID. 2014 Vol. 45/1. P. 595-598.
6. Murase M, Saitoh H. // Proceedings 18th International Display Workshops. IDW'11. 2011. P. 1019-1022.
7. SID ICDMIDMS: 2012 Information display measurements standard.
8. Sharma G., Wu W., Dalal E. // Color Research and Application. 2005. Vol. 30/1. P. 21-30.
9. KyktaM. // Digest of SID. 2008. Vol. 39/1. P. 1336-1338.
10. MantiukR., Myszkowski K., SeidelH. // ACM Transactions on Applied Perception. 2006 Vol. 3/3. P. 286-308.
11. Poynton C. Frequently Asked Questions about Gamma. [Электронный ресурс]. - Режим доступа: www.poynton.com/PDFs/GammaFAQ.pdf. Дата доступа: 11.10.2014.
