Применение пространственных методов улучшения изображений на видеопоследовательностях Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.021

ПРИМЕНЕНИЕ ПРОСТРАНСТВЕННЫХ МЕТОДОВ УЛУЧШЕНИЯ ИЗОБРАЖЕНИЙ НА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯХ

А.А. Белоусов, В.Г. Спицын

Томский политехнический университет E-mail: [email protected]

Исследована применимость методов обработки изображений на основе модели Illuminance-Reflectance и выравнивания гистограмм для обработки видеоданных. Произведена модификация указанных методов для применения в режиме реального времени. Применение указанных методов позволяет значительно улучшить такие показатели кадров в видеопоследовательности, как количество и интенсивность краевых пикселей и уровень адаптации к зрению человека по яркости.

Ключевые слова:

Модель освещенность-отраженность, выравнивание гистограмм, улучшение видеопоследовательностей.

Key words:

Illuminance-Reflectance model, histogram equalization, video enhancement.

Введение

Видеозаписи являются неотъемлемой частью современного мира. Бытовые видеокамеры, камеры потокового вещания, системы видеонаблюдения, контроля качества, машинного зрения - все эти устройства используются ежедневно для получения, записи и передачи видеопоследовательностей. Однако очень часто из-за несовершенства технических устройств или сложных условий среды качество получаемых видеозаписей является недостаточным для полноценного использования.

Подобная ситуация сложилась и в области создания цифровых изображений, однако в настоящий момент разработано множество разнообразных методов улучшения изображений, первые из которых были представлены еще в середине XX в. При этом, несмотря на кажущуюся схожесть методов улучшения статических изображений и видеопоследовательностей, ввиду значительно большего объема последних и ряда других их особенностей на методы повышения качества видеозаписей накладываются более строгие ограничения. В первую очередь это касается их вычислительной сложности. В ряде случаев обязательной является возможность применения таких методов в реальном времени, при этом на обработку одного кадра отводится не более 45 мс.

В данной статье рассматриваются два пространственных метода улучшения изображений - выравнивание гистограмм и улучшение на основе модели Шиштапсе-Кейес1;апсе. Оба этих метода позволяют эффективно улучшать качество изображений. Кроме того, оба являются достаточно быстродействующими и детерминированными, а значит, потенциально, могут быть использованы для улучшения видеопоследовательностей. В работе изучаются свойства этих методов, а также производится их адаптация для применения на видеозаписях.

Повышение четкости изображения с использованием модели Шит1папсе-КеАес1апсе

Описание метода

Модель Освещенность-Отраженность (Шишь папсе-ЯеАес1:апсе, 1-Я.) - это физическое описание формирования карты яркостей точек в реальных сценах. Она разделяет яркость объекта на две части:

1. Освещенность - интенсивность света, падающего на объект.

2. Отраженность - отражающая способность поверхности объекта.

Такое разделение освещенности и отраженно-сти позволяет производить улучшение изображений с учетом физических особенностей формирования изображений.

Один из методов обработки на основе такой модели был представлен в [1]. Схема предложенного в этой работе алгоритма представлена на рисунке. Помимо перевода изображения в яркостное представление и обратно этот метод включает 4 основных этапа.

На первом этапе производится вычисление освещенности и отраженности на основе имеющейся таблицы яркостей точек. Принято считать, что яркость каждой точки изображения является произведением освещенности и отраженности:

I (х, у) = Ь (х, у )Я (х, у), (1)

где Л(х,у) и Цх,у) - отраженность и освещенность точки с координатами (х,у) соответственно, а 1(х,у) - яркость этой точки.

Кроме того, предполагается, что освещенность представляет собой низкочастотные компоненты изображения, в то время как отраженность - высокочастотные. Это предположение основано на том, что отраженность на изображении изменяется значительно быстрее, нежели освещенность, поскольку количество источников света в реальных сценах

значительно меньше, нежели количество объектов. Из этого правила есть некоторые исключения, такие как границы теней, в которых происходит резкая смена освещенности, однако в упрощенной модели ими можно пренебречь.

G (x, у) = q • exp

где q - нормирующий коэффициент:

-(x2 + 72)'

SZq-exp

= 1,

(3)

(4)

(Windowed inverse sigmoid, WIS). Функция сигмоида определяется как

1

f (v) =

1 + e-

Эта функция применяется для сжатия диапазона освещенностей в соответствии с формулами (5)-(7):

Ь ' = Ь[/(Чпт ) - /(Чл1„)] + /(^шт ), (5)

L ”=aln (L-11,

Lenh

(6)

(7)

Рисунок. Схема —Н алгоритма

Существуют различные методики вычисления освещенности точки [2, 3]. В описываемом алгоритме было выбрано применение низкочастотного фильтра Гаусса к таблице яркостей. В пространственном представлении этот фильтр является дискретной двумерной сверткой с Гауссовым ядром:

М-1N-1

Ц х, у) = ХХ7 (т, п)0 (т + х, п + у), (2)

т=0п=0

где L - освещенность точки, I - ее яркость в исходной таблице, а G - двумерная функция Гаусса размером ЫхК Функция G определяется как

Сжатие проходит в 3 этапа. На первом этапе по формуле (5) исходный диапазон нормализованной освещенности [0, 1] проецируется на входной диапазон функции ^З^у^/у,*)]. Затем при помощи соотношения (6) происходит преобразование полученных освещенностей с помощью ШЗ. Заключительным этапом является обратная проекция освещенностей точек на исходный диапазон [0, 1] по формуле (7).

Параметры у,™ и у,* влияют на форму преобразования, тем самым позволяя задавать степень сжатия динамического диапазона. Параметры ушах, у,™ и а могут быть выбраны пользователем для настройки сжатия динамического диапазона. В [1] были протестированы различные наборы этих параметров, и был сделан вывод, что параметры ушах и а должны быть равны 3 и 1 соответственно, а параметр у™ следует выбирать адаптивно в зависимости от изображения. Также был предложен следующий вариант выбора параметра у,;

v • =

-6, Im < 70 L - 70

х 3 - 6,70 < Im < 150

а с - константа, определяющая ширину фильтра.

После вычисления освещенности по формуле (2) происходит вычисление отраженности по формуле (1).

На следующем этапе производится сжатие динамического диапазона освещенностей точек. Для этого применяется обратный оконный сигмоид

80

-3, I» ^ 150,

где 1т - средняя яркость по изображению.

На следующем этапе алгоритма производится усиление среднечастотных компонент. Этот этап требуется потому, что из-за упрощенного вычисления освещенности и отраженности некоторые компоненты отраженности (среднечастотные) попадают в освещенность, а значит, их динамический диапазон тоже сжимается, что приводит к некоторому ухудшению исходного изображения, особенно в случае изображений с низким контрастом или плавными изменениями яркости. Для компенсации такого искажения применяется метод повышения локальных контрастов. Этот метод основан на применении следующих формул:

4иА '(х,7) = 4* (х,7)Е(ху),

E (x, у) =

Lonv (^ >0

1 (x, у)

av

где 1С1т - это низкочастотные компоненты исходной яркости точек, вычисленные по формулам (2)-(4), однако с большим значением параметра с. Значение параметра Р аналогично у^ зависит от изображения и выбирается по формуле (8).

P =

2,ст< 30

-0,03ст + 2,9, 30 <а< 80 > 80,

12

(8)

где и - среднеквадратическое отклонение яркости на изображении.

Завершающим этапом обработки является восстановление таблицы яркостей точек и перевод изображения из яркостного представления в полноцветное.

Исследование свойств метода Для изучения описанного метода было проведено его тестирование. В качестве тестового набора было выбрано 27 изображений различного размера. Для каждого из изображений были вычислены следующие атомарные оценки:

• Количество краевых пикселей (п(1));

• Интенсивность краевых пикселей (Е(1));

• Мера энтропии изображения (Н(1));

• Уровень адаптации к зрению человека по яркости (10).

Кроме того, была вычислена комплексная оценка по формуле [6]

F(x) = ln(ln(E(I)) + e) ^ eH (11

LQ.

size size

ся гистограммы, нормализованные на единицу:

Кг) = п.

п п

p(rk)=■

где п - общее количество точек изображения.

Для человеческого зрения более благоприятны изображения с большим количеством различных уровней яркости. Из этого следует, что если гистограмма изображения слишком узкая, то ее необходимо растянуть вдоль горизонтальной оси [2].

Один из методов выравнивания гистограмм был описан Рафаэлем Гонсалесом и его соавторами в [4, 5].

Пусть р(г) - нормализованная гистограмма входного изображения. Тогда для получения выходных уровней яркости як необходимо выполнить следующее преобразование:

к к п

ч = Ър(г, ) = Х^

j=1

j=1

Затем была произведена обработка каждого изображения из тестового набора при помощи 1-Я алгоритма, и была произведена оценка обработанных изображений. Для удобства обработки результатов работы были получены относительные оценки, равные отношению оценки обработанного изображения к соответствующей исходной оценке, и были посчитаны средние относительные оценки по каждому из параметров.

В результате тестирования выяснилось, что 1-Я алгоритм не приводит к значительным изменениям уровня адаптации к зрению человека по яркости, а значение энтропии в 15 случаях из 27 незначительно снизилось. Значение же интенсивности и количество краевых пикселей были значительно улучшены. В среднем применение данного этапа обработки позволило повысить эти параметры приблизительно в 2,01 и 3,83 раза соответственно.

Выравнивание гистограммы изображения

Гистограмма изображения с Ь возможными уровнями яркости в диапазоне [0,б] определяется как дискретная функция

Кг к ) = пк ,

где гк - к-я интенсивность в диапазоне [0,б], а пк -количество пикселей на изображении с таким значением интенсивности. Однако чаще используют-

для всех к=1,2,3,...,Ь, где - значение яркости к-го уровня яркости на выходном изображении, соответствующее значению гк на входном.

Необходимо заметить, что при дискретном представлении яркостей в изображении зк будет округляться в сторону ближайшего дискретного значения, то есть при низкой встречаемости точек с некоторой яркостью вследствие округления возможна потеря этой градации.

Кроме того, при наличии на изображении больших равномерных областей после обработки соседние градации яркости из этих областей будут значительно отличаться, что приведет к ступенчатости изображения.

Для исключения таких эффектов было решено ввести минимальное и максимальное ограничение на разницу между соседними градациями яркости [6]. Для этого выражение было модифицировано следующим образом:

к

=Ё р '(г ^

1=1

Р '(Г; ) =

D . , p(r.) < D

mm ’ Jr V j / m

p( r.), D

Jr\j/i m

< P(ri ) < Dm

D

, p(r.) > D

c’rV m

где и - минимальное и максимальное ограничение разности между соседними градациями.

С учетом того, что минимальное ограничение вводится для исключения возможности потери информации, значение должно быть равно 1/Ь, где Ь - количество возможных уровней яркости на изображении. Максимальное ограничение выбирается исследователем.

Данный метод не производит изменение количества различных градаций яркости, присутствующих на изображении, а значит, энтропия изображения не изменяется, а в ряде случаев может незначительно снизиться из-за потери градаций

с очень малым значением гистограммы. Однако за счет увеличения разницы между соседними градациями яркости удается повысить количество и интенсивность краевых пикселей. Кроме того, за счет сдвига градаций и расширения гистограммы удается повысить уровень приспособленности к зрению человека по яркости.

Для проверки выдвинутых предположений метод расширения гистограмм был протестирован аналогично 1^ алгоритму. Тестирование производилось на том же наборе изображений.

В соответствии с ожиданиями, применение данного метода позволило добиться значительного повышения количества и интенсивности краевых пикселей - в 2,251 и 1,972 раза соответственно. Значение энтропии было снижено на 1,5 %.

Значение уровня адаптации к зрению человека по яркости, как и ожидалось, увеличилось. Увеличение составило 11,1 %, однако для уровня адаптации такой метод сравнения является не вполне корректным в связи с тем, что значения данного параметра лежат в диапазоне [0, 1], а идеальным значением является 1. Более корректной в данном случае является оценка отклонения от идеального значения. Среднее значение уровня адаптации для необработанного набора изображений составило 0,819, т. е. отклонение от идеального значения составляет 18,1 %. Среднее значение уровня адаптации после обработки составило 0,853, а отклонение от идеального значения снизилось на 3,4 % до уровня 14,7 %.

Адаптация методов для обработки видеоданных

Подавляющее большинство методов для обработки изображения применимы и для покадровой обработки видеоданных. При этом из-за значительного количества кадров одним из наиболее существенных ограничений становится быстродействие этих методов. Наиболее жесткие требования к скорости обработки предъявляются при обработке потоковых данных в режиме реального времени, при этом многие методы становятся неприменимыми.

Для исследования применимости рассмотренных методов улучшения изображений для покадровой обработки видеоданных в режиме реального времени была исследована скорость их работы на отдельных изображениях.

Результаты исследования скорости обработки изображений с использованием модели Шиштап-се^ейе^апсе приведены в табл. 1. Из таблицы видно, что среднее время обработки изображения размером 800x800 точек составило более секунды. При этом более 70,6 % (777 мс в среднем) времени затрачивалось на вычисление освещенности и отраженности, которое является обязательным этапом, т. е. добиться значительного сокращения времени обработки не удастся. Очевидно, что данный метод неприменим в реальном времени.

Затраты времени на обработку при помощи метода выравнивания гистограмм оказались значи-

тельно меньше (табл. 2). Непосредственная обработка одного изображения размером 800x800 точек в среднем занимает 4,9 мс, однако при этом формирование таблицы яркостей и восстановление изображения занимают суммарно 133 мс.

Таблица 1. Затраты процессорного времени на обработку 1~Н алгоритмом

Этап обработки Количество вызовов Среднее время (мс) Суммарное время(мс) Процент от общего времени

Получение таблицы яркостей 12 58 696 5,27

Извлечение освещенности и отраженности 12 777 9323 70,60

Сжатие динамического диапазона 12 38 457 3,46

Усиление средних частот 12 112 1349 10,22

Восстановление изображения 12 115 1380 10,45

Полная обработка изображения 12 1100 13205 100

Таблица 2. Затраты процессорного времени на выравнивание гистограмм

Этап обработки Коли- чество вызо- вов Время (мс) Процент от общего времени

Сред- нее Сум- марное

Получение таблицы яркостей 12 58 696 32,59

Выравнивание гистограммы 12 4,9 59 2,77

Восстановление изображения 12 115 1380 64,64

Полная обработка изображения 12 177,9 2135 100

Такие затраты времени являются слишком большими для обработки в режиме реального времени, однако данные затраты можно сократить.

Во-первых, процедура получения таблицы яркостей при пропорциональной обработке цветовой информации является достаточно трудоемкой, т. к. в ней применяется 3 умножения на каждую точку. Процедура восстановления является еще более трудоемкой: в ней помимо 3-х умножений применяются еще 3 деления, которые занимают еще больше машинного времени. С учетом малых затрат времени на обработку таблицы яркостей имеет смысл преобразовывать таблицы яркостей раздельно по красному, зеленому и синему цвету, при этом получение таблиц яркостей для каждого из них сведется к простому копированию.

Вторая модификация метода для обработки видеоданных основана на том, что последовательные кадры видеоряда, как правило, отличаются очень незначительно, а значит, отсутствует необходимость пересчитывать гистограмму для каждого кадра. Поскольку гистограмма используется только для преобразования яркостей, можно применять вычисленную для определенного кадра гистограмму для последующих N кадров. Длина последовательности таких кадров определяется спецификой видеозаписи.

Применение этих упрощений позволило добиться следующих результатов (табл. 3).

Таблица 3. Затраты процессорного времени на усовершенствованное выравнивание гистограмм

Этап обработки Коли- чество вызо- вов Время (мс) Процент от общего времени

Сред- нее Сум- марное

Получение таблицы яркостей 12 38 456 38,89

Вычисление гистограммы 12 6,3 75,6 6,45

Выравнивание гистограммы 12 8,4 100,8 8,6

Восстановление изображения 12 45 540 46,06

Полная обработка изображения 12 97,7 1172,4 100

Можно заметить, что суммарные затраты времени сократились до 97,7 мс для первого кадра, для последующих кадров они составляют 91,4 мс. С учетом того, что время вычисления зависит от площади изображения, такая скорость вычисления становится уже приемлемой для обработки в реальном времени видеозаписей с размером кадра до 640x480 пикселей при частоте кадров 24 кадра/с. Для проверки скорости быстродействия бы-

СПИСОК ЛИТЕРАТУРЫ

1. Tao L., Asari V.K. An Efficient Illuminance-Reflectance Nonlinear Video Stream Enhancement Model // SPIE-IS&T Electronic Imaging. -2006. - V. 6063. - P. 60630I-1-60630I-12.

2. Rizzi A., Gatta C., Marini D. From Retinex to ACE: Issues in developing a new algorithm for unsupervised color equalization // Journal of Electronic Imaging. - 2004. - V. 13. - № 1. - P. 75-84.

3. Sobol R. Improving the Retinex algorithm for rendering wide dynamic range photographs // Proc. SPIE 4662. - 2002. - P. 341-348.

4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005. - 1072 c.

ла реализована библиотека, позволяющая в реальном времени обрабатывать видеопоток с указанными характеристиками.

Необходимо так же учесть, что рассматриваемая реализация не использует аппаратное ускорение, которое может дать дополнительный прирост производительности.

Заключение

Описанные методы позволяют производить коррекцию яркостей любых изображений и при этом являются достаточно быстродействующими для применения на видеозаписях. Кроме того, при помощи предложенных упрощений удалось добиться достаточного для применения в реальном времени быстродействия метода выравнивания гистограмм. Предложенные методы были протестированы на реальных данных, и тестирование подтвердило их высокую эффективность.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 12-08-00296а.

5. Gonzalez R.C., Woods R.E., Eddins S.L. Digital Image Processing Using MATLAB. - Upper Saddle River: Prentice Hall, 2004. -344 p.

6. Белоусов А.А., Спицын В.Г. Двухэтапный метод улучшения изображений // Современная техника и технологии: Труды XIII Междунар. научно-практ. конф. студентов, аспирантов и молодых ученых. - Томск, 26-30 марта 2007. - Томск: Изд-во ТПУ, 2007. - Т 2. - С. 282-284.

Поступила 02.04.2013 г.