Метод восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений Текст научной статьи по специальности «Компьютерные и информационные науки»

ИНФОРМАЦИОННЫЕ КОМПЛЕКСЫ И СИСТЕМЫ

УДК 004.932.4

Метод восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений

В.И. Марчук, д. т. н., проректор по научной работе, проф., e-mail: marchuk@sssu.ru В. В. Воронин, ассистент каф. «Радиоэлектронные системы», e-mail: voronin_sl@mail.ru А. И. Шерстобитов, к. т. н., доцент каф. «Радиоэлектронные системы»

ГОУ ВПО «Южно-Российский государственный университет экономики и сервиса», г. Шахты

Представлен метод реконструкции двумерных сигналов при восстановлении черно-белых и цветных изображений; приведена сравнительная оценка эффективности и качества обработки изображений на основе субъективного критерия сравнения, с помощью экспертов и статистических критериев.

This study introduces a method for the reconstruction of two-dimensional signals for black-and-white and color images. The authors base the comparative quality assessment of image processing efficiency on subjective comparison principle using the help of experts and statistical criteria.

Ключевые слова: двумерный сигнал, реконструкция, потерянные пиксели, экстраполяция, изображение, текстура, структура.

Keywords: two-dimensional signal, reconstruction, lost pixels, extrapolation, image, texture, structure.

В связи с широким внедрением цифровых систем связи увеличивается актуальность решения задач восстановления изображений с целью реконструкции и ретуширования изображений. Данная задача особенно актуальна при реализации систем автоматической обработки двумерных сигналов от светочувствительных матриц в цифровых фото- и видеокамерах и системах машинного зрения [1]. Реконструкция и ретушь изображений предполагает удаление царапин, пятен, пыли, ненужных надписей, предметов и прочих дефектов с поверхности фотографий и восстановление недостающих фрагментов с использованием соседних участков изображения. При обработке архивных изображений, например, музейных документов или фотоизображений, возникает необходимость удаления различных дефектов (пятен, линий сгиба, других поврежденных областей). При этом необходимо восстановить поврежденные участки, не нарушая общую структуру изображения.

В видеосигналах встречаются статические изображения, которые мешают просмотру, закрывая часть полезной информации от зрителя. К та-

ким изображениям относятся различные логотипы каналов, дата и время или субтитры, которые были наложены на видеосигнал с дальнейшим кодированием. Кроме этого, мешающим фактором являются искаженные блоки при работе видеокодека, появление которых объясняется ненадежностью среды передачи данных от кодера к декодеру.

В настоящее время существуют различные методы цифровой обработки, направленные на решение задач восстановления частично утерянных участков изображения, но для их эффективного использования необходимы значительные объемы априорной информации о полезном изображении [2]. Значительные ограничения на объем априорной информации (что имеет место на практике) существенно усложняют выбор эффективного метода обработки и оптимальных значений его параметров.

В связи с этим реконструкция изображений является важным направлением применения современной цифровой вычислительной техники с целью получения достоверной оценки, а также для визуального и особенно автоматического анализа [3].

Большинство методов реконструкции изображений можно условно разделить на следующие группы:

• методы на основе решения дифференциальных уравнений в частных производных (PDE);

• методы на основе ортогональных преобразований;

• методы на основе синтеза текстуры. Использование методов восстановления значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорной информации для выбора параметров методов. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных методов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений [4]. Для использования методов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Также следует отметить, что данные методы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам [5]. Использование методов на основе синтеза текстуры требует априорной информации о размере и форме области восстановления и геометрических свойствах изображения для выбора параметров методов.

К группе методов, основанных на синтезе текстуры, относится exemplar-based methods (EBM) [6], который заключается в вычислении приоритета для каждого пикселя границы с последующим поиском похожего квадратного блока в области доступных пикселей и его копировании в область отсутствующих пикселей. К недостаткам данного метода следует отнести видимость границ на восстановленном изображении между найденными похожими блоками, неправильное восстановление при отсутствии похожего блока, а также зависимость ошибки восстановления от размера блока для поиска подобия.

Цель работы - исследование метода восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений.

Упрощенную математическую модель исходного черно-белого изображения (рис. 1) можно

представить в виде восьмибитной двумерной дискретной последовательности

Б у, г = 1, N, у = 1, М, где Б у -доступные пиксели неискаженного изображения; Пу -

область изображения с отсут- рис. 1. Модель ствующими пикселями; 5Б у - изображения

граница области Б; N - число строк; М - число столбцов двумерного массива изображения. На этом рисунке область Б у схематично изображена в

виде двух подобластей, которые представляют собой уровни градаций значений пикселей изображения по разные стороны от перепада яркости.

В случае обработки цветного изображения Б у,

г = 1,N, у = 1,М , является совокупностью {Я, О, трех восьмибитных двумерных дискретных последовательностей, каждому элементу совокупности соответствует один канал цветовой модели ЯОБ.

Для восстановления значений двумерных сигналов в [7, 8] предлагается модификация метода ЕБМ с целью уменьшении ошибки восстановления и улучшения визуального качества изображений.

Обозначим множество пикселей, принадлежащих

границе области восстановления, как 5Бу, где г = 1, N,

Рис. 2. Построение ортогональных векторов

у = 1, М .

На первом шаге для каждого значения пикселя границы вычисляется значение приоритета Р(5Бу)

(рис. 2) [6]:

Р(5Бу) = С (5Бу )Б(5Бу), (1)

где коэффициент доверия С(5Бу) и коэффициент градиента 0(5Б у) находятся из соответствующих выражений

£

С (SSy) = -

D(SS„) =

С (l)

№

SSy

VlSSy nSSy

а

i = 1, N, y = 1, M .

(2)

Здесь 5Бу - текущий пиксель на границе доступных пикселей; Т5Б .. - квадратный блок пикселей

с центром в пикселе 3Б .; ІТ

33.

количество

вектор, ор-

I ^, 3і+і . > 3і+к .,

'($+Лі,3+к,і) = ]0 3 ,* < 3 ,* . (4)

I0, 3 і+1, і < 3і+ к, і;

пикселей квадратного блока; VI

у

тогональный градиенту в точке 5Б.; п33.. - век- 3і+і,., 1 = ^..^ ^ -1 — текущее значение пикселя

V- - у

тор, ортогональный границе дБ в точке дБу; а —

нормированный множитель, который для восьмибитных изображений равен 255.

Вначале предполагается, что значение коэффициента доверия С для пикселей из области Бу

равно 1, а для области Пу равно 0 [6].

Вычисление приоритета с помощью выражения (1) позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом восстанавливая их в первую очередь. Учет коэффициента доверия С (дБу) позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области Б у, г = 1, N , у = 1,М .

На втором шаге для пикселя р е (г, у) с максимальным значением приоритета тах( Р(дБ у)) на

границе дБ с помощью метода инверсий адаптивно определяется форма области для поиска подобия, что позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной

реконструкции изображения [9].

Для формирования адаптивных областей двумерного сигнала для пикселя р е (г, у) задаются восемь направлений Ъ = 1,8 Рис. 3. Направления для (рис. 3), в которых опреде-

определения ингервал°в ляются интервалы квазиквазистационарности на „ у

стационарности. Условие

изображении г

квазистационарности проверяется с помощью вычисления случайной величины т, равной сумме числа инверсий значений пикселей в каждом из направлений двумерного сигнала У у, г = 1, N, у = 1,М, в

котором присутствуют доступные пиксели.

Например, сумма числа инверсий для направления 5 равна:

й-1 й

Т = ££ и(Б -+,у ,Бг+к,у ) , й = 1>Я , (3)

і=0 к=1+1

изображения с координатами г +1, у ; Б+к у,

к = I +1,...,й — последующие значения пикселей изображения по у -му столбцу (движение в направлении 5); Я — максимальная длина интервала квазистационарности.

Число сочетаний, для которых вычисляется сумма инверсий, определяется из выражения

й(й -1)

2

Первая альтернатива (убывающий сигнал) принимается, если выполняется неравенство

Т > с1 =Т^^Х + XI2 - 0,5.

Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид [9]

(5)

где а - значение ошибки первого рода.

Гипотеза о стационарности сигнала принимается, если выполняется условие

С2 < ^ < С . (6)

По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1 — 2; 2 — 3; 3 — 4; 5 — 6; 7 — 8; 8 — 1, происходит формирование областей квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой, проходящей через две точки:

.-І1 _ і-к

.2 - І1 і 2 - і1

і2 - К V , Ь.2 - і2.1

і =

-І +■

(7)

(8)

где

.2 .1 .2 .1

где (4, .1) - координаты границы направления к; (і2,.2) — координаты границы направления к+1.

Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми, проходящими через границы интервалов квазистационарности, объединяются в одну область О. Для границы пикселя, смежного с пикселем

р є (і,.), имеющего большее значение VI33, так же адаптивно определяется область с помощью

метода инверсий. Каждая из полученных областей является квазистационарной, и они находятся по разные стороны от перепада яркости. Данные области объединяются в одну (рис. 4), и таким образом определяется область Тр с адаптивными размерами и перепадом яркости.

Рис. 4. Адаптивный выбор формы области для поиска подобия

На третьем шаге находятся блоки /

(h) ■.

h = 1, R , в области доступных пикселей Sу, для которых евклидова метрика минимальна (рис. 5):

min, (9)

р q>

при этом h обозначает порядковые номера подобных блоков, ранжированных по евклидовой метрике.

Число блоков подобия R определяется с помощью доверительного интервала:

ОТр-^q)2 ■ +ат(^p -^q)2 ■ >

V r J min у r J min

Рис. 5. Поиск похожих блоков

(10)

где к = 1, Я ; а - уровень значимости.

Значения пикселей в области п, смежные к пикселю с максимальным приоритетом р , восстанавливаются путем усреднения соответствующих пикселей найденных об-

ластей / (h) из области доступных пикселей Sy :

S =

X

h=1

h)

R

(11)

Коэффициент доверия С для восстановленных пикселей присваивается равным текущему значению С(р) [6], после чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.

Рис. 6. Блок-схема алгоритма, реализующего метод восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений

Блок-схема алгоритма, реализующего метод восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений, представлена на рис. 6.

Принцип работы данного алгоритма заключается в следующем:

1) записываются значения входного изображения Б у , / = 1, N, у = 1, М ;

2) задается значение а ;

3) определяется значение коэффициента доверия: Су = 1, если Су е Бу , Су = 0, если Су е п у ;

4) вычисляется значение приоритета Р(дБ у) для каждого значения пикселя границы:

Р(дБу) = С (5Бу) 0(5Бу),

где

C (SS,) = -

£

l^SS,

C (I)

№

D( SS) =

VlSSp nSSp

SS,j

a

^ (Тр -Т, )2 , ц е и у (/ = 1, N, у = 1,М );

8) определяется количество блоков подобия Я , для которых выполняется неравенство

+ a

)2

,/£ (№Р -№ q )2 h = LR;

Исследование эффективности проводились на тестовых изображениях, где отсутствующие пиксели находятся на границах с резкими перепадами яркости.

На рис. 7 представлены примеры восстановления изображения геометрических фигур.

5) определяется пиксель р е (},у) с максимальным значением приоритета тах(Р(дБу)) на

границе дБ ;

6) адаптивно определяется форма области для поиска подобия Тр для пикселя р е (/, у) с помощью метода инверсий;

7) вычисляется евклидова метрика для всех доступных значений пикселей изображения

9) восстанавливаются значения пикселей в области п, смежных к пикселю с максимальным приоритетом р, значения которых определяются

Я /

с помощью выражения Б = ^ / (К) Я ;

Н=1 4 /

10) пересчитывается коэффициент доверия С для восстановленных пикселей;

11) процедуры, соответствующие пп. 4 — 10 данного алгоритма, повторяются до тех пор, пока не будут восстановлены все значения пикселей из области п, т. е. проверяется условие Т = 0, где Т — число пикселей границы дБ .

Рис. 7. Восстановление изображения геометрических фигур: а - исходное изображение; б - изображение пикселей размером 25х25; в - изображение, восстановленное методом EBM; г - изображение, восстановленное предложенным методом

Особенностью данного тестового изображения является то, что область с отсутствующими пикселями находится на пересечении четырех границ, которые необходимо экстраполировать, соединив соответствующие противоположные границы. Предложенный метод реконструкции значений пикселей позволяет «правильно» восстановить границы изображения, а на изображении, восстановленном методом EBM, наблюдаются ошибки из-за того, что происходит замена всех пикселей из найденных похожих блоков.

На рис. 8 представлены примеры восстановления фрагмента изображения Cameramen. Анализ результатов обработки показывает, что предложенный метод позволяет корректно восстановить границы изображения, а также получить четкие границы в сравнении с известным методом восстановления.

На рис. 9 представлены примеры восстановления фрагмента изображения Lena, из анализа результатов обработки которых следует, что при использовании предложенного метода реконструк-

Рис. 8. Восстановление фрагмента изображения Cameramen: а - исходное изображение; б - изображение пикселей размером 25х25; в - изображение, восстановленное методом EBM; г - изображение, восстановленное предложенным методом

Рис. 9. Восстановление фрагмента изображения Lena: а - исходное изображение; б - изображение пикселей размером 25 х 25 ; в - изображение, восстановленное методом EBM; г - изображение, восстановленное предложенным методом

ции значений пикселей структура изображения, представленная границей шляпы на фрагменте изображения Lena, восстанавливается «правильно». Также следует отметить, что предложенный метод не приводит к размытию текстуры и струк-

туры при восстановлении больших областей с потерянными пикселями. При обработке методом EBM наблюдается зависимость эффективности восстановления от размера блока при поиске подобия, который выбирается на основе априорной информации о геометрических особенностях изображения.

На рис. 10 представлен пример реставрации изображения Barbara при удалении царапин. Для моделирования задачи реконструкции утерянных фрагментов изображение Barbara повреждено таким образом, чтобы царапина проходила как через текстурные участки, так и через структуру изображения. Толщина линий царапин в данном случае составляет приблизительно 3 пикселя, при этом на изображении оказалось утерянным около 3% от общего числа пикселей.

Предложенный метод имеет преимущество при реконструкции как текстурных участков, так и мелких деталей изображения. Особенно это преимущество проявляется для структуры, которая характеризуется перепадами яркости, границами и контурами.

____________в)________________________г)_____________

Рис. 10. Восстановление изображения Barbara: а - исходное изображение; б - изображение с царапиной; в - изображение, восстановленное методом EBM; г - изображение, восстановленное предложенным методом

На рис. 11 представлены примеры обработки при удалении объекта на изображении («зарисовывание»).

Для исследования эффективности предложенного метода реконструкции изображений вы-

Рис. 11. Удаление объектов на изображении: а - исходное изображение; б - изображение с маской для удаления объекта; в - изображение, восстановленное предложенным методом

брано два тестовых цветных изображения: Baboon и Peppers. Оценка эффективности обработки изображений проводится на основе субъективного критерия сравнения с помощью экспертов и статистических критериев, в качестве которых используются:

значение среднеквадратического отклонения разности между оценкой полезного двумерного сигнала и его модели

RMSE =

А

N M

SS(-S) /(NM);

i=1 j=1 /

венные значения погрешностей оценки. Стоит отметить, что размер изображения составляет 512 на 512 пикселей, а количество потерянных пикселей составляет 7% от их общего числа. Особенностью данного тестового изображения является то, что область с отсутствующими пикселями находится на пересечении нескольких границ.

оценка отношения сигнал/шум

f N M / N M Л

snr=ioig ¿¿W SS(S»-S>)

I i=1 j=1 / i=1 j=1

пиковое отношение сигнал/шум PSNR = 20 lg (max(S)/стош ); оценка средней абсолютной ошибки

N M I

MAE = SSI S j -S j\ (NM);

i=1 j=1 /

оценка максимума абсолютной разницы

MAX = max|S - S|, где i = 1,N, j = 1,M .

На рис. 12 представлены примеры восстановления изображения Baboon, а в табл. 1 - количест-

Рис. 12. Восстановление изображения Baboon: а - исходное изображение; б - изображение с отсутствующим блоком пикселей; в - изображение, восстановленное методом EBM; г - изображение, восстановленное предложенным методом

Рис. 13. Восстановление изображения Peppers: а - исходное изображение; б - изображение с отсутствующими пикселями; в - изображение, восстановленное методом EBM; г - изображение, восстановленное предложенным методом

Таблица 1. Значения погрешностей оценки изображения Baboon

Метод Критерий

SNR PSNR RMSE MAE MAX

EBM 16,107 22,281 18,446 3,627 223

Предложенный метод 20,322 27,028 11,354 2,109 199

Таблица 2. Значения погрешностей оценки изображения Peppers

Метод Критерии

SNR PSNR RMSE MAE MAX

EBM 25,320 31,251 6,981 0,671 222

Предложенный метод 28,970 34,970 4,586 0,471 206

Анализ результатов обработки показывает, что при восстановлении изображения методом EBM наблюдаются ошибки из-за того, что происходит замена всех пикселей из найденных похожих блоков. Предложенный метод реконструкции значений пикселей позволяет «правильно» восстановить границы изображения, но при этом наблюдается незначительное размытие изображения. Стоит также отме-

Рис. 14. Восстановление архивных фотографий: а - изображение Bridge; б - изображение Bridge, восстановленное предложенным методом; в - изображение House; г - изображение House, восстановленное предложенным методом

тить, что количественные значения погрешностей, представленные в табл. 1, подтверждают результаты визуального анализа. При использовании разработанного метода реконструкции изображений значения погрешностей в среднем на 40% меньше, чем при обработке методом EBM.

На рис. 13 представлены примеры восстановления изображения Peppers, а в табл. 2 - количественные значения погрешностей оценки. Размер изображения Peppers составляет 256 на 256 пикселей, а количество потерянных пикселей составляет 3% от их общего числа. На тестовом изображении присутствует надпись, которую необходимо удалить, а на месте ее восстановить пиксели фона и структуры.

Предложенный метод имеет преимущество при реконструкции как границ, так и мелких деталей изображения. Особенно это преимущество проявляется для структуры, которая характеризуется перепадами яркости, границами и контурами. Анализ результатов обработки показывает, что предлагаемый метод позволяет синтезировать текстуру с одновременным восстановлением структуры изображения, при этом метод является робастным к размеру, форме, геометрическим особенностям области восстановления и имеет устойчивые характеристики (незначительную зависимость эффективности обработки от геометрической формы удаляемого объекта), а также наблюдается отсутствие артефактов, возникающих при замене блоков целиком. При использовании разработанного метода реконструкции изображений значения погрешностей в среднем на 35% меньше, чем при обработке методом EBM.

На рис. 14 представлены примеры реставрации архивных фотографий

Анализ полученных результатов показывает, что с помощью предложенного метода можно ретушировать изображения, реставрировать их, удаляя царапины, пятна и прочие дефекты с поверхности фотографий.

Таким образом, рассмотрен метод восстановления значений двумерных сигналов на основе синтеза тек-

стуры и структуры изображений, исследованы возможности предложенного метода при восстановлении черно-белых и цветных изображений, а также при реставрации архивных фотографий и документов.

На основании проведенных исследований можно сделать следующие выводы:

• предлагаемый метод позволят синтезировать текстуру с одновременным восстановлением структуры изображения;

• использование разработанного метода реконструкции изображений в сравнении с методом EBM позволяет уменьшить значения погрешностей обработки на 35 - 40%.

Работа выполнена в рамках федеральной целевой программы ФЦП «Научные и научнопедагогические кадры инновационной России» на 2009 - 2013 годы»*.

ЛИТЕРАТУРА

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера. 2005.

2. Методы компьютерной обработки изображений / Под. ред. В. А. Сойфера. Изд. 2-е. испр. М.: Физматлит. 2003.

3. Яне Б. Цифровая обработка изображений. Изд. 2-е. М.: Техносфера. 2007.

4. Bertalmio, M, Sapiro, G., Caselles, V., and Ballester, C, Image inpainting // Computer Graphics Proceedings, K. Akeley, Ed. ACM Press / ACM SIGGRAPH / Addison Wesley Longman. 2000. P. 417-424.

5. Guleryuz, O. G., Nonlinear approximation based image recovery using adaptive sparse reconstructions and iterated de-noising // Part I: theory IEEE transactions on image processing. 2006. V.15. No. 3.

6. Criminisi, A., P'erez, P., and Toyama, K., Region filling and object removal by exemplar-based image inpainting // IEEE transactions on image processing. 2004. V. 13. No. 9.

7. Информационные, телекоммуникационные и программные средства цифровой обработки сигналов / Под ред. В. И. Марчука. Шахты: ЮРГУЭС. 2008.

8. Воронин В. В., Марчук В. И. Реконструкция значений утраченных пикселей изображений в условиях ограниченной априорной информации // Научно-технические ведомости СПбГПУ. 2009. № 1. С. 51- 55.

9. Переверткин С. М. Бортовая телеметрическая аппаратура космических летательных аппаратов. М.: Машиностроение. 1977.

Поступила 20.03.2010 г.

* В журнале «Электротехнические и информационные комплексы и системы», 2010, т.6, №1 была опубликована работа авторов В.И. Марчука, В.В. Воронина и А.И. Шерстобитова «Сравнительный анализ результатов восстановления изображений методом разложения оценок и его модификации». Редакция приносит извинения авторам за пропущенную фразу «Работа выполнена в рамках аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы. Теория и методы автоматизированной обработки одномерных и двухмерных сигналов в условиях априорной неопределенности».