CC BY
108
УДК 004.932.2
с1о1:10.15217/1ззп1684-8853.2015.5.34
БАЗОВЫЕ МЕТОДЫ И ПРИНЦИПЫ ПОСТРОЕНИЯ АЛГОРИТМОВ ВОССТАНОВЛЕНИЯ РЕГИОНОВ ИЗОБРАЖЕНИЙ
В. А. Ястребова, аспирант
А. И. Веселова, ассистент
М. Р. Гильмутдинова, канд. техн. наук, доцент
аСанкт-Петербургский государственный университет аэрокосмического приборостроения, Санкт-Петербург, РФ
Постановка проблемы: в ряде случаев обработка (маскирование) визуальных искажений, возникающих вследствие потерь пакетов данных в сетях с негарантированной доставкой, осуществляется на приемной стороне. Данная задача решается с помощью алгоритмов восстановления изображений. Цель: классификация методов и принципов восстановления изображений, выделение достоинств и недостатков существующих подходов, а также актуальных проблем и способов их решения. Результаты: рассмотренные подходы и принципы, положенные в основу работы алгоритмов восстановления регионов изображений, разделены на следующие классы: структурные, текстурные и основанные на разреженном представлении данных. Представлены способы борьбы с высокой вычислительной сложностью рассмотренных методов с применением подоптимальных процедур. Отображена связь между текстурными методами восстановления и методами, основанными на разреженном представлении данных. Приведен анализ качества восстановления различных типов регионов на изображениях. Практическая значимость: на базе рассмотренных подходов возможна разработка приложений, критичных к повторной передаче данных по сетям с негарантированной доставкой.
Ключевые слова — восстановление изображений, маскирование визуальных искажений на декодере, разреженное кодирование, структурное восстановление регионов изображений, шаблонное восстановление регионов изображений.
Введение
В настоящее время большое внимание уделяется разработке эффективных методов передачи визуальных данных по сетям связи. Возникновение ошибок или перегрузок при передаче данных по сети приводит к ухудшению качества обрабатываемого изображения. Среди наиболее частых причин потерь пакетов в сети можно выделить:
— перегрузки промежуточных узлов передачи данных;
— получение пакета после требуемого момента его обработки на декодере (актуально для приложений, работающих в режиме реального времени).
Среди существующих методов борьбы с потерями пакетов, возникающими при передаче данных по сети, можно выделить две основные:
— повышение устойчивости передаваемого сигнала к внешним воздействиям (error resilience);
— реконструкцию (маскирование) в целях максимизации степени похожести с оригинальным сигналом (error concealment).
При использовании первого подхода наиболее широко распространенным способом борьбы с ошибками является применение помехоустойчивого кодирования. Если возникшие ошибки не удается полностью исправить, то используется ретрансляция данных, т. е. повторное отправление источником данных, не дошедших до приемника. При этом необходимым условием является
существование обратной связи между передатчиком (кодером) и получателем (декодером) данных. Однако такой подход не всегда практически осуществим, особенно в системах, которые критичны к повторным передачам, ввиду увеличения задержки получения данных. Кроме того, в некоторых случаях обратной связи не существует, или по ряду причин воспользоваться ею не представляется возможным.
В связи с этим актуальной задачей является обработка вызванных такими потерями искажений только на приемной стороне, т. е. так называемая процедура маскирования искажений.
Исследованию методов и принципов восстановления изображений и посвящена данная работа. В основу рассмотренной классификации положены определяющие принципы построения алгоритмов восстановления регионов изображений, изложенные в базовых работах [1-4]. Дальнейшие публикации [5-7] подтверждают актуальность изложенных принципов.
Постановка задачи восстановления регионов изображений
Рассмотрим задачу восстановления регионов изображений на стороне приемника на примере типовой системы передачи данных. На основе блоковой обработки изображения X осуществляется формирование сжатого битового потока, который впоследствии разбивается на пакеты в целях дальнейшей передачи по сети. Будем счи-
тать, что в процессе передачи произошло некоторое событие, в результате которого часть пакетов не была получена приемником, из-за чего он не смог восстановить на изображении некоторые области. Назовем подобные области искаженными регионами. Обозначим множество пикселей в искаженных регионах через О, а множество корректно полученных пикселей через О. Процесс восстановления значений интенсив-ностей пикселей из О при известных значениях пикселей из О будем называть маскированием искажений. Обозначим пиксель изображения X, находящийся на пересечении ¿-й строки и у-го столбца, как Х(1, у), а квадратную область размером МхМ (блок) на изображении X, центральный пиксель которого имеет координату (¿, у), как Б(£, у).
Введем ряд допущений применительно к рассматриваемой системе обработки и передачи данных (рис. 1):
1) приемник всегда может определить факт потери пакета;
2) блоки на стороне передатчика кодируются независимо;
3) в каждом пакете передается информация только об одном блоке;
4) искаженные блоки не могут находиться на краях изображения.
Будем считать, что потеря пакета приводит к появлению черного квадрата по координатам, соответствующим координатам потерянного блока.
Следует отметить, что приведенные допущения не отражают реальную природу визуальных искажений в восстановленном на приемнике изображении, так как, как правило, блоки кодируются зависимо, и потеря пакета на практике может привести к искажению нескольких блоков в любой позиции изображения. Однако приведенные выше допущения вполне достаточны для рассмотрения базовых принципов и методов восстановления искаженных регионов на изображениях, что и является основной целью данной работы.
Рассмотрим базовые принципы восстановления изображений [1].
1. Данные, применяемые для маскирования, должны определяться всем изображением X в целом. Восстановление данных внутри искаженного региона О должно производиться данными, являющимися естественным продолжением информации, содержащейся в доступном регионе О.
2. Структура синтезированных для восстановления данных должна отражать структуру неискаженных данных. Как правило, это достигается путем интерполяции контуров объектов, обнаруженных на границе дО. Обозначим через дО
■ Рис. 2. Классификация методов восстановления изображений
подмножество пикселей из Q, смежных с пикселями из Q, а через дО. подмножество пикселей из Q, смежных с пикселями из Q. При этом конкретный состав этих подмножеств зависит от используемого алгоритма восстановления.
3. Цветовая составляющая восстановленного региона должна определяться анализом интен-сивностей пикселей, окружающих искаженный регион Q.
4. Восстановленные данные должны учитывать локальные особенности обрабатываемого изображения X, например текстуру объектов.
В зависимости от того, как указанные принципы учитываются при восстановлении искаженных регионов, каждый класс применяет свой метод восстановления: структурный, шаблонный или гибридный.
Методы восстановления изображений, рассматриваемые далее, на рис. 2 выделены серым цветом.
Структурные методы восстановления
Использование структурных методов для восстановления регионов изображений подразумевает применение процедуры, которая опирается на некоторую априорную информацию о структуре данных в искаженном блоке. Как правило, для определения априорной информации выполняется анализ блоков, смежных с искаженным. В результате искаженные блоки относят к одному из двух типов:
— блоки гладкого типа;
— блоки, содержащие контуры объектов.
Данная классификация блоков по типам обусловлена тем, что визуальное восприятие человека крайне чувствительно к контурам объектов [8]. Поэтому одной из важных задач любого алгоритма восстановления визуальных данных является как точное восстановление нарушенных контуров, так и минимизация вероятности формирования ложных контуров, отсутствующих на исходном изображении. Кроме того, восстановление границ объектов в расплывчатом или неявном виде также крайне негативно сказывается на восприятии визуальных данных в целом.
Структурные методы восстановления можно разделить на два подкласса:
1) на основе взвешенного усреднения значений пикселей (weighted averaging);
2) на основе направленного восстановления контуров (directional interpolation).
Первые, как правило, применяются для восстановления блоков гладкого типа. Например, в работе [9] предлагается производить восстановление искаженных пикселей путем взвешенного усреднения значений пикселей на границе 3Q. Значения весовых коэффициентов обратно про-
порциональны расстоянию между интерполируемым пикселем Х(к, г) из искаженного блока B(i, у) и пикселями, значения интенсивности которых известны:
(<ВХ(к, ] -1) + <ьХ(к, ] + М)
(+®ТХ(1 + М, г) + ®ВХ(1 -1, г)) Х(к, г) = ---,
<Ь + <Е + <Т + <<В
где юд, «ь, <т и юв — расстояния между интерполируемым пикселем и ближайшими пикселями на границе известных соседних блоков; Х(1 - 1, г), Х(к, у - 1), Х(к, у + М) и Х(1 + М, г) — значения ближайших пикселей, расположенных на границе потерянного блока по четырем направлениям; МхМ — размер потерянного блока.
В большинстве методов, где применяется восстановление блоков, содержащих контуры, можно выделить три основных этапа:
1) оценка направления контуров в искаженном блоке за счет анализа пикселей из неискаженных блоков;
2) восстановление контуров на основе информации, содержащейся в соседних блоках данных региона О;
3) восстановление оставшихся пикселей изображения, а также постобработка всего восстановленного региона целиком.
В работах [10, 11] предлагается восстанавливать контуры, содержащие разрывы, используя билинейную интерполяцию, опирающуюся на данные об уже обнаруженных контурах в соседних блоках. Алгоритм предполагает разбиение потерянного блока B(i, у) на несколько регионов в зависимости от произведенной оценки направления контура, при этом предлагается проводить такое разбиение, которое учитывает как направление доминирующего контура, так и направления возможных менее ярко выраженных контуров.
Таким образом, алгоритмы на базе взвешенного усреднения способны хорошо восстанавливать гладкие области на изображении, а методы на базе направленного восстановления контуров — области, содержащие контуры.
Шаблонные методы восстановления
Основная идея работы алгоритмов этого класса основана на предположении о наличии повторяющихся фрагментов данных на изображении, которые в дальнейшем будем называть шаблонами. Восстановление целевого региона О производится по частям путем копирования значений пикселей из наиболее похожего шаблона. Как правило, в методах этого класса можно выделить два основных этапа. На первом осуществляется расстановка приоритетов для пикселей Х(1, у) из ЗО. Затем вокруг пикселя с наибольшим при-
оритетом строится блок B(i, j). На втором проводится поиск наиболее похожего блока B(k, l), k Ф i, l Ф j, из доступного набора данных Q на основе выбранного критерия схожести, например, суммы абсолютных разностей или суммы квадратов разностей [12] (вычисляемой только для пикселей из Q). Восстановление пикселей из B(i, j) n Q выполняется путем копирования значений пикселей из найденного блока B(k, l) на соответствующих позициях. Описанная процедура итеративно повторяется до тех пор, пока целевая область Q не будет восстановлена полностью.
Глобальный алгоритм поиска, основанный на принципе наибольшей окрестной схожести (best neighborhood matching), был впервые предложен в работе [2]. Поскольку рассмотренные далее в данном разделе алгоритмы являются его модификациями, то приведем шаги этого алгоритма подробнее.
1. Инициализация искаженной (целевой) области Q.
2. Расстановка приоритетов восстановления пикселей из целевой области Q. В начале каждой новой итерации алгоритма производится расчет порядка заполнения целевых пикселей с помощью применения заданной функции расстановки приоритетов P(X(i, j)).
3. Поиск шаблона и интерполяция. Поврежденный блок данных извлекается вместе с окружающими его известными пикселями из Q. Предлагается использовать глобальный поиск для анализа всех блоков-кандидатов из Q.
4. Обновление списка целевых пикселей, а также прочей информации, требуемой для выставления приоритетов целевым пикселям.
Недостатком алгоритма [2] является использование глобального поиска, имеющего высокую вычислительную сложность. В связи с этим в работе [13] рассмотрены ключевые параметры, используемые в подоптимальном поиске: процедура поиска и порядок восстановления пикселей, которые влияют как на качество восстановления, так и на скорость работы алгоритма.
В работах [14-16] рассмотрено применение подоптимальных алгоритмов для ускорения работы. В работах [14, 15] предложена модификация методики поиска на основе применения идеи градиентного спуска. Обозначим квадратный регион на изображении X, центральным элементом которого является пиксель X(i, j), как окно поиска N(X(i, j)). В работе [15] выбор области поиска уменьшается путем установки шага сдвига окна поиска N(X(i, j)) в значение, превышающее один пиксель. В работе [14] предложено осуществлять выбор на основе анализа соседних регионов, используя спиралевидную траекторию поиска. В работе [16] предложено производить поиск в компонентах, полученных в результате вейвлет-преобразования.
Поскольку вопрос расстановки приоритетов для пикселей является специфическим для задачи восстановления регионов изображений, то рассмотрим его подробнее.
Искаженный регион изображения Q может содержать как текстурную, так и структурную информацию. В статье [3] было показано, что для достижения высокого качества восстановления алгоритм должен уметь находить и разделять эти составляющие в целях приоритетного восстановления именно структурной части потерянных данных. В результате проведенных исследований авторы предложили подход, восстанавливающий в первую очередь данные, характеризующие именно структуру потерянного региона Q. Для каждого пикселя X(i, j) на границе 3Q выставляется приоритет восстановления путем анализа блока, центральным элементом которого является пиксель X(i, j). Функция расстановки приоритетов определена следующим образом:
P(X(i, j)) = C(X(i, j))D(X(i, J)).
Первый сомножитель — доверительный (confidence term), задает степень уверенности в восстановленных данных путем анализа соотношения количества известных пикселей к количеству неизвестных в рассматриваемом блоке. Второй сомножитель — информационный (data term), отражает количество структурных данных, содержащихся в обрабатываемом блоке. Значение информационного сомножителя зависит от изофоты (силы контура), пересекающей границу 3Q неизвестного региона Q.
Благодаря описанной функции расстановки приоритетов в первую очередь осуществляется интерполяция пикселей на границах объектов, а только затем в однородных блоках данных.
Согласно исследованиям [17], описанный алгоритм обладает одним существенным недостатком. В процессе заполнения целевых пикселей региона Q степень уверенности в интерполируемых данных неуклонно падает. Это выражается в том, что значение доверительного сомножителя C(X(i, j)) в функции расстановки приоритетов P(X(i, j)) с ростом количества итераций стремится к нулю, способность же роста значения информационного сомножителя D(X(i, j)) сильно ограничена. Эти факторы могут привести к неправильному порядку восстановления целевых пикселей региона Q, поскольку в этом случае результат, выдаваемый функцией P(X(i, j)), перестает зависеть от входных данных.
Для устранения этого недостатка в работе [18] была предложена модифицированная функция расстановки приоритетов, в которой умножение было заменено сложением, что позволило сделать ее более устойчивой к шумовым воздействиям. Авторами также модифицирована
функция расчета уверенности путем оценивания степени размытости кривой у: Р^!, у)) = = (1 - у) ■ 0^(1, у)) + у. В итоге функция выставления приоритетов определена следующим образом:
Р(B(i, у)) = аСдее, у)) + (1 - а^^О, у)),
где 0 < а < 1 — весовой коэффициент.
Шаблонные методы восстановления способны показывать хорошие результаты при обработке текстурных областей на изображении, поскольку те содержат множество повторяющихся фрагментов. Однако они не предоставляют наилучшего способа обработки регионов, содержащих большое количество контуров объектов, которые лучше восстанавливаются структурными методами. В связи с этим ряд исследований посвящен разработке алгоритмов, позволяющих производить эффективное восстановление как текстурных, так и структурных регионов изображения. Такие алгоритмы формируют класс гибридных методов восстановления. Одно из наиболее перспективных направлений в этом классе основывается на использовании разреженного кодирования для восстановления регионов изображений. В связи с этим в данной статье центральное внимание будет уделено гибридным методам восстановления, основанным на разреженном представлении данных.
Методы восстановления, основанные на разреженном кодировании данных
Главная идея разреженного кодирования заключается в представлении исходного сигнала x размерности N другим сигналом а размерности К, где К > N. Представление сигнала а при этом должно содержать малое количество ненулевых коэффициентов.
Разреженное представление сигнала можно получить с помощью разложения исходного сигнала по расширенному базису, который принято называть словарем. Словарь содержит все базисные векторы, а также некоторое число их линейных комбинаций, т. е. число векторов, содержащихся в нем, превышает размерность исходного сигнала. Именно благодаря такому расширенному базису можно получать разреженное представление сигнала.
Обозначим одномерное представление (как правило, в виде вектора-столбца) конкретного блока с центральным пикселем Х(!, у) изображения X как ^(¿, у). Далее будем называть у) пат-чем. Таким образом, соотношение между патчем у) и блоком B(i, у) можно выразить следующим равенством:
т ])=Ф(ва, ])),
где ф — функция обхода блока в сканирующем порядке.
Существует два основных подхода, которые применяют методы разреженного кодирования данных для построения алгоритмов восстановления изображений:
— синтез потерянного региона О на основе анализа линейных зависимостей, обнаруженных на изображении [19];
— использование словарей для восстановления патчей изображения (словарный метод) [4].
Авторы работы [19] предлагают использовать принцип, который основан на предположении о том, что потерянный патч может быть представлен линейной комбинацией нескольких других патчей, сформированных из О. Для того чтобы определить, содержит ли восстанавливаемый патч текстурную или структурную информацию, было предложено анализировать количество соседних патчей у), необходимых для его аппроксимации. При этом было установлено, что структурные патчи имеют более разреженную степень представления (требуют меньшее количество патчей-кандидатов для точного представления) по сравнению с текстурными патчами.
Предлагается [19] в первую очередь восстанавливать структурные патчи. По аналогии с шаблонными методами восстановления алгоритм состоит из двух основных шагов (рис. 3):
1) расстановка приоритетов восстановления для патчей;
2) восстановление искаженных патчей.
Рассмотрим процедуру расчета приоритета
для произвольного патча у).
Для этого определим множество патчей-кан-дидатов N(1, у):
N(1,}) = {(£, I):\к-¿| <г, \1 -/| <г, У(к, I) с О},
где г — некоторая заранее определенная константа (радиус). Таким образом, множество N(1, у) содержит патчи из неискаженной области О, отстоящие не более чем на г пикселей по горизонтали и вертикали от координаты (!, у).
Функция расстановки приоритетов выглядит следующим образом:
рти j))=T[
Ни»
N(i, j) • M2
(2r +1)2
c(rn(i, j))
где T[q 1] — функция приведения числовых данных в требуемый диапазон [q, 1]; ||-||2 — Ь2-норма вектора;
j) содержит весовые коэффициенты, характеризующие степень похожести между исходным пат-чем T(i, j) и патчами-кандидатами T(k, l) e N(i, j); |-| — мощность множества; M2 — размер патча; C(T(i, j)) — функция выставления уверенности (по аналогии с шаблонными методами восстановления).
Восстановление искаженного патча ¥(i, j) достигается путем построения линейной комбинации из нескольких наиболее похожих патчей, найденных на изображении. Вопросы, связанные с влиянием количества патчей для аппроксимации, а также выбор способа расчета вектора j) детально рассмотрены в работе [19].
Таким образом, высокое значение функции P(T(i, j)) указывает на то, что рассматриваемый патч является структурным, поскольку его представление сильно разрежено. Текстурные же пат-чи таким свойством не обладают, что приводит к низким значениям функции P(Y(i, j)).
Перейдем к методам восстановления на основе использования функции для аппроксимации изображения. В качестве примера рассмотрим словарный метод [4], в котором разреженное кодирование применяется для выделения слоев на изображении, содержащих текстурные и структурные элементы. Основная идея данного подхода заключается в использовании двух заранее подготовленных словарей, один из которых позволяет получить разреженное представление текстурной информации, а другой — структурной. Такой подход принято называть морфологическим анализом компонент (morphological component analysis). В таком случае изображение рассматривается как поэлементная сумма двух составляющих (морфологических слоев):
x = X + х,
где Xt — текстурная, а Xs — структурная составляющая. Для упрощения дальнейшего изложения будем полагать, что X, Xt и Xs представлены в виде векторов в пространстве ЭТ", где n — величина, равная произведению ширины исходного изображения на его длину.
Поскольку в ходе работы алгоритма морфологические компоненты представляются в разреженном виде, то окончательное изображение X строится по следующему принципу:
X = Tt a?pt + Ts ds
opt
где Tt, X, — словарь, позволяющий получить разреженное представление текстурного слоя X и структурной компоненты изображения Х8 соответственно.
Поиск оптимальных коэффициентов {а°р*, а°р*} предлагается осуществлять путем решения следующей оптимизационной задачи:
a
opt aoptl =
,a
j = arg min
{at ,as }
+ X
llat| lo + KI lo +
VT (X - Ttat- T as) + yTV {Tsas j
где a°pt и a°pt принадлежат пространству (L > M2); V — вектор, содержащий единицы на позициях с доступными пикселями, а нули — на позициях с искаженными, принадлежит пространству Ш"; X и у — весовые коэффициенты; TV — дополнительные ограничения, способствующие кусочно-гладкому восстановлению структурного слоя [20]. Решение данной оптимизационной задачи можно находить, используя метод преследования базисов (basis pursuit) [21].
Хотелось бы отметить, что методы, основанные на разреженном представлении данных, во многом схожи с шаблонными методами по принципу обработки отдельных блоков, взятых с изображения. Однако алгоритмы, применяющие шаблонные методы восстановления, в процессе своей работы не создают новых шаблонов, а используют только уже существующие. Алгоритмы восстановления регионов изображений, основанные на разреженном представлении данных, за счет комбинирования базисных векторов словаря способны создавать новые шаблоны. В связи с этим, как будет показано ниже, в ряде случаев они способны показывать более хорошие результаты при восстановлении искаженных регионов.
Анализ качества восстановления различных типов регионов на изображениях
Результат анализа эффективности восстановления различных типов регионов на изображениях с помощью рассмотренных в данной работе методов представлен в таблице.
Примеры типов рассматриваемых регионов изображений приведены на рис. 4.
В таблице приняты следующие условные обозначения:
+: в абсолютном большинстве случаев восстановленное изображение не содержит серьезных визуальных искажений;
+?: в большинстве случаев восстановленное изображение не содержит серьезных визуальных искажений;
■ Анализ качества восстановления различных типов регионов на изображениях
Тип региона
Метод восстановления Изофота Гладкая область Градиент Регулярная текстура Нерегулярная текстура
Структурные методы: взвешенное усреднение направленное восстановление контуров -? + + + + + -? -
Шаблонные методы: глобальный поиск локальный поиск -? -? + + +? +? + + + +?
Разреженное кодирование +? + + + -?
Изофота Гладкая Градиент Регулярная Нерегулярная
область текстура текстура
■ Рис. 4. Примеры типов регионов на изображении
-?: в некоторых случаях восстановленное изображение не содержит серьезных визуальных искажений;
-: в абсолютном большинстве случаев восстановленное изображение может содержать заметные визуальные искажения.
Алгоритмы восстановления, основанные на взвешенном усреднении, способны качественно восстанавливать области изображений, не содержащие каких-либо особенностей. К таким регионам можно отнести гладкие области, а также области, содержащие градиенты. В отличие от них методы направленного восстановления контуров способны качественно восстанавливать и регионы, содержащие внутри себя незначительные вариации. Таким образом, помимо вышеперечисленных регионов они способны корректно обрабатывать и области, содержащие изофоты, и регулярные текстуры, если те в свою очередь состоят из изофот.
Алгоритмы, основанные на применении глобального или локального поиска, осуществляют восстановление путем использования готовых шаблонов данных на изображении. Принцип их работы не предусматривает модификацию или изменение таких шаблонов. Таким образом, они способны корректно восстанавливать потерянные регионы, содержащие информацию, которая обладает значительной корреляцией с той, что содержится в доступной области О.
Алгоритмы на основе разреженного представления данных для восстановления используют свойство словарей «запоминать» повторяющиеся
особенности данных на изображении. При этом такие алгоритмы способны генерировать блоки данных, содержащие информацию, отсутствующую в явном виде в доступной области О. Таким образом, самыми сложными регионами для восстановления будут те, что содержат нерегулярную текстуру.
Заключение
В работе выделены и проанализированы классы алгоритмов восстановления изображений, которые основаны на структурных и шаблонных методах, а также на разреженном кодировании данных.
Проведен анализ эффективности восстановления различных типов регионов на изображениях с помощью рассмотренных алгоритмов, в результате которого определены достоинства и недостатки рассмотренных подходов.
Рассмотренные методы восстановления изображений исключительно на стороне получателя данных могут быть применены в задаче маскирования искажений, возникающих в результате потерь пакетов в сети передачи данных. Анализ и разработка методов маскирования искажений визуальных данных является актуальной задачей для различных прикладных областей и требует дальнейших исследований.
Работа выполнена при финансовой поддержке Минобрнауки в рамках базовой части государственного задания вузу на 2015 год (проект № 2452).
Литература
1. Bertalmio M., Sapiro G., Caselles V., Ballester C. Image Inpainting // Proc. of the 27th Annual Conf. on Computer Graphics and Interactive Techniques. 2000. P. 417-424.
2. Wang Z., Yu Y., Zhang D. Best Neighborhood Matching: an Information Loss Restoration Technique for Block-Based Image Coding Systems // IEEE Transactions on Image Processing. 1998. N 7. P. 1056-1061.
3. Criminisi A., Perez P., Toyama K. Region Filling and Object Removal by Exemplar-Based Inpainting // IEEE Transactions on Image Processing. 2004. N 13. P. 1200-1212.
4. Elad M., Starck J.-L., Querre P., Donoho D. Simultaneous Cartoon and Texture Image Inpainting Using Morphological Component Analysis (MCA) // Applied and Computational Harmonic Analysis. 2005. N 19. P. 340-358.
5. Qaratlu M. M., Ghanbari M. Intra-frame Loss Concealment Based on Directional Extrapolation // Signal Processing: Image Communication. 2011. N 26. P. 304-309.
6. Xiang Y., Feng L., Xie S., Zhou Z. An Efficient Spatio-Temporal Boundary Matching Algorithm for Video Error Concealment // Multimedia Tools and Applications. 2011. N 52. P. 91-103.
7. Nguen D., Dao M., Tran T. Video Error Concealment Using Sparse Recovery and Local Dictionaries // Processing of ICASSP. 2011. P. 1125-1128.
8. Chan T. F., Shen J. Mathematical Models for Local Nontexture Inpaintings // SIAM J. Appl. Math. 2002. P. 1019-1043.
9. Salama P., Shroff N. B., Delp E. J. Error Concealment in Encoded Video Streams // Signal Recovery Techniques for Image and Video Compression and Transmission 1998. P. 119-233.
10. Nemethova O., Al-Moghrabi A., Rupp M. Flexible Error Concealment for H.264 Based on Directional Interpolation // Proc. of Intern. Conf. on Wireless Networks, Communications and Mobile Computing. 2005. P. 1255-1260.
11. Kung W.-Y., Kim C.-S., Kuo C. C. Spatial and Temporal Error Concealment Techniques for Video Trans-
mission over Noisy Channels // IEEE Transactions on Circuits and Systems for Video Technology. 2006. N 16. P. 789-803.
12. Ulysses J. N., Conci A. Measuring Similarity in Medical Registration // 17th Intern. Conf. on Systems, Signals and Image Processing. 2010. http://www2.ic.uff.br/ iwssip2010/Proceedings/nav/papers/paper_189.pdf (дата обращения: 13.07.2015).
13. Zhang D., Wang Z. Image Information Restoration Based on Long-Range Correlation // IEEE Transactions on Circuits and Systems for Video Technology. 2002. N 12. P. 331-341.
14. He L., Zhang Y. A Rotate-Based Best Neighborhood Matching Algorithm for High Definition Image Error Concealment // Proc. of the 2010 10th IEEE Intern. Conf. on Computer and Information Technology. 2010. P. 1393-1396.
15. Li W., Zhang D., Liu Z., Qiao X. Fast Block-Based Image Restoration Employing the Improved Best Neighborhood Matching Approach // IEEE Transactions on Systems, Man, and Cybernetics. 2005. N 35. P. 546-555.
16. Hsieh C.-T., Chen Y.-L., Hsu C.-H. Fast Image Restoration Using the Multi-Layer Best Neighborhood Matching Approach // Proc. of the 6th WSEAS Intern. Conf. on Applied Computer Science. 2007. P. 441-446.
17. Nalawade V. V., Ruikar S. D. A Comparative Analysis of Exemplar Based and Wavelet Based Inpainting Technique // Intern. Journal of Electronics and Computer Science Engineering. 2012. N 1. P. 1034-1043.
18. Cheng W., Hsieh C., Lin S., Wang C., Wu J. Robust Algorithm for Exemplar Based Image Inpainting // Proc. of Intern. Conf. on Computer Graphics, Imaging and Visualization. 2005. P. 64-69.
19. Xu Z., Sun J. Image Inpainting by Patch Propagation Using Patch Sparsity // IEEE Transactions on Image Processing. 2010. N 19. P. 1153-1165.
20. Rudin L., Osher S., Fatemi E. Nonlinear Total Variation Noise Removal Algorithm // Physica D. 1992. N 60. P. 259-268.
21. Chen S. S., Donoho D. L., Saunders M. A. Atomic Decomposition by Basis Pursuit // SIAM Journal on Scientific Computing. 1998. N 20. P. 33-61.
UDC 004.932.2
doi:10.15217/issn1684-8853.2015.5.34
Basic Methods and Principles of Developing Image Inpainting Algorithms
Yastrebov V. A.a, Post-Graduate Student, victor.yastrebov1@yandex.ru Veselov A. I.a, Assistant Professor, anton.veselov@gmail.ru Gilmutdinov M. R.a, PhD, Tech., Associate Professor, mgilm@gmail.ru
aSaint-Petersburg State University of Aerospace Instrumentation, 67, B. Morskaia St., Saint-Petersburg, 190000, Russian Federation
Purpose: Visual distortions caused by lost packets in networks with non-guaranteed delivery are sometimes processed (masked) at the decoder side. To solve this problem, image inpainting algorithms are used. The purpose of this work is classifying the methods
and principles of these algorithms, finding the advantages and shortcomings of the existing approaches, formulating the current problems and possible ways to resolve them. Results: The discussed approaches and principles which form the basis for image inpainting algorithms are divided into the following classes: structural techniques, textural techniques and sparse-coding techniques. Some ways are presented to overcome the high computational complexity of the discussed methods using suboptimal procedures. The link is shown between textural inpainting techniques and sparse-coding techniques. Restoration quality analysis is given for various image region types. Practical relevance: The discussed approaches can be applied for the development of applications sensitive to retransmission in networks with non-guaranteed delivery.
Keywords — Image Reconstruction, Visual Distortion Masking, Sparse Coding Inpainting, Structure Inpainting, Exemplar-based Inpainting.
References
1. Bertalmio M., Sapiro G., Caselles V., Ballester C. Image Inpainting. Proc. of the 27th Annual Conf. on Computer Graphics and Interactive Techniques, 2000, pp. 417-424.
2. Wang Z., Yu Y., Zhang D. Best Neighborhood Matching: an Information Loss Restoration Technique for Block-Based Image Coding Systems. IEEE Transactions on Image Processing, 1998, vol. 7, pp. 1056-1061.
3. Criminisi A., Perez P., Toyama K. Region Filling and Object Removal by Exemplar-Based Inpainting. IEEE Transactions on Image Processing, 2004, vol. 13, pp. 1200-1212.
4. Elad M., Starck J.-L., Querre P., Donoho D. Simultaneous Cartoon and Texture Image Inpainting using Morphological Component Analysis (MCA) Applied and Computational Harmonic Analysis, 2005, no. 19(3), pp. 340-358.
5. Qaratlu M. M., Ghanbari M. Intra-Frame Loss Concealment Based on Directional Extrapolation. Signal Processing: Image Communication, 2011, no. 26, pp. 304-309.
6. Xiang Y., Feng L., Xie S., Zhou Z. An Efficient Spatio-Temporal Boundary Matching Algorithm for Video Error Concealment. Multimedia Tools and Applications, 2011, no. 52, pp. 91-103.
7. Nguen D., Dao M., Tran T. Video Error Concealment Using Sparse Recovery and Local Dictionaries. Processing of ICASSP, 2011, pp. 1125-1128.
8. Chan T. F., Shen J. Mathematical Models for Local Nontex-ture Inpaintings. SIAM J. Appl. Math., 2002, no. 62, pp. 1019-1043.
9. Salama P., Shroff N. B., Delp E. J. Error Concealment in Encoded Video Streams. Signal Recovery Techniques for Image and Video Compression and Transmission, 1998, pp. 119-233.
10. Nemethova O., Al-Moghrabi A., Rupp M. Flexible Error Concealment for H.264 Based on Directional Interpolation. Proc. of Intern. Conf. on Wireless Networks, Communications and Mobile Computing, 2005, pp. 1255-1260.
11. Kung W.-Y., Kim C.-S., Kuo C. C. Spatial and Temporal Error Concealment Techniques for Video Transmission Over Noisy Channels. IEEE Transactions on Circuits and Systems for Video Technology, 2006, no. 16(7), pp. 789-803.
12. Ulysses J. N., Conci A. Measuring Similarity in Medical Registration. 17th Intern. Conf. on Systems, Signals and Image Processing, 2010. Available at http://www2.ic.uff.br/ iwssip2010/Proceedings/nav/papers/paper_189.pdf (accessed 13 July 2015).
13. Zhang D., Wang Z. Image Information Restoration Based on Long-Range Correlation. IEEE Transactions on Circuits and Systems for Video Technology, 2002, vol. 12, pp. 331341.
14. He L., Zhang Y. A Rotate-Based Best Neighborhood Matching Algorithm. Intern. Conf. on Computer and Information Technology, 2010, pp. 1393-1396.
15. Li W., Zhang D., Liu Z., Qiao X. Fast Block-Based Image Restoration Employing the Improved Best Neighborhood Matching Approach. IEEE Transactions on Systems, Man, and Cybernetics, 2005, no. 35(4), pp. 546-555.
16. Hsieh C.-T., Chen Y.-L., Hsu C.-H. Fast Image Restoration Using the Multi-Layer Best Neighborhood Matching Approach. Proc. of the 6th WSEAS Intern. Conf. on Applied Computer Science, 2007, pp. 441-446.
17. Nalawade V. V., Ruikar S. D. A Comparative Analysis of Exemplar Based and Wavelet Based Inpainting Technique. Intern. Journal of Electronics and Computer Science Engineering, 2012, no. 1(3), pp. 1034-1043.
18. Cheng W., Hsieh C., Lin S., Wang C., Wu J. Robust Algorithm for Exemplar Based Image Inpainting. Proc. of Intern. Conf. on Computer Graphics, Imaging and Visualization, 2005, pp. 64-69.
19. Xu Z., Sun J. Image Inpainting by Patch Propagation Using Patch Sparsity. IEEE Transactions on Image Processing, 2010, no. 19(5), pp. 1153-1165.
20. Rudin L., Osher S., Fatemi E. Nonlinear Total Variation Noise Removal Algorithm. Physica D, 1992, no. 60(1), pp. 259-268.
21. Chen S. S., Donoho D. L., Saunders M. A. Atomic Decomposition by Basis Pursuit. SIAM Journal on Scientific Computing, 1998, no. 20, pp. 33-61.
