CC BY
45
УДК 004.932.4
В.В. Воронин
АВТОМАТИЗИРОВАННОЕ ДЕТЕКТИРОВАНИЕ ДЕФЕКТОВ ПРИ РЕКОНСТРУКЦИИ АРХИВНЫХ ФОТОДОКУМЕНТОВ
В различных архивах мира хранится большое количество архивных фото- и видеодокументов. Многие фотографии являются уникальными и в некоторых случаях единственными сведениями об отдельных элементах прошлого. Оценивание истинных значений пикселей изображений в той или иной степени необходимо в большинстве задач цифровой обработки изображений. Методы восстановления двумерных сигналов находят свое применение в задачах обработки архивных документов в виде изображений, имеющих различные искажения, например: царапины, пятна, пыль, ненужные надписи, линии сгиба [1—3].
Восстановление архивных фотодокументов состоит из двух главных этапов: обнаружение дефектов и их устранение. В настоящее время первый и второй этап в большинстве случаев делает человек-реставратор, при этом цифровая реставрация изображений является трудоемкой и требует много времени [3]. Особенно остро это ощущается при необходимости реставрации большого количества фотодокументов в короткий срок. При этом многие операции, выполняемые человеком в процессе реставрации, можно автоматизировать.
Упрощенная математическая модель изображения может быть представлена в следующем виде:
У . = (1 -М .. + М Я ., г = \1, 1 = 17,
где У,. - исходное изображение; Б,. - оригинальное (неискаженное) изображение; М1. - бинарная маска области с искаженными значениями (единица соответствует искаженным пикселям, нуль - неискаженным пикселям); Я1 . - искаженные значения пикселей.
Дефекты на изображении можно классифицировать следующим образом: пятна, волокна, искажения фотографического слоя, зернистость, искусственные надписи. Все эти искажения можно отнести к локальным особенностям изображений и анализировать их с помощью текстурного анализа, а задачу детектирования таких особенностей свести к задаче выделения локальных дескрипторов на изображениях. Среди таких методов за
основу выбран метод Speeded Up Robust Features (SURF), как наиболее распространенный и эффективный метод выделения локальных особенностей. Метод SURF применяется для выделения локальных особенностей, создания дескрипторов, сравнения изображений, 3D реконструкции и поиска объектов на изображении [4].
Обнаружение особых точек в SURF основано на вычислении детерминанта матрицы Гессе (гессиана), который достигает экстремума в точках максимального изменения градиента яркости и позволяет детектировать пятна, углы и края линий.
Матрица Гессе для двумерной функции и ее детерминант определяется следующим образом:
H (Y (х, у)) =
д 2Y ö2Y
дх2 д 2Y
det( H) =
дхду
д2y д2y
дхду д 2Y
д2y "
дХ ду2 ^ дхду
Значение гессиана используется для нахождения локального минимума или максимума яркости изображения. Метод SURF использует бинаризованную аппроксимацию лапласиана га-уссиана (Fast-Hessian). Для нахождения особых точек с помощью SURF анализируются все пиксели изображения и определяется максимум гессиана [4].
В данной статье предлагается модифицировать метод SURF с предварительной обработкой изображения энергетическими характеристиками Лавса.
Лавс (Law) разработал энергетический подход, в котором оценивается изменение содержания текстуры в пределах окна фиксированного размера [5]. Для вычисления энергетических характеристик используется набор из 22 масок размерами 5^5. Затем энергетические характеристики каждого пикселя анализируемого изображения представляются в виде вектора и девяти чисел.
Для вычисления масок используются следующие векторы: L5 (Level) = [1 4 6 4 1], E5 (Edge) = [-1 -2 0 2 1], S5 (Spot) = [-1 0 2 0 -1], R5 (Ripple) = [1 -4 6 -4 1], W5 (Wave) = [-1 2 0 -2 1].
Название вектора описывает их назначение. Вектор L5 предназначен для вычисления симметричного взвешенного локального среднего значения. Вектор E5 предназначен для обнаружения краев, S5 - для обнаружения пятен, R5 - для обнаружения образа в виде ряби, W5 - для обнаружения волн [5]. Двумерные маски вычисляются умножением пар векторов.
Предлагаемый подход позволяет находить особые точки на различных типах текстур, а также определяет для каждой точки направление
максимального изменения яркости (градиент) и масштаб, взятый из масштабного коэффициента матрицы Гессе. Такой подход позволяет анализировать различные типы дефектов на поверхности фотографий как один из типов текстуры, таких, как края, пятна, рябь, волны и т. д.
На последнем этапе обработки в качестве дефектов анализируются особые точки, для которых масштабный коэффициент матрицы Гессе больше порогового уровня. Такой подход позволяет учитывать только те дефекты, которые значительно выделяются на фоне остальных пикселей. На следующем этапе изображения, полученные после обработки фильтром Лавса, бинаризуются. Дефектными считаются только те области пиксе-
Рис. 1. Блок-схема алгоритма модифицированного метода SURF
а) б)
Рис. 3. Тестовое изображение 2
лей на бинаризированном изображении, для которых найдены особые точки с масштабным коэффициентом больше порогового уровня [6].
На рис. 1 представлена блок-схема алгоритма предложенного метода. Алгоритм состоит из следующих шагов.
1. Выбор интересующей локальной особенности (типа дефекта): царапина, рябь, пятна или волны.
2. Изображение У, j в зависимости от типа локальной особенности обрабатывается энергетическими масками Лавса.
3. Полученное изображение обрабатывается методом SURF.
4. Поиск локального минимума и максимума яркости изображения.
5. Расчет особых точек с помощью бинаризованной аппроксимации лапласиана гаус-сиана.
6. Дефектными считаются только те области пикселей на бинаризированном изображении, для которых найдены особые точки с масштабным коэффициентом больше порогового уровня.
На рис. 2-4 представлены примеры обработки фотодокументов предлагаемым методом (а - исходное изображение, б - маска дефектов, обнаруженная предложенным способом).
Использование известных методов детектирования дефектов изображений требует априорных знаний о типе дефектов. Уменьшение объема априорной информации существенно усложняет процесс обработки изображений и в ряде случаев делает обязательным визуальный контроль и использование экспертных оценок.
Анализ результатов обработки показывает, что предлагаемый метод позволяет детектировать различные типы искажений, такие, как линии, отслоение фотослоя, надрывы, горизонтальные и вертикальные линии. Изображение 3 имеет сложный тип дефекта: отслоение фотослоя в виде светлых пикселей и вертикальные царапины в виде темных пикселей. Предлагаемый метод позволяет обнаружить оба типа дефектов.
Искажения архивных фотодокументов можно отнести к локальным особенностям изображений и анализировать их с помощью текстурного анализа, а задачу детектирования таких особенностей отнести к задаче выделения локальных дескрипторов на изображениях. Для решения данного вопроса разработан модифицированный метод SURF, состоящий из нескольких этапов. Первый - преобразование изображения в градации серого и предварительная обработка энергетическими характеристиками Лавса, в результате чего получается набор отфильтрованных изображений. Следующий этап - непосредственно обработка методом SURF.
Анализ результатов обработки показал, что алгоритм модифицированного метода SURF позволяет выделять различные типы локальных особенностей с помощью предварительной обработки изображения энергетическими характеристиками Лавса.
Работа выполнена в рамках ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг.
СПИСОК ЛИТЕРАТУРЫ
1. Шапиро, Л. Компьютерное зрение [Текст] / Л. Шапиро, Дж. Стокман; пер с англ. -М.: БИНОМ. Лаборатория знаний, 2006. -413 с.
2. Варламов, А.Д. Точечные дефекты фотодокументов и методы их устранения [Текст] / А.Д. Варламов, С.С. Садыков // Тр. Междунар. симпоз. Надежность и качество; под ред. Н.К. Юркова. -Пенза: Изд-во ПГУ, 2004. -С. 411-413.
3. Варламов, А.Д. Технология реставрации фотоизображений [Текст] / А.Д. Варламов // Сб. матер. VII Междунар. конф. Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Рас-
познавание. -Курск: Изд-во Курского гос. техн. ун-та, 2005. -С. 34-35.
4. Bay, H. Speeded-Up Robust Features (SURF) [Электронный ресурс] / H. Bay, A. Ess // LNCS 3951 (ECCV'06). -2006. -Vol. 1. -P. 404-417.
5. Laws, K. Textured image segmentation: Ph.D. diss. [Text] / K. Laws. -University of Southern California, 1980.
6. Морозова, Т.В. Алгоритм детектирования локальных особенностей на изображении [Текст] / Т.В. Морозова, В.В. Воронин // Сб. науч. тр. Современные проблемы радиоэлектроники. -Ростов-на-Дону: РИО РГИСТ ФГБОУ ВПО «ЮРГУЭС», 2012. -С. 151-153.
