CC BY
143
УДК 621.397:621.396.96
ВЫДЕЛЕНИЕ ПРЯМОЛИНЕЙНЫХ КРОМОК НА ЗАШУМЛЕННЫХ ИЗОБРАЖЕНИЯХ
В. Ю. Волков,
доктор техн. наук, профессор Санкт-Петербургский государственный университет телекоммуникаций им. проф. М. А. Бонч-Бруевича Л. С. Турнецкий, канд. техн. наук, старший научный сотрудник, доцент ОАО «Научно-производственное предприятие «Радар ммс»
А. В. Онешко, аспирант
Санкт-Петербургский государственный университет телекоммуникаций им. проф. М. А. Бонч-Бруевича
Предложен новый метод обнаружения и выделения признаков для описания объектов на изображении с использованием кромок. Он полезен для сравнения различных изображений, описания и распознавания категорий объектов, автоматического выделения строений и нахождения общих областей при сравнении изображений. Метод включает ориентированную фильтрацию и поиск прямолинейных сегментов для каждого направления и масштаба кромки с учетом знака градиента. Прямолинейные сегменты упорядочиваются в соответствии с их ориентацией и средним значением градиента в рассматриваемой области. Они используются для построения иерархической системы дескрипторов объектов. Проведен сравнительный анализ эффективности для зашумленной модели и для реальных аэро- и спутниковых изображений.
Ключевые слова — фильтрация, сегментация, выделение объектов.
Введение
Выделение кромок и контуров представляет весьма важную задачу цифровой обработки изображений. Известны два основных подхода при выделении контуров: пространственно-частотная фильтрация и дифференцирование в локальных окнах [1, 2]. Метод локальных производных использует первые или вторые производные в локальном окне. Это позволяет выделить линии контуров вместо перепадов яркости.
В большинстве случаев используется модуль градиента или второй производной. Последующая пороговая обработка позволяет получить бинарное изображение [3, 4], и прямые линии могут быть выделены, например, с помощью преобразования Хафа. Известные общие алгоритмы выделения контуров произвольной формы не учитывают ориентацию линий и не позволяют произвести их упорядочение по этому признаку, а также оценить координаты начала и конца каждой линии.
Многие реальные оптикоэлектронные и радиолокационные изображения содержат прямолинейные кромки перепадов яркости. В основном это характерно для изображений искусственных антропогенных объектов (здания, дороги), но прямолинейные кромки встречаются и на естественных сценах, например линия горизонта на морской сцене.
Постановка задачи и метод решения
В статье рассматривается проблема редукции изображений, содержащих прямолинейные кромки, к упорядоченной совокупности прямых линий с измеренными координатами начальных и конечных точек. Новыми элементами предложенного алгоритма обнаружения и выделения признаков для описания объектов на изображении на основе прямолинейных кромок являются: использование положительной и отрицательной частей градиента вместо модуля, что позволяет различать положительные и отри-
цательные перепады яркостей; фильтрация линий пространственно ориентированным фильтром для выделения наиболее значимых направлений; упорядочение оцененных направлений (выбранных) линий в соответствии с сигналами этих фильтров, согласованных с каждым из заложенных пространственных направлений. Для оценивания начальных и конечных точек прямолинейных кромок на координатной сетке используется формирование профилей градиента в выбранном направлении с последующей оценкой положения фронтов полученных импульсов начальных и конечных точек. Алгоритм позволяет определять оптимальные размеры маски для фильтра, обеспечивая таким образом инвариантность к размеру изображения. Предлагаемая структура алгоритма обработки изображения показана на рис. 1.
Оригинальное изображение X после регистрации и предварительного сглаживания подвергается дифференцированию в скользящем локальном окне. Оператор дифференцирования представляет маску фильтра, который вычисляет первую производную (градиент) и учитывает направление выделяемых линий. На этой стадии обработки организуются каналы анализа знака перепада яркости, согласованные с рядом заданных направлений. Число каналов анализа определяет необходимую точность формирования оценок компонент вектора градиента. В данном исследовании, для обозримости, формируются четыре
■ Рис. 1. Структура алгоритма цифровой обработки изображения при выделении прямолинейных кромок
канала анализа: горизонтальный, вертикальный и два диагональных. В каждом канале следует выделять положительную и отрицательную части градиента, определяемого степенью перепада яркости, что позволяет разделять кромки в зависимости от знака перепада яркости (положительный перепад соответствует возрастанию яркости).
Результат дифференцирования Y дает линии в местах кромок перепада яркости. Эти линии различаются по интенсивности, которая связана с величиной градиента. Для упорядочения выделения линий и определения наиболее важных направлений производится фильтрация с помощью пространственно ориентированных фильтров, настроенных в скользящем локальном окне на разные заданные пространственные направления анализа линий перепада яркости изображения.
Поскольку в большинстве случаев представляют интерес наиболее интенсивные и длинные линии, то соответствующие направления определяются и обрабатываются в первую очередь. Линии для найденных наиболее значимых пространственно ориентированных направлений упорядочиваются по максимальным или по средним величинам интенсивности и длине (протяженности) выходного сигнала соответствующего пространственно ориентированного фильтра.
На рис. 2, а приведены оригинальное изображение, положительная часть оператора градиента для горизонтального направления и результат фильтрации градиентного изображения пространственно ориентированным фильтром, согласованным с наиболее существенным направлением. Для формирования градиента использовано скользящее локальное окно размером 5 х 5.
После определения наиболее значимых направлений для линий в каждом из них осуществляется выделение соответствующего профиля градиента Z. Этот профиль формируется как одномерный сигнал вдоль прямой линии в данном направлении (рис. 3).
Задача оценивания начальной и конечной точек линии сводится, таким образом, к задаче оценивания моментов появления и окончания импульса, имеющего неизвестную длительность. В этих целях используется пороговая обработка, которая может включать адаптацию к неизвестным параметрам импульса [3, 4].
Результаты оценивания координат начальной и конечной точек линии прямолинейных кромок представлены на рис. 2, б: начальные и конечные точки помечены белыми метками на градиентном и оригинальном изображениях. Нижнее изображение справа представляет набор линий в местах положительных кромок для выбранного наиболее значимого направления линий.
а) б)
■ Рис. 2. Преобразования оригинального изображения (а) и редукция его к совокупности прямых линий (б)
Хт-1200
■ Рис. 3. Профиль градиента в выбранном направлении
Выделение прямолинейных кромок на модели изображения
Рассмотрим эффективность выделения прямолинейных кромок на модели изображения, содержащей объекты прямоугольной формы в смеси с аддитивным гауссовым шумом. Модель сигнального изображения (рис. 4, а) включает четы-
а) б)
■ Рис. 4. Модель сигнального (а) и зашумленного (б) изображения
а) б)
■ Рис. 5. Результат предварительной фильтрации (а) и идеальный результат выделения кромок (б)
ре ряда объектов прямоугольной формы. Амплитуды прямоугольников одинаковы в каждом ряду, но увеличиваются от верхнего ряда к нижнему. После добавления аддитивного гауссова шума получается зашумленная модель (рис. 4, б), в которой обеспечиваются следующие отношения сигнал/шум в разных рядах: d = 0,58; 1,16; 2,33; 4,65. В целях сглаживания зашумленное изображение предварительно фильтруется гауссовым фильтром с параметром ст = 1,5. Результат предварительной фильтрации и идеальное выделение кромок представлены на рис. 5, а, б.
Стандартный метод выделения прямолинейных кромок включает использование детектора кромок с последующим преобразованием Хафа (рис. 6, а) для получения набора прямолинейных сегментов. Наиболее популярным детектором кромок является детектор Канни (рис. 6, б).
Как известно, детектор Канни дает дрожащую линию контура, что является следствием нелинейной операции немаксимального подавления. Кроме того, детектор Канни сглаживает и подавляет острые углы, поэтому возникают проблемы с выделением точек пересечения прямых. Обычно такие точки находятся уже другими алгоритмами (например, Харриса). Преобразование Хафа
б)
о о с
□ □
Рис. 6. Выделенные прямолинейные сегменты после преобразования Хафа (а) и результат детектирования контуров алгоритмом Канни (б)
Рис. 7. Результат выделения прямолинейных сегментов (а) и точек пересечения (б) с помощью предложенного алгоритма
в этом случае дает фрагментированную линию, что требует дополнительной обработки для связывания фрагментов и получения прямолинейного сегмента. Этот дефект проявляется при всех значениях отношения сигнал/шум. Выделение прямолинейных сегментов таким способом нельзя считать удовлетворительным.
Предлагаемый метод ориентированной фильтрации позволяет выделить прямолинейные сегменты (рис. 7, а) и определить точки их пересечения (рис. 7, б).
Выделение прямолинейных кромок на реальных изображениях
Результаты выделения прямолинейных кромок, углов и пересечений, полученные с помощью предложенного алгоритма, представлены на рис. 8, а, б. Анализируется один и тот же участок местности. Снимки, полученные из двух источников, различаются по разрешению и сделаны в разное время.
Представляет практический интерес задача выделения на изображениях одних и тех же объектов в целях согласования и совмещения изо-
Рис. 8. Выделение прямолинейных сегментов, углов и пересечений на спутниковом (а) и самолетном (б) изображении
бражений. Прямые методы корреляции по интенсивности требуют выравнивания масштабов сравниваемых изображений. Они оказываются неработоспособными.
После выделения геометрических примитивов (прямолинейных сегментов, углов и пересечений) задача сводится к поиску на изображениях подобных морфологических структур. Такими структурами могут быть замкнутые контуры из сегментов, содержащие антипараллельные пары сегментов, заданное число точек пересечения и т. п. Для идентификации подобных областей на изображениях можно использовать геометрические соотношения между найденными структурами. На рис. 8 подобные структуры выделены черной заливкой.
Заключение
Рассмотренная задача представляет редукцию оригинального изображения к совокупности параметров для геометрических форм, содержа-
щихся в нем. Прямая линия есть простейшая геометрическая форма, и ее параметрами являются координаты начала и конца линии. Многие изображения содержат прямолинейные кромки, которые являются важными признаками при распознавании и идентификации объектов на изображениях. В данном случае оригинальное изображение редуцируется к списку отрезков прямых линий, упорядоченных в соответствии с их наиболее значимыми направлениями.
Решение задачи выделения прямолинейных кромок и оценивания их начальных и конечных точек включает дифференцирование в скользящем локальном окне, позволяющее получить прямые линии вместо кромок. Новым элементом предложенного алгоритма является формирование положительной и отрицательной частей градиента вместо модуля для различения возрастающих и убывающих перепадов яркости. Кроме того, использование направленных свойств оператора градиента помогает селектировать и упорядочить линии в соответствии со знаком перепада яркости на кромке, а также в соответствии с наиболее значимыми направлениями прямых линий на изображении градиента. Для этого использована фильтрация изображения градиента пространственно ориентированными фильтрами, настроенными на различные направления линий. Оценивание начальных и конечных точек кромок прямых линий производится после формирования профиля градиента в выбранном направлении.
Предложен новый метод получения набора параметров для упорядоченных линий как результат редукции оригинального изображения, который может использоваться для кодирования и хранения изображений, а также как набор пер-
вичных признаков для сравнения изображений, полученных от разных источников для одной и той же сцены.
Предлагаемый метод позволяет также уверенно выделять пересечения и углы кромок прямых линий. Это открывает путь для поиска на изображениях более сложных морфологических структур, таких как замкнутые контуры, содержащие антипараллельные пары сегментов, и других более сложных объектов. Выделение подобных структур на сопоставляемых изображениях позволяет решать задачу их сравнения и согласования при существенных различиях в масштабах, а также имеющих разное разрешение и полученных в разное время.
Литература
1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. — М.: Техносфера, 2005. — 1072 с.
2. Image Processing / H. Maitre Ed. — London, UK: ISTE Wiley, 2008. — 568 p.
3. Анцев Г. В., Волков В. Ю., Макаренко А. А., Тур-нецкий Л. С. Выделение прямолинейных кромок на зашумленных изображениях методом ориентированной фильтрации // Цифровая обработка сигналов и ее применение: Тр. 13-й Междунар. конф. / ИПУ РАН. Вып. XIII. Т. 2. М., 2011. С. 93-96.
4. Volkov V., Germer R. Straight Edge Segments Localization on Noisy Images // Proc. of the 2010 Intern. Conf. on Image Processing, Computer Vision and Pattern Recognition IPCV’10. Las Vegas, Nevada, USA: CSREA Press, 2010. Vol. II. P. 512-518.
