Выделение границ на изображениях на основе модели энергетических признаков вейвлет-преобразования Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.932

М. П. Шлеймович, А. П. Кирпичников, С. А. Ляшева, М. В. Медведев

ВЫДЕЛЕНИЕ ГРАНИЦ НА ИЗОБРАЖЕНИЯХ НА ОСНОВЕ МОДЕЛИ

ЭНЕРГЕТИЧЕСКИХ ПРИЗНАКОВ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ

Ключевые слова: обработка и анализ изображений, признаки изображений, вейвлет-преобразование, энергетические

признаки, выделение границ.

Рассмотрены модели представления изображений на основе признаков цвета, текстуры, формы и структуры. Описана модель энергетических признаков изображений. Показано применение модели энергетических признаков на основе вейвлет-преобразования для выделения границ на изображениях

Keywords: image processing and analysis, image features, wavelet transform, energy features, edge detection.

In this paper the models of representation of images based on the features of color, texture, shape and structure are discussed. The model of the energy characteristics of images is described. The results of using of energy characteristics model based on the wavelet transform for edge detection in the images is presented.

В настоящее время одним из наиболее приоритетных научно-технических направлений является развитие методов и средств обработки и анализа изображений, которые находят свое применение практически во всех сферах человеческой деятельности. Примерами систем, в которых они применяются, являются геоинформационные системы, системы

дистанционного зондирования Земли, системы контроля и управления доступом на охраняемые объекты, системы управления беспилотными аппаратами, системы управления технологическими процессами, системы промышленного контроля, системы контекстного поиска информации и т.д.

Технологии обработки и анализа изображений базируются на методах, алгоритмах и средствах, значительный вклад в разработку которых внесли Ю.И. Журавлев, М.П. Ярославский, Я.А. Фурман, В.К. Злобин, Ю.В. Визильтер, С.Ю. Желтов, Ю.П. Пытьев, Н.Н. Красильников, В.П. Дворкович, А.В. Дворкович, Р. Харалик, Д. Форсайт, Ж. Понс, Л. Шапиро, Дж. Стокман, Р. Гонсалес, Р. Вудс, У. Прэтт, Д. Марр, С. Малла, Б. Яне, Б.К. Хорн и др. ученые.

В системах, основанных на применении технологий обработки и анализа изображений, в общем случае необходимо обеспечить решение задач получения, преобразования, выделения признаков и анализа признаков изображений. Решение первой задачи обеспечивает ввод изображений в виде элементов данных, представляющих яркости или цвета точек. Решение второй задачи обеспечивает изменение геометрических, яркостных или цветовых характеристик изображений с целью их представления в виде, более удобном для последующей обработки. Решение третьей задачи обеспечивает формирование векторов числовых значений, описывающих изображения в оптимальной для анализа форме. Решение четвертой задачи обеспечивает извлечение и представления семантической информации, содержащейся в изображении.

Схема обработки и анализа изображений, основанная на последовательном решении указанных задач, базируется на парадигме Д. Марра, который предложил трехуровневую модель восприятия человеком объектов реального мира. Согласно парадигме Д. Марра при проектировании процедур обработки и анализа изображений можно выделить низкий, средний и высокий уровни представления изображений [1]. На низком уровне для представления изображений часто используют:

- функциональные модели, которые описывают изображения в виде некоторых функций; примером такой модели является описание изображения в виде функции пространственных координат, значения которой есть скалярные (для бинарных и полутоновых изображений) или векторные (для цветных и многоспектральных изображений) величины;

- вероятностные модели, которые описывают изображения в виде реализаций случайных процессов; для такого описания применяются функции плотности вероятности и статистические моменты (математическое ожидание, дисперсия и т.д.);

- иерархические модели, которые представляют изображения в виде множеств изображений различных масштабов; примером иерархической модели является гауссова пирамида изображений.

На среднем уровне для представления изображений используют описания их характерных особенностей. Здесь широко применяются контурные модели, модели областей интереса, модели точек интереса, модели структурных элементов. Формирование модели изображения в данном случае осуществляется в два этапа:

1. Сегментация изображения - обнаружение и маркирование контуров, областей интереса, точек интереса, структурных элементов;

2. Описание в виде векторов признаков, характеризующих соответствующие элементы.

Высокий уровень представления изображений базируется на моделях явного и неявного использования знаний. Примером модели неявного использования знаний является модель, в которой

применяются шаблонные изображения, т.е. знания об объектах содержатся в изображениях этих объектов. В моделях явного использования знаний применяются описания в виде правил интерпретации информации, содержащейся в изображении. Большинство используемых на практике подходов к анализу изображений основано на применении моделей неявного использования знаний.

Таким образом, при реализации процедур для решения указанных выше задач обработки и анализа изображений необходимо выбрать модели представления изображений на базе некоторых признаковых описаний, оптимальных согласно определенным критериям. Наилучшими в данном случае являются модели, обеспечивающие инвариантное и компактное представление изображений, которое можно применять для решения сразу нескольких задач, например, предварительной обработки, сжатия, сегментации, распознавания и др.

Наиболее часто представление изображений в задачах выделения признаков базируется на признаках цвета, текстуры, формы и структуры [2].

Признаки цвета предназначены для представления изображений с точки зрения их цветового содержания. Среди различных цветовых признаков пользуются популярностью гистограмма цветов [3], вектор цветовой связности [4], коррелограмма цветов [5], цветовые моменты [6], дескриптор доминантного цвета [7].

Признаки текстуры определяют

пространственное распределение цветов (или яркостей) пикселей изображений. Часто применяют статистические текстурные признаки [2], локальные бинарные шаблоны [8], спектральные признаки [9], признаки Тамуры [10] и др.

Признаки формы относятся к областям изображений. Такими признаками являются, например, округлость области или ее прямоугольность, периметр, площадь, ориентация главных осей и др. [2, 11].

Признаки структуры позволяют учесть наличие на изображениях определенных объектов и их взаимного расположения [2].

Выбор тех или иных признаков влияет на модель изображения, используемую в алгоритмах анализа, например, при обнаружении и распознавании объектов на изображениях. При этом необходимо учитывать условия функционирования систем, в которых данные алгоритмы будут реализованы, например:

- реальное время обработки и принятия решений;

- ограничения на вычислительные ресурсы;

- воздействие помех на средства регистрации, обработки, хранения и передачи изображений.

В различных системах, базирующихся на технология обработки и анализа изображений, часто используются контурные модели, основанные на выделении и анализе границ между областями на изображении.

Существует множество методов выделения границ. Широко применяются методы, основанные

на морфологических операторах или операторах производных [12]. Кроме того, развиваются методы, которые базируются на вейвлет-преобразовании [13, 14].

Вейвлет-преобразование позволяет выявить и учесть при анализе локальные особенности изображений. Различные виды вейвлет-преобразования применяются для первичной обработки, сегментации, выделении контуров, текстурного анализа, формирования признаков для обнаружения и распознавания объектов [12, 13, 14, 15].

Вейвлет-преобразование в общем виде представляются следующим образом:

Wf (u, s) = Jf (x) -¿^V* (

(1)

где Wf - результат преобразования; f - исходная функция; v* - комплексное сопряжение сдвинутой и масштабированной функции у, которая имеет нулевое среднее значение, центр в нулевой точке и единичную норму; D - размерность сигнала; u - D-мерный вектор параметров сдвига; s - параметр масштаба [17].

Вейвлет-преобразование раскладывает сигнал по

базисным функциям уus (x) = —D— у [ -—u |,

s ^ s )

которые позволяют выявить его особенности в локальной области (определяется параметрами сдвига) при некотором масштабе (определяется параметром масштаба). Для изображений имеем: D = 2, x = (x1, x2)T, u = (иь u2)T.

Вейвлет-преобразования в виде выражения (1) являются непрерывными. На их основе строятся различные эффективные признаковые описания изображений, например, контурные и текстурные [14, 15, 16, 18]. Однако на практике их применение подразумевает приближенный характер результатов и относительно медленные процедуры вычислений. Для конечных дискретных сигналов, к которым относятся цифровые изображения, можно применить дискретные ортогональные кратно-масштабные вейвлет-преобразования, в основе которых лежит представление дискретной функции f(x), описывающей исходный сигнал в виде суммы

f (x) = fa (x) + fd (x), (2)

где fa(x) - аппроксимирующая составляющая, fd(x) - детализирующая составляющая функцииf(x). Процесс преобразования функции f(x) также можно представить в итерационном виде, определяющем ее на разных уровнях разложения:

f (x) = fJ (x),

fj (x) = ff4x) + ff4x):

(3)

(4)

где J - число уровней разложения; j = J, ..., + 1. Результат дискретного вейвлет-преобразования имеет вид множества коэффициентов аппроксимации ] и детализации \(}]1}.

Вейвлет-преобразования одноканальных

изображений (например, полутоновых

изображений) обычно выполняются в два этапа: сначала выполняется преобразование для строк, а

затем - для столбцов (либо наоборот). Результаты преобразования на У-м уровне группируются в матрицу аппроксимирующих коэффициентов

[ьЬУ-,т,п ¿„-о и матрицы детализирующих горизонтальных [ьН]тп ^ „-о, вертикальных

1жу,тп 1т,:-о, диагональных ]рнут,п, 1::-о коэффициентов. Для многоканальных изображений (например, цветных изображений) каждый канал подвергается преобразованию по отдельности.

Многие подходы к выделению признаков изображений, базируются на анализе энергии, например, для анализа текстурных признаков успешно применяются оценки энергии, полученные с помощью преобразований Фурье или Габора [13, 18].

Для ортонормированного вейвлет-

преобразования справедливо равенство:

N -1N-1 2J0 -12J0 -1

22 Jo,'

ЕЕ f2l = ЕЕ ll k=0 l=0

J-1 2J -12J -1

ЕЕЕ

J=Jo m=0 n=0

m=0 n=0

J-1 2 j -12J -1

HI'

j=Jo m=0 n=0

+ ЕЕЕ lh 1щп + Е ЕЕ нь\щп +

(5)

J-1 2j -12J -1

r2

1 J,m,n >

+Е1Е ™ у

У=Уо т-0 п-0

где /к, - яркость точки изображений; ЬЬУ т п, шу,т,п, НЬу тп, ННу тп - вейвлет-коэффициенты. Суммы в правой части равенства (5) показывают вклад коэффициентов различных уровней в общую энергию изображения на различных масштабах. Этот вклад позволяет получить оценки энергии каждой точки изображения.

Оценки энергии точек изображения, количество строк и столбцов которого равно N и кратно двум, при использовании ортонормированного вейвлет-преобразования можно получить следующим образом:

1. Выполнить преобразование до уровня уо;

2. Положить:

-1,т,п = ЬЬ)а,т,П ; (6)

3. Последовательно для у = уо, ..., J - 1, где J

= т = о, 1, ..., 2У+1 - 1, п = о, 1, ..., 2+1 - 1

вычислить оценки энергии:

2 1 2 W = — W ■ i +

j,m,n 4 J-1,m,n

+ LH J m / 2 n / 2 + HL m / 2 n / 2 + HH 2

(7)

J,m/2,n/2 J,m/2,n/2 J,m/2,n/2*

Вычисленные значения сохраняют

энергетическое равенство:

N-1 N-1 N -1 N-1

ЕЕ fk2l=ЕЕ w2,l,

(8)

k=0 l=0

k=0 l=0

где ^ - 1. Каждое из множества значений гк'/к/-о или у-о может служить весом

соответствующего пикселя, характеризующим его вклад в полную энергию изображения.

Неформально суть рассматриваемого подхода можно пояснить следующим образом. Предполагается, что каждый пиксель изображения можно оценить с точки зрения его значимости для восприятия. При этом представляется, что наиболее значимыми являются пиксели, в которых проявляются характерные особенности

изображения. К таким особенностям можно отнести перепады яркостей между областями изображения. Оценить величину перепада в некоторой точке изображения можно с помощью формулы:

а/ =

LH2 + HL2 + HH2 3

(9)

где Д/ - величина перепада в точке изображения; ЬН, НЬ, НН - детализирующие вейвлет-коэффициенты в точке изображения. Таким образом, энергия перепада в точке пропорциональна величине ЬН2 + НЬ2 + НН2. Кроме того, вейвлет-преобразование позволяет оценить значимость точек на различных масштабах. Поскольку точки изображения различных масштабов взаимосвязаны, то можно получить интегральные характеристики, учитывающие значимость точек на всех рассматриваемых масштабах.

Равенство (5) справедливо для случая ортонормированного вейвлет-преобразования. На практике применяются также вейвлет-преобразования ортогональные, но не ортонормированные, которые могут быть более вычислительно простыми для решения определенных задач. Например, для обработки изображений используется преобразование Хаара вида:

ЬЬу-1,т,п - (ЬЬ У,2т,2п + ЬЬУ,2т+1,2п +

+ ЬЬ],2т,2п+1 + ЬЬу ,2т+1,2п+1 ) ^ 4, ЬН]-1,т,п - (ЬЬУ,2т,2п + ЬЬУ,2т+1,2п -

- ЬЬУ,2т,2п+1 - ЬЬу,2т+1,2п+1 ) ^ 4, НЬУ-1,т,п - (ЬЬ У,2т,2п - ЬЬУ,2т+1,2п +

+ ЬЬу,2т,2п+1 - ЬЬУ,2т+1,2п+1 ) / 4, ННУ-1,т,п - (ЬЬУ,2т,2п - ЬЬУ,2т+1,2п -

- ЬЬу,2т,2п+1 + ЬЬу,2т+1,2п+1 )

В этом случае энергетическое равенство принимает вид:

N-1N-1 2Уо -12Уо -1

(10)

LL2 +

LLJ0,m,n +

ЕЕfk2l = 22(j-J0) Е Е

k =0 i=0 m=0 n=0

J-1 2J -12 J-1

+ Е 22( J - J) ЕЕ LH 2,m,n +

J=J0 m=0 n=0

J -1 2 J -12 J-1

+Е 22( J - J) ЕЕ hl 22,m,n +

(11)

У - Уо т-о п-о

3-1 2 У -12 У-1

+ 122( 3 - У) ЕЕ НН 2,т,п. У - Уо т-о п-о

Тогда процедуру вычисления оценок энергии можно представить следующим образом:

1. Выполнить преобразование до уровня Уо;

+

2. Положить:

,,,2 _ V J Т 2

3. Последовательно для j = j0, ... log2N, m = 0, 1, ..., 2j+1 - 1, n = 0, вычислить оценки энергии:

x \LH

2 1 2 , ~

W j,m,n = - wj-1,m,n + 2

2

2(J - j)

(12)

J - 1, где J = 1, ..., 2+1 - 1

(13)

+ HL2j

+ HH

2

/2,п/2 /2,п/2 ~г111 /2,п/2}

Для обобщения процедуры вычисления оценок энергии и получения большей гибкости при эвристических допущениях константы в выражениях (6), (7), (12), (13) можно считать настроечными коэффициентами. Тогда

предлагаемый алгоритм будет иметь вид:

1. Выполнить преобразование до уровня '0;

2. Положить:

^ , jo-1,m,n

= K j-1LL

2 .

jo,m,n .

3. Последовательно для j = j0, . log2N, m = 0, 1, ..., 2j+1 - 1, n = 0, вычислить оценки энергии:

W j,m,n = K > j-1,m,n + K ", x

X \LH

2

+ HL2,

+ HH

2

(14)

J - 1, где J = 1, ..., 2+1 - 1

(15)

1 j,m/2,n/2 J-'j,m/2,n/2 J j,m/2,n/2 J

Введение настроечных коэффициентов позволяет модифицировать процедуру вычисления

множества значении

к/ &

в соответствии с

У ли=о

решаемой задачей. В этом случае эти значения корректно считать весами точек, а изображение, содержащее данные веса, - весовым изображением. Следует отметить, что весовые изображения обладают большей устойчивостью к шуму, по сравнению с исходными изображениями [19].

На основе модели энергетических признаков изображения, полученных с помощью вейвлет-преобразования, можно реализовать процедуру выделения границ. В ее основе лежит предположение о том, что веса точек, лежащих на границах областей, должны иметь большие значения, по сравнению с весами внутренних точек

областей. При этом значение средней яркости изображения не является существенным.

Тогда можно воспользоваться процедурой вычисления энергетических признаков

изображения, подобрав значения коэффициентов

K J0-1, K Л' K h> K J0+1, K J0 +1,

KJ-1 , KJ-1

Выделение границ применяется при решении многих задач обработки и анализа изображений, в том числе для формирования признаков для обнаружения и распознавания заданных объектов. На рисунке 1 приведен пример выделения границ на одном из часто применяемых тестовых изображений на основе рассмотренного подхода со значениями коэффициентов:

K'

= 0,

Kj = Kj+1 = •

- = KJ-1 = 1 J 1 4

K"

j0

1, Kj+1= 2 к , j = j

j , j = j0,

, J - 2.

б

Рис. 1 - Исходное тестовое изображение (а), весовое изображение с выделенными границами (б)

В заключение отметим, что описанный подход к выделению границ может служить основой для выполнения контурной сегментации в системах обнаружения и распознавания объектов на изображениях, например, в системах управления беспилотными летательными аппаратами, дистанционного зондирования Земли, контроля доступа на охраняемые объекты и др. Кроме того, подход на основе представления изображений с помощью энергетических моделей имеет самостоятельное значение и может быть применен не только для выделения границ, но и для детектирования особых точек и формирования текстурных признаков [20, 21, 22].

Исследование выполнено в рамках государственного задания № 2.1724.2017/4.6.

Литература

1. Потапов, А.С. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания/ А.С. Потапов. - СПб.: Политехника, 2007.

2. Кирпичников, А.П. Контекстный поиск изображений/ А.П. Кирпичников, С.А. Ляшева, М.П. Шлеймович//Вестник Казанского технологического университета. 2014. Т. 17. № 18. С. 244-251.

х

а

3. Long, F. Fundamentals of content-based image retrieval/ F. Long, H. Zhang, D. Feng // Multimedia Information Retrieval and Management - Technological Fundamentals and Applications. - Springer-Verlag, 2003. - P. 1-26.

4. Pass, G. Histogram refinement for content-based image retrieval/ G. Pass, R. Zabih // IEEE Workshop on Applications of Computer Vision. - 1996. - P. 96-102.

5. Huang, J. Spatial Color Indexing and Applications/ J. Huang, S.R. Kumar, M. Mitra, W.-J. Zhu, R. Zabih // International Journal of Computer Vision. - 1999. - Vol. 35(3). - P. 245-268.

6. Stricker, M. Similarity of Color Images/ M. Stricker, M. Orengo.// Proceedings of the SPIE Conference. - 1995. -Vol. 2420. - P. 381-392.

7. Deng, Y. An efficient color representation for image retrieval/ Y. Deng, B.S. Manjunath, Ch. Kenney, M.S. Moore, H. Shin // IEEE Transactions on image processing. -2001. - Vol. 10, № 1. - P. 140-147.

8. Pietikinen, M. Computer Vision Using Local Binary Patterns/ Matti Pietikinen, Abdenour Hadid, Guoying Zhao, Timo Ahonen. - Springer, 2011.

9. Tuceryan, M. Texture analysis/ M. Tuceryan, A.K. Jain // The Handbook of Pattern Recognition and Computer Vision (2nd edition) / C.Chen, L.F.Pau, P.S.P.Wang (Eds.). - World Scientic Publishing Co., 1998. - P. 207-248.

10. Tamura, H. Texture features corresponding to visual perception/ H. Tamura, S. Mori, T. Yamawaki // IEEE Transactions on Systems, Man, and Cybernetics. - 1978. -Vol. SMC-8, № 6. - P. 460 - 473.

11. Image Databases: Search and Retrieval of Digital Imagery/ V.Castelli, L.D.Bergman (Eds.). - Wiley: New York, 2002.

12. Гонсалес Р. Цифровая обработка изображений. - 3-е изд., перераб. и доп./ Р. Гонсалес, Р. Вудс: пер. с англ. -М.: Техносфера, 2012.

13. Малла, С. Вейвлеты в обработке сигналов./ С. Малла: пер. с англ. - М.: Мир, 2005.

14. Tang, Y.Y. Wavelet Theory and Its Application to Pattern Recognition/ Y.Y. Tang. - World Scientific Publishing Company, 2009.

15. Sebe, N. Robust Computer Vision - Theory and Applications/ N. Sebe, M.S. Lew. - Kluwer Academic Publishers, 2003.

16. Addison, P.S. The Illustrated Wavelet Transform Handbook: Introductory Theory and Applications in Science, Engineering, Medicine and Finance/ P.S. Addison. - Institute of Physics Publishing, 2002.

17. Ma, W.Y. A comparison of wavelet features for texture annotation / W.Y. Ma, B.S. Manjunath// Proc. of IEEE Int. Conf. on Image Processing. - 1995. - Vol. II. - P. 256-259.

18. Форсайт А. Д., Понс Ж. Компьютерное зрение. Современный подход: пер. с англ. - М.: ИД «Вильямс», 2004.

19. Shleymovich, M.P., Medvedev, M.V., Lyasheva, S.A. Image analysis in unmanned aerial vehicle on-board system for objects detection and recognition with the help of energy characteristics based on wavelet transform. Proceedings of SPIE. Volume 10342, 2017.

20. Lyasheva S.A., Medvedev M.V., Shleimovich M.P. Terrain object recognition in unmanned aerial vehicle control system, Russian Aeronautics. 2014. Volume 57 (3). P. 303-306.

21. Shleymovich, M.P., Medvedev, M.V., Lyasheva, S.A Object detection in the images in industrial process control systems based on salient points of wavelet transform analysis. 2016 2nd International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2016 - Proceedings 7911633, 2016.

22. Шлеймович, М.П. Вычисление признаков изображений на основе вейвлет-преобразования//М.П. Шлеймович, С.А. Ляшева, А.П. Кирпичников// Вестник технологического университета. 2015. Т. 18. № 18. С. 223-228.

© М. П. Шлеймович - к.т.н., заведующий кафедрой автоматизированных систем обработки информации и управления КНИТУ-КАИ, e-mail: [email protected]; А. П. Кирпичников - д. ф.-м. н., заведующий кафедрой интеллектуальных систем и управления информационными ресурсами КНИТУ, e-mail: [email protected]; С. А. Ляшева - к.т.н., доцент кафедры прикладной математики и информатики КНИТУ-КАИ, e-mail: [email protected]; М. В. Медведев - к.т.н., доцент кафедры автоматизированных систем обработки информации и управления КНИТУ-КАИ, e-mail: [email protected].

© M. P. Shleymovich - PhD, Head of the Department of the Department of Automated Information Processing Systems & Control, KNRTU-KAI, e-mail: [email protected]; A. P. Kirpichnikov - Dr. Sci, Head of the Department of Intelligent Systems & Information Systems Control, KNRTU, e-mail: [email protected]; S. A. Lyasheva - PhD, Associate Professor of the Department of Applied Mathematics & Informatics, KNRTU-KAI, [email protected]; M. V. Medvedev - PhD, Associate Professor of the Department of the Department of Automated Information Processing Systems & Control, KNRTU-KAI, e-mail: [email protected].