CC BY
32
Метод обнаружения контуров на основе весовой модели изображения
З.М. Гизатуллин1, С.А. Ляшева1, О.Г. Морозов1, М.П. Шлеймович1 1 Казанский национальный исследовательский технический университет имени А.Н. Туполева-КАИ,
420111, Россия, г. Казань, Карла Маркса, д. 10
Аннотация
В работе рассматривается новый метод обнаружения контуров на полутоновых изображениях. Предлагаемый метод базируется на применении весовой модели изображения, которая позволяет оценить его пиксели с точки зрения их значимости для восприятия. При этом наиболее значимыми являются пиксели, в которых проявляются характерные особенности изображения, в том числе перепады яркости на границах областей. Для оценки значимости пикселей предлагается процедура анализа вклада соответствующих им вейвлет-коэффициентов на различных масштабных уровнях в общую энергию изображения. Описанный метод обнаружения контуров предусматривает построение весовой модели, определение направлений линейных сегментов вдоль границ на весовом изображении, анализ значимости пикселей и связывание значимых пикселей. Достоинством метода является высокая скорость работы (соответствующий детектор контуров работает в среднем в четыре раза быстрее детектора Кэнни). Кроме этого, в работе описан детектор значимых областей на изображении, основанный также на весовой модели. Предложенный подход может быть использован в различных системах обработки информации и управления на основе методов и средств компьютерного зрения, в том числе системах управления и навигации беспилотных транспортных средств, дистанционного зондирования Земли, системах обнаружения дефектов дорожного покрытия, биометрических системах и др.
Ключевые слова: компьютерное зрение, обработка изображений, обнаружение контуров.
Цитирование: Гизатуллин, З.М. Метод обнаружения контуров на основе весовой модели изображения / З.М. Гизатуллин, С.А. Ляшева, О.Г. Морозов, М.П. Шлеймович // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 393-400. - DOI: 10.18287/2412-6179-CO-615.
Citation: Gizatullin ZM, Lyasheva SA, Morozov OG, Shleymovich MP. The method of contour detection based on the weight model of image. Computer Optics 2020; 44(3): 393-400. DOI: 10.18287/2412-6179-C0-615.
Введение
В настоящее время практически во все сферы человеческой деятельности внедряются технологии компьютерного зрения. При этом разрабатываются новые эффективные методы обработки изображений для применения в конкретных приложениях. Среди других подходов активно развиваются модели и методы контурного анализа, которые используются в системах управления и навигации беспилотных транспортных средств [1], системах дистанционного зондирования Земли [2], системах обнаружения дефектов дорожного покрытия [3], биометрических системах [4] и др.
Модели контурного анализа относятся к среднему уровню представления изображений, на котором осуществляется обнаружение и описание признаков для их последующего анализа [5]. При обнаружении контуров определяются соответствующие им последовательности точек, а при описании - вычисляются характеристики этих последовательностей.
При решении задачи обнаружения контуров на изображении определяются границы - местоположения точек, в которых наблюдаются значительные изменения (перепады) яркости. Классические методы
обнаружения границ базируются на операторах первой и второй производных, к которым относятся операторы Робертса, Собела, Превитт, Лапласа и др. Обнаружение контуров при использовании указанных операторов обычно осуществляется в три шага. На первом шаге выполняется сглаживание изображения для уменьшения шума, на втором - определяются границы, на третьем - из граничных точек отбираются точки контуров [6].
Помимо подхода на основе операторов производных, применяются морфологические методы. Изображения здесь рассматриваются как множества, а для их анализа применяются специальные операторы, такие как эрозия, дилатация, открытие и закрытие и др. Достоинством данных методов является высокая устойчивость к шуму [7, 8].
Также развиваются методы на основе билатеральной фильтрации, которая позволяет учесть как яркост-ные, так и пространственные соотношения между точками изображения [9]. В отличие от многих других алгоритмов билатеральная фильтрация сохраняет информацию о границах, что позволяет на ее основе спроектировать эффективные детекторы контуров [10].
Кроме указанных подходов, предлагается и множество других, например, методы обнаружения контуров
с использованием математического аппарата нечеткой логики [11, 12], методы на основе анализа независимых компонент [13], методы на основе модели случайного леса [14], вейвлетные методы [15] и др.
Согласно обзору, приведенному в работе [16], выделяют следующие классы методов обнаружения контуров: локальные методы (дифференциальные методы, статистические методы, методы фазовой конгруэнтности, методы порядковых статистик и морфологические методы, методы на основе комбинации локальных признаков), контекстуальные и глобальные методы (методы контурных особенностей, методы гельштальт-группировки, методы активных контуров), многомасштабные методы (методы анализа контуров в многомасштабном пространстве, методы фокусировки, методы локального контроля).
Несмотря на большое количество подходов к обнаружению контуров на изображениях, самым популярным методом решения этой задачи остается метод Кэнни [17]. Это метод стал фактическим эталоном, с которым сравниваются новые методы.
В данной работе предлагается новый метод обнаружения контуров, который можно отнести к классу многомасштабных методов. В его основе лежит анализ коэффициентов, полученных в результате вейвлет-преобразования. Реализация метода дает показатели точности и скорости, сопоставимые с соответствующими показателями детектора на основе метода Кэнни.
1. Многомасштабные методы обнаружения
контуров на основе вейвлет-преобразования
После широкого внедрения математического аппарата вейвлетов для анализа одномерных и двумерных функций появилось множество методов обработки изображений на его основе, в том числе предназначенных для обнаружения контуров. Привлекательность вейвлетов для решения рассматриваемой задачи связана с возможностью анализа набора изображений, полученных из исходного изображения и отличающихся детализированностью. Анализируемые изображения являются копиями друг друга, но имеют различное разрешение (масштаб). В общем случае набор масштабов может быть произвольным. Однако часто применяют вейвлет-преобразования с кратными масштабами (например, с масштабами 1, 2, 4, 8 и т.д., т.е. с масштабами, кратными 2).
Эффективность многомасштабных, в том числе вейвлетных, методов базируется на особенностях биологического зрения. Исследования в этой области показали сходство между зрением и многомасштабной обработкой изображений. Было признано, что рецептивные поля клеток зрительной коры млекопитающих можно охарактеризовать как пространственно локализованные, ориентированные и полосовые (селективные по структуре в различных пространственных масштабах). Поэтому желательно применение направленного многомасштабного разреженного представления.
Значительный вклад в развитие подходов к обнаружению контуров на основе вейвлет-преобразования был сделан Малла, Хвангом и Чжуном, которые показали, что локальные максимумы модуля вейвлет-преобразования позволяют обнаруживать местоположение нерегулярных структур на изображении [18, 19]. Они разработали подход с применением ориентированных вейвлетов, лежащий в основе большинства методов на основе вейвлет-преобразования [20, 21].
К подходу Малла и др. близок подход на основе нечетных фильтров Габора, применение которых удовлетворяет критериям Кэнни для оптимальных детекторов границ [17]:
1) хорошее обнаружение;
2) хорошая локализация;
3) только один отклик на одну границу.
Данный подход предложен в работах Namшdшri,
Mehrotra, Яа^апаШап [22] и получил дальнейшее развитие в работе [23], где рассматривается многомасштабная техника выделения краев на основе нечетных фильтров Габора.
Развитие методов анализа сигналов и изображений на основе вейвлет-преобразования привело к созданию математического аппарата курвлетов. Возможности курвлет-преобразования позволяют построить на их основе эффективные методы обнаружения контуров. Например, в работах [24, 25] предлагается комбинированный подход, сочетающий курв-лет-преобразование и детектор Кэнни. Здесь на первом этапе вычисляются коэффициенты преобразования для нескольких масштабов и направлений. Затем формируется карта границ на основе анализа значений коэффициентов. Далее к карте границ применяются три основных шага традиционного оператора Кэнни: вычисление градиента, подавление немаксимумов и двойная пороговая обработка. Результаты применения этого подхода показали очень хорошие возможности для обнаружения удлиненных ребер и также для генерации более замкнутых объектов, которые делают этот метод хорошей альтернативой для шага сегментации для любого дальнейшего алгоритма классификации на основе объектов.
Недостатком рассмотренных в данном параграфе подходов на основе вейвлет-преобразования является сравнительно большое время работы. Поэтому задача разработки новых методов обнаружения контуров на изображениях остается актуальной.
2. Весовая модель полутонового изображения
Дискретное вейвлет-преобразование раскладывает полутоновое изображение по базисным функциям, которые позволяют выявить его особенности в локальной области (определяется параметрами сдвига) при некотором масштабе (определяется параметром масштаба). В результате выполнения данного преобразования получают множества коэффициентов аппроксимации и детализации.
Для дискретного ортонормированного кратно-масштабного вейвлет-преобразования полутонового изображения справедливо равенство сохранения энергии, аналогичное равенству Парсеваля для преобразования Фурье:
]0,т,п
N-1 N-1 2]0-12]0 -1
11 # =
к=0 1= 0 т=0 п =0
У-12] -1 2]-1 У-12] -1 2]-1
+ Ш ¿Я], т,п + XXX НИ] , тп +
(1)
]=]0 т=0 п=0 У-1 2] -1 2]-1
+5: ххяя
]=]0 т =0 п =0
]=]0 т=0 п=0
2
] ,т, п 1
где /,/ - значение яркости пикселя изображения в позиции (к, 1); ЬЬ]т,,п, Ш],т,п, НЬ],т,п, НН]т1,п - коэффициенты вейвлет-преобразования на уровне ] в позиции (т, п); ]0 - наименьший уровень разложения; У - число уровней разложения; N - размер изображений (изображение представляется в виде матрицы N х Ы).
На основе равенства (1) можно построить модель, в которой с каждым пикселем изображения будет ассоциирован вес - показатель его значимости для восприятия с точки зрения вклада в общую энергию. При этом представляется, что наиболее значимыми являются пиксели, в которых проявляются характерные особенности изображения. К таким особенностям, например, можно отнести перепады яркостей между областями изображения. Оценить величину перепада в некотором пикселе изображения можно с помощью соответствующих ему детализирующих вейвлет-коэффициентов. При этом энергия перепада будет пропорциональна евклидовой норме вектора данных коэффициентов.
В результате кратномасштабного ортонормирован-ного вейвлет-преобразования изображение представляется в виде матрицы аппроксимирующих коэффициентов и набора матриц детализирующих коэффициентов. Матрица аппроксимирующих коэффициентов представляет собой уменьшенную копию изображения, а матрицы детализирующих коэффициентов содержат информацию, необходимую для восстановления изображения из копии. При этом один пиксель изображения большего масштаба (копия меньших размеров) соответствует четырем пикселям изображения меньшего масштаба (копия больших размеров). Это предполагает, что вес одного пикселя изображения большего масштаба входит в веса четырех пикселей изображения меньшего масштаба. Поэтому для выполнения энергетического равенства необходимо распределить указанный вес по четырем элементам.
Аппроксимирующие вейвлет-коэффициенты - это значения пикселей изображения наибольшего масштабного уровня (самой грубой копии). Это означает, что соответствующие им значения энергии входят в значения энергии пикселей изображений остальных масштабов, т.е. представляют собой начальные значения весов.
Таким образом, получить веса (оценки энергии) для каждого пикселя можно посредством выполнения следующих действий:
1. Выполнить преобразование до уровня ]0.
2. Задать начальные значения весов:
"с-1,т,п = т,п .
3. Вычислить веса для всех уровней:
Ш2 = — Ш2 1 +
].т,п . ]-1,т,п 1
4
+ЬН],т/2,п/2 + НЬ5 ,т/2,п/2 + НН],т/2,п/2.
4. Присвоить веса пикселям изображения:
С( /к ,1) = <1 = к ,1.
(2)
(3)
(4)
Полученные веса сохраняют энергетическое равенство (1):
N-1 N-1 N-1 N-1
X X = XX
к =0 1=0 к =0 1=0
Шк
(5)
Рассмотренная модель определена для ортонорми-рованных кратномасштабных вейвлет-преобразований и может быть обобщена для ортогональных кратномас-штабных вейвлет-преобразований. В этом случае равенства (2) и (3) преобразуются в равенства (6) и (7):
]0-1,т, п
= К] '-1ЬЬ]
Ш]
= К >2-1,,
]0,т,п ' +
+К] (¿Н]2,т/2 п/2 + НЬЬ],т/2,п/2 + НН),т/2,п/2 ) ,
(6) (7)
где К) и К] - нормировочные множители.
Дальнейшее обобщение связано с тем, что нормировочные множители в формулах (6) и (7) можно рассматривать в качестве настроечных коэффициентов, значения которых определяются для решения конкретных задач.
Для решения задачи обнаружения контуров на изображении наиболее значимыми полагаются пиксели, в которых существенно меняется значение яркости. Величину перепада яркости в пикселе можно приближенно оценить с помощью детализирующих коэффициентов вейвлет-преобразования:
д/ «V ЬН2 + НЬ2 + НН2,
(8)
где Д/ - величина перепада яркости в пикселе; ЬН, НЬ, НН - суммы всех нормированных детализирующих горизонтальных, вертикальных и диагональных коэффициентов различных уровней вейвлет-преобразования, соответствующих пикселю. Тогда в рамках рассмотренной модели можно вычислить веса, отражающие значимость пикселей с точки зрения величин перепадов яркости в них. Для этого достаточно в формуле (6) нормировочный коэффициент К]0-1 положить равным нулю.
Отметим также, что при применении весовой модели для решения конкретных задач значения весов можно приводить к требуемому диапазону, например, к целочисленному интервалу от 0 до 255 для визуализации.
Весовая модель может быть представлена как результат преобразования исходного изображения в изображение, в котором атрибутами пикселей являются веса. Результат преобразования называется весовым изображением.
На рис. 1а и б показаны полутоновое и соответствующее ему весовое изображение. Исходное изображение представляет собой стандартное тестовое изображение house размера 512x512 из коллекции USC-SIPI [26]. Для его преобразования использовалось ортогональное кратномасштабное вейвлет-преобразование Хаара, задаваемое выражениями:
LLj-1,m,n =~ [LLj,2m,2n +
4
+LLj,2m+1,2 n + LLj ,2m,2n+1 + LLj,2m+1,2n+1 L
LH +LL HL -LL
j-1,m,n ~ , [LLj,2m,2n '
4
'j,2m+1,2n LLj,2m,2n+1 LLj ,2m+1,2n+1 ]
(9)
'j-1,m,n ~ , [LLj,2m,2n
4
j ,2m+1,2n + LLj,2 m,2n+1 — LLj ,2m+1,2n+1 ]
HH
j-1,m,n ~ , [LLj,2m,2n '
4
LLj,2m+\,2n LLj,2m,2n+1 + LLj 2т+1,2п+1].
Вычисления осуществлялись на основе описанной процедуры с применением формул (6) и (7). При этом количество уровней разложения было задано равным 9, а начальное значение было положено равным ну-
лю, т. е. значения аппроксимирующих коэффициентов LLjo^nп не использовались.
Как можно увидеть на рис. 1а и б, границы на весовом изображении подчеркнуты сильнее по сравнению с исходным изображением.
Однако следует также отметить и недостаток весовой модели изображения. Он заключается в том, что веса пикселей в каждом блоке из четырех пикселей будут иметь одни и те же значения. Снизить влияние этого недостатка можно за счет дополнительной постобработки весового изображения.
3. Детектор контуров на основе весовой модели изображения
Как уже было сказано выше, фактическим эталоном для алгоритмов обнаружения контуров на изображениях является детектор Кэнни. Процедура обнаружения контуров по методу Кэнни заключается в выполнении следующих шагов:
1. Сглаживание изображения для уменьшения шума.
2. Вычисление модуля и направления градиента для каждого пикселя изображения.
3. Определение локально максимальных по модулю градиента пикселей (подавление немаксимумов).
4. Пороговое преобразование с гистеризисом (с двойным порогом) градиентного изображения.
5. Анализ связности граничных пикселей.
Пример работы детектора Кэнни для изображения
на рис. 1а показан на рис. 2. Здесь использовались значения нижнего и верхнего порогов 20 и 60 соответственно (значения яркости на изображении находятся в диапазоне от 0 до 255).
Рис. 1. Весовая модель стандартного изображения «house»
Рис. 2. Обнаружение контуров детектором Кэнни на стандартном изображении «house»
Схему детектора Кэнни можно модифицировать на основе применения весовой модели изображения. Соответствующая процедура будет заключаться в последовательном выполнении следующих действий:
1. Построение весовой модели изображения.
2. Определение направлений линейных сегментов на весовом изображении.
3. Анализ значимости пикселей.
4. Связывание значимых пикселей.
На первом шаге осуществляется преобразование исходного изображения в весовую форму посредством описанной в предыдущем параграфе процедуры. На втором шаге определяются направления гра-
ниц в пикселях весового изображения. На третьем шаге анализируется значимость каждого пикселя по сравнению с ближайшими соседями вдоль нормали к направлению границы в данном пикселе. На четвертом шаге найденные значимые пиксели связываются в контуры.
Основная проблема в реализации предложенного детектора заключается в определении направлений границ в пикселях весового изображения. Это связано с тем, что кратномасштабные вейвлеты не обеспечивают хорошей селективности направления [27]. Повысить направленную избирательность можно с помощью применения комплексного вейвлет-преобра-зования. Однако оно не получило широкого применения из-за трудностей, связанных с обеспечением свойств реконструкции и фильтрации. Затем было разработано комплексное вейвлет-преобразование двойного дерева DT-СWT. Данное преобразование обеспечивает (почти) совершенную реконструкцию, приближенную инвариантность сдвига, шесть направленных избирательностей, ограниченную избыточность и сравнительно эффективное время вычисления. Преобразование DT-СWT связывает между собой два крат-номасштабных вейвлет-преобразования, за счет чего и определяется ограниченное количество направлений. Однако преобразование DW-CWT является более медленным относительно вещественных кратномасштаб-ных вейвлет-преобразований, в том числе по сравнению с ортогональным преобразованием Хаара.
Для решения указанной проблемы можно воспользоваться фильтрами направлений с ядрами свертки размерами 3x3, 5x5, 7x7, 9x9 и т.д., например:
(10)
"0 1 0" "1 0 0" "0 0 0 " "0 0 1 "
0 1 0 , 0 1 0 , 1 1 1 , 0 1 0
0 1 0 0 0 1 0 0 0 1 0 0
На рис. 3 показан пример работы предлагаемого детектора контуров на основе весовой модели для исходного изображения на рис. 1а. При реализации детектора при построении весовой модели изображение было предварительно сглажено медианным фильтром, а перед определением направлений весовое изображение было обработано усредняющим Ьох-фильтром. Применение указанных фильтров связано с использованием преобразования Хаара (9), которое может вносить искажения на границах областей.
Рис. 3. Обнаружение контуров на основе весовой модели на стандартном изображении «house»
По результатам проведенных экспериментов можно сделать вывод о том, что предлагаемый детектор по сравнению с детектором Кэнни дает более зашумлен-ные контуры. Однако при этом он позволяет получить значимые детали, необходимые для описания изображения с целью последующей обработки для анализа, например, при решении задачи распознавания. Дополнительные иллюстрации работы детектора приведены на рис. 4, где на рис. 4а и 5а показаны исходные изображения «cameraman» и «jetplane» соответственно, а на рис. 4б и 5б - их контурные изображения.
б)
_у K^s;
/ Ийу-
Ч ^ î 4 / ri
) т J i ч ^
M
\ $
J i/Ы ê. :. V ;
Рис. 4. Обнаружение контуров на основе весовой модели на стандартном изображении «cameraman»
Достоинством предложенного подхода к обнаружению контуров является высокая скорость работы детектора. В табл. 1 приведены средние значения времени работы детектора Кэнни и детектора на основе весовой модели для стандартных полутоновых изображений размера 512 х 512. Эксперименты про-
водились на компьютере со следующими характеристиками: 4 процессора AMD A8-7410 APU with AMD Radeon R5 Graphis, ОЗУ объемом 8 Гб, операционная система Microsoft Windows 10. Среднее время работы детектора Кэнни составляет около 0,9 с, а детектора на основе весовой модели - 0,2 с.
а)
1
6)
im*, 'Jt'j \i'A 1/ /
: " 1 h V
m v
Pb
Рис. 5. Обнаружение контуров на основе весовой модели на стандартном изображении «]е(р1апв»
Также в табл. 1 приведены количественные оценки различия контурных изображений, полученных предложенным методом и детектором Кэнни. В качестве мер различия выбраны известные критерии RMS (среднеквадратическая ошибка) и Dku (расстояние Кульбака-Лейблера):
RMS =
1 iV-1 M-1
M § 5 ( j- 7 я
((, j) - 7 2 (i, j) )ln
Dku =
i = 0 j = 0
7i (i, j) + e 7 2 (i, j) + e
ЖМ
(11)
(12)
где Ж, M- количество строк и столбцов; I\(i,j), I2(i, j) - пиксели первого и второго сравниваемых изображений в i-й строке и j-м столбце; е - величина, обеспечивающая вычисление расстояния Кульбака-Лейблера при наличии нулевых пикселей. Величины в табл. 1 получены после приведения пикселей контурных изображений к значениям 0 и 1. При вычислении расстояния DKu величина е была принята равной 0,001. Это позволило определить, что наибольшие значения расстояний по критериям RMS и DKu могут быть равны 1 и 6,909 соответственно. В среднем, различия между контурными изображениями, полученными предложенным методом и детектором Кэнни, не превышают 35 % и 13 % от максимально возможных значений по указанным критериям.
Таким образом, предлагаемый подход позволяет обрабатывать изображения более чем в 4 раза быстрее по сравнению с детектором Кэнни.
При решении различных задач актуально обнаружение значимых областей на изображениях. Значимые области содержат основную информацию, необходимую для последующего анализа изображений. Например, области значимости могут содержать окрестности контурных точек, т.е. фрагменты изображений, в пределах которых существенно изменяется яркость (в отличие от областей преимущественно однородной яркости). Рассмотрим детектор, в котором осуществляется преобразование изображения в весовую форму, анализ весов и формирование бинарной маски. Простейшим вариантом анализа значимо-
сти является бинаризация весового изображения для получения связных областей в виде «толстых» контуров. Соответствующие примеры приведены на рис. 6, где показано выделение областей значимости на изображениях «house» (рис. 6а), «cameraman» (рис. 66) и «jetplane» (рис. 6в) с помощью пороговой обработки нормализованных весовых изображений (веса были приведены к диапазону от 0 до 255) с пороговыми значениями, равными 30. На основе данного детектора, добавив операцию утончения, можно построить процедуру выделения контуров, пример результата выполнения которой показан на рис. 7. В табл. 2 приведено время его работы.
Табл. 1. Время работы детектора Кэнни и детектора на основе весовой модели
Изображения Время работы детектора, мс Расстояние
Кэнни На основе весовой модели RMS Dku
boat 930 189 0,344 0,819
cameraman 910 191 0,274 0,518
house 880 189 0,206 0,293
jetplane 915 195 0,295 0,602
lake 891 190 0,351 0,853
livingroom 978 211 0,374 0,964
mandril 915 190 0,481 1,595
walkbridge 924 198 0,467 1,504
Табл. 2. Время работы детектора значимых областей на основе весовой модели
Изображения Время работы детектора, мс
без утончения с утончением
boat 59 198
cameraman 55 248
house 55 163
jetplane 67 222
lake 53 223
livingroom 56 193
mandril 53 203
walkbridge 59 191
а)
Заключение
Предложенный подход к выделению контуров на основе весовой модели позволяет обеспечить высокую скорость обработки изображений, превышающую скорость эталонного подхода на основе детектора Кэнни.
Применение весовой модели позволяет также построить детектор, который обеспечивает обнаружение на изображении наиболее значимых фрагментов.
Применение описанной техники может быть эффективно использовано в системах обработки информации и управления на основе методов и средств компьютерного зрения.
Благодарности
Работа выполнена при поддержке Министерства науки и высшего образования в рамках выполнения научно-исследовательских работ по Государственному заданию № 2.1724.2017/4.6.
Литература
1. Современные информационные технологии в задачах навигации и наведения беспилотных маневренных летательных аппаратов / Под ред. М.Н. Красильщикова, Г.Г. Себрякова. - М.: Физматлит, 2009. - 556 с.
2. Обработка изображений в авиационных системах технического зрения / Под ред. Л.Н. Костяшкина, М.Б. Никифорова. - М.: Физматлит, 2016. - 240 с.
3. Lyasheva, S. Detection and recognition of pavement cracks based on computer vision technology / S. Lyasheva,
V. Tregubov, M. Shleymovich // 2019 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM 2019). - 2019. - P. 1-5.
4. Jagadeesh, N. An conceptual view of an iris-biometric identification system canny edge detection techniques / N. Jagadeesh, M.P. Chandrasekhar // 2017 International Conference on Computing Methodologies and Communication (ICCMC). - 2017. - P. 364-370.
5. Потапов, А. С. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания / А. С. Потапов. - СПб.: Политехника, 2007. - 548 с.
6. Chinu. Overview and comparative analysis of edge detection techniques in digital image processing / Chinu, A. Chhabra // International Journal of Information & Computation Technology. - 2014. - Vol. 4, Issue 10. - P. 973-980.
7. Lee, W.Y. Edge detection based on morphological amoebas / W.Y. Lee, Y.W. Kim, S.Y. Kim, J.Y. Lim, D.H. Lim // The Imaging Science Journal. - 2012. - Vol. 60. - P. 172-173.
8. Lee, J.S.J. Morphologic edge detection // J.S.J. Lee, R.M. Haralick, L.G. Shapiro // IEEE Journal of Robotics and Automation. - 1987. - Vol. RA-3, No 2. - P. 142-156.
9. Tomasi, C. Bilateral filtering for gray and color images / C. Tomasi, R. Manduchi // Proceedings of the 1998 IEEE International Conference on Computer Vision. - 1998. -P. 839-846.
10. Yang, Q. Edge-preserving bilateral filtering for imagescon-taining dense objects in CT / Q. Yang, A. Maier, N. Maass, J. Hornegger // 2013 IEEE Nuclear Science Symposium and Medical Imaging Conference (2013 NSS/MIC). - 2013. -P. 1-5.
11. Mahani, M.A.N. A fuzzy difference based edge detector / M.A.N. Mahani, M. Koohi-Moghadam, H. Nezamabadi-pour // Iranian Journal of Fuzzy Systems. - 2012. - Vol. 9, Issue 6. - P. 69-85.
12. Moya-Albor, E. An edge detection method using a fuzzy ensemble approach / E. Moya-Albor, H. Ponce, J. Brieva // Acta Polytechnica Hungarica. - 2017. - Vol. 14, Issue 3. -P. 149-168.
13. Karande, K.J. Independent component analysis of edge information for face recognition / K.J. Karande, S.N. Talbar. -Springer, 2014. - 81 p.
14. Dollar, P. Structured forests for fast edge detection / P. Dollar, C.L. Zitnick // 2013 IEEE International Conference on Computer Vision (ICCV). - 2013. - P. 1841-1848.
15. Palacios, G. Multiresolution approaches for edge detection and classification based on discrete wavelet transform /
G. Palacios, J. Beltrán, R. Lacuesta. - In: Discrete wavelet transforms: algorithms and applications / ed. by
H. Olkkonen. - Rijeka, Croatia: InTech, 2011. - P. 81-100.
Рис. 6. Детектирование областей значимости
16. Papari, G. Edge and line oriented contour detection: State of the art / G. Papari, N. Petkov // Image and Vision Computing. - 2011. - Vol. 29, Issue 2-3. - P. 79-103.
17. Canny, J.A. Computational approach to edge detection / J.A. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1986. - Vol. PAMI-8, Issue 6. -P. 679-697.
18. Mallat, S. Singularity detection and processing with wavelets / S. Mallat, W.L. Hwang // IEEE Transactions on Information Theory. - 1992. - Vol. 38. - P. 617-643.
19. Mallat, S. Characterization of signals from multiscale edges / S. Mallat, S. Zhong // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1992. - Vol. 14, Issue 7. -P. 710-732.
20. Tang, Y.Y. Characterization and detection of edges by Lip-schitz exponent and MASW wavelet transform / Y.Y. Tang, L.H. Yang, L. Feng // Proceeding of the 14th International Conference on Pattern Recognition. - 1998. - P. 1572-1574.
21. Zhang, Z. An edge detection approach based on directional wavelet transform / Z. Zhang, S. Ma, H. Liu, Y. Gonga // Computers & Mathematics with Applications. - 2009. -Vol. 57, Issue 8. - P. 1265-1271.
22. Namuduri, K.R. Edge detection models based on gabor filters / K.R. Namuduri, R. Mehrotra, N. Ranganathan // 11th
IAPR International Conference on Pattern Recognition. -1992. - Vol. III. Conference C: Image, Speech and Signal Analysis. - P. 729-732.
23. Zhu, Z. Scale multiplication in odd Gabor transform domain for edge detection / Z. Zhu, H. Lu, Y. Zhao // Journal of Visual Communication, and Image Representation. -2007. - Vol. 18, Issue 1. - P. 68-80.
24. Elsharkawy, A. New combined pixel/object-based technique for efficient urban classsification using WorldView-2 data / A. Elsharkawy, M. Elhabiby, N. El-Sheimy // XXII International Society for Photogrammetry & Remote Sensing Congress. - 2012. - P. 191-195.
25. Sayed, U. Image object extraction based on Curvelet transform / U. Sayed, M.A. Mofaddel, W.M. Abd-Elhafiez, M.M. Abdel-Gawad // An International Journal of Applied Mathematics & Information Sciences. - 2013. - Vol. 7, Issue 1. - P. 133-138.
26. The USC-SIPI image database [Electronical Resourse]. -URL: http://sipi.usc.edu/database/database.php/ (request date 15.05.2019).
27. Ma, J. The curvelet transform / J. Ma, G. Plonka // IEEE Signal Processing Magazine. - 2010. - Vol. 27, Issue 2. -P. 118-133.
Сведения об авторах
Гизатуллин Зиннур Марселевич, 1978 года рождения, в 2001 году окончил Казанский государственный технический университет им. А.Н. Туполева по направлению «Проектирование и технология электронных средств», работает профессором кафедры систем автоматизированного проектирования в Казанском национальном исследовательском техническом университете им. А.Н. Туполева-КАИ. Область научных интересов: электромагнитная совместимость, защита информации, обработка изображений, машинное обучение. E-mail: zmgizatullin@kai.ru .
Ляшева Стелла Альбертовна, 1975 года рождения, в 1998 году окончила Казанский государственный технический университет им. А.Н. Туполева по направлению «Авиа- и ракетостроение», работает доцентом кафедры прикладной математики и информатики в Казанском национальном исследовательском техническом университете им. А.Н. Туполева-КАИ. Область научных интересов: анализ данных, прогнозирование быстропроте-кающих процессов, обработка изображений. E-mail: salyasheva@kai.ru .
Морозов Олег Геннадьевич, 1960 года рождения, в 1983 году окончил Казанский авиационный институт им. А.Н. Туполева по специальности «Радиотехника», работает заведующим кафедрой радиофотоники и микроволновых технологий в Казанском национальном исследовательском техническом университете им. А.Н. Туполева-КАИ. Область научных интересов: микроволновая фотоника, волоконно-оптические сенсоры и системы инеррогации, информационно-измерительные и телекоммуникационные системы оптического и микроволнового диапазонов, обработка изображений. E-mail: ogmorozov@kai.ru .
Шлеймович Михаил Петрович, 1974 года рождения, в 1997 году окончил Казанский государственный технический университет им. А.Н. Туполева по специальности «Автоматизированные системы обработки информации и управления», работает заведующим кафедрой автоматизированных систем обработки информации и управления в Казанском национальном исследовательском техническом университете им. А.Н. Туполева-КАИ. Область научных интересов: обработка изображений, машинное обучение, анализ данных, интеллектуальные информационные системы. E-mail: mpshleymovich@kai.ru .
ГРНТИ: 28.23.15
Поступила в редакцию 9 августа 2019 г. Окончательный вариант - 15 октября 2019 г.
A method of contour detection based on an image weight model
Z.M. Gizatullin 1, S.A. Lyasheva 1, O.G. Morozov 1, M.P. Shleymovich1 1 Kazan National Research Technical University named after A.N.Tupolev-KAI, 420111, Kazan, Russia, K. Marks 10
Abstract
In this paper a new method for contour detection in grayscale images is proposed. The proposed method is based on the use of an image weight model, which allows one to estimate its pixels from the point of view of their significance for perception. In this case, the most significant pixels are those that contain characteristic features of the image, including brightness differences at the boundaries of the regions. To assess the significance of pixels, we propose a procedure for analyzing the contribution of the corresponding wavelet coefficients at different scale levels to the total energy of the image. The described method of contour detection involves building an image weight model, determining the directions of linear segments along the edges on the weight image, analyzing the significance of pixels and linking significant pixels. The advantage of the method is the high operation speed (the corresponding loop detector works on average four times faster than the Canny edge detector). In addition, the paper describes a detector of significant image areas, which is also based on the weight model. The proposed approach can be used in various systems of information processing and control based on methods and tools of computer vision, including control and navigation systems of unmanned vehicles, remote sensing of the Earth, systems for pavement defect detection, biometric systems, etc.
Keywords: computer vision, image processing, contour detection.
Citation: Gizatullin ZM, Lyasheva SA, Morozov OG, Shleymovich MP. A method of contour detection based on an image weight model. Computer Optics 2020; 44(3): 393-400. DOI: 10.18287/2412-6179-CO-615.
Acknowledgements: This work was financially supported by the RF Ministry of Science and Higher Education within the research work on State assignment no 2.1724.2017/4.6.
References
[1] Krasilshchikov MN, Sebrryakov GG, eds. Modern information technique applying to maneuverable unmanned vehicles guidance, navigation and control problems [In Russian]. Moscow: "Fizmatlit" Publisher; 2009.
[2] Kostyashkin LN, Nikiforov MB, eds. Image processing in aviation vision systems [In Russian]. Moscow: "Fizmatlit" Publisher; 2016.
[3] Lyasheva S, Tregubov V, Shleymovich M. Detection and recognition of pavement cracks based on computer vision technology. 2019 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM) 2019: 1-5.
[4] Jagadeesh N, Chandrasekhar MP. An conceptual view of an iris-biometric identification system canny edge detection techniques. 2017 International Conference on Computing Methodologies and Communication (ICCMC) 2017: 364-370.
[5] Potapov AS. Pattern recognition and machine perception: a general approach based on the principle of minimum description length [In Russian]. Saint-Petersburg: "Politexni-ka" Publisher; 2007.
[6] Chinu, Chhabra A. Overview and comparative analysis of edge detection techniques in digital image processing. International Journal of Information & Computation Technology 2014; 4(10): 973-980.
[7] Lee WY, Kim YW, Kim SY, Lim JY, Lim DH. Edge detection based on morphological amoebas. The Imaging Science Journal 2012; 60: 172-173.
[8] Lee JSJ, Haralick RM, Shapiro LG. Morphologic edge detection. IEEE Journal of Robotics and Automation 1987; RA-3(2): 142-156.
[9] Tomasi C, Manduchi R. Bilateral filtering for gray and color images. Proc IEEE Int Conf Comp Vis 1998: 839-846.
[10] Yang Q, Maier A, Maass N, Hornegger J. Edge-preserving bilateral filtering for images containing dense objects in CT. 2013 IEEE Nuclear Science Symposium and Medical Imaging Conference (2013 NSS/MIC) 2013: 1-5.
[11] Mahani MAN, Koohi-Moghadam M, Nezamabadi-pour H. A fuzzy difference based edge detector. Iranian Journal of Fuzzy Systems 2012; 9(6): 69-85.
[12] Moya-Albor E, Ponce H, Brieva J. An edge detection method using a fuzzy ensemble approach. Acta Polytech-nica Hungarica 2017; 14(3): 149-168.
[13] Karande KJ, Talbar SN. Independent component analysis of edge information for face recognition. Springer; 2014.
[14] Dollar P, Zitnick CL. Structured forests for fast edge detection. 2013 IEEE Int Conf Comp Vis (ICCV) 2013: 1841-1848.
[15] Palacios G, Beltrán J, Lacuesta R. Multiresolution approaches for edge detection and classification based on discrete wavelet transform. In Book: Olkkonen H, ed. Discrete wavelet transforms: Algorithms and applications. Ri-jeka, Croatia: InTech; 2011: 81-100.
[16] Papari G, Petkov N. Edge and line oriented contour detection: State of the art. Image Vis Comput 2011; 29(2-3): 79-103.
[17] Canny JA. Computational approach to edge detection. IEEE Trans Pattern Anal Machine Intell 1986; PAMI-8(6): 679-697.
[18] Mallat S, Hwang WL. Singularity detection and processing with wavelets. IEEE Transactions on Information Theory 1992; 38: 617-643.
[19] Mallat S, Zhong S. Characterization of signals from mul-tiscale edges. IEEE Trans Pattern Anal Machine Intell 1992; 14(7): 710-732.
[20] Tang YY, Yang LH, Feng L. Characterization and detection of edges by Lipschitz exponent and MASW wavelet transform. Proc 14th Int Conf Pattern Recogn 1998: 1572-1574.
[21] Zhang Z, Ma S, Liu H, Gonga Y. An edge detection approach based on directional wavelet transform. Computers & Mathematics with Applications 2009; 57(8): 1265-1271.
[22] Namuduri KR, Mehrotra R, Ranganathan N. Edge detection models based on gabor filters. 11th IAPR Int Conf Pattern Recogn 1992; III(Conf C): 729-732.
[23] Zhu Z, Lu H, Zhao Y. Scale multiplication in odd Gabor transform domain for edge detection. J Vis Commun Image Repres 2007; 18 (1): 68-80.
[24] Elsharkawy A, Elhabiby M, El-Sheimy N. New combined pixel/object-based technique for efficient urban classsifica-tion using WorldView-2 data. XXII International Society for Photogrammetry & Remote Sensing Congress 2012: 191-195.
[25] Sayed U, Mofaddel MA, Abd-Elhafiez WM, Abdel-Gawad MM. Image object extraction based on Curvelet transform. Int J Appl Math Inform Sci 2013; 7(1): 133-138.
[26] The USC-SIPI image database. Source: (http://sipi.usc.edu/database/database.php).
[27] Ma J, Plonka G. The curvelet transform. IEEE Signal Processing Magazine 2010; 27(2): 118-133.
Authors' information
Zinnur Marselevich Gizatullin (b. 1978) graduated from Kazan State Technical University named after A.N. Tu-polev in 2001, majoring in Design and Technology of Electronic Means. Currently he works as the professor of Computer-Aided Design Systems department in the Kazan National Research Technical University named after A.N.Tupolev-KAI. Research interests are electromagnetic compatibility, information protection, image processing, machine learning. E-mail: zmgizatullin@kai.ru .
Stella Albertovna Lyasheva (b. 1975) graduated from Kazan State Technical University named after A.N. Tupolev in 1998, majoring in Aerospace Engineering. Currently she works as the associate professor of Applied Mathematics and Informatics department in the Kazan National Research Technical University named after A.N.Tupolev-KAI. Research interests are data analysis, prediction of fast processes, image processing. E-mail: salyasheva@kai.ru .
Oleg Gennadievich Morozov (b. 1960) graduated from Kazan Aviation Institute named after A.N. Tupolev in 1983, majoring in Radio Engineering. Currently he works as the head of Radio-Photonics and Microwave Technologies department in the Kazan National Research Technical University named after A.N.Tupolev-KAI. Research interests are microwave photonics, fiber-optic sensors and inerrogation systems, information-measuring and telecommunication systems of the optical and microwave ranges, image processing. E-mail: ogmorozov@kai.ru .
Mikhail Petrovich Shleymovich (b. 1974) graduated from Kazan State Technical University named after A.N. Tupolev in 1997, majoring in Automated Systems for Information Processing and Control. Currently he works as the head of Automated Systems for Information Processing and Control department in the Kazan National Research Technical University named after A.N.Tupolev-KAI. Research interests are image processing, machine learning, data analysis, intelligent information systems. E-mail: mpshleymovich@kai.ru .
Received August 9, 2019. The final version - October 15, 2019.
