CC BY
43
КОМПАРАТИВНАЯ ФИЛЬТРАЦИЯ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МОНОТОННЫХ МОРФОЛОГИЧЕСКИХ ОПЕРАТОРОВ
А.Ю. Рубис1, М.А. Лебедев1, Ю.В. Визильтер1, О.В. Выголов1, С.Ю. Желтов1 1ФГУП «Государственный научно-исследовательский институт авиационных систем» (ФГУП «ГосНИИАС»), Москва, Россия
Аннотация
В работе представлен новый класс компаративных фильтров, основанных на операциях математической морфологии Серра. Как известно, операции открытия (закрытия) Сер-ра, в отличие от рассматривавшихся ранее проекторов Пытьева, линейных диффузных и нелинейных медианных фильтров, являются монотонно неувеличивающими (неумень-шающими) фильтрами, что определяет их иные математические и прикладные свойства. Приведены результаты экспериментального исследования предложенных компаративных фильтров с различными параметрами в задаче выделения отличий на изображениях в сравнении другими морфологическими процедурами выделения отличий.
Ключевые слова: морфология, фильтрация изображений, нормализация фона, математическая морфология Серра.
Цитирование: Рубис, А.Ю. Компаративная фильтрация изображений с использованием монотонных морфологических операторов / А.Ю. Рубис, М.А. Лебедев, Ю.В. Визильтер, О.В. Выголов, С.Ю. Желтов // Компьютерная оптика. - 2018. - Т. 42, № 2. - С. 306-311. - Б01: 10.18287/24126179-2018-42-2-306-311.
Введение
Ранее в работе [1] была предложена схема построения компаративных морфологий, обобщающая морфологический подход Ю.П. Пытьева [2] на более широкий класс процедур, решающих практические задачи сравнения изображений. Разработанные в рамках подхода [1] процедура морфологической компаративной фильтрации на основе взаимного контрастирования и использующий ее алгоритм выделения отличий предполагают применение различных сочетаний упрощающих фильтров и локальных мер сходства, используемых при восстановлении элементов изображения, присутствующих как на тестовом (фильтруемом), так и на эталонном изображении. В качестве одной из возможных реализаций такой схемы в работе [4] были предложены селективные фильтры на основе взаимного контрастирования, отклик которых определялся сравнением коэффициента локального сходства с заданным пороговым значением.
В данной работе описан новый класс компаративных фильтров, использующих операции математической морфологии Серра [5] в качестве упрощающих фильтров. Также представлены результаты экспериментального сравнения предложенных фильтров с другими процедурами морфологической фильтрации в задаче выделения отличий.
1. Обобщенная схема компаративной морфологии и компаративная фильтрация на основе взаимного контрастирования
Согласно [1], компаративная морфология (comparative morphology, CM) представляет собой математическую теорию формы, которая обеспечивает решение следующих основных задач анализа изображений:
- оценка сходства изображений;
- взаимная привязка изображений;
- выделение отличий между изображениями (формами);
- сравнение изображений (форм) по сложности;
- оценка сходства/различия форм, предоставляя для
этого следующие основные средства:
- возможность описания формы изображения тремя эквивалентными способами - структура в пространстве кадра, многообразие в пространстве изображений, морфологический оператор в пространстве изображений;
- способ автоматического получения описания формы изображения по заданному эталону или эталонному набору изображений;
- морфологический коэффициент корреляции (МКК) для оценки сходства изображения с формой. Используется также для решения задачи взаимной привязки изображений (matching);
- способ выделения отличий между изображениями на основе морфологической нормализации фона - вычисления разности между изображением и его проекцией;
- способ относительного сравнения форм по сложности, причем отношения «сложнее по форме» и «проще по форме» должны быть определены для каждого из трех морфологических способов описания формы;
- способ сравнения форм по сходству/различию при помощи мер сходства (морфологических коэффициентов корреляции форм) и мер различия (морфологических метрик сравнения форм), причем сходство и различие должны оцениваться как в пространстве структурных описаний (меры сходства и метрики на формах-структурах), так и в пространстве изображений (меры сходства и метрики на формах-многообразиях).
В зависимости от конкретного выбора базовой структурной модели и способа ее формирования данная обобщенная схема компаративной морфологии
может реализовываться в виде той или инои частной компаративной морфологии или, иными словами, конкретной морфологической системы. Послужившая основой для обобщения морфология Пытьева также является одним из известных частных случаев.
Далее в [1] было описано обобщение морфологического анализа Пытьева на основе компаративных фильтров, непосредственно принимающих на вход оба сравниваемых изображения из множества всех изображений О (эталонное и тестовое), но выдающих на выходе результат, который можно трактовать как результат фильтрации одного (тестового) изображения: у( /, g): ОхО^О ,
причем для любого фиксированного /еО фильтр V/ С?) = V/, g) является морфологическим фильтром. При этом двухвходовый компаративный фильтр является взаимным, если невозможно как-либо заранее обучить некий фильтр выполнять такую операцию на эталоне /, чтобы потом фильтровать любое тестовое изображение g этим фильтром, т.е. если в каждой точке изображения в процессе фильтрации необхо-
димо обрабатывать именно пару соответствующих изображений f и g (или пары их фрагментов).
В качестве способа конкретной реализации такой взаимной фильтрации в [1] был предложен компаративный фильтр на основе взаимного контрастирования::
ф; (f, g)(х, y) =
_ g0;(xy) (x, y) + a (f, g;(xy)) (g (х, y) - g0;(xy) (х, y)),
где Vf,ge Q: a(f,g ;xy))e [0,1], a(g,g ;(x-y)) = 1, a(o,g ;(x-y)) = 0, a(f,g ;(x,y)) - локальный коэффициент взаимного сходства фрагмента изображений g;(x,y) с элементами изображения f g0 - упрощающий фильтр, o(x,y) = const -простейшее постоянное изображение. Обобщенная схема такой взаимной компаративной фильтрации представлена на рис. 1. В качестве упрощающих фильтров в данной схеме могут использоваться, вообще говоря, любые процедуры фильтрации, не повышающие энергию (среднее, медиана, размытие по Гауссу и пр.), так же как в качестве мер локального сходства - любые нормированные меры сходства изображений.
Оценка локального сходства фрагментов изображений
Коэффициент локального сходства фрагментов
Восстановление локальных особенностей теста, имеющих соответствие на эталоне
Неусложняющий фильтр (среднее, открытие и др.)
не восстановлено
Результат
Результат первичной фильтрации тестового изображения
взаимной фильтрации
Рис. 1. Схема взаимной компаративной фильтрации
Позднее в работе [4] в рамках данной схемы были предложены селективные компаративные фильтры на основе взаимного контрастирования, отличающиеся тем, что для их построения использовались бинарные коэффициенты локального сходства:
|l,if a (f, g;( xy) )> t; 0 - otherwise.
Д f, g;( x'y) )_■
Бинаризация по порогу позволяет использовать ненормированные меры сходства изображений (такие как взаимная информация) при построении компаративных фильтров. Кроме того, она повышает селективные свойства фильтра на основе взаимного контрастирования: детали на изображении после фильтрации или вообще не восстанавливаются, или восстанавливаются полностью.
2. Компаративная фильтрация на основе морфологических операторов Серра
Исходя из описанного выше подхода, определим компаративный взаимный фильтр на основе морфологического открытия (закрытия) как взаимный фильтр следующего вида:
С№(/, g) = Г (/) + а(Г, gw) [/ - Г (/)];
а(Г, gw) е {0,1}, где /- 5 / )] - отсечение значения разности по минимальному порогу р, gw - фрагменты тестового и эталонного изображения, соответствующие окну фильтра; а/, g) - бинарный коэффициент локального сходства изображений; 5 /) - морфологический фильтр открытие (закрытие) Серра со структурирующим элементом размера w. В качестве мер локального сходства в таком фильтре могут быть использованы как нормированные, так и ненормированные показатели:
- нормированный линейный коэффициент корреляции;
- взаимная информация;
- морфологические коэффициент корреляции;
- «тепловые» ядра взаимного сходства фрагментов изображения на основе сравнения векторов локальных признаков вида
а (/w (и,у) gW(x,у)) _
= ехр (-йу (у)( Гм), у( gw(u■v))/о),
где V - векторы признаков из пространства V с метрикой а - масштабный настроечный коэффициент.
В качестве альтернативного способа конструирования компаративного фильтра на основе операторов математической морфологии Серра предлагается использовать компаративный взаимный фильтр на основе референтного морфологического открытия, отличающегося адаптивным замещением структурирующего элемента в каждом положении окна фильтра ™ соответствующим фрагментом эталонного изображения f.
с; (/, 8) = (/) + а (Г, )[/ - Б* (/)];
а = {0;1};
5й' (/ (х, у), к (и, V, х, у) =
ор
= тах (с(и, V) + к (и, V, х, у)) < / (х, у),
(2)
к (и, V, х, у) = 8™(и'г;)(х, у).
Аналогичным образом может быть определен и компаративный взаимный фильтр на основе референтного морфологического закрытия.
3. Результаты качественных экспериментов по выделению отличий на изображениях
С целью исследования предложенных компаративных фильтров было проведено несколько десятков качественных экспериментов по выделению отличий с помощью морфологической нормализации фона [2], [3] с использованием алгоритма, описанного в [4]. Кроме того, представлены маски отличий, полученные с помощью других компаративных фильтров [3], [5] и средств морфологического анализа Пытьева. На рис. 2- 4 представлены примеры результатов выделения отличий тестового изображения 8 (рис. 2 - 4б) от формы эталонного изображения / (рис. 2- 4а).
При этом используются следующие обозначения: - ВК (мед.+НКК) (рис. 2- 4в) и ВК (мед.+МКК)
(рис. 2- 4г) - компаративный фильтр на основе вза-
имного контрастирования с использованием медианного фильтра и мер локального сходства: нормированного коэффициента корреляции (НКК) и морфологического коэффициента корреляции (МКК);
- КФС (1) (НКК) (рис. 2- 4д) и КФС (1) (МКК) (рис. 2- 4е) - компаративный фильтр (1) с использованием морфологической операции открытия дисковым структурирующим элементом, локальное сходство определяется нормированным (НКК) и морфологическим коэффициентами корреляции (МКК);
- КФС (2) (НКК) (рис. 2- 4ж) и КФС (2) (МКК) (рис. 2- 4з) - компаративный фильтр (2) с использованием референтного открытия с переменным структурирующим элементом, локальное сходство также оценивается НКК и МКК;
- «морфология Пытьева» (рис. 2- 4и) - выделение отличий по схеме Пытьева на основе проектора на мозаичную форму [2], [3], форма получена путем гистограммной сегментации изображения;
- «диффузная морфология» (рис. 2- 4к) - компаративный фильтр на основе диффузной морфологии [1]. Размер скользящего окна фильтров для всех
экспериментов был одинаковым (7x7 пикселей). Изображения были предварительно приведены к одному масштабу.
Как видно из представленных примеров, результаты выделения отличий с помощью компаративных фильтров (1), (2) на основе морфологического открытия качественно не хуже, а в ряде случаев (рис. 3, 4) лучше ранее предложенных фильтров на основе взаимного контрастирования. Кроме того, они лишены некоторых недостатков других рассмотренных методов.
В частности, морфологическая нормализация фона с помощью классического проецирования тестового изображения на кусочно-постоянную форму эталонного изображения подразумевает процедуру сегментации последнего.
Рис. 2. Пример 1 результатов выделения отличий с помощью морфологической нормализации фона с помощью различных процедур морфологической фильтрации
Рис. 3. Пример 2 результатов выделения отличий с помощью морфологической нормализации фона с помощью различных
процедур морфологической фильтрации
Рис. 4. Пример 3 результатов выделения отличий с помощью морфологической нормализации фона с помощью различных
процедур морфологической фильтрации
Поэтому качество результирующей маски отличий в большой мере зависит от робастности того или иного метода сегментации. В случае с выделением отличий с помощью компаративных фильтров на основе диффузной морфологии получаются более устойчивые результаты, однако есть ряд недостатков, связанных с краевыми эффектами на резких переходах яркостей из-за размытия деталей тестового изображения, не соответствующих эталону.
Помимо этого, к преимуществу предложенных компаративных фильтров по сравнению с фильтрацией методами диффузной морфологии и морфологического анализа изображений можно отнести инвариантность к небольшому относительному сдвигу тестового и эталонного изображений.
Заключение
В данной работе представлены два новых класса компаративных фильтров, основанных на использова-
нии в качестве упрощающих фильтров операторов открытия и закрытия с фиксированным и переменным (адаптивным) структурирующим элементом соответственно. Для исследования предложенных фильтров были проведены качественные результаты экспериментов по выделению отличий между изображениями с помощью морфологической нормализации фона в сравнении с ранее предложенными методами.
Эксперименты подтвердили, что представленные компаративные фильтры качественно не хуже, а в ряде случаев оказались лучше ранее предложенных фильтров на основе взаимного контрастирования. Дальнейшие исследования в данной области будут связаны с развитием описанного в работе класса компаративных фильтров на основе операций математической морфологии Серра, а также с проведением сравнительных экспериментов на базах изображений, предназначенных для тестирования алгоритмов выделения отличий.
Благодарности
Работа выполнена при поддержке РНФ, грант № 16-11-00082.
Литература
1. Vizilter, Y.V. Change detection via morphological comparative filters / A.Y. Rubis, S.Y. Zheltov, O.V. Vygolov // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Prague, Czech Republic. - 2016. - Vol. III-3. - P. 279286. - DOI: 10.5194/isprsannals-IH-3-279-2016.
2. Pyt'ev, Y.P. Morphological image analysis / Y.P. Pyt'ev // Pattern Recognition and Image Analysis. - 1993. - Vol. 3, Issue 1. - P. 19-28.
3. Методы морфологического анализа изображений / Ю.П. Пытьев, А.И. Чуличков. - М.: Физматлит, 2010. -366 с. - ISBN: 978-5-9221-1225-3.
4. Vizilter, Y.V. Change detection via selective guided contrasting filters / A.Y. Rubis, S.Y. Zheltov // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2017. -Vol. XLII-1/W1. - P. 403-410. - DOI: 10.5194/isprs-archives-XLII-1 -W1-403-2017.
5. Serra, J. Image analysis and mathematical morphology / J. Serra. - Orlando, USA: Academic Press Inc., 1982. -621 p. - ISBN: 978-0-12637240-3.
Сведения об авторах
Рубис Алексей Юрьевич, 1986 года рождения, в 2009 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В настоящее время является инженером 2-й категории ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Является автором и соавтором 31 научного труда. Круг научных интересов: обработка изображений, системы улучшенного видения, распознавание образов, программирование. E-mail: arubis@gosniias.ru .
Лебедев Максим Алексеевич, 1990 года рождения, в 2013 году окончил «Московский авиационный институт (национальный исследовательский университет)». В настоящее время является инженером 2-й категории ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Является автором и соавтором 20 научных трудов. Круг научных интересов: обработка изображений, системы улучшенного видения, распознавание образов, программирование. E-mail: mlebedev@gosniias.ru .
Визильтер Юрий Валентинович, 1970 года рождения, в 1992 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В 1997 г. защитил кандидатскую, а в 2009 году - докторскую диссертацию. В настоящее время является начальником подразделения ФГУП «Гос-НИИ Авиационных систем» (ГосНИИАС). Опубликовал более 80 научных. Область научных интересов: обработка и анализ изображений, цифровая фотограмметрия, машинное зрение, математическая морфология, распознавание образов, машинное обучение, биометрия. E-mail: viz@gosniias.ru .
Выголов Олег Вячеславович, 1977 года рождения, в 2000 году окончил ФГБОУ ВПО «Московский авиационный институт (национальный исследовательский университет)». В 2007 г. защитил кандидатскую диссертацию, кандидат технических наук. В настоящее время является начальником лаборатории ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС). Область научных интересов: обработка и анализ изображений, математическая морфология, комплексирование информации в технических системах, навигация и управление мобильными объектами с использованием технического зрения. E-mail: o.vygolov@gosniias. ru .
Желтов Сергей Юрьевич, 1956 года рождения, в 1973 поступил на факультет управления и прикладной математики Московского физико-технического института (МФТИ). В 1984 г. защитил кандидатскую, а в 2002 году - докторскую диссертацию. В настоящее время является генеральным директором ФГУП «ГосНИИ Авиационных систем» (ГосНИИАС) и действительным членом Российской академии наук. Является автором и соавтором около 200 публикаций, в том числе в ведущих мировых изданиях. Область научных интересов: системы машинного зрения и обработка информации в системах управления. E-mail: zhl@gosniias.ru .
ГРНТИ: 28.23.15.
Поступила в редакцию 7 декабря 2017 г. Окончательный вариант - 28 февраля 2018 г.
COMPARATIVE IMAGE FILTERING USING MONOTONIC MORPHOLOGICAL OPERATORS
A.Yu. Rubis1, M.A. Lebedev1, Yu.V. Vizilter1, O.V. Vygolov1, S.Yu. Zheltov1
1 Federal State Unitary Enterprise "State Research Institute of Aviation Systems" (FGUP "GosNIIAS"), Moscow, Russia
Abstract
In a previous work, we proposed a Comparative Morphology (CM) construction scheme that generalized Pytyev's Morphological Image Analysis approach onto a wider range of practical image comparison applications. Within a Guided Contrasting framework, a filtering procedure and a related change detection algorithm were developed.
In this work, we propose a class of CM filtering in which Mathematical Morphology operators introduced by Serra are used as smoothing operators that offer monotonically non-increasing (non-decreasing) filtering, in contrast to linear diffusion filtering and non-linear median filtering. The results of experiments on change detection based on the new CM filtering are discussed in comparison with other morphological procedures.
Keywords: image morphology, image filtering, background normalization, mathematical morphology.
Citation: Rubis AYu, Lebedev MA, Vizilter YuV, Vygolov OV, Zheltov SYu. Comparative image filtering using monotonic morphological operators. Computer Optics 2018; 42(2): 306-311. - DOI: 10.18287/2412-6179-2018-42-2-306-311.
A cknowledgements: The work was funded by the Russian Science Foundation (RSF), grant No. 16-11-00082
References
[1] Vizilter YV, Rubis AY, Zheltov SY, Vygolov OV. Change detection via morphological comparative filters. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences 2016; III-3: 279-286. DOI: 10.5194/isprs-annals-III-3 -279-2016.
[2] Pyt'ev YP. Morphological image analysis. Pattern Recognition and Image Analysis 1993; 3(1): 19-28.
[3] Pyt'ev YP. Methods of morphological image analysis [In Russian]. Moscow: "Fizmatlit" Publisher; 2010. ISBN: 978-5-9221-1225-3.
[4] Vizilter YV., Rubis AY, Zheltov SY. Change detection via selective guided contrasting filters. Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci; 2017, XLII-1/W1: 403-410. DOI: 10.5194/isprs-archives-XLII-1-W1-403-2017.
[5] Serra J. Image analysis and mathematical morphology. Orlando, USA: Academic Press Inc; 1982. ISBN: 978-012637240-3.
Author's information
Aleksey Yurievich Rubis (b.1986) graduated from Moscow Aviation Institute (National Research University) in 2009. Currently he works as the engineer at the FGUP "GosNIIAS". Author of 31 scientific papers. Research interests are image and video analysis, pattern recognition, programming, enhanced vision systems. E-mail: arubis@gosniias.ru .
Maxim Alekseevich Lebedev (b, 1990) graduated from Moscow Aviation Institute (National Research University) in 2013. Currently he works as the engineer of the 2-nd category at the FGUP "GosNIIAS". Author and coauthor of 20 scientific papers. Research interests are image processing, enhanced vision systems, pattern recognition, programming. E-mail: mlebedev@gosniias.ru .
Yuri Valentinovich Vizilter (b.1970) graduated from Moscow Aviation Institute (National Research University) in 1992. Since 1997 is the Candidates of Technical Sciences, 2009 - the Doctor of Technical Sciences. Currently he works as the head of department at the FGUP "GosNIIAS". Author of 80 scientific papers. Research interests are processing and image analysis, digital photogrammetry, computer vision, mathematical morphology, pattern recognition, machine learning, biometry. E-mail: viz@gosniias.ru .
Oleg Viacheslavovich Vygolov (b.1977) graduated from Moscow Aviation Institute (National Research University) in 2000 and received Ph.D. degree in Technical Sciences in 2007. He has been working at FGUP "GosNIIAS" since 2000, currently holds the position of head of laboratory for Enhanced and Synthetic Vision Systems. His research interests include image processing and analysis, mathematical morphology, data fusion in technical systems, vision-based mobile objects navigation and guidance. E-mail: o.vygolov@gosniias.ru .
Sergey Yuryevich Zheltov (b. 1956), graduated from Moscow Physical-Technical Institute in 1979. Sinse 1984 is the Candidates of Technical Sciences, 2002 - the Doctor of Technical Sciences. Currently he works as the Director General of the FGUP "GosNIIAS". Since 2016, he is the member of the Russian Academy of Sciences. Author of more than 200 proceedings. The basic area of scientific interests: methods of machine vision and digital photogrammetry, methods of artificial intellect, computer graphics, technologies of virtual reality and etc. E-mail: zhl@gosniias.ru .
Received December 7, 2017. The final version - February 28,2018.
