CC BY
20
УДК 528.854
И. Р. Сайфудинов, В. В. Мокшин, А. П. Кирпичников
ГРУППИРОВАНИЕ КОНТУРОВ ОБЪЕКТОВ СТРУКТУРНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ СЕТИ ЗАМЕТНОСТИ ЭЛЕМЕНТОВ
Ключевые слова: группировка контуров, выделение границ, сеть значимости.
В данной статье описывается сеть, которая выполняет группировку контуров изображения. Ввод в сеть -это фрагменты контуров изображений, а выход - разбиение фрагментов на группы, а также мера заметно-сти для каждой группы. Группировка основана на измерении общей длины и кривизны. Сеть разбивает общую задачу оптимизации на независимые оптимальные проблемы сопряжения, выполняемые в каждом узле. Полученные вычисления отображаются в единую локально связанную сеть простых вычислительных элементов.
Keywords: Grouping of contours, the delineation of borders, network of significance.
In this paper are described the network grouped circuit of pictures. Input to the network is fragments of image contours, output is splitting fragments into groups and measure of visibility for each group. The grouping is based on measuring the total length and curvature. The network splits the general optimization problem into independent optimal coupling problems performed at each node. The resulting calculations are mapped into a single locally connected network of simple computational elements.
Введение
Проблемой, которая часто возникает при визуальной обработке информации [1], является привязка фрагментов контура к оптимальным группам. Например, некоторые поднаборы контуров спонтанно образуют перцепционные группы, как показано на рис. 1, и их часто обнаруживают сразу, без систематического сканирования изображения. Процесс группирования такого типа, вероятно, будет играть важную роль в распознавании объектов путем сегментирования изображения и выбора структур изображения, которые могут соответствовать объектам, представляющим интерес для сцены [2].
В работе предполагается, что на ранней стадии какая-либо форма автономной группировки выполняется на основе геометрических характеристик, которые не зависят от идентичности объектов, которые должны быть выбраны. Процесс группирования регулируется понятием заметности таким образом, что приоритет отдается формированию выступающих групп за счет потенциально менее заметных. Это общее понятие можно снова проиллюстрировать на рис. 1, кажется, что некоторые группы самопроизвольно возникают, а группировка решений, касающихся менее заметных частей изображения, может оставаться нерешенной. Как будет показано, приведенное ниже вычисление показывает аналогичное поведение.
Группировка контуров изображений определяется как формирование набора непересекающихся групп, каждая из которых соответствует кривой, которая может иметь любое количество промежутков, и объединение которых покрывает все фрагменты контура в изображении.
Учитывая функцию F (А), которая измеряет некоторое желаемое свойство группы А, мы хотели бы найти непересекающееся множество групп {Аг,Ат}, максимизирующее ^ Р(А{) над всеми возможными группами. В данном определении группировки, решения локальной группировки, основанные на коллинеарности соседних краевых сегментов, могут быть переопределены в пользу более
глобальных решений, которые определяются общей значимостью групп.
Рис. 1 - Контуры, которые формируют перцептивные группы с различной степенью заметно-сти. Показано изображение дороги с разделительными полосами, автомобилем и окруженным деревьями
Метод группирования, обладающий следующими свойствами:
1) группирование оптимизирует общую характеристику заметности,
2) проблема оптимизации отображается в однородную локально связанную сеть простых вычислительных элементов
3) архитектура сети и ее расчеты отличаются в нескольких отношениях от традиционных моделей нейронной сети.
Оптимальное группирование
Для группировки удобно рассматривать изображение как граф краевых элементов. Вершины графа соответствуют пикселям изображения, а дуги - фрагментам элементарных краев. Входные данные в проблему группировки - это контурное изображение, представленное множеством Ег элементов на графе. Путь в графе соответствует контуру в изображении, имеющем любое количество промежутков. Это подразумевает, что процесс группировки неявно соединяет промежутки. Этот процесс заполнения
критически важен для любой схемы группировки и может быть реализован в пакетах Simulink системы Matlab [3].
Основное внимание в этом разделено, уделено одномерным цепочкам элементов, таким как ограничивающие контуры объектов. Группировка, следовательно, представляет собой совокупность цепочек А1 ...Ат таких, что AtnAj = 0 i Ф j и U¿ At 3 Ег. Для определения оптимальной группировки определим функцию F(A), которая измеряет качество группы А. Оптимальная группировка тогда является группировкой, которая максимизирует Y,u=iF(A¿) по всем возможным группированиям элементов.
Мера качества F (A) группы
Определение меры F(A) мотивируется как перцепционными, так и вычислительными соображениями. В согласии с перцепционными наблюдениями, она определяется в пользу длинных гладких контуров. Ее форма также предназначена для облегчения распределенной многоступенчатой оптимизации, как описано ниже.
Чтобы определить F(A) цепочки элементов А = {ег..., ет} рассмотрим сначала один элемент e¿ и п предшествующих элементов в цепочке. Сначала используется величина sn(i), которая является вкладом п предшествующих элементов в e¿, а именно:
i
sn(i) = ^ VjCij
j=max{l,i—n]
Oj определяется как 1, когда e¿ соответствует фрагменту контура изображения, и 0 - промежуткам. Следовательно, sn(i) является просто взвешенной суммой вкладов элементов в цепочке. Весовой коэффициент Су берется как убывающая функция полной кривизны пути Yíj между элементами e¿ и e¡. Это приведет к группировке, которая предпочитает кривые с малой полной кривизной над волнистыми. Су задается формулой:
экспонентой является квадрат полной кривизны пути между элементами e¿ и e¡, и полученный Су лежит между 0 (сильно изогнутый контур) и 1 (прямая линия). Для дискретной выборки кривой, Су можно
аппроксимировать произведением:
7 + 1
UL
Fn(A)=^Sn(i)
Cij = 1
p=i
где называется константой связи между соседними элементами ер и еч и задается выражением
_ . а
/рд = е а ап2, где а - угол, измеряющий разность ориентации между р и ц. Аналогичным образом , можно определить Еп(1) вклад п элементов после в цепочку. 5„([) = бп(1) + бп(1) — а^ измеряет вклад в элемент е^ с обоих направлений. Он монотонно возрастает с длиной и низкой полной кривизной кривой, проходящей через элемент е^. Тогда общее качество цепи А, наконец, определяется формулой
i=i
Fn(A) увеличивается квадратично с размером А и нелинейно по отношению к полной кривизне А. Максимизация ^F(Aj) по всем возможным группировкам, поэтому предпочитает группы, которые являются длинными и гладкими. При увеличении п мера Fn будет зависеть от большей части кривой, окружающей каждый элемент, что приведет к более тонкой дискриминации между группами. На практике мера ограничивается конечным п, а оптимальная группировка определяется как:
т
In = arg max > Fn(Ai)
т,А1,...,Ат
¿=1
где max берется по всем возможным группировкам. То есть мы ищем группировку, которая будет максимизировать общую критериальную функцию, основанную на длине и гладкости.
Оптимизационный подход
Оптимизация 1п является нелинейной проблемой с энергетической средой, которая может быть довольно сложной [4], затрудняя поиск глобального оптимума или даже хороших локальных оптимумов, используя простые методы градиентного спуска моделируемых в имитационных средах [5]. Ниже определено вычисление, которое проходит в два этапа, этапы значимости и сопряжения, каждый из п шагов. На стадии значимости вычисляются оптимальные значения Sn(i) для всех элементов в графе путем итерации локального вычисления. Эти значения являются верхней границей значений значимости, достижимых любой группировкой. На этапе сопряжения дополнительно обновляется Sn(i), повторно создавая локальные сопряжения элементов в каждом узле графа. Ниже приводится подробное описание обоих этапов.
Этап значимости
Для любой данной группы А^, ...Ат поскольку они не пересекаются, имеем
т N
^Fn(Aj) = ^Sn(i) <^maxSn(i) 7 = 1 i=l 1 где N - число элементов в графе, а Yi - кривая, проходящая через элемент et. Обозначим Sn(i) как за-метность элемента et по отношению к кривой уг. Таким образом, имеем, что максимальное значение значимости S^(i) = maxYiSn(i) является верхней границей значения значимости элемента et, получаемого на оптимальной группировке 1п.
Определим локальное вычисление на сетке элементов так, чтобы каждый элемент et вычислял максимальный Sn(i), повторяя следующий простой расчет, на каждом шаге принимающий максимальный вклад своих соседей.
s0(i) = Oi
sn+i(0 = Ъ + msxj sn(j)fiJ (1)
где это вычисление выполняется всеми элементами параллельно. Можно показать, что на -й итерации
5п(1) максимальна по всем возможным кривым длины п, имеющим любое количество промежутков, которые входят в е^. Так как Бп(1) = зп(Г) + зп(1) — 01 то также находится максимальный 5И([). Вычисление осуществляется всеми элементами сети, включая промежутки (а равно 0), промежутки заполняются в качестве побочного продукта вычисления. Можно показать, что контур заполнения между двумя конечными элементами имеет наименьшую общую кривую, и поэтому имеет форму кубического сплайна.
Этап сопряжения
Учитывая оптимальные значения заметности 3^(0 рассчитанные на стадии значимости, мы хотели бы найти рядом почти оптимальную группировку 1п. Прежде всего, отметим взаимно однозначное соответствие между группировкой и сопряжением элементов в каждом узле графа. Определим сопряжение как разбиение к элементов вокруг узла Р в 1-1
непересекающихся парах. Сопряжение, выполняемое по всем узлам сетки, создает отношение эквивалентности по элементам сети и, следовательно, по транзитивности определяет группировку. Поэтому продолжаем, выбирая сопряжение в каждом узле сети, что даст близкую оптимальную группировку 1п.
Учитывая 5И([), оптимальные значения значимости, вычисленные (1) и сопряжение в узле Р обновляем значения значимости по
^п+1 (0 = ^ +5п(Я/у (2) где е^и в] - пары, определяемые сопряжением. Это вычисление в точности соответствует (1) за исключением того, что (2) применяется к фиксированному сопряжению, в то время как в (2) каждый элемент выбирает соседа с максимальным вкладом. Дальнейшие применения сопряжения, за которыми следует (2), позволяют результатам решений сопряжения распространяться вдоль кривых и влиять на другие решения сопряжения. Это дает начало понятию повторных пар, повторяющейся процедуры сопряжения, применяемой одновременно по всем узлам графа с последующим вычислением заметности (1). Ниже определим процедуру сопряжения, которая идентифицирует выступающие группы в контурных изображениях.
Для каждого узла Р в графе с элементами е1,...,ек, входящих в Р, получаем, что 5п(1) ¿ = 1,...,к, вычисленные по формуле (1), измеряются вдоль оптимальных, не обязательно непересекающихся кривых А1,.,Ак каждой длины п. Оптимальное сопряжение в узле Р определяется как непересекающееся сопряжение, которое объединяет
А1,.,Ак в кривые такие, что сумма их качественной меры Р() максимальна. Так как F определен как предпочитающий гладкие кривые и из-за его нелинейности по отношению к полной кривизне, оптимальное сопряжение согласуется с понятием формирования выступающих групп за счет потенциально менее заметных. Следующее утверждение показывает, что оптимальное сопряжение можно
определить локально, без необходимости оценивать меру качества сцепленных кривых.
Утверждение 1. Для данного узла Р пусть е±,..., ек - элементы вокруг Р, А±,... ,Ак кривые, вписанные в Р, которые связаны с ненулевыми значениями значимости 51(п),.,5к(п) с достаточно большим п (по крайней мере, вдвое больше наибольшей цепочки А^), п подстановка индексов (1.....к) и} = {(1,2),(3,4).....(к — 1,к)}, то
агдтах ^ агдтак ^
где АЬА] обозначает объединение кривых А1,А] ,и = Д, (бп (1)сп00 + бп (])сп (1)) где сп определяется как сп(1 = ^кСк^) где к берется по всем элементам в цепи Л, .
Доказательство. /^(^¿.Д,) мера групповой значимости цепи А^А], равна Рп(А1) + Fn(Л_;) + . Наконец, без ограничения общности можно считать, что к четно, потому что мы всегда можем добавить еще один элемент с присоединенными к нему нулевыми весами.
Утверждение 1 показывает, что оптимальное сопряжение элементов может быть определено локально на основе значений значимости, вычисленных в (1). Поэтому одним из способов продолжения является следующее. Величины сп и, следовательно, могут накапливаться и вычисляться во время вычисления (1). Затем оптимальное сопряжение вычисляется в каждом узле. Поиск оптимального сопряжения эквивалентен поиску оптимального взвешенного совпадения в общем графе с весами . Задача взвешенного сопоставления на графах имеет полиномиальный алгоритм Эдмондса, и поэтому его реализация не является громоздкой.
Ниже описана альтернативная и более биологически вероятная схема, которая может быть реализована в простой сети с использованием итеративных локальных вычислений и комплексным подходом к моделированию сложных систем [6]. Вычисление фактически почти идентично вычислениям заметно-сти, описанным в (1).
Так как значения значимости бп , вычисленные по формуле (1), являются верхней границей конечных значений, достижимых в любой группировке, мы хотели бы найти сопряжение, которое сохранит эти значения как можно ближе. Предположим, что в Р, е; получает свой максимальный вклад от е^, и в то же время обеспечивает максимальный вклад в е^ («взаимные соседи»). При выполнении локального сопряжения в точке Р целесообразно выбрать и е^ в качестве пары. Заметим, что хотя это локальное решение в точке Р, значения зп(С) и бп(']') уже учитывают вклад расширенных кривых. Оставшиеся элементы проходят еще один круг выбора заметно-сти и сопряжения взаимных соседей, пока не будут сопряжены все элементы в Р. Следующее утверждение показывает, что этот процесс сопряжения хорошо ведет себя в том смысле, что в каждом круге выбора всегда будет по крайней мере одна пара, кото-
рая взаимно выбирает друг друга. Поэтому имеем, что число кругов выбора ограничено где к -число элементов, имеющих ненулевое значение значимости, попадающее в узел Р.
Утверждение 2. Пусть х1: ...,хк будет к положительных действительных чисел, = Mji - положительные веса i,j — 1,...,к и 5^ = arg max , тогда 3i,j такие, что St= j и Sj — i (i и j - взаимные соседи).
Доказательство проведем индукцией по к. Для к = 3 предположим, что в шаблоне выбора существует цикл. Для любого данного цикла мы можем перенумеровать индексы так, что S± — 2,S2 — 3 и S3 — 1. Пусть Wj обозначает где —
шк1 . Получаем: 1) х2ш2 > х3ш1, 2) х2ш3 > х±ш2 и 3) х1ш1 > х2ш3. Из (2) и (3) получаем неравенство, которое противоречит (1). По гипотезе индукции предположим, что утверждение справедливо для любого к — 1. Мы должны показать, что утверждение верно для к. Учитывая предположению индукции, мы должны показать, что нет шаблона выбора, который приведет к циклу размера к. Предположим противное, что такой цикл существует. Для любого данного цикла размера к мы можем перенумеровать индексы так, что St — i + 1 и Sk — 1 откуда следует, что XjWj > XjMij для всех j Ф i. В частности, мы имеем следующие к неравенства: х^ш^ > xi_2^i_1, где i — 1,...,к. Из неравенств к — 1, соответствующих i — 2,..., к, мы получаем транзитивность, такую что х1ш1 < хк_1шк, что противоречит остальному неравенству, которое соответствует i — 1.
Выводы
Оптимизация отображается на локально подключенную сеть с простым равномерным вычислением. Вычисление состоит из следующих шагов [7]: 1) вычислить значение S£ каждого линейного элемента, используя вычисления, определенные в (ур.1). 2) на каждом узле выполняется сопряжение элементов линии в узле. Сопряжение выполняется путем многократного выбора взаимных соседей [8]. 3) в каждом узле обновляется значения sn на основе вновь сформированного соединения (ур. 2). 4) возврат к шагу 2.
Эти повторные пары позволяют решениям сопряжения распространяться вдоль максимально выступающих кривых и влиять на другие решения сопряжения. В реализации модели в среде имитационного моделирования GPSS W [9] число итераций п равно в обоих этапах, а при увеличении п чем меньше будет сопряжение, тем более тонкая дискриминация между группами. Во время вычислений первые выступающие группы появляются раньше, менее заметные группы требуют дополнительных
итераций имея сходство с рекурсивно-регрессионными само-организационными моделями [10]. Хотя процесс не гарантирует сходимости к оптимальному решению, это очень простое вычисление, которое на практике дает хорошие результаты.
Работа выполнена в инжиниринговом центре Siemens в КНИТУ-КАИ.
Литература
1. Мокшин В.В., Кирпичников А.П., Шарнин Л.М. Отслеживание объектов в видеопотоке по значимым признакам на основе фильтрации частиц / Вестник Казанского технологического университета. 2013. Т. 16. № 18. С. 297-303.
2. Сайфудинов И.Р., Мокшин В.В., Кирпичников А.П. Многоклассовое обнаружение и отслеживание транспортных средств в видеопоследовательности / Вестник Казанского технологического университета. 2014. Т. 17. № 19. С. 348-355.
3. Якимов И.М., Кирпичников А.П., Мокшин В.В., Му-хутдинов Т.А. Обучение имитационному моделированию в пакете Simulink системы MatLAb / Вестник технологического университета. 2015. Т. 18. № 5. С. 184188.
4. Степанова М.А., Сытник С.А., Кирпичников А.П., Мокшин В.В. Оптимизация процесса ремонта грузоподъемных машин по математической модели / Вестник Казанского технологического университета. 2013. Т. 16. № 20. С. 309-314.
5. Якимов И.М., Кирпичников А.П., Мокшин В.В. Моделирование сложных систем в имитационной среде AnyLogic / Вестник Казанского технологического университета. 2014. Т. 17. № 13. С. 352-357.
6. Якимов И.М., Кирпичников А.П., Мокшин В.В., Ко-стюхина Г.В., Шигаева Т.А. Комплексный подход к моделированию сложных систем в среде BPWN-Arena / Вестник Казанского технологического университета. 2014. Т. 17. № 6. С. 287-292.
7. Мокшин В.В., Якимов И.М. Метод формирования модели анализа сложной системы / Информационные технологии. 2011. № 5. С. 46-51.
8. Мокшин В.В. Параллельный генетический алгоритм отбора значимых факторов, влияющих на эволюцию сложной системы / Вестник Казанского государственного технического университета им. А.Н. Туполева. 2009. № 3. С. 89-93.
9. Якимов И.М., Кирпичников А.П., Мокшин В.В. Моделирование сложных систем в среде имитационного моделирования GPSS W с расширенным редактором / Вестник Казан. технол. ун-та. 2014. Т. 17. № 4. С. 298-303.
10. Мокшин В.В., Якимов И.М., Юльметьев Р.М., Мокшин А.В. Рекурсивно-регрессионная самоорганизация моделей анализа и контроля сложных систем / Нелинейный мир. 2009. Т. 7. № 1. С. 66-76.
11. Якимов И.М., Кирпичников А.П., Мокшин В.В. Моделирование сложных систем в имитационной среде AnyLogic / Вестник Казанского технологического университета. 2014. Т. 17. № 13. С. 352-357.
© И.Р. Сайфудинов - асп. каф. автоматизированных систем обработки информации и управления КНИТУ-КАИ им А.Н.Туполева, e-mail: ildar09@mail.ru; В. В. Мокшин - канд. тех. наук, доцент той же кафедры, vladimir.mokshin@mail.ru; А. П. Кирпичников - док. физ.-мат. наук, зав. каф. интеллектуальных систем и управления информационными ресурсами КНИТУ, e-mail: kirpichnikov@kstu.ru.
© I. R. Saifudinov - Graduate Student of the Department of Automated Information Processing Systems & Control, KNRTU named after A.N. Tupolev, e-mail: ildar09@mail.ru; V. V. Mokshin- PhD, Associate Professor of the Department of Automated Information Processing Systems & Control, KNRTU named after A.N. Tupolev, e-mail: vladimir.mokshin@mail.ru; А. P. Kirpichnikov - Dr. Sci, Head of the Department of Intelligent Systems & Information Systems Control, KNRTU, e-mail: kirpichnikov@kstu.ru.
123
