CC BY
56
УДК 004.93'12 DOI 10.23683/2311-3103-2019-3-72-85
А.Н. Каркищенко, С.П. Левашев
МЕТОД РАСПОЗНАВАНИЯ ОБЪЕКТОВ ПО ДАННЫМ ЛАЗЕРНОГО СКАНИРОВАНИЯ НА ОСНОВЕ СПЕКТРАЛЬНОЙ ТЕОРИИ ГРАФОВ
Предлагается метод распознавания объектов по данным лазерного сканирования. Эти данные можно получить сканированием объектов специальным прибором LIDAR (LIght Detection And Ranging) в виде облака точек, которое представляет собой неупорядоченный набор точек с координатами трехмерного пространства. Решение многих задач компьютерного зрения и распознавания c использованием данных лазерного сканирования зачастую эффективней, чем с использованием двумерных данных по нескольким причинам. Во-первых, третья координата повышает информативность и способствует более подробному описанию объекта. Во-вторых, качество облака точек не зависит от погодных условий, при которых проводилось лазерное сканирование. В-третьих, облако точек позволяет сохранить масштабы объектов. Современные приборы LIDAR позволяют получить данные высокой детализации с большим количеством точек. Однако использование всех точек для распознавания объектов может привести к большим вычислительным затратам. Кроме того данные могут содержать зашумления и выбросы, приводящие к ошибкам в распознавании. Для повышения качества распознавания выполняется предварительное сжатие данных при помощи признакового описания в виде дескрипторов, инвариантных к ряду преобразований. Таким образом, с одной стороны снижается зависимость от зашум-лений и выбросов, с другой - уменьшаются вычислительные затраты. В настоящее время для решения задач распознавания объектов, все чаще применяются подходы, связанные с представлением структур анализируемых объектов в виде графов. Предлагаемый метод основывается на использовании структур объектов, которые описываются частями облака точек. Распознавание осуществляется путем сравнения комплексных спектральных разложений графов, характеризующих структуры объектов. Предлагаются способы определения весовых коэффициентов графа структуры на основе пространственных характеристик множеств точек. Также предлагается способ предварительного отбора объектов, существенно отличающихся по структуре с использованием собственных значений в спектральных разложениях графов. Эффективность предлагаемого подхода демонстрируют результаты экспериментов.
Лазерное сканирование; распознавание объектов; матрица Лапласа; спектр графа; инвариант графа.
A.N. Karkischenko, S.P. Levashev
METHOD OF OBJECT RECOGNITION WIT THE USE OF LASER SCANNING DATA BASED ON SPECTRAL GRAPH THEORY
The paper proposes a method for recognition of objects from laser scanning data. This data can be obtained by scanning objects with a special LIDAR device (LIght Detection And Ranging) in the form of a cloud of points, which is an unordered set of points with coordinates of three-dimensional space. Solving many computer vision and recognition problems using laser scan data is often more efficient than using two-dimensional data for several reasons. Firstly, the third coordinate increases the informativeness and promotes a more detailed description of the object. Secondly, the quality of the point cloud does not depend on the weather conditions under which the laser scan was performed. In the third place, a point cloud allows you to keep the scale of objects. Modern LIDAR devices provide data high detail with a lot ofpoints. However, the use of all points for object recognition can lead to large computational costs. In addition, the data may contain noise and outliers, leading to errors in recognition. To improve the quality of recognition, data is pre-compressed using an attribute description in the form of descriptors invariant to some transformations. Thus, on the one hand, the dependence on noise and emissions is reduced, on the other hand, computational costs are reduced. At present, for solving problems of object recognition,
approaches are increasingly being used that are related to the representation of the structures of the objects being analyzed in the form of graphs. The proposed approach is based on the use of object structures, which are described by parts of a point cloud. Recognition is performed by comparing the complex spectral decompositions graphs characterizing structure of objects. Methods are proposed for determining the weight coefficients of a structure graph based on the spatial characteristics of the sets of points. It also proposes a method of preliminary selection of objects that differ significantly in structure using eigenvalues in the spectral decompositions of graphs. The effectiveness of the proposed approach is demonstrated by the results of experiments.
Laser scanning; object recognition; Laplace matrix; graph spectrum; graph invariant.
Введение. Впервые в распознавании образов графы начали использовать в 70-х гг. XX века [1]. Граф, состоящий из ребер и соединенных ими вершин, представляет собой удобную и эффективную структуру данных. При этом, сравнение объектов осуществляется путем сопоставления графов. Схожие структуры объектов во многих случаях отвечают изоморфным графам. Основная проблема заключается в том, что поиск изоморфных графов является NP-трудной задачей [2], которая может быть решена только за экспоненциальное время. В связи с этим с середины 90-х годов предлагается множество альтернативных подходов к решению задачи сопоставления объектов, которые используют числовые характеристики структур объектов.
В одном из первых подходов используются числовые характеристики распределения координат точек в локальных окрестностях. В частности, в методе [3] используется представление объекта с использованием так называемых функций распределения формы, значения которых вычисляются измерением углов, расстояний, площадей, объемов по координатам случайно выбранных точек. Данный метод обладает важными свойствами инвариантности к масштабированию, переносу и повороту, а также робастностью, однако, зависит от выбора случайных точек. Иной метод [4] использует трехмерные статистические моменты первого и второго порядков, которые также вычисляются по значениям координат точек. В работе [5] предлагается подход, в котором используется дискретное преобразование Фурье [6] сферических гармонических функций [7] координат объектов. Значения коэффициентов Фурье используются в дескрипторах. С увеличением количества Фурье-коэффициентов повышается детализация описания объекта и точность распознавания, однако, при этом наблюдается существенный рост вычислительных затрат.
Для уменьшения затрат на вычисления часто используются подходы, направленные на сокращение размерности исходных данных путем скелетного представления объекта. В [8] на основе метода ближайших соседей вычисляются точки с усредненными координатами, которые можно интерпретировать как скелетное утоньшение объекта. Несколько более точный подход представлен авторами в [9] и направлен на вычисление замкнутых контуров и гистограмм распределений координат точек. В альтернативном подходе [10] используется математическая модель потенциального поля, состоящего из смоделированных зарядов на поверхности объекта. Следует отметить, что вместе с сокращением данных скелетные методы могут не обладать достаточной точностью.
В последнее время высокое качество распознавания демонстрируют методы, использующие спектральные характеристики графов [11]. Данные методы основаны на предположении о важности собственных векторов и собственных значений взвешенных матриц смежностей графов. В частности, в [12] авторами предлагается метод распознавания по дескрипторным описаниям объектов. Эти дескрипторы включают в себя собственные векторы и значения матрицы Лапласа [11], являющейся аналогом непрерывного оператора Лапласа, который определяется на графе. В этом случае поверхность объекта представляет собой триангуляцию облака то-
чек, которая может быть построена различными способами, например такими, как в [13, 15]. Матрица Лапласа представляет собой взвешенную матрицу смежности, элементы которой определяются в соответствии с геодезическим расстоянием [14] между соответствующими парами точек, соединенных ребрами. Дескрипторы, построенные по собственным значениям и векторам матрицы Лапласа, обладают инвариантностью к переносу, масштабированию, повороту и робастностью. В недавно описанном подходе [16] показано, что для сопоставления объектов можно ограничиться несколькими собственными значениями матрицы Лапласа и соответствующих им собственных векторов, что также позволяет сократить время вычислений для обработки больших наборов данных без значительной потери точности.
Предварительная регуляризация. Рассмотрим облако точек Р , полученных в результате лазерного сканирования и заданных в декартовой системе координат ОХУ7. . Будем обозначать через р: = (х1, уг., гг )т , / = 1,..., | Р | точки из облака Р .
Как правило, рассматриваемые объекты содержат большое количество точек. Распознавание таких объектов на основе признаков, вычисляемых по всем точкам, является вычислительно-затратным, особенно, если количество сравниваемых объектов достаточно большое. Для сокращения объема исходных данных воспользуемся методом, введенным в [17]. Для этого построим покрытие облака Р регулярно расположенными перекрывающимися сферами одинакового радиуса. В результате такого покрытия образуются множества Р , которые назовем суперпикселями. Данные множества содержат точки, попавшие в каждую из сфер: Р = {р. / = 1,...,П, где П — количество суперпикселей с числом точек не меньше к . Величину к следует выбирать исходя из соображений статистической достоверности вычисляемых характеристик. Объем лазерных данных, содержащихся в суперпикселях в свою очередь можно сократить, сопоставив каждому суперпикселю несколько информативных признаков. Рассмотрим их.
Первым признаком является медоида Д — точка, координатами которой являются медианы координат точек, входящих в рассматриваемый суперпиксель Р .
Выбор медоиды обусловлен тем, что суперпиксель может содержать выбросы — точки, координаты которых настолько сильно отличаются от координат других сгущающихся точек, что может возникнуть подозрение, что такие отличающиеся точки могли быть созданы не при лазерном сканировании, а с помощью какого-либо другого механизма. Выбросы в основном содержат измерения, которые не отражают локальную форму сканируемой поверхности и могут вносить большие искажения при дальнейшем вычислении признаков. Значения координат медоиды
в отличие от координат центроида р являются более устойчивыми к таким выбросам.
Второй и третий признаки определим при помощи метода главных компо-
1Р1
нент РСА. Пусть с (р.. - р )(р - р )Т — ковариационная матрица координат
j=l
I -го суперпикселя, размерность которой, очевидно, 3 х 3 . Так как ковариационная матрица является симметричной и неотрицательно определенной, то она имеет вещественный спектр Л1, ¿г Л12$г и набор из трех ортонормированных соб-
ственных векторов. Второй характеристикой суперпикселя является собственный
вектор, соответствующий наименьшему собственному значению Яз . Этот вектор можно рассматривать как нормаль к плоскости, вокруг которой концентрируется основная масса точек суперпикселя Р .
В качестве третьей характеристики берется так называемый вектор измерений 5. = (5г1, 5.2, 5-3), количественно характеризующий совокупное расположение лазерных точек внутри суперпикселя. А именно, компонентами этого вектора являются: длина отрезка 5П, площадь ограниченной плоскости 5^ 2 и объем параллелепипеда 5^ 3, аппроксимирующие форму суперпикселя.
Введенные таким образом компоненты вектора измерений будем находить на основе значений среднеквадратических отклонений. Пусть (Га , аг2 и — сред-
неквадратические отклонения вдоль первого, второго и третьего собственных векторов. Поскольку собственные значения ковариационной матрицы имеют смысл
дисперсии вдоль соответствующих векторов, то ( = у/Я'^ = 1,2,3 . Средне-
квадратические отклонения характеризуют разброс точек вокруг среднего значения, который можно интерпретировать как длины полуосей эллипсоида, который аппроксимирует форму суперпикселя (рис. 1^). Направление полуосей определяется собственными векторами.
Однако для определения компонент вектора измерений целесообразно рассматривать удвоенные величины среднеквадратических отклонений 2стя ,2стд ,2стд. Их произведение — объем параллелепипеда, описанного около эллипсоида длинами полуосей 2( ,2( ,2стд, который будет содержать большинство наблюдений
(рис. 1,б). При этом точки, не попавшие в указанный параллелепипед, будем считать выбросами. Отметим, что если взять утроенные длины полуосей эллипса, то практически все точки суперпикселя, включая выбросы будут содержаться внутри эллипсоида, однако при этом размеры эллипсоида существенно превышают размеры суперпикселя (рис. 1,в), и оценка объема параллелепипеда в таком случае является довольно грубой для дальнейших вычислений.
а б в
Рис. 1. Аппроксимация формы одного из суперпикселей параллелепипедом. Собственные векторы , у2 и у3 масштабированы значениями
соответствующих среднеквадратичных отклонений а , а2 и а :
а - изначальными, б -удвоенными, в -утроенными
Таким образом, первой компонентой вектора измерений ^ будем считать удвоенную длину оси эллипсоида вдоль собственного вектора, соответствующего максимальному собственному значению: в л = 2&л. Второй компонентой будет являться площадь прямоугольника, который описан около эллипса с удвоенными длинами полуосей ай и стг2: я = 2стл-2ст2 = 4&аа2. Наконец, в качестве третьей компоненты определим объем параллелепипеда, описанного около эллипсоида c удвоенными длинами полуосей и сгв: = 2стл-2стй-2стй = 8стлстйстй .
Итак, будем считать, что каждый из суперпикселей Р характеризуется тремя описанными выше признаками: медоидой р1, вектором нормали Щ и вектором измерений я .
Граф структуры. Структуру суперпикселей, описывающую распознаваемый объект удобно задать при помощи неориентированного простого графа О = (V, 8),
в котором вершины V е V,7 = 1 ,...,п соответствуют индексам суперпикселей, а ребра е^сУхУ" парам «соседних» вершин V, и V', . Вершины считаются соседними, если они соответствуют суперпикселям, расположенным в сферах покрытия облака Р , расстояние между центрами которых не больше 2(1 — а)г, где
г — радиус сфер, а- параметр перекрытия [17]. Назовем О структурным графом объекта.
В дальнейшем распознавание объектов в значительной степени основано на сопоставлении их структурных графов. Следует отметить, что изоморфизм структурных графов еще не позволяет говорить об идентичности анализируемых объектов, поскольку графы характеризуют лишь общность их топологических свойств, таких как связность, инцидентность, в то время как сами объекты в значительной степени определяются и метрическими характеристиками - длинами, площадями, углами и пр. По этой причине возникает необходимость дополнить описание объекта, введя некоторые функции на вершинах и ребрах структурного графа. Для этого поставим в соответствие вершинам введенные выше характеристики суперпикселей, а ребрам - значения, вычисленные на основе характеристик, соответствующих парам смежных вершин.
Рис. 2. Различные по форме объекты могут описываться одним и тем же графом структуры с точностью до изоморфизма.
Таким образом, вершине V. е V поставим в соответствие медоиду р., вектор нормали Щ и вектор измерений 5 . Пусть V и V. - вершины, соединенные ребром еу = (V',. V', ) е £. Обозначим через ^ = р1. Ф^= (х,, V,,5.,вектор, сформированный с помощью первой и третьей характеристик. Каждому ребру е^
присвоим вес, равный р = / — /\\ , где I *11 — евклидово расстояние. Однако данная величина не является инвариантной относительно масштабирования. Поэтому в качестве информации о расстоянии между признаками / и / будем рассматривать величину , вычисленную с использованием гауссовской весовой функции
^ = е р'2ар, в которой ар= тах {р } характеризует разброс гауссовской
функции. Отметим, что данная функция является ядром оператора Лапласа, дискретный аналог которого в виде матрицы Лапласа графа рассматривается далее.
Для добавления информации об «углах» введем дополнительную характеристику на ребрах, определяемую углом между векторами нормалей Щ и п.:
(Щ, п ) р0 = агссо8и--—
I п III п\
Таким образом, получим взвешенный граф = (V, УУ) • в котором множе-
ство >у содержит пары весов: УУ = {(мл., г (рис. 3).
Рис. 3. Признаки р;, щ , 5 и р , п], 5 . суперпикселей р и р, поставленные в соответствие вершинам V и V ■ и парный вес , р..) ребра
В дальнейшем для структурного описания объекта будет использоваться взвешенный граф ^ с его весовыми характеристиками.
Матрица Эрмита графа. В задачах сегментации и распознавания объектов в последнее время эффективно используется спектральное разложение матричных представлений графов, описывающих структуру объектов [19]. Спектральные разложения обладают рядом свойств, эффективных для распознавания: инвариантность к повороту и вращению объекта, масштабированию (при взвешенных значениях весов ребер), а также к нумерации вершин графа. В частности, для сопоставления объектов применяется подход на основе спектральных разложений матрицы Лапласа [19] графов со взвешенными ребрами. Способ ее построения состоит в следующем.
Рассмотрим «взвешенную» матрицу смежности Ж, в которой элемент щ равен весу ребра (V, V ■) и нулю в остальных случаях, а также диагональную матрицу Б = diag(d11,..., ^), где = ^ щ . Матрицей Лапласа называется матрица
]
Ь = Б — Ж. Элементы ^ матрицы Ь определяются следующим образом:
I.. =
V
~wiP O^v^ef
!>*' i=j
k^i
о, (v„v,)e£.
Графы с парными значениями весов ребер удобно задавать с помощью введенной в [18] матрицы Эрмита, которую можно рассматривать как комплексное расширение матрицы Лапласа. Данная матрица строится следующим образом. Если щ и р^ - введенные выше характеристики, то каждому ребру графа ставится в соответствие комплексное число
для смежных вершин (у.. ) е £. Отметим, что вещественная часть является нормированной величиной, поскольку щ е [0,1]. Мнимая часть может принимать значения в радианной мере из полуинтервала [0,2ж). Согласно определению эрмитовой матрицы ее элементы относительно главной диагонали должны быть антисимметричны. Значит, р = —( . Таким образом, Ъ представляет собой характеристику, описывающую возможные значения как значений взвешенного расстояния щ , так и углов между нормалями р .
Для того, чтобы матрица Эрмита была комплексным аналогом матрицы Лапласа с сохранением всех ее свойств, а также для выполнения условия диагонального преобладания Н в [18] в качестве диагональных элементов Ни предлагается брать суммы действительных частей Яе(^) = Щ,1 * ] :
К = Т Щ •
и 1]
1* ]
Заметим, что матрица Н представляется как разность Н = Б — Жс, где Б -введенная выше диагональная матрица, а IVе - взвешенная матрица смежности, элементы которой и,с = И = —\\\.е"р е С.
У У У
Итак, элементы матрицы Эрмита, как комплексного аналога матрицы Лапласа графа будут задаваться следующим образом:
hV =
i=J
k^i
0, (v(Jv,)iS.
Спектральное разложение. Как известно, в случае эрмитовых матриц можно построить ортонормированный базис, состоящий из вещественных неотрицательных собственных значений, которым соответствуют собственные векторы [18]. Пусть Л = , Я, • • •, ЛЛ где Л' А' • • •' \ ~ собственные значения эрмито-
вой матрицы Н , упорядоченные по невозрастанию, т.е. Яг-^Яг^ • • -г^Ян^О. Обозначим через V матрицу, состоящую из собственных векторов V = (уп,Уп,...,)т, заданных в соответствующем порядке. Тогда Н = Vк¥т . Введем теперь матрицу
С = V Л1/2 =
Таким образом, Н = ССт. Матрицу С будем называть спектральной матрицей.
Поскольку собственные значения, начиная с некоторого индекса, становятся близкими к нулю, то в дальнейшем для сопоставления графов будем использовать только первые к < П столбцов матрицы С:
Спектральная матрица С размерности пхк является комплекснозначной. Для дальнейшего сравнения необходимо разделить комплексную и мнимую части
С. Пусть 1'И и !•', - векторы, элементами которых являются действительные и мнимые части С. Векторы и зададим путем чередования действительных и мнимых значений матрицы С следующим образом:
Р — (С11 С1 с1 с1 с1 с1 с1 с1 с1 ^
Г1 4^11 > ^21' • • •' ^/¡15 ' 22' • • •' и2 5 • • • 5 • • • 5 ' 2к > • • • > ^пк ) '
где Су и Су ~ действительная и мнимая части элемента С.
Определим Р как вектор спектральных признаков рассматриваемого объекта:
Р = Р © Р,
который получен путем присоединения к вектору р элементов вектора р справа.
В результате описанной выше процедуры каждому из объектов ставится в соответствие признаковый вектор Р, который включает в себя вещественные и мнимые части спектрального разложения матрицы Эрмита. Очевидно, что полученный вектор Р является инвариантным к переносу, вращению и масштабированию объекта, а также к нумерации вершин соответствующего графа структуры.
Сравнение структур. Каждый из сравниваемых объектов характеризуется вектором собственных значений Я и вектором спектральных признаков Р (включающим в себя помимо собственных значений собственные векторы), вычисленных по соответствующим графам. Объекты сопоставляются путем вычисления различия соответствующих им векторами собственных значений и векторами спектральных признаков.
Вектор собственных значений. Пусть и и и - сравниваемые объекты, матрицы графов которых имеют наборы собственных значений Ли, лЛ^1,..., и Л^2, Л^2,..., Л[-. Количество «главных» собственных значений к подбирается экспериментально с ограничением ^шш!«,,^}, здесь /?,, - количества
вершин структурных графов, порождаемых объектами и и £/2 соответственно. Различие между и и £/2 на основе дескриптора собственных значений определяется по формуле:
д, (U1,U2) = |Х (Л1 -Ли2)2
Вектор спектрального разложения. В большинстве случаев сравниваемые объекты описываются графами с разным числом вершин. Это приводит к тому, что векторы и Г^2 для и и £/2 соответственно будут иметь разные длины
2кпх и 2кп2, где, как и раньше, п и п2 - количества вершин графа структуры первого и второго объектов, а к - количество «главных» собственных векторов. Поэтому для сравнения Г^1 и необходимо привести их к одинаковой длине. Пусть для определенности п > П. Поскольку элементы векторов Г^1 и
р 2 вещественные, то можно дополнить меньший вектор г 2 нулевыми элементами. Дополнение меньшего вектора нулями происходит путем добавления недостающих нулевых строк и столбцов матрицы Эрмита. Геометрически это означает добавление в граф структуры объекта £/2 изолированных вершин в количестве
П — п2. Если п > П , то аналогичным образом изменяется вектор . Будем
считать, что подобная «нормализация» по длине проведена и векторы и Г^2 имеют одинаковые размеры. Различие между этими векторами будем вычислять следующим образом:
Дс (и ) = — ри2 •
Алгоритм распознавания. Будем считать, что задача распознавания неизвестного (предъявляемого) объекта £/0, состоит в отнесении к одному из классов объектов в множестве Ы = {Ы1,Ы2,...,ЫК}, которое представляет собой базу объектов. Каждый из классов Ыа является множеством известных объектов Ы ={и = \,...,К. Предполагается, что все объекты из базы
1]а ъ, а = 1,..., К, Ъ = 1,..., | Ыа | уже описаны заранее вычисленными спектральными дескрипторами.
Распознавание £/0 выполняется следующим образом: вычисляются соответствующие дескрипторы Л и /' . которые затем сравниваются с дескрипторами объектов из базы Ы. На основе значений АЕ отсеиваются объекты, существенно отличающиеся по структуре. Далее спектральный дескриптор объекта £/0 сравнивается со спектральными дескрипторами оставшихся объектов из базы при помощи значений Дс . Рассмотрим подробнее каждый из этапов алгоритма распознавания.
1. Построение суперпикселей и графа структуры. Область сканирования в форме параллелепипеда, ограничивающая лазерные данные объекта £/0, покрывается сферами и точки, принадлежащие сферам, объединяются в суперпиксели методом, описанным в [17]. На основе соседства суперпикселей строится граф G, описывающий структуру объекта.
2. Построение матрицы Эрмита. Для каждого 1 -го суперпикселя объекта £/0, соответствующего 1 -й вершине G вычисляются три характеристики: медоида
р1, вектор нормали П1 , вектор измерений s1. Граф G преобразуется во взвешенный ^ путем присвоения парных весов ребрам, соединяющим каждую пару смежных вершин: угол между нормалями р. . и взвешенное расстояние щ ■ . Далее строится описанная выше матрица Эрмита Н .
3. Вычисление спектральных дескрипторов. Выполняется спектральное разложение H : вычисляется спектральная матрица C на основе собственных значений и векторов H. Матрица C разлагается в вектор спектральных характеристик ¥ с чередованием действительных и мнимых частей элементов C. Таким образом, и представляется следующими спектральными дескрипторами: вектором собственных значений к и вектором спектральных характеристик ¥ .
4. Распознавание. Вектор собственных значений для £/0 сравнивается с векторами собственных значений объектов из базы. Путем сравнения ДЕ с заданным пороговым значением £л выполняется предварительный отсев отличающихся объектов. Наконец, 17п назначается метка класса а, для которого значение Дс минимально среди оставшихся после отсева объектов:
а-Ас(и0,и,6) ДС(^0Д,Д
Эксперименты. Для проведения вычислительных экспериментов использовались выделенные при помощи алгоритма сегментации [17] объекты из разных сцен (рис. 4), в которых различна плотность и регулярность точек.
Рис. 4. Сцены сканирования, из которых сегментированы объекты (точки раскрашены согласно градации по высоте)
Данные также содержат значительное количество зашумлений и выбросов. Для каждого из объектов были вычислены алгебраические и спектральные дескрипторы, которые заносились в базу. Точки структурировались при помощи М-дерева [20] для ускорения вычисления суперпикселей. Каждый из объектов в базе аннотирован обозначениями: а - Ь , где а - метка класса, Ь - номер объекта в классе (рис. 5).
Рис. 5. Объекты в базе Ы. Каждый из объектов Ы ь <еЫ аннотирован парной
меткой a - Ь , где a - номер класса, Ь - порядковый номер объекта в этом
классе
Результаты сравнения каждого из объектов друг с другом в базе с использованием векторов собственных значений и векторов спектральных характеристик в базе демонстрируются на рис. 6 в форме гистограмм, яркости которых определяются значениями соответствующих расстояний. Гистограммы можно рассматривать как матрицы с индексами, соответствующими объектам и элементами, соответствующих значению результата сравнения. Вычисления проводились при фиксированном радиусе сфер г и значении параметра k, определяющего количество первых элементов из вектора собственных значений и первых столбцов спектральной матрицы. Вдоль диагоналей матриц Д£ и Дс можно заметить низкие
значения попарных сопоставлений внутри каждого из классов. На гистограммах это демонстрируется наличием темных квадратов вдоль диагоналей. Однако, в
матрице Дс темные квадраты лучше соответствуют границам класса, чем в ДЕ . Данное обстоятельство говорит о том, что использование Дс демонстрирует более точное распознавание, чем при использовании Д .
a б
Рис. 6. Гистограммы попарных сопоставлений объектов из базы, яркость
элементов которой соответствуют значениям ДЕ
ДЕ (a) и Дс (б)
Объективная оценка качества представленного метода распознавания основывалась на использовании трех критериев, вычисляемых по тестовой выборке на рис. 7, состоящих из неизвестных объектов, предъявляемых базе: Precision (точность), Recall (полнота), а также их среднее гармоническое, так называемая,
Fscore- мера.
ЯЙ «мм р f f I I
Рис. 7. Тестируемые объекты, предъявляемые базе U
Таблица 1
Значения критериев качества согласно используемым признакам
суперпикселей
1Яя
Признаки Precision Recall Fscore
p © 5, L 0.733 0.667 0.698
p © 5, n, H 0.8 0.720 0.756
В табл. 1 приведены значения соответствующих критериев зависимости от различных конфигураций признаков в суперпикселях. Для медоиды с вектором измерений р © Я вычисляется матрица Лапласа Ь так как в этом случае весами графа структуры объекта являются только числа ^^ (1 и ] — индексы смежных вершин графа структуры). Для медоиды с вектором измерений р © Я и вектором нормали П весами графа структуры объекта будут парные веса ^^ ). При
этом будет вычисляться матрица Эрмита Н . Согласно полученным значениям критериев качества можно заметить, что результат применения комплексной матрицы Эрмита Н с парными весами для ребер (^, Рц ) значительно превосходит
по качеству результат при использовании матриц Лапласа Ь с весами .
Таблица 2
Значения критериев качества согласно используемым дескрипторам
Признаки Precision Recall Fscore
только Л 0.533 0.633 0.578
только F 0.8 0.720 0.756
Отбор с Ли распознавание с F 0.8 0.850 0.825
В табл. 2 приведены значения соответствующих критериев качества в зависимости от использования отдельно вектора собственных значений Я, отдельно вектора спектральных признаков р и с предварительным отсеиванием значительно отличающихся объектов при помощи Я и с последующим распознаванием с ¥ . Количество собственных значений и соответствующим им собственным векторам к для всех объектов было фиксировано и выбиралось не больше минимального количества вершин среди всех объектов. Эффективность предложенного метода распознавания, использующем комбинацию спектральных признаков Я и
F подтверждается более высокими значениями соответствующих критериев качества Precision, Recall и Fscore. Кроме того, при сравнении Precision и Recall для вектора спектральных распределений F со значениями для Я и F значения критерия Recall заметно увеличиваются по сравнению с практически неизменными значениями Precision. Это говорит о том, что при использовании отсева при помощи вектора собственных значений увеличивается доля верно определенных классификатором объектов относительно всех объектов в тестовой выборке.
Заключение. Таким образом, в исследовании предложен новый метод распознавания объектов по данным лазерного сканирования, основанный на спектральной теории графов. Были введены три признака для суперпикселей, на основе которых присваивались парные веса ребрам графа структуры объектов. Для получения спектрального разложения строился комплекснозначный аналог матрицы Лапласа графа в виде матрицы Эрмита. Согласно результатам экспериментов предложенный метод с использованием комплексных значений матрицы Эрмита значительно превосходит традиционный подход с использованием действительнозначной матрицы Лапласа. Кроме того, предварительный отбор объектов с использованием вектора собственных значений и дальнейшее распознавание на основе вектора спектральных разложений также позволяет повысить качество распознавания.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Conte D., Foggia, P., Sansone C., Vento M. Thirty years of graph matching in pattern recognition, International journal ofpattern recognition and artificial intelligence, 2004, Vol. 18 (3), pp. 265-298.
2. Cho M., Alahari K., Ponce J. Learning graphs to match, in IEEE Interational Conference on Computer Vision (ICCV), 2013, pp. 25-32.
3. Osada R., Funkhouser T., Chazelle B., Dobkin D. Matching 3D models with shape distributions, Proceedings International Conference on Shape Modeling and Applications, Genova, Italy, 2001, pp. 154-166.
4. Elad M., Tal A., Ar S. Content based retrieval of vrml objects - an iterative and interactive approach, Proceedings Sixth Eurographics Workshop Multimedia, 2001, pp. 97-108.
5. Vranic D.V., Saupe D., Richter J. Tools for 3d-object retrieval: Karhunen-loeve transformand spherical harmonics, IEEEMMSP 2001, 2001, pp. 293-298.
6. Brigham E.O., Morrow R.E. The fast Fourier transform, in IEEE Spectrum, 1967, Vol. 4 (12), pp. 63-70.
7. Tanaka K., Sano M., Mukawa N., Kanek H. 3D object representation using spherical harmonic functions, Proceedings of1993 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS '93), Yokohama, Japan, 1993, Vol. 3, pp. 1873-1880.
8. Sundar, H., Silver, D., Gagvani N., Dickinson, S. Skeleton based shape matching and retrieval, 2003 Shape Modeling International, Seoul, South Korea, 2003, pp. 130-139.
9. Feng C., Jalba A.C., Telea A.C. A descriptor for voxel shapes based on the skeleton cut space, Proceedings of the Eurographics 2016 Workshop on 3D Object Retrieval, 2016, Vol. 8 (8), pp. 13-20.
10. Chuang J., Tsai C., Ko M. Skeletonization of three-dimensional object using generalized potential field, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, Vol. 22 (11), pp. 1241-1251.
11. Chung F.R.K. Spectral graph theory, American Mathematical Society, 1997.
12. Varun J., Zhang H.A spectral approach to shape-based retrieval of articulated 3D models, Computer-Aided Design, 2007, Vol. 39 (5), pp.398-407.
13. Yang L. k-edge connected neighborhood graph for geodesic distance estimation and nonlinear data projection, Proceedings of International Conference on Pattern Recognition(ICPR), 2004, Vol. 1, pp.196-199.
14. Surazhsky V., Surazhsky T., Kirsanov D. Gortler S.J., Hoppe H. Fast exact and approximate geodesics on meshes, ACM Transactions on Graphics (TOG), 2005, Vol. 24, pp. 553-560.
15. Ng A.Y., Jordan M.I., Weiss Y. On spectral clustering: analysis and an algorithm, Proceedings of Neural Information Processing Systems (NIPS). 2002. Vol. 2 (3). pp. 857-864.
16. Caelli T., Kosinov S. An eigenspace projection clustering method for inexact graph matching, IEEE Transaction on Pattern Analysis and Machine Intelligence, 2004, Vol. 26 (4), pp. 515-519.
17. Levashev S. Segmentation of a point cloud by data on laser scanning intensities, Pattern Recognition and Image Analysis, 2019, Vol. 29 (1), pp. 144-155.
18. van Leuken R.H., Symonova O., Veltkamp R.C., De Amicis R. Complex Fiedler Vectors for Shape Retrieval, Structural, Syntactic, and Statistical Pattern Recognition, 2008, Vol. 5342, pp. 167-176.
19. Tsourakakis C.E. Fast counting of triangles in large real networks without counting: Algorithms and laws, IEEE International Conference on Data Mining (ICDM 2008), 2008, Vol. 0, pp. 608-617.
20. Bentley J.M. Multidimensional binary search trees used for associative searching, Communication of the ACM, 1975, Vol. 18, pp. 509-517.
Статью рекомендовал к опубликованию д.ф.-м.н., профессор Г.В. Куповых.
Каркищенко Александр Николаевич - Южный федеральный университет; e-mail: karkishalex@gmail.com; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 89034610539; кафедра высшей математики; профессор.
Левашев Сергей Петрович - e-mail: serzh.levashev@yandex.ru; 347928, г. Таганрог, ул. Чехова, 22; тел.: 89281997778; аспирант.
Karkischenko Aleksandr Nikolaevich - Southern Federal University; e-mail: karkishalex@gmail.com; 44? Nekrasovskiy, Taganrog, 347928, Russia; phone: +79034610539; the department of higher mathematic; professor.
Levashev Sergey Petrovich - e-mail: serzh.levashev@yandex.ru; 22, Chekhova street, Taganrog, 347928, Russia; phone: +79281997778; graduate student.
УДК 004.021 Б01 10.23683/2311-3103-2019-3-85-96
В.М. Глушань, А.В. Зубрицкий
ПРИМЕНЕНИЕ ПОЛНОГО И ЧАСТИЧНОГО ПЕРЕБОРА ДЛЯ РЕШЕНИЯ МАЛОРАЗМЕРНЫХ КОМБИНАТОРНЫХ ЗАДАЧ*
В настоящее время известно много комбинаторных задач, оптимальное решение которых теоретически можно найти, используя метод полного перебора. Однако количество решений таких задач экспоненциально увеличивается с ростом размерности задачи. Это исключает возможность быстрого нахождения оптимального решения методом полного перебора даже для задач среднего размера. Среди комбинаторных задач имеются и малоразмерные задачи. Это такие задачи, множество элементов в которых составляет несколько десятков. К таким задачам можно отнести задачи о назначениях и рюкзаке, а также задачу формирования турнирных таблиц. Быстрое совершенствование компьютерных технологий позволяет решать некоторые малоразмерные комбинаторные задачи в режиме реального времени. В статье рассматривается несколько подходов оптимального формирования турнирных таблиц, являющихся результатом жеребьевки. Важное значение это имеет для тех видов спорта, в которых принимает участие относительно большое количество игроков из разных регионов. В этих случаях цель жеребьевки состоит в том, чтобы рассеять игроков по разным группам так, чтобы все группы имели примерно одинаковый суммарный рейтинг и региональный фактор. При таком условии задача становится двухкритериальной. Если число участников находится в пределах двух десятков, то задачу
еще можно решать полным перебором за приемлемое время. При числе участников турни-
*
Работа выполнена при поддержке РФФИ (проект № 18-01-00041).
