CC BY
24УДК 004.932.2 DOI: 10.12737/22120
В.В. Колякин, В.И. Аверченков, М.В.Терехов
МЕТОДЫ ОЦЕНКИ ПАРАМЕТРОВ МОДЕЛЕЙ ДЛЯ РЕШЕНИЯ ЗАДАЧИ ТРЕХМЕРНОЙ РЕКОНСТРУКЦИИ СЛОЖНЫХ МОДЕЛЕЙ РЕАЛЬНЫХ ОБЪЕКТОВ
Проведен обзор текущего состояния методов оценки параметров моделей. Проанализированы различные подходы к оценке параметров моделей. Проведен обзор методов оценки на основе схем голосования и оценочных функций.Проведен анализ устойчивых к выбросам и шумам методов.Рассмотрены модификации метода на основе схем голосования и дано краткое описание и отли-
чия данных модификаций. Классифицированы методы оценки параметров моделей на основе случайных выборок.
Ключевые слова: характеристические точки, параметры моделей, метод голосования Хафа, М-оценочная функция, выбросы на изображениях, метод наименьших квадратов, RANSAC, AVLESAC, MLESAC, M - SAC, MAPSAC, R - RANSAC, ARSAC.
V.V. Kolyakin, V.I. Averchenkov, M.V. Terekhov
METHODS FOR MODELS PARAMETERS ESTIMATE TO SOLVE PROBLEMS ON 3D RECONSTRUCTION OF REAL OBJECTS COMPLEX MODELS
Virtual three-dimensional (3 D) models of complex objects are used in many fields of science and engineering, such as architecture, industry, medicine, robotics. Besides, 3D models are used in geo-information systems, computer games, virtual and supplemented reality and so on.
Three dimensional models can be formed in different ways, one of which consists in 3 D reconstruction. One of the stages of the 3 D reconstruction of complex models of real objects is a definition of the mathematical models of geometric primitives emphasized on the image. One of the ways for the estimate of
model parameters is a method of Hough vote and its modifications - Hough probabilistic transformation, Hough random transformation, Hough hierarchical transformation, phase space blurriness, use of a gradient of image brightness and so on.
As an alternative way for models selection is a choice of suitable points from a set of data.
Key words: characteristic points, models parameters, Hough vote method, M-estimate function, outputs on images, least-squares method, RANSAC, AVLESAC, MLESAC, M - SAC, MAPSAC, R - RANSAC, ARSAC.
Введение
Виртуальные трехмерные модели сложных объектов используются во многих областях науки и техники, таких как архитектура, промышленность, медицина, робототехника. Кроме того, трехмерные модели используются в геоинформационных системах, компьютерных играх, виртуальной и дополненной реальности и т.д. [1 - 3].
Трехмерное моделирование в медицине применяется для построения моделей частей тела и органов[1].Построение трехмерных моделей объектов архитектуры позволяет предоставлять подробную информацию о них даже после потери самих объектов [2]. Трехмерное моделирование в промышленности применяется для постро-
ения моделей сложных технических объектов [3].В робототехнике актуальна задача использования трехмерных виртуальных моделей реальных объектов, а также трехмерных моделей сцен - интерьеров, объектов, анализируемых роботом, и т.д. [4].Трехмерные модели в геоинформационных системах позволяют рассматривать и анализировать объекты в реальной взаимосвязи с окружающей средой [3].В технологии виртуальной реальностиисполь-зуются как трехмерные модели объектов, так и трехмерные модели окружающей обстановки. В дополненной реальности реальная обстановка дополняется виртуальными объектами [4].Системы трехмерной реконструкции сложных моделей реаль-
ных объектов могут использоваться также в СЛО/СЛМ/СЛЕ - системах и при разработке трехмерных моделей для средств быстрогопрототипирования [1 - 4].
Как показал анализ ранее выполненных работ [5; 10;17; 19], в большинстве случаев процесс трехмерной реконструкции моделей реальных объектов состоит из следующих этапов:
1) поиск особенностей на изображениях;
2) установление соответствий между найденными особенностями на различных изображениях;
3) непосредственно реконструкция;
4) построение трехмерной модели.
Процесс нахождения точечных особенностей на изображении является одной из основных проблем компьютерного зрения. Так как установить соответствие для всех пикселей нескольких изображений практически невозможно, используются точечные особенности изображений [18]. Реконструкция включает в себя вычисление координат характеристических точек в единой системе координат. Трехмерная модель строится по вычисленным координатам.
Практически на любом исходном изображении можно выделить характерные точки. Если же изображений несколько, то можно попытаться определить, есть ли на них общие особые точки. Если некоторое количество общих особых точек найдено, то можно более полно описать сцену. Под сценой понимается совокупность реальных объектов и окружающей обстановки. Чем больше изображений, тем
эффективнее поиск характерных точек. Например, можно найти точки одного объекта на изображениях, полученных с разных ракурсов. Это поможет определить, как переместились особые точки по сравнению с предыдущим кадром [8].
Исходя из того, что изображения являются набором значений функции /(х,у), особые точки - набор значений этих функций, которые должны совпадать с некоторой погрешностью. Поэтому когда производится сопоставление нескольких изображений одной и той же сцены, происходит поиск преобразований, которые переводят одну функцию в другую [8].
Общий алгоритм поиска преобразования между двумя изображениями на основе особых точек имеет следующие шаги:
• нахождение особых точек;
• вычисление дескрипторов особых точек;
• сопоставление точек по дескрипторам;
• вычисление модели преобразования по полученным сопоставлениям.
Для описания объекта сцены не всегда необходима вся информация о цвете и текстуре. Исходя из этого, любое изображение можно представить в виде набора простых моделей, таких как линии, окружности и т. д.
Простые модели, в свою очередь, можно составлять из набора особых точек. Существует целое семейство задач, связанных с параметрами моделей на основе особых точек (подгонка модели) [20].
Методы оценки, построенные на схемах I
Одним из способов кластеризации точек, которые могут принадлежать одной геометрической структуре, является запись всех структур, которым принадлежит рассматриваемая точка, и дальнейший выбор структуры, получившейнаибольшее количество голосов. Данный метод называется преобразованием Хафа [6] и относится к схемам голосования.
Общий алгоритм преобразования Хафа состоит из нескольких шагов. Снача-
ла берется каждый элемент изображения и определяются все геометрические структуры, которые могут проходить через рассматриваемый элемент. Полученный набор структур сохраняется, и процесс повторяется для следующего элемента. Решение принимается по мажоритарному принципу [5].
Преобразование Хафа представляет наиболее удачные результаты при поиске линий (рис. 1).
Рис.1. Фазовое пространство и результат применения преобразования Хафа
Обычная параметризация прямой как набора точек (x, y) описывается выражением
x cos в + y sinq + r = 0, где каждая пара (в, r) представляет прямую, а r > 0- кратчайшее расстояние от прямой до начала координат. Набор пар( в, r )называется пространством прямой, представляющим семейство прямых, проходящих через любой точечный токен. Токен в данном случае представляет собой точечную особенность, или особую точку (англ. Point of interest), т.е. точку, изображение которой можно отличить от изображений соседних с ней точек. Линии, представляющие интерес, формируют ограниченное подмножество плоскости, которую можно дискретизовать с помо-
щью сетки [6]. Элементы сетки рассматриваются как урны, в которые помещаются голоса. Данная сетка называется аккумуляторным массивом[5]. Каждый точечный токен добавляет голос каждому элементу сетки, лежащему на кривой, соответствующей этому токену.
Для увеличения эффективности метода могут применяться его модификации
[7]:
• вероятностное преобразование Ха-
фа;
• случайное преобразование Хафа;
• иерархическое преобразование Ха-
фа;
• размытие фазового пространства;
• использование градиента яркости изображения.
Неустойчивые методы оценки параметров
Другой метод подбора - подбор по схеме наименьших квадратов [5]. Анализ с помощью схемы наименьших квадратов является достаточно простым, но для него характерна систематическая ошибка.
Уравнение прямой представляет собой выражение
y = kx + b .
Когда в каждой информационной точке меняются (xi, yi), задачей является выбор прямой, наилучшим образом предсказывающей координату y для каждой координаты x. Это означает, что происходит выбор линии, минимизирующей величину:
X(уi -kxt -b)2 ® min.
i
Несмотря на простоту получения решения, в области компьютерного зрения данная модель практически не использует-
ся, так как ошибки измерений зависят от системы координат. В данном случае вертикальные отклонения от прямой будут считаться ошибками, и, следовательно, почти все вертикальные линии будут давать болыпие ошибки (рис. 2).
Рис. 2. Ошибки по координате y в схеме наименьших квадратов
Подбор кривых аналогичен подбору прямых, за исключением того, что минимизируется сумма квадратов расстояний между точками и кривой. Данную задачу также можно решать, используя аппроксимации [5].
Кроме того, существуют такие методы, как метод ^-средних и метод последовательных приближений.
Суть метода последовательных приближений состоит в корректировке прямой в зависимости от положения точек в исходных данных. Сначала прямая проводится через две соседние точки. Далее производится итерационный процесс, при котором на каждом шаге проверяется следующая соседняя точка. Если следующая точка лежит близко к проведенной прямой, то прямая корректируется с учетом этой точки. В противном случае точка считается принадлежащей другой прямой [4; 5].Пример подбора прямой показан на рис. 3.
В методе k -средних минимизация проводится как по параметрам прямых, так
и по набору точек, из которых составляется прямая. Алгоритм метода состоит из двух итерационных шагов:
1) к прямой приписывается каждая точка, которая имеет наименьшее расстояние от данной прямой;
2) чтобы наилучшим образом аппроксимировать точки, модифицируются параметры рассматриваемых прямых [5; 16].
Рис. 3. Пример подбора прямой методом последовательных приближений
Устойчивые методы оценки параметров
В случае большого количества выбросов производится либо улучшение модели, либо построение явной модели посторонних значений. Другой подход - поиск точек, кажущихся подходящими. Рассмотрим наиболее эффективные методы решения данной задачи. Метод оценки на основе оценочных функций
Наилучшей оценочной функцией может являться та функция, что ведет себя наилучшим образом при наихудшем распределении, близком к параметрической модели [1]. Этот критерий можно исполь-
зовать для получения большого числа оценочных функций.
М-оценочная функция оценивает параметры, минимизируя выражение:
Y P(r/x, в); s) ® min ,
i
где в - параметры модели, к которой выполняется подбор, а p(ri (,в) - остаточная ошибка по i -й точке.
Для наглядности алгоритма использования М-оценки для подбора вероятностной модели была разработана блок-схема, представленная на рис. 4.
параметры модели
Используются параметры модели
В качестве критерия используется медиана остатков
Рис. 4. Алгоритм использования М-оценки для подбора вероятностной модели
Однако получение минимума функции является достаточно сложной задачей. Методы оценки на основе случайных выборок
Альтернативным способом подбора моделей является выбор подходящих точек из набора данных [18]. Это производится с помощью итеративного процесса: сначала выбирается небольшое подмножество исходного набора точек, подбирается объект, а затем исследуется, сколько других точек согласуется с полученным объектом [5]. Процесс повторяется до тех пор, пока полученная структура с определенной вероятностью не будет искомой.
Исходные данные можно разделить на два типа:
• точки, удовлетворяющие модели, «инлаеры» (англ. ш^г );
Используется
принцип максимального правдоподобия
• ложные точки, шумы, выбросы, или «аутлаеры» (англ. outlier).
Набор данных, в который надо вписать прямую, представлен на рис. 5. Выбросы присутствуют в большом количестве и на рисунке выделены более темным цветом.
Рис. 5. Исходный набор данных
Если пары точек выбирать случайно и равномерно, то около 25% выбранных пар точек не будут содержать выбросов.
В качестве метода подбора моделей геометрических примитивов был проанализирован метод RANSAC . RANSAC (RANdom SAmple Consensus) -стабильный метод оценки параметров модели на основе случайных выборок. Схема RANSAC устойчива к зашумлённости исходных данных. Метод был предложен в 1981 году Фишлером и Боллесом [9].Для наглядности алгоритма исходного метода была разработана блок-схема, представленная на рис.7.
Выборками в алгоритме являются точки, равномерно извлекаемые из набора данных. Каждая выборка содержит минимальное число точек для подбора объекта. В частности, для подбора прямой достаточно двух точек.
Метод RANSAC берёт за основу только две точки, необходимые для построения прямой, и с их помощью строит модель, после чего проверяет, какое количество точек соответствует модели, используя функцию оценки с заданным порогом [10].
Предложенная алгоритмом RANSAC на основе исходных данных прямая представлена на рис. 6, из которого видно, что выбросы не влияют на подбор объекта.
Рис. 6. Прямая, предложенная алгоритмом RANSAC на основе исходных данных
Преимуществом алгоритма RANSAC является его способность дать надёжную оценку параметров модели.
Несмотря на преимущества алгоритма для оценки параметров, он обладает и существенными недостатками [10; 11; 13]:
• У метода RANSAC отсутствует верхняя граница времени, необходимого для вычисления параметров модели.
• Для выполнения алгоритма необходимо задать конкретное пороговое значение.
• Методом RANSAC можно определить только одну модель для определённого набора данных. В случае когда в исходных данных присутствует более одной модели, RANSAC может не найти ни одну.
Для решения проблем, связанных с использованием метода RANSAC , на данный момент разработано большое количество производных методов, либо исправляющих недостатки исходного метода, либо разработанных для решения конкретных задач [8].
По научно-исследовательским целям семейство методов, основанных на методе RANSAC , может быть классифицировано по таким характеристикам, как [12 - 15]:
• скорость работы метода;
• точность метода;
• надежность метода.
Все больше увеличивающееся количество сфер применения алгоритмов оценки параметров моделей геометрических примитивовпорождает большое разнообразие методов, производных от RANSAC .
Общая схема выбора рассматриваемых методов представлена на рис. 8.
наименьшее число требуемых точек к - число требуемых итераций
I — порог, используемый для определения подходящих точек с! - число соседних точек, необходимых для заявления об удачном выборе модели
Рис.7. Метод оценки параметров модели на основе случайных выборок RANSAC
Рис.8. Общая схема выбора рассматриваемых методов
Данная схема позволяет выбрать уже имеющийся метод или определить направление разработки нового.
Заключение
В настоящий момент трехмерная реконструкция сложных моделей, находящаяся на стыке таких областей, как обработка изображений, компьютерная графика и искусственный интеллект, используется во многих областях науки и техники (архитектура, промышленность, медицина, робототехника, компьютерные игры, виртуальная и дополненная реальности и т. д.).
Одним из этапов трехмерной реконструкции является подбор моделей, подгоняемых к набору характеристических точек.
Исходя из того, что в исходных данных существует множество шумов и выбросов, неустойчивые методы часто дают неверные результаты. Поэтому чаще всего используются методы, основанные на схемах голосования, и устойчивые методы, основанные на оценочных функциях и случайных выборках. Эти методы, из-за присущих им недостатков, имеют также большое число производных методов. Это позволяет решать задачу нахождения параметров моделей, используя различные методы.
За прошедшее с момента появления RANSAC время было предложено большое количество методов, исправляющих такие недостатки базового алгоритма, как малая вероятность выборки без шумов и выбросов, неточная оценка гипотез и высокая вероятность построения неподходящей модели. Самым эффективным путем решения этих проблем является использование априорной информации об исходных данных.
В работе были проанализированы различные методы нахождения параметров моделей геометрических примитивов. Были рассмотрены методы оценки, построенные на схемах голосования, проанализированы модификации данных методов. Также были рассмотрены неустойчивые методы оценки. Кроме того, был проведен анализ устойчивых методов оценки парамет-
СПИСОК ЛИТЕРАТУРЫ
1. Иванов, В.П. Трёхмерная компьютерная графика / В.П.Иванов, А.С. Батраков;под ред. Г.М. Полищука. - М., 2011. - 224 с.
2. Драгомиров, Д. Ю. Компьютерная трехмерная реконструкция памятников архитектуры / Д.Ю. Драгомиров // Вестник УдмГУ. -2006. - №12.
3. Ли, Дж. Трёхмерная графика и анимация / Дж. Ли, Б. Уэр. - 2-еизд. -М.: Вильямс, 2002. - 640 с.
4. Davies, E. R. Machine Vision : Theory, Algorithms, Practicalities/ E. R. Davies. - Morgan Kaufmann, 2004.
5. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. - 2ed. - 2012. -792 p.
6. P.V.C. Hough, A method and means for recognizing complex patterns: US patente 3069654. - 1962.
7. Дегтярева, А. Преобразование Хафа (Hough transform) / А. Дегтярева, В.Вежневец //Компьютерная графика и мультимедиа. - 2003. -Вып. №1(2).
8. Hartley, R. Multiple View Geometry in Computer Vision / R. Hartley, A. Zisserman. - 2d. - Cambridge University Press, 2003.
9. Fischler, M. A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / M.A. Fischler, R.C. Bolles // Comm. Of the ACM 24. - 1981. - Р. 381-395.
10. Chum, О. Two-View Geometry Estimation by Random Sample and Consensus / O. Chum // PhD Thesis. - 2005.
11. Huber, P.J. Robust Statistics / P.J. Huber. - John Wiley and Sons, 1981.
ров моделей. Проанализированы различные модификации метода оценки на основе случайных выбороки проведено сравнение данных методов.
Основным направлением дальнейшего развития алгоритмов оценки параметров моделей на основе случайных выборок является поиск эффективных методов оценки априорной информации о выбросах в исходных данных. Кроме того, в настоящий момент все еще не решена окончательно проблема работы алгоритмов в реальном времени при условиях точности и надежности разрабатываемых методов.
Целью дальнейших исследований является разработка метода, превосходящего большинство рассмотренных по скорости работы и качеству получаемых результатов.
12. Choi, S. Performance Evaluation of RANSAC Family / S. Choi, T. Kim, W. Yu. - 2009.
13. Capel, D. An effective bail-out test for RANSAC consensus scoring / D. Capel // In Proceedings of the British Machine Vision Conference (BMVC). -2005.
14. Choi, S. Robust regression to varying data distribution and its application to landmark-based localization / S. Choi, Jong-Hwan Kim // In Proceedings of the IEEE Conference on Systems, Man and Cybernetics. - 2008.
15. Chum, O. Randomized RANSAC with Td,d test. / O. Chum, JMatas // In Preceedings of the 13th British Machine Vision Conference (BMVC). -2002. - Р. 448-457.
16. Конушин, А. Обзор робастных схем оценки параметров моделей на основе случайных выборок / А.Конушин, К.Мариничев, В.Вежневец // Труды конференции GraphiCon-2004. — 2004. — С. 275-278.
17. Жук, Д. В. Реконструкция трехмерной модели по двум цифровым изображениям / Д. В.Жук, А. В. Тузиков // Информатика.- 2006. -№ 1. - С. 16-26.
18. Veksler, O. Stereo correspondence by dynamic programming on a tree / O. Veksler // Proc. CVPR. - 2005. -Vol. 2. - P. 384-390.
19. Rusinkiewicz, S. QSplat: a multiresolution point rendering system for large meshes / S.Rusinkiewicz, M.Levoy //In Siggraph ACM. -New York,. - 2000. - Р. 343-352.
20. Konouchine, A. AMLESAC: A New Maximum Likelihood Robust Estimator / A.Konouchine, V.Gaganov, V.Veznevets // Graphicon 2005 proceedings.
1. Ivanov, V.P. 3D Computer Graphics / V.P. Ivanov, A.S. Batrakov; under the editorship of G.M. Polishchuk. - M., 2011. - pp. 224.
2. Dragomirov, D. Yu. 3D computer reconstruction of architecture monuments / D.Yu. Dragomirov // Bulletin of UdmSU. -2006. - .№12.
3. Lee, J. 3D Graphics and Animation / J. Lee, B. Wer. - 2-d Ed. -M.: Williams, 2002. - pp. 640.
4. Davies, E. R. Machine Vision : Theory, Algorithms, Practicalities/ E. R. Davies. - Morgan Kaufmann, 2004.
5. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce. - 2ed. - 2012. -792 p.
6. P.V.C. Hough, A method and means for recognizing complex patterns: US patente 3069654. - 1962.
7. Degtyaryova, A. Hough transform / A. Degt-yaryova, V. Verzhnevets//Computer Graphics and Multimedia. - 2003. - Issue. .№1(2).
8. Hartley, R. Multiple View Geometry in Computer Vision / R. Hartley, A. Zisserman. - 2d. - Cambridge University Press, 2003.
9. Fischler, M. A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / M.A. Fischler, R.C. Bolles // Comm. Of the ACM 24. - 1981. - P. 381-395.
10.Chum, O. Two-View Geometry Estimation by Random Sample and Consensus / O. Chum // PhD Thesis. - 2005.
11. Huber, P.J. Robust Statistics / P.J. Huber. - John Wiley and Sons, 1981.
12. Choi, S. Performance Evaluation of RANSAC Family / S. Choi, T. Kim, W. Yu. - 2009.
13. Capel, D. An effective bail-out test for RANSAC consensus scoring / D. Capel // In Proceedings of the British Machine Vision Conference (BMVC). -
2005.
14. Choi, S. Robust regression to varying data distribution and its application to landmark-based localization / S. Choi, Jong-Hwan Kim // In Proceedings of the IEEE Conference on Systems, Man and Cybernetics. - 2008.
15. 15.Chum, O. Randomized RANSAC with Td,d test. / O. Chum, JMatas // In Proceedings of the 13th British Machine Vision Conference (BMVC). -2002. - P. 448-457.
16. Konushin, A. Review of robust schemes of models parameters estimate based on random samplings / A .Konushin, K. Marinichev, V. Verzhnevets // Proceedings of the Conf. GraphiCon-2004. — 2004. — pp. 275-278.
17. Zhuk, D.V. 3D model reconstruction on two digital images / D.V. Zhuk, A. V. Tuzikov // Informatics.-
2006. -№ 1. - pp. 16-26.
18. Veksler, O. Stereo correspondence by dynamic programming on a tree / O. Veksler // Proc. CVPR. - 2005. -Vol. 2. - P. 384-390.
19. Rusinkiewicz, S. QSplat: a multiresolution point rendering system for large meshes / S.Rusinkiewicz, M.Levoy //In Siggraph ACM. -New York,. - 2000. - P. 343-352.
20. Konouchine, A. AMLESAC: A New Maximum Likelihood Robust Estimator / A.Konouchine, V.Gaganov, V.Veznevets // Graphicon 2005 proceedings.
Сведения об авторах:
Колякин Владислав Валерьевич, аспирант Брянского государственного технического университета, e-mail: vladlsl avkol9 3 @mail. ru. Аверченков Владимир Иванович, д.т.н., профес -сор Брянского государственного технического уни -верситета, е-mall:aver@tu-bry ansk.ru. Терехов Максим Владимирович, к.т.н., доцент Брянского государственного технического университета, е-mail: [email protected].
Статья поступила в редколлегию 11.07.2016.
Рецензент: д.т.н., профессор Куликов М.Ю.
Kolyakin Vladislav Valerievich, Post graduate student of Bryansk State Technical University, e-mail: [email protected].
Averchenkov Vladimir Pavlovich, D.Eng., Prof. of Bryansk State Technical University, e-mail:[email protected].
Terekhov Maxim Vladimirovich, Can.Eng., Assistant Prof. of Bryansk State Technical University, e-mail: [email protected].
