CC BY
38
МЕТОД СОГЛАСОВАННОЙ ИДЕНТИФИКАЦИИ В ЗАДАЧЕ ОПРЕДЕЛЕНИЯ СООТВЕТСТВЕННЫХ ТОЧЕК НА ИЗОБРАЖЕНИЯХ
Гошин Е.В., Фурсов В. А.
Институт систем обработки изображений Российской академии наук, Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет)
Аннотация
В работе рассматривается задача трансформации изображений, заключающаяся в формировании строк соответственных точек на изображениях с использованием фундаментальной матрицы, формируемой по небольшому числу заданных соответственных точек. Для нахождения фундаментальной матрицы предлагается новый подход, основанный на согласованной идентификации. Приводятся результаты исследования эффективности применения этого метода к рассматриваемой задаче, по сравнению с наиболее эффективным из известных алгоритмов — КАМБАС.
Ключевые слова: стереоизображения, согласованная идентификация, фундаментальная матрица, КАМБАС, ректификация, эпиполярная геометрия, проективная геометрия.
Введение
Задача трансформации изображений, заключающаяся в формировании строк соответственных точек на изображениях, является одной из распространённых и востребованных задач обработай изображений. Эта проблема является актуальной в задачах построения цифровой модели рельефа (ЦМР), нахождения ключевых точек для формирования НСЮ-дескрипторов в задаче распознавания и др.
Для построения преобразований используется так называемая фундаментальная матрица [1], [2], формируемая по небольшому числу заданных соответственных точек. Для нахождения фундаментальной матрицы обычно используется алгоритм КАМБАС [3], [4]. При использовании этого алгоритма ищется единственный набор данных, наилучшим образом соответствующих модели в заданном смысле.
Популярность этого алгоритма связана с его высокой устойчивостью к грубым ошибкам типа сбоев. На сегодняшний день он признаётся одним из наиболее эффективных в условиях сильного зашумле-ния исходных данных. Тем не менее построение модели лишь на одном наборе данных иногда приводит к грубым ошибкам в определении модели.
В настоящей работе предлагается новый подход к определению параметров моделей в условиях сильной зашумлённости, основанный на согласованной идентификации [5]. Идея метода состоит в определении модели по некоторому подмножеству наиболее согласованных данных. В работе рассматривается применение этого метода к задаче определения фундаментальной матрицы. Приводятся результаты исследования эффективности применения этого метода по сравнению с алгоритмом КАМБАС.
1. Формулировка задачи построения фундаментальной матрицы
Рассмотрим общую задачу восстановления сцены по двум видам. Эта задача решается в рамках эпиполярной геометрии — проективной геометрии между двумя изображениями.
Пусть имеются две камеры с центрами проекций в точках О и 0\ плоскости проекций П и П' этих камер и некоторая точка Р в пространстве (рис. 1).
Рис. 1. Модель эпиполярной геометрии Точки е и е', пересечения линии 00' с плоскостями П и П', называются эпиполюсами, а линии / и Г пересечения плоскости 00'Р с плоскостями П и П' — эпиполярными линиями для точки Р. Точки на двух изображениях, которые являются проекциями одной и той же точки сцены, называются соответственными.
Соответственные точки на двух проекциях связаны фундаментальной ЗхЗ-матрицей в частности, для соответственных точек, координаты которых заданы 3x1 -векторами х,х':
и V"
X = V V'
1 1
выполняется условие
(х')7>х = 0, (1)
>п Рп Рп
где ^ = ^21 Р22 Р2Ъ
РЪ2 Ръъ.
Для одной пары заданных соответственных точек соотношение (1) является линейным однородным уравнением относительно коэффициентов
Р^], /,7=1,3 фундаментальной матрицы.
Для N пар 8) соответственных точек, полагая во всех соотношениях /^3 = 1, можно записать систему N неоднородных линейных уравнений [6] вида
У = Хс + ^, (2)
где с — вектор искомых параметров, составленный из коэффициентов фундаментальной матрицы Т7:
лТ
С2»
с = [си
= Hi Fv,
> <*] =
Ft
['ll J'12 ^13 F2\ j'23 j'31
a Nx 8 -матрица X и Nx 8 -векторы у и % определяются как
щщ
и2и2 uwu
m.
M2v2
NUN UNVN
«1
u2 %
Vl«l V2M2
v„M
VlVi v2v2
'NUN VNVN
Vl
«1 И,
Vl V,
N.
"-1" V
-1
У = , % =
-1
Здесь i>2,---,i>N - ошибки, связанные с неточным заданием координат соответственных точек.
Оценку с вектора с, составленного из элементов фундаментальной матрицы, можно получить применяя метод наименьших квадратов (МНК). Поскольку МНК чувствителен к грубым ошибкам, которые могут иметь место при задании соответственных точек, обычно применяют алгоритм RANSAC.
Как уже отмечалось выше, алгоритм RANSAC, обладая несомненно высокой точностью, в ряде случаев оказывается недостаточно надёжным, т.к. для построения модели используется единственный набор данных. В настоящей работе исследуется возможность повышения надёжности оценок за счёт применения метода согласованной идентификации как альтернативы RANSAC.
2. Описание алгоритмов
Приведём краткое описание алгоритмов решения описанной задачи с использованием методов RANSAC [3], [4] и согласованной идентификации [5].
Идея метода RANSAC (RANdom SAmple Consensus) состоит в том, что по имеющимся данным последовательно строятся модели («гипотезы»). При этом все исходные данные разделяют на два типа: удовлетворяющие модели, «не-выбросы», или «ин-лаеры» (inlier), и ложные точки, искажённые (возможно аномальными) ошибками, — случайные включения в исходные данные, «выбросы», или «аутлае-ры» {outlier).
Качество гипотезы определяется количеством элементов исходных данных, ей удовлетворяющих. Степень согласия гипотезы и исходных данных вычисляется следующим образом:
"(-и,;
rt<T, rt >Т,
где ц (сд.) — невязка, вычисленная в г -й строке матрицы X, для оценки ск, удовлетворяющей некоторой гиперплоскости, а Т — фиксированный порог, задаваемый из некоторых общих соображений или свойств исходных данных. Принимается та гипотеза, для которой величина Щ (с^.) принимает минимальное значение.
В методе согласованной идентификации из исходной системы (2) формируется множество так называемых подсистем нижнего уровня:
у* =ХЛ1,2,..., (3)
где
У*=С*У, Хк=СкХ, %к=Оку,
в — диагональная матрица, составленная из нулей и единиц: гапкСк = сИтС^ = 8 (рассматривается простейший случай согласованной идентификации, когда подсистемы нижнего уровня задаются квадратными матрицами 8x8). Ясно, что при этом число
подсистем нижнего уровня не превышает С^.
Вычисляя для каждой из построенных таким образом подсистем МНК-оценку
с^Х^ХГ^С.у, (4)
получаем множество Е всех возможных оценок на подсистемах нижнего уровня.
Аналогичным образом (из нулей и единиц) строится множество диагональных Р^Р-матриц Н;:
гапкЩ =Р, (8 <Р<Ы), 1=1,1, Ь<С„.
С использованием этих матриц формируются так называемые подсистемы верхнего уровня :
у, =Х/с/+|/, (5)
где _
Х,=Н,Х, у,=н,у. |,=н,у, 1 = 1,Ь. Каждой подсистеме верхнего уровня принадлежит некоторое множество подсистем нижнего уровня и, соответственно, множество ©г оценок (4):
©,={с*ен, |н|<с*},|0,|<с£.
Для характеристики множеств ©г вводится критерий взаимной близости оценок:
И©/] у)2,
где К = .
Множество , для которого !¥(©/) принимает
минимальное значение, называют наиболее согласованным. Задача заключается в отыскании этого мно-
жества и построении на нём точечной оценки. По существу, задача сводится к отысканию индекса /: Щ1) = тшЩ01).
3. Результаты экспериментальных исследований
Сравнительные экспериментальные исследования метода согласованной идентификации и алгоритма КАИБАС проводились с целью сопоставления их точности в одинаковых условиях функционирования. Эксперименты проводились на наборах данных, которые моделировались следующим образом.
Строились различные системы вида (2) с числом оцениваемых параметров М, равным 8, и числом наблюдений N. равным, соответственно, 12 и 16. Компоненты вектора параметров с задавались в виде равномерно распределённых случайных чисел (РРСЧ) в диапазоне от 1 до 10. Элементы матрицы X вычислялись в соответствии с (2) по координатам соответственных точек, которые моделировались как случайные последовательности с заданными дисперсиями.
Компоненты вектора ошибок формировались таким образом, чтобы для нормальных ошибок отношение сигнал/шум находилось в пределах 40—60 дБ. Для аномальных ошибок отношение сигнал/шум задавалось в пределах 0-10 дБ.
В большинстве известных модельных примеров, используемых в публикациях, посвящённых исследованию эффективности метода ЯА№АС, число наблюдений N значительно (на 2—3 порядка) превышает число оцениваемых параметров М. Если при этом интенсивность помех находится в разумных пределах, традиционные статистические схемы обработай дают хороший результат. Поэтому при большом числе степеней свободы цель большинства работ состоит в том, чтобы показать преимущества метода ЯА№АС в условиях, когда число аномальных ошибок достигает 80-90 % от общего числа наблюдений.
В рассматриваемой задаче число наблюдений N обычно ненамного превышает М (не более, чем в 2—3 раза). В данном случае статистические схемы обработки принципиально непригодны. В настоящей работе исследуется именно этот случай. При этом интенсивность аномальных ошибок задавалась более реалистичной — 50 —60% от числа степеней свободы И—М полученной системы.
Для сравнительной оценки точности и надёжности алгоритмов используются следующие показатели: идентификация считается верной, если отношение нормы вектора погрешности к норме вектора параметров не превосходит 0,3.
На рис. 2 приведены графики зависимости средних значений погрешности верных идентификаций от числа аномальных ошибок для различных значений числа оцениваемых параметров (светлый — для метода КАМБАС, тёмный — для метода согласованной идентификации). На рис. 3 для тех же значений числа оцениваемых параметров приведены графики
зависимости числа ложных идентификаций на 100 экспериментов от числа аномальных ошибок. Нетрудно заметить, что на всех реализациях метод согласованной идентификации показывает лучшие результаты как по надёжности, так и по точности.
1,8'.
1,6
1,4
1,2
а)
1,3 1,2 1,1 1,0 0,9 0,8 0,7 0,6-
б) 2 3 4
Рис. 2. Средняя погрешность верных идентификаций: N=12, М=8 (а); N=16, М=8 (б)
Рис. 3. Число ложных идентификаций на 100 экспериментов: N=12, М=8 (а); N=16, М=8 (б)
На рис. 4 приведён пример нахождения соответственных точек. Показанные на рисунке эпиполяр-ные линии определены с использованием фунда-
ментальной матрицы, которая оценивалась методом согласованной идентификации. Соответственные точки находятся на эпиполярных линях любым известным методом, например, с использованием нормированного коэффициента корреляции.
Рис. 4. Пример нахождения соответственных точек на эпиполярных линиях
Применение метода согласованной идентификации позволяет существенно повысить точность и надёжность определения коэффициентов фундаментальной матрицы, что в конечном итоге обеспечивает повышение точности обнаружения соответственных точек.
Заключение Показана возможность достижения более высокой точности формирования фундаментальной матрицы и определения соответственных точек с использованием метода согласованной идентифика-
ции. К сожалению, вычислительная сложность метода согласованной идентификации выше, чем у алгоритма RANSAC, однако это не является серьёзным препятствием для применения метода, т.к. достижение максимальной точности обычно является важнейшим требованием. Кроме того, при реализации на многопроцессорных системах это не является серьёзной проблемой, т.к. алгоритм обладает высокой степенью параллелизма.
Благодарност и Работа выполнена при поддержке Министерства образования и науки РФ (ГК № 07.514.11.4105), РФФИ (проекты №№11-07-12051, 11-07-13164) и гранта Президента РФ № 4128.2012.9.
Литература
1. Mallon, J. Projective Rectification from the Fundamental Matrix / John Mallon, Paul F. Whelan // Image and Vision Computing. - 2005. - Vol. 21. - P. 643-650.
2. Hartley, R.I. Theory and Practice of Projective Rectification / Richard I. Hartley // International Journal of Computer Vision. - 1999. - Vol. 35. - P. 115-127.
3. Fischler, M.A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / Martin A. Fischler, Robert C. Bolles // Communications of the ACM. - 1981. -Vol. 24.-P. 381-392.
4. Torr, P.H.S. The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix / P.H.S. Torr, D.W. Murray // International Journal of Computer Vision. - 1997. - Vol. 24. - P. 271-300.
5. Фурсов, B.A. Согласованная идентификация управляемого объекта по малому числу наблюдений /
B.А. Фурсов // Мехатроника, автоматизация, управление. - 2010. - № 3(108). - С. 2-8. - ISSN 1684-6427.
6. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс — М.: Издательский дом «Вильяме», 2004. - 928 с.
References
1. Mallon, J. Projective Rectification from the Fundamental Matrix / John Mallon, Paul F. Whelan // Image and Vision Computing. - 2005. - Vol. 21. - P. 643-650.
2. Hartley, R.I. Theory and Practice of Projective Rectification / Richard I. Hartley // International Journal of Computer Vision. - 1999. - Vol. 35. - P. 115-127.
3. Fischler, M.A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / Martin A. Fischler, Robert
C. Bolles // Communications of the ACM. - 1981. -Vol. 24.-P. 381-392.
4. Torr, P.H.S. The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix / P.H.S. Torr, D.W. Murray // International Journal of Computer Vision. - 1997. - Vol. 24. - P. 271-300.
5. Fursov, V.A. Conformed Identification of the Controlled Object with a Small Number of Observations / V.A. Fursov // Mechatronics, Automation, Control. - 2010. -Vol. 3(108). - P. 2-8. - ISSN 1684-6427. - (In Russian).
6. Forsyth, D. Computer Vision: A Modern Approach / David Forsyth, Jean Ponce. - Moscow: "Williams" Publishing House, 2004. - 928 p. - (In Russian).
CONFORMED IDENTIFICATION IN CORRESPONDING POINTS DETECTION PROBLEM
Ye. V. Goshin, V.A. Fursov Image Processing Systems Institute of the RAS S.P. Korolyov Samara State Aerospace University
Abstract
In this paper is considered a problem of image transformation, which consists in forming lines of corresponding points in images using fundamental matrix formed by a small number given corresponding points. A new approach based on a conformed identification is proposed for this problem
Key words: stereoimages, conformed identification, fundamental matrix, RANSAC, rectification, epipolar geometry, projective geometry.
Сведения об авторах
Гошин Егор Вячеславович, магистр прикладной математики и информатики, аспирант кафедры общей информатики Самарского государственного аэрокосмического университета. Область научных интересов: методы обработай и распознавания изображений, параллельные вычисления, стереозрение. E-mail: goshineda),yandex,ru.
Yegor Vyacheslavovich Goshin, Master of Applied Mathematics and Computer Science. Currently studies at Samara State Aerospace University. Research interests are image processing, recognition algorithms, parallel computations and stereovision.
Фурсов Владимир Алексеевич, д.т.н., профессор, заведующий кафедрой общей информатики в Самарском государственном аэрокосмическом университете. Область научных интересов: теория и методы оценивания по малому числу измерений, методы обработай и распознавания изображений, построение параллельных алгоритмов обработай и распознавания изображений, реализуемых с использованием многопроцессорных вычислительных систем. E-mail: [email protected].
Vladimir Alekseyevich Fursov is Doctor of Engineering Science, Professor, head of General Informatics sub-department of Samara State Aerospace University, leading. Research interests are development of the theory of estimation on small number of observations, development of methods of image processing and training to pattern recognition, development of highperformance parallel methods both algorithms of image processing and pattern recognition oriented on application of multiprocessor computing systems.
Поступила в редакцию 29 декабря 2011 г.
